Grid computing - Grid computing

Výrobce počítače viz Grid Systems Corporation .
Nesmí být zaměňována s Cluster computing .

Grid computing je použití široce distribuovaných počítačových zdrojů k dosažení společného cíle. Výpočtovou mřížku lze považovat za distribuovaný systém s neinteraktivním vytížením, které zahrnuje mnoho souborů. Grid computing se odlišuje od konvenčních vysoce výkonných výpočetních systémů, jako je clusterový výpočet, v tom, že mřížkové počítače mají každý uzel nastavený k provádění jiného úkolu/aplikace. Gridové počítače mají také tendenci být heterogennější a geograficky rozptýlenější (tedy nejsou fyzicky propojeny) než klastrové počítače. Ačkoli lze konkrétní aplikaci věnovat jednu mřížku, mřížka se běžně používá pro různé účely. Mřížky jsou často konstruovány s obecnými softwarovými knihovnami mřížkového middlewaru . Velikost mřížky může být docela velká.

Mřížky jsou formou distribuovaných počítačů, přičemž „super virtuální počítač“ se skládá z mnoha volně propojených počítačů zapojených do sítě, které společně provádějí velké úkoly. U některých aplikací lze na distribuované nebo gridové výpočty pohlížet jako na speciální typ paralelních počítačů, které se spoléhají na kompletní počítače (s integrovanými CPU, úložištěm, napájecími zdroji, síťovými rozhraními atd.) Připojené k počítačové síti (soukromé nebo veřejné) konvenční síťové rozhraní , například ethernet . To je v protikladu k tradičnímu pojmu superpočítač , který má mnoho procesorů propojených místní vysokorychlostní počítačovou sběrnicí . Tato technologie byla aplikována na výpočetně intenzivní vědecké, matematické a akademické problémy prostřednictvím dobrovolnické práce na počítači a používá se v komerčních podnicích pro tak rozmanité aplikace, jako je objevování drog , ekonomické prognózy , seismická analýza a zpracování dat z back office na podporu e- obchod a webové služby .

Grid computing kombinuje počítače z více administrativních domén za účelem dosažení společného cíle, vyřešení jednoho úkolu a poté může stejně rychle zmizet. Velikost mřížky se může lišit od malých - omezených například na síť počítačových pracovních stanic v rámci korporace - po velké veřejné spolupráce napříč mnoha společnostmi a sítěmi. „Pojem omezené sítě může být také znám jako spolupráce uvnitř uzlů, zatímco pojem větší a širší sítě může tedy odkazovat na spolupráci mezi uzly“.

Koordinace aplikací na sítích může být složitý úkol, zejména při koordinaci toku informací napříč distribuovanými výpočetními prostředky. Systémy pracovního toku v mřížce byly vyvinuty jako specializovaná forma systému pro řízení pracovního toku navrženého speciálně pro sestavení a provedení řady výpočetních nebo datových manipulačních kroků nebo pracovního postupu v kontextu mřížky.

Porovnání sítí a konvenčních superpočítačů

„Distribuované“ nebo „gridové“ výpočty obecně jsou zvláštním typem paralelních počítačů, které se spoléhají na kompletní počítače (s integrovanými CPU, úložištěm, napájecími zdroji, síťovými rozhraními atd.) Připojenými k síti (soukromé, veřejné nebo internetové ) konvenčním síťovým rozhraním produkujícím komoditní hardware ve srovnání s nižší efektivitou navrhování a konstrukce malého počtu vlastních superpočítačů. Hlavní nevýhodou výkonu je, že různé procesory a místní úložné oblasti nemají vysokorychlostní připojení. Toto uspořádání je tedy velmi vhodné pro aplikace, ve kterých může několik paralelních výpočtů probíhat nezávisle, bez nutnosti sdělovat průběžné výsledky mezi procesory. High-end škálovatelnost geograficky rozptýlených mřížek je obecně příznivý, vzhledem k nízké potřebě propojení mezi uzly vzhledem ke kapacitě veřejného internetu.

Existují také určité rozdíly v programování a MC. Psaní programů, které lze spustit v prostředí superpočítače, který může mít vlastní operační systém, nebo může vyžadovat, aby program řešil problémy se souběžností, může být nákladné a obtížné . Pokud lze problém adekvátně paralelizovat, může „tenká“ vrstva „mřížkové“ infrastruktury umožnit běžným samostatným programům, které mají jinou část stejného problému, běžet na více počítačích. To umožňuje psát a ladit na jednom konvenčním počítači a eliminuje komplikace způsobené více instancemi stejného programu spuštěnými ve stejné sdílené paměti a úložném prostoru současně.

Úvahy a variace designu

Jednou z vlastností distribuovaných sítí je, že mohou být vytvořeny z výpočetních prostředků patřících jedné nebo více jednotlivcům nebo organizacím (známým jako více administrativních domén ). To může usnadnit komerční transakce, jako je tomu u obslužných počítačů , nebo usnadnit sestavování počítačových sítí pro dobrovolníky .

Jednou nevýhodou této funkce je, že počítače, které skutečně provádějí výpočty, nemusí být zcela důvěryhodné. Konstruktéři systému tedy musí zavést opatření, která zabrání tomu, aby nesprávné funkce nebo zlomyslní účastníci vytvářeli falešné, zavádějící nebo chybné výsledky a používali systém jako útočný vektor. To často zahrnuje přiřazení práce náhodně různým uzlům (pravděpodobně s různými vlastníky) a kontrolu, že alespoň dva různé uzly hlásí stejnou odpověď pro danou pracovní jednotku. Nesrovnalosti by identifikovaly nefunkční a škodlivé uzly. Vzhledem k nedostatku centrální kontroly nad hardwarem však neexistuje způsob, jak zaručit, že uzly v náhodných časech ze sítě nevypadnou. Některé uzly (například notebooky nebo vytáčení internetoví zákazníci) mohou být také k dispozici pro výpočet, ale ne síťová komunikace po nepředvídatelná období. Těmto variantám lze vyhovět přiřazením velkých pracovních jednotek (čímž se sníží potřeba nepřetržitého připojení k síti) a opětovným přiřazením pracovních jednotek, pokud daný uzel neoznámí své výsledky v očekávaném čase.

Další soubor něčeho, co by se dalo nazvat problémy sociální kompatibility v počátcích grid computingu, se týkal cílů vývojářů gridů přenést jejich inovace mimo původní pole vysoce výkonných počítačů a přes disciplinární hranice do nových oborů, jako je high-tech fyzika energie.

Dopady důvěry a dostupnosti na výkonnost a potíže s vývojem mohou ovlivnit volbu, zda nasadit na vyhrazený klastr, nečinné stroje interní v rozvojové organizaci, nebo na otevřenou externí síť dobrovolníků nebo dodavatelů. V mnoha případech musí zúčastněné uzly důvěřovat centrálnímu systému, že nezneužije přístup, který je udělován, zasahováním do provozu jiných programů, manipulací s uloženými informacemi, přenosem soukromých dat nebo vytvářením nových bezpečnostních děr. Jiné systémy využívají opatření ke snížení množství důvěryhodných „klientských“ uzlů, které musí do centrálního systému vkládat, například umísťování aplikací do virtuálních počítačů.

Veřejné systémy nebo systémy překračující administrativní domény (včetně různých oddělení ve stejné organizaci) často vedou k potřebě používat heterogenní systémy s použitím různých operačních systémů a hardwarových architektur . U mnoha jazyků dochází ke kompromisu mezi investicemi do vývoje softwaru a počtem platforem, které lze podporovat (a tedy velikost výsledné sítě). Jazyky pro různé platformy mohou snížit potřebu tohoto kompromisu, i když potenciálně na úkor vysokého výkonu v daném uzlu (kvůli interpretaci za běhu nebo nedostatku optimalizace pro konkrétní platformu). Různé projekty middlewaru vytvořily generickou infrastrukturu, která umožňuje různým vědeckým a komerčním projektům využít konkrétní přidruženou síť nebo za účelem zřízení nových sítí. BOINC je společný pro různé akademické projekty hledající veřejné dobrovolníky; další jsou uvedeny na konci článku .

Ve skutečnosti lze na middleware pohlížet jako na vrstvu mezi hardwarem a softwarem. Kromě middlewaru je třeba vzít v úvahu řadu technických oblastí, které mohou, ale nemusí být na middlewaru nezávislé. Mezi příklady patří správa SLA , důvěra a zabezpečení, správa virtuální organizace, správa licencí, portály a správa dat. O tyto technické oblasti je možné se postarat v komerčním řešení, i když špičku každé oblasti často nalezneme v rámci konkrétních výzkumných projektů zkoumajících danou oblast.

Segmentace trhu na trhu s gridovými počítači

Pro segmentaci trhu s gridovými počítači je třeba vzít v úvahu dvě perspektivy: na straně poskytovatele a na straně uživatele:

Strana poskytovatele

Celkový trh se sítí zahrnuje několik konkrétních trhů. Jedná se o trh s middlewarem grid, trh s aplikacemi podporujícími grid, trh s nástrojovými výpočetními technologiemi a trh se softwarem jako služba (SaaS).

Grid middleware je specifický softwarový produkt, který umožňuje sdílení heterogenních zdrojů a virtuálních organizací. Je instalován a integrován do stávající infrastruktury zapojené společnosti nebo společností a poskytuje speciální vrstvu umístěnou mezi heterogenní infrastrukturou a konkrétními uživatelskými aplikacemi. Hlavními mřížkami jsou Globus Toolkit , gLite a UNICORE .

Utility computing se označuje jako poskytování grid computingu a aplikací jako služby buď jako open grid utility, nebo jako hostingové řešení pro jednu organizaci nebo VO . Hlavními hráči na trhu výpočetní techniky jsou Sun Microsystems , IBM a HP .

Grid-enabled applications jsou specifické softwarové aplikace, které mohou využívat gridovou infrastrukturu. To je možné díky použití mřížkového middlewaru, jak je uvedeno výše.

Software jako služba (SaaS) je „software, který vlastní, dodává a spravuje vzdáleně jeden nebo více poskytovatelů“. ( Gartner 2007) Aplikace SaaS jsou navíc založeny na jediné sadě společných definic kódu a dat. Používají se v modelu one-to-many a SaaS používá model Pay As You Go (PAYG) nebo model předplatného, ​​který je založen na využití. Poskytovatelé SaaS nutně nevlastní samotné výpočetní prostředky, které jsou nutné ke spuštění jejich SaaS. Poskytovatelé SaaS proto mohou čerpat z trhu výpočetní techniky. Trh s užitkovými počítači poskytuje poskytovatelům SaaS výpočetní prostředky.

Uživatelská strana

Pro společnosti na poptávkové nebo uživatelské straně trhu s gridovými počítači mají různé segmenty významné důsledky pro jejich strategii zavádění IT. Strategie zavádění IT a typ provedených investic do IT jsou relevantními aspekty pro potenciální uživatele sítě a hrají důležitou roli při přijímání sítí.

Čištění CPU

CPU zachycující , cyklus zachycující nebo sdílený computing vytváří „mřížku“ z nečinných prostředků v síti účastníků (ať již celosvětově nebo vnitřní organizaci). Tato technika obvykle využívá „náhradní“ instrukční cykly vyplývající z přerušované nečinnosti, která se obvykle vyskytuje v noci, během přestávky na oběd nebo dokonce během (poměrně nepatrných, i když četných) okamžiků nečinnosti čekajících na zážitek moderního desktopového procesoru po celý den ( když počítač čeká na IO od uživatele, sítě nebo úložiště ). V praxi zúčastněné počítače kromě surového výkonu CPU také darují určité podpůrné množství místa na disku, RAM a šířku pásma sítě.

Mnoho dobrovolnických počítačových projektů, jako je BOINC , používá model uklízení CPU. Vzhledem k tomu, že uzly se pravděpodobně čas od času přepnou do režimu „offline“, protože jejich majitelé používají své zdroje pro svůj primární účel, musí být tento model navržen tak, aby zvládal takové nepředvídatelné události.

Vytvoření opportunistického prostředí je další implementací zachycování CPU, kde speciální systém pro správu pracovní zátěže sbírá nečinné stolní počítače pro úlohy náročné na výpočetní výkon, označuje se také jako Enterprise Desktop Grid (EDG). Například HTCondor, open-source vysoce výkonný výpočetní softwarový framework pro hrubozrnnou distribuovanou racionalizaci výpočetně náročných úkolů, lze nakonfigurovat tak, aby používal pouze stolní počítače, kde jsou klávesnice a myš nečinné, aby efektivně využil zbytečný výkon CPU z jinak nečinných stolních pracovních stanic . Stejně jako ostatní plně funkční dávkové systémy, HTCondor poskytuje mechanismus fronty úloh, zásady plánování, prioritní schéma, monitorování zdrojů a správu zdrojů. Lze jej použít ke správě pracovní zátěže i na vyhrazeném clusteru počítačů nebo může bezproblémově integrovat jak vyhrazené prostředky (klastry montované do racku), tak stolní počítače, které nejsou vyhrazeny (úklid cyklu) do jednoho výpočetního prostředí.

Dějiny

Termín grid computing vznikl na počátku devadesátých let jako metafora umožňující snadný přístup k napájení počítače jako k elektrické síti . Metafora energetické sítě pro přístup k výpočetní technice se rychle stala kanonickou, když Ian Foster a Carl Kesselman publikovali své klíčové dílo „Mřížka: Plán pro novou výpočetní infrastrukturu“ (1999). Tomu předcházela desetiletí metafora obslužného počítače (1961): počítač jako veřejný nástroj, analogický s telefonním systémem.

Zachycování CPU a výpočet dobrovolníků byly popularizovány počátkem roku 1997 společností distribut.net a později v roce 1999 společností SETI@home, aby využily sílu počítačů zapojených do sítě po celém světě a vyřešily problémy s výzkumem náročné na CPU.

Myšlenky sítě (včetně těch od distribuovaných výpočtů, objektově orientovaného programování a webových služeb) byly podány spolu Ian Foster a Steve Tuecke z University of Chicago a Carl Kesselman na University of Southern California ‚s Information Sciences Institute . Trio, které vedlo úsilí o vytvoření Globus Toolkit , je široce považováno za „otce sítě“. Sada nástrojů zahrnuje nejen správu výpočtů, ale také správu úložiště , zajišťování zabezpečení, pohyb dat, monitorování a sadu nástrojů pro vývoj dalších služeb založených na stejné infrastruktuře, včetně vyjednávání dohod, mechanismů oznámení, spouštěcích služeb a agregace informací. Přestože Globus Toolkit zůstává de facto standardem pro budování síťových řešení, byla vytvořena řada dalších nástrojů, které odpovídají na určitou podmnožinu služeb potřebných k vytvoření podnikové nebo globální sítě.

V roce 2007 se do popředí dostal termín cloud computing , který je koncepčně podobný kanonické Fosterově definici grid computingu (z hlediska výpočetních zdrojů spotřebovávaných jako elektřina pocházejících z elektrické sítě ) a dřívějším nástrojům computing. Gridové výpočty jsou často (ale ne vždy) spojeny s dodávkou cloudových výpočetních systémů, což je příkladem systému AppLogic od společnosti 3tera .

Pokrok

V listopadu 2006 obdržel Seidel Cenu Sidneyho Fernbacha na konferenci Superpočítač v Tampě na Floridě . „Za mimořádné příspěvky k vývoji softwaru pro HPC a Grid Computing umožňující společné numerické zkoumání složitých problémů ve fyzice; zejména modelování kolizí černé díry.“ Toto ocenění, které je jedním z nejvyšších ocenění v oblasti výpočetní techniky, bylo uděleno za jeho úspěchy v numerické relativitě.

Nejrychlejší virtuální superpočítače

V březnu 2019 měla bitcoinová síť naměřený výpočetní výkon ekvivalentní více než 80 000 exaFLOPS (operace s pohyblivou řádovou čárkou za sekundu). Toto měření odráží počet FLOPS potřebných k vyrovnání hashového výstupu bitcoinové sítě, nikoli jeho kapacity pro obecné aritmetické operace s pohyblivou řádovou čárkou, protože prvky bitcoinové sítě (bitcoinové ASIC pro těžbu bitcoinů ) provádějí pouze konkrétní kryptografický hashový výpočet požadovaný Bitcoin protokol.

Projekty a aplikace

Hlavní článek: Seznam distribuovaných počítačových projektů

Grid computing nabízí způsob řešení problémů Grand Challenge, jako je skládání proteinů , finanční modelování , simulace zemětřesení a modelování klimatu / počasí , a byl nedílnou součástí povolení Large Hadron Collider v CERN. Gridy nabízejí způsob optimálního využití zdrojů informačních technologií uvnitř organizace. Poskytují také prostředky pro nabízení informačních technologií jako nástroje pro komerční a nekomerční klienty, přičemž tito klienti platí pouze za to, co používají, například za elektřinu nebo vodu.

V říjnu 2016 je členy World Community Grid více než 4 miliony počítačů s otevřenou platformou Berkeley Open Infrastructure for Network Computing (BOINC) . Jedním z projektů využívajících BOINC je SETI @ home , který se používá více než 400.000 počítačů, aby se dosáhlo 0,828 TFLOPS jak října 2016. Od října 2016 Folding @ home , který není součástí BOINC, dosáhl více než 101 x 86 ekvivalentních petaflops na více než 110 000 strojích.

Evropská unie financuje projekty prostřednictvím rámcových programů v Evropské komisi . BEinGRID (Business Experiments in Grid) byl výzkumný projekt financovaný Evropskou komisí jako integrovaný projekt v rámci sponzorského programu Šestého rámcového programu (FP6). Zahájen 1. června 2006, projekt trval 42 měsíců, do listopadu 2009. Projekt byl koordinován společností Atos Origin . Podle informačního listu projektu je jejich posláním „stanovit efektivní cesty, které podpoří přijetí grid computingu v celé EU a stimulovat výzkum inovativních obchodních modelů pomocí Grid technologií“. K získání osvědčených postupů a společných témat z experimentálních implementací analyzují dvě skupiny konzultantů řadu pilotních projektů, jednu technickou a jednu obchodní. Projekt je významný nejen svou dlouhou dobou trvání, ale také rozpočtem, který je 24,8 milionu EUR a je největším ze všech integrovaných projektů 6. rámcového programu. Z toho 15,7 milionu poskytuje Evropská komise a zbytek její 98 přispívajících partnerských společností. Od konce projektu byly výsledky BEinGRID převzaty a přenášeny IT-Tude.com .

Projekt Enabling Grids for E-sciencE, který sídlí v Evropské unii a zahrnuje lokality v Asii a ve Spojených státech, byl projektem navazujícím na evropskou datovou mřížku (EDG) a vyvinul se do evropské infrastruktury sítí . Toto, spolu s LHC Computing Grid (LCG), bylo vyvinuto na podporu experimentů pomocí CERN Large Hadron Collider . Seznam aktivních webů účastnících se LCG lze nalézt online, stejně jako monitorování infrastruktury EGEE v reálném čase. Veřejně přístupný je také příslušný software a dokumentace. Spekuluje se, že vyhrazené odkazy z optických vláken, jako jsou ty, které instaloval CERN k řešení datově náročných potřeb LCG, mohou být jednoho dne k dispozici domácím uživatelům, a tím poskytovat internetové služby rychlostí až 10 000krát rychlejší než tradiční širokopásmové připojení. European Grid Infrastructure byl také použit pro další výzkumné aktivity a experimenty, například simulace onkologických klinických studií.

Projekt distribution.net byl zahájen v roce 1997. Zařízení NASA Advanced Supercomputing (NAS) provozovalo genetické algoritmy pomocí zachycovače cyklu Condor běžícího asi na 350 pracovních stanicích Sun Microsystems a SGI .

V roce 2001 společnost United Devices provozovala projekt United Devices Cancer Research Project založený na produktu Grid MP , který cykluje úklidy na dobrovolnických počítačích připojených k internetu. Projekt běžel na zhruba 3,1 milionu strojů před jeho uzavřením v roce 2007.

Definice

Dnes existuje mnoho definic gridového výpočtu :

  • Ve svém článku „What is the Grid? Tříbodový kontrolní seznam “, Ian Foster uvádí tyto primární atributy:
  • Plaszczak/Wellner definuje síťovou technologii jako „technologii, která umožňuje virtualizaci zdrojů, zajišťování na vyžádání a sdílení služeb (zdrojů) mezi organizacemi“.
  • IBM definuje gridové výpočty jako „schopnost pomocí sady otevřených standardů a protokolů získat přístup k aplikacím a datům, výkon zpracování, kapacitu úložiště a celou řadu dalších výpočetních prostředků přes internet. Mřížka je typ paralelního a distribuovaného systému, který umožňuje sdílení, výběr a agregaci zdrojů distribuovaných mezi „více“ administrativními doménami na základě jejich dostupnosti (zdrojů), kapacity, výkonu, nákladů a požadavků na kvalitu služeb uživatelů “.
  • Dřívější příklad pojmu výpočetní technika jako nástroj byl v roce 1965 Fernando Corbató z MIT. Corbató a další návrháři operačního systému Multics si představili počítačové zařízení fungující „jako energetická společnost nebo vodárenská společnost“.
  • Buyya/Venugopal definuje síť jako „typ paralelního a distribuovaného systému, který umožňuje dynamické sdílení, výběr a agregaci geograficky distribuovaných autonomních zdrojů za běhu v závislosti na jejich dostupnosti, schopnostech, výkonu, nákladech a kvalitě služeb uživatelů. požadavky “.
  • CERN , jeden z největších uživatelů síťové technologie, hovoří o The Grid : „služba pro sdílení výkonu počítače a kapacity pro ukládání dat přes internet “.

Viz také

Související pojmy

Aliance a organizace

Výrobní mřížky

Mezinárodní projekty

název Kraj Start Konec
Evropská síťová infrastruktura (EGI) Evropa Květen 2010 Prosince 2014
Open Middleware Infrastructure Institute Europe (OMII-Europe) Evropa Květen 2006 Květen 2008
Povolení sítí pro E-sciencE (EGEE, EGEE II a EGEE III) Evropa Března 2004 Duben 2010
Grid enabled Remote Instrumentation with Distributed Control and Computation (GridCC) Evropa Září 2005 Září 2008
European Middleware Initiative (EMI) Evropa Květen 2010 aktivní
KnowARC Evropa Červen 2006 Listopad 2009
Zařízení pro severské datové sítě Skandinávie a Finsko Červen 2006 Prosinec 2012
World Community Grid Globální Listopadu 2004 aktivní
XtreemOS Evropa Červen 2006 (Květen 2010) ext. do září 2010
OurGrid Brazílie Prosinec 2004 aktivní

Národní projekty

Standardy a API

Rámce monitorování

Reference

Bibliografie