Po letu in pol razvoja, je izdala fundacija Apache Software Foundation začetek nove različice Apache Hadoop 3.3.0, različica v katerem je dodal izboljšave za platforme ARM, podpora za načrtovanje izstrelitev kontejnerjev in druge stvari.
Apache Hadoop se postavlja kot brezplačna platforma organizirati porazdeljena obdelava velikih količin podatkov z uporabo zemljevid / redukcija paradigme, pri kateri je naloga razdeljena na številne manjše izolirane koščke, od katerih se lahko vsak izvaja na ločenem vozlišču gruče.
Shramba na osnovi Hadoop lahko obsega tisoče vozlišč in vsebuje eksabajte podatkov.
O Apache Hadoopu
Hadoop vključuje izvajanje distribuiranega datotečnega sistema Hadoop (HDFS), ki samodejno zagotavlja redundanco podatkov in je optimiziran za aplikacije MapReduce.
Ključna funkcionalnost je, da mora vsak datotečni sistem za učinkovito razporejanje opravil vedeti in navesti svojo lokacijo, ime stojala (natančneje stikala), kjer je delovno vozlišče.
Aplikacije Hadoop lahko te informacije uporabljajo za izvajanje del na vozlišču, kjer so podatki, in v nasprotnem primeru na istem stojalu / stikalu, s čimer se zmanjša omrežni promet.
Za poenostavitev dostopa do podatkov v skladišču Hadoop, Razvita je baza podatkov HBase in jezik, podoben prašičem, ki je tip SQL za MapReduce, katerega poizvedbe lahko vzporedno vzporedno obdelajo in obdelajo različne platforme Hadoop.
Projekt je ocenjen kot popolnoma stabilen in pripravljen za industrijsko obratovanje. Hadoop se aktivno uporablja v velikih industrijskih projektih in nudi zmogljivosti, podobne platformi Google Bigtable / GFS / MapReduce, medtem ko je Google uradno pooblaščen za projekte Hadoop in druge Apache, upravičene do uporabe patentno zaščitenih tehnologij, povezanih z metodo MapReduce.
Hadoop je po številu sprememb in peti največji osnovi kode (približno 4 milijone vrstic kode) na prvem mestu med skladišči Apache.
Kaj je novega v Apache Hadoop 3.3?
Ta nova različica Hadoopa je postavljena kot prva različica, ki jo ima el podpora za platforme, ki temeljijo na ARM, S katero bodo tisti, ki jih zanima izvedba te platforme, lahko našli binarno datoteko za ARM, ki je že na voljo.
Druga glavna sprememba, ki je predstavljena v tej novi različici, je izvedba nove različice oblike Protobuf (Vmesni pomnilniki), ki se uporabljajo za serializacijo strukturiranih podatkov je posodobljen na različico 3.7.1 zaradi konca življenjskega cikla veje protobuf-2.5.0.
Poleg tega tudi zmogljivosti priključka S3A so že razširjene ki ga ima zdaj dodana podpora za preverjanje pristnosti z uporabo žetonov, izboljšana podpora za predpomnjenje odzivov s kodo 404, višja zmogljivost S3guard in izboljšana operativna zanesljivost.
prav tako Dodana je storitev razreševalnika DNS da odjemalec določi strežnike prek DNS po imenih gostiteljev, kar vam omogoča, da opustite seznam vseh gostiteljev v konfiguraciji.
Pa tudi podpora za načrtovanje zagonov zabojnikov prek centraliziranega upravitelja virov (ResourceManager), tudi z možnostjo distribucije vsebnikov ob upoštevanju obremenitve vsakega vozlišča.
Od ostalih sprememb, ki izstopajo te nove različice:
- Težave s samodejno nastavitvijo so bile odpravljene v datotečnem sistemu ABFS.
- Dodana je izvorna podpora za datotečni sistem Tencent Cloud COS za dostop do shranjevanja predmetov COS.
- Dodana je popolna podpora za Javo 11.
- Stabiliziralo izvajanje HDFS RBF (Router Based Federation). Varnostni nadzor je bil dodan usmerjevalniku HDFS.
- Iskanje po imeniku aplikacij YARN (drug pogajalec o virih).
Če želite izvedeti več o tem, lahko podrobnosti o novi različici preverite na prvotni prispevek.
Za tiste, ki jih zanima nova različica, lahko prenesejo pripravljene binarne datoteke V naslednji povezavi.