Išmanios duomenų platformos evoliucija ir kas bus toliau

Tendencija jau kurį laiką buvo aiški: keičiasi duomenys, keičiasi scenarijus ir kyla išmanioji duomenų platforma. Generatyvusis dirbtinis intelektas yra nustatytas visiškai pakeisti duomenų sluoksnį.

Vykstantis platformos pakeitimas buvo pagrindinis „Supercloud 7: Pasiruoškite kitam duomenų platformos“ renginiui, kuris vyko liepos 30–31 d., akcentas. Pasak Johno Furrier (nuotraukoje), „TheCUBE Research“ vykdomojo analitiko, platformos pakeitimas visiškai nukreiptas į tai, kas nutiks toliau tobulėjant infrastruktūrai.

Robas Strechay'us, Johnas Furrieris, Savannah Peterson ir Dave'as Vellante'as iš theCUBE kalba apie intelektualią duomenų platformą „Supercloud 7“ metu.

„Infrastruktūrai uždarius kilpą ir stiprėjant, duomenų sluoksnis keisis labai greitai“, – „Supercloud 7“ metu sakė Furrier. „Duomenys aišku, kad tai akivaizdžiai vyksta šiuo metu rinkoje.

Inovacijų galimybes ir daugelį kitų dalykų tyrinėjo Furrier, Dave'as Vellante'as, vyriausiasis „CUBE Research“ analitikas ir visa „CUBE Research“ analitikų komanda. Jie aptarė AI infrastruktūros ateitį ir išmaniosios duomenų platformos iškilimą.

Štai trys pagrindinės įžvalgos, kurių galbūt praleidote iš „Supercloud 7“:

1. Įmonės klientai nesutaria dėl duomenų valdymo.

„Supercloud 7“ apėmė „SiliconANGLE“ neseniai paskelbtų „Enterprise Technology Research“ tyrimo rezultatų aptarimą, kuriame dalyvavo daugiau nei 100 bendrų „Databricks Inc.“ ir „Snowflake Inc.“ paskyrų. Rezultatai rodo, kad įmonių klientai nesutaria dėl geriausio įmanomo maršruto, kai reikia suderinti duomenų pasitikėjimą ir norą greitai judėti ir diegti naujoves, augant pažangiajai duomenų platformai.

Kai buvo paklausta apie atvirų lentelių formatų pirmenybę, saugumas ir valdymas bei užrakinimo vengimas buvo vertinami pirmoje ir antroje vietoje. Tačiau, pasak Vellante, čia vyksta „sūpynės balsavimas“.

George'as Gilbertas iš „TheCUBE Research“ kalba apie ETR tyrimo rezultatus „Supercloud 7“ metu.

„14% teigia, kad duomenų saugumas yra ne toks svarbus, kaip sukurti krūvą, leidžiančią greitai diegti naujoves. Kodėl tai yra sūpynės balsavimas? – paklausė jis. „Taip yra todėl, kad ETR tai koreliavo ir rado. Tai buvo labiausiai tikėtina [leave] Snaigė ir pereikite prie Databricks kaip pavyzdžio, nes jie sako „prakeik torpedas“ valdyme“.

Pasak CUBE tyrimų George'o Gilberto, kai pradedama kalbėti apie atvirų lentelių formatus, jie iš esmės turi pradėti abstrahuoti valdymą nuo bet kurio pardavėjo kompetencijos. Tai reiškia, kad reikia galvoti apie visų savo duomenų ir taikomųjų programų duomenų valdymą.

„Snaigės kreipimasis buvo toks:„ Ei, mes pasirūpinsime valdymu. Jūs atsinešate bet kokį įrankį, kurį norite, pereikite prie mūsų variklio ir viskas sklandžiai. Ir tada jie sakė: „Mes tai išplėsime į visas Iceberg lenteles, o valdymą sinchronizuosime su Polaris katalogu“, – sakė Gilbertas. „Jūs valdote savo Snowflake duomenis ir atvirus Iceberg duomenis.

Tuo tarpu Rohanas Kumaras, „Microsoft Corp.“ Azure Data įmonės viceprezidentas, pasiūlė, kad jo Microsoft Purview Data Governance sprendimas leistų naudotojams nustatyti politiką ir pažymėti visus duomenis – ne tik Azure duomenų, bet ir debesyse, vietoje ir kraštas. „Microsoft“ sukurs politiką, o vartotojai nustatys žymas.

„Niekas jų nevaldo, tai tikrai yra žinia“, – sakė Vellante.

Duomenų bazių pardavėjams naršant kintančioje AI skaičiavimo variklių aplinkoje, CUBE analitikai mato pokyčius. Pasak SanjMo direktoriaus ir „TheCUBE Collective“ analitiko Sanjeev Mohan, lentelių formatai pakeitė žaidimą.

„Jei galiu labai lengvai kurti ataskaitas ir informacijos suvestines „Snowflake“, turėdamas nuostabią vartotojo patirtį, puiku. Bet jei noriu dirbti dirbtinio intelekto ir mašininio mokymosi, galbūt turėčiau naudoti Databricks“, – sakė jis. „Jei noriu išvalyti duomenis ir paruošti duomenis, turėčiau naudoti Apache Spark. Tai nedaro duomenų kopijų ir neperkelia jų, bet keičia skaičiavimo variklį.

2. Įmonės siekia reaguoti į išmaniąją duomenų platformą.

Atsiradus pažangiajai duomenų platformai, įmonės deda bendras pastangas, kad padidintų mastelį, lankstumą ir saugumą. Tai vyksta keliais būdais, įskaitant tarptautinę mažmeninės prekybos korporaciją Walmart Inc.

Mažmeninės prekybos milžinas siekė panaudoti didelius kalbų modelius internetinei ir fizinei prekybai. Pasak „Walmart Global Tech“ debesų ir duomenų platformų vyresniojo viceprezidento Anil Madan, bendrovės mašininio mokymosi platforma „Element“ pakeitė debesų operacijų žaidimą.

„Microsoft“ atstovas Dipti Borkar pasakoja apie duomenų platformų ateitį.

„Mes valdome iš duomenų gyvavimo ciklo, tūkstančių ir tūkstančių duomenų šaltinių. Duomenų gyvavimo ciklas yra tai, kad duomenys daugiau juda neapdorotu formatu ir patenka į centrinį ežerą. Tam, kad būtų sukurtas duomenų katalogas, vyksta tam tikros transformacijos ir kokybė“, – sakė Madanas. „Šis duomenų katalogas labai padeda sustiprinti kiekvieną mūsų analizės ir mašininio mokymosi aspektą.

Tuo tarpu Databricks taip pat siekė paspartinti duomenų platformų evoliuciją, akcentuodama atvirų formatų naudojimą ir AI integraciją, siekdama padidinti duomenų valdymo efektyvumą. Anot Ali Ghodsi, „Databricks“ įkūrėjų ir vykdomojo direktoriaus Ali Ghodsi, kalbant apie duomenų platformų patikimumą ateityje, atviri formatai ir skirtingų duomenų variklių sąveika yra labai svarbūs.

“[Customers are] labai malonu matyti šių formatų sąveiką“, – sakė jis. „Jie nenori matyti nesuderinamumo tarp Deltos ežero ir ledkalnio. Jiems tai patiko, nes sujungiame juos projekte UniForm, o dabar jūs galite juos gauti ir visiškai suderinti savo duomenis.

„Microsoft“ taip pat žiūri į duomenų platformų ateities pažangą, kai pereina prie grynų atvirų formatų, ypač „Microsoft Fabric“. Pasak „Microsoft“ viceprezidento ir generalinio direktoriaus Dipti Borkar, tai buvo dramatiški pokyčiai įmonei.

“[We moved] visus mūsų variklius, kad pertvarkytume šiuos skaičiavimus, kad dabar skaitytume šiuos vietinius formatus“, – sakė Borkaras. „Mes palaikome Delta Lake, o ledkalnis labai greitai nusileidžia. Priežastis, kodėl tai svarbu, vėlgi, klientai turi pasirinkimą.

3. Duomenų platformas stengiamasi tobulinti atvirais standartais ir suderinamumu.

Tarp daugelio pagrindinių Supercloud 7 įžvalgų greitai tapo aišku, kad besivystanti aplinka aplink išmaniąją duomenų platformą apima atvirų standartų priėmimą ir sklandų sąveiką. Pavyzdžiui, „Snowflake“ siekė suderinti sprendimų integravimą su atvirų standartų priėmimu.

Žinoma, „Snaigė“ padarė „Polaris“ atvirą kodą. Bendrovės tikslas yra įsipareigoti laikytis atvirojo kodo principų ir tobulinti savo produktus bendradarbiaujant, teigia Benoit Dageville, vienas iš Snowflake įkūrėjų ir produktų prezidentas.

„Snowflake“ Benoit Dageville kalba apie atvirojo kodo principus „Supercloud 7“ metu.

„Mūsų klientai arba mūsų klientų klasė prašo mūsų įrankių sąveikumo“, – sakė Dageville. „Daugelis įrankių pasiekia tuos pačius duomenis ir nori, kad „Snowflake“ būtų vienas iš šių įrankių arba viena iš sistemų, pasiekiančių šiuos atvirus duomenis. Jie prašo, kad gautume jų duomenis, o ne pas mus, ir jie nori išvengti pardavėjo blokavimo.

Tuo tarpu „Vast Data Inc.“ siekė sukurti vieningą duomenų rinkinį, kuriame būtų integruoti keli debesys ir duomenų centrai. Tai leidžia įmonėms sujungti kelis debesis su „Vast DataSpace“, teigia vienas „Vast Data“ įkūrėjų Jeffas Denworthas.

„Iš esmės tai leidžia perkelti visus failus ir visus įrašus, kurie yra lentelėse, daugelyje nepriklausomų debesų platformų, kad galėtumėte turėti vieną vieningą dujotiekį“, – sakė Denworthas.

Kai kurios įmonės perėjo prie modelių, orientuotų į platformą. Pasak „TransUnion“ vyriausiojo technologijų, duomenų ir analizės pareigūno Venkat Achanta, „TransUnion LLC“ siekė priimti šį naują pokytį, atsižvelgdama į dešimtis tūkstančių kasdienių duomenų rinkinių ir daugiau nei 50 milijardų duomenų taškų.

„Mes kuruojame tuos duomenis, duomenų kokybę, duomenų katalogavimą, dar svarbiau sujungiame tuos duomenis, kuriuos vadiname tapatybės skyrimu, bandome išsiaiškinti, kur šis maistas priklauso šie duomenys, ir tada pateikiame tuos duomenis į išmaniąsias nuspėjamąsias programas ir pažinimo programas. bankams ir vartotojams vartoti“, – sakė Achanta.

Stebėkite visą vaizdo įrašų grojaraštį, „SiliconANGLE“ ir „CUBE Research“ pranešimų apie „Supercloud 7: Pasiruoškite kitam duomenų platformos renginiui“ dalį.

Nuotrauka: SiliconANGLE