A Techopedia munkatársai, 2016. június 22
Elvihető: Rebecca Jozwiak házigazda tárgyalja az adatkatalógusok előnyeit Dez Blanchfieldrel, Robin Bloorral és David Crawforddal.
A videó megtekintéséhez regisztrálnia kell erre az eseményre. Regisztráljon a videó megtekintéséhez.
Rebecca Jozwiak: Hölgyeim és uraim, üdvözlet és üdvözlet a 2016-os Hot Technologies-nál. Ma megkapjuk a „Javaslat hatalma: Hogyan adhatjuk meg az adatkatalógust az elemzők!” Rebecca Jozwiak, a házigazda vagyok, kitöltve a szokásos házigazdánkat, Ericet. Kavanagh ma, miközben a világ körül jár, tehát köszönöm, hogy csatlakozott hozzánk. Ez az év forró, nem csak meleg Texasban, ahol vagyok, hanem meleg is mindenhol. Mindenféle új technológia robbant fel. Megvan az internet, adatfolyamok, felhő bevezetés, a Hadoop továbbra is érett és örökbefogadott. Van automatizálás, gépi tanulás, és mindezt természetesen az adatok aláhúzzák. És a vállalkozások egyre több adatot vezetnek a nap folyamán. És természetesen az a lényeg, hogy tudáshoz és felfedezéshez vezet, és, tudod, jobb döntéseket hoz. De ahhoz, hogy az adatok valóban a lehető legtöbb értéket nyújtsák, könnyen elérhetővé kell válni. Ha bezárva tartják, eltemetik, vagy néhány ember agyába kerülnek a vállalkozáson belül, ez nem fog sok jót tenni az egész vállalkozás számára.
És gondoltam az adatkatalógusra és a könyvtárak természetesen gondolkodására, ahol régen oda mentél, ha valamit meg kellett találnod, ha témát kellett kutatniuk, vagy valamilyen információt meg kellett keresniük, a könyvtárba mentek, és természetesen meglátogatta a kártyakatalógust, vagy azt a ravasz hölgyet, aki ott dolgozott. Nagyon szórakoztató volt a kóborolás is, ha csak meg akarta nézni, és biztos, hogy talán csak valami ügyeset fedez fel, érdekes tényeket találhat meg, amelyeket még nem tudott, de ha valóban szüksége volt valami megismerésére., és tudta, hogy mit keres, szükség van a kártyakatalógusra, és természetesen a vállalati egyenértékű adatkatalógus is, amely segíthet megvilágítani az összes adatot felhasználóink számára, hogy gazdagítsák, felfedezzék, megosszák, fogyasszák és valóban segítsenek az emberek gyorsabban és könnyebben jutnak az adatokhoz.
Tehát ma megkaptuk Dez Blanchfield-et, a saját adattudósunkat, és doktor Robin Bloor-t, a saját főanalitikusunkat, David Crawford-ot kapjuk az Alation-től, aki a cég adatkatalógus-történetét fogja beszélni, de először Dez-el fogunk vezetni. Dez, átadom a labdát neked, és a padló a tied.
Dez Blanchfield: Köszönöm, köszönöm, hogy ma megkaptam . Ez a kérdés rendkívül érdekel, mivel szinte minden szervezetben, amellyel napi munkám során találkozom, pontosan ugyanazt a problémát találom, amelyről nagyon röviden beszéltünk a show előtti rendezvényen, és ez az, hogy a legtöbb olyan szervezetnél, amely több mint éve üzleti tevékenységet folytat, rengeteg adat van eltemetve a szervezet körül, különböző formátumok, és valójában olyan ügyfelek vannak, akiknek adatkészletei visszatérnek a Lotus Notes-hez, adatbázisokhoz, amelyek egyes országokban még mindig futnak pszeudointernetként, és ők mind szembesülnek ezzel a kihívással, hogy ténylegesen megtalálják, hol vannak adataik, és hogyan lehet hozzájutni hozzájuk, ki biztosítja az adatokhoz való hozzáférést, mikor biztosítják az adatokhoz való hozzáférést, és hogyan kell katalógust, és hogyan juthat el olyan helyre, ahol mindenki tudja: A) tisztában van azzal, mi van és mi van benne, és B), hogyan lehet hozzáférni ehhez és használni. És természetesen az egyik legnagyobb kihívás a megtalálása, a másik nagy kihívás pedig az, hogy megismerjük, mi van benne, és hogyan lehet elérni.
Lehet, hogy tudom, hogy tucatnyi adatbázisom van, de valójában nem tudom, mi van ott, vagy hogyan lehet megtudni, mi van benne, és mindig, ahogy a bemutató előtti adatokban találjuk meg, sétálni az irodában és kérdéseket feltenni, és a kockafalakon kiabálni, és kipróbálni és kitalálni. Gyakran tapasztalatom szerint előfordulhat, hogy azt is tapasztalja, hogy a recepción sétálgat, a recepción, és azt kérdezi, hogy tudja valaki beszélni akarsz. Gyakran nem mindig az informatikusok, mert nem tudják az adatkészletet, mert valakit éppen létrehoztak, és ez valami egyszerű is lehet - gyakran találunk valamilyen projektet, amely feláll az informatikai környezetben, és a projektmenedzser mindent felhasznált egy táblázatot, és rengeteg értékes információt kapott az eszközök és a környezet, valamint a nevek körül, és ha nem ismeri a projektet, és nem ismeri azt a személyt, akkor egyszerűen nem találja meg ezt az információt. Csak nem érhető el, és meg kell szereznie az eredeti fájlt.
Van egy olyan kifejezés, amelyet áttörtek az adatok vonatkozásában, és nem feltétlenül értek egyet azzal, de szerintem ez egy aranyos kis dobóeszköz, vagyis bizonyos mennyiségű ember azt gondolja, hogy az adatok az új olaj, és én biztos, hogy ezt később ma is valamilyen szempontból meg fogjuk vizsgálni. De amit észrevettem, természetesen részesei ennek az átalakulásnak, az, hogy az üzleti vállalkozások szervezetei, amelyek megtanultak értékelni adataikat, jelentős előnyt szereztek versenytársaikkal szemben.
Körülbelül öt vagy hat évvel ezelőtt volt egy érdekes cikk az IBM-nél, és körülbelül 4000 céget vizsgáltak meg itt Ausztráliában, és összegyűjtötték az összes információt, teljesítményadatokat, pénzügyi információkat, összegyűjtötték egy forró edénybe, majd elküldték az ausztrál közgazdaságtudományi iskolának, és ténylegesen itt kezdtek közös tendenciát kialakítani, és az volt az, hogy a technológiát kihasználó vállalkozások mindig olyan versenyelőnyt szereztek társaikkal és versenytársaikkal szemben, hogy versenytársaik szinte soha nem tudnak felzárkózni, és azt hiszem ez nagyon igaz a helyzet az adatokkal kapcsolatban, amelyeket látunk, amikor az emberek digitális átalakulásnak hívják azokat a szervezeteket, amelyek egyértelműen kitalálták, hogyan keressék meg a megszerzett adatokat, hogy ezeket az adatokat elérhetővé tegyék, és nagyon könnyű fogyóeszközként elérhetővé tegyék. a szervezet számára, anélkül, hogy mindig tudnánk, miért lehet szüksége a szervezetnek, és jelentős előnyt szerezzünk a versenytársakkal szemben.
Van néhány példa erre a diára, amelyeket láthat. Az egyik vonalom az, hogy véleményem szerint szinte minden iparágban zajló nagymértékű zavarokat adatok támasztják alá, és ha a jelenlegi tendenciáknak valami köze van, akkor véleményem szerint csak tényleg Azért indult, mert amikor a régóta fennálló márkák végre felébrednek, hogy mit jelent ez, és belépnek a játékba, akkor nagykereskedelemben lépnek be a játékba. Amikor az olyan nagykereskedők, akiknek adatai vannak hegyekben, elkezdenek valamilyen történelmi elemzést alkalmazni az adatokra, ha még tudják, hogy létezik, akkor az online játékosok közül néhány egy kis ébresztési hívást fog kapni.
De a legtöbb ilyen márkanév alatt azt értem, hogy megvan az Uber, aki a világ legnagyobb taxi társasága. Nincsenek taxik, tehát mi teszi varázslatossá őket, mi az adatuk? Az Airbnb, a legnagyobb szállás szolgáltató, megvan a WeChat, a világ legnagyobb telefonszolgáltatója, ám nincs tényleges infrastruktúrájuk, nincs kézibeszélõ és telefonvonal. Alibaba, a bolygó legnagyobb kiskereskedője, ám nem tartozik a készletbe. Facebook, a szó legnagyobb médiavállalata. Úgy gondolom, hogy az utóbbi számban most 1, 4 milliárd aktív adatfelhasználójuk volt, ami gondolkodást okoz. Nem található sehol a közelben - azt hiszem, valaki azt állította, hogy a bolygó egynegyede valójában ott van minden nap, és mégis itt van egy tartalomszolgáltató, amely valójában nem hozza létre a tartalmat, az összes általuk szolgáltatott adatot nem saját készítette, hanem létrehozta. előfizetőik által, és mindannyian tudjuk ezt a modellt.
A SocietyOne, amelyről esetleg nem is hallottál, ez egy helyi márka. Úgy gondolom, hogy néhány országban ez egy olyan bank, amely valójában peer-to-peer hiteleket nyújt, tehát más szavakkal nincs pénze. Csak annyit jelent, hogy kezeli a tranzakciókat, és az adatok alatt vannak. Netflix, mindannyian nagyon, nagyon ismerjük ezt. Van itt egy érdekes vonalhajózó. Amikor a Netflix-et jogszerűen lehetett használni Ausztráliában, amikor hivatalosan is bejelentették, akkor nem kellett VPN-t használnia ahhoz, hogy elérjék, sok ember szerte a világon hajlamos - ha nem tudod elérni a helyi térségben. - amikor a Netfix Ausztráliában elindult, 40 százalékkal növelte az internetes kapcsolataink nemzetközi sávszélességét, tehát csaknem megkétszereződött az ausztráliai internethasználat egy éjszakán keresztül, csupán egy alkalmazás, egy felhő által üzemeltetett alkalmazás, amely csak az adatokkal játszik. Ez csak egy elgondolkodtató statisztika.
És természetesen mindannyian ismerjük az Apple-t és a Google-t, de ezek a legnagyobb szoftvervállalatok a bolygón, mégsem írják le az alkalmazásokat. Mi a következetes dolog ezekkel a szervezetekkel? Nos, adatok vannak, és nem jutottak oda, mert nem tudták, hol vannak az adatuk, és nem tudták, hogyan kell katalogizálni.
Most azt tapasztaljuk, hogy létezik ez az egész új eszközosztály, amelyet adatnak neveznek, és a vállalatok felébresztik azt. De nem mindig rendelkeznek eszközökkel, know-how-val és miért, hogy ezeket az adatokat feltérképezzék, ezeket az adatokat katalogizálják és elérhetővé tegyék, de azt tapasztaltuk, hogy szinte nem fizikai eszközökkel rendelkező vállalatok magas piaci értéket szereztek rögzítse az időt ezen új adatvagy-osztályon keresztül. Mint mondtam, néhány régi játékos most felébred erre, és minden bizonnyal kihozza azt.
Nagy rajongóm vagyok a népi utazás egy kis részén, tehát a tizennyolcszáz, a tizennyolcszázadik században, és többet fogsz tudni erről az amerikai piacon, kiderült, hogy a népszámláláshoz Úgy gondolom, hogy évente tízévente futtatta őket, de ha évente népszámlálást fog készíteni, akkor akár nyolc vagy kilenc évbe is telhet, amíg ténylegesen elvégzi az adatok elemzését. Kiderült, hogy ez az adatkészlet papíronként dobozokban maradt, és szinte senki sem találta meg. Csak tovább pumpálta ezeket a jelentéseket, de a tényleges adatokat nagyon nehéz beszerezni, hasonló helyzet van egy másik világ szempontjából jelentős pillanattal, az 1940-es évek körül, a második világháborúval, és ez a Bletchley Park Bombe Bombát írta., és egy hatalmas, számot ropogó elemző eszköz volt, amely kis adatkészleteken halad keresztül, jeleket találhat benne, és arra szolgál, hogy segítsen feltörni a kódokat az Enigmán keresztül.
Ez a lényeg ismét lényegében egy olyan eszköz volt, amelyet nemcsak katalogizáltak, hanem az adatok címkézésére és leképezésére, és lehetővé tették a minták felvételét és az adatkészletekben történő megtalálását, ebben az esetben a kódok törését, a kulcsok és kifejezések megtalálását és a rendszeresen az adatkészletekben, és így ezen az úton haladtunk az adatokban található dolgok megtalálása és az adatok katalogizálása felé vezető úton.
És akkor jöttek ezek a dolgok, ezek a hatalmas, olcsó gépek állványok, csak a polcokon. És csináltunk néhány nagyon érdekes dolgot, és az egyik dolog, amit velük tettünk, nagyon olcsó klaszterek építése, amelyek elkezdhetik a bolygó indexálását, és nagyon híresen ezek a nagy márkák, amelyek jöttek és mentek, de valószínűleg a Google a leggyakoribb otthona márka, amiről mind hallottunk - valódi igevé válik, és tudod, hogy sikeres vagy, amikor márkád ige lesz. Amit a Google megtanított nekünk, anélkül, hogy észrevennénk, valószínűleg az üzleti világban, az volt, hogy képesek voltak az egész bolygót egy bizonyos szintre indexelni, és katalógusba állítani az egész világon található adatokat, és nagyon könnyen elérhetővé tették őket, Kényelmes forma egy kicsit apró, egysoros képletben, egy olyan weboldal, amelyben szinte semmi nincs rajta, és beírja a lekérdezést, megy és megtalálja, mert már bejárták a bolygót, indexelték és könnyen elérhetővé tették.
És amit észrevettünk: „Nos, tedd fel, nem ezt csináljuk szervezetekben - miért van ez? Miért van olyan szervezetünk, amely képes az egész bolygót feltérképezni, indexelni, feltérképezni és indexelni, és elérhetővé tenni, megkereshetjük, majd rákattinthatunk az elindulásra és megtalálhatjuk, hogy jön még nem tette meg ezt belsőleg? ”Tehát a világon sok ilyen apró gépsor található, amelyek intranetekhez készülnek és dolgokat találnak, ám ezek valójában csak megragadják azt a gondolatot, hogy túljutnak a hagyományos interneten. oldal vagy fájlkiszolgáló.
Ahelyett, hogy sokrétűen belépnénk az új generációs adatkatalógusba, az adatokhoz való hozzáférés felfedezése post-it jegyzetek és vízhűtéses beszélgetések révén nem valóban megfelelő módszer az adatok felfedezésére és katalogizálására, és valójában nem hiszem, hogy soha valóban volt. Többé nem vezethetjük ezt a teljes kihívást az embereknek, akik csak jegyzeteket továbbítanak, jegyzeteket feladnak és beszélgethetnek róla. Jól és valóban túl vagyunk azon a területen, ahol az adatkatalógus következő megközelítése jött és ment. Körbe kell vennünk a karjainkat. Ha ez egy könnyű kérdés, akkor már korábban sok szempontból megoldottuk azt, de szerintem ez nem könnyű kérdés, csak az adatok indexálása és meghívása csak egy része, tudva, mi van az adatokban, és a metaadatok összeállítása a felfedezés körül, majd könnyű, fogyasztható formában elérhetővé tétele, különösen az önkiszolgálás és az elemzés számára. Még mindig megoldódik a probléma, de a puzzle öt éven belül sok része jól megoldható és elérhető.
Mint tudjuk, az emberek az adatok katalogizálása a kudarc receptje, mivel az emberi hibák az egyik legnagyobb rémálom, amellyel az adatfeldolgozásban foglalkozunk, és rendszeresen beszélek erről a témáról, ahol véleményem szerint az emberek valószínűleg a legnagyobb rémálom a papírlapok kitöltése. nagy adatokkal és elemzéssel foglalkozunk, hogy folyamatosan javítsuk az általuk elvégzett dolgokat, még az egyszerű dolgokig is, például a dátumokhoz és a mezőkhöz, az emberek rossz formátumba állítva.
De amint mondtam, láttuk, hogy az internetes keresőmotorok minden nap indexelik a világot, tehát arra gondolunk, hogy az üzleti adatkészleteknél a felderítési folyamatban meg lehet csinálni, és az eszközök és rendszerek könnyen elérhető, mivel ma készül tanulni. Tehát a trükk, véleményem szerint, a megfelelő eszközök kiválasztása, a legjobb eszközök a munkához. És még inkább, ráadásul megtaláljuk annak megfelelő részét, amely segít megkezdeni ezt az utat. És azt hiszem, hogy erről ma hallunk, de mielőtt megtennénk, átmegyek a főiskolámhoz, Robin Bloorhoz, és hallom, hogy ő foglalkozik a témával. Robin, átadhatom neked?
Robin Bloor: Igen, természetesen megteheti. Lássuk, működik-e ez, igen, igen. Oké, más irányból jöttem, mint a Dez valójában, de ugyanabban a helyen leszek. Ez az adatokhoz való kapcsolódásról szól, tehát csak azt hittem, hogy pontosan átjárom az adatokhoz való kapcsolódás valóságát.
Való tény, hogy az adatok szélesebb körűen fragmentáltak, mint valaha. Az adatmennyiség fenomenálisan növekszik, de valójában a különféle adatforrások hihetetlen ütemben növekednek, ezért az adatok folyamatosan egyre széttöredezettebbé válnak. De különösen az analitikai alkalmazások miatt - de nem csak ezek az alkalmazások - valóban jó oka van arra, hogy csatlakozzunk ezekhez az adatokhoz, tehát nehéz helyzetben vagyunk, egy szétaprózott adatok világában vagyunk, és van lehetőség az adatokban, amikor Dez az új olajnak hívta.
Az adatokról nos, hogy forgó lemezen éltek, akár fájlrendszerekben, akár adatbázisokban. Most sokkal változatosabb környezetben él, fájlrendszerekben, de manapság Hadoop példányokban, vagy akár Spark példányokban is. Több adatbázisban él. Nem olyan régen szabványosítottunk néhány relációs adatbázist, és tudod, hogy az elmúlt öt évben kinyílt az ablakon, mert szükség van dokumentum-adatbázisokra és grafikon-adatbázisokra, tehát tudod, a játéknak van megváltozott. Tehát forgó lemezen élt, de most SSD-n él. A legfrissebb SSD mennyiség - minden bizonnyal a legújabb SSD egység a Samsungtól jön ki - húsz gigabájtot, ami hatalmas. Most a memóriában él, abban az értelemben, hogy az adatok elsődleges példánya lehet a memóriában, nem pedig a lemezen. Ilyen rendszereket nem építettünk; mi most. És a felhőben él. Ami azt jelenti, hogy ezekben a dolgokban élhet, felhőben, nem feltétlenül tudja, hol van felhőben, csak a címe lesz.
Csak annak érdekében, hogy a hazafelé haladjon, Hadoop eddig nem volt bővíthető adattároló. Reméljük, hogy ez kibővíthető méretű adattárolóvá válik, és csakis egyetlen fájlrendszerré válik mindenre, és így is lesz - alapvetően szivárványok jelennek meg az égen, és az egyszarvúak körül táncolnak, és erre sem került sor. Ami azt jelenti, hogy az adatátvitel problémájával állunk szemben, és időnként nincs szükség az adatátvitelre, de ez is nehézség. Manapság az adatoknak tényleg gravitációja van, miután bekerült a multi-terabájtos adatokba, felvette és körülvette őket, oka lehet, hogy a késések megjelennek a hálózatán, vagy hogy különböző helyeken jelennek meg. Ha adatot szeretne továbbítani, az időzítés fontos tényező. Manapság szinte mindig van bizonyos korlátozás arra vonatkozóan, hogy mennyi időt kell elérnie egy dolog, egy adat egyik helyről a másikra történő átvételéhez. Korábban úgy gondoltuk, mint kötegelt ablakok, amikor a gép ilyen tétlen volt, és függetlenül attól, hogy mennyi adatot birtokol, egyszerűen csak eldobhatja, és mindez működni fog. Nos, ez eltűnt, sokkal valós idejű világban élünk. Ezért az időzítés tényező. Amint át akarja helyezni az adatokat, tehát ha az adatok gravitációban vannak, valószínűleg nem tudja áthelyezni azokat.
Az adatkezelés tényező abban az értelemben, hogy ténylegesen meg kellett kezdenie ezeket az adatokat, ezeket nem kapja meg ingyen, és szükség lehet a replikációra annak érdekében, hogy az adatok valóban megszerezzék a szükséges munkát, mert Lehet, hogy nem mindenhol helyezkedik el. Lehet, hogy nincs elegendő erőforrása az adatok normál feldolgozásához. Így az adatok megismétlődnek, és az adatok többször is megismétlődnek, mint amennyit képzelne. Úgy gondolom, hogy valaki régen azt mondta nekem, hogy az átlagos adat legalább két és fél alkalommal ismétlődik. Az ESB-k vagy a Kafka lehetőséget kínál az adatáramlásra, de manapság ehhez architektúrát igényel. Manapság tényleg úgy kell gondolkodnia úgy vagy úgy, hogy mit jelent valójában az adatátvitel. Ezért általában előnyösebb az adatokhoz való hozzáférés, ahol van, mindaddig, amíg természetesen megkapja a szükséges teljesítményt, amikor ténylegesen megkeresi az adatokat, és ez a kontextustól függ. Tehát ez nehéz helyzet mindenesetre. Az adatkérdezésekkel kapcsolatban szoktunk gondolkodni az SQL vonatkozásában. Most tényleg felmerült a kérdés különféle formáival, SQL igen, de a szomszédos, gráfos lekérdezésekkel is, a Spark csak egy példa a grafikon készítése, mivel szöveges keresést is kell végeznünk, mint eddig valaha is, a regex típusú kereséseket is elvégezzük, ami valóban bonyolult minták keresése, és valódi mintázati illesztés: ezek a dolgok valójában buborékosak. És mindegyik hasznos, mert megkapja azt, amit keres, vagy megkaphatja azt, amit keres.
A napokban végzett lekérdezések több adatot fednek le, tehát nem mindig tette ezt, és a teljesítmény gyakran megdöbbentő, ha ezt megteszi. Tehát ez a körülményektől függ, de az emberek elvárják, hogy több adatforrásból is lekérdezzék az adatokat, így az egyik vagy másik fajta adatföderáció egyre aktuálisabbá válik. Az adat virtualizáció, amely a teljesítménytől függően más módon is megtehető, szintén nagyon gyakori. Az adatkérdezések valójában egy folyamat részét képezik, nem pedig az egész folyamatot. Érdemes rámutatni arra, hogy ha ténylegesen az elemzési teljesítményre vonatkozik, akkor a tényleges elemzés szörnyen sokkal tovább tarthat, mint az adatgyűjtés, mert ez a körülményektől függ, de az adatkérdezések feltétlenül szükségesek, ha bármilyen egyfajta elemzés több adatforráson, és valójában tényleg olyan képességekkel kell rendelkeznie, amelyek átfogóak.
Tehát a katalógusokról. A katalógusok okból léteznek, legalább azt mondjuk, hogy tudod, vannak könyvtárak, sémák vannak adatbázisokban, és mindegyik katalógusunk van, és bárhol is van, egy helyet fog találni, és akkor valójában úgy találja, hogy van valamilyen katalógus, és az egységes globális katalógus egy nyilvánvalóan jó ötlet. De nagyon kevés vállalat rendelkezik ilyennel. Emlékszem, vissza a kétezer - a kétezer pánik évben - emlékszem arra, hogy a kommunisták még azt sem tudták meghatározni, hogy hány végrehajtható programja van, nem gondolkodva, hány különböző adattároló van, és valószínűleg ez a helyzet most is, tudod, hogy a legtöbb vállalat nem ismeri aktívan globális értelemben, hogy milyen adatokkal rendelkeznek. De nyilvánvalóan egyre inkább szükségessé válik egy globális katalógus létrehozása, vagy legalább egy átfogó kép megismerése arról, hogy mi történik az adatforrások növekedése és az alkalmazások folyamatos növekedése miatt, és ez különösen az elemzéshez szükséges, mert ön is egyfajta, és vannak más kérdések itt is, mint a vonal és az adatokkal kapcsolatos problémák, és a biztonsághoz az adatkezelés sok szempontjára van szükség, ha valóban nem tudja, milyen adatokkal rendelkezik, az ötlet hogy abszolút abszurd, hogy kormányozni fogod. Tehát az összes adat valamilyen módon katalogizálva csak tény. A kérdés az, hogy a katalógus koherens-e, és valójában mit lehet ezzel csinálni. Tehát visszamegyek Rebecca-ba.
Rebecca Jozwiak: Oké, köszönöm Robinnak. Következőként megkapjuk David Crawford-ot az Alation-től. David megyek előre, és átadom a labdát neked, és elveheted.
David Crawford: Nagyon köszönöm. Nagyon nagyra értékelem, hogy srácok, akik velem vannak ezen a show-n. Úgy gondolom, hogy elkezdem ezt kezdeni, ezért úgy gondolom, hogy itt az a szerep, hogy átvegyem ezt az elméletet és megnézem, hogyan valósul meg annak alkalmazása, és milyen eredményeket tudunk elérni a valódi ügyfeleknél, és így láthatjuk néhányan a dián, szeretnék beszélni arról, hogy milyen eredményeket fogunk látni az analitikai fejlesztésekben. Tehát a vita motiválása érdekében arról fogunk beszélni, hogy hogyan jutottak oda. Tehát szerencsés vagyok, hogy nagyon szorosan együttműködtem sok igazán okos emberrel, ezekkel az ügyfelekkel, és csak néhányat szeretnék rámutatni, akik képesek voltak ténylegesen mérni, és beszélni arról, hogy az adatkatalógus milyen hatással volt elemzőjükre. munkafolyamatot. És csak azért, hogy rövidesen az élen maradjunk, azt hiszem, az egyik dolog, amelyet látunk megváltoztatni, az adatkatalógusokkal szemben a korábbi közvetített megoldásokkal, és az egyik módja annak, hogy a kapcsolatok valóban gondolkozzanak az általunk összeállított megoldásokra, az elemzőktől kezdve. és dolgozzon hátra. Mondjuk, tegyük ezt az elemzők termelékenységének lehetővé tételére. A pusztán a megfelelés ellen vagy a pusztán leltár elkészítésével szemben olyan eszközt készítünk, amely az elemzőket termelékenyebbé teszi.
Tehát, amikor egy pénzügyi szolgáltatóval, a Square Square szolgáltatással foglalkozom egy tudóssal, van egy srác, Nick, aki elmondta nekünk, hogy az ő több órát vett igénybe, hogy megtalálja a megfelelő adatkészletet a jelentés elindításához, és most másodpercek alatt elvégezze a piaci részesedés szerinti keresést, beszélgettünk a CTO-val, aki az Square elemét használó elemzőinek, bocsánat, az Alation-ot használta, hogy megtudja, mi az, milyen előnyöket láttak, és 50 a termelékenység százalékos növekedése, és hogy a világ egyik legnagyobb kiskereskedőjének, az eBay-nek több, mint ezer embere van, akik rendszeresen végeznek SQL elemzést, és nagyon szorosan együtt dolgozom ott a Deb Says-szal, aki a projekt Az adatkezelő csapat vezetője, és úgy találta, hogy amikor a lekérdezők elfogadják az Alation-t, elfogadnak egy katalógust, akkor kétszer olyan gyors sebességgel látják az új lekérdezések írását az adatbázishoz képest.
Tehát ezek valódi eredmények, ezek az emberek ténylegesen alkalmazzák a katalógust a szervezetükben, és szeretném átnézni, mi szükséges ahhoz, hogy felálljon. Hogyan épül fel egy katalógus egy vállalatban, és talán a legfontosabb dolog az, hogy nagy része automatikusan történik, tehát Dez beszélt a rendszerekről, a rendszerek megismeréséről, és pontosan ezt teszi a modern adatkatalógus. Tehát telepítik az Alation-t az adatközpontjukba, majd összekapcsolják az adatkörnyezetük különböző metaadat-forrásaival. Kicsit az adatbázisokra és a BI eszközökre koncentrálok - ezek közül mindkettőből ki fogjuk vonni a műszaki metaadatokat, alapvetően arról, hogy mi létezik. Rendben, mi az asztalok? Milyen jelentések? Mik a jelentésdefiníciók? Tehát kibontják a műszaki metaadatokat, és automatikusan létrejön egy katalógus lapot a rendszerben lévő minden objektumra, majd kibontják és rétegelik a műszaki metaadatok tetejére, és rétegetik a felhasználási adatokat. Ez elsősorban az adatbázis lekérdezési naplóinak olvasásával történik, és ez egy igazán érdekes információforrás. Tehát minden alkalommal, amikor egy elemző lekérdezést ír, amikor egy jelentéstételi eszköz - függetlenül attól, hogy otthont termesztett-e vagy nem - a polcon, akkor a jelentéskészítő eszköz lekérdezést futtat-e az irányítópult frissítése érdekében, amikor egy alkalmazás lekérdezést futtat az adatok beszúrására, hogy működjön adatkészlet - ezeket a dolgokat az adatbázis-lekérdezési naplók rögzítik. Függetlenül attól, hogy van-e katalógusa, vagy nem, rögzíti őket az adatbázis lekérdezési naplójában. Az adatkatalógus, és különösen az Alation katalógusa képes ezeket olvasni, beolvasni ezeket a naplókat, megkérdezni a benne levő kérdéseket, és létrehozni egy igazán érdekes felhasználási grafikont ezen naplók alapján, és ezt a játékba vesszük a jövőbeli felhasználók tájékoztatása érdekében az adatok arról, hogy az adatok korábbi felhasználói hogyan használták fel.
Tehát összegyűjtjük ezeket az ismereteket egy katalógusba, és csak annak érdekében, hogy ezt valóban megvalósítsuk, ezeket az integrációkat már telepítettük az ügyfelekre, tehát láttuk az Oracle, a Teradata, a Redshift, a Vertica és egy csomó más relációs adatbázisok. A Hadoop világában számos SQL található a Hadoop-on, egyfajta relációs, meta-tároló a Hadoop fájlrendszer tetején, az Impala, Tez, Presto és Hive, a felhő Hadoop magánszolgáltatókkal, mint például az Altiscale, sikerrel jártunk, és mi képesek voltak csatlakozni a Tableau szerverekhez, a MicroStrategy szerverekhez és indexelni az ott található műszerfalonkat, valamint integrációkat végeztek az olyan tudományos térképészeti eszközökkel, mint a Plotly.
Tehát csatlakozunk ezekhez a rendszerekhez, összekapcsoltuk ezeket a rendszereket az ügyfelekkel, behúztuk a műszaki metaadatokat, bevontuk a használati adatokat, és automatikusan elkészítettük az adatkatalógust, de ily módon a tudás központosítása, de csupán a dolgok adatkatalógusba történő központosítása önmagában nem biztosítja azokat a igazán csodálatos termelékenységnövelő tényezőket, amelyekről az eBay-vel, a Square-rel és a piaci részesedéssel beszéltünk. Ennek érdekében valójában meg kell változtatnunk azt a módszert, amellyel gondolkodunk az elemzők számára az ismeretek átadásáról. Az egyik kérdés, amelyet felkérnek felkészíteni erre: „Hogyan befolyásolja a katalógus valójában az elemző munkafolyamatát?”
Ez az, amit egész nap gondolkodunk, és annak érdekében, hogy beszéljünk erről a gondolkodás változásáról, a push versekről a pull modellről, gyors analógiát akartam készíteni azzal, hogy milyen volt a világ a Kindle előtt és után. Tehát ez csak egy tapasztalat, amelyet néhányan kaphatnak, amikor egy fizikai könyvet olvasnak, amikor találkoznak egy szóval, nem biztosak abban, hogy nagyon jól tudják a szó meghatározását, talán kitalálhatják a kontextusból, nem valószínű, hogy felszállnak a kanapéra, sétálnak a könyvespolchoz, megtalálják a szótárat, lerontják, és a megfelelő helyre fordulnak a szavak ábécé sorrendjében, hogy megbizonyosodjanak arról, hogy igen, pontosan voltad ezt a meghatározást, és tudod az árnyalatait. Tehát nem igazán történik meg. Tehát vásárol egy Kindle alkalmazást, és elkezdi ott olvasni könyveket, és olyan szót lát, amelyben nem vagy teljesen biztos, és megérinti a szót. Hirtelen, ugyanazon a képernyőn, a szó szótár-meghatározása minden árnyalattal, különböző példákkal, és egy kicsit elcsúsztat, és kap egy Wikipedia cikket erről a témáról, újra ellop, kapsz egy olyan fordítóeszközt, amely képes lefordítani más nyelvekre vagy más nyelvekre, és hirtelen a nyelvtudásod sokkal gazdagabb, és ez hihetetlenül sokszor fordul elő, összehasonlítva azzal, amikor kellett menni és húzza magának ezt az erőforrást.
És ezért azt fogom vitatni, hogy az elemző munkafolyamata és az, hogy az elemző hogyan kezeli az adatdokumentációt, valójában nagyon hasonló ahhoz, ahogyan az olvasó interakcióba lép a szótárral, akár fizikai, akár pedig a Kindle, és így mi, ahogyan valóban láttuk ezt a termelékenységnövelést, nem a katalógus kiömlése, hanem az elemző munkafolyamatához történő csatlakoztatása, és ezért felkértek, hogy tegyek itt egy demonstrációt, és szeretnék hogy ennek a bemutatónak a középpontjában álljon. De csak meg akarom állítani a demo kontextusát. Amikor arra gondolunk, hogy az adattudást a felhasználóknak továbbadjuk, amikor szükségük van rá, úgy gondoljuk, hogy a megfelelő hely erre, az a hely, ahol időt töltenek és ahol elemzik, egy SQL lekérdező eszköz. Egy olyan hely, ahol SQL lekérdezéseket írhat és futtathat. Így készítettünk egyet, és építettük, és a dolog, amely valóban különbözik a többi lekérdező eszköztől, az, hogy mélyen integrálódik az adatkatalógusba.
Tehát a lekérdező eszközünk neve Alation Compose. Ez egy web alapú lekérdező eszköz, amelyet másodpercen belül megmutatok neked. Webes alapú lekérdező eszköz, amely az összes előző diaban látott adatbázis-logón keresztül működik. Különösen azt próbálom demonstrálni, hogy a katalógus információk a felhasználók felé kerüljenek. És ezt a különféle háromféle módon hajtja végre. Intervenciókkal teszi meg, és itt valaki, aki adatkezelő, vagy adatkezelő, vagy valamilyen módon adminisztrátor, vagy menedzser, mondhatja: „Szeretnék valamiféle közbeszólást vagy figyelmeztetést tenni a a munkafolyamatot, és győződjön meg arról, hogy a felhasználónak megfelelő időben megtörtént-e. ”Szóval ez egy beavatkozás, és ezt megmutatjuk.
Az intelligens javaslatok olyan módszer, amikor az eszköz a katalógus összesített ismeretét felhasználja a lekérdezés objektumainak és részeinek javaslására, amikor azt írja. A legfontosabb dolog tudni, hogy valóban kihasználja a lekérdezési napló előnyeit, hogy felhasználáson alapuló dolgokat javasoljon, és a korábban írt lekérdezések páros részeit is megtalálja. És megmutatjuk.
És akkor előnézetek. Az előnézetek az, amikor egy objektum nevét gépeljük, mindent megmutatunk, amit a katalógus tud, vagy legalábbis a legrelevánsabb dolgokat, amelyeket a katalógus tud az adott objektumról. Tehát azoknak az adatoknak a mintái, akik már korábban felhasználták, az objektum logikai neve és leírása, mindannyian felmerülnek, amíg megírja, anélkül, hogy kéne kérnie.
Tehát további beszélgetés nélkül eljutok a bemutatóra, és csak megvárom, hogy megjelenjen. A lekérdezés eszköz, amit itt megmutatok. Ez egy dedikált SQL írási felület. Ez bizonyos értelemben a katalógustól különálló felület. Dez és Robin beszélt a katalógusról, és egy kicsit átugrom a katalógus felületén egyenesen arra, hogy hogyan hozták be közvetlenül a munkafolyamat kiszolgálásához.
Csak azt a helyet mutatom meg, ahol beírhatom az SQL-t, és alul látni fogod, hogy van valamilyen információnk az általunk hivatkozott objektumokkal kapcsolatban. Szóval csak elkezdek gépelni egy lekérdezést, és befejezem, amikor eljutok ezen intervenciók egyikéhez. Így beírom a „Kiválaszt” elemet, és szeretném az évet. Akarom a nevet. És keresni fogok néhány fizetési adatot. Tehát ez egy oktatási adatkészlet. Információ van a felsőoktatási intézményekről, és a karok átlagos fizetését nézem, amely az egyik táblázatban található.
Tehát valóban beírtam a „fizetés” szót. Nem pontosan az oszlop nevében. Mind a logikai metaadatokat, mind a fizikai metaadatokat felhasználjuk javaslatok megfogalmazására. És amit itt szeretnék rámutatni, ez a sárga doboz, amely itt jelenik meg. Azt mondja, hogy van egy figyelmeztetés ezen az oszlopon. Nem kerestem ezt, és nem vettem órát az adatok megfelelő felhasználására. Nekem jött, és ez valószínűleg figyelmeztetés az adatokkal kapcsolatos titoktartási megállapodásra. Tehát vannak bizonyos közzétételi szabályok. Ha lekérdezem ezeket az adatokat, ki fogom venni az adatokat ebből a táblázatból, körültekintőnek kell lennem az adatok nyilvánosságra hozatalánál. Tehát itt van kormányzási politikája. Van néhány megfelelési kihívás, amely sokkal könnyebbé teszi e politika betartását, amikor tudom róla, amikor az adatokat vizsgálom.
Tehát nekem ez jön, és aztán a tandíjat is megnézem. És itt látjuk, hogy az előnézetek játszódnak. Ezen a tandíj oszlopban látom - van egy tandíj oszlop az intézménytáblán, és ennek profilját látom. Alation megy, és kihúzza a mintát az asztalokból, és ebben az esetben megmutat valamit, ami elég érdekes. Megmutatja az értékek eloszlását, és azt mutatja, hogy a nulla érték 45-szer jelent meg a mintában, és több, mint bármely más érték. Tehát van bizonyos érzésem, hogy esetleg hiányoznak bizonyos adatok.
Ha haladó elemző vagyok, akkor ez már része lehet a munkafolyamatomnak. Különösen, ha különösebben aprólékos vagyok, ahol egy csomó profilozási kérdést tennék meg idő előtt. Amikor új adatokhoz közelítek, mindig arra gondolok, hogy mi az adatlefedettségünk. De ha még nem ismerem az adatelemzést, ha új vagyok ebben az adatkészletben, akkor feltételezhetem, hogy ha van oszlop, akkor mindig kitölti. Vagy azt gondolhatom, hogy ha nem tölti ki, akkor nem nulla, nulla vagy valami ilyesmi. De ebben az esetben nagyon sok nulla van, és ha átlagot csinálnék, akkor valószínűleg tévesek lennének, ha csak azt feltételezem, hogy ezek a nullák valójában nulla nincsenek hiányzó adatok helyett.
De Alation, azáltal, hogy beilleszti ezt az előnézetet a munkafolyamatba, egyfajta kéri, hogy vessen egy pillantást erre az információra, és lehetőséget ad még a kezdő elemzőknek is, hogy láthassanak itt valamit ezekről az adatokról. Tehát megvan az előnézet.
A következő dolog, amit megtennék, megpróbálom kideríteni, hogy mely táblázatokból szerezhető be ez az információ. Tehát itt látjuk az okos javaslatokat. Folyamatosan megy, de különösen itt még nem írtam semmit, de azt javasolja nekem, mely táblákat szeretném használni ehhez a lekérdezéshez. És a legfontosabb dolog erről tudni, hogy kihasználja a használati statisztikák előnyeit. Tehát egy olyan környezetben, mint például az eBay, ahol százezrek táblái vannak egyetlen adatbázisban, amelynek olyan eszköze van, amely valamilyen módon eltalálja a búzát a pelyvákból, és ezeknek a felhasználási statisztikáknak a felhasználása nagyon fontos a javaslatokat érdemel valami.
Szóval javasolni fogja ezt a táblázatot. Az előnézetet megnézve valójában három oszlopot kiemelünk, amelyeket a lekérdezésemben már említettem. Szóval tudom, hogy van három, de nincs neve. Meg kell szereznem a nevet, tehát csatlakozni fogok. Amikor csatlakozom, most megint vannak ezek az előnézetek, amelyek segítenek megtalálni, hol van a névvel ellátott táblázat. Tehát látom, hogy ennek szépen formázott, megfelelő módon nagybetűs névvel rendelkezik. Úgy tűnik, hogy mindegyik intézménynek van egy sor neve, tehát megragadom ezt, és most szükségem van egy csatlakozási feltételre.
Tehát itt, amit Alation csinál, ismét visszatekint a lekérdezési naplókra, látja, hogy e két tábla korábban csatlakozott-e, és különféle javaslatokat javasol a csatlakozásukhoz. Még egyszer, van valamilyen beavatkozás. Ha az egyiket megnézem, akkor kap egy figyelmeztetést, amely megmutatja, hogy ezt csak az aggregált elemzéshez szabad felhasználni. Valószínűleg hibát fog eredményezni, ha intézményenként próbál tenni valamit az intézményenként. Míg ezt az OPE ID azonosítóval jóváhagyják a két táblázat összekapcsolásának megfelelő módjaként, ha egyetemi szintű adatokra van szükség. Tehát megteszem, és ez egy rövid lekérdezés, de a lekérdezésemre úgy írtam, hogy valójában nem feltétlenül kellett volna betekintést nyernem az adatokba. Soha nem néztem meg ezen adatkészlet ER diagramját, de már nagyon sokat tudok ezekről az adatokról, mert a releváns információk hozzám érkeznek.
Tehát ezek a háromféle módszer, amelyekkel a katalógus egy integrált lekérdező eszköz révén közvetlenül befolyásolhatja a munkafolyamatot, amikor lekérdezéseket ír. A lekérdező eszköz katalógusba történő integrációjának egyik további előnye az, hogy amikor befejezem a lekérdezést és elmentem, el tudom helyezni egy olyan címet, mint „Intézmény tandíja és kari fizetés”, és itt van egy gombom, amely lehetővé teszi, hogy csak közzéterem a katalógusban. Nagyon könnyű lesz ezt visszakapcsolni. Még ha nem is teszem közzé, akkor a lekérdezési napló részeként rögzítik, de amikor közzéteszem, valójában annak a központnak a részévé válik, ahol az összes adattudás él.
Tehát, ha rákattintunk az összes lekérdezés keresése az Alation-en elemre, megteszem - és itt látni fogja még néhány a katalógus felületét - egy dedikált lekérdezés-keresésbe kerül, amely megmutatja nekem, hogyan lehet a lekérdezésekhez az egész szervezet. És látja, hogy az újonnan közzétett lekérdezésem tetején van. És néhányan itt észrevehetik, amikor a lekérdezéseket rögzítjük, a szerzőket is elfogjuk, és valamilyen módon megteremtjük ezt a kapcsolatot, mint szerzőm és ezen adatobjektumok között, amelyekről most már tudok valamit. És ezen a lekérdezésen és ezen adatobjektumokon dolgozom szakértőként. Ez nagyon hasznos, ha az embereknek meg kell tanulniuk az adatokat, majd megkereshetik a megfelelő embert, akivel megismerkedhetnek. És ha ténylegesen új vagyok az adatokban, függetlenül attól, hogy haladó elemző vagyok - haladó elemzőként, akkor ezt megnézhetem, és egy csomó példát láthatok, amelyekkel új adatkészlettel indíthatnék. Mint valaki, aki nem érzi magát az SQL szuper hozzáértéseként, előre elkészített lekérdezéseket találok, amelyek jelentések lehetnek, amelyeket ki tudok használni.
Itt van Phil Mazanett egyik a meditált SAT-pontokról. Kattintson erre, és kapok egyfajta katalógus oldalt a lekérdezéshez. Ez egy olyan cikkről szól, amely azért íródott, hogy utal erre a lekérdezésre, tehát van néhány dokumentáció, amelyet el kell olvasnom, ha meg akarom tanulni, hogyan kell használni. És megnyithatom a lekérdező eszközben a Összeállítás gombra kattintva, és itt magam is futtathatom anélkül, hogy szerkesztenék. Valójában megismerheti egy kicsit a könnyű jelentéstételi képességeinket, ahol egy lekérdezés írásakor beilleszthet egy ilyen sablonváltozót, és ez egyszerű módon létrehoz egy űrlapot a lekérdezés alapú végrehajtásához. néhány paraméteren.
Szóval ezt kaptam a bemutatóhoz. Visszamegyek a diákra. Csak egyfajta áttekintésként megmutattuk, hogy az adminisztrátor, az adatkezelő hogyan tud beavatkozni, ha figyelmeztetéseket tesz az objektumokra, amelyek megjelennek a lekérdező eszközben, hogy az Alation hogyan használja az adatobjektumok használatával kapcsolatos tudását intelligens javaslatok megfogalmazására, hogyan hozza a profilozásban és más tippekben, amelyek az elemzők munkafolyamatainak javítását szolgálják, amikor bizonyos objektumokat érintnek, és hogy az ilyen típusú adatok miként kerülnek vissza a katalógusba, amikor új lekérdezéseket írnak.
Nyilvánvalóan a szóvivője vagyok a cég nevében. Szép dolgokat fogok mondani az adatkatalógusokról. Ha közvetlenül az egyik ügyfelünktől szeretne hallani, akkor a Safeway-nél működő Kristie Allen elemzői csoportot vezet és igazán hűvös története van arról, amikor egy marketing kísérlet végrehajtásához igazán meg kellett vernie az órát, és hogy az egész a csapat az Alation segítségével együttműködött és nagyon gyorsan megfordult a projektnél. Ezért követheti ezt a bit.ly linket, hogy ellenőrizze ezt a történetet, vagy ha kicsit szeretne hallani arról, hogy az Alation hogyan hozhat létre adatkatalógust a szervezetébe, örömmel állíthatunk fel egy személyre szabott bemutatót. Nagyon köszönöm.
Rebecca Jozwiak: Nagyon köszönöm, David. Biztos vagyok benne, hogy Deznek és Robinnak van néhány kérdése, mielőtt átadnám a közönség kérdéseit és kérdéseit. Dez, előbb akarsz menni?
Dez Blanchfield: Teljesen. Szeretem a közzétett lekérdezések ezen koncepciójának gondolatát, és újra összekapcsolom a szerző forrásával. Régóta bajnok vagyok a házon belüli alkalmazásbolt ötletében, és azt hiszem, hogy ez egy igazán nagy alap, amelyre építhetünk.
Hogy valamiféle betekintést kapjak néhány olyan szervezetbe, amelyben látják ezt csinálni, és néhány sikertörténetből, amelyek valószínűleg az egész utazás során merültek fel, nemcsak az eszköz és a platform felhasználásával, hanem az adatok felkutatására, de aztán átalakítják belső kulturális és viselkedési vonásaikat. Most már van ilyen fajta házon belüli alkalmazásboltja, ahol egyszerűen letöltheti, az a koncepció, ahol nem csak megtalálják, hanem ténylegesen elkezdhetik a kis közösségek fejlesztését az ismeretek megtartóival.
David Crawford: Igen, azt hiszem, meglepettünk. Bízunk benne, hogy a lekérdezések megosztása érdekes mind az Adtech termékmenedzserében, mind az összes ügyféllel kapcsolatban, akikkel beszélgettünk, de még mindig meglepett, hogy ez gyakran az egyik legelső dolog, amelyet az ügyfelek beszélni, mint az értéket, amelyet ki tudnak szerezni az állattól.
Néhány felhasználói tesztelést végeztem a lekérdező eszköz egyik Invoice2go nevű ügyfelünknél, és volt egy viszonylag új termékmenedzser, akik azt mondták - valójában azt mondta nekem, hogy a felhasználói teszt során nem volt reklámozva: „Valójában nem egyáltalán nem írhat SQL-t, kivéve azt, hogy az Alation megkönnyíti. "És természetesen a miniszterelnökként én megragadom:„ Mit értitek, hogyan csináltuk? ", és azt mondta:„ Nos, ez tényleg csak mert be tudok jelentkezni, és látom az összes létező lekérdezést. ”Hihetetlenül nehéz feladat az SQL-lemezzel való kezdés, de meglévő lekérdezés módosítása, ahol láthatja a kiírt eredményt, és elmondhatod, „Ó, csak szükségem van erre a kiegészítő oszlopra” vagy „Szűrnem kell egy adott dátumtartományra”, ez sokkal könnyebb.
Láttuk ezeket a kiegészítő szerepeket, mint például a termékmenedzserek, esetleg az értékesítésben dolgozók, akik elkezdenek felvenni, és akik mindig is akarták megtanulni az SQL-t, és ezt a katalógust használva elkezdenek felvenni. Azt is láttuk, hogy sok vállalat megpróbált valamiféle nyílt forráskódú szoftvert tenni. Megpróbáltam ilyen jellegű dolgokat belsőleg felépíteni, ahol nyomon követi a lekérdezéseket és elérhetővé teszi azokat, és van valami igazán bonyolult tervezési kihívás, amely ezeket hasznossá teszi. A Facebooknak volt egy olyan belső eszköze, amelyet HiPal-nak hívtak, amely elfoglalták a Hive-n írt összes kérdést, de amit rájössz, az az, hogy ha nem kedvesen bántja a felhasználókat, akkor csak egy a kiválasztott állítások nagyon hosszú listája. És mint felhasználó, aki megpróbálja kitalálni, hogy a lekérdezés hasznos-e nekem, vagy ha ez valami jó, ha csak átnézem a kiválasztott állítások hosszú listáját, sokkal hosszabb időbe telik, hogy valami értéket kihozjak ott, mint kezdve a semmiből. Nagyon körültekintően gondolkodtunk azon, hogyan lehet elkészíteni egy olyan lekérdezési katalógust, amely előadja a megfelelő dolgokat és előadja azokat hasznos módon.
Dez Blanchfield: Azt hiszem, mindannyian sok szempontból átmegyünk ezen az úton nagyon fiatalon át a felnőttkorig. Egy csomó technológia. Személy szerint én is ugyanazon a valódi dolgon mentem keresztül, mint például a kódvágás megtanulása. Átmentem magazinokon, majd könyveken, tanulmányoztam egy bizonyos szintet, aztán el kellett mennem, és valójában további képzést és képzést kaptam róla.
De véletlenül azt tapasztaltam, hogy még akkor is, amikor magam oktattam, magazinokat olvastam, könyveket olvastam, és más emberek programjait vágtam, és rámentem a kurzusokra, mégis annyira megtanultam a kurzusok elvégzését, mint hogy csak beszéltem másokkal. emberek, akiknek volt tapasztalata. És azt hiszem, érdekes felfedezés, hogy most, amikor eljuttatjuk az adatok elemzéséhez, alapvetően ugyanazt a párhuzamot látjuk, hogy az emberek mindig meglehetősen okosak.
A másik dolog, amit igazán szívesen megértek, nagyon magas szinten sok szervezet felteszi a kérdést: „Mennyi ideig tart elérni ezt a pontot?” Mi a csúcspontja időkeretenként, amikor az emberek telepítve van a platformod, és elkezdték felfedezni az eszközök típusait? Milyen gyorsan az emberek csak úgy látják, hogy ez a dolog valóban azonnali „a-ha” pillanattá alakul, amikor rájönnek, hogy már nem is aggódnak a megtérülés miatt, mert ott van, de most ténylegesen megváltoztatják üzleti tevékenységüket ? És felfedezték az elveszett művészetet, és arra számítanak, hogy meg tudnak csinálni valami igazán, nagyon szórakoztató dolgot.
David Crawford: Igen, meg tudom kissé érinteni. Úgy gondolom, hogy amikor telepítjük, az egyik szép dolog, az egyik olyan dolog, ami az embereknek kedvelik egy olyan katalógust, amely közvetlenül kapcsolódik az adatrendszerekhez, az, hogy nem kezdődik üresen, ahol meg kell kitöltenie. oldalról oldalra. Ez pontosan igaz a korábbi adatmegoldásokra, ahol egy üres eszközzel kezdenénk, és el kell kezdenünk oldalt létrehozni mindazról, amit dokumentálni szeretnénk.
Mivel oly sok dolgot automatikusan dokumentálunk a metaadatok kibontásával, lényegében a szoftver telepítésétől számított néhány napon belül, így képet kaphat az adatkörnyezetéről, amely legalább 80% ott van az eszközben. És akkor azt hiszem, amint az emberek elkezdenek kérdéseket írni az eszközzel, automatikusan mentésre kerülnek a katalógusba, és így is megjelennek.
Nem akarom, hogy túl lelkesen mondjam el. Szerintem két hét nagyon jó konzervatív becslés, egy hónapra. Két hét vagy egy hónap, konzervatív becslés arról, hogy valóban megfordul-e, és úgy érzi, hogy értéket szerz belőle, mintha elkezdené megosztani valamilyen tudását, és ott tudna megismerkedni az adatokkal.
Dez Blanchfield: Nagyon meglepő, valóban, ha erre gondolsz. Az a tény, hogy néhány olyan nagy adatplatformon, amelyet ténylegesen indexelsz és katalogizálsz, időnként akár éveig is tarthat, mire a megfelelő végrehajtás, telepítés és felállás áll fenn.
Az utolsó kérdés, amelyet feltettem neked, mielőtt átadtam volna Robin Bloornak, a csatlakozók. Az egyik dolog, ami azonnal felugrik rám, nyilvánvalóan rendezte az egész kihívást. Tehát van néhány kérdés nagyon gyorsan. Az egyik, hogy milyen gyorsan épülnek be a csatlakozók? Nyilvánvalóan a legnagyobb platformon indul, mint például az Oracles és a Teradatas, és így tovább, és a DB2. De milyen rendszeresen látja, hogy új csatlakozók jönnek létre, és mekkora átfutási időt vesznek igénybe ezek? El tudom képzelni, hogy van-e számukra egy általános keret. És milyen mélyen mész bele ezekbe? Például a világ oraklusai és IBM-i, sőt még a Tereadata, majd a későbbi nyílt forráskódú platformok népszerűségei. Közvetlenül veled dolgoznak? Felfedezed magad? Szüksége van belső ismeretekre ezen a platformon?
Hogyan néz ki egy csatlakozó kifejlesztése, és mennyire mélységesen vesz részt ezekben a partnerségekben annak biztosítása érdekében, hogy ezek a csatlakozók mindent felfedezzenek, amit csak tudsz?
David Crawford: Igen, persze, ez egy nagyszerű kérdés. Úgy gondolom, hogy nagyrészt ki tudjuk fejleszteni a csatlakozókat. Természetesen akkor tettünk, amikor fiatalabb startup voltunk, és nem volt ügyfeleink. A kapcsolatokat természetesen belső hozzáférés nélkül is fejleszthetjük. Soha nem kapunk különleges hozzáférést azokhoz az adatrendszerekhez, amelyek nem nyilvánosak, és gyakran anélkül, hogy bennfentes információra lenne szükségünk. Kihasználjuk azokat a metaadat-szolgáltatásokat, amelyeket maguk az adatrendszerek kínálnak. Ezek gyakran nagyon bonyolultak és nehezen kezelhetők. Különösen az SQL Server-et ismerem, ahogyan kezeli a lekérdezési naplót, számos különféle konfiguráció létezik, és itt tényleg dolgoznia kell. Meg kell értenie az árnyalatokat, a gombokat és a tárcsákat, hogy megfelelően beállíthassa, és ez az, amelyen dolgozunk az ügyfelekkel, mivel ezt már korábban többször megtettük.
De bizonyos mértékig kihasználjuk az elérhető nyilvános API-kat vagy a rendelkezésre álló nyilvános interfészeket. Partnereink vannak a legtöbb ilyen társasággal, ez főleg a tanúsítás oka, hogy kényelmeseknek érezzék magukat, amikor azt mondják, hogy dolgozunk, és ők is biztosíthatnak nekünk erőforrásokat a teszteléshez, néha korai hozzáférést biztosítanak egy olyan platformhoz, amely kijön, hogy megbizonyosodjon arról, hogy az új verziókon dolgozunk.
Egy új kapcsolat megfordításához azt mondanám, hogy megpróbálom konzervatív lenni, mondjuk hat hét vagy két hónap. Attól függ, hogy milyen hasonló. Tehát a Postgre némelyikének nagyon hasonló a Redshift művei. A Redshift és a Vertica sok részlettel osztozik. Tehát kihasználhatjuk ezeket a dolgokat. De igen, hat hét-két hónap tisztességes lenne.
Van API-k is, tehát - az Alation-t metaadat-platformon is gondoljuk, tehát ha valami nem áll rendelkezésre, hogy elérjük és automatikusan megragadjuk, akkor van mód arra, hogy saját magának írja a csatlakozót, és nyomja be a rendszerünkbe, hogy minden továbbra is központosul egyetlen keresőmotorban.
Dez Blanchfield: Fantasztikus. Nagyra értékelem, hogy. Tehát átadjuk Robinnak, mert biztos vagyok benne, hogy rengeteg kérdése van vele. Vörösbegy?
Rebecca Jozwiak: Robin lehet, hogy néma.
Dez Blanchfield: Némileg van magad.
Robin Bloor: Igen, igaz. Sajnálom, elnémítottam magam. Amikor ezt megvalósítja, mi a folyamat? Kíváncsi vagyok, mert sok helyen sok adat lehet. Szóval hogyan működik ez?
David Crawford: Igen, persze. Bemegyünk, először egyfajta informatikai folyamat, amelynek során megbizonyosodunk arról, hogy kiszolgálónk ki van-e szerelve, biztosítva van-e a hálózati kapcsolatok rendelkezésre állása, hogy a portok nyitva vannak-e, hogy valóban hozzáférhessünk a rendszerekhez. Mindannyian gyakran tudják, hogy mely rendszerekkel akarják kezdeni. Ismerve egy adatrendszer belsejét, amely - és néha valójában segítünk nekik. Segítünk nekik, hogy először áttekintsék a lekérdezési naplót, hogy megértsék, ki mit használ, és hány felhasználója van egy rendszerben. Tehát segítünk kideríteni, hol - gyakran, ha több száz vagy több ezer ember van, akik esetleg bejelentkeznek adatbázisokba, valójában nem tudják, merre jelentkeznek, így megtudhatjuk a A lekérdezés naplózza, hogy hány egyedi felhasználói fiókkal jelentkezhetett be és havonta havonta végrehajtja lekérdezéseit itt.
Tehát kihasználhatjuk ezt, de gyakran csak a legfontosabbat. Felkészítjük őket, és akkor van egy folyamat, amikor azt mondjuk: "Tegyük prioritást." Számos tevékenység létezik, amely párhuzamosan megtörténhet. A lekérdező eszköz használatának képzésére összpontosítanék. Amint az emberek elkezdenek használni a lekérdező eszközt, mindenekelőtt nagyon sok ember szereti azt a tényt, hogy ez csak egy interfész az összes különféle rendszerükhöz. Azt is szeretik, hogy web-alapú, nem igényel semmilyen telepítést, ha nem akarják. Biztonsági szempontból szeretik, ha egyetlen belépési pontjuk van, hálózati szempontból a corp IT hálózat fajtája és az adatközpont között, ahol a termelési adatforrások élnek. Így beállítják az Alation-t lekérdező eszközként, és elkezdenek használni a Compose-t mint hozzáférési pontot ezekhez a rendszerekhez.
Tehát amint ez megtörténik, arra koncentrálunk, ahol a képzésre koncentrálunk, hogy megértsük, mi a különbség a webes vagy a szerver alapú lekérdező eszköz között, szemben az asztalon lévővel, és néhány, az alkalmazás árnyalata között. hogy. Ugyanakkor megpróbáljuk meghatározni a legértékesebb adatokat, ismét kihasználva a lekérdezési napló adatait, és mondván: „Hé, érdemes bemenni, és segítsen az embereknek megérteni ezeket. Kezdjük a reprezentatív lekérdezések közzétételét ezeken a táblázatokon. ”Ez néha a leghatékonyabb módja az emberek nagyon gyors felcsavarodásának. Nézzük meg a saját lekérdezés előzményeit, tegyük közzé ezeket a dolgokat, hogy azok az első lekérdezésekként jelenjenek meg. Amikor az emberek egy asztallapot néznek, láthatják az összes olyan kérdést, amely az adott asztalhoz érkezett, és onnan kezdhetik. És akkor kezdjük el hozzáadni a címeket és leírásokat ezekhez az objektumokhoz, hogy könnyebben megtalálhassák és keressék őket, hogy megismerjék néhány árnyalattal, hogy hogyan kell használni.
Gondoskodunk arról, hogy alaposan megvizsgáljuk a lekérdezési naplót, hogy származékot tudjunk generálni. Az egyik dolgunk, amikor áttekinti a lekérdezési naplót olyan esetekben, amikor az adatok egyik táblából a másikba mozognak, és ez lehetővé teszi számunkra, hogy az adattáblázattal kapcsolatban feltesszük az egyik leggyakrabban feltett kérdést: honnan származik ez? Hogyan bízhatok benne? Tehát nem csak azt mutatjuk meg, hogy mely más táblákból származik, hanem azt is, hogyan alakult át az út mentén. Ezt ismét a lekérdezési napló táplálja.
Tehát gondoskodunk arról, hogy ezek a dolgok fel legyenek állítva, és hogy bekerüljünk a rendszerbe, és megcélozzuk a legértékesebb és legjobban kihasznált metaadatok darabjait, amelyeket az asztali oldalakon tudunk megállapítani, hogy amikor keres, talál valami hasznosat.
Robin Bloor: Oké. A másik kérdés - sok kérdés van a közönség részéről, tehát nem akarom túl sokat foglalni itt az időt - a másik kérdés, amire gondolok, csak a fájdalompontok. Sok szoftvert vásároltunk, mert az embereknek valamilyen módon nehézségekbe ütköznek. Tehát mi a közös fájdalompont, amely az embereket Alationhoz vezet?
David Crawford: Igen. Úgy gondolom, hogy van néhány, de azt hiszem, hogy az egyik elem, amelyet gyakran hallunk, az elemző fedélzetén történik. „Közelebbről 10, 20, 30 embert kell felvenniük, akiknek új betekintést kell készíteniük ezekből az adatokból, hogy fognak gyorsulni?” Tehát a fedélzeten lévő elemzők minden bizonnyal biztosak vagyunk leküzdésére. Emellett megszabadítja a vezető elemzőket attól, hogy minden időt arra töltsék, hogy más emberek kérdéseire válaszoljanak az adatokkal kapcsolatban. Ez is nagyon gyakori. És ezek mind alapvetően oktatási problémák.
Aztán azt mondanám, hogy egy másik hely, ahol látjuk, hogy az emberek átveszik az Alation-t, amikor egy vadonatúj adatkörnyezetet akarnak létrehozni valaki számára, akivel dolgozhatnak. Ezt belsőleg hirdetni és piacra dobni akarják, hogy az emberek kihasználhassák. Ezután az Alation előtérbe helyezése az új elemző környezet számára nagyon vonzó. Megvan a dokumentáció, van egy bevezetési pont a - egyetlen hozzáférési ponthoz a rendszerekhez, tehát ez egy másik hely, ahol az emberek hozzánk jönnek.
Robin Bloor: Oké, továbbadlak Rebecca-nak, mert a közönség megpróbál elérni.
Rebecca Jozwiak: Igen, nagyon sok nagyon jó közönség kérdés van itt. És David, ezt kifejezetten neked jelentették. Valakitől van, aki nyilvánvalóan rendelkezik tapasztalatokkal az emberekkel való visszaélésekkel kapcsolatban, és azt mondja, hogy minél jobban felhatalmazzuk a felhasználókat, annál nehezebb irányítani a számítási erőforrások felelősségteljes felhasználását. Tehát meg tudod védeni a tévesen irányított, de általános lekérdező kifejezések terjedésétől?
David Crawford: Igen, látom ezt a kérdést. Nagyszerű kérdés - egy ilyen kérdést gyakran találunk meg. Már magam is láttam a fájdalmat a korábbi vállalatoknál, ahol a felhasználókat kell kiképezni. Például: „Ez egy naplótábla, évek óta visszatér a naplókba. Ha lekérdezést ír erre a táblára, akkor tényleg korlátoznia kell a dátumot. ”Tehát például ez egy olyan képzés, amelyet egy korábbi cégnél vettem át, mielőtt hozzáférést kaptam az adatbázishoz.
Van néhány módja annak, hogy megpróbáljuk ezt kezelni. Azt mondanám, hogy szerintem a lekérdezési naplóadatok valóban egyedülállóan értékesek annak kezelésére. További betekintést nyújt azzal szemben, amit az adatbázis belsőleg tesz a lekérdezéstervezővel. És mit csinálunk, az egyik ilyen beavatkozás - megvannak a kézi beavatkozások, amelyeket mutattam, és ez hasznos, ugye? Tehát egy adott csatlakozásnál például azt lehet mondani: "Csökkenjük ezt." Nagyon nagy piros zászló lesz, amikor az intelligens javaslatban megjelenik. Szóval ez az egyik módja annak, hogy megpróbáljunk eljutni az emberekhez.
Egy másik dolog, amit teszünk, az automatizálás végrehajtási időbeni beavatkozások során. Ez valóban a lekérdezés elemző fáját fogja használni, mielőtt futtatnánk a látáshoz, tartalmaz-e egy bizonyos szűrőt vagy néhány más dolgot is, amelyeket ott is csinálunk. De az egyik legértékesebb és a legegyszerűbben magyarázható, hogy tartalmaz-e egy szűrőt? Tehát, mint például a példában, amelyet most adtam, ennek a naplótáblának, ha lekérdezi, dátumtartománynak kell lennie, az ott található táblázatoldalon megadhatja, hogy megbízza-e az alkalmazandó dátumtartomány-szűrőt. Ha valaki megkísérel futtatni egy olyan lekérdezést, amely nem tartalmazza ezt a szűrőt, akkor valójában nagy figyelmeztetéssel állítja le őket, és azt mondja: “Valószínűleg hozzá kell adnia néhány ilyen SQL-t a lekérdezéshez.” Folytathatja, ha akarnak. Nem fogjuk valójában teljesen megtiltani őket használatát - ez egy lekérdezés is, a nap végén kell lekérdezéseket futtatnia. De egy nagyon nagy akadályt állítunk előttük, és javaslatot adunk nekik, egy konkrét alkalmazható javaslatot a lekérdezés módosítására teljesítményük javítása érdekében.
Bizonyos esetekben ezt automatikusan megtesszük, ismét a lekérdezési napló megfigyelésével. Ha azt látjuk, hogy az asztalon levő lekérdezések nagyon nagy százaléka kihasználja egy adott szűrő vagy egy adott csatlakozási záradék előnyeit, akkor ezt ténylegesen felbukkanjuk. Ezt elősegítjük egy beavatkozáshoz. Valójában velem történt egy belső adatkészlet. Van vásárlói adataink és felhasználói azonosítók, de a felhasználói azonosító meg van állítva, mivel ilyen - minden vásárlónál van felhasználói azonosító. Nem egyedi, ezért párosítania kell egy ügyfélazonosítóval, hogy egyedi csatlakozási kulcsot kapjon. Írtam egy lekérdezést, megpróbáltam elemezni valamit, és felbukkant, és azt mondta: “Hé, úgy tűnik, hogy mindenki más csatlakozik ezekhez a táblákhoz, mind az ügyfélazonosítóval, mind a felhasználói azonosítóval. Biztos benne, hogy nem akarja ezt megtenni? ”És ez valójában megakadályozta téves elemzést. Tehát működik mind az elemzés pontossága, mind a teljesítmény szempontjából. Szóval ilyen módon vesszük ezt a problémát.
Rebecca Jozwiak: Számomra ez hatékonynak tűnik. Azt mondtad, hogy nem feltétlenül gátolja az embereket az erőforrások felszedésében, de valamilyen módon megtanítja őket, hogy valószínűleg nem a legjobb lesz az, amit csinálnak?
David Crawford: Mindig azt feltételezzük, hogy a felhasználók nem rosszindulatúak - a legjobb szándékot adják nekik -, és igyekszünk elég nyitottak lenni.
Rebecca Jozwiak: Oké. Itt van egy másik kérdés: “Mi a különbség a katalóguskezelő, mint például a megoldás, és az MDM eszköz között? Vagy támaszkodik-e egy másik elvre, ha kibővíti a lekérdezési táblázatok választékát, míg az MDM ezt automatikusan megtenné, de ugyanazzal a mögöttes alapelvével a metaadatok gyűjtésekor. "
David Crawford: Igen, azt gondolom, hogy amikor a hagyományos MDM megoldásokat vizsgálom, az elsődleges különbség filozófiai. Arról szól, hogy ki a felhasználó. Olyan, mint amilyent az előadás elején mondtam, Alation, azt hiszem, amikor megalapítottak, akkor azzal a céllal alakultunk, hogy az elemzők több betekintést nyerjenek, gyorsabban készítsenek, pontosabbak legyenek azokban a betekintésekben, amelyek termelnek. Nem hiszem, hogy ez valaha is a hagyományos MDM-megoldás célja volt. Ezeket a megoldásokat általában azokra az emberekre irányítják, akiknek jelentést kell készíteniük arról, hogy milyen adatokat gyűjtöttek az SCC-hez vagy belsőleg valamilyen más ellenőrzési célból. Időnként engedélyezheti az elemzőket, de gyakrabban, ha lehetővé teszi egy gyakorló szakember munkáját, akkor valószínűbb, hogy engedélyezi az adatépítést, mint például a DBA.
Amikor egy elemző szemszögéből gondolkodik a dolgokon, akkor kezdje el olyan lekérdező eszköz készítését, amelyet az MDM eszköz soha nem fog megtenni. Ekkor kezd el gondolkodni a teljesítményről és a pontosságról, valamint megérteni, hogy mi az adat kapcsolódik az üzleti igényemhez. Ezek a dolgok olyan dolgok, amelyek némileg felbukkannak a fejünkben, amikor az eszközt tervezzük. Bekerül a keresési algoritmusainkba, a katalógusoldalak elrendezésébe és a szervezet egészének ismereteihez való képességbe. Bekapcsolódik a tény, hogy a lekérdező eszközt és a katalógust közvetlenül beleépítettük, tehát azt hiszem, valóban ebből származik. Milyen felhasználót gondolsz először?
Rebecca Jozwiak: Oké, jó. Ez tényleg segített megmagyarázni. aki azt akarja, hogy megkapja az archívumot, mert el kellett mennie, de nagyon szerette volna, ha a kérdése megválaszolódik. Azt mondta, az elején megemlítették, hogy több nyelv létezik, de az SQL az egyetlen nyelv, amelyet kihasználnak a Compose komponensben?
David Crawford: Igen, ez igaz. És az egyik dolog, amelyet észrevettem, amikor szemtanúja vagyok a különféle típusú adatbázisok, a dokumentum-adatbázisok, a gráf-adatbázisok, a kulcsfontosságú értéktárak robbanásának, az, hogy valóban nagy teljesítményűek az alkalmazások fejlesztésében. Különösen jól tudják kiszolgálni az egyedi igényeket ott, jobban, mint a relációs adatbázisok.
De amikor visszaviszi az adatok elemzéséhez, amikor visszahozza - amikor azt az információt szeretné megkapni azoknak az embereknek, akik eseti jelentést készítenek vagy esetileg az adatokat ásnak, akkor mindig visszatérnek egy relációs legalább az interfész az emberek számára. Ennek része csak azért, mert az SQL az adatok elemzésének nyelve (francia nyelv), tehát az emberek számára ez azt jelenti, hogy az integráló eszközökre is szükség van. Azt hiszem, ez az oka annak, hogy az SQL a Hadoop-on annyira népszerű, és oly sok próbálkozás van annak megoldására, mert az a nap végén az, amit az emberek tudnak. Valószínűleg több millió ember tudja, hogyan kell írni az SQL-t, és én nem vállalkoznék olyan milliókkal, akik tudnák, hogyan kell Mongo összesítő csővezeték-lekérdezést írni. És ez egy standard nyelv, amelyet valóban sokféle platformon integrálnak. Tehát minden, ami azt mondja, nagyon ritkán kérik fel, hogy menjenek kívül, mert ezt a felületet használják a legtöbb elemző, és egy olyan helyre koncentráltunk, főleg a Compose-ban, amely az SQL írására összpontosított.
Azt mondanám, hogy az adattudomány az a hely, ahol leginkább a vállalkozáson vállalkoznak, és ezért alkalmanként kérdéseket kapunk a Pig vagy a SAS használatáról. Ezek olyan dolgok, amelyekkel a Compose alkalmazásban határozottan nem foglalkozunk, és amelyeket szeretnénk rögzíteni a katalógusban. És látom az R-t és a Python-ot is. Van néhány módszer, hogy olyan interfészeket készítettünk, amelyek segítségével az Alation-ban írt lekérdezéseket felhasználhatjuk az R és a Python szkriptekben, tehát mivel gyakran adattudósként dolgozik és szkriptnyelven dolgozik, a forrás adatok egy relációs adatbázisban vannak. SQL lekérdezéssel kezdi, majd tovább dolgozza fel, és grafikonokat hoz létre az R és a Python belsejében. Készítettünk olyan csomagokat is, amelyeket importálhatunk azokba a szkriptekbe, amelyek lekérdezéseket vagy lekérdezési eredményeket vonnak be az Alation-ból, így ott összekevert munkafolyamatot kaphatunk.
Rebecca Jozwiak: Oké, nagyszerű. Tudom, hogy egy kicsit elmúltunk az óra tetején, csak egy vagy két kérdést fogok feltenni. Tudom, hogy beszéltél a különféle rendszerekről, amelyekhez csatlakozhat, de amennyire külsőleg tárolt adatok és belső üzemeltetett adatok vonatkoznak, ezek együtt kereshetők az egyetlen nézetben, az egyetlen platformon?
David Crawford: Persze. Ennek néhány módja van. Úgy értem, hogy külsõ házigazda, azt képzelném, próbálok pontosan azon gondolkodni, hogy mit jelenthet ez. Ez olyan adatbázist jelenthet, amelyet valaki az AWS-ben tárol az Ön számára. Jelentheti a data.gov nyilvános adatforrását. Közvetlenül kapcsolódunk az adatbázisokhoz, ugyanúgy, mint egy másik alkalmazásba, bejelentkezve egy adatbázis-fiókkal, és így kibontjuk a metaadatokat. Tehát ha van fiókunk és nyitott hálózati port van, akkor elérhetjük. És akkor, amikor nincsenek ezek a dolgok, van egy úgynevezett virtuális adatforrás, amely lehetővé teszi, hogy lényegében automatikusan továbbadja a dokumentációt, akár automatikusan, saját összekötőjének írásával, akár kitöltésével, akár CSV feltöltéssel, az adatok dokumentálására a belső adatok mellett. Ez minden bekerül a keresőmotorba. Hivatkozhatóvá válik a cikkek, egyéb dokumentumok és beszélgetések belsejében a rendszeren belül. Szóval így kezeljük, ha nem tudunk közvetlenül kapcsolódni egy rendszerhez.
Rebecca Jozwiak: Oké, ennek van értelme. Csak felveszek még egy kérdést. Egy résztvevő van kérdezi: „Hogyan lehet érvényesíteni, ellenőrizni vagy karbantartani az adatkatalógus tartalmát, a forrásadatok frissítésekor, a forrásadatok módosításakor stb.”
David Crawford: Igen, ez egy nagyon sok kérdés, és úgy gondolom, hogy az egyik dolog - egyik filozófiánk, amint mondtam, nem hisszük, hogy a felhasználók rosszindulatúak. Feltételezzük, hogy megpróbálják hozzájárulni a legjobb tudáshoz. Nem fognak bejelentkezni, és szándékosan félrevezetik az embereket az adatokkal kapcsolatban. Ha ez problémát jelent a szervezeténél, akkor az Alation talán nem a megfelelő eszköz az Ön számára. De ha feltételezzük, hogy a felhasználók jó szándékokat mutatnak, akkor erre gondolunk, amikor a frissítések bekerülnek, és általában az, amit csinálunk, az az, hogy minden adatobjektumért vagy adatrészért felelősséget vállalunk. És értesíthetjük ezeket a gazdákat, ha a metaadatok megváltoznak, és így tudják kezelni azokat. Látják, hogy a frissítések bekerülnek, validálják őket. Ha nem igazuk, visszavonulhatnak és módosíthatják őket, és tájékozódhatnak, és remélhetőleg felvehetik a kapcsolatot az információt közölt felhasználóval, és segíthetnek nekik megtanulni.
Szóval ez az elsődleges módszer, amire gondolunk. A tömeg ilyen típusú javaslata és a tisztviselők menedzsmentje, tehát körül vannak bizonyos képességek.
Rebecca Jozwiak: Oké, jó. És ha tudnád csak megtudni az embereknek, hogyan tudják a legjobban elkezdeni az Alation használatát, és merre fordulhatnak, ha további információt szeretnének? Tudom, hogy megosztotta ezt egy bit.ly-vel. Ez a legjobb hely?
David Crawford: Alation.com/learnmore Úgy gondolom, hogy ez nagyszerű lehetőség. Ahhoz, hogy regisztráljon egy demora, az Alation.com webhely rengeteg nagyszerű forrással, vevői fehér papírral és híreinkkel rendelkezik a megoldásunkról. Tehát azt hiszem, ez egy remek hely a kezdéshez. E-mailt is küldhet.
Rebecca Jozwiak: Oké, nagyszerű. És tudom, résztvevők, sajnálom, hogy ma nem válaszoltam meg az összes kérdést, de ha nem, akkor ezeket továbbküldik Davidnek vagy az értékesítési csapatának vagy az Alation valakihez, így határozottan segíthetnek a kérdéseik megválaszolásában és a megértésben. mit csinál Alation, vagy mit csinálnak a legjobban.
És ezzel, emberek, megyek előre, és aláírunk minket. Az archívumokat mindig megtalálhatja az InsideAnalysis.com webhelyen. A Techopedia.com webhelyen is megtalálhatja. Hajlamosak egy kicsit gyorsabban frissülni, ezért feltétlenül ellenőrizd. Nagyon köszönöm ma David Crawfordnak, Dez Blanchfieldnek és Robin Boornak. Nagyszerű webes közvetítés volt. És ezzel elbúcsúzok neked. Köszönöm, emberek. Viszlát.
David Crawford: Köszönöm.
