A proč je to velká dohoda?
"Velká data" je nová věda o porozumění a předvídání lidského chování při studiu velkých objemů nestrukturovaných dat. Velké údaje jsou také známé jako "prediktivní analytika".
Analýza příspěvků na Twitteru, Facebook kanálů, eBay vyhledávání, GPS trackery a ATM stroje jsou některé velké příklady dat. Studie bezpečnostních videí, provozních dat, vzorů počasí, příletů, protokolů mobilních telefonů a sledovačů tepové frekvence jsou další formy. Velké údaje jsou špinavá nová věda, která se mění každý týden a jen málo odborníků to všechno rozumí.
Jaké jsou některé příklady velkých dat v běžném životě?
Zatímco většina velkých datových projektů je velmi obskurní, existují úspěšné příklady velkých dat, které ovlivňují každodenní život jednotlivců, společností a vlád:
Předpovídání výskytu virů: studiem sociopolitických údajů, údajů o počasí a klimatu a nemocnicích / klinických datech předpovídají tito vědci výskyt horečky dengue s výpovědní lhůtou 4 týdny.
Vražda proti vraždám : tento velký datový projekt profiluje oběti vražd, podezřelých a zločinců ve Washingtonu DC. Obě jako způsob, jak porazit zemřelého a jako zdroj informací pro lidi, je tento velký datový projekt fascinující.
Tranzitové plánování cest, NYC: Program WNYC pro rádio Steve Melendez kombinoval online plán metra s cestovním itinerářovým softwarem. Jeho tvorba umožňuje Newyorčanům kliknout na jejich polohu na mapě a objeví se předpověď času cestování vlaků a metra.
Společnost Xerox snížila ztrátu pracovní síly: práce call centra je emočně vyčerpávající. Společnost Xerox zkoumala datování s pomocí profesionálních analytiků a nyní dokáže předpovědět, které pobočky call centra pravděpodobně zůstanou u společnosti nejdéle.
Podpora boje proti terorismu: studiem sociálních médií, finančních záznamů, rezervace letů a údajů o bezpečnosti mohou orgány činné v trestním řízení předvídat a lokalizovat podezřelé z terorismu předtím, než udělají své špatné činy.
Nastavení značky marketingu založené na recenzích sociálních médií : Lidé bez obav a rychle sdílejí své online myšlenky na hospodě, restauraci nebo fitness klubu. Je možné studovat tyto miliony příspěvků na sociální média a poskytnout společnosti zpětnou vazbu o tom, co si lidé myslí o svých službách.
Kdo používá velké údaje? Co s tím dělají?
Mnoho monolitických korporací používá velké údaje pro přizpůsobení svých nabídek a cen, aby maximalizovalo spokojenost zákazníků.
- Například, obchodní dům společnosti Macy využívá velké údaje k tomu, aby své ceny upravil za více než 70 milionů produktů. Dokonce posílají své zákazníky přizpůsobené e-maily na základě toho, co Macy věří, že mají zájem.
- Policejní reakce na bombardování v Bostonském maratonu : pomocí velkých dat pro studium videozáznamů a snímků policie dokázala rychle hledat podezřelé.
- Morton's Steakhouse využívá službu Twitter k vytažení marketingových kaskadérů, včetně slavného veletrhu New Jersey na letišti, kde se servíruje večeře a večeře krevety.
- Visa používá velké údaje k identifikaci a zachycení podvodníků. Jednoduché transakce zde a tam mohou snadno ukrýt nečestného uživatele kreditní karty, ale při pozorném sledování milionů transakcí lze zjistit vzorce podvodu.
- Facebook používá velké údaje k přizpůsobení reklamy . Pečlivým studiem vašich FB rád a procházení návyky, obor sociálních médií má divný vhled do vašeho vkusu. Reklamy na postranním panelu, které vidíte na kanálu Facebook, jsou vybírány velmi delikátními a složitými algoritmy, které sledují vaše zvyky Facebooku.
Proč jsou velké údaje takové velké řešení?
4 věci znamenají významné údaje:
1. Údaje jsou masivní. Nehodí se na jediný pevný disk , ani na USB klíči . Objem dat daleko přesahuje to, co lidská mysl může vnímat (přemýšlejte o miliardě miliard megabytů a pak je vynásobte více miliardami).
2. Údaje jsou chaotické a nestrukturované. 50% až 80% práce s velkými daty provádí konverzi a čištění informací tak, aby byly vyhledávatelné a vyhledávané. Pouze několik tisíc odborníků na naší planetě plně ví, jak provádět vyčištění dat. Tito odborníci potřebují také velmi specializované nástroje, jako je HPE a Hadoop, aby dělali své řemeslo. Možná, že za deset let se velké odborníky na údaje stanou desetníkem, ale prozatím jsou velmi vzácným druhem analytika a jejich práce je stále velmi obskurní a únavná.
3. Údaje se staly zboží **, které lze prodat a koupit. Datové trhy existují tam, kde firmy a jednotlivci mohou kupovat terabajty sociálních médií a dalších dat. Většina dat je založená na technologii cloud, protože je příliš velká, než aby se vešla na jakýkoli pevný disk. Nákup dat obvykle zahrnuje poplatek za přihlášení, kde se připojujete do farmy cloud serverů.
Vedoucí velkých datových nástrojů a nápadů jsou Amazon, Google, Facebook a Yahoo. Protože tyto společnosti slouží svým zákazníkům tolik milionů lidí, je logické, že by se staly sběrným místem a vizionáři za velkou datovou analýzou.
4. Možnosti velkých dat jsou nekonečné. Možná, že lékaři jednou předpovídají infarkty a mrtvice jednotlivcům předtím, než se stane. Letadla a automobilové havárie mohou být redukovány prediktivními analýzami jejich mechanických dat a provozních a meteorologických charakteristik. Online datování může být zlepšeno tím, že máte velké předpovědi dat, které jsou pro vás slučitelné osobnosti. Hudebníci mohou získat přehled o tom, co hudba je nejvíce příjemná pro měnící se chutě cílového publika. Odborníci na výživu mohou předvídat, která kombinace potravin zakoupených v obchodě se zhorší nebo napomůže osobním zdravotním podmínkám. Povrch je jen poškrábaný a objevy ve velkých datech se dějí každý týden.
Velké údaje jsou špinavé
Velké údaje jsou předpovědní analytika: konverze masivních nestrukturovaných dat na něco, co lze vyhledávat a určit. Je to špinavý a chaotický prostor, který vyžaduje zvláštní znalosti a trpělivost.
Vezměte například monolitickou doručovací službu UPS. Programátoři společnosti UPS studují data z GPS a smartphonů svých řidičů, aby analyzovali nejúčinnější způsoby, jak se přizpůsobit dopravním zácpám. Tato data z GPS a smartphonu jsou ohromující a nejsou automaticky připraveny k analýze. Tato data se nalézají z různých GPS a mapových databází prostřednictvím různých hardwarových zařízení smartphone. Analytici společnosti UPS strávili měsíce převedením všech těchto dat do formátu, který lze snadno vyhledávat a třídit. Úsilí však stojí za to. Dnes UPS ušetřila více než 8 milionů galonů paliva, protože začala používat tyto velké datové analýzy.
Vzhledem k tomu, že velké údaje jsou špinavé a vyžadují tolik úsilí na vyčištění a přípravu na použití, vědci v oblasti dat se stali přezdíváni jako "datoví pracovníci" pro veškerou únavnou práci, kterou dělají.
Věda velkých dat a prediktivní analýzy se každým týdnem zlepšuje. Očekávejte velké údaje, které budou k dispozici všem do roku 2025.
Nejsou velká data narušením soukromí?
Ano, pokud naše zákony a ochrana osobních údajů nejsou pečlivě spravovány, pak velké údaje zasahují do osobního soukromí. Ve stávající podobě Google a YouTube a Facebook již sledují každodenní online zvyky . Váš život v oblasti chytrých telefonů a počítačů každodenně zanechává digitální stopy a sofistikované společnosti studují ty stopy.
Zákony kolem velkých dat se vyvíjejí. Ochrana osobních údajů je stav bytí, který musí nyní převzít osobní odpovědnost, protože už ji nelze očekávat jako výchozí právo.
Co můžete udělat pro ochranu vašeho soukromí:
Největším jediným krokem, který můžete podniknout, je oblékání vašich každodenních návyků pomocí síťového připojení VPN . Služba VPN bude kódovat váš signál tak, aby vaše identita a umístění byly alespoň částečně maskované od sledovatelů. To vás nedělá 100% anonymní, ale VPN podstatně sníží, kolik může svět sledovat vaše online zvyky.
Kde se mohu dozvědět více o velkých údajích?
Velké údaje jsou fascinující pro lidi s analytickou myslí a láskou k technologiím. Pokud jste to vy, určitě navštivte tuto stránku zajímavých velkých datových projektů.