tag:blogger.com,1999:blog-40580392470801229412024-03-05T15:12:04.189+01:00Doba datováAnonymoushttp://www.blogger.com/profile/07934354663057896064noreply@blogger.comBlogger16125tag:blogger.com,1999:blog-4058039247080122941.post-83545064595648723932013-01-31T22:30:00.002+01:002013-01-31T22:30:41.701+01:00Válka, jaká je doopravdy — na digitálním videuPrý je to nejsledovanější video z války v Afghánistánu. Vojín první třídy Ted Daniels spustil kameru a vyrazil do útoku. Zpočátku to vypadá úplně stejně jako kterákoli střílečka hraná z pohledu první osoby, od Doomu po Call of Duty. Voják postupuje, bojiště sledujeme přes hlaveň jeho zbraně. <br />
<br />
<iframe allowfullscreen="" frameborder="0" height="344" src="http://www.youtube.com/embed/rLHU-_OhT8g" width="459"></iframe><br />
<br />
Pak se ale situace mění. Daniels se dostane do nepřátelské palby, je zasažen, na chvíli ztratí pušku, snaží se krýt a volá o pomoc. Hra se změnila v drsnou realitu, ovšem se šťastným koncem, Daniels se poměrně rychle vyléčil ze svých zranění, odeslán zpět do USA a demobilizován. <br />
<br />
Celý <a href="http://www.washingtonpost.com/national/looking-behind-the-sightlines-of-an-american-soldier-under-taliban-fire/2013/01/26/a277af20-6180-11e2-9940-6fc488f3fecd_story.html">jeho příběh</a> je fascinující, zůstaňme ale u té nahrávky. Když si Ted Daniels na helmu připevnil kameru <a href="http://gopro.com/">GoPro Hero3</a>, neudělal nic zas tak nezvyklého. Videa na památku si prý vojáci dnes pořizují celkem běžně. Americké ozbrojené síly v Afghánistánu to nezakazují plošně, rozhodnutí je na tom kterém veliteli. Z hlediska utajení to vypadá dost šíleně, zřejmě se ale vychází z toho, že obě strany v boji pořizují tolik dat, že je to už jedno.<br />
<br />
Vojáci ostatně mívali soukromé fotoaparáty <a href="http://englishrussia.com/2012/02/15/wwii-chronicle-june-1941-december-1942/#more-92468">už ve druhé světové válce</a> a velitelé jim to často tolerovali. <br />
<br />
Dnešní armáda natáčí minimálně v takovém množství, v jakém střílí. Oficiální videokamery jsou na vozidlech, ve vrtulnících i ve vybavení jednotlivých pěšáků. Záznamy se po akci vyhodnocují a rozebírají. <br />
<br />
Kromě videa se v boji pořizuje mnoho dalších dat. Všechny zbraňové systémy mají čidla a zároveň monitorují svůj vlastní stav, poruchy a opotřebení. Všude jsou GPS přijímače a všechno se zobrazuje v reálném čase na mapách. Tahle data ovšem nejsou pro veřejnost.<br />
<br />
Amatérské záznamy jsou tak zpravidla to jediné, co z toho všeho uvidíme. Ukazují válku v malém výřezu, bez kontextu, bez nadhledu. Tak, jak bychom ji viděli my sami, kdybychom se do ní připletli.Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-34774985785553813722013-01-24T15:12:00.001+01:002013-01-24T15:12:20.409+01:00Kolik dat je příliš?Převodu analogového signálu na digitální — třeba u zvukové nahrávky - se říká vzorkování. Čím častěji odeberu vzorek a vyčíslím jeho hodnotu, tím věrněji změřím původní signál. Nebo ne?<br />
<br />
Ano, ale jen v ideálním světě, jaký neexistuje. V realitě je každý signál doplněn šumem. Čím častěji vzorkuji, tím více šumu odebírám spolu se signálem. Správně zvolená frekvence vzorkování je ta, kterou by vybrala Popelka: ani moc, ani málo, ale tak akorát.<br />
<br />
Odborněji se tomu říká <a href="http://en.wikipedia.org/wiki/Nyquist_frequency">Nyquistův vzorkovací teorém</a>: volbou frekvence vzorkování lze stanovit, které frekvence signálu ještě přečteme a které ne. Ta nejvyšší, která se z analogových dat do digitálních dostane, je poloviční oproti vzorkovací frekvenci. Vysokofrekvenční šum se automaticky odfiltruje.<br />
<br />
Když sledujete zprávy třikrát denně, konzumujete vysokofrekvenční šum. Máte pocit, že se svět zbláznil. Když se na ně podíváte jednou za týden, získáte dojem daleko větší stability - nic se vlastně neděje. Prkotiny se totiž mezitím vyřešily samy a zapomnělo se na ně.<br />
<br />
Tohle je jedno z velkých rizik spojených s celým fenoménem Big Data. Mít hodně dat neznamená nutně být na tom lépe. Při naivním přístupu k věci je daleko snazší uškodit si všemi těmi údaji, než z nich jakkoli profitovat.<br />
<br />
<br />
Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-33449021748607953762013-01-21T23:59:00.000+01:002013-01-24T15:12:57.093+01:00Vaše SPZ byla prověřenaOdjížděl jsem dnes z garáže nákupního centra. Zastrčím lístek do čtečky, naskočil tam text: „Vaše SPZ byla nyní prověřena.“ Zvednu oči, skutečně na stropě visí nová kamera a míří směrem k přední masce.<br />
<br />
Prověřena? Proti čemu?<br />
<br />
Odjezdy vůči příjezdům? To nedává smysl, čas příjezdu je kódován v magnetickém pruhu papírové karty, což k výpočtu parkovného naprosto stačí a používá se to tak léta.<br />
<br />
Proti policejní databázi kradených vozidel? Nepravděpodobné. Nebylo by to schůdné organizačně (z příběhu o registru vozidel víme, jak stát umí zacházet s distribuovanými databázemi) a asi ani právně — soukromému subjektu takové údaje do rukou nepatří.<br />
<br />
Proti jejich vlastní databázi návštěvníků? Sotva by to sdělovali, vést takovou databázi bez souhlasu evidovaných je protizákonné. Jsem si samozřejmě jist, že ji teď už mají a že do ní každé auto zaznamenávají, ale jestli nejsou blázni, nikdy to nepřiznají, rozhodně ne takhle hloupě.<br />
<br />
Tak co se tam vlastně prověřuje? (Pomiňme, že to, co nazývají SPZ, se už dávno správně jmenuje RZ.)<br />
<br />
Pořizovat a ukládat lze téměř jakákoli data, technologie na to jsou. Stále častěji musí padat otázka, kdy to má smysl a kdy ne. Kdy je to vysloveně nepřípustné. A kde je šedá zóna, v níž se výhody (mám evidenci, které auto kdy bylo v nákupním centru a i když třeba teď nevím, k čemu je to dobré, časem se něco najde) vyvažují s nevýhodami (zákazníci, obávající se o soukromí, začnou jezdit jinam).<br />
<br />
Všeho moc škodí, i dat.Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-64088112388649192112012-12-20T00:18:00.000+01:002012-12-20T00:18:05.656+01:00Smolanova kniha je i na iPaduFotograf <a href="http://en.wikipedia.org/wiki/Rick_Smolan">Rick Smolan</a>, známý svými tematicky zaměřenými obrazovými publikacemi, vydal novou knihu zaměřenou na digitální data, jejich význam v životě dnešní společnosti a jejich všudypřítomnost. Jmenuje se The Human Face of Big Data a je dostupná také v podobě <a href="https://itunes.apple.com/cz/app/human-face-big-data-tablet/id579041860?mt=8">aplikace pro iPad</a>.<br />
<br />
<div class="separator" style="clear: both; text-align: left;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjq1pQ7l-gUp3zQhSbuOKuIVqQU0DmT_ElTw9FisiaIZISUkz8McM-nejvOinq7g8yUcTsHRGPnJEdsw77XVnsjVdVyd2hJ4i8rwbuH8n_c9DWvhQNxHmCUl10a1n6rcEkXI3TapPyZx2g/s1600/IMG_0059.PNG" imageanchor="1" style="clear: left; float: none; margin-bottom: 1em; margin-right: 1em;"><img border="0" height="411" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjq1pQ7l-gUp3zQhSbuOKuIVqQU0DmT_ElTw9FisiaIZISUkz8McM-nejvOinq7g8yUcTsHRGPnJEdsw77XVnsjVdVyd2hJ4i8rwbuH8n_c9DWvhQNxHmCUl10a1n6rcEkXI3TapPyZx2g/s400/IMG_0059.PNG" width="548" /></a></div><br />
Fotky jsou mimořádné, velice sdělné. Zážitek.<br />
<br />
Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-32198086977487918802012-11-22T02:11:00.001+01:002012-11-22T02:11:43.901+01:00Anonymizace versus průkaznost agregovaných datNěkteré problémy člověka prostě předem nenapadnou.<blockquote>“A related question is how aggregated and derived forms of information (e.g. statistics) should be affected when some of the raw data from which statistics are derived are forgotten. Removing forgotten information from all aggregated or derived forms may present a significant technical challenge. On the other hand, not removing such information from aggregated forms is risky, because it may be possible to infer the forgotten raw information by correlating different aggregated forms.”</blockquote>Tohle je vážná věc. Citovaný článek reaguje na konflikt mezi zákonnými požadavky (v tomto případě EU, ale to není příliš podstatné) na anonymizaci dat na jedné straně a průkazností agregovaných dat na straně druhé.<br />
<br />
Finanční úřad o mně ví, kolik vydělávám, protože má moje daňová přiznání. Agregovaná data všech daňových přiznání (ve městě, kraji, státě...) prozrazují průměrný příjem (a spoustu dalších věcí). Ta agregovaná data z mnoha důvodů potřebujeme, ta individuálně by měla být nedostupná. No tak spočítáme průměry a výchozí data pak smažeme, ne? Ne.<br />
<br />
Když nevratně znepřístupníte výchozí individuální data, ztrácejí ta agregovaná legitimitu: nedá se dokázat, zda jsou pravá a spolehlivá. Když neznepřístupníte, bude vždy možná reverzní operace vedoucí k individuálních datům.<br />
<br />
Tohle ještě bude obrovský problém. Obě možnosti jsou totiž špatné a mezi nimi se nenachází žádné jednoduché řešení — možná dokonce vůbec žádné řešení. Prozatímní zárukou ochrany soukromí je (vlastně jen) nedostatečnost osobních dat co do kvantity, kvality a koncentrace, tedy klasická <i>security by obscurity</i>. To ale rychle přestává platit, data jsou digitální, dostupná, propojená a je jich hodně. <br />
<br />
Jestli s tímhle háčkem někdo dokáže pohnout, budou to muset být matematici, ne zákonodárci. <br />
<br />
David Meyer, GigaOM: <a href="http://gigaom.com/europe/why-big-data-could-sink-europes-right-to-be-forgotten/">Why big data could sink Europe's "right to be forgotten"</a>Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-44272763627443141212012-11-13T23:30:00.001+01:002012-11-13T23:56:00.106+01:00Co nám zůstane, co poztrácímeArchivy jsou důležitější, než byly kdy dříve, protože všechny údaje, s nimiž naše civilizace pracuje, jsou vlastně pro krátkodobé použití. Jejich životnost je limitována použitými technologiemi, nosiči, přehrávači.<br />
<br />
Hudbu jsme mívali na černých deskách, pak na CD, donedávna v MP3 a dnes ji nemáme vůbec nikde, protože přišel streaming. Hudba je kdesi v cloudu. Video jde stejnou cestou. Dokumenty, maily, tabulky; budou ty dnešní k dispozici za deset let? Za dvacet? Kde budou uloženy v jakém formátu, bude k mání software, v němž by šly otevřít? Když vám přinesu osmipalcovou disketu, na níž je soubor s tabulkou ve formátu Lotus 1-2-3 — víte o někom, kdo si bude vědět rady a převede vám to do Excelu?<br />
<br />
Aby směl <a href="http://www.nfa.cz/">Národní filmový archiv</a> mít svůj mezinárodní statut, musí uchovávat kopie filmů na celuloidu, ne v digitální podobě; ta se nepokládá pro dlouhodobou archivaci za spolehlivou. Je to samozřejmě pracné, zdlouhavé, drahé (filmy se často digitalizují, restaurují na počítači a pak přepisují zpět na filmový pás — a to v době, kdy se v kinech už častěji promítá z disku než z promítačky), ale je to správné a nutné, máme-li mít jistotu dlouhodobého uchování.<br />
<br />
Totéž ostatně platí o papírové dokumentaci. České pozemkové knihy, Desky zemské, sahají zpět až do třináctého století. V roce 1541 ovšem téměř beze zbytku shořely a musely se komplikovaně rekonstruovat. I to je bezmála pět set let. Umíme si představit technologie práce s informací, jaké se budou používat roku 2600? To je naprosto absurdní otázka.<br />
<br />
Přepisujeme tedy z jednoho média na druhé a pořád něco ztrácíme, něco zapomeneme, něco pomineme, protože to už není důležité. Informace mizí s měnícími se technologiemi. To je změna oproti dlouhému údobí dějin, kdy se psalo na papír či pergamen. (Ale i ten občas shořel.)<br />
<br />
Je tu ale ještě jeden pohled na věc. Skutečně stojí za uchování vše? Každá fotka z dovolené, každá poznámka na Facebooku, každé interní memorandum? S novými technologiemi se zmnohonásobila i naše schopnost produkce informací. Tradiční názor, že archivovat pro budoucnost se má pokud možno vše, je neudržitelný.<br />
<br />
Paměť civilizace se vždycky částečně uchovávala a částečně vytrácela. Něco shořelo, něco se ztratilo. Nové je to, že teď sami musíme volit, co zachovat a co ne s plným vědomím důsledků.Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-20719630082362650242012-11-07T02:57:00.001+01:002012-11-07T03:02:35.892+01:00US volby v datechPrezidentské volby jsou pro média dobrou příležitostí, jak se předvést, co dovedou na poli práce s daty. Takhle například <a href="http://www.guardian.co.uk/world/us-elections-2012/results/president">pracuje s infografikou britský Guardian</a>:<br />
<br />
<div class="separator" style="clear: both; text-align: left;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhpbC84rdbp-ndj741G3C-Qp4o8H664-MlW59BTZUSIXIebDFDAn-wVMHERtgiDtoCc2AZ6TYRoIEEK_moLtA2ExPUOz9nRUcEoATLldeUV5QeM3HAGFM4UCNMEDuj9OYkL8FrDAgYpEH0/s1600/Sn%25C3%25ADmek+obrazovky+2012-11-07+v%25C2%25A02.38.07.png" imageanchor="1" style="clear: left; float: none; margin-bottom: 1em; margin-right: 1em;"><img border="0" height="372" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhpbC84rdbp-ndj741G3C-Qp4o8H664-MlW59BTZUSIXIebDFDAn-wVMHERtgiDtoCc2AZ6TYRoIEEK_moLtA2ExPUOz9nRUcEoATLldeUV5QeM3HAGFM4UCNMEDuj9OYkL8FrDAgYpEH0/s400/Sn%25C3%25ADmek+obrazovky+2012-11-07+v%25C2%25A02.38.07.png" width="400" /></a></div>
<div class="separator" style="clear: both; text-align: left;">
<br /></div>
<div class="separator" style="clear: both; text-align: left;">
V detailu to pak může vypadat takhle:</div>
<div class="separator" style="clear: both; text-align: left;">
<br /></div>
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjs2vFOL0LazBH5ZcY6crs5E6drdgOpoUCrVmSxYAPoQkwN6A_dyWF7PZdR8tctr5sK6NmB8js94-aFsGqTUtvaNbnPWphsnZImNn2PRsPk6REc7ZP7mqSJtK33KZdQ16BEVS-LG2lUhgc/s1600/Sni%CC%81mek+obrazovky+2012-11-07+v%C2%A03.00.59.png" imageanchor="1" style="clear: left; float: left; margin-bottom: 1em; margin-right: 1em;"><img border="0" height="400" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjs2vFOL0LazBH5ZcY6crs5E6drdgOpoUCrVmSxYAPoQkwN6A_dyWF7PZdR8tctr5sK6NmB8js94-aFsGqTUtvaNbnPWphsnZImNn2PRsPk6REc7ZP7mqSJtK33KZdQ16BEVS-LG2lUhgc/s400/Sni%CC%81mek+obrazovky+2012-11-07+v%C2%A03.00.59.png" width="360" /></a></div>
<div class="separator" style="clear: both; text-align: left;">
<br /></div>
<br />
A <a href="http://elections.nytimes.com/2012/results/president">takhle The New York Times</a>:<br />
<br />
<div class="separator" style="clear: both; text-align: left;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi5OsLLmcHMQP87Tu7B8DFTsNRJ9e9B2Sg_2IhOxs5tFDgBEa_2ICAgGl1gUdA-JzJkixaVOm9PekzOQ0-H9kwlggmp66W7KAm0rAZFuAwG4MiwdWEVinskmnQwflOYitc32tZ1fUD3-Gg/s1600/Sn%25C3%25ADmek+obrazovky+2012-11-07+v%25C2%25A02.37.00.png" imageanchor="1" style="clear: left; float: none; margin-bottom: 1em; margin-right: 1em;"><img border="0" height="388" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi5OsLLmcHMQP87Tu7B8DFTsNRJ9e9B2Sg_2IhOxs5tFDgBEa_2ICAgGl1gUdA-JzJkixaVOm9PekzOQ0-H9kwlggmp66W7KAm0rAZFuAwG4MiwdWEVinskmnQwflOYitc32tZ1fUD3-Gg/s640/Sn%25C3%25ADmek+obrazovky+2012-11-07+v%25C2%25A02.37.00.png" width="550" /></a></div>
<br />
Důležité je, že mapou celých USA to teprve začíná, stačí kliknout a dostanete rozpad dat pro nižší administrativní jednotky:<br />
<br />
<div class="separator" style="clear: both; text-align: left;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEglYF5lUWnQWEljokMigblBTVYmi-g3jWoTCTqqlN9LquJuwSv_Gp9sIoPF3xvH_A7-IVkLqzpsOnE2V9wHwkp5TbcAxZxVmwnHD82olA4SegVX4j1fcJJPJ16Xhx0fj4UEc8aYcm-Qa1o/s1600/detail.png" imageanchor="1" style="clear: left; float: none; margin-bottom: 1em; margin-right: 1em;"><img border="0" height="436" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEglYF5lUWnQWEljokMigblBTVYmi-g3jWoTCTqqlN9LquJuwSv_Gp9sIoPF3xvH_A7-IVkLqzpsOnE2V9wHwkp5TbcAxZxVmwnHD82olA4SegVX4j1fcJJPJ16Xhx0fj4UEc8aYcm-Qa1o/s400/detail.png" width="550" /></a></div>
<br />
Data jsou samozřejmě živá, okamžitě se doplňují, jak přicházejí sečtené hlasy. Před deseti lety nemožné, dnes standard, přinejmenším v Americe.<br />
<br />Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-26724940198193233732012-11-06T00:02:00.000+01:002012-11-06T00:02:13.267+01:00Dvě důležité studie o Big DataV uplynulých dnech byly zveřejněny dvě zajímavé a důležité studie týkající se problematiky Big Data. První z nich vytvořila konzultační firma McKinsey, jmenuje se <a href="http://www.mckinsey.com/insights/mgi/research/technology_and_innovation/big_data_the_next_frontier_for_innovation">Big data: The next frontier for innovation, competition, and productivity</a> a popisuje návratnost této nové technologie na příkladech vybraných odvětví.<blockquote>MGI [McKinsey Global Institute] studied big data in five domains—healthcare in the United States, the public sector in Europe, retail in the United States, and manufacturing and personal-location data globally. Big data can generate value in each. For example, a retailer using big data to the full could increase its operating margin by more than 60 percent.</blockquote>Druhou studii vydala OECD a zabývá se v ní datovým provozem na internetu. Analyzuje jeho ekonomický dopad a mj. si všímá toho, že celá tato oblast se dovede v podstatě řídit sama:<blockquote>A survey of 4300 networks, representing 140,000 direct exchanges of traffic, so called peerings, on the Internet, found that 99.5% of “peering agreements” were on a handshake basis, with no written contract and the exchange of data happening with no money changing hands.</blockquote>Studie OECD <a href="http://oecdinsights.org/2012/10/22/internet-traffic-exchange-2-billion-users-and-its-done-on-a-handshake/">Internet Traffic Exchange: Market Developments and Policy Challenges</a> je stejně jako výše zmíněná studie McKinsey ke stažení zdarma a dobře poslouží jako informační zdroj všem vážným zájemcům o Big Data.Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-62260945585423706892012-10-31T11:18:00.002+01:002012-10-31T11:18:58.189+01:00Je kniha víc než jen data?<blockquote>In 2002, on a Friday, Larry Page began to end the book as we know it. Using the 20 percent of his time that Google then allotted to its engineers for personal projects, Page and Vice-President Marissa Mayer developed a machine for turning books into data. The original was a crude plywood affair with simple clamps, a metronome, a scanner, and a blade for cutting the books into sheets. The process took 40 minutes. The first refinement Page developed was a means of digitizing books without cutting off their spines — a gesture of tender-hearted sentimentality towards print.</blockquote>Velice zajímavá úvaha. Marný pokus o obranu starých dobrých časů, prosté nedorozumění, anebo hluboké varování? Jsem pro interpretaci číslo dvě, ale až budete mít čtvrthodinku volnou, stejně si to přečtěte. Je to chytré, ale z jiného světa.<blockquote>Algorithms are inherently fascistic, because they give the comforting illusion of an alterity to human affairs.</blockquote><br />
Stephen Marche, Los Angeles Review of Books: <a href="http://lareviewofbooks.org/article.php?type=&id=1040&fulltext=1&media=">Literature is not Data: Against Digital Humanities</a>Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-526278240511888082012-10-31T00:21:00.000+01:002012-10-31T00:21:26.181+01:00Potřebujeme větší jednotky, petabajty nestačíTohle nepotřebuje komentář.<br />
<blockquote><ul><li>On YouTube, 72 hours of video are uploaded per minute, translating to a terabyte every four minutes.</li>
<li>500 terabytes of new data per day are ingested in Facebook databases.</li>
<li>The CERN Large Hadron Collider generates 1 petabyte per second.</li>
<li>The proposed Square Kilometer Array telescope will generate an exabyte of data per day.</li>
<li>Sensors from a Boeing jet engine create 20 terabytes of data every hour.</li>
</ul></blockquote>Takže si zapamatujme:<br />
<ul><li>1 MB = buď 10^6 byte, nebo 2^20, používá se nejednoznačně (!). Deset na šestou je prostě milion, dvě na dvacátou je 1024 x 1024 = 1 048 576.<br />
</li>
<li>1 GB = 1000 MB (těch menších) = 10^9 byte, tedy rovná miliarda, tady už si na mocniny dvou nehrajeme. Kdyby někdo přece jen chtěl název pro 2^30 byte, tak to je — věřte, nevěřte, je to pravda — <a href="http://en.wikipedia.org/wiki/Gibibyte">gibibyte</a>!</li>
<li>1 TB (terabyte) = 1000 GB = 10^12 byte</li>
<li>1 PB (petabyte) = 1000 TB = 10^15 byte</li>
<li>1 EB (exabyte) = 1000 PB = 10^18 byte</li>
<li>1 ZB (zettabyte) = 1000 EB = 10^21 byte</li>
<li>1 YB (yottabyte) = 1000 ZB = 10^24 byte</li>
<li>1 brontobyte = 1000 YB = 10^27 byte</li>
<li>1 gegobyte = 1000 brontobyte = 10^30 byte.</li>
</ul><div>Pro ty dvě poslední jednotky zatím není stanovena zkratka. Jisté je, že jednou se bude muset zavést.</div><div><br />
</div>Stacey Higginbotham, GigaOm: <a href="http://gigaom.com/data/as-data-gets-bigger-what-comes-after-a-yottabyte">As data gets bigger, what comes after a yottabyte?</a>Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-79046766317334136932012-10-29T23:33:00.002+01:002012-10-29T23:36:02.125+01:00Půvab transakčních datWikipedii ubývají editoři, článků přibývá pomaleji. Proč? Richard Jensen se domnívá, že odpověď mohou poskytnout metadata z Wikipedie — data o datech. Počet přibývajících článků má podobu klasické nasycovací S-křivky a totéž platí o počtu oprav.<br />
<br />
<div class="separator" style="clear: both; text-align: left;"><a href="http://cdn.theatlantic.com/static/mt/assets/science/edithistoryforwarof1812-615.jpg" imageanchor="1" style="clear: left; float: none; margin-bottom: 1em; margin-right: 1em;"><img border="0" height="265" src="http://cdn.theatlantic.com/static/mt/assets/science/edithistoryforwarof1812-615.jpg" width="400" /></a></div><br />
Transakční data pomáhají odhalovat to, co se v systémech děje doopravdy, ne to, čím se projevují navenek. Analytika kterékoli webové stránky je patrně zajímavější než ta stránka sama.<br />
<br />
Rebecca J. Rosen, The Atlantic: <a href="http://www.theatlantic.com/technology/archive/2012/10/surmounting-the-insurmountable-wikipedia-is-nearing-completion-in-a-sense/264111/">Surmounting the Insurmountable: Wikipedia Is Nearing Completion, in a Sense</a><br />
<br />
<br />
Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-69878830872188162742012-10-29T16:29:00.000+01:002012-10-29T16:34:48.843+01:00Exploze nových technologií pro práci s daty<blockquote>With <a href="http://storm-project.net/">Storm</a> and <a href="http://incubator.apache.org/kafka/design.html">Kafka</a>, you can conduct stream processing at linear scale, assured that every message gets processed in real-time, reliably. In tandem, Storm and Kafka can handle data velocities of tens of thousands of messages every second.<br />
<br />
Stream processing solutions like Storm and Kafka have caught the attention of many enterprises due to their superior approach to ETL (extract, transform, load) and data integration.<br />
<br />
(...) <a href="http://gigaom.com/cloud/for-fast-interactive-hadoop-queries-drill-may-be-the-answer/">Drill</a> and <a href="http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en/us/pubs/archive/36632.pdf">Dremel</a> compare favorably to Hadoop for anything ad-hoc. Hadoop is all about batch processing workflows, which creates certain disadvantages.<br />
<br />
(...) <a href="http://www.r-project.org/">R</a> is an open source statistical programming language. It is incredibly powerful. Over two million (and counting) analysts use R. It’s been around since 1997 if you can believe it. It is a modern version of the S language for statistical computing that originally came out of the Bell Labs. Today, R is quickly becoming the new standard for statistics.<br />
<br />
(...) <a href="https://github.com/tinkerpop/gremlin">Gremlin</a> and <a href="http://incubator.apache.org/giraph/">Giraph</a> help empower graph analysis, and are often used coupled with graph databases like <a href="http://neo4j.org/">Neo4j</a> or <a href="http://www.infinitegraph.com/">InfiniteGraph</a>, or in the case of Giraph, working with Hadoop. <a href="http://goldenorbos.org/">Golden Orb</a> is another high-profile example of a graph-based project picking up steam. Graph databases are pretty cutting edge. They have interesting differences with relational databases, which mean that sometimes you might want to take a graph approach rather than a relational approach from the very beginning.<br />
<br />
(...) <a href="http://www.sap.com/solutions/technology/in-memory-computing-platform/hana/overview/index.epx">SAP Hana</a> is an in-memory analytics platform that includes an in-memory database and a suite of tools and software for creating analytical processes and moving data in and out, in the right formats.</blockquote>Extrémním tempem nepřibývá jen dat, ale také technologií, které je umožňují zpracovat. Těch několik, jež jmenuje citovaný článek, patří mezi klíčové a budeme se jimi zde postupně zabývat podrobněji.<br />
<br />
Tim Gasper, TechCrunch: <a href="http://techcrunch.com/2012/10/27/big-data-right-now-five-trendy-open-source-technologies/">Big Data Right Now: Five Trendy Open Source Technologies</a>Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-51407726385091545172012-09-27T13:06:00.001+02:002012-09-27T13:06:52.840+02:00Big Data v podání Seznamu<blockquote class="twitter-tweet" lang="cs"><p>Heatmapa plánování tras. Za jeden letní měsíc uživatelé naplánovali 685 milionů km tras autem a 9,5 milionů km pěšky. <a href="http://t.co/dWggWEM2" title="http://twitter.com/mapy_cz/status/249111340994658304/photo/1">twitter.com/mapy_cz/status…</a></p>— mapy.cz (@mapy_cz) <a href="https://twitter.com/mapy_cz/status/249111340994658304" data-datetime="2012-09-21T11:42:27+00:00">Září 21, 2012</a></blockquote><script src="//platform.twitter.com/widgets.js" charset="utf-8"></script>Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-39582614479627387092012-09-20T11:47:00.001+02:002012-09-20T11:47:42.665+02:00EMC World 2012: pozor na exponenciályExponenciála je zamilovaná křivka IT byznysu.<br/><br/>Na počátku je Moorův zákon: výkon procesorů (a všech ostatních čipů) se při konstantní výrobní (ne nutně prodejní :) ceně zdvojnásobí jednou za půldruhého roku. Exponenciála jak vyšitá. Z toho plyne neutuchající důvěra obchodníků, že si koupíme Produkt 5.0, protože Produkt 4.0 je už dva roky starý. (Některým z nich to funguje.<br/><br/>Potíž s exponenciálou je v tom, že po většinu svého života vypadá jako přímka - ba dokonce jako vodorovná čára, konstanta, která zaostává i za lineárním růstem. Je tomu tak vždycky, když jsou počáteční hodnoty malé. Tedy u všech nových věcí.To nás vede k tomu, že přehlížíme exponenciální trendy a zveličujeme význam přímek. Je to nevyhnutelný a naprosto pochopitelný omyl.<br/><br/>V nelineárním světě se významný trend pozná vždy <em>až zpětně.</em> Když už není pochyb. Když už vás exponenciála praští do hlavy.<br/><br/>O tomhle jsme se s Pavlem Bartákem z EMC snažili mluvit v úvodní přednášce dnešní konference. Ty dnešní exponenciály se jmenují virtualizace; oddělení softwarové vrstvy datacentra od komoditizovaného hardwaru; a také, nu ano, Big Data a cloud.<br/><br/><em>Přestože vám to všichni říkají, je to pravda.</em><br/><br/>Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-81647287436028317882012-09-19T18:20:00.001+02:002012-09-19T18:20:44.072+02:00Co o vás ví váš hypermarketTohle asi všichni znáte. Nebo ne? Nejlepší příběh na téma Big Data a data mining za letošní rok:<blockquote>About a year after Pole created his pregnancy-prediction model, a man walked into a Target outside Minneapolis and demanded to see the manager. He was clutching coupons that had been sent to his daughter, and he was angry, according to an employee who participated in the conversation.<br />
<br />
“My daughter got this in the mail!” he said. “She’s still in high school, and you’re sending her coupons for baby clothes and cribs? Are you trying to encourage her to get pregnant?”</blockquote><br />
V datech je všechno. Jde jen o to najít je a interpretovat.<br />
<br />
Charles Duhigg, The New York Times Magazine: <a href="http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html">How Companies Learn Your Secrets</a>Unknownnoreply@blogger.com0tag:blogger.com,1999:blog-4058039247080122941.post-1084989837212984312012-09-19T18:12:00.001+02:002012-09-19T18:12:37.967+02:00Kupa senaZačneme tam, kde jsme <a href="http://emcworld2012cz.blogspot.cz/">naposled skončili</a>.<blockquote>Všichni víme, že došlo k datové explozi, že dat přibývá stále rychleji a že to asi přináší jakési potíže. Málokdo ale přemýšlí nad skutečnými rozměry problému, už jen proto, že není lehké si je představit.<br />
<br />
Rozhlédněte se kolem sebe. Internet; prima. Mobilní data a smartphone; jasně. GPS a polohové služby; samosebou. Datové senzory v budovách, v autech, na ulicích. Bezpečnostní systémy. Nakupování, služby, bankovnictví - online i offline, protože z hlediska vytváření digitální stopy je to dnes už skoro jedno, poskytovatelé si zaznamenávají všechno v obou případech. Fotky a videa. Sociální sítě jako malá třešnička na dortu. Wi-fi všude, například už i v letadlech. To vše po čtyřiadvacet hodin denně a pro několik miliard lidí.<br />
<br />
Tak se neustále generují data. Hodně hodně moc dat. Za rok 2011 jich přibylo 1,8 zettabajtu. Zettabajt je miliarda terabajtů. Meziroční tempo nárůstu je něco přes čtyřicet procent. Ze stovky máte sto čtyřicet za rok a sto devadesát šest za dva roky a 275 za tři, k tisícinásobku se takhle dostanete za sedm let... ve skutečnosti ještě dříve, protože ten meziroční nárůst se taky pomalu zvětšuje.<br />
<br />
Aby to bylo zábavnější, 95 % těch dat je v nestrukturované podobě, tedy nikoli v přehledných databázových tabulkách, s nimiž se počítačům dobře pracuje.</blockquote>Můžeme tomu říkat Big Data. Můžeme tomu říkat jinak, jestli se vám ta marketingově-novinářská nálepka nelíbí. <br />
<br />
Problém přetrvává bez ohledu na název. Lidstvo produkuje data šíleným tempem, protože to je snadné. Je zapotřebí je nějak uložit, zpracovat a především z nich vytahat užitečné informace. To snadné není. Představte si jehlu v kupce sena.<br />
<br />
A pak si představte hodně velkou kupu sena, dejme tomu jako kontinent. Máte to? A nezapomeňte, že je dynamická, zvětšuje se o čtyřicet procent za rok. Hledejte v tom něco!<br />
<br />
Nemůžeme ten problém ignorovat. Na to jsou naše data už příliš cenná a my jsme na nich příliš závislí. Výzva, jak to zvládnout, patří k největším a nejzajímavějším úkolům dneška. <br />
<br />
Bonus: když si s tím poradíme, budeme skvěle odměněni. Data představují hrozbu, ale zároveň je v nich zakopaný poklad netušených souvislostí a znalostí.<br />
<br />
Napínavé vyhlídky! A skvělé.Unknownnoreply@blogger.com0