Díl 7. – Kafka, Samza, Druid.io

V tomto pokračování rozhovoru s Lukášem Havrlantem se věnujeme technologiím optimalizovaným pro zpracování a analýzu velkého množství událostí. Kafka – distribuovaná replikovaná fronta s možností “vracení se v čase”, Samza – stream processor zjednodušující zpracování událostí z časové řady, Druid.io – sloupcová databáze na bázi agregovaných dat.

Lukáš nám osvětlil jak všechny tyto tři technologie pasují dohromady, s jakými těžkostmi se potýkali a jestli se to vyplatilo.

Video

Pouze audio

[soundcloud url=”https://api.soundcloud.com/tracks/248312340?secret_token=s-e8bp9″ params=”color=ff5500&auto_play=false&hide_related=false&show_comments=true&show_user=true&show_reposts=false” width=”100%” height=”166″ iframe=”true” /]

Odkazy:

• Kafka
• Samza
• Druid.io

V iBillboardu hledají Node.js programátory

Kdo si chce hrát s velkými daty a novými technologiemi, kontaktujte přímo Lukáše na e-mailu: lukas@havrlant.cz … třeba čekají právě na vás 🙂

Obsah:

• co v iBillboardu děláte? 0:33
• trendy v online reklamě 5:50
• kdy se začíná vyplácet Kafka, Samza, Druid 7:02
• kdo stojí za zmíněnými technologiemi? 9:20
• jaké úlohy jednotlivé technologie řeší? 10:06
• o Kafce 11:10
• porovnání Kafky s ostatními Queue technologiemi 13:17 (tady jsem mylně uváděl, že ZeroMQ není distribuovaná … je 🙂
• strategie pro využití multimaster (write) vlastností Kafky 16:31
• spolehlivost Kafky 20:46
• retence dat v Kafce 24:14
• humorné příhody (faily) ze života 🙂 25:14
• k čemu slouží Samza 27:52
• hosting 32:29
• poslední díl skládanky – Druid.io 35:21
• problém s počtem unikátních uživatelů 37:55
• HyperLogLog 40:00
• dotazovací jazyk Druida 46:25
• podpora agregačních a statistických funkcí 47:10
• Druid.io – data v paměti nebo na disku? 52:41
• ruid.io – data v paměti nebo na disku? 52:41
• elaborace na téma Lambda / Kappa architekura 54:40