Týždenník

Týždeň 2024-16

vlko

Apr 23, 2024 • 8 min read

Llama prichádza v tretej verzii a s ňou aj plán Meta dobyť trh s chatbotmi. @vlkodotnet

Udalosť týždňa: Llama 3

Spoločnosť Meta zverejnila tretiu verziu svojho Llama modelu. Ten vychádza vo verzii s 8 a 70 miliardami parametrov. Okrem toho ich GPU cluster akurát ráta verziu so 405 miliardami parametrami. Mark Zuckerberg v rozhovore uviedol, že by mala byť hotová neskôr tohto rok a mal by to byť ten najlepší AI model ever. Zatiaľ tvrdia, že Llama 3 8B je lepšia ako Llama 2 70B, čo je dosť silné tvrdenie, ale asi vedia, čo hovoria. Ako vstup môžete použiť až 8K kontextové okno, čo je dvojnásobok oproti Llama 2. Pre niekoho môže byť 8K možno malé číslo, ale vraj vylepšili tokenizer vstupu, a tak budú vedieť aj s menším počtom tokenov spracovať viac vstupných dát.

Ja som si Llama 3 8B samozrejme hneď nainštaloval do Ollama a vyzerá to zaujímavo. Je to celkom rýchle, odpoveď je takmer hneď. Tento menší model je ale vhodný len pre použitie s angličtinou. Slovenčine moc nerozumie a odpovedá buď po anglicky, alebo výsledok počeští. Ak chcete s ním rozprávať po našom, tak odporúčam väčší model 70B, ktorý má podporu viac jazykov. Ja nemám dosť RAM, aby som ho vedel vyskúšať. Tiež je už Llama 3 menej cenzurovaná ako jej predchádzajúca verzia.

Ak to nie je jasné z textu, tak Llama 3 je stále kecací jazykový model. To ale neznamená, že na tom v Meta nerobia a ďalšia verzia už bude môcť rozumieť aj obrázkom. Meta ale neinvestuje do týchto modelov len tak. Jej cieľom je vlastný asistent, podobne ako ponúka OpenAI. A asistent toho aj viac zvládne. Aj tie obrázky a aj zvuk. Jediný problém je, že ten asistent je od firmy, ktorá získala veľa "dobrého mena" prevádzkovaním svojho nosného produktu s názvom Facebook.

Boston Dynamics Atlas smrť a oživenie

Každého určite bavilo si pozerať videá Boston Dynamics, ktorých roboty robili rôzne psie kúsky ako tanec, beh cez prekážky, atď. Preto ma zarmútila správa, že Atlas, ako ho poznáme končí.

Slzy ale netryskali z mojej tváre dlho, pretože končí len hydraulická verzia modelu Atlas, a už sa môžeme tešiť na nove kúsky verzie s elektrickými motorčekmi.

Pravdupovediac ich uvádzacie video je trošku strašidelné, pretože motorčeky umožňujú oveľa väčší rozsah pohybov. A nepomôže tomu ani jedno veľké "oko" namiesto hlavy.

CPU okienko

V minulom týždenníku som zabudol na ďalšie dve zaujímavé hardware novinky. Dnes to napravím. Tou prvou novinkou je Meta AI MTIA, čo je špeciálny procesor pre urýchlenie AI a iných výpočtov. Asi si ho nekúpite, ale inžinieri v Meta tak dostanú 7-násobne rýchlejšie výpočty len pri 3,5-násobne vyššej spotrebe.

Google zasa predstavil Axion procesory, ktoré už budete môcť využiť v jeho cloud službách. Tie sú postavené na ARM architektúre a samozrejme okrem rýchlosti ponúkajú najmä nižšiu spotrebu.

Nie je to zaujímavé, ako dnes už takmer každá z mega korporácií si kutí nejaký druh svojho vlastného privátneho procesoru? Nebolo to tak dávno, keď tie najlepšie procesory poskytovali traja výrobcovia. Potom začal Apple a príchod cloudu a AI ukázal, že sa to oplatí aj ostatným.

AI okienko

Dnes toho bude dosť, začneme preto novým expertným Mistral 7x22B modelom. Ten umožňuje podporu vlastných funkcií, verí si v matematike a programovaní, a má 64k vstupný kontext.

Stable Diffusion 3 je už dostupná ako API služba. A ak som písal o tom, že firma Stability AI má problém so ziskovosťou, tak vás asi neprekvapí, že zatiaľ nie je dostupná free verzia tohto modelu.

Microsoft v rámci svojho výskumu uverejnil zaujímavé výsledky svojho modelu VASA. Ten zoberie obrázok plus nejaký hlas a vygeneruje veľmi uveriteľné video. Veď kto by už nechcel vidieť Monu Lízu rapovať?

Humane AI Pin nedostal veľmi dobré recenzie.

Dá sa tu ale niečo užitočné vymyslieť? Limitless nemá ani kameru, ani obrazovku, ale vystačí si s mikrofónom. Ten zaznamenáva zvuk, prepisuje ho na text a sumarizuje. Vraj ho budete vedieť aj úkolovať a kontrolovať, čo nahráva. Ak výrobca splní, čo sľubuje, tak to možno nebude až také márne.

.NET okienko

Vytvárať docker kontajnery s .NET 8 je jednoduché. Ale nie až tak jednoduché, aby o tom niekto z Microsoftu nemusel napísať vysvetľujúci blog post.

Zdá sa mi, že som už o tomto písal. A keď áno, tak to berte ako článok, kde si zopakujete rozdiely medzi AOT a novými C# interceptormi. Dobre je tam vysvetlené, čo od nich môžeme očakávať, a kde sa hodia. Interceptory sú stále v preview móde a vznikli hlavne preto, aby sa Minimal API projekty vedeli AOT skompilovať.

Linky na záver

Thunderbird dostane v novej verzii podporu pre Exchange protokol. To je super najmä preto, že takto bude silnou alternatívou k Outlook aplikácii. Mimochodom túto novinku implementovali v Ruste.

Pod GPL-3 licenciou vyšiel zdrojový kód hry Descent 3. Descent na rozdiel od klasických 3D strieľačiek pridal naozajstný tretí rozmer. Vy ste vedeli uhýbať nielen do strán, ale aj hore a dole. Nemusím pripomínať, že neboli krajšie chvíle ako skočiť do nejakej šachty a rozstrieľať súpera.

Quill je WYSIWYG editor textu, ktorý namiesto raw HTML alebo Markdown, umožňuje vygenerovať RichText. Dobrých a free WYSIWYG editorov nie je nikdy dosť.

Potrebujete odscrollovať na koniec feedu? Alebo sa dostať v Teams chat histórii na príspevok z minulého roka? Tak na to sa vám hodí fyzické zariadenie Doomscroller. Za 55 dolárov, alebo si ho môžete skúsiť postaviť sami podľa návodu na GitHube.

Vizuálna bodka na záver

Najlepší počin poslednej doby, pokiaľ ide o krátke sci-fi filmy. Je to 6 epizód, tak neskončite hneď pri prvom videu.

Klasická statická vizuálna bodka o tom, ako žijeme naše životy.

If The Titanic Sank Today: pic.twitter.com/oQ620vmcNi
— ❦︎ (@ricpovs) April 14, 2024