Týždenník

Týždeň 2024-21

vlko

May 28, 2024 • 12 min read

Microsoft vidí budúcnosť v novej kategórii počítačov. Zatiaľ majú ARM procesor a AI čip. @vlkodotnet

Udalosť týždňa: Build 2024

Microsoft konferencia bola opäť v AI kontexte. Toho sme si užili u Googlu, užijeme si o dva týždne u Apple, ale poďme sa zamyslieť, prečo je to tentoraz iné. Všetci máme zaškatuľkované AI ako toho chatbota, s ktorým si môžete porozprávať. Väčšinou skúšame všetko možné a vytešujeme sa, keď ho prichytíme pri nepresnostiach. To tu budeme mať ešte dlho, lebo ľubovoľný LLM model je štatistický model, ktorý viac-menej náhodne odhaduje ďalšie slovo.

Namiesto chatbotov prichádza doba "do-botov" ("do" od anglického slova robiť), ale dosaďte si tam slovo asistent alebo copilot, do-bot sa mi páči najviac. Niečo podobné sme tu už mali sľúbené od časov hlasových asistentov. Vy im poviete, čo chcete, oni to spravia. Problém ale bol, že oni toho veľa spraviť nevedeli. Dôvod bol jednoduchý, všetko im musel niekde niekto naprogramovať a nascriptovať.

Do-boti sú ale iní. Majú nad sebou nejakú vrstvu jazykového modelu, ktorý vie pochopiť vaše zadanie (aj keď nie je úplne presné), a tiež vie, čo je mu dovolené urobiť. Nemusí teda robiť úplne všetko, čo reálne vie robiť skutočný človek, ale robí len to, na čo ho tvorcovia natrénovali. Taký do-bot vám vyplní formulár, taký do-bot nastaví PC, taký do-bot vám urobí súhrn emailov, atď. Problém dosiaľ bol, že do-bot musel bežať niekde v cloude na serveroch, kde by ste svoje osobné dáta posielať nechceli.

Microsoft zadefinoval novú triedu počítačov Copilot+ PC, ktorá hovorí, že počítač, ktorý si s týmto označením kúpite, bude mať dosť pamäte a špeciálny koprocesor NPU, na ktorom sa budú dať spúšťať lokálni do-boti. Nám vývojárom zase dáva garanciu, že keď vytvoríme aplikáciu pre triedu počítačov Copilot+ PC, tak všetko pôjde ako má. Teda nie ako dosiaľ, že ... potrebujete GPU kartu ... potrebujete CUDA toolkit ... ešte Python ... je mi ľúto, málo RAM.

Nie je prekvapením (teda pre mňa), že prvú vlnu Copilot+ PC zariadení nebude poháňať žiaden Intel ani AMD procesor, ale Snapdragon X Elite od Qualcomm. Microsoft sa už hádam 10 rokov snaží prísť s ARM zariadením, ale dosiaľ to bolo stále drahé a pomalé. Teraz dúfajú, že to bude iné. Elite X procesor zvládne nielen všetko, čo potrebujete, navyše na integrovanom NPU procesore vám vylepší video, audio, analyzuje obsah obrazovky, atď., atď. Od Microsoftu bude dostupný klasický model dotykového Surface Laptop a klasického Surface Pro s klávesnicou za 450 dolárov (cena len za klávesnicu, ktorá už má Bluetooth).

Nebudú to ale osamelé ARM Windows PC modely, keďže s Copilot+ PC špecifikáciou sa pre výrobcov vytvára potenciálne nový trh kde, ak tento model bude úspešný, tak takmer každý bude meniť svoj počítač za nový.

Na nových ARM zariadeniach si budete môcť zahrať aj svoje hry, už k tomu existuje stránka Windows on Arm Ready Games (worksonwoa.com) a Elite X obsahuje aj Auto Super Resolution technológiu pre upscale hier z nižšieho rozlíšenia pre vyšší framerate.

ARM ale nie je x86 ani x64 architektúra. Čo všetky tie staršie aplikácie, ktoré ich tvorcovia nebudú chcieť alebo môcť upraviť pre beh na ARM architektúre? Microsoft pripravil technológiu Prism, ktorá bude fungovať podobne ako Rosetta na Macoch.

Navyše Copilot+ PC dostanú až 40 zabudovaných AI modelov, ktoré budú pomáhať Copilotu, ktorý samozrejme bude napojený na OpenAI na serveroch. Otázka je, či sa niekedy dočkáme plne lokálne bežiaceho Copilota, bez závislosti na externých službách. Čoho sa ale dočkáme určite je killer novinka s názvom Recall. To bude taká virtuálna svokra, čo vám bude celý deň pozerať cez rameno a ukladať si do pamäti všetko čo robíte. Väčšina ľudí si myslí, že keďže robí aj screenshoty, tak bude analyzovať obrázky. Okrem detekcie obsahu z obrázkov bude využívať starý dobrý Narrator, ktorý sa vie dostať k textovému obsahu toho, čo vidíte na obrazovke.

Recall bude potom vaša pamäť. To preto, že tá naša za moc nestojí. My si pamätáme veci kadejako, len nie presne. Pamätáme si, že na tej prezentácii bol fialový graf, že v maile bolo niečo o autách, ale už neviete presne o aký typ auta išlo. To sú scenáre, kde by mal Recall užitočný. Už vám určite blikajú červené kontrolky, že predsa nechceme, aby nás niekto takto špehoval. Microsoft sľubuje, že takáto história bude lokálna, takže ak vám zdochne disk, tak s ním aj vaša Recall história. To by mohlo dosť bolieť. Pokiaľ ide o mňa, tak viem, že s tou mojou pamäťou je to celkom zlé. A bude to tak mať veľká väčšina bežných užívateľov. Tí si to zapnú a budú to využívať. Nuž necháme sa prekvapiť. Nakoniec mám hneď prvú testovaciu otázku: čo to odo mňa manželka chcela, aby som tento týždeň nezabudol?

Pre vývojárov ešte predstavili malý rýchly model Phi-3-vision, ktorý dokáže spracovať obraz do textovej formy. A to vo veľkosti 4,2 miliárd parametrov, takže dokáže byť veľmi rýchly. Tiež ďalšie verzie predtým prestaveného Phi-3-small a to menší Phi-3-mini a väčší a lepší Phi-3-medium.

Pre predstavu, ako môže taký model fungovať, je tu Microsoft Copilot, ktorý radí pri hre Minecraft.

Je toho viac, ako napríklad nový developerský Snapdragon mini desktop, natívna integrácia Git do Explorera, atď.

Microsoft ale len nepridáva nove veci. VBScript končí a zverejnili aj plán ako to bude prebiehať. Pre začiatok bude VBScript voliteľná feature Windows.

Google AI Overview

Google spustil v USA AI Overview vo vyhľadávaní a veru nebol to ten najúspešnejší štart. Trochu kontextu: Google spravil dohodu s Reddit na použitie jeho dát. To urobil preto, lebo Reddit mal lepšie a dôveryhodnejšie recenzie ako inde. Pri tréningu svojho modelu potom týmto Reddit dátam pravdepodobne dal väčšie váhy. Problém je, že Reddit je Reddit a ľudia tam píšu kadejaké veci. Takže AI overview začal odporúčať pridať lepidlo do syra na pizzu, aby sa nešmýkal (niekto to zo srandy odporučil v jednom Reddit fóre). Odporúčal jesť kamene, spáchať vraždu, atď. Okrem toho ľudia začali cielene vyhľadávať, kde je to zlé, čo určite nepomáha celkovému dobrému obrazu Google.

Tiež Google predstavil to, ako bude vkladať do AI Overview reklamu.

Úprimne si myslím, že my všetci, čo žijeme z Google preklikov, nebudeme mať svetlú budúcnosť. Buď budete mať tak silný brand, že vás Google dá do obsahu AI Overview, alebo po nás ani pes neštekne.

Mimochodom keď už na vás má svet zabudnúť, tak tu mám jednu štatistiku, ktorá hovorí, že od roku 2013 zmizlo 38 % web obsahu. A to znamená veľa back liniek na neexistujúci obsah.

Angular v18

Angular dostáva svoju 18. verziu a noviniek je požehnane. Začali nahradzovať change detection zo zone.js za modernejší Signal API. Ale nebojte, bude tam nejaká kompatibilná vrstva. Poteší Event Replay a lepšie nástroje pre debugovanie. Lepšia kontrola hydration a partial hydration pre tých, čo využívajú server rendering. Ešte pribudla podpora Material 3 a TypeScript 5.4.

.NET okienko

Na Builde nezabudli ani na nás. Preto .NET má byť tá najlepšia platforma pre tvorbu AI aplikácií (to sú tie Phi-3 modely), webu a všetkého. Vo web technológiách teraz tlačia Aspire, pretože pri ňom nepotrebujete riešiť žiaden hardware ani software. Len to niekde nasadíte. Je to easy to start, build, deploy, len už nie tak ľahké monitorovať. A .NET 9 bude ešte rýchlejší a C# 13 pridá params bez polí, implicit a explicit extensions (také trošku inovované extension helpre, hlavne v explicit extension vidím veľkú budúcnosť) a bude toho viac.

V .NET 9 Preview 4 vylepšia developer exception stránku, pridali HybridCache, čo je hybrid medzi lokálnou a distribuovanou cache, teda podporuje viac úrovni cachovania. O zabudovanej podpore Open API bez externej knižnice som už písal.

Kto neupdatoval, tak updatujte na Visual Studio 2022 17.10. Dočkáme sa lepšej GitHub Copilot integrácie cez ALT+/. Copilot vám vygeneruje testy, podmienky v breakpointoch, komentár do commitu a poradí si s Exception. Môžete si nastaviť Italic na fontoch, vidieť náhľad obrázku v CSS, atď.

Tým sa dostávame k ďalšej verzii VS 2022 s číselkom 17.11. Command palette dostalo univerzálnu skratku CTRL+SHIFT+P. Lepšie riešenie async chýb, package.json závislosti v závislostiach projektu.

Budúca verzia Windows 11 24H2 sľubuje zrýchlenie prístupu k disku cez Block Cloning aj tých, čo používajú NTFS.

Záverečný diel o Roslyn Analyzeroch ukazuje ako riešiť niektoré scenáre, ktoré vám pomôžu pri ich vytváraní.

Zopakujeme si, že HttpClient sa dá používať správne (singleton dependency) a správnejšie (IHttpClientFactory) + iné užitočné tipy.

How to use HttpClient correctly to avoid socket exceptions

Learn the best practices on how to use HttpClient correctly and avoid socket exceptions by using HttpClientFactory in an ASP.NET Core Web API.

Round The Code

Linky na záver

Nvidia mala za sebou neuveriteľný štvrťrok. Nárast medziročných tržieb o 262 % a zisku o 628 %. Najviac sa darilo ich datovým centrám, ktoré mali nárast tržieb o 427 %. A vraj tieto čísla udržia najbližší rok.