Elon Musk, známý díky firmám jako je Tesla, SpaceX a Neurolink, splnil svůj slib otevřít světu zdrojový kód aplikace Grok. Tu vyvinula jeho startupová společnost xAI. Nyní je tento LLM (large language model) AI dostupný jako open source software široké veřejnosti.
Musk tento krok zdůvodnil snahou o urychlení vývoje a přijetí umělé inteligence.
Monstrum v znalostech
xAI oznámilo toto rozhodnutí na svém blogu a současně zdůraznilo přednosti aplikace Grok, jako je 314 miliard parametrů nebo jádro složené z Mixture-of-Experts. To znamená, že Grok nespoléhá na jediný model pro všechny úlohy. Místo toho používá soubor různých expertních modelů, z nichž každý se specializuje na určitou dílčí úlohu. Představte si tým expertů, z nichž každý má vlastní oblast znalostí. Grok funguje podobně, přičemž každý „expertní“ model se stará o specifický aspekt porozumění nebo generování textu.
Podrobnosti o modelu
- Základní model vycvičený na velkém množství textových dat, nevyladěný pro žádnou konkrétní úlohu.
- 314 miliard parametrů modelu Mixture-of-Experts s 25 % vah aktivních na daném tokenu.
- Trénováno od nuly xAI pomocí vlastního tréninkového zásobníku nad JAX a Rust v říjnu 2023.
Zábavnější ChatGPT
Název aplikace je inspirován sérií románu Douglase Adamse, Stopařův průvodce po Galaxii, kde je slovo Grok používáno jako výraz pro porozumění. Grok byl zařazen jako více otevřená a humorná alternativa k ChatGPT modelu od OpenAI. Tento krok se je v souladu s Muskovou bitvou proti cenzuře, „progresivní” ideologii zobrazené v modelech jako je Google Gemini, nebo jeho nedávnou žalobu, v níž tvrdil, že společnost OpenAI porušila své neziskové zásady.
Přesto xAI za své rozhodnutí sklidilo chválu od zastánců open source přístupu, ozvala se i kritika. Obavy panují především z potenciálu zneužití díky neomezenému přístupu k tak mocnému AI systému a jeho dovedností.
