Google predstavil experimentálny open-source model DiffusionGemma, ktorý mení spôsob generovania textu, informoval portál MojAndroid.sk. Namiesto vytvárania slov po jednom, dokáže generovať celé bloky textu naraz, čo výrazne zrýchľuje jeho prácu. Podľa spoločnosti je nový model až štyrikrát rýchlejší než klasické jazykové modely rodiny Gemma.
Rýchlosť a efektivita
DiffusionGemma využíva techniku tzv. textovej difúzie. Text najskôr vytvorí v hrubej podobe a následne ho postupne spresňuje, podobne ako difúzne modely generujú obrázky. Výsledkom je rýchlosť presahujúca 1 000 tokenov za sekundu na výkonných GPU a približne 700 tokenov za sekundu na grafickej karte NVIDIA RTX 5090.
Novinka je postavená na architektúre Gemma 4 s celkovým počtom 26 miliárd parametrov, pričom počas generovania aktívne využíva len približne 3,8 až 4 miliardy parametrov. Vďaka tomu ju možno prevádzkovať aj na výkonnejších spotrebiteľských grafických kartách s približne 18 GB pamäte VRAM.
Mohlo by vás zaujímať:
- Keď chýba mentálna energia, pomôžu zelené miesta, spánok a jedlo
- Kruhová ekonomika môže znížiť emisie v doprave
- Ochranári upozorňujú: dôležité nie sú len počty, ale aj vek zvierat
Google však priznáva, že vyššia rýchlosť je vykúpená nižšou kvalitou výstupov. Ak je prioritou čo najpresnejší a najkvalitnejší text, tradičné modely Gemma 4 zostávajú lepšou voľbou. DiffusionGemma je preto určená najmä pre aplikácie, kde je dôležitá nízka odozva a rýchla interakcia.
