În cazul în care lansările lui Llama 2 și Llama 3 au fost, probabil, unele dintre cele mai importante evenimente din AI pentru anii de lansare respectivi, Llama 4 se simte complet pierdut. Meta a încercat să-și reinventeze formula de modele cu schimbări substanțiale în dimensiune, arhitectură și personalitate, dar lipsește o narațiune coerentă. Meta a căzut în capcana de a aștepta prea mult timp pentru a expedia modelele, așa că baremul actual este imposibil de trecut cu succes.
Succesul modelelor deschise de la laboratorul chinezesc de inteligență artificială DeepSeek, care au performanțe egale sau mai bune decât modelele emblematice anterioare Llama de la Meta, a adus în lumina reflectoarelor procesul de dezvoltare a modelelor Llama. Se spune că Meta a activat modul hiperdrive pentru a descifra modul în care DeepSeek a redus costurile de funcționare și implementare a modelelor precum R1 și V3.
Meta spune că Llama 4 este prima sa cohortă de modele care utilizează o arhitectură combinată de experți (MoE), care este mai eficientă din punct de vedere computațional pentru instruire și răspuns la întrebări. Arhitecturile MoE practic descompun sarcinile de procesare a datelor în subsarcini și apoi le delegă unor modele „expert” mai mici,
» Citește continuarea pe pagina autorului