ארכיטקטורת AI

לפני 5 חודשים

מיסטרל שחררה מודל של 128 מיליארד פרמטר ב-4 כרטיסי מסך. ולא מדובר בטריק.

כשכולם הלכו על ארכיטקטורת MoE, החברה הצרפתית בחרה בדרך אחרת לגמרי. Medium 3.5 הוא מודל צפוף, 128 מיליארד…