Cohere zrychluje obsluhu modelu jedním „megajádrem“. Optimalizace softwaru má snížit cenu inference
Cohere popsalo nový způsob obsluhy modelu North Mini Code na grafických procesorech Nvidia H100. Místo řetězce mnoha malých výpočetních jader spojuje dekódovací fázi do jednoho „megajádra“. V testech…