Microsoft bringt Phi-3 auf den Markt, sein bisher kleinstes KI-Modell

Microsoft hat die nächste Version seines leichten, KI-gestützten Modells auf den Markt gebracht, den Phi-3 Mini, das erste von drei Mini-Modellen, die das Unternehmen auf den Markt bringen will.

Phi-3 Mini misst 3,8 Milliarden Parameter und wird im Vergleich zu Phi-3 Mini auf einem kleineren Datensatz trainiert Große Sprachmodelle wie GPT-4. Es ist jetzt auf Azure, Hugging Face und Ollama verfügbar. Microsoft plant die Veröffentlichung von Phi-3 Small (7B-Parameter) und Phi-3 Medium (14B-Parameter). Parameter geben die Anzahl komplexer Anweisungen an, die das Modell verstehen kann.

Das Unternehmen brachte im Dezember den Phi-2 auf den Markt, der eine ähnliche Leistung wie größere Modelle wie den Llama 2 erbrachte. Laut Microsoft ist der Phi-3 leistungsstärker als die Vorgängerversion und kann Antworten liefern, die denen eines zehnmal größeren Modells nahe kommen.

sagt Eric Boyd, Corporate Vice President der Microsoft Azure AI Platform die Kante Phi-3 Mini verfügt über ähnliche Fähigkeiten wie LLM-Programme wie GPT-3.5 „nur in einem kleineren Formfaktor“.

Im Vergleich zu ihren größeren Gegenstücken sind KI-Modelle klein Sie sind oft kostengünstiger im Betrieb und bieten persönlich eine bessere Leistung Geräte wie Telefone und Laptops. die Information Ich habe Anfang des Jahres berichtet, dass Microsoft ein Team aufbaut, das sich speziell auf leichtgewichtige KI-Modelle konzentriert. Zusammen mit Phi entwickelte das Unternehmen auch Orca-Math, ein Modell, das sich auf die Lösung mathematischer Probleme konzentriert.

Die Entwickler trainierten Phi-3 anhand eines „Lehrplans“, sagt Boyd. Sie ließen sich davon inspirieren, wie Kinder aus Gute-Nacht-Geschichten, Büchern mit einfacheren Wörtern und Satzstrukturen, die sich mit größeren Themen befassen, lernen.

„Es gibt nicht genügend Kinderbücher, also haben wir eine Liste mit über 3.000 Wörtern genommen und einen LLM gebeten, ‚Kinderbücher‘ zu erstellen, um Fai zu unterrichten“, sagt Boyd.

Er fügte hinzu, dass Phi-3 einfach auf den Erkenntnissen früherer Iterationen aufbaut. Während sich Phi-1 auf das Programmieren konzentrierte und Phi-2 begann, das Denken zu lernen, ist Phi-3 besser im Programmieren und Denken. Die Phi-3-Modellsuite verfügt zwar über einige allgemeine Kenntnisse, kann GPT-4 oder ein anderes LLM in puncto Umfang jedoch nicht übertreffen – es gibt einen großen Unterschied in der Art der Antworten, die Sie von einem vollständig online trainierten LLM im Vergleich zu einem kleineren Modell erhalten können wie Phi -3.

Boyd sagt, dass Unternehmen häufig feststellen, dass kleinere Modelle wie das Phi-3 für ihre benutzerdefinierten Anwendungen besser geeignet sind, da ihre internen Datensätze bei vielen Unternehmen ohnehin eher kleiner sind. Da diese Modelle weniger Rechenleistung verbrauchen, sind sie oft deutlich günstiger.