Zum Hauptinhalt springen

🔗 Integrationen

📄️ 🐋 DeepSeek R1 Dynamic 1.58-bit mit Llama.cpp ausführen

Ein riesiges Dankeschön geht an UnslothAI für ihre unglaublichen Bemühungen! Dank ihrer harten Arbeit können wir jetzt das vollständige DeepSeek-R1-Modell mit 671 Milliarden Parametern in seiner dynamischen 1.58-Bit-quantisierten Form (komprimiert auf nur 131 GB) auf Llama.cpp ausführen! Und das Beste daran? Sie müssen nicht mehr verzweifeln, weil Sie riesige unternehmensweite GPUs oder Server benötigen – es ist möglich, dieses Modell auf Ihrem persönlichen Rechner auszuführen (wenn auch langsam für die meisten Consumer-Hardware).