Open Source
Open-source

GPTQ

Website besuchen

Über GPTQ

GPTQ ist 4-bit Quantization für LLMs. Es macht Modelle kleiner ohne viel Qualitätsverlust. GPTQ ist Open Source. Es macht LLMs kompakt.

Hauptfeatures

  • Quantization
  • 4-bit
  • Open Source
  • LLMs

Ähnliche Tools

llama.cpp

Open Source
Open-source

Erstellt effiziente LLM-Inferenz auf deinem Computer

AutoKeras

Open Source
Open-source

Erstelle neuronale Netze automatisch mit AutoKeras.

Whisper.cpp

Open Source
Open-source

Erstellt ein leistungsstarkes Modell für Audio-Aufgaben ohne Cloud-Abhängigkeit.

AllenNLP

Open Source
Open-source

Erstelle strukturierte NLP-Forschung auf Open-Source-Basis mit PyTorch.

Zurück zur Übersicht