Über bitsandbytes
bitsandbytes ermöglicht 8-bit Training und Inference. Es spart massiv Speicher. bitsandbytes ist Open Source. Es macht LLMs speichereffizient.
Hauptfeatures
- Quantization
- 8-bit
- Open Source
- Memory Efficient
bitsandbytes ermöglicht 8-bit Training und Inference. Es spart massiv Speicher. bitsandbytes ist Open Source. Es macht LLMs speichereffizient.