Open Source
Open-source

vLLM

Website besuchen

Über vLLM

vLLM ist extrem schnelles LLM-Serving. Es nutzt PagedAttention. vLLM ist Open Source. Es macht LLM-Serving performant.

Hauptfeatures

  • LLM Serving
  • Fast
  • Open Source
  • PagedAttention

Ähnliche Tools

Aim

Open Source
Open-source

Leichtgewichtigter Experimenten-Tracker, einfach gemacht!

Danswer

Open Source
Open-source

Intelligenter Search-Servus für Unternehmen

ONNX Runtime

Open Source
Open-source

Erstelle Inferences plattformübergreifend schnell und effizient mit ONNX Runtime.

Quivr

Open Source
Open-source

Dein Second Brain, der dein Wissen durchsuchbar macht.

Zurück zur Übersicht