Prywatna infrastruktura inferencyjna GPU
Klient: Projekt wewnętrzny Trilagi
- Wyzwanie
- Rozwój i ewaluacja AI dla IT Operations wymagały uruchamiania i dostrajania modeli LLM open source na wrażliwych danych, przy przewidywalnych kosztach i bez zależności od zewnętrznych API modeli.
- Co zbudowaliśmy
- Infrastruktura GPU on-premise zbudowana na produkcyjnych, serwerowych kartach NVIDIA i platformach AMD EPYC, serwująca modele LLM open source i obsługująca zadania fine-tuningu.
- Rezultat
- Pełna kontrola nad modelami, danymi i kosztami, a do tego sprawdzona w codziennym użyciu architektura referencyjna dla wdrożeń prywatnych modeli LLM.