tldr; llama на таком кластере показывает перфоманс в 17-35 токен/сек

Б/У профессиональная карта вроде как дешевле выходит.

ну на такой карте не похостить сервисы всякие кнчн

Ну и прзнаться честно на кластере таком сервисы домашние крутить оверхед.

Я не осуждаю, просто пытаюсь придумать применение окромя запуска моделей.

Зато жрет киловатт.

Почему оверхэд? CI-раннеры, всякие регистри, пару инстансов сервисов для балансировки, вот это всё?

Ты чё там насрал, что на домашнем сервере балансировка требуется???

ой бля заебал короче

Окей.

Ну извини, я ж не хотел подъебать. Ты мб лабораторию замутить хочешь по изучению инфраструктуры современных приложений.