Решите проблему с использованием GPU в llama.cpp: узнайте compute capability видеокарты, пересоберите llama.cpp с флагом -DGGML_CUDA_FORCE_MMQ=ON, проверьте поддержку MMQ, запустите сервер с нужными параметрами. Исправьте ошибки GPU и выберите подходящую модель GGUF для вашего оборудования.
2
В чате с Алисой замените данные в скобках [...] на свои