Пошаговая настройка Ollama в Ubuntu

Установка

Откройте терминал и выполните официальный скрипт установки:

curl -fsSL https://ollama.com/install.sh | sh

1. Этот скрипт автоматически скачает бинарные файлы, создаст пользователя ollama и настроит службу systemd.
2. Запуск и управление службой (systemd):
   • Запустить службу: sudo systemctl start ollama
   • Включить автозапуск при загрузке: sudo systemctl enable ollama
   • Проверить статус: sudo systemctl status ollama
3. Добавление пользователя в группу (рекомендуется):
   Чтобы не использовать sudo перед каждой командой ollama, добавьте своего пользователя в группу ollama:

sudo usermod -a -G ollama $USER

1. После этого нужно выйти из системы и войти снова, чтобы изменения вступили в силу
2. Запуск моделей:
   Загрузите и запустите модель (например, Llama 3):

ollama run llama3

1. Список доступных моделей можно найти на официальном сайте Ollama.

Настройка удаленного доступа

Если нужно, чтобы Ollama принимала запросы с других компьютеров в локальной сети, отредактируйте файл службы:

sudo nano /etc/systemd/system/ollama.service

В секцию [Service] добавьте строку:

Environment="OLLAMA_HOST=0.0.0.0:11434"

В unit-файлах systemd можно указывать директиву Environment несколько раз.
например:

[Service]
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/ga..."
Environment="OLLAMA_HOST=0.0.0.0:11434"
...

После этого перезагрузите systemd и службу:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Теперь можно взять слабенький ноут и в терменате набрать

export OLLAMA_HOST=172.18.105.197:11434
ollama run dagbs/qwen2.5-coder-14b-instruct-abliterated:latest

тут 172.18.105.197:11434: ip сервера
dagbs/qwen2.5-coder-14b-instruct-abliterated:latest: название модели
если не хотим чатится в консоли, поможет графический интерфейс (Open WebUI / AnyGPT):

1. Где хранятся модели:
   По умолчанию модели скачиваются в папку: /usr/share/ollama/.ollama/models (если установлен как сервис) или ~/.ollama/models.
2. Использование GPU (NVIDIA):
   Ollama автоматически определяет GPU NVIDIA, если установлены драйверы и CUDA. Дополнительная настройка не требуется

Полезные команды

• ollama list : список загруженных моделей.
• ollama rm <модель> : удалить модель.
• ollama serve : запустить сервер вручную.
• ollama run dagbs/qwen2.5-coder-14b-instruct-abliterated:latest : Загрузите и запустите модель.
• ollama pull <name> — скачать модель без запуска.
• ollama ps : проверить, какие модели сейчас загружены в память и использую