Te małe modele okazały się lepsze, niż myślałem! | Homelab #12

Czy mały model lokalny może być faktycznie użyteczny, a nie tylko szybki w benchmarku? W tym odcinku sprawdzam rodzinę Qwen 3.5 na Dellu z 32 GB RAM. Porównuję warianty 0.8B, 4B i 9B w normalnym użyciu: pod kątem szybkości, responsywności, zapotrzebowania na pamięć oraz sensowności odpowiedzi.

Nie opieram się wyłącznie na wynikach znalezionych w internecie. Najpierw aktualizuję lokalne środowisko, a potem sprawdzam modele w zadaniach tekstowych i vision. Dzięki temu widać zarówno ograniczenia małego modelu, jak i sytuacje, w których jego niewielki rozmiar jest praktyczną zaletą.

Co zobaczysz

Początek odcinka dotyczy aktualizacji stacku. Odświeżam Ollamę oraz kontener Open WebUI, żeby lokalne środowisko mogło obsłużyć najnowsze modele Qwen 3.5. To nie jest poboczny krok: bez zgodnej wersji narzędzi trudno rozdzielić problem modelu od problemu konfiguracji.

Następnie mapuję lokalny endpoint Ollamy. Chodzi o wygodniejszy dostęp do usługi podczas testów, bez wykonywania pracy przez docker exec. Samo mapowanie nie poprawia odpowiedzi modelu, ale upraszcza sposób, w jaki można go sprawdzać i porównywać z innymi wariantami.

Najważniejsza część to porównanie 0.8B, 4B i 9B. Patrzę na pamięć RAM, szybkość oraz zastosowanie praktyczne. Najmniejszy wariant jest szybki i responsywny, więc może pasować do lekkich zadań. Większe modele mają więcej możliwości, ale wybór nie sprowadza się do zasady „większy zawsze znaczy lepszy”.

W trakcie pracy pojawia się problem z Open WebUI po pierwszej wiadomości. Rozwiązuję go przez zmianę parametrów modeli, a osobny rozdział poświęcam wyłączeniu trybu „thinking”. To pokazuje, że zachowanie interfejsu i modelu zależy nie tylko od liczby parametrów, ale także od ustawień, z którymi model jest uruchamiany.

Kluczowe wnioski

Najmniejszy model 0.8B wypada lepiej, niż można by oczekiwać po samym rozmiarze. Nie oznacza to, że zastępuje pozostałe warianty. Oznacza raczej, że przy lekkich zadaniach szybkość i responsywność mogą mieć większe znaczenie niż maksymalna zdolność do rozwiązywania złożonych problemów.

Różnice stają się wyraźniejsze w testach vision. Sprawdzam obrazy, tekst na screenach, tabele i wykresy. W przypadku złożonych obrazów model 9B osiąga wysoką dokładność, a w teście danych makroekonomicznych widać przewagę wersji 4B i 9B nad najmniejszym wariantem. 0.8B ma problemy z logiką wymagającą szerszej interpretacji.

Praktyczny wybór zależy więc od zadania. Do lekkiej pracy lokalnej mały model może być sensownym punktem startowym, szczególnie gdy liczy się szybka odpowiedź. Przy analizie tabel, wykresów i bardziej złożonych obrazów większe warianty dają wyraźniejszy margines możliwości.

Nie przenoszę tych wyników bezpośrednio na każdy komputer. Szybkość, użycie RAM-u i jakość odpowiedzi zależą od sprzętu, długości promptu, kontekstu oraz konfiguracji narzędzi. Test z tego odcinka opisuje mój konkretny setup, a nie uniwersalny ranking.

Jak to odtworzyć

Najpierw aktualizuję Ollamę i Open WebUI, następnie mapuję lokalny endpoint Ollamy i uruchamiam porównanie modeli Qwen 3.5 na sprzęcie z 32 GB RAM. Sprawdzam warianty 0.8B, 4B i 9B pod kątem responsywności oraz zastosowania, a potem testuję vision na obrazach, screenach, tabelach i wykresach. Jeśli Open WebUI zawiesza się po pierwszej wiadomości, analizuję ustawienia i wyłączam tryb „thinking”. Źródło nie podaje pełnych komend instalacji ani konfiguracji Dockera, więc ich nie dopisuję.

Najczęstsze pytania

Czy 0.8B wystarcza do wszystkiego? Nie. W lekkich zadaniach jest szybki i użyteczny, ale przy złożonej interpretacji obrazów oraz danych makroekonomicznych lepiej wypadają 4B i 9B.

Czy największy model jest zawsze najlepszym wyborem? Nie. Wybór zależy od zadania, pamięci i oczekiwanej responsywności.

Czy wynik da się powtórzyć na dowolnym komputerze? Nie ma takiej gwarancji. Rezultaty zależą od sprzętu, promptu, kontekstu i konfiguracji narzędzi.

Materiały

• Qwen 3.5: https://qwen.ai/blog?id=qwen3.5
• Qwen 3.5 w Ollamie: https://ollama.com/library/qwen3.5
• Qwen 3.5 0.8B w Ollamie: https://ollama.com/library/qwen3.5:0.8b
• Qwen 3.5 9B na Hugging Face: https://huggingface.co/Qwen/Qwen3.5-9B
• Testowany wykres NFZ: https://www.nfz.gov.pl/aktualnosci/aktualnosci-centrali/masa-ciala-i-wzrost-dane-niezbedne-dla-zdrowia-publicznego,8745.html
• Tabela makroekonomiczna: https://tradingeconomics.com/
• Odblokowane modele AI: Qwen 3.5 Abliterated
• Ollama + Cline: reality check