Odblokowane modele AI: mniej odmawiają, ale czy są lepsze? | Homelab #13

Czy lokalny model powinien odpowiadać na każde pytanie tylko dlatego, że działa na moim komputerze? To pytanie przyświeca porównaniu bazowego Qwen 3.5 9B z dwoma wariantami Abliterated. Wszystkie modele uruchamiam lokalnie na tym samym Dellu, używając tego samego promptu systemowego i tych samych ustawień generowania.

Nie robię pełnego benchmarku i nie próbuję na podstawie kilku odpowiedzi ogłosić zwycięzcy. Interesuje mnie konkretnie to, co zmienia techniczne osłabienie odmów: czy model częściej podejmuje rozmowę, czy lepiej trzyma się zadanej roli i czy jego większa bezpośredniość oznacza także większą wiarygodność. Pokazuję rzeczywiste odpowiedzi z kilku testów, a nie sam opis modeli.

Co zobaczysz

Najpierw porządkuję trzy pojęcia, które łatwo ze sobą pomylić: prompt systemowy, fine-tuning i abliteration. Prompt systemowy opisuje instrukcję przekazaną modelowi podczas pracy. Fine-tuning oznacza dalsze trenowanie modelu na określonych danych. Abliteration jest tu podejściem do osłabiania zachowania związanego z odmowami bez trenowania całego modelu od początku.

Potem przechodzę do pytania, skąd w ogóle bierze się odmowa. W odcinku omawiam badania, według których można znaleźć w aktywacjach modelu kierunek związany z odmową. Projekt Heretic wykorzystuje tę obserwację, aby zmieniać zachowanie modelu na poziomie jego reprezentacji. Dzięki temu można przygotować wariant mniej skłonny do odmawiania, zachowując punkt wyjścia w postaci istniejącego modelu.

Następnie porównuję Qwen 3.5 9B z dwoma wariantami Abliterated od Huihui AI. Sprawdzam proste sytuacje, w których bazowy model zaczyna odmawiać, a także test roli agresywnego nauczyciela, trudniejsze treści i scenariusz szkoleniowy. W każdym przypadku znaczenie ma nie tylko to, czy odpowiedź się pojawi, ale także jak model ją formułuje i czy konsekwentnie trzyma się instrukcji.

Kluczowe wnioski

Modele Abliterated rzeczywiście rzadziej odmawiają. Są bardziej bezpośrednie i w moich próbach konsekwentniej trzymają się zadanej roli. To realna różnica, jeśli celem jest praca lokalna, w której użytkownik chce sam kontrolować zachowanie modelu i nie oczekuje, że każda trudniejsza prośba zakończy się odmową.

Nie wynika z tego jednak, że model stał się mądrzejszy. Zmiana dotyczy przede wszystkim zachowania związanego z odmową, a nie automatycznego zwiększenia wiedzy czy jakości rozumowania. Model może po prostu odpowiadać częściej, dłużej i z większą pewnością siebie.

Ta pewność siebie jest właśnie jednym z ważniejszych problemów. Jeśli po osłabieniu odmów pojawia się więcej niepewnych informacji, użytkownik może pomylić bezpośredniość z wiarygodnością. Mniejsza liczba odmów nie jest więc miarą prawdziwości ani skuteczności modelu. Odpowiedź, która brzmi przekonująco, nadal może zawierać błędy.

Ważny jest też kontekst testu. Zachowanie zależy od wersji modelu, kwantyzacji, promptu systemowego, parametrów generowania i zestawu pytań. Dlatego pokazane próby są obserwacją konkretnego setupu, a nie uniwersalnym rankingiem. Przy pobieraniu zmodyfikowanego modelu sprawdzam autora, model bazowy, format plików i licencję. Zwracam też uwagę na to, czy repozytorium wymaga uruchamiania zewnętrznego kodu.

Jak to odtworzyć

Podstawą jest lokalne uruchomienie bazowego Qwen 3.5 9B oraz dwóch wariantów Abliterated, a następnie podanie im tych samych instrukcji i ustawień generowania. Porównanie ma sens tylko wtedy, gdy zmieniam model, a nie jednocześnie prompt, parametry i komputer. Warto zachować odpowiedzi z tych samych prób, żeby porównywać odmowy, trzymanie roli i sposób wyrażania pewności.

Do dalszej pracy można wykorzystać modele Huihui AI dostępne w Ollamie i na Hugging Face oraz projekt Heretic. Materiały dotyczące kierunku odmowy i abliteration pomagają zrozumieć, co jest obserwacją techniczną, a co interpretacją wyników kilku testów. Nie traktuję tego eksperymentu jako pełnego benchmarku.

Najczęstsze pytania

Czy Abliterated oznacza lepszy model? Nie. Oznacza model rzadziej odmawiający w określonych sytuacjach. To nie gwarantuje większej wiedzy, lepszego rozumowania ani prawdziwszych odpowiedzi.

Czy lokalne uruchomienie usuwa potrzebę ostrożności? Nie. Przed użyciem zmodyfikowanego modelu trzeba sprawdzić jego pochodzenie, bazę, licencję, format plików i wymagania repozytorium.

Czy te wyniki są uniwersalne? Nie. Zależą między innymi od wersji, kwantyzacji, promptu systemowego, parametrów generowania i pytań.

Materiały

• Modele Huihui AI w Ollamie
• Modele Huihui AI na Hugging Face
• Gemma 4 Abliterated
• Refusal in Language Models Is Mediated by a Single Direction
• Nowsza praca o reprezentacjach i mechanizmach odmowy
• Badanie wpływu abliteration na decyzje i pewność modeli
• OR-Bench
• Małe modele Qwen 3.5
• DeepSeek Harness: agent w akcji