Model AI na własnym komputerze. Da się, tylko domyślne ustawienia trzeba zmienić

Model AI działający na Twoim komputerze nie wysyła niczego na zewnątrz i to jest prawda, którą producenci zapisali w dokumentacji. Tylko że to samo narzędzie, którym go uruchamiasz, oferuje w tym samym oknie modele liczone na cudzych serwerach. Wybiera się je jednym kliknięciem, a nazwa różni się jednym słowem. Cała reszta tego poradnika bierze się z tej jednej pułapki.

Powiedzmy to na początku, żeby nikt nie liczył na cud: modele są darmowe, ale sprzęt nie. Dołożenie pamięci do 32 gigabajtów albo kupienie komputera z mocną kartą graficzną kosztuje więcej niż rok abonamentu na płatne narzędzie. Jeśli szukasz oszczędności, to nie tędy droga.

Sens jest inny i dotyczy jednej konkretnej sytuacji: masz dokumenty, których nie chcesz wysyłać do cudzej chmury. Umowy, dokumentację medyczną, dane osobowe klientów, materiały objęte tajemnicą. Wtedy pytanie brzmi nie „ile zaoszczędzę", tylko „czy to w ogóle może wyjść z firmy".

Producent jednego z narzędzi zapisał to w dokumentacji tak, że nie ma miejsca na wątpliwości.

Pierwsza pułapka: modele chmurowe w tym samym oknie. W narzędziu Ollama część modeli ma w nazwie dopisek oznaczający chmurę i liczy się na serwerach producenta. Dokumentacja mówi o tym wprost, ale nazwa różni się od lokalnej jednym słowem, więc łatwo kliknąć nie to. Da się to wyłączyć na stałe, wpisując jedną linijkę do pliku ustawień, i jest to jedyny moment w całym poradniku wymagający edytora tekstu.

Druga pułapka jest cichsza i dlatego gorsza. Domyślny limit tekstu, który model widzi naraz, wynosi na typowym laptopie cztery tysiące tokenów, czyli około trzech tysięcy słów. Wkleisz dłuższą umowę i model po prostu przestanie widzieć jej początek, nie mówiąc o tym ani słowa. Producent sam zaleca podniesienie tego limitu do co najmniej sześćdziesięciu czterech tysięcy przy poważniejszych zadaniach, ale to kosztuje dodatkową pamięć.

Zasada jest prosta: plik modelu musi zmieścić się w pamięci, a kilka gigabajtów trzeba zostawić systemowi i na ten limit tekstu. Przy 16 gigabajtach pamięci bezpieczny plik modelu to około ośmiu gigabajtów. Szesnaście gigabajtów to zresztą minimum, które zalecają zgodnie wszyscy producenci narzędzi.

Google jako jedyny opublikował tabelę, ile pamięci zajmuje który rozmiar jego modelu w wersji odchudzonej, czyli tej używanej na laptopach. Najmniejszy potrzebuje 2,9 gigabajta, dwunastomiliardowy 6,7, a trzydziestojednomiliardowy już 17,5. Do każdej z tych liczb trzeba dołożyć zapas, bo nie obejmują pamięci na tekst.

• MacBook Air w podstawowej wersji ma 16 gigabajtów pamięci wspólnej dla procesora i grafiki. Wejdzie Bielik w wersji jedenastomiliardowej, dwunastomiliardowa Gemma i model otwarty OpenAI, którego autorzy deklarują działanie właśnie w 16 gigabajtach.
• Laptop z Windows bez mocnej karty graficznej: wymagany procesor z obsługą instrukcji AVX2, czyli sprzęt z 2015 roku albo nowszy. Realnie wejdą modele do ośmiu miliardów parametrów. Będzie wolniej, bo liczy procesor, a nie karta.
• Komputer z kartą graficzną: przy 8 gigabajtach pamięci karty wejdzie Bielik i Gemma na styk, przy 16 model otwarty OpenAI, przy 24 i więcej największe modele domowe. Bonus: od 24 gigabajtów narzędzie samo podnosi limit tekstu z czterech do trzydziestu dwóch tysięcy tokenów.
• Komputer z 8 gigabajtami pamięci: tylko modele najmniejsze, o wyraźnie niższej jakości. Lepiej dołożyć pamięć albo odpuścić, niż wdrażać coś, co będzie rozczarowywać.

Bielika robi SpeakLeash razem z krakowskim centrum obliczeniowym Cyfronet. Wszystkie wersje z rodziny drugiej i trzeciej mają licencję Apache 2.0, czyli wolno ich używać w firmie, także zarobkowo, bez pytania o zgodę i bez progów. Jest oficjalna paczka w formacie czytanym przez wszystkie trzy popularne narzędzia i oficjalna pozycja w katalogu, więc uruchomienie to jedna komenda i pobranie 6,7 gigabajta.

Jedna rzecz do zapamiętania, bo kosztuje najwięcej: stara wersja z 2024 roku, siedmiomiliardowa, ma licencję zakazującą użytku komercyjnego. Nadal wisi w sieci i nadal jest pobierana kilka tysięcy razy miesięcznie. Reguła praktyczna brzmi: skrót „nc" w nazwie modelu oznacza zakaz zarabiania na nim, a licencję widać na stronie każdego modelu.

Drugi polski model, PLLuM, powstaje ze środków Ministra Cyfryzacji i też jest darmowy, ale do pracy na własnym komputerze nadaje się gorzej. Autorzy nie udostępnili plików w formacie, który czytają te narzędzia, więc trzeba sięgnąć po przeróbki zrobione przez osoby trzecie. Działają, tylko nie mają gwarancji autora, a licencja pierwotna obowiązuje dalej, niezależnie od tego, kto plik przepakował. Część wersji PLLuM ma właśnie ten zakaz komercyjny.

1. 1

   Pobierz LM Studio

   Ze strony producenta, wersja na Maca albo na Windows. Jest darmowe także do użytku firmowego i od lipca 2025 nie trzeba o nic pytać ani wypełniać żadnego formularza.

2. 2

   Wejdź w zakładkę Discover

   To wbudowana wyszukiwarka modeli. Wpisz Bielik, wybierz wersję oznaczoną Q4_K_M, kliknij pobieranie. To około 6,7 gigabajta.

3. 3

   Wejdź w zakładkę Chat i załaduj model

   Na Macu skrót to Cmd i L, na Windowsie Ctrl i L. Wybierasz pobrany model i potwierdzasz. Od tego momentu piszesz jak w zwykłym czacie.

4. 4

   Podłącz dokument

   Przeciągnij plik PDF, Word albo zwykły tekst do okna rozmowy. Krótki dokument narzędzie wkleja w całości, z długiego wycina fragmenty, które uzna za istotne.

5. 5

   Sprawdź, czy naprawdę jesteś odcięty

   Wyłącz wi-fi i zadaj pytanie. Jeśli odpowiedź przyjdzie, model liczy się u Ciebie. Jeśli nie przyjdzie, wybrałeś model chmurowy.

To jest liczba, którą trzeba zobaczyć przed decyzją. Modele otwarte naprawdę dogoniły płatne, ale te, które to zrobiły, mają biliony parametrów i wymagają serwerowni. To, co wejdzie na firmowego laptopa, jest od płatnego czatu wyraźnie słabsze i żadne ustawienie tego nie zmieni.

Poza jakością są jeszcze cztery rzeczy, w których lokalny model przegra na starcie. Długie dokumenty, bo limit tekstu na laptopie jest za mały. Zadania, w których model ma sam coś wykonać, bo producent zaleca do nich limit szesnaście razy większy niż domyślny. Cokolwiek, gdzie liczy się aktualność, bo model nie wie nic po dacie swojego wytrenowania. I praca kilku osób naraz, bo każde równoległe pytanie to kolejna porcja pamięci.

Jest też ostrzeżenie od samych autorów Bielika, które warto przeczytać dosłownie, bo dotyczy dokładnie tych odchudzonych wersji, które się instaluje na laptopie.