Skocz do zawartości
oscarostry123

AI lokalnie - w którym modelu można modyfikować kod, ( np. często zamiast odpowiedzi na prompta dostaję odpowiedzi "tego nie mogę bo rodo " lub "tego nie mogę bo ....." Czy da się jakiś model tak zmodyfikować aby wyszukiwał i pracował nad tym co chce?

Rekomendowane odpowiedzi

witam wszystkich 

zastanawiam się nad własnym modelem AI lokalnie, który można zmodyfikować tak aby nie maił ograniczeń

często zamiast odpowiedzi na prompta dostaję odpowiedzi "tego nie mogę bo rodo " lub "tego nie mogę bo ....." Czy da się jakiś model tak zmodyfikować aby wyszukiwał i pracował nad tym co chce? 

jestem początkujący ale , wiem że można przy konfiguracji zachaszować lub zakomentować niektóre linijki kodu.

Czy w ten sposób można w modelu lokalnym zrobić aby nie miał blokad?

chodzę do liceum i słabo wyglądają tam lekcje informatyki, może coś mi pomożecie?

dziękuję za zainteresowanie i pozdrawiam Oscar

 

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

dziękuję za linki , jeszcze nie wybrałem , zbieram na komputer teraz święta więc poprosiłem na gwiazdkę koperty zamiast prezentów mam już prawie 5000 zobaczymy ile dozbieram i chcę coś złożyć sobie ,  gpt wypisał mi takie ale czy on się nie myli ? poczytam te linki wieczorem . dziękuję

image.png.c68515070c5da4bad26233d80acf9afe.png

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Po pierwsze, 5K to moze na sama karte do LLM wystarczy, uzywana 3090/24 jest pomiedzy 3, a 4K. 4090/24 tak 2x tyle. 

Po drugie, wybierasz jaki model i go instalujesz lokalnie w zaleznosci od potrzeb. Najlepiej do tego uzywac Ollama i polaczyc go z jakims interfejsem, bo watpie czy dasz rade z linia polecen. 

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

tak wiem że 5k to mało ale coś dozbieram, no w konsoli to może być słabo, coś tam linuxa i c++ w szkole przerabiałem ale to słabo, więc pewnie jakiś interfejs podłączę.  Powiedz Ollama nie ma blokad wgranych jakiś , cenzury lub coś w tym stylu co mają np gpt? 

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Ollama to jest program do odpalania LLMów, tam są do wyboru *różne* modele.

https://www.purepc.pl/stworz-wlasnego-chatbota-w-5-minut-lokalna-instalacja-modeli-jezykowych-na-linuksie-i-windowsie-poradnik-krok-po-kroku

Edytowane przez Pzgr. 39

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

to nie taka prosta sprawa jest! czy ktoś z was ma jakiś model lokalnie i przeszukuje sieć?

https://provilogic.pl/wykorzystanie-zasobow-internetowych-przez-lokalny-model-llm/

Najprostsze okazuje się skorzystanie z DuckDuckGo.

Większość usług związanych z wyszukiwaniem i gromadzeniem danych poprzez serwery MCP jest płatna. 

Szukając serwera MCP do „przeszukiwania internetu” szybko zauważysz, że sprawa nie jest taka prosta. API wyszukiwarek Internetowych, takich jak Bing czy Google nie jest anonimowo i bezpłatnie dostępne. Dla wielu jest to niespodzianka, bo przecież codziennie korzystają z wyszukiwarki za pomocą Chrome, Edge lub Safari i nic nie płacą. W tym przypadku sytuacja jest całkowicie inna. Żeby nasz program mógł skorzystać z serwisu Google musi się odpowiednio autoryzować za pomocą indywidualnie przyznawanego klucza. Dopiero wtedy, gdy w konfiguracji serwera MCP wpiszemy ten klucz, możliwe będzie skorzystanie z usługi Google, Bing albo jakiekolwiek innej. W dość pokrętny sposób można to obejść ale będzie to niezręczne i zawodne.

To nawet nie jest główny problem i zawsze możesz rozpocząć procedurę uzyskiwania klucza API wyszukiwarki. Radzę jednak starannie przeczytać warunki korzystania z API i starannie przemyśleć czy na pewno chcesz z tych usług korzystać. Po za tym, instalacja serwerów MCP dla wyszukiwarek Google i Bing nie jest z „jakiegoś” powodu prosta.

 

Czyli wystarczy  zainstalować serwer MCP dla DuckDuckGo i skonfigurować interfejs LLM ? 

Czy ktoś z was to robił? Czy odpowiedzi jakie uzyskaliście były satysfakcjonujące? 

Edytowane przez oscarostry123

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

20 hours ago, oscarostry123 said:

Powiedz Ollama nie ma blokad wgranych jakiś , cenzury lub coś w tym stylu co mają np gpt? 

Ollama sama z siebie nie ma żadnych blokad ani cenzury, Ollama jest tylko interfejsem pomiędzy tobą a modelami. Ale same modele już mogą mieć cenzurę i blokady (np. Gemma od Google, LLaMA od Meta/Facebooka, GPT-OSS od OpenAI).

Udostępnij tę odpowiedź


Odnośnik do odpowiedzi
Udostępnij na innych stronach

Dołącz do dyskusji

Możesz dodać zawartość już teraz a zarejestrować się później. Jeśli posiadasz już konto, zaloguj się aby dodać zawartość za jego pomocą.

Gość
Dodaj odpowiedź do tematu...

×   Wklejono zawartość z formatowaniem.   Przywróć formatowanie

  Dozwolonych jest tylko 75 emoji.

×   Odnośnik został automatycznie osadzony.   Przywróć wyświetlanie jako odnośnik

×   Przywrócono poprzednią zawartość.   Wyczyść edytor

×   Nie możesz bezpośrednio wkleić grafiki. Dodaj lub załącz grafiki z adresu URL.

Ładowanie


×
×
  • Dodaj nową pozycję...