• Dragi članovi, prochitajte OVU vest u vezi nove teme!
  • Molimo vas sve da pročitate PRAVILA FORUMA i da se istih pridržavate.
  • Secret Level Discord server je LIVE! Za više informacija kliknite OVDE

Hardware General (vesti/konferencije/glasine)

nebojsa986 said:
Nije on trol, nego resio da učestvuje u tehnickoj diskusiji sa znanjem lika sa gajbice ispred prodavnice, šta razume to je sporedno bitno da moze da kaže svoje , happy to participate
Click to expand...
Izvini, ja zaista pisem toliko dumb down, da i oni sa jeftinijim ulaznicama poput tebe mogu razumeti, ali vidim da ni to nije dovoljno 🤷‍♂️
 
@Corvus Corax @vix i ostali sa iskustvom ali i bez ikakvog iskustva. Ono sto sam zaboravio naglasiti a sto mene mozda i najvise motivise i cini da se osjecam kao klinac ponovo je sto je ulaz u ovu igru zaista jeftin. Bolje vrijeme nije postojalo. Ne mora svako da ima rackove i kablazu ko u intelovom centru - Raspberry Pi, neka krs konfiguracija samo da moze bootati nesto, prastari laptop sa polomljenim displayem. Znaci bukvalno, sta god se ima na raspolaganju a ako se nema nista onda se protegnete koliko mozete a da ne boli novcanik, za svaki platezni rang ima solidno rjesenje. Oglasi i lagano u lov. Nedovoljno znanja? Google, knjige, YT tutoriali, pa cak i pomenuti svemocni AI. Tone besplatnog softvera za one koji nece da programiraju ili skriptaju. Ja licno kupim nesto za gaming, malo se izigram, pa penzionisem konfiguraciju u "klaster", u medjuvremenu nabudzim koliko moze, nesto prodam, ciklus se ponavlja. Ako volite tinkering i racunare/software onda je bas dobar hobi.
 
Corvus Corax said:
Pretpostavljam da misli na Proxmox bez corosync-a tj. node-ovi jesu pridodati u klaster, ali VM-ovi se fiksno vrte na njima, bez automatske migracije u slučaju havarije.
Click to expand...
Ako je u kontekstu Proxmox-a, onda OK. Tako mi ima smisla.
disturbed said:
Model je samo model, algoritam za predikciju. Tebi treba agent ili pak MCP client sa kojim mozes dati modelu pravu moc. Pogledaj N8N ako si za drag drop varijante ili ipak ClaudeCode, Cursor, Cline itd ako hoces pozivanje alata i MCP servera.
Click to expand...
To sam i ja mislio... da je tajna u agentima. U stvari nije. Kada se pogleda ispod haube poprilično je jednostavan koncept ali uspešnost agenta apsolutno zavisi od kvaliteta LLM modela. Agent je vrlo priglup shell oko LLM modela.

Naravno, probao sam Codex i Claude Code CLI alate i oni dosta dobro rade posao koji mi treba ali oni to uspevaju samo u kombinaciji sa OpenAI odnosno Claude modelima. Što jači model, to bolje radi. Srećom, preko firme imam pristup najjačim modelima pa mogu da isprobam sve na delu. Ono što bih ja hteo da postignem je neki zadovoljavajuć rezultat sa nekim lokalnim modelom jer ne želim da koristim firmine resurse. Želim da razvijam neke alate za koje neću da budu vlasništvo firme jer sam koristio firmine resurse. U tom slučaju spadam ili na lokalne modele ili da plaćam pretplatu za komercijalne modele.

Inače, evo kako agenti poput Codex-a ili VSCode ekstenzija kao što su Continue ili Cline funkcionišu u pozadini. Koga smara deep dive, neka preskoči 😄. Oni započinju ceo proces tako što LLM modelu prvo pošalju jedan ogroman tekst koji postaje deo konteksta. U tom tekstu agent alati (Codex, Cloude Code, Cline...) opisuju kako LLM treba da se ponaša, šta može i sme da radi, kako da alatu pošalje "tool" zahtev itd. Evo kraći primer iz GitHub Copilote-a:

1765412996209.webp

Ovo je samo delić, tekst je impozantan kada se pogleda u celini. Malo to meni izgleda smešno ali ovo su bukvalno "ljudske" instrukcije zadate AI-u kako da se ponaša i kako da vrši interakciju sa agentom da bi stvarno uradio posao.

Tool u ovom kontekstu predstavlja npr. akcije kao što su listanje direktorijuma, čitanje fajlova, prepravljanje fajlova itd. LLM poziva tool tako što agent-u šalje JSON objekat sa imenom tool-a i parametrima. Agent u onom inicijalnom tekstu opisuje kompletan protokol, kombinacijom JSON specifikacije i prostog jezika, za kog očekuje da ga LLM model poštuje. Kvalitet integracije između agent-a i LLM modela u pozadini u potpunosti zavisi od kvaliteta LLM modela i da li on može da prati i pridržava se pravila koja su mu inicijalno poslata. Recimo VSCode Chat (GitHub Copilot) radi odlično ako izabereš ChatGPT 5 ili Claude Sonnet ali se totalno raspadne kada mu kažeš da koristi Ollama backend i neki lošiji LLM model (tipa kao Qwen-2.5 u mom slučaju). Testirao sam i Continue i Cline koji takođe mogu u pozadini da koriste i komercijalne i besplatne lokalne modele. Ista je priča, komercijalni se lepo snalaze, lokalni se raspadaju. Evo i primer kako mu objašnjava šta agent nudi od tool-ova koje LLM može da pozove:

1765413196449.webp

Sve u svemu, ovo je sve jedno veliko "ako uspe, uspe".

disturbed said:
Ne znam specifikacije tih modela ali ako je RTX 2080 pandan tome onda bi mogao biti ogranicen CUDA performansama. Moci ces ucitati vece modele ali novije masine bi bile daleko brze. Uglavnom, lupam. Probaj pa vidi da li ti odgovara.
Click to expand...
Nemam u stvari izbor. Quadro RTX 6000 mi stiže u okviru mašine pa daj šta daš. Ovako u oglasima, sama kartica se prodaje skuplje nego ceo komp. Niđe logike ali dobro. Voleo bih da je u pitanju Qaudro RTX A5000, ona je pandan RTX 3080 ali jbg... moraće sa strane da se kupi. Kolega s posla je pre jedno 6 meseci kupio dva komada A5000 za 500 evra komad što je bukvalno džabe u odnosu na sadašnje cene.

disturbed said:
Mozes imati klaster masina bez redundancije, replikacije, itd, zar ne?
Click to expand...
Zavisi šta smatraš klasterom. Ako imaš samo nekoliko umreženih računara/servera, to generalno nije klaster. Klaster podrazumeva spregu između tih servera koja obezbeđuje da ako crne jedan server, ostali serveri nekako preuzimaju posao ovog koji je crkao. To je ujedno i koncept visoke dostupnosti (high availability). Drugim rečima, klaster je jedna od tehnika za postizanje HA s tim što HA može da bude prisutna na više slojeva.

Proxmox je dobar primer. Možeš da imaš nekoliko umreženih Proxmox host-ova i da vrtiš na njima virtuelne mašine potpuno nezavisno a možeš i da napraviš od njih klaster tako da mašine mogu da se šetaju između hostova (prebacuju se s jednog na drugi) i u slučaju crkavanja jednog host-a da se mašine automatski podignu na ostalim host-ovima (ako tako želiš i tako namestiš).

disturbed said:
Dead giveaway sto bi nas stari narod rekao su CEOovi kompanija i njihove izjave. Ako ih se nacepi nekakvom regulativom onda kukaju kako su "sputani, ne mogu da rade na tehnoloskom progresu, problem kancera nije rijesen, nema dovoljno energije", a kad ih se pusti na miru godinu dana deliveruju samo slop generatore uz naravno opasku da ce da zamjene sve "dobro placene" eksperte.

Scam nije dobra rijec za ovo jer da je AI dobar, da dobro umije da rezonuje, daje analize, predikcije, trendove zar nije logicno onda da prvo ti CEOovi lete iz firme? LLM ti daje izlaz koji statisticki gledano "lici na nesto" ili je "plausible" ali to ne znaci da ima apsolutno ikakve veze sa realnoscu. Nekad ima, ali nema garanta jer nije deterministicki algoritam u pozadini.
Click to expand...
Pogodak, 200%. Ja ovo pokušavam svom CEO da objasnim i njegovim "drugarima". Čovek se primio na vibe coding, napravio par fancy web GUI aplikacija vibe code-ovanjem i sad hoće kompletnu infra automatizaciju (Terraform, Ansible, custom scripting) da zameni sa AI agentima. Inače, infra nam je core business, ne web development. Ako nam infra umre, osetiće se na BDP-u cele Srbije 🙃. Ja sam ono već pred otkazom... spasavaj glavu dok mogu.

P.S. Baš smo se raspisali. Ako mnogo spamujemo, molim nekog moda da nas prebaci u namensku temu.
 
vix said:
Ako je u kontekstu Proxmox-a, onda OK. Tako mi ima smisla.
Click to expand...
Ma pisao sam "klaster", pod navidnom znacima :)
vix said:
To sam i ja mislio... da je tajna u agentima. U stvari nije. Kada se pogleda ispod haube poprilično je jednostavan koncept ali uspešnost agenta apsolutno zavisi od kvaliteta LLM modela. Agent je vrlo priglup shell oko LLM modela.
Click to expand...
Ovdje se ne bih slozio nikako. Agent nije jednostavan shell oko LLM modela bar ne ti sofisticirani tipa CC i Cursor. U svari oni rade daleko vise stvari i imaju par "stages" obrade. Ti komadi softwarea su proprietary, tj nisu open source. Cak ni sniffing ili reverse engineering ne daje jasnu sliku jer se opet "magija" desava na njihovim serverima. Context selection/compaction i prompt optimization su samo neke bas ocigledne stvari, optimizacija ima puno od jednostavnih do izuzetno kompleksnih. To sto ne rade toliko dobro sa lokalnim modelima me i ne cudi, osim same velicine i namjena modela je jako bitna i firme rade kompleksna dodatna tweakovanja modela na njihovoj strani. Bukvalno Cursor, Anthropic i OpenAI imaju 0 razloga da optimizuju za Qwen. LLM je "samo" predikcijski algoritam, nema on nikakvu mogucnost izvrsenja alata niti moze tu da grijesi jer on pojma nema ni o cemu osim o tokenima, za to mu treba agent kao posrednik izmedju OSa i LLMa. Kasnije su u pricu ubaceni MCP serveri a tehnicki CC i Cursor su ujedno i agenti i MCP klijenti. Napisati MCP server je izuzetno lako, a dobar i funkcionalan klijent jako tesko.
Takodje, taj primjer sto si okacio je vjerovatno primjer sistemskog prompta. Postoji vise rola u okviru prompt contexta: system, assistant i user. Sistemski prompt daje generalne smjernice LLM-u na osnovu kojih usmjeravamo model na pravi nacin. Ovo mi izgleda kao primjer generalnih smjernica u slucaju u kome model zelimo koristiti u programming svrhe te mu suzavamo polje djelovanja.
vix said:
Zavisi šta smatraš klasterom. Ako imaš samo nekoliko umreženih računara/servera, to generalno nije klaster. Klaster podrazumeva spregu između tih servera koja obezbeđuje da ako crne jedan server, ostali serveri nekako preuzimaju posao ovog koji je crkao. To je ujedno i koncept visoke dostupnosti (high availability). Drugim rečima, klaster je jedna od tehnika za postizanje HA s tim što HA može da bude prisutna na više slojeva.
Click to expand...
Tacno. Odbacio sam bilo kakvu potrebu za HA trenutno i ostao mi je samo skup komponenti :D
vix said:
Pogodak, 200%. Ja ovo pokušavam svom CEO da objasnim i njegovim "drugarima". Čovek se primio na vibe coding, napravio par fancy web GUI aplikacija vibe code-ovanjem i sad hoće kompletnu infra automatizaciju (Terraform, Ansible, custom scripting) da zameni sa AI agentima. Inače, infra nam je core business, ne web development. Ako nam infra umre, osetiće se na BDP-u cele Srbije 🙃. Ja sam ono već pred otkazom... spasavaj glavu dok mogu.
Click to expand...
Oduvjek imas ljude koji su trendovski nastrojeni u svacemu. Tu se naslusas raznih gluposti. Znas da je bubble jak kad se redovno nadjes na random lokacijama i cujes likove kako pricaju nebuloze. Ja sam potpuno za upotrebu AI-ja ali tamo gdje ima zaista svrhu. Cak i negdje gdje se upotreba na prvu cini idealna ako samo malo zagrebes povrsinu shvatis koliki je to slippery slope. Ili kad deliverujes feature koji rijesava zaista problem upotrebom AI-ja da bi nakon par mjeseci skontao da to niko ne koristi.
Ljudi generalno teze zabavi (vise ubijanju dosade, ako cemo realno) i idu linijom manjeg otpora. To da ce odjednom ljudi da usmjere svoju paznju ka licnoj edukaciji i upotrebi AI-ja da rijese neke svoje zivotne dileme i napreduju kao osobe je najvecim dijelom utopija. Onaj koji je zudio za znanjem i vjestinama sigurno nije cekao AI da mu pomaze. Trenutno smo u fazi kada je AI dobar da se malo ubije dosada i proba nova igracka. Cak se i OpenAI bori sa konstantnim gubitkom interesa svojih klijenata pa stalno guraju neke pompezne vijesti. Evo sad upravo mi iskace da su najavili/pustili GeePeeTee 5.2 pa mimovi prste na sve strane. Par dana i opet ce biti zatisje. Sta ce se desiti, pojma nemam ALI bolje da mi neko drobi o AI nego da mi prica kako treba ulagati u kripto :D
 
disturbed said:
Ovdje se ne bih slozio nikako. Agent nije jednostavan shell oko LLM modela bar ne ti sofisticirani tipa CC i Cursor. U svari oni rade daleko vise stvari i imaju par "stages" obrade. Ti komadi softwarea su proprietary, tj nisu open source. Cak ni sniffing ili reverse engineering ne daje jasnu sliku jer se opet "magija" desava na njihovim serverima. Context selection/compaction i prompt optimization su samo neke bas ocigledne stvari, optimizacija ima puno od jednostavnih do izuzetno kompleksnih. To sto ne rade toliko dobro sa lokalnim modelima me i ne cudi, osim same velicine i namjena modela je jako bitna i firme rade kompleksna dodatna tweakovanja modela na njihovoj strani. Bukvalno Cursor, Anthropic i OpenAI imaju 0 razloga da optimizuju za Qwen. LLM je "samo" predikcijski algoritam, nema on nikakvu mogucnost izvrsenja alata niti moze tu da grijesi jer on pojma nema ni o cemu osim o tokenima, za to mu treba agent kao posrednik izmedju OSa i LLMa. Kasnije su u pricu ubaceni MCP serveri a tehnicki CC i Cursor su ujedno i agenti i MCP klijenti. Napisati MCP server je izuzetno lako, a dobar i funkcionalan klijent jako tesko.
Takodje, taj primjer sto si okacio je vjerovatno primjer sistemskog prompta. Postoji vise rola u okviru prompt contexta: system, assistant i user. Sistemski prompt daje generalne smjernice LLM-u na osnovu kojih usmjeravamo model na pravi nacin. Ovo mi izgleda kao primjer generalnih smjernica u slucaju u kome model zelimo koristiti u programming svrhe te mu suzavamo polje djelovanja.
Click to expand...
Mislim da se varaš ali neću te ubeđivati. Probaj na nekom primeru da uhvatiš komunikaciju između agenta (alata koji koristiš sa svoje strane, CLI, VSCode, šta god) i servera s one strane. Thinking tip LLM-a s one strane je cela pamet. Agent sluša LLM-ove zahteve za pokretanje tool-ova kod tebe, uz tvoju dozvolu ili automatski, i onda LLM-u šalje rezultat tih tool-ova. LLM zatim planira sledeći korak itd. Đoraju se tako međusobno gde LLM vodi ceo postupak dok ne završi posao. Posle čeka na novi zadatak od tebe.
 
vix said:
Mislim da se varaš ali neću te ubeđivati. Probaj na nekom primeru da uhvatiš komunikaciju između agenta (alata koji koristiš sa svoje strane, CLI, VSCode, šta god) i servera s one strane. Thinking tip LLM-a s one strane je cela pamet. Agent sluša LLM-ove zahteve za pokretanje tool-ova kod tebe, uz tvoju dozvolu ili automatski, i onda LLM-u šalje rezultat tih tool-ova. LLM zatim planira sledeći korak itd. Đoraju se tako međusobno gde LLM vodi ceo postupak dok ne završi posao. Posle čeka na novi zadatak od tebe.
Click to expand...
Thinking odnosno reasoning modeli nisu nista specijalno vec jos jedan nacin optimizacije LLM-ova. Prosto, prompt se razbija na vise cijelina i onda se te cijeline obradjuju zasebno da bi se na kraju sve sastavilo u smislen odgovor. Zato kazu da je reasoning model dobar za analize a manje za kodiranje jer kodiranje teze ide kad se isparca (ali i tu sad ima zbunjola u imenima tipa Sonnet i Sonnet Thinking) To "thinking/reasoning" u imenu je nista drugo do marketing. Iza se nalaze razne optimizacije. Nekad je to bio Chain of Thought sad je reasoning. Sad, moguce je da sam agent radi inicijalno razbijanje pa se tako salje na server, ne znam, moguce je - ali server radi dodatni heavy lifting, mimo LLM izvrsavanja. Ali ne trebamo se ubjedjivati, sve ima dokumentovano, treba vremena da se analizira.
 



Hmmm, deluje kao gadna konkunrencija za SteamMachine ako neko kupi tonu onih i ponudi ih po ceni od recimo 300usd sa 2 jefina pada i SteamOS-om
 
Koliko tih apu ima na tržištu, imam utisak da je neko dumpovao par desetina hiljada odjednom
 
You must log in or register to reply here.
Back
Top Bottom