Hardware General (vesti/konferencije/glasine)

[disturbed]

@jovcov da, u sustini svako ko se dohvati dublje rada sa AI/LLM shvati koliko je to jos uvjek nerazvijena i nepecena tehnologija. Zanimljiva jeste, korisna u nekim situacijama ali ni blizu koliko manipulatorski tech bros propagiraju. Plastican primjer je kompanija za koju radim koja uskoro treba da ostvari IPO. AI je must-have da bi ostvarili "rezultate" na trzistu. Nema veze sto vec imas stabilan i odrziv model poslovanja - moras nekako uglaviti AI. I sad ja dubim vec 2 godine da core ostane stabilan i da ne podlegnemo pritiscima pa ne uvaljujemo AI bas svuda vec samo gdje ima smisla.

Modeli trenutno stagniraju, razvijaju se jos uvjek alati oko njih. Kvalitetnih podataka manjka, pokrali su sto su imali, nafeedali i najbizarnije stvari i to nije ni blizu dovoljno. Velicina kontekstnog prozora je isto dosegla maksimum, dalje povecanje ne donosi nista, cak po nekim testovima sposobnosti opadaju sa vecim kontekstom. Energija koja se trosi je ogromna, kad se jos na to dodaju elektricna auta ja stvarno ne vidim ekonomsku odrzivost.

SLM su zanimljivi i korisni ali nisu flashy kao ovi geepeetee akinatori.

Jedini savjeti koji imam za sebe i druge je da koriste AI, budu uvjek kriticki nastrojeni i da im izlaz u profesionalne svrhe ne bude nesto sto ne razumiju.

Ne znam sad sta ce biti sa ovim poskupljenjima, mozda cak poguraju low-performance uredjaje na trzistu a da iznajmljujemo computing power. Cloud i streaming infra je tu, sad je vrijedi opet monetizovati. Stvari se desavaju bas naglo.

 

[Corvus Corax]

Svacim U pitanju je proxmox klaster sa dvije skoro iste masine i nekim headless starijim laptopom kao quorum masinom.
- llm local modeli
- gaming

Jel bi hteo malo detaljnije da pojasniš šta si podesio od LLM-a da se vrti na Proxmox klasteru i kako funkcioniše?
Podigao si VM sa GPU passthrough za gaming?

 

[CARNEX]

Iskreno ne zazumem se u AI, samo slušam iz radoznalosti al me nešto mnogo kopka. Šta se dešava sa starim konceptom veštačke inteligencije koja se zasniva na gigantskim mrežama veoma prostih nodova koji se sami prespojavaju i tako uče i prilagođavaju se zadatcima? Sećam se nekih takvih mreža sa po milion nodova (par stotina ili hljada nodova na jednom čipu). Jel ta ideja napuštena? Trenutno lošija od LLM? Nešto treće?

Mene što se tiče AI-a brine to šta će ljudi od uticaja da urade sa tehnologijom. Sama tehnologija dođe kao sekundarna briga u poređenju sa strahom od totalne zloupotrebe posebno ako adekvatnost sistema ne nastavi da napreduje.

 

[Apex]

Na poslu koristimo 5-6 različitih AI alata plaćene verzije aktivno i možda još par povremeno.
Za neke stvari jeste koristan alat i to što je za neke druge stvari raspad me neće sprečiti da koristim za to što je dobar i mislim da vredi te pare kada je u pitanju ušteda vremena.

A i Chat GPT mi je zabavan i privatno da mi sumira rezultate, pravi tabele i chartove itd. Tu se pokazao relativno pouzdan do sada i po meni više kao neka nova evolucija search engine-a za koju je i bilo vreme.

Što se tiče hajpa, ja prvi koristim a ne hajpujem i mislim da većina hajpa i dolazi od strane ljudi koji i ne koriste AI i ne kapiraju realno o čemu se radi i do to zapravo i nije AI. Valjda se zato i zove bubble. Kao i za kripto bubble kreće kada ljudi na ulici koji i ne znaju šta je krenu da gledaju kako da se uključe.

Po meni je ovo više situacija kao što je ranije auto pravilo 10 ljudi a sada dvoje ljudi i 1 robot tako i AI unapređuje automatizaciju nekih stvari i to je to.

Ja se jesam iznenadio kada smo uslovno rečeno iznenada dobili neke alate koji rade stvari koje juče nisu bile moguće ali to ne znači da će razvoj da se nastavi tom brzinom i da će ne znam šta biti moguće za 5 godina. Možda smo i već udarili u plafon i AI će se razvijati brzinom kojom se danas razvijaju procesori. Što je opet OK i da je tako.

 

[vix]

Jel bi hteo malo detaljnije da pojasniš šta si podesio od LLM-a da se vrti na Proxmox klasteru i kako funkcioniše?
Podigao si VM sa GPU passthrough za gaming?

Hoću i ja da se družim . I mene zanimaju detalji. Baš sam sinoć budžio Qwen2. 5 i testirao kako se ponaša u agentic režimu korišćenja. Jbg, treba mi besniji hardver. Moj jadni RTX 3060 sa 12 GB RAM nije za bolje modele.

 

[disturbed]

Jel bi hteo malo detaljnije da pojasniš šta si podesio od LLM-a da se vrti na Proxmox klasteru i kako funkcioniše?
Podigao si VM sa GPU passthrough za gaming?

U sustini VM koristim za Windows ili Linux okruzenja ili stvari poput TrueNASa, naravno GPU passthrough (ili bilo koji drugi hardware) ako je potrebno i tu nema nekih komplikacija. Gore sam napisao "gaming" ali to uzmi sa rezervom, jer posljednjih godina mjesecno rezervisem jedan vikend za PC gaming a u stvari zavrsim na necemu totalno desetom

Za ostale manje stvari ili stvari koje nije prekomplikovano postaviti koristim LXC. Nekako mi je to najjednostavnije. LLM-ove mozes ladno u LXC podici, instaliras Ollamu, skines model, GPU passtrough i to radi super.
Za kompleksnije stvari ili stvari koje su vise volatile podignem linux VM pa unutar njega docker/kubernetes, sta god mi u tom momentu treba.

Sve ovo sto imam je teski overkill za neku normalnu upotrebu. Shvatio sam to vise kao polu-hobi i tako mi je ok. Tehnicki dio i nije problem, problem nastaje kada broj servisa i konfiguracija predje neku cifru, pocnem da se gubim Zato je organizacija + jednostavnost setup-a bitna.

Iako sve to radi super, ono sto sam naucio nekako iz prakse, sto bi meni sada imalo daleko veceg smisla je:
- ne ganjati HA uopste, obican klaster je dovoljan
- gaming PC imati odvojeno
- sve konfiguracije drzati sto je jednostavnije moguce
- backup i organizacija znanja potrebni od samog starta
- ne biti u bedaku ako se nesto sjebe

Plan je bio da kupim novi PC pa da ga odvojim iskljucivo za gaming. Ali...

 

[disturbed]

Hoću i ja da se družim . I mene zanimaju detalji. Baš sam sinoć budžio Qwen2. 5 i testirao kako se ponaša u agentic režimu korišćenja. Jbg, treba mi besniji hardver. Moj jadni RTX 3060 sa 12 GB RAM nije za bolje modele.

Hm, zavisi sta radis. Ako ti brzina nije toliko bitna ali velicina modela jeste onda kupiti MacBook ili MacMini uopste nije los izbor. Sa njihovom unified memorijom mozes ucitati dosta vecih modela. Bottleneck su GPU jezgra ali ja kad lokalno koristim modele brzina nije prioritet

 

[Corvus Corax]

Za ostale manje stvari ili stvari koje nije prekomplikovano postaviti koristim LXC. Nekako mi je to najjednostavnije. LLM-ove mozes ladno u LXC podici, instaliras Ollamu, skines model, GPU passtrough i to radi super.
Za kompleksnije stvari ili stvari koje su vise volatile podignem linux VM pa unutar njega docker/kubernetes, sta god mi u tom momentu treba.

A da li nekako "komuniciraš" sa tim AI modelom koji si podigao u VM-u na Proxmox-u? Neka integracija sa lokalnim računarom?

Sve ovo sto imam je teski overkill za neku normalnu upotrebu. Shvatio sam to vise kao polu-hobi i tako mi je ok. Tehnicki dio i nije problem, problem nastaje kada broj servisa i konfiguracija predje neku cifru, pocnem da se gubim Zato je organizacija + jednostavnost setup-a bitna.

Ih. Volja za učenjem, istraživanjem i čačkanjem je jaka.

- ne ganjati HA uopste, obican klaster je dovoljan

Za privatnu upotrebu, slažem se. Mada... kasno.

Ako ti brzina nije toliko bitna ali velicina modela jeste onda kupiti MacBook ili MacMini uopste nije los izbor. Sa njihovom unified memorijom mozes ucitati dosta vecih modela. Bottleneck su GPU jezgra ali ja kad lokalno koristim modele brzina nije prioritet

Ovo ti je odlična ideja. Naravno, isključivo M čipset. Tu bi M4 Base bio sjajan izbor, s obzirom na cenu grafičkih karata. Jedino ograničenje je što Mac Mini M1-M4 ne može da se doda kao Proxmox node, što bi tek bilo vrh.

 

[2CR4ZY]

Kao sto rekoh, posle interneta i gugla, AI je najvece dostignuce...
Ne govorim oduvek, pre ce to biti struja, ali posle nabrojanih stvari, tu je negde.
Ja i VR mogu da pomenem negde iza svega toga, iako na kraju nismo dobili to sto smi svi zamisljali kad pomislimo na VR, ali i ono sto smo dobili, dosta njih je mislilo da je nemoguce da ce se ikad desiti... bitno je da je napravljen prvi korak, da ima publike i zarade, to ce otvoriti vrata ka sve boljim iteracijama.

Tako isto i za AI... mene je odusevio kad sam prvi put poceo da ga koristim, sve razume, ko da pricas sa covekom, vidi se taj intelektualni deo.
Onda koliko se odusevis kad uspe iz texta da ti generise sliku koja izgleda ko da je realna stvar, ko da je neko to uslikao kamerom, a ono sve kompjuterski generisano, a sta tek reci za video.
Samo to su toliko impresivne stvari, ali ljudi ne znaju to da cene.

Neko bi cak rekao, ma sta je AI, to sve moze i gugl da ti zavrsi, samo ti treba vise vremena... i istina, za neke stvari sto pitas AI, to mozes i sam da izguglas, jer i AI to isto radi, samo sto ce ti trebati mnooogo vise vremena i truda da sve to odradis na taj nacin.

No, nije AI samo guglanje i samo kreiranje slika i videa.

Evo jedan primer, posaljem mu screenshot i kazem mu da prepozna sta je na slici, da to ispise u textu, i posto su to bile igre, da napravi tabelu sa svim igrama i za sve napise koje ocene su dobile te igre, da mi napise duzinu trajanja svake itd... i on to sve odradi...

ili mu kazem da mi napravi tabelu sa svim markama frizidera koji se prodaju na nasem trzistu i da ih rangira po kvalitetu marke od najgore ka najboljoj itd...

Mogu da mu kazem da mi napravi dnevni plan rada, savete za 1000 stvari, da ne pricam o programiranju, formulama, matematici, bukvalno si samo ogranicen mastom...

Da je savrsen, nije, pravi greske i desava se ne retko da mi daje stare informacije... ali isto ko covek, "uci" na tim greskama, vec sad ako se vidi koliko vrtoglavo brzo napreduje, realno je da ce se vremenom sve te greske ispraviti, pa i preko toga, za AI nema granice, moze stalno da napreduje... kad je vec sad toliko impresivan, zaprepastajuce je i pomisliti kakav ce biti za nekoliko godina.

Tako da mislim da se previse hejtuje i ne vidi sira slika, ne ceni se dovoljno, a da sad ostanemo bez AI-a ,ti isti ljudi bi plakali.

Trenutno nerealna ocekivanja od AI-a, od nekih ljudi, to bi bila kljucna rec.

Edit

i nije za AI slop kriv AI, vec ljudi.

 

[Ace]

AI je overhajpovano govno kojim se oduševljavaju ljudi koji nemaju pojma o tehnologiji pa im to deluje kao magija iako tu nema ni "i" od inteligencije. Uložili su milijarde u ta sranja a još im nisu našli pravu svrhu osim pravljenja meme-ova i četbotova.

 

[Maxa]

leave AI alone

 

[2CR4ZY]

AI je overhajpovano govno kojim se oduševljavaju ljudi koji nemaju pojma o tehnologiji pa im to deluje kao magija iako tu nema ni "i" od inteligencije. Uložili su milijarde u ta sranja a još im nisu našli pravu svrhu osim pravljenja meme-ova i četbotova.

Nemas ti blage veze sta pricas, i sva sreca spadas u veliku manjinu sa takvim misljenjem.

 

[nelex]

 

[Bojan]

Meni AI bas dosta pomaže i u poslu i za hobije. Da li je “prava inteligencija” ili ne me ne zanima. Štedi mi vreme i pomaže da realizujem ideje od kojih bih obično odustao.

 

[Antique]

Meni AI bas dosta pomaže i u poslu i za hobije. Da li je “prava inteligencija” ili ne me ne zanima. Štedi mi vreme i pomaže da realizujem ideje od kojih bih obično odustao.

Kako to? Zašto inače odustaješ od ideja i kako AI pomaže da se to ne desi?

 

[Bojan]

Kako to? Zašto inače odustaješ od ideja i kako AI pomaže da se to ne desi?

Mogu jako brzo da proverim da li nešto slično već postoji, razradim ideju, otklonim nedoumice, popunim rupe u znanju i napravim plan razvoja.
Mogu da dobijem i procenu vremena i novca koji bi trebalo uložiti i savete oko monetizacije.
Čitav plan ostaje uredno zabeležen u biblioteci, tako da uvek mogu da se vratim i nastavim rad kada uhvatim vremena.

 

[2CR4ZY]

Kako to? Zašto inače odustaješ od ideja i kako AI pomaže da se to ne desi?

Da si ga bar malo koristio, znao bi i ti, nego ovde ljudi blate AI, a nisu ga ni probali, vec ono "aj da mrzimo sve sto je trenutno popularno" i "sto je ram toliko poskupeo zbog zlog AI-a, shmrc shmrc "

 

[nebojsa986]

Veći si AI evandjelista od Rogana

 

[Antique]

Da si ga bar malo koristio, znao bi i ti, nego ovde ljudi blate AI, a nisu ga ni probali, vec ono "aj da mrzimo sve sto je trenutno popularno" i "sto je ram toliko poskupeo zbog zlog AI-a, shmrc shmrc "

Neretko AI halucinira kad ga teram da mi radi "analizu opcija" tako da to radim samo kad me nesto zanima na brzinu da pogledam, bez da se udubljujem u to. Njega ako pitas "sve moze" al kad se udubis onda skapiras da nije to tako bajno kao sto ti on predstavlja.

 

[2CR4ZY]

Mozda imas prevelika ocekivanja i prezahtevne upite, gde jos uvek nije toliko dobar...
Kao sto rekoh, gresi povremeno i meni i za lakse upite, ali kad ti je nesto bas bitno, bolje proveri sam na guglu, cisto da budes siguran... i sam chatgpt priznaje da ume da pogresi i da za bitne upite uvek trebas direktno proveriti.

U najmanju ruku ti moze pomoci kao pocetna tacka istrazivanja.