Добре звучи, в случая НОИ вдява нещата трудно и бавно, ако въобще ги вдене.
Но ще стане интересно, ако и двете страни използват ChatGPT, за да се съдят.
Т.е ChatGPT да осъди ChatGPT .

Пак го преебаха.

Project Vend: Can Claude run a small shop? (And why does that matter?)

https://www.anthropic.com/research/project-vend-1

Ако все още не сте опитали комбинацията VS Code и Roo Code, много горещо ви го препоръчвам. Аз работя старомодно само с vim и си говоря с моделите през тяхното си REST API посредством един while loop, в който съм наблъскал цялата инфраструктура като сегментиране на задачата, анализ на резултата и обратна връзка. Но тази седмица правих обучение на колегите и за някой, който не е общувал с моделите по друг начин освен през браузъра резултатът е впечатляващ.

С две думи, отваряш нов проект в VSC и пишеш спецификация на заданието. Даваш права на Roo да пипа по системата и го оставяш на самотек. Това е по-яко от Нетфликс.

https://github.com/RooCodeInc/Roo-Code

Аз си "играя" от месец-два с Claude Code - като попрочетох малко и видях какво може купих направо най скъпия абонамент - 180 пари месечно ... ами избива си абонамента за няколко часа. И то за далече от тривиални проблеми и задачи - концепция и реализация на многонишковост в РТОС, правене на дизасемблер и анализиране на атмелски хекс файл (тука ми спести 2000 пари за Ida PRO - по ред причини не искам да ползвам пиратщини).

Първоначално бях много скептичен и уверен, че няма проблем за нас щото можем да дебъгваме проблеми по платки през jtag а ИИ не ги разбира тези работи - е Claude Code си надуши JLInk, флашна си фирмуера на платката, видя в логовете, че крашва още в буутлоадер, пусна си гдб, "видя" къде е проблема, отида и оправи бъга в сорса, прекомилира, флашна, повтори няколко пъти докати всичко не тръгна гладко и накрая си комитна всичко в git. Аз гледах с увиснало чене и се чудих, колко ли още години ще можем да си вадим ляба и да трупаме лойчица ...

Напълно съм съгласен. Единствената причина по която ползвам RooCode, а не Claude Code е че все още няма clearance за работа. Но това е въпрос на време. Реално погледнато всичките асистенти са една и съща концепция.

While loop, който съдържа заявката към модела и инфраструктурата около евалюирането на отговора - достъп до файловата система, компилатор/интерпретър, браузър и терминални команди. Останалото е въпрос на системен промпт и вероятно много експерименти докато намериш правилният подход към него.

И по някаква причина Claude Code дава изключително по-добри резултати от останалите. Предполагам това се дължи на ресурсите които инвестират в итеративни експерименти. Само един проблем има, като го пусна ала карта за няколко часа и може да наброй 100-ина долара на едно задание. Което въпреки това пак е в порядък по-евтино от моето време.

Колеги, като цяло не пишем тук да се хвалим кой колко е напреднал и да си губим с това времето. Пишем защото виждаме от близо какво се случва, може би малко по-рано от станалите и ако още не сте ориентирали накъде духа вятъра, да ви ударим по едно рамо за до го направите.

Скоро мисля, че бях дали пример на какво са способни Google Gemini Pro 2.5 и Claude Opus/Sonnet 4.

1. Ивент базиран симулатор
2. Колекция известни скеджулъри
3. Визуална среда за анализ на резултатие
4. Подробна документация в динамичен html формат, барем с математически модели на алгоритмите

Това би ми отнело около месец да го напиша от 0-та. С модела ми отнеме един работен ден, макар и по-дълъг. Множество итерации, но единствено върху спецификацията/промпта, която достигна 200-300 реда. Резултатът работи от една заявка както с Гемини, така и с Опус. Конвергирането на резултатите е само по себе си индикация за липса на значими дупки в спецификацията.

Точно затова споделих на какъв абонамент съм и за колко време се изплати. Не са малко пари та ако някой има съмнения доколко би му свършило работа да пише и ще направим една демо сесия на какъвто проект каже за да прецени дали ще му свърши работа. И аз бях силно скептичен но се оказа, че си струва парите. Единственото което не ми харесва е, че е на абонамент и ако искам да го подкарам локално трябва доста скъпа машина ($$$ 15-20к?) та засега ще го карам на абонамент. Ама резнат ли ми достъпа ще се замисля сериозно за моя си инфраструктура. А да, друг проблем на Клод Код-а е, че от време на време си "компресира" сесията т.е. прави си сам резюме какво сме работили до момента и започва на чисто, често забравяйки детайли които после трябва да му ги напомням по сто пъти - ама това да му е проблема ...

Да, контекст компресията е както благоденствие (може да вкараш значително по-голяма задача в наличния котекст), така и проклятие (нямаш контрол върху това което забравя). Клауде 4 моделите имат 2е5 контекст, Гемини 1е6. Обаче над 50к токъна и атеншън механизмите и на двата модела почват да водят до деградация на резултата. Затова и не е препоръчително да се итерира върху една задача. Най-добрите резултати получавам с перфектно формулиране задание и one-shot. Ако не се получи, променям заданието и наново.

Иначе имам M2 Studio с 192 GB за $7к на което върви дистилиран DeepSeek Coder с 33B параметъра и без квантизация с Aider, но резултатите са делеч от фронтиер моделите. Убеден съм, че един ден ще ги стигнат и с $10к машина ще успеем да отрежем зависимостта от големите модели, все пак Aider/Roo са проекти с отворен код, но дотогава ако кажат 200, плащаш 200. Скоро и 2000 ще кажат и пак ще плащаме

Още се чудя между М3 ултра с 512ГБ и АМД Епик с 1ТБ и една или повече РТХ6000 ПРО (96гб) ... т.е. кое ще е по добра инвестиция с хоризонт поне 5 години.

Епълските процесори имат ИИ ускоряване и бърз достъп до паметта но все още нВидия е значително по бързо опре ли до сметки - но пък е хем по скъпа хем с по малко памет. А не са пари дето ей така да ги изхарчиш. Търся някой с опит да сподели кое би било по добре ама до момента никой не казва. Като, че ли система с нВидия е малко по на сметка като изчислителна мощ за похарчен долар.

Ако ще тренираш модели - AMD + NVDIA.
Ако ще инферираш сегашните модели до 70Б параметра (това са 99% от моделите с отворен код) - М2 Ultra със 128 GB
Ако искаш да се презапасиш и за бъдещи модели - M2 Ultra 192 GB, M3 Ultra 256/512 GB
Ако искаш да инферираш всичко - AMD dual socket EPYC с 1ТБ памет, но купи такава че да можеш в бъдеще да качиш на 2ТБ

Но имай в предвид, че това са играчки. Големите модели ще ги караш под 10 ток/сек, което е бавно. Интересни са експериментите с малките модели. Ако ти се занимава мога да ти продам моята М2 Ultra с 192ГБ/2ТБ, да кажем за 4.5к евро. Не я ползвам от няколко месеца и декември ще взимам М3 Ултра 512 ГБ. Дотогава има и платен AppleCare+ план.

Трябва ми и за търкаляне на готови модели и за обучение на малки модели които после да вървят на ембедет устройства. Това ми е кратко-средносрочния бизнес план - бързо да правя специализирани модели за решаване на по прости проблеми които да се търкалят на Джетсон или някакво китайче с ИИ хардуер за смятане на матрици.

Дефинирай малки, ако са по няколко стотин милиона параметър, бях си направил собствен ChatGPT по инструкциите на Карпати и го смяташе 2-3 дена. За такива задачи М2/192ГБ върши работа. Ако бягаш към милярд и нагоре си иска NVDIA сървър, но там си вътре с 20-ина хил евро.

Този пич си беше екстраполирал сметката за Claude Code ако плаща чрез API и излизаше към 12к долара на месец... Първата фирма която кракне ефективното инфериране ще избие рибата.

https://www.youtube.com/watch?v=gNR3XI5Eb0k

В тодо-то ми е да анализирам на Карпати llm.c за да ми "светне" как аджеба работи това чудо. Сега по летните ваканции ще се забавлявам с това. И тогава вече ще го мисля за обучение на модели и т.н. То всъщност това което искам е по скоро да дообучавам модели за нещо или да им кастря излишната интилегнтност за да са конретизирани за решаване на дадена задача. Т.е. да сваля изискванията към хардуера на който ще вървят. Разбира се тва са може би абсолютно неоправдани очаквания и да се окаже, че въобще не може да се правят такива операции със готови модели. Ще видим. Просто обичам като ползвам нещо да го знам как и защо работи а не както е сега - черна кутия дето върши чудна работа без да и разбирам и бъкел.

Според зависи какви задачи имаш наум, повечето налични трансформери са тренирани на текст. В много инженерни приложени обаче няма нужда да се тренират на текст, а на конкрента задача. Тръгнал си по много интересен път и съм сигурно, че ще ти е много забавно. Горещно ти препоръчвам освен тутриала на Карпати да се запознаеш и с Chessformera. Много лампички светват докато усмисля човек.

https://arxiv.org/html/2409.12272v2