Както с всяка програма - едни се научават да я ползват, други я захвърлят на буклука и псуват. Вече споменах че човек трябва да разбира от това какво иска от чата, не е перфектен и прави глупости, с всеки програмен език, но когато зацикли си оправям кода ръчно и пак спестявам около 70-80% от времето ако аз трябваше да направя всичко собственоръчно. Не бих му имал доверие за неща, които не разбирам, пробвах се да го ползвам за счетоводство на ООД, като цяло се справя но след някои издънки напоследък предпочитам сам да си търся и отсявам инфото.

Разделяй и владей, това е идеята. Или редене на блокчета лего ако аналогията ти харесва повече. Това с един промпт ли го направи или итеративен процес? Ако е било итеративен, върху промпта ли итерираше или върху кода?


Не е като да няма и сякаш повечето сякаш идват от Google DeepMind и сякаш все се въртят около по-голям контекст. Значително по-голям контекст. Ясно се опитват да хакнат някакъв проблем, предполагам нещо био-химично, и копаят в тази насока. Засега Трансформер архитектурата се налага. Но няма да се изненадам ако в един момент нещата се променят бързо, особено когато почнат да специализират, тази архитектура за този проблем, онази за онзи и т.н.

Аз бях така до о1, сега опитавам да итерирам само върху промпта и въобще да не пипам кода. Изисква повече дисциплина и време, но спестява главоболията с нуждата моделът да интерпретира моите промени. Нещо което предполагам мъти най-много водата в примера на Тони.

с много сесии ... и много мамата

Както разбирам "чатът" вече е взел и вашата работа. Само не са ви връчили официалните уведомления. Все още...

Ако искаш пусни заданието, ще опитам да го прехвърля по горната методика и ще сравним дали има подобрение. Точно такива сценарии са отлични за оценка на подхода.

Яко лъже. От 24 часа го питам

Може и аз да не задавам правилно въпроса, но в моите (силно ограничени) познания в тая област повечето чатове и т.н. са си вид невромна мрежа. Сега тук понятието "невронна мрежа" е много подвеждащо. Според някои и човешкият мозък е нещо такова, но аз по-скоро имам предвид класическото разбиране в програмирането. Примерно програмче, което разпознава цифрите от 0 до 9 в някаква картинка. Реализацията чрез невронна мрежа е по-добра от всеки друг известен алгоритъм. Всеки програмист може да напише подобно програмче с някой друг жокер от гугъл.
Да, видимо трансформърите са на светлинни години от подобно програмче от 100-на реда код. Но малко или много си остават принципно пак невронна мрежа. Погледнато като черна кутия - подаваш на входа някаква информация то ти дава връща друга, на база няколко стотен милиарда коефициента.
Количеството информация налято в тия модели. както и начинът на нейното представяне е умопомрачителен. Безспорно това е супер важна стъпка. Очевидно има доста приложения и в тоя им вид. Но за писане на код и ред други неща според мен трябват още стъпки. Имам предвид на концептуално ниво. Предполагам че се копае в тая насока, затова беше и първоначалния ми въпрос. Даже кофти съм го задал, щото имах предвид нещо повече от LLM а не алтернатива.

Мдааа... когато липсата на естествен интелект се съчетае с мързел се вика на помощ изкуствения.

Двигател V12. Хм, интересно...

Така е, трансформерът е в основата си невронна мрежа, също като CNN, LSTM, RNN. Просто към него е прибавен т.н. механизъм на внимание, който извлича информация от контекста, и са извадени някой други неща. До преди няколко години никой не е очаквал, ще е толкова ефективен. Аз и до ден днешен не разбирам защо работи с нещо толкова формално като код. Теории има много и нищо чудно скоро да се появят други архитектури, с памет или без, които да се по-ефективни от код. Но успехът на невронните мрежи тежи толкова, че гравитацията им ще продължи да привлича финансиране и съответно вниманието на учените за още много дълго време. От тази гледна точка очаквам всичко да се върти около итерации на архитектурата, а не около революционни подходи, каквито и да са те (квантови компютри?)

А самите трансформъри също са няколко стотин реда код. Поне тези по-малките с които експериментирам на PyTorch ниво на абстракция не надвишават 1000 реда, това с коментарите и инфраструктурата за трениране и инфериране. Ако тръгнеш да пишеш всичко на С, със сигурност ще си под 10к реда код, а това е нищо.

Реконструктор, дай задание, ще го пусна на o3 deep research, да видим какво ще излезе. За напътствия и разяснения относно ракови заболявания е просто невероятен.

https://openai.com/index/introducing-deep-research

Може би трябва да се направи тема за литература на тема LLM и компания. Аз имам много бели полета, но точно това защо и как работи ми се изясни от няколкото видеа на 3Blue1Brown. Наистина огромната заслуга за това има трансформирането. Интересното е, дали изобщо са очаквали такъв резултат, защото май първоначалната цел била да вкарат паралелизъм. Както и контекстна зависимост, за да могат да правят преводи от един език на друг. Така че има логика да стъпят на токъни, които да са точки в многомерно пространство.
При класическата мрежа също имаш "неврони" които също се описват с много коефициенти и също може да си ги представиш като точки в многомерно пространство. Но първата изненада при трансформърс модела, е че има връзка между точките. Изненада е щото точните стойности са резултат от обученията, демек много сметки и натъманяване и поне при невроните няма някаква зависимост. Докато тук се получава такава по естествен начин. Примерно ако имаш токъни за "мъж" и "жена" от техните координати ще получиш вектор. После ако начертаеш същия вектор от токън да кажем "цар" ще отидеш съвсем близко до "царица". Един вид полът като зависимост е "видим".
Втората изненада е че зависимостите, които открива трансформанс модела расте много бързо с нарастване на обема му. Тук пак чисто математически го тоя пич го обяснява, че колкото повече измерения има едно пространство толкова повече расте броя на "приблизително" перпендикулярни (независими) или успоредни (зависими) вектори.
Най-добре да се изгледа как го обяснява, че аз малко правя преразказ по картинка... Но основната идея беше, че трансформърсите се справят супер със зависимостите и с контекстите. А при "формални неща" като програмни езици имаш много по-малко на брой и на дълбочина зависимости и контексти. Така че по-изненадващо е, че се справя с не-формалните езици като човешкия, където зависимостите са далеч по-сложни.

Е ако ти се занимава те тук. Интересно, първият направи читаво работеща GPIB комуникация, втория път не успя, прави няколко итерации, без никакъв резултат, та третия път му дадох работещия код и заданието, успя да счупи някои неща но комуникацията не бара. Не съм гледал какво е направил, предполагам не е чакал за валидни данни предните пъти, споменах му го, уж добавя нещо ама ....
Аз го правих с 3 mini high, уж е по добре за код спрямо 1.

deepseek избълва тва