"Най-умния AI" Грок-3 се отказа (два пъти!) на BB(2)
Ето му последната реплика:

I give up—BB(2) = 4 is my nemesis! It’s supposed to be four 1s in six steps. I’ll trust the experts and say this last one should’ve been four if I ran it right earlier. Can I redeem myself with BB(3) or something less cursed?

А ето го целия разговор: https://x.com/i/grok?conversation=1893270403977543715

аз се чудя що се бави AI, а той си играел с бобъри

QWEN

Тоя QWEN е забравил да си изпие хапчетата против халюцинации

Бърка функциите даже...

Между другото за 5 стейта си мисля, че не е проблем да се извъртят на FPGA. Комбинациите са трилиони, но повечето могат да се отсвирят за един клок само. А тестването на останалите може да се ускори доста.
Не лош проект за дипломна работа... Ако има мераклия мога да му осигурят един цинк и да ударя едно рамо с vhdl (тъкмо да си го припомня)

разликата е в състоянията
https://mathworld.wolfram.com/BusyBeaver.html

Тоя проблем ми се наби в главата и почнах да се бъгвам

Значи смисълът на Σ(x) или S(x) e, че за малки стойности на x kato 1,2,3 и 4 стойностите на тези функции могат да се определят чисто аналитично. Това е така, защото има достатъчно правила по които може да се прецени дали дадена машина зацикля, съответно можем да я отпишем и не само нея. Можем да елеминираме всички зациклящи машини и са тестваме само тия, които не зациклят. А тия тестове са краен брой с крайна продължителност и съответно гарантирано изчисляваме горните функции.

Въпросът е какво се случва когато х расте... Очевидно с х расте и броя на машините. Но това е чисто технически проблем. Не е теоретичен проблем. Проблем е какво става с проверките дали конкретна машина е зациклила. Очевадно те също растат като бройка главоломно. Но същественият въпрос е дали могат да бъдат изведени всички по логически път. Вариантите са два:
1) Над определено х не могат.
2) Могат за всяко х, но стават толкова много на брой и толкова сложни, че практически тия проверки не могат да се реализират.

Над тая дилема съм мислел неведнъж в последните 30 години и ще обясня защо... Значи подсъзнателно моя отговор винаги е бил втория. Но според това което съм учил трябва да кажа, че е вторият. Демек според Гьодел и според Тюринг, това че знам как да сметна Σ(4) може и да ми помогне да определя Σ(5), но рано или късно ще стигна някакво х, което ще е тавана на възможностите ми и няма да мога мина на х+1. Ей това не мога да го повярвам. Мога да напиша много аргументи, по-точно идеи как може да постигне. Но няма смисъл да се копа в тая нива, ако другарят Тюринг е прав, че ще се закопая.
Причината да се връщам отново и отново над тия главоблъсканици са може би LLM-те. Ако някой ми беше казал преди 30 години, че може да се напише програма, която й подаваш случаен текст от 1000 думи и тя генерира смислено продължение от още 100-на думи, щях да му кажа да се застреля. Да, ама днес това е факт. Немислимото преди 30-40 години днес просто е факт.
Да, идеята за LLM никога не е била теоретично невъзможна, само практически беше абсурдна. Докато в случая имаме теоретически проблем, освен практическия. Въпросът е дали наистина имаме?

Хайде да почнем с Тюринг. Той твърди, че ако аз измисля машина H и тя теоретично връща правилен отговор, той може с нея да направи друга машина H+, която връща боза. Разбира се, че е прав че може да направи боза. И аз също мога.
По-сериозно казано, да приемем, че H(x) връща смислен отговор yes or no на въпроса дали х описва зацикляща машина. Очевидно тая функция е нереверсивна. Демек от отговора на yes/no не можем да кажем какъв е бил въпроса. Очевидно всеки може да измисли каква да е друга нереверсивна функция H+. И ако каквото и да върне H+(H(x)) като резултат, в тоя резултат няма информация нито какъв въпрос е бил зададен на H, нито какъв отговор е върнала. Просто подобна информация по дефиниция е губим.

Какво доказва обаче това? Според мен доказва, че имаме проблем или с функцията H(x) (както твърди Тюринг), или че отговорът й не е в същия домейн както намеква другарят Гьодел. С други думи не е изключено H(x) да съществува, но ако съществува нейният резултат не може да се интерпретира в същия домейн както х. Следователно не може да се използва рекурсивно, или ако се използва ще получим боза.

Под домейн естествено имам предвид смисъла на теоремите на Гьодел, но по-лесно ще го обясня с друг по-банален пример от хардуера.
Ако имаме някакъв сигнал във времевия домейн, да кажем импулс някакъв. Ние може да му направим едно Фурие и ще получим нещо в честотния домейн. Естествено може и обратното фурие и от честотния домейн да получим нещо във времевия. Естествено има и проблематични случаи когато в даден домейн настъпим мотика с безкрайностите.... Но, но, но! Важното и това което искам да кажа, че ако се опитаме да интерпретираме стойности от единия домейн директно в другия става боза. Винаги към стойностите добавяме Hz или V или нещо от сорта, за да не се бъркаме. Щото няма как да сравняваме 5V с 5Hz, различни домейни са.... Не знам дали става ясно какво искам да кажа. Но в инфоматиката има нещо подобно. Примерно yes/no може да го кодираме като 1 бит, но подсъзнателно имаме нещо като мерна единица и която ни поставя в някакъв домейн. И да, ако се опитаме да преобразуваме тоя бит в друг домейн или ни трябва някакво транс-домейн преобразование (ала фурие) или получаваме боза.

опс... то станало време да си пия хапчетата

Те тук новинка, който иска може да задълбава в източника и какво и как са тествали : https://futurism.com/openai-researchers-coding-fail
Не е, неочакван резултат с оглед на това, че в тези АИ липсва И -то ...

Това е пряко свързано с моите главоблъсканици...
И не случайно, защото до тях се стига ако тръгнеш да правиш примерно оптимизатор. Ако някой е гледал какви ги дроби примерно GCC (особено по-стари версии) просто ти се набожда на очите, че има куп излишни инструкции. И като портваш код е подобно, в много от ситуациите работата ми свежда до copy&paste или search&replace. И някак си винаги си се замислям "абе тоя къртовски труд не мой ли се автоматизира"
И винаги стигам до "абе сигурно може, ама учебниците дето съм чел, казват че не може"... или аз не съм ги чел внимателно...

тъй... работното време свърши и мога да се върна към глупавите си разсъждения или по-точно спомени...

През 90-те да се занимаваш с ИИ значеше да учиш пролог. Правила, факти, такива ми ти работи. Едно от първите неща, които се учат е как се настъпва мотика. И първият пример е:
всички птици летят = true
пингвините са птици = true
пингвините летят? = wtf?

Не се опитвам да го записа в пролог синтаксис, щото вече не съм сигурен... Но съм сигурен, че всеки пролог програмист беше запознат с тоя проблем. Общо взето трудно се прави множество от правила от факти. Ако то расте рано или късно стигаш до летящи пингивини. Ако не расте, пък нямаш отговор на съществени въпроси. Затова и модата тогава бяха експертни системи, демек копаеш в една област и гледаш да не излизаш от нея, за да не настъпиш мотиката.
Но това което исках да кажа е, че тогава Гьодел беше много актуален. И аз се опитвах да го разбера, но като цяло не беше моята област и до днес не ми се отдава особено. Така или иначе тя тая област не видя кой знае какво развитие. Дали щото беше проклета от Гьодел - не знам. Но чисто практическия проблем си беше, че правилата и фактите имат смисъл като верни или не-верни само в даден контекст (домейн). Примерно това че пенгвинът е птица е true в контекста на класификацията на биолозите или зоолозите (не ги разбирам тия науки). Както и че птиците летят е по принцип true в контекста на характерното за тоя клас. Но смесването на правила и факти от различни контексти води до боза. Естествено може и да се вкара и контекста, но чисто практически много бързо излиза от възможностите на програмиста. Няма как да опишеш дали даден факт или правило имат смисъл в 100000+ контекста.
Защо пиша това... защото според мен "естествения" интелект удари на камък с контекстите. От друга страна днес виждаме, че изкуственият LLM се справя с контекстите и класификацията като с топъл хляб, но пък му липсва едното "И" (както казва Тони). Чудя се дали се какво би се случило, ако се съберат двете? Демек ако чрез LLM се класифицират човешките знания до правила и факти в много-контекстно пространство и с това се захрани експертна сиситема...
Може и боза да се получи. Но имам някаква надежда, че анализът в една експертна система ще е доста по-дълбок, отколкото LLM reasoning моделите. При всички случаи, обаче, това с контекстите (по-добрия термин според мен е домейн) е нещо което може би... може би заслужава преоценка в теорията. Не мога да се съглася с твърденията на другаря Тюринг и тва е.

така ми отговори Гроку


със тази "статистика" се справя добре ... почти като натурален неврон
Проблема е в "алгоритъма за мисленето"...

Извинявам се за спама... но още един пост (обещавам последен) да поясня горното.

Логиката Тюринг може да се илюстрира така:



Иначе казано функцията halts() или не съществува или не работи правилно, щото ако съществува и работи правилно стигаме до противоречие....

Искам да използвам и термини от Гьодел, затова ще дам и теоремите му:



И по-съществено втората му теорема:


Сега моите разсъждения над твърденията на Тюринг са следните:
Ако f() е коя да е функция от множеството Т, то halts() не може да е част от това множество. Това твърдение е следствие както от Тюринг, така и на Гьодел, тъй че дотук не казвам нищо ново.
Но също толкова очевидно е, че параметъра на halts() не може да е от тип G. Щото ако е, ще стигнем до противоречие пак според всички.
Но какво се получава, ако параметърът на halts() e ограничен до тип Т? В тоя случай доказателството на Тюринг увисва, понеже самата halts() не е от тип Т, но приема само параметри от тип Т. Демек не може да се вика рекурсивно и в това няма никакво противоречие. Демек нито може да потвърдим, нито може да отречем дали halts() съществува.

Какъв е смисълът на всичко това?

Това, което се опитват да кажат и Тюринг и Гьодел е, че не е възможно да се напише алгоритъм с крайна сложност, който да анализира други безкрайно сложни алгоритми. Прави са!
Нещо повече, поне Гьодел със сигурност не изключва обратния вариант, т.е. алгоритъм с безкрайна сложност няма проблем да анализира алгоритъм с крайна сложност. Не знаем дали такъв алгоритъм съществува, просто няма начин да бъде доказано че не съществува. Въпреки че "съществуването" на безкрайно сложен алгоритъм е оксиморон... Но не безкрайно сложният сценарий ни интересува, а дали има нещо помежду им.

С други думи дали е възможно да се дефинира halts(T) в някакво множество Т1, което очевидно ще трябва да е много по-голямо от Т, но да не е безкрайно като G.
За да се докаже това обаче, ще ни трябва halts(T1), която очевидно ще е в Т2, което е по-голямо от Т1. Съответно ще ни трябва halts в T2,T3... и т.н. докато стигнем до halts(G), което както вече знаем не може да се провери в нито едно крайно Т. Демек теоретично отиваме към безкрайности.
Но за да се върна към смисъла, нека предефинираме всичко казано дотук в една друга светлина. Нека вместо "функции" работим с тюринг машини. Нека под Т1 да разбираме всички машини с n1 на брой стейта. Съответно под Т2 имаме всички машини с n2, като n2 e по-голямо от n1. Вероятно мноооого по-голямо.
Идеята е, че ако искаме да проверим Т1 - няма значение за какво. Дали ще е за халтвания или за busy beaver или друг алгоритъм, вероятно ще ни трябва машинка от Т2. Това го наблюдаваме практически при реализацията на кой да е от горните алгоритми.

Но по-важното е, че може да се направи хипотеза от сорта:
"В Т1 има твърдения, които не могат да се докажат в Т1, но може да се докажат в някакво Т2, различно от G".
Това е малко по-различна интерпретация и дава малко повече свобода. Не както интерпретацията на Тюринг - някои проблеми са нерешими и толкоз!


От практическа гледна точка има няколко интересни въпроса:
1) колко по-голямо трябва да е n2 спрямо n1. Ако разликата е от порядъка на BB(), то всичко си губи смисъла.
2) може ли ако знаем алгоритъм за Т1, Т2, Т3 да го изведем алгоритмично за Т4 и т.н.
3) Може ли по някакъв начин да се ограничаваме, така че да не ползваме всички възможни комбинации в дадено Т.

Отговорите на тези въпроси са по-скоро "негативни", но подсъзнателно хората се опитват да намерят по-позитивни отговори. Примерно всички програмни езици имат някаква форма на правила, които предотвратяват ескалацията. Примерно избягваме "goto", някои спазват MISRA и т.н. Това е защото не искаме неразбираем код (3) и не искаме да лъжем анализа (1).

Но всичко това може и да има връзка с LLM. Очевидно хората умират на някакво ниво Т, защото от там нагоре нещата ескалират безобразно. Очевидно има редици задачи при които ескалацията е неизбежна. Примерно BB() TREE() и тем подобни функции, които имат някакъв смисъл и бихме искали да изчисляваме. Но каквато и автоматизация да вкарваме няма да напреднем съществено. Обаче в 99.9999% от случаите софтуерът не решава такива задачи. И не би трябвало да има чак такава ескалация. Не твърдя, че може да се премахне напълно. По-скоро, че може да се сведе до сложност с която съществуващите компютри да могат да се справят. За целта трябва да могат да разпознават и класифицират голям брой задачи (а май го могат вече). И трябват да могат да правят прехода към по-висок Т. Демек като им дадеш f() във Т1, Т2, Т3 да се опитат да отгатнат как трябва да изглежда f() в Т4 [демек (2)].

тези теории на Тюринг не се ли отнасят за детерминирани алгоритми?
AI-то като цяло ( та дори и Естествения Интелект )
на един и същ "сложен" въпрос дава "различни" / непредсказуеми отговори ... около отговора

колко е 21 * 2?

21 умножено по 2 е равно на 42.
За да пресметнете 21×2, можете да следвате тези стъпки...
За да изчислим колко е 21×2, следваме тези стъпки...

всеки път резултата е различен
общо взето Неврона не работи по Тюринг

Не, много, много по-генерални са от алгоритми изобщо.
Примерно една от най-генералните интерпретации, е че "Науката НИКОГА няма да се развие до толкова, че да може да докаже или опровергае всички твърдения от Вселената".

Иначе казано всяка "логическа логика" има лимит. Абсолютен интелект не може да съществува. Някои интерпретират това като доказателство, че Бог не съществува - смятай колко сериозни теореми имаме

Но в моята интерпретация има степени на интелекта. Като всяка степен наследява предишната, но се добавят знания, които не могат да бъдат изведени пряко от предишната степен. Демек новите знания не са просто някаква си комбинация от стари знания. Те са качествено нови.
Много отнесен и некоректен пример, но да кажем теорията на относителността е надстройка на Нютоновата физика, но няма как да докажеш Айнщайн използвайки логиката на Нютон.

Големият преход според мен ще е когато машина успее да мине от едно ниво на знания към друго ниво. Това ще значи, че може да мисли (дори и нивата да са много елементарни). В момента по-скоро само прави комбинация от знания. Демек машината може да "зубри" много добре. Може да назубри всичко от всички научни и ненаучни области. Но не може да мисли...

е то това е проблема за сега не знаят как невроните "мислят"

само това знаем за естественото и изкуственото
входни "PWM" импулси --->
праг на сработване --->
обучение/памет (тази част е неизвестна ... донагаждаме) --->
изходен импулс 1,2,3...

мрежа неврони ---> y = f(w1*x1​ + w2*x2 .... + b) ... плетеници ---> статистика

да ама къв "алгоритъм" "мисли" - донагаждаме: IF няма риба THEN ракът е риба

скрин шот - само синьото знаем

Може би малко хиперболизирано, но имам едно усещане, че ако взема да се ровя по тая тема, ще установя че там наука няма, по скоро е хазарт, нещо като индийски програмисти, не знаем защо и как работи, но ако пробваме достатъчно много пъти ще го подкараме....та и там нещо такова, без никаква наука зад това как всъщност работи ...