Fred внимавай, четеш много, но явно не в дълбочина. Второто изображение не е получено от първото. Няма и как да се получи. Това което "авторът" прави а апроксимира бикубична интерполация без да представи резултати. Освен това използва нерелевантни картинки за да събира кликове. С такива палячовци е пълно в интернет. Чети внимателно какво пускаш като линкове, защото иначе заблуждаваш хората!

Така са го описали в статията. Освен това е взето от сериозен източник, Medium.com, там където е добре познатият ти Toward Science.

Относно бикубичната интерполация автора го е дал в тази картинка, очевидно е че тя няма нищо общо с онази детайлната. Просто изображението с ниската резолюция е интерполирано до по-висока. Но детайлността не се е подобрила.



Процеса на получаване на крайното изображение автора описва по следният начин:




Последното изречение ясно го заявява, невронната мрежа взема изображението с ниска резолюция, прави му бикубична интерполация след което с невронната мрежа го възстановява до изходното изображение /елена от картинката/. Вероятно е използване на съхранената в невронната мрежа информация за да допълни и текстурира изображението от бикубичната интерполация. За невронните мрежи GAN знаем че те съхраняват достатъчно информация с такива дребни подробности, че да имитират стила на художника по картините на който са обучавани.

Вероятно това е механизма, обучавали са мрежата с изображения на десетки хиляди елени и тя дорисува"носещата конструкция" който е получила от бикубичната интерполация. Още повече, че в текста се споменава GAN а както знаем тя може и да рисува.

Все пак като понамеря време ще позадълбая още малко. Но и от дадените примери за увеличаване на резолюцията до 4К се вижда, че не е проста интерполация с цел увеличаване броят пиксели а в картинката се появяват фини детайли /картинката с жена лицето на която е разделено на две. Отляво е с резолюция 2К а отдясно симулирани 4К/.

Бикубичната интерполация не е пригодена за увеличаване детайлността на изображението, за целта има други алгоритми и техники, използват се масово в продуктите за подобряване на изображения и детайли използвани при разследване. Най-ефективно работят при наличие на няколко кадъра, но и от един правят чудеса. За съжаление има доста изписано, доста матлаб модели, но наистина ра отещите и използваеми продукти са доста скъпи, а някои могат да се закупуват само от правителствени организации.
Ако такъв алгоритъм се съчетае с ИИ сигурно резултатите ще са впечатляващи.

Точно така, именно защото бикубичната интерполация не може да увеличава детайлността се налага да се допълва с информация получена по други начини.

Цяло направление е в ИИ, има и разработена специална невронна мрежа Fast Super-Resolution Convolutional Neural Network (FSRCNN) специализирана за това. Отделя се голямо внимание защото се очертава като голям бизнес, наличният видеоматериал да се пребразува във формата 4К. Тези телевизори вече са разработени но продажбите се спират от липсата на видеоматериал а така фирмите ще го предложат... и печелят Някъде в линковете имам статия от Сони за това но е забутана и не ми се рови.

Впрочем очаквам едно от първите широки приложения на невронните мрежи да е в смартфоните именно с цел обработка на изображения, има вече процесори за смартфон с вграден NPU /Neural Processor Unit/ явно с такава цел.

https://artomatix.com/enhance-that/
Harnessing AI to Up-Res Poor Quality Video

Ако говорим за видео поток, поне този от камери, той съдържа много и формация която с прост семаплинг не само не е от полза но и се губи. Аз имам софт който за видео работи много добре, процеса е бавен но с подходящите филтри и обработки се получават доста детайлни изображения, това за целите на разследването, примерно номера на коли или лица които нормално не могат да бъдат идентифицирани, след обработка се идентифицират и разпознават, това естествено не става за 4к тв. Тук обаче има две направления, и в двете ИИ може да е полезен. За филмовата индустрия е важно резултата да е красив, дори и да е манипулиран. За целите на разследването резултата не може да е манипулиран, така че да оставиш невронната мрежа просто да допълва не е вариант, но пък тя може много по бързо да подбере подходящите обработки, както и да разпознае определено детайли.

Така е, това с 4К Super Resolution е насочено единствено към филмовата индустрия, да и осигури видеоматериал с 4К качество. Дори съм чели за ДВД Видео с вграден изкуствен интелект но там вероятно се касае за неща като контраст, яркост, интерполация и подобни, нещо като Видео Долби. Твърде голяма изчислителна мощност се иска за да я вкарат във видеопроектор за няколко стотин долара.

Обработването на зашумен сигнал с "измъкване" на информацията от него е съвсем друга задача, там засега се използва Digital Signal Processing (DSP) с чисто математически и хардуерни методи. Но и тук навлиза Machine Learning, главно за обработване на вече изчистената с DSP информация /pattern recognition и подобни/.

И си постнал две картинки. Според теб първата и втората имат ли някакво отношение една към друга, като изклюим това, че е показан елен? А towards data science е медийна платформа в която пишата хиляди хора, както качествен материал така и глупости. Независимо, че имат редакторски екип качеството на публикациите варира значително. То в EETimes ми се случвало да чета отявлени глупости, където екипът е малък и добре платен...

Картинките не съм ги постнал аз а авторът Той твърди че имат, разбира се както от контекста на статията, примера с кубичната интерполация последван от елена, текста който постнах с болд за приложението на невронна мрежа след кубичната интерполация, така и от надписа отдолу на последното изображение - "High-Resolution Deer Image, (In Heavy Contrast with the Cifar-10 image above)". За какво да го дава този елен ако няма нищо общо с онази снимка с ниската резолюция от Cifar-10 и да го сравнява точно с нея? Освен това и положението на тялото и рогата, формата на рогата са твърде сходни.

Съгласен съм, че такова фантастично подобряване на резолюцията изглежда много невероятно и е невъзможно да се постигне с информацията налична само в изображението с ниска резолюция. Необходима е допълнителна информация. Затова и изказах предположението, че невронната мрежа е обучена специално с хиляди изображения на елени и тя е "дорисувала" изображението на елена.

Мрежите GAN това им е принципа, разбиват хиляди изображения /примерно на картини от известен художник/ на елементарни елементи и след това от тях "композират" изображение което поразително прилича по стил на нарисуваното от точно този художник. Като "композицията" може да е както самостоятелна така и по зададен входен материал който се преобразува в съответният стил. Явно нещо подобно имаме тук, GAN обучена върху елени и реконструирала елен така че да изглежда максимално подобен /като поза и общ изглед/ с изображението с ниска резолюция. Такава хипотеза имам.

А относно обвиненията, че авторът е мошеник те са несериозни. Нямаш никакви доказателства само голи твърдения. Все някой щеше да се обади в редакцията да протестира и статията щеше да бъде свалена.

Малката и голямата картинки са различни снимки. На едната, еленът е обърнат наляво, а на другата е надясно.
Ако все пак голямата картинка е резултат след обработка на малката, то явно в конкретния случай АИ тълкува прекалено волно понятия като реконструкция...

С това съм съгласен, но все пак и изходният материал е такъв, че дава широко поле за "фантазия" на творчеството на GAN. Аз лично като гледам бикубичната интерполация това че е елен го познавам главно по рогата, главата е неясно. В компресираното изображение по-добре си личи. Може и това да е причината за сбърканата глава, в интерполацията, в статията е написано, че невронната мрежа е след интерполацията.

Докато например в постинга за фирмата Artomatix на третата снимка тънките косъмчета горе вляво на котката са напълно на мястото си. И е невъзможно да се получат от изходният материал с DSP, както се вижда на втората снимка той само заглажда зъбчетата. Явно и качеството на входният материал е от голямо значение, при материал с много слаба резолюция операцията Segmentation не успява да отдели достатъчно подробни елементи /features/ от изходното изображение за да може GAN правилно да възстанови входното изображение.

двата елена имат поне 5 години разлика във възрастта. което за тия животни е доста.
какво щяхте да кажете, ако снимката на мацката е на жена на 85 години?

няма как да извадиш информация от място, където я няма.
може да си я измислиш, сътвориш, или някакъв продукт на друга форма на интелект, но това ще е творчество.

Така е, в статията за Artomatix /котката/ фирмата ясно го заявява "Neural Networks can actually form their own imagination and hallucinate new plausible details where they didn’t otherwise exist in the original image and the difference is pretty striking." Явно при елена GAN е смъркала яко халюцигени Защото при котките си изглежда съвсем реалистично и само ако внимателно се вгледаш ще видиш, че има неща които едва ли ги има в изходното изображение, замазани са. В живата котка доста вероятно но не в снимката.

само за протокола - Елените ги видях, че са различни ама да не кажете, че пак се заяждам

В 90% от тъй наречените ИИ се явяват статистически обучен "аналогов дешифратор" с процент вероятност на резултата ... защо е "интелект" никой не казва
и как един дешифратор взима решения и гради стратегии оставя научна фантастика

10% оставам за "секретните" проекти, за които няма публично инфо

Когато има Super Resolution очевидно нещо се добавя. Ако има и GAN ясно е че се дорисува. А доколко "творчество" ще се вложи зависи от изходното изображение, ако е много грубо ще трябва да се рисува почти на чисто.

Но ето за тази снимка за онова горе вдясно твърдят, че е измъкнато от чернилката долу вляво. Наложи се много да се вглеждам за да видя, че все пак нещо има в тази непрогледна чернота. Няма добавен нито пиксел така че очевидно невронната мрежа не се използва за "дорисуване". Не се занимавам с фотография и ми изглежда невъзможно но сериозни хора казват че са го направили. И че това е бъдещата технология в смартфоните.