Здравствуйте! Система категоризации Живого Журнала посчитала, что вашу запись можно отнести к категории: Общество (https://www.livejournal.com/category/obschestvo?utm_source=frank_comment). Если вы считаете, что система ошиблась — напишите об этом в ответе на этот комментарий. Ваша обратная связь поможет сделать систему точнее. Фрэнк, команда ЖЖ.
Значит, я дурак и разумный идиот. Всегда интерполирую функцией y = exp (-x). Эта экспонента при x>0 идёт вниз, причём если взять отрезок аргумента [x1, x2 ] где-нибудь там, поправее, поближе к бесконечности, то с виду она и будет похожа на линейную функцию. И даже с производной, сильно смахивающей на нуль. Что как бы намекает на скромность, непритязательность.
Оказывается это я смешал алгебру с гармонией и там должна быть экстраполяция. Намекают. А с другой стороны, нужна ли нам такая прямолинейность мышления?.. Думаю, вопрос чисто риторический. :)
Прямолинейность функции — это то, во что стремится её криволинейность при бесконечно малом приращении аргумента. Собственно, понятие дифференциала функции, предмет разногласий Ньютона с Лейбницем и всё такое, ну ты помнишь, это первый курс. Так что такая прямолинейность нам нужна. К тому же пусть там намекают, но мы-то с тобой знаем, что интерполяция с экстраполяцией пребывают в единстве и борьбе. В самом деле, как можно аппроксимировать неизвестную функцию вне интервала [x1, x2], не проаппроксимировавши её предварительно как следует в этом интервале? Да и окрестность экстраполяции обычно невелика. Я-то сразу просёк, что ты имел в виду экстраполяцию, но интерполировал ты не множеством разных функций на множестве отрезков, а одной. Монотонно убывающей :)
Ничего. Всё проходит, как говорил один царь, в мудрости которого сомневаться не принято. И это пройдёт. Откроют границы, сломают засовы, и стены острогов... ну это я чот увлёкся. Когда-нибудь нам всё разрешат, это несомненно.
Это раньше была хорошо определённая разница. А теперь у нас иногда бывает такая интерполяция, которая как раз ведёт себя, как экстраполяция:
Тут была ссылка на статьюшку, но ссылку не разрешают постить, поэтому заменим её на название: "Reconciling modern machine learning practice and the bias-variance trade-off".
Так что, пост продиктован разлитым вокруг гештальтом :-)
В статье скорее речь о переходе рискованных обобщений в банальную интерполяцию по мере увеличения трейнингсета/накопления опыта.
Я лично просто отвечаю на мыкроагрессию. Человек называет тех кто имеет отличные от него мнения по крайне сложному и неопределенному вопросу идиотами и делает технический ляп. Как уж тут не посмеяться.
Я соглашусь что с нейросетями разница не важна. Это с классическими методами более-менее понятно что тут такие проблемы будут на интерполяция, тут на экстраполяции полином почти наверняка задерет вверх или вниз и тп тд. А сейчас — ну есть у нас многомерное множество точек, кот/собака, даже если формальные методы говорят что данный вектор внутри/вне объема описанного точками трейнинг сета, это еще ни о чем не говорит.
Но по вопросу о конкретно этой статье я не вижу как double descent говорит что-то о и/э-поляции. Второе слово в статье вообще не упоминается.
Происходит следующее - есть классическая зона, где tradeoff between underfitting and overfitting. С такими ситуациями мы давно имели дело. И есть вот эта вторая зона, которая наивно должна была бы быть совсем непригодным overfitting ("superoverfitting"), где очень много параметров, и "режим интерполяции" (то есть training loss равен нулю). Но, парадоксальным образом, там опять становится хорошо (это совсем недавнее осознание, 2018-й год - это самое начало; люди заметили, что так бывает, чуть-чуть раньше, а тут начали наконец понимать, что происходит).
Но при этом, получающиеся системы удивительно творческие. Они даже не "экстраполируют в простом смысле", они "синтезируют новые нетривиальные вещи", это "суперэкстраполяция", яркое творчество со стороны этих систем.
Геометрически там получается очень странное многообразие, в этой "интерполяции", если говорить про большие Трансформеры.
:-) Вот я и говорю, что автор гениально угадал :-) Вот этот новый ранее неизвестный вид "интерполяции", там действительно происходит "движение по некоторому странному многообразию в неожиданном направлении" :-) Так теперь устоена реальность, в которой мы находимся, а ещё 5 лет назад она была устроена не так, таких "интерполяций" не было известно :-)
no subject
Date: 2021-04-19 08:18 am (UTC)Система категоризации Живого Журнала посчитала, что вашу запись можно отнести к категории: Общество (https://www.livejournal.com/category/obschestvo?utm_source=frank_comment).
Если вы считаете, что система ошиблась — напишите об этом в ответе на этот комментарий. Ваша обратная связь поможет сделать систему точнее.
Фрэнк,
команда ЖЖ.
no subject
Date: 2021-04-19 08:24 am (UTC)no subject
Date: 2021-04-19 08:25 am (UTC)no subject
Date: 2021-04-19 08:25 am (UTC)no subject
Date: 2021-04-19 08:33 am (UTC)no subject
Date: 2021-04-19 08:35 am (UTC)no subject
Date: 2021-04-19 10:06 am (UTC)no subject
Date: 2021-04-19 10:12 am (UTC)no subject
Date: 2021-04-19 11:27 am (UTC)no subject
Date: 2021-04-19 11:43 am (UTC)Но вот что я заметил... Если в качестве аргумента взять не -х, а 0,5х, то такой график будет похож на график тангенса. О чем это нам говорит?
no subject
Date: 2021-04-19 12:05 pm (UTC)no subject
Date: 2021-04-21 08:06 am (UTC)no subject
Date: 2021-04-21 08:46 am (UTC)К тому же пусть там намекают, но мы-то с тобой знаем, что интерполяция с экстраполяцией пребывают в единстве и борьбе. В самом деле, как можно аппроксимировать неизвестную функцию вне интервала [x1, x2], не проаппроксимировавши её предварительно как следует в этом интервале? Да и окрестность экстраполяции обычно невелика.
Я-то сразу просёк, что ты имел в виду экстраполяцию, но интерполировал ты не множеством разных функций на множестве отрезков, а одной. Монотонно убывающей :)
no subject
Date: 2021-04-21 08:49 am (UTC)Эээх...
no subject
Date: 2021-04-21 09:00 am (UTC)no subject
Date: 2025-04-19 07:21 pm (UTC)no subject
Date: 2025-04-20 06:27 am (UTC)no subject
Date: 2025-04-20 08:54 am (UTC)Macht was er же!
no subject
Date: 2021-04-19 01:45 pm (UTC)no subject
Date: 2021-04-19 11:28 pm (UTC)no subject
Date: 2021-04-20 09:18 am (UTC)no subject
Date: 2021-04-20 10:53 am (UTC)no subject
Date: 2021-04-20 11:37 am (UTC)no subject
Date: 2021-04-21 08:02 am (UTC)no subject
Date: 2021-04-21 09:25 am (UTC)no subject
Date: 2021-04-21 09:40 am (UTC)no subject
Date: 2021-04-21 10:52 am (UTC)no subject
Date: 2021-04-21 10:57 am (UTC)no subject
Date: 2021-04-21 03:03 pm (UTC)no subject
Date: 2021-04-21 03:06 pm (UTC)имхо камменты надо добавить в пост
👍
no subject
Date: 2021-04-21 03:25 pm (UTC)no subject
Date: 2021-04-21 11:17 pm (UTC)no subject
Date: 2021-04-22 02:37 am (UTC)https://arxiv.org/abs/1812.11118
Так что, пост продиктован разлитым вокруг гештальтом :-)
no subject
Date: 2021-04-22 02:39 am (UTC)такая интерполяция, которая как раз ведёт себя, как экстраполяция:
Тут была ссылка на статьюшку, но ссылку не разрешают постить, поэтому заменим её на название: "Reconciling modern machine learning practice and the bias-variance trade-off".
Так что, пост продиктован разлитым вокруг гештальтом :-)
no subject
Date: 2021-04-22 04:45 am (UTC)Я лично просто отвечаю на мыкроагрессию. Человек называет тех кто имеет отличные от него мнения по крайне сложному и неопределенному вопросу идиотами и делает технический ляп. Как уж тут не посмеяться.
no subject
Date: 2021-04-22 05:47 am (UTC):-) нет :-) в статье речь идёт о фундаментальных принципах, из-за которых теперь работает GPT-3 и всякое такое :-)
no subject
Date: 2021-04-22 06:24 am (UTC)Но по вопросу о конкретно этой статье я не вижу как double descent говорит что-то о и/э-поляции. Второе слово в статье вообще не упоминается.
no subject
Date: 2021-04-22 06:50 am (UTC)Но при этом, получающиеся системы удивительно творческие. Они даже не "экстраполируют в простом смысле", они "синтезируют новые нетривиальные вещи", это "суперэкстраполяция", яркое творчество со стороны этих систем.
Геометрически там получается очень странное многообразие, в этой "интерполяции", если говорить про большие Трансформеры.
:-) Вот я и говорю, что автор гениально угадал :-) Вот этот новый ранее неизвестный вид "интерполяции", там действительно происходит "движение по некоторому странному многообразию в неожиданном направлении" :-) Так теперь устоена реальность, в которой мы находимся, а ещё 5 лет назад она была устроена не так, таких "интерполяций" не было известно :-)
no subject
Date: 2021-04-22 07:09 am (UTC)no subject
Date: 2021-04-22 10:32 pm (UTC)Хочу написать запись о глубоком обучении в нулевые/начале десятых, самые-самые первые по настоящему успешные шаги.
Читаю LeCun и Хинтона, может еще кого подскажете? Может уже кто делал хорошие обзоры по тому времени.
no subject
Date: 2021-04-22 10:37 pm (UTC)no subject
Date: 2021-04-22 04:56 am (UTC)