old_radist: (Default)
[personal profile] old_radist


Линейная интерполяция - признак дурака. Экспоненциальная - идиота. Человек разумный интерполирует вниз.

Date: 2021-04-19 08:18 am (UTC)
From: [identity profile] lj-frank-bot.livejournal.com
Здравствуйте!
Система категоризации Живого Журнала посчитала, что вашу запись можно отнести к категории: Общество (https://www.livejournal.com/category/obschestvo?utm_source=frank_comment).
Если вы считаете, что система ошиблась — напишите об этом в ответе на этот комментарий. Ваша обратная связь поможет сделать систему точнее.
Фрэнк,
команда ЖЖ.

Date: 2021-04-19 08:24 am (UTC)
From: [identity profile] old-radist.livejournal.com
Пожалуй, но согласие это печально...

Date: 2021-04-19 08:25 am (UTC)
From: [identity profile] lj-frank-bot.livejournal.com
Спасибо, ваш ответ делает нас лучше

Date: 2021-04-19 08:25 am (UTC)
From: [identity profile] old-radist.livejournal.com
Лучше бы он делал нас лучше

Date: 2021-04-19 08:33 am (UTC)
From: [identity profile] amigofriend.livejournal.com
Потому что где пол? Ну, там!

Date: 2021-04-19 08:35 am (UTC)
From: [identity profile] old-radist.livejournal.com
Пол, тото и оно...

Date: 2021-04-19 10:06 am (UTC)
From: [identity profile] eseid.livejournal.com
умный - экстраполирует вниз. Мудрый садится на крыльцо своей фанзы, курит трубочку, и смотрит, как волны Ян-Цзы проносят мимо тела экстраполяторов. ;)

Date: 2021-04-19 10:12 am (UTC)
From: [identity profile] old-radist.livejournal.com
великий сдает фанзы мудрым в аренду...
Edited Date: 2021-04-19 10:21 am (UTC)

Date: 2021-04-19 11:27 am (UTC)
From: [identity profile] wieder-falsch.livejournal.com
Значит, я дурак и разумный идиот. Всегда интерполирую функцией y = exp (-x). Эта экспонента при x>0 идёт вниз, причём если взять отрезок аргумента [x1, x2 ] где-нибудь там, поправее, поближе к бесконечности, то с виду она и будет похожа на линейную функцию. И даже с производной, сильно смахивающей на нуль. Что как бы намекает на скромность, непритязательность.

Date: 2021-04-19 11:43 am (UTC)
From: [identity profile] old-radist.livejournal.com
Эта экспонента отрицательная, фейковая. Не думал, что ты настолько падок на внешние эффекты.

Но вот что я заметил... Если в качестве аргумента взять не -х, а 0,5х, то такой график будет похож на график тангенса. О чем это нам говорит?

Date: 2021-04-19 12:05 pm (UTC)
From: [identity profile] wieder-falsch.livejournal.com
Если тангенса, то о крутизне, конечно.

Date: 2021-04-21 08:06 am (UTC)
From: [identity profile] old-radist.livejournal.com
Оказывается это я смешал алгебру с гармонией и там должна быть экстраполяция. Намекают. А с другой стороны, нужна ли нам такая прямолинейность мышления?.. Думаю, вопрос чисто риторический. :)

Date: 2021-04-21 08:46 am (UTC)
From: [identity profile] wieder-falsch.livejournal.com
Прямолинейность функции — это то, во что стремится её криволинейность при бесконечно малом приращении аргумента. Собственно, понятие дифференциала функции, предмет разногласий Ньютона с Лейбницем и всё такое, ну ты помнишь, это первый курс. Так что такая прямолинейность нам нужна.
К тому же пусть там намекают, но мы-то с тобой знаем, что интерполяция с экстраполяцией пребывают в единстве и борьбе. В самом деле, как можно аппроксимировать неизвестную функцию вне интервала [x1, x2], не проаппроксимировавши её предварительно как следует в этом интервале? Да и окрестность экстраполяции обычно невелика.
Я-то сразу просёк, что ты имел в виду экстраполяцию, но интерполировал ты не множеством разных функций на множестве отрезков, а одной. Монотонно убывающей :)

Date: 2021-04-21 08:49 am (UTC)
From: [identity profile] old-radist.livejournal.com
Срочно вместе выпить.

Эээх...

Date: 2021-04-21 09:00 am (UTC)
From: [identity profile] wieder-falsch.livejournal.com
Ничего. Всё проходит, как говорил один царь, в мудрости которого сомневаться не принято. И это пройдёт. Откроют границы, сломают засовы, и стены острогов... ну это я чот увлёкся. Когда-нибудь нам всё разрешат, это несомненно.

Date: 2025-04-20 06:27 am (UTC)
From: [identity profile] wieder-falsch.livejournal.com
Да ничего, ничего. Апрель уже:)

Date: 2025-04-20 08:54 am (UTC)
From: [identity profile] old-radist.livejournal.com
Апрель уже -
Macht was er же!

Date: 2021-04-19 01:45 pm (UTC)
From: [identity profile] termometr.livejournal.com
экстраполяция без причины — признак дурачины!

Date: 2021-04-19 11:28 pm (UTC)
From: [identity profile] jentl.livejournal.com
Что же делать человеку разумному разумному (sapiens sapiens)? Разве что в четвёртое измерение уходить.

Date: 2021-04-20 09:18 am (UTC)
From: [identity profile] old-radist.livejournal.com
A sapiens sapiens это кто такие?

Date: 2021-04-20 10:53 am (UTC)
From: [identity profile] jentl.livejournal.com
Ну мы же. Homo sapiens sapiens.

Date: 2021-04-20 11:37 am (UTC)
From: [identity profile] old-radist.livejournal.com
Наш путь не отмечен, нам нечем, нам нечем...
Edited Date: 2021-04-20 11:38 am (UTC)

Date: 2021-04-21 08:02 am (UTC)

Date: 2021-04-21 09:25 am (UTC)
From: [identity profile] comutator.livejournal.com
Вы, случаем, интерполяцию с экстраполяцией не попутали?

Date: 2021-04-21 09:40 am (UTC)
From: [identity profile] old-radist.livejournal.com
Вполне мог.

Date: 2021-04-21 10:52 am (UTC)
From: [identity profile] vls-777.livejournal.com
Человек разумный (и мало-мальски себя уважающий) оперирует закусками горячими

Date: 2021-04-21 10:57 am (UTC)
From: [identity profile] old-radist.livejournal.com
Нормальный ход!

Date: 2021-04-21 03:03 pm (UTC)

Date: 2021-04-21 03:06 pm (UTC)
From: [identity profile] vinny-ekb.livejournal.com

имхо камменты надо добавить в пост
👍

Date: 2021-04-21 03:25 pm (UTC)
From: [identity profile] old-radist.livejournal.com
Это уже читинг... :)

Date: 2021-04-21 11:17 pm (UTC)
From: [identity profile] vashu11.livejournal.com
Прежде чем писать глубокомысленные цитаты неплохо узнать о разнице между интерполяцией и экстраполяцией.

Date: 2021-04-22 02:37 am (UTC)
From: [identity profile] anhinga-anhinga.livejournal.com
Это раньше была хорошо определённая разница. А теперь у нас иногда бывает такая интерполяция, которая как раз ведёт себя, как экстраполяция:

https://arxiv.org/abs/1812.11118

Так что, пост продиктован разлитым вокруг гештальтом :-)

Date: 2021-04-22 02:39 am (UTC)
From: [identity profile] anhinga-anhinga.livejournal.com
Это раньше была хорошо определённая разница. А теперь у нас иногда бывает
такая интерполяция, которая как раз ведёт себя, как экстраполяция:

Тут была ссылка на статьюшку, но ссылку не разрешают постить, поэтому заменим её на название: "Reconciling modern machine learning practice and the bias-variance trade-off".

Так что, пост продиктован разлитым вокруг гештальтом :-)

Date: 2021-04-22 04:45 am (UTC)
From: [identity profile] vashu11.livejournal.com
В статье скорее речь о переходе рискованных обобщений в банальную интерполяцию по мере увеличения трейнингсета/накопления опыта.

Я лично просто отвечаю на мыкроагрессию. Человек называет тех кто имеет отличные от него мнения по крайне сложному и неопределенному вопросу идиотами и делает технический ляп. Как уж тут не посмеяться.

Date: 2021-04-22 05:47 am (UTC)
From: [identity profile] anhinga-anhinga.livejournal.com
> В статье скорее речь о переходе рискованных обобщений в банальную интерполяцию по мере увеличения трейнингсета/накопления опыта.

:-) нет :-) в статье речь идёт о фундаментальных принципах, из-за которых теперь работает GPT-3 и всякое такое :-)

Date: 2021-04-22 06:24 am (UTC)
From: [identity profile] vashu11.livejournal.com
Я соглашусь что с нейросетями разница не важна. Это с классическими методами более-менее понятно что тут такие проблемы будут на интерполяция, тут на экстраполяции полином почти наверняка задерет вверх или вниз и тп тд. А сейчас — ну есть у нас многомерное множество точек, кот/собака, даже если формальные методы говорят что данный вектор внутри/вне объема описанного точками трейнинг сета, это еще ни о чем не говорит.

Но по вопросу о конкретно этой статье я не вижу как double descent говорит что-то о и/э-поляции. Второе слово в статье вообще не упоминается.

Date: 2021-04-22 06:50 am (UTC)
From: [identity profile] anhinga-anhinga.livejournal.com
Происходит следующее - есть классическая зона, где tradeoff between underfitting and overfitting. С такими ситуациями мы давно имели дело. И есть вот эта вторая зона, которая наивно должна была бы быть совсем непригодным overfitting ("superoverfitting"), где очень много параметров, и "режим интерполяции" (то есть training loss равен нулю). Но, парадоксальным образом, там опять становится хорошо (это совсем недавнее осознание, 2018-й год - это самое начало; люди заметили, что так бывает, чуть-чуть раньше, а тут начали наконец понимать, что происходит).

Но при этом, получающиеся системы удивительно творческие. Они даже не "экстраполируют в простом смысле", они "синтезируют новые нетривиальные вещи", это "суперэкстраполяция", яркое творчество со стороны этих систем.

Геометрически там получается очень странное многообразие, в этой "интерполяции", если говорить про большие Трансформеры.

:-) Вот я и говорю, что автор гениально угадал :-) Вот этот новый ранее неизвестный вид "интерполяции", там действительно происходит "движение по некоторому странному многообразию в неожиданном направлении" :-) Так теперь устоена реальность, в которой мы находимся, а ещё 5 лет назад она была устроена не так, таких "интерполяций" не было известно :-)

Date: 2021-04-22 07:09 am (UTC)
From: [identity profile] old-radist.livejournal.com
Спасибо за понимание! :))

Date: 2021-04-22 10:32 pm (UTC)
From: [identity profile] vashu11.livejournal.com
И ни слова о экстраполяции ) Ладно, неважно.

Хочу написать запись о глубоком обучении в нулевые/начале десятых, самые-самые первые по настоящему успешные шаги.

Читаю LeCun и Хинтона, может еще кого подскажете? Может уже кто делал хорошие обзоры по тому времени.

Date: 2021-04-22 10:37 pm (UTC)
From: [identity profile] anhinga-anhinga.livejournal.com
Шмидхубер делал очень подробные обзоры, и из его группы много всего пришло, и LSTM и победы на многих machine learning competitions того периода...

Date: 2021-04-22 04:56 am (UTC)
From: [identity profile] old-radist.livejournal.com
Прежде чем писать глубокомысленные комментарии, неплохо узнать о разнице между цитатой и авторским текстом. :)

Profile

old_radist: (Default)
old_radist

January 2026

S M T W T F S
     123
45678910
11121314151617
18192021222324
25262728293031

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jan. 3rd, 2026 01:19 am
Powered by Dreamwidth Studios