Fenrier писал(а):
Эйн Ди писал(а):
я не понимаю, кого в физике ты называешь демократами
В США две всего партии. Республиканцы/консерваторы и демократы/либералы. Физики вполне могут быть зарегистрированными демократами или республиканцами.
Fenrier писал(а):
В физике, конечно, это не имеет большого значения, но для экономики, психологии или социологии у демократов и республиканцев радикально разная позиция
Истинность этого утверждения далеко не очевидна.
Цитата:
Эйн Ди писал(а):
тут нужно смотреть насколько он существенный, там, сколько попыток воспроизведения проваливаются, в процентах, по каждому явлению
Давай я открою для тебя ссылку.
|
Цитата из книги
A report by the Open Science Collaboration in August 2015 that was coordinated by Brian Nosek estimated the reproducibility of 100 studies in psychological science from three high-ranking psychology journals.[48] Overall, 36% of the replications yielded significant findings (p value below 0.05) compared to 97% of the original studies that had significant effects. The mean effect size in the replications was approximately half the magnitude of the effects reported in the original studies
...
A study published in 2018 in Nature Human Behaviour sought to replicate 21 social and behavioral science papers from Nature and Science, finding that only 13 could be successfully replicated.[50][51] Similarly, in a study conducted under the auspices of the Center for Open Science, a team of 186 researchers from 60 different laboratories (representing 36 different nationalities from 6 different continents) conducted replications of 28 classic and contemporary findings in psychology.[52] The focus of the study was not only on whether or not the findings from the original papers replicated, but also on the extent to which findings varied as a function of variations in samples and contexts. Overall, 14 of the 28 findings failed to replicate despite massive sample sizes.
|
Т.е. речь приблизительно о 40-60% всех исследований в психологии. Аналогичные исследования для экономики дали где-то треть неповторяемых исследований (но там числа небольшие)
Неповторяемые исследования я думаю, норма для науки. Я помню, что в университете делал бакалаврскую или магистерскую работу, и там был эффект, от которого потом в принципе надо было отказаться, потому что особенность зависимости похоже происходил от определённого момента в методике, который не учитывался.
Когда делал кандидатскую, то в ней уже об этой зависимости не говорилось (хотя в целом объект был подобный).
Цитата:
Эйн Ди писал(а):
не обязательно. Неудача в воспроизведении может быть из-за ошибки в воспроизведении (ошибки или отклонении в методике эксперимента, недостатке знаний, недопонимании нюансов эксперимента...), а не потому, что при следовании той же методике явление не повторяется.
Конечно. Или это первый экспериментальный результат случился из-за ошибки, которую просто не смогли повторить последующие исследователи.
Речь о порядке отличия, Эйн. Понятно, что не получится достичь 95% — ошибка при репликации действительно возможна — но разрыв в два раза слишком велик для случайности. Особенно с учетом выделенного в последнем абзаце цитаты куска: "хорошие" исследования стабильно повторялись, "плохие" — стабильно не повторялись. Если бы речь шла об ошибках воспроизведения, результаты повторения плохих исследований давали бы широкий разброс — ведь каждый ошибается немного по-своему.
вообще, я в цитируемых абзацах не заметил характеристик разброса. Там написано, что выборки при перепроверке были большими, и что смотрели на зависимость от разных выборок, но не какая она.
Цитата:
Масштаб разрыва и стабильность результатов репликации предполагает, что оригинальные исследования ненамеренно или намеренно преувеличивали значимость результатов.
Любое исследование пытается так поставить вопрос, чтобы при ответе на него показать какой-то значительный эффект. Или получить значительный результат. Иначе для чего работа?
И большинство работ, я думаю, остаются недостаточно значительными, чтобы их перепроверили. Это же временной ресурс - проверить чужую работу. Зачем его впустую тратить, когда можно в это время сделать своё исследование? Фокус идет на свои исследования, и только более значительные вещи перепроверяются.
Цитата:
Плюс, все это... оправдание не оправдывает на самом деле оригинальные исследования. Если их результат повторяется только при исполнении каких-то неочевидных и не описанных в исследовании условий — он так же преувеличен, как и при очевидном p-хакинге; если репликаторы постоянно и одинаково ошиблись в условиях эксперимента — оригинальное исследование просто плохо документирован.
В реальной науке методика обычно не идеально прописывается, какие-то детали упускаются. Могут использоваться самодельные установки для измерений, которые попробуй воспроизведи.
Цитата:
Мы можем долго спорить по поводу того, что конкретно говорит о науке кризис репликации — но, надеюсь, мне не придется больше доказывать, что проблема качества результатов существует.
Один из руководителей группы физиков, где я был (я этим уже не занимаюсь) шутил, что на 100 открытий приходится 99 закрытий.
Кстати, если твое убеждение о предвзятости и его влиянии на изложение в статьях рассмотреть как теорию, то допуская , что она тебе нравится и ты к ней привязан, ты тоже предвзят в отношении того, верна эта теория или нет.
То есть ты можешь быть предвзятым сторонником теории о значительной предвзятости.
Вход
Регистрация
FAQ
Chat
2020 — сволочь. 
