🙋 Продолжая тему марджинов 🙋

Лобастов Кирилл Викторович

Рецензирую китайскую статью из BJS (Q1 с ИФ 8,8, между прочим) с очередным исследованием по дизайну не меньшей эффективности. Смотрю на марджин: и он тоже превышает ожидаемую частоту в два раза 😂

"This non-inferiority trial randomized participants 1:1 between two groups. Based on prior observational 160 data, the anticipated 28-day venous thromboembolic (VTE) event rates were 0.8% in the rivaroxaban 161 group (prophylactic anticoagulation) and 2.2% in the no anticoagulation group. We defined the non-inferiority margin as 5% and used the " Non-Inferiority Tests for the Difference Between Two Proportions" module PASS software (version 11.0; NCSS) with a two-sided α=0.05 and 80% statistical power, the initial sample size calculation yielded 141 participants per group."

У меня складывается стойкое впечатление, что исследования не меньшей эффективности затеваются только из попытки (обычно, не самой удачной) оправдать небольшой объем выборки🤥

А результаты вот такие получились:

"Thrombosis-related events occurred in 24 patients within 1 month: 16 (9.0%) in the no anticoagulation group and 8 (4.5%) in the anticoagulation group (RD= 4.52%, 95% CI: -0.7%, -9.74%, P= 0.004 for non-inferiority test)."

Итак, исследователи заявили марджин в 5%, означающий, что верхняя граница 95% ДИ разницы должна быть ниже этой величины для удовлетворения критериям не меньшей эффективности.

Разница у них составила 4,5% (9% тромбозов в экспериментальной группе минус 4,5% тромбозов в контрольной группе). Т.е. в экспериментальной группе тромбозов было больше на величину, почти достигающую марджина.

При этом 95% ДИ они указывают от -0,7% до -9,7%, а такого быть не может. Тут явно перепутаны знаки, т.к. разница должна лежать в середине ДИ. Поэтому там должно быть либо оба, либо хотя бы одно значение со знаком плюс. Учитывая, что 4,5% должно быть посередине, то 9,7% точно имеет положительное значение, т.е. верхняя граница 95% ДИ далеко выходит за пределы марджина, что никак не удовлетворяет критериям не меньшей эффективности.

Как же тогда авторы получили искомое р=0,004?

Идем в калькулятор (https://www.neoweb.org.uk/Additions/compare.htm) рисков и получаем, что при сравнении экспериментальной группы (9%) и контрольной (4,5%), разница будет 4,5%, а 95% ДИ от -0,7% до 9,7%. Но если сравнить контрольную группу (4,5%) и экспериментальную (9%), то разница будет -4,5%, а 95% ДИ от -9,7% до 0,7%.

Таким образом, авторы дают разницу для сравнения в одну сторону, а 95% ДИ - для сравнения в другую сторону (и то с ошибкой в лишнем знаке минус), но соотносят его с марджином для первого случая, получая ложное значение р.

На самом деле, там нет не только не меньшей эффективности, но немного не хватает для утверждения статистически значимой меньшей эффективности в экспериментальной группе, для чего просто не хватило мощности исследования.

И все это удалось установить по одному значению разницы с 95% ДИ 🥸

На рисунке я неправильно округлил 9,74% до 9,8%, не придирайтесь.

Чтобы уже закрыть эту тему, не вставая повторно, хочется обратить ваше внимание на работу из JAMA Network, опубликованную в апреле 2025 года, в которой авторы провели систематический обзор сообщения марджинов в исследованиях не меньшей эффективности.

Сначала они прошерстили записи на ClinicalTrials.gov, обнаружив, что только в 3% исследований при регистрации был указан марджин. Правда, в разделе результатов этот показатель увеличился до 60%, а в связанной публикации - до 94%.

Интересно, что в некоторых исследованиях не меньшая эффективность в процессе естественной эволюции превратилась в большую или эквивалентность.

Но даже в финальных публикациях марджин был обоснован только в 41% случаев, из которых 7% пришлось на клинический опыт авторов (как в исследовании Димолегина).

В итоге, хочется лишний раз повторить, что марджин - это самое уязвимое место исследований по дизайну не меньшей эффективности, которым очень легко манипулировать. Поэтому смотрите на него внимательно и не ведитесь на провокации.

Кстати, ответа на извечный вопрос, каким должен быть клинически допустимый марджин, там тоже нет 🤥