RU2800079C2 - Системы и способы оценки жизнеспособности эмбрионов - Google Patents

Abstract

Группа изобретений относится к системам и способам оценки жизнеспособности человеческого эмбриона. Предложена система для реализации способа оценки жизнеспособности человеческого эмбриона, содержащего этапы, на которых: генерируют показатель жизнеспособности для человеческого эмбриона путем вероятностной классификации данных, представляющих видео человеческого эмбриона, при помощи трехмерной (3D) искусственной нейронной сети (ИНС), при этом трехмерная искусственная нейронная сеть включает в себя трехмерную сверточную нейронную сеть (СНС) и 3D СНС включает в себя слои свертки, каждый из которых использует 3D ядро свертки, и слои подвыборки, каждый из которых использует 3D ядро подвыборки; или обучают трехмерную (3D) искусственную нейронную сеть (ИНС) для вероятностной классификации данных, представляющих видео человеческого эмбриона, для получения показателя жизнеспособности человеческого эмбриона. Группа изобретений обеспечивает повышение эффективности получения жизнеспособного эмбриона. 4 н. и 30 з.п. ф-лы, 22 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к системам и способам оценки жизнеспособности человеческого эмбриона.

Уровень техники

Оплодотворение in vitro (ЭКО) относится к способам/методикам, при которых яйцеклетки женщины оплодотворяют вне организма. ЭКО обычно включает введение женщинам препаратов для лечения бесплодия с целью стимуляции созревания множества фолликулов, в отличие от созревания единственного фолликула в нормальном цикле. Эти яйцеклетки затем извлекают хирургическим путем и доставляют в лабораторию, где их оплодотворяют спермой мужчины-партнера или донора. Затем оплодотворенным яйцеклеткам дают возможность созреть в виде эмбрионов в специальной культуральной среде, обычно в инкубаторе. В течение этого времени можно получать микроскопические изображения развивающихся эмбрионов с использованием технологии визуализации в инкубаторе (например, инкубаторе Embryoscope®) для получения непрерывных покадровых видеороликов развивающихся эмбрионов.

Традиционно множество эмбрионов имплантируют в матку женщины для повышения общего процента успешности. Недостатком этого подхода является увеличение вероятности многоплодной беременности, что связано с более высоким риском антенатальных осложнений. В результате одной из целей усовершенствования ЭКО является возможность выполнения переноса единственного эмбриона для каждой беременности. Термин «перенос» относится к этапу в процессе искусственного оплодотворения, при котором эмбрионы помещают в матку женщины с намерением достичь беременности.

Для достижения этого нужно иметь возможность выбора одного эмбриона из нескольких развитых эмбрионов в соответствии с самым высоким потенциалом беременности. Этот процесс отбора в настоящее время выполняется эмбриологами, которые вручную оценивают каждый эмбрион на основе его внешнего вида и времени критических контрольных точек развития.

В настоящее время качество каждого эмбриона определяют с использованием ряда схем оценки. Эти схемы включают ручную аннотацию каждого изображения или покадрового видео эмбриона. Характеристики, которые рассматриваются в этих классификационных системах, включают морфологический вид эмбриона, а также точные сроки ключевых контрольных точек развития. В настоящее время все решения являются чисто рабочими инструментами для эмбриологов. Они полностью зависят от субъективного суждения эмбриолога, выполняющего аннотацию каждого эмбриона. Некоторыми обычно используемыми системами оценки являются Система оценки бластоцист Гарднера (https://www.advancedfertility.com/blastocystimages.htm) и KIDScore (http://www.vitrolife.com/sv/Products/EmbryoScope-Time-Lapse-System/KIDScore-decision-support-tool-/).

Тем не менее, процесс отбора является неточной наукой и сильно варьирует в зависимости от каждого эмбриолога. Эмбриологи должны делать субъективные заключения о точном времени определенных контрольных точек развития, а также о симметрии, размерах и однородности. Это сильно зависит от опыта оператора и личного мнения. Это означает, что эмбриологи часто не соглашаются с другими эмбриологами или даже самими собой (при демонстрации одного и того же эмбриона), в отношении того, какой эмбрион обладает наибольшим потенциалом для переноса. Таким образом, среди эмбриологов наблюдается низкая воспроизводимость и высокая вариабельность считываний разными специалистами и одним и тем же специалистом. Это длительный и трудоемкий процесс для маркировки каждого покадрового видео. Для ручной оценки эмбрионов обычно требуется до 1 часа на пациентку. Неясно, какие признаки или какая комбинация признаков в конечном счете предопределяют потенциал беременности каждого эмбриона. Современные способы оценки обычно анализируют только 2-4 изолированных временных периода, которые, как было показано, независимо приводят к более высокому коэффициенту беременности. Кроме того, современные системы, такие как Embryoscope®, позволяют выбирать/отменять выбор нескольких параметров аннотации/анализа, что может препятствовать анализу взаимодействия этих аспектов.

Необходимо устранить или уменьшить один или несколько недостатков или ограничений, связанных с предшествующим уровнем техники, или по меньшей мере предоставить полезную альтернативу.

Раскрытие сущности изобретения

В настоящей заявке обеспечен компьютеризированный способ, включающий следующие этапы:

- получение видеоданных человеческого эмбриона, представляющих последовательность изображений человеческого эмбриона в хронологическом порядке;

- применение по меньшей мере одной трехмерной (3D) искусственной нейронной сети (ИНС) к видеоданным для определения показателя жизнеспособности человеческого эмбриона, где показатель жизнеспособности представляет вероятность того, что человеческий эмбрион приведет к жизнеспособному эмбриону или жизнеспособному плоду; и

- вывод показателя жизнеспособности.

В настоящей заявке обеспечена система, включающая по меньшей мере один процессор, выполненный с возможностью:

- приема видеоданных человеческого эмбриона, где видеоданные включают последовательность изображений человеческого эмбриона в хронологическом порядке;

- применения по меньшей мере одной трехмерной (3D) искусственной нейронной сети к видеоданным для определения показателя жизнеспособности человеческого эмбриона, причем показатель жизнеспособности представляет вероятность того, что человеческий эмбрион приведет к жизнеспособному эмбриону или жизнеспособному плоду; и

- выведения показателя жизнеспособности.

Представленный в настоящей заявке способ включает:

- генерацию показателя жизнеспособности для человеческого эмбриона путем вероятностной классификации данных, представляющих видео человеческого эмбриона, искусственной нейронной сетью (ИНС); или

- обучение искусственной нейронной сети (ИНС) для вероятностной классификации данных, представляющих видео человеческого эмбриона, для получения показателя жизнеспособности человеческого эмбриона.

В настоящей заявке представлена система, включающая по меньшей мере один процессор, выполненный с возможностью:

- генерации показателя жизнеспособности человеческого эмбриона путем вероятностной классификации данных, представляющих видео человеческого эмбриона, искусственной нейронной сетью (ИНС); или

- обучения искусственной нейронной сети (ИНС) для вероятностной классификации данных, представляющих видео человеческого эмбриона, для получения показателя жизнеспособности человеческого эмбриона.

Краткое описание чертежей

Некоторые варианты осуществления настоящего изобретения далее описаны только в качестве примера со ссылкой на прилагаемые чертежи, на которых:

на фиг. 1 показана общая структура примерной системы оценки жизнеспособности эмбрионов;

на фиг. 2 показана примерная архитектура трехмерной сверточной нейронной сети, используемой в одном примере;

на фиг. 3А и 3В показана примерная архитектура схемы трехмерной сверточной нейронной сети, использованной в другом примере;

на фиг. 4 показан один пример тепловой карты, создаваемой системой;

на фиг. 5А показан пример покадровых видеоданных;

на фиг. 5В показано применение 3D окна окклюзии и тепловых карт, генерированных для покадровых видеоданных;

на фиг. 6 показаны этапы способа/обработки для создания тепловой карты;

на фиг. 7 показаны этапы способа/обработки для оценки жизнеспособности эмбрионов;

на фиг. 8 показан пример компьютера для настройки модели глубокого обучения;

на фиг. 9 показано объединение нескольких нейронных сетей в соответствии с одним примером;

на фиг. 10 представлен график, показывающий эффективность модели глубокого обучения в соответствии с одним примером;

на фиг. 11 представлен график, показывающий примерную корреляцию между показателем жизнеспособности и фактическим исходом беременности;

на фиг. 12 приведен один из примеров программного интерфейса системы;

на фиг. 13 представлен схематический обзор одного примера реализации/обучения модели классификации для систем/способов;

на фиг. 14 показан еще один пример тепловой карты;

на фиг. 15 показана маркировка видеороликов от покадровой съемки, используемых для настройки модели глубокого обучения;

на фиг. 16 показано разделение полного набора данных на обучающий набор и набор для тестирования;

на фиг. 17А и 17В показан пример изображений в несколько разных моментов времени в покадровом видео эмбриона до и после предварительной обработки, соответственно;

на фиг. 18 показано разделение набора данных при объединении нескольких нейронных сетей; и

на фиг. 19 показан примерный интерфейс пользователя пакета программного обеспечения, который отображает показатель жизнеспособности.

Осуществление изобретения

Варианты осуществления настоящего изобретения обеспечивают систему обработки для оценки жизнеспособности эмбрионов. Система построена для приема видеоданных человеческого эмбриона и обработки полученных видеоданных для определения показателя жизнеспособности эмбриона. Видеоданные включают последовательность изображений в хронологическом порядке, поэтому их также называют «покадровыми видеоданными».

Следует понимать, что термин «эмбрион» предназначен для обозначения зиготы или оплодотворенной яйцеклетки, а также эмбриона, который из неё развивается.

Как правило, показатель жизнеспособности представляет собой или включает вероятность, обеспечивая прогноз вероятности успешной беременности для эмбриона после имплантации в матку. У эмбриона с более высоким показателем более высока вероятность появления жизнеспособного эмбриона или жизнеспособного человеческого плода.

Показатели жизнеспособности могут быть использованы для определения среди множества эмбрионов, инкубированных для пациентки, одного эмбриона, который будет перенесен в матку женщины. Например, эмбрион с более высоким показателем может быть выбран для имплантации в матку. Это позволит предотвратить риск антенатальных осложнений, связанных с многоплодной беременностью из-за переноса нескольких эмбрионов. Определение эмбриона с наибольшей вероятностью появления жизнеспособного эмбриона или жизнеспособного плода также уменьшает время до беременности, так как лучший эмбрион переносится первым, позволяя избежать неудачного переноса, который требует последующего переноса эмбриона.

В качестве альтернативы, когда необходимо перенести несколько эмбрионов (во время последующего цикла лечения с использованием замороженных эмбрионов), показатель жизнеспособности может быть использован для определения порядка, в котором эмбрионы будут переноситься в матку пациентки.

Некоторые существующие способы или системы оценки эмбрионов (например, система оценки бластоцист Гарднера и KIDScore) позволяют классифицировать эмбрион по ограниченному количеству баллов, например, балл от 1 до 5.

Напротив, настоящее изобретение обеспечивает более подробную классификацию путем оценки вероятности развития эмбриона в жизнеспособный эмбрион или жизнеспособный плод. Способы классификации, используемые в настоящем изобретении, также могут упоминаться как «способы вероятностной классификации». Эта вероятностная классификация обеспечивает значение вероятности, например, процент для каждого эмбриона, таким образом идентифицируя более тонкие различия между эмбрионами. Соответственно, даже эмбрионы с одинаковыми баллами в соответствии с существующими системами классификации могут быть ранжированы по показателю жизнеспособности. Это позволяет автоматически проводить ранжирование множества эмбрионов на основе их жизнеспособности и автоматически выбирать один эмбрион для переноса из множества эмбрионов на основе ранжирования.

Жизнеспособный эмбрион может быть определен как эмбрион, имеющий:

- биохимическую беременность, выявленную на основании анализа мочи или анализа крови (например, на β-ХГЧ); или

- клиническую беременность с жизнеспособным плодным яйцом или жизнеспособным желточным мешком, выявленным с помощью ультразвука в заранее определенное время (например, между 6 и 7 неделями) после переноса эмбрионов.

Жизнеспособный плод может быть определен как имеющий:

- жизнеспособное сердце плода, выявляемое на УЗИ матери в выбранный период времени (например, через 6 или более недель) после переноса эмбриона; или

- живорождение в конце беременности.

По сравнению с некоторыми известными параметрами качества эмбрионов, например, классом эмбрионов, определяемым субъективно эмбриологом с использованием существующих схем классификации, основанных на том, «как хорошо выглядит эмбрион», или потенциалом имплантации, который представляет вероятность того, что у матери будет положительный результат теста на беременность, проведенного после переноса эмбриона, применение результатов ультразвукового обнаружения сердца плода через 6 недель после переноса эмбриона обеспечивает более объективную и более надежную оценку жизнеспособности эмбриона.

Также следует понимать, что термин «система обработки» может относиться к любому электронному устройству или системе обработки, или вычислительному устройству или системе, или их комбинации (например, компьютерам, веб-серверам, смартфонам, ноутбукам, микроконтроллерам и т.д.). Система обработки также может быть распределенной системой. В целом, системы обработки/вычисления могут включать один или несколько процессоров (например, центральных процессоров, графических процессоров), компонент памяти и интерфейс ввода-вывода, соединенный по меньшей мере одной шиной. Они могут дополнительно включать устройства ввода/вывода (например, клавиатуру, дисплеи и т.д.). Также следует понимать, что системы обработки/вычисления обычно сконфигурированы для выполнения инструкций и обработки данных, хранящихся в памяти (то есть программируются с помощью программного обеспечения для выполнения операций над данными).

На фиг. 1 показана общая структура примерной системы 100 для оценки жизнеспособности эмбрионов. Система 100 является примером системы обработки.

Как показано, система 100 включает инкубатор 102 для содержания эмбриона 104 и поддержания условий окружающей среды, подходящих для жизни эмбриона 104. Инкубатор 102 включает датчик изображения 106 для сбора покадровых видеоданных эмбриона 104.

Покадровые видеоданные, снятые датчиком изображения 106, отправляются в процессор 108, который применяет модель глубокого обучения к покадровым видеоданным для определения показателя жизнеспособности для эмбриона 104.

Показатель жизнеспособности, определенный процессором 108, может впоследствии выводиться на дисплей 110 или другое подходящее выводное устройство для использования персоналом, таким как эмбриолог.

Понятно, что не требуется ручного извлечения признаков или аннотации видеоданных человеком, и что модель глубокого обучения представляет собой комплексную модель, получающую только исходные видеоданные для вывода показателя жизнеспособности.

Для определения показателя жизнеспособности модель глубокого обучения применяют к покадровым видеоданным. Модуль глубокого обучения включает по меньшей мере трехмерную (3D) искусственную нейронную сеть (ИНС), такую как трехмерная сверточная нейронная сеть (3D СНС).

3D СНС извлекает элементы как из пространственных, так и временных измерений, выполняя трехмерные свертки, тем самым фиксируя не только информацию, содержащуюся в каждом отдельном кадре изображения в видео, но также информацию о движении, содержащуюся в нескольких хронологически разделенных кадрах изображения, включая смежные кадры изображения.

Это отличается от анализа качества эмбриона путем применения модели машинного обучения только к статическим изображениям эмбриона, которая учитывает только информацию, содержащуюся в каждом статическом изображении.

Это также отличается от систем, в которых от людей требуется извлекать вручную такие характеристики, как морфологическая классификация, или осуществлять аннотацию точных сроков этапов развития. Такие системы могут применять машинное обучение, но только к этим извлеченным признакам и/или аннотациям, а также для прогнозирования только оценки эмбрионов. Соответственно, анализ покадрового видео эмбрионов с использованием таких систем может опираться на опыт эмбриолога, который вручную или полуавтоматически аннотирует признаки (например, морфологическую классификацию) или извлекает временные характеристики ключевых этапов развития. Этот процесс может быть трудоемким и неточным. Например, у каждой пациентки может быть до 30-20 эмбрионов за цикл лечения, и каждому эмбриону может потребоваться до 5 минут для полной аннотации. Соответственно, это не является масштабируемым решением для анализа большого количества покадровых видео эмбрионов. В отличие от этого, комплексный метод анализа покадрового видео эмбрионов с использованием 3D ИНС позволяет анализировать, например, 10 эмбрионов в секунду на обычном ноутбуке, что более эффективно, чем существующие методы, и, следовательно, может масштабировать трудоемкий видеоанализ эмбрионов.

Система, описанная в настоящем документе, извлекает не только внутрикадровые признаки, но также и межкадровые признаки из покадровых видеоданных, тем самым фиксируя как пространственные, так и временные признаки эмбриона. Таким образом, описанная система может обеспечить более полный и более точный анализ жизнеспособности эмбриона по сравнению с существующими способами.

Фиг. 2 иллюстрирует примерную архитектуру трехмерной СНС. В этом примере 3D СНС содержит ряд слоев свертки и объединения. Более конкретно, СНС включает повторное применение двух сверток 3x3x3 с последующей операцией объединения. Последний слой 3D СНС - это слой прогнозирования, который выводит оценку жизнеспособности.

Фиг. 3А и 3В иллюстрируют другую примерную архитектуру трехмерной СНС. В этом примере 3D СНС является существующей раздутой 3D СНС, созданной путем раздутия двумерных (2D) фильтров и ядер подвыборки 2D СНС в 3D, как описано в J. Carreira, A. Zisserman (2017), «Quo vadis, action recognition? a new model and the kinetics dataset», 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 4724 - 4733. Соответственно, фильтр N x N становится фильтром N x N x N после раздутия. Как показано на фиг. 3А, раздутая трехмерная СНС имеет множество слоев свертки и подвыборки и множество исходных модулей («Inc.»). Фиг. 3В иллюстрирует архитектуру исходного модуля.

Последний слой трехмерной СНС, показанный на фиг. 3А, является линейным классификационным слоем, который выводит оценку жизнеспособности эмбриона.

Как показано на фиг. 2 и фиг. 3А и 3В, обе примерные архитектуры 3D СНС используют 3D ядра свертки и ядра подвыборки, которые позволяют 3D СНС фиксировать пространственно-временные характеристики эмбриона из покадровых видеоданных.

Следует понимать, что видеоданные эмбриона могут быть получены из разновидности или форматов, таких как, например, последовательность неподвижных изображений в хронологическом порядке, или покадровый видеодокумент. В одном примере покадровые видеоданные представляют собой покадровый видеодокумент, включающий 720 покадровых фреймов изображения.

3D СНС обучают с использованием:

- видеоданных, представляющих множество последовательностей изображений множества человеческих эмбрионов; и

- данных о результатах беременности, которые указывают, привел ли каждый из множества человеческих эмбрионов к жизнеспособному эмбриону или жизнеспособному плоду.

Как описано выше, жизнеспособный эмбрион может быть определен как эмбрион, имеющий:

- биохимическую беременность, выявленную на основании анализа мочи или анализа крови (например, на β-ХГЧ); или

- клиническую беременность с жизнеспособным плодным яйцом или жизнеспособным желточным мешком, обнаруженным с помощью ультразвука в заранее определенное время (например, между 6 и 7 неделями) после переноса эмбрионов.

Жизнеспособный плод может быть определен как имеющий:

- жизнеспособное сердце плода, обнаруженное при УЗИ матери в выбранное время (например, 6 недель, 7 недель, 8 недель, 9 недель, 10 недель, 11 недель, 12 недель, 3 месяца, 4 месяца, 5 месяцев, 6 месяцев, 8 месяцев, 9 месяцев) после переноса эмбрионов; или

- живорождение в конце беременности.

Некоторые существующие способы оценки эмбрионов, основанные на машинном обучении, могут требовать предварительного анализа, чтобы вручную определить, какие характеристики эмбриона (например, симметрия бластомеров, внешний вид цитоплазмы и/или степень фрагментации) для извлечения и анализа, или аннотации человеком ключевых событий (например, нейроногенеза, скелетно-мышечного сомитогенеза и/или кардиогенеза сердца) в развитии эмбриона. Напротив, 3D СНС, описанная в настоящей заявке, может быть обучена и использована без ручного выбора или извлечения характеристик/особенностей эмбриона, или аннотации человеком ключевых событий развития. Другими словами, модель глубокого обучения, описанная в настоящей заявке, обеспечивает комплексный процесс оценки эмбрионов. Это может быть предпочтительным, поскольку медицинские работники в настоящее время не имеют полного понимания того, какие характеристики/признаки являются наиболее полезными характеристиками/признаками при оценке качества человеческого эмбриона. Таким образом, путем обеспечения комплексного процесса оценки эмбрионов, модель глубокого обучения, описанная в настоящей заявке, позволяет системе изучать и автоматически определять, какие характеристики/признаки следует использовать, и, таким образом, может предоставлять более точные результаты, чем существующие способы и системы оценки эмбрионов. Кроме того, предварительный анализ для извлечения таких характеристик, как симметрия, количество клеток, степень фрагментации и точное время ключевых событий, является субъективным и невоспроизводимым процессом, и он сильно варьирует между эмбриологами. Модель глубокого обучения, применяемая к этим данным, будет иметь то же слабое звено с точки зрения производительности.

3D СНС может быть обучена на одном или нескольких устройствах, отличных от процессора 108. Например, 3D СНС может быть обучена с использованием устройства, включающего один или несколько графических процессоров (GPU) и/или один или несколько центральных процессоров (CPU).

Возвращаясь к фиг. 1, в некоторых вариантах осуществления процессор 108 может предварительно обрабатывать покадровые видеоданные перед применением или настройкой модуля глубокого обучения.

Например, процессор 108 может стандартизировать принятые покадровые видеоданные, чтобы все видео охватывали предварительно определенный период времени.

Процессор 108 также может выполнять этап кадрирования, чтобы сохранить заранее определенные области в покадровых данных, например, области, которые включают эмбрион.

Процессор 108 может дополнительно регулировать контрастность изображений в покадровых видеоданных для повышения качества видео, например, путем применения контрастно-ограниченной адаптивной эквализации гистограммы (CLAHE).

Наконец, процессор может изменять размер изображений в покадровых видеоданных до предварительно определенного размера изображения.

В некоторых формах система 100 дополнительно сконфигурирована для создания визуального наложения для отображения по меньшей мере на некоторых изображениях из покадровых видеоданных. Визуальное наложение указывает на вклад частей изображений в показатель жизнеспособности.

В одном примере визуальное наложение представляет собой тепловую карту (также называемую картой вклада), пример которой показан на фиг. 4.

Тепловая карта может быть получена путем анализа изменения показателя жизнеспособности, выводимого моделью глубокого обучения, при окклюзии частей изображений покадровых видеоданных. Например, 3D окно окклюзии может быть применено к видео для окклюзии различных частей видео.

На фиг. 5А показан пример покадровых видеоданных перед добавлением тепловой карты. Фиг. 5B иллюстрирует применение 3D окна окклюзии и полученной тепловой карты.

Как показано на фиг. 5B, различные интенсивности или цвета могут быть использованы для представления уровней вклада в жизнеспособность эмбрионов каждой пространственно-временной области. Например, синий цвет может указывать на пространственно-временные области, которые имеют низкий уровень вклада в жизнеспособность эмбриона (такую область также можно назвать «неблагоприятной пространственно-временной областью»), тогда как красный цвет может указывать на пространственно-временные области, которые имеют высокий уровень вклада в жизнеспособность эмбриона (такую область можно также назвать «благоприятной пространственно-временной областью»).

Фиг. 6 иллюстрирует примерный поток обработки, выполняемый процессором 108 при формировании тепловой карты.

На этапе 610 процессор 108 использует модель 3D СНС для прогноза исходного показателя жизнеспособности на основе покадровых видеоданных.

На этапе 620 процессор 108 применяет 3D окно окклюзии к соответствующей 3D части видеоданных для окклюзии 3D области видеоданных черным пикселем.

На этапе 630 процессор 108 использует ту же модель 3D СНС для прогноза нового показателя жизнеспособности на основе покадрового видео с частичной окклюзией.

На этапе 640 процессор 108 определяет разницу между новой оценкой жизнеспособности и исходной оценкой жизнеспособности для текущего положения 3D окна окклюзии.

На этапе 650 процессор 108 определяет, было ли обработано все видео.

В противном случае, процессор 108 перемещает 3D окно окклюзии в следующую 3D область на этапе 660 и затем возвращается к этапу 620.

Если все видео было обработано, процессор 108 переходит к этапу 670, чтобы генерировать трехмерную тепловую карту, которая представляет степень вклада каждой пространственно-временной области в жизнеспособность эмбриона.

Наконец, на этапе 680 процессор 108 выводит генерированную трехмерную тепловую карту.

Полученная 3D тепловая карта может быть впоследствии отправлена на устройство отображения, такое как дисплей 110, где 3D тепловая карта может быть представлена человеческому персоналу, например, эмбриологу. Это позволяет эмбриологу просматривать и/или анализировать процесс принятия решения модели машинного обучения, а также изучать характеристики/признаки в видео эмбриона, используемом моделью машинного обучения, для оценки жизнеспособности эмбриона. Таким образом, тепловая карта может улучшить понимание медицинскими специалистами жизнеспособности эмбрионов и помочь в диагностике любого аномального поведения системы.

Также следует понимать, что процессор 108, как описано в настоящей заявке, может быть интегрирован в другие устройства и системы, такие как, например, инкубатор 102, используемый для хранения и/или развития эмбрионов до имплантации. Соответственно, инкубатор может включать систему обработки, такую как процессор 108, описанный в настоящей заявке. Альтернативно, процессор 108 может быть предусмотрен как устройство, отдельное от инкубатора 102, как показано на фиг. 1, например, в облачных серверах.

Кроме того, хотя в примере, показанном на фиг. 1, процессор 108 находится в режиме обмена данными с инкубатором 102 и принимает покадровые видеоданные, зафиксированные датчиком изображения 106, непосредственно из инкубатора 102, в некоторых вариантах осуществления покадровые видеоданные могут быть сохранены в хранилище данных или на сервере, к которому процессор 108 может впоследствии обращаться или считывать его.

В некоторых вариантах осуществления процессор 108 может быть соединен с возможностью связи с инкубатором 102 или хранилищем данных, которое хранит покадровые видеоданные, через одну или несколько проводных и/или беспроводных сетей. Определение жизнеспособности эмбриона может быть предоставлено в виде веб/облачного сервиса/приложения, то есть для доступа через Интернет.

Понятно, что помимо осуществления в качестве автономной системы или включения в качестве части другого устройства или системы (например, инкубатора), варианты осуществления настоящего изобретения могут включать способ, который должен выполняться компьютером (или другим подходящим электронным устройством обработки).

В таких формах варианты осуществления обеспечивают компьютеризированный способ оценки жизнеспособности человеческого эмбриона для имплантации. Как показано на фиг. 7, способ включает этапы:

- получения видеоданных эмбриона человека, включающих последовательность изображений эмбриона человека в хронологическом порядке (этап 710);

- применения по меньшей мере одной трехмерной (3D) искусственной нейронной сети к видеоданным для определения показателя жизнеспособности человеческого эмбриона, где показатель жизнеспособности представляет вероятность развития для человеческого эмбриона продолжающейся беременности (этап 720); и

- вывода показателя жизнеспособности (этап 730).

В некоторых вариантах осуществления способ может дополнительно включать:

- определение ранжирования множества человеческих эмбрионов на основе их показателей жизнеспособности, как показано на этапе 740 на фиг. 7.

В некоторых вариантах осуществления способ может дополнительно включать:

- выбор на основе ранжирования одного из множества человеческих эмбрионов для переноса единственного эмбриона или порядка, в котором должно быть перенесено несколько эмбрионов, как показано на этапе 750 на фиг. 7.

Выбранные эмбрионы могут быть впоследствии перенесены в матку пациентки.

Также в настоящей заявке обеспечена компьютерная программа, включающая инструкции, которые конфигурируют компьютер для выполнения способа, как описано в настоящей заявке, который может быть предоставлен на машиночитаемом носителе. В одном примере способ реализован на удаленном сервере (например, облачном сервере), доступ к которому осуществляется через сеть связи (например, Интернет).

Также в настоящей заявке обеспечен способ, включающий:

- генерацию показателя жизнеспособности для эмбриона человека путем вероятностной классификации данных, представляющих видео эмбриона человека с искусственной нейронной сетью (ИНС); или

- обучение искусственной нейронной сети (ИНС) для вероятностной классификации данных, представляющих видео человеческого эмбриона, для получения показателя жизнеспособности человеческого эмбриона.

Кроме того, в настоящей заявке обеспечена система, включающая по меньшей мере один процессор, сконфигурированный для:

- генерации показателя жизнеспособности человеческого эмбриона путем вероятностной классификации данных, представляющих видео человеческого эмбриона с искусственной нейронной сетью (ИНС); или

- обучения искусственной нейронной сети (ИНС) для вероятностной классификации данных, представляющих видео человеческого эмбриона, для получения показателя жизнеспособности человеческого эмбриона.

Описанные в настоящей заявке системы и способы обеспечивают несколько преимуществ по сравнению с традиционными способами оценки/прогнозирования жизнеспособности эмбрионов.

Например, при реализации системы/способа человеческая ошибка может быть уменьшена/устранена в процессе оценки качества эмбриона. Система объективна и не подвержена усталости, эмоциональным ошибкам или неопытности. Показатель жизнеспособности, приведенный для каждого эмбриона, также воспроизводим, и нет разницы между операторами или лабораториями.

Настройка описанной в настоящей заявке модели глубокого обучения не требует ручной маркировки/аннотации характеристик/признаков эмбриона. Система/способ, описанные в настоящей заявке, обеспечивают решение для комплексной оценки эмбрионов. Как описано выше, учитывая, что медицинские работники в настоящее время не имеют полного понимания характеристик/признаков, подходящих для оценки качества эмбриона, комплексный процесс может обеспечить более точные результаты, чем системы/способы, которые полагаются на ручной выбор/аннотацию характеристик/признаков эмбриона. Кроме того, этап аннотаций и извлечения признаков очень трудоемкий, обычно занимает от 5 до 10 минут на эмбрион. Каждый цикл обработки может включать до 50 эмбрионов.

Система/способ может интерпретировать покадровое видео намного быстрее, чем эмбриолог-человек. При реализации на типичном персональном компьютере система/способ позволяет интерпретировать около 10 эмбрионов в 1 секунду. Таким образом, они отлично масштабируются для массового внедрения. В некоторых примерах скорость может быть такой, чтобы обеспечить интерпретацию эмбрионов почти мгновенно по требованию, что делает планирование более гибким для пациентки.

Операционные затраты на внедрение системы/способа могут быть намного меньше, чем на высококвалифицированного эмбриолога. В результате лаборатории ЭКО могут направлять свои высокооплачиваемые человеческие ресурсы на другие аспекты ЭКО.

Кроме того, визуальное наложение, такое как тепловая карта, генерируемая с помощью окна окклюзии, позволяет эмбриологам учиться на модели машинного обучения. Используя тепловую карту, система/способ, описанные в настоящей заявке, позволяют расширить возможности эмбриологов и могут быть использованы в качестве инструмента для идентификации неизвестных маркеров жизнеспособности эмбрионов.

Пример 1

Программный инструмент/приложение для прогнозирования потенциальной беременности/жизнеспособности эмбрионов путем анализа покадрового видео из инкубаторов (например, Embryoscope®) было разработано для реализации в системе обработки/компьютера. Программное обеспечение реализовало модель глубокого обучения с сетями 3D СНС.

Для настройки модели глубокого обучения 3D СНС был использован обучающий набор покадровых видео эмбрионов с известными исходами беременности. Набор обучающих данных включал 903 покадровых видеоролика, 657 с отрицательными исходами беременности и 246 с положительными исходами беременности. Видео были рандомизированы в обучающий набор (75%) и тестовый набор (25%) для проверки после обучения.

Система обработки/компьютерная система включала персональный компьютер с четырьмя графическими процессорами (GPU) и 12 центральными процессорами (CPU), как показано на фиг. 8. Система охлаждалась двумя отдельными водяными контурами вместе с 12 высокопроизводительными вентиляторами для предотвращения перегрева.

Как показано на фиг. 9, модель глубокого обучения 3D СНС, использованная в этом примере, включала три отдельные нейронные сети. Чтобы определить показатель жизнеспособности, каждое покадровое видео эмбриона было независимо проанализировано каждой из трех нейронных сетей, и среднее значение их прогнозов было зарегистрировано как окончательный результат. Модель выдавала оценку вероятности (жизнеспособности) того, что данный эмбрион приведет к клинической беременности (0% -100%).

После процесса обучения модель оценила 180 эмбрионов из набора для тестирования. Как показано на фиг. 10, модель глубокого обучения достигла площади под кривой (AUC) 0,78, превосходя людей, проводивших оценку (AUC = 0,55 - 0,75). При пороге отсечения 20% модель имела чувствительность 95%, специфичность 43%, положительное отношение правдоподобия 1,65 и отрицательное отношение правдоподобия 0,13.

Выданный показатель жизнеспособности также хорошо коррелировал с фактическим уровнем беременности. На фиг. 11 показан коэффициент беременности для эмбрионов по сравнению с показателем жизнеспособности, полученным для этих эмбрионов. Показано, что модель может четко различать эмбрионы с высоким потенциалом беременности и низким потенциалом беременности. Кроме того, прогнозируемая вероятность беременности была очень схожа с фактическим уровнем беременности.

Программный инструмент позволил пользователю наложить тепловую карту (как показано на фиг. 4), которая высвечивала момент времени (т.е. при развитии эмбриона), а также местоположение в пространстве (т.е. часть видеоизображения), которые вносили максимальный вклад в прогноз, представленный моделью. Тепловая карта обеспечила для эмбриологов понимание процесса принятия решения моделью. Эта тепловая карта вместе с показателем жизнеспособности может быть частью истории лечения пациентки.

В этом конкретном примере входным форматом было любое покадровое видео (например, файл .avi), экспортированное из программного обеспечения EmbryoScope®, включая эмбрионы от ICSI (интрацитоплазматического введения спермы) или ЭКО. Понятно, что видео могут иметь разные начальные времена в цикле развития эмбриона (например, стадия бластоцисты D5-D6, стадия дробления D2-3).

Множество эмбрионов/видео может быть оценено одновременно. В таких случаях программное обеспечение/система ранжируют эмбрионы в соответствии с их оценкой жизнеспособности, и эмбрион с наивысшей оценкой будет рекомендован для переноса единственного эмбриона. В примере, показанном на фиг. 12, «Эмбрион 1» был рекомендованным эмбрионом. Затем оставшиеся эмбрионы могут быть заморожены, а затем перенесены в порядке убывания показателя жизнеспособности, чтобы дать пациентке наибольшие шансы на успешный исход беременности. Кроме того, в каждой клинике ЭКО может быть определен определенный порог отсечения, и любой эмбрион, получивший балл ниже этого порога, может считаться «нежизнеспособным» и не будет учитываться для замораживания или переноса эмбриона.

В этом примере программный инструмент/приложение работало в операционной системе Linux. Понятно, что другие версии могут быть легко созданы для работы в других операционных системах. Понятно, что программное обеспечение/система может быть развернуто как веб/облачный сервис/приложение, то есть для доступа через Интернет. Понятно, что модель можно улучшить, добавив больше данных в учебный процесс. На фиг. 13 показан обзор одного из примеров обучения, реализации и переподготовки модели глубокого обучения.

Пример 2

Программный инструмент/приложение для прогнозирования потенциальной беременности/жизнеспособности эмбрионов путем анализа покадрового видео из инкубаторов (например, Embryoscope® или EmbryoScope+®) было разработано для реализации в системе обработки/компьютерной системе. Программное обеспечение реализовало модель глубокого обучения, включающую 3D СНС, как показано на фиг. 3A и 3B.

Сбор данных

Покадровые видеоролики эмбрионов, экспортированные из коммерческих инкубаторов с покадровой съемкой, таких как EmbryoScope® или EmbryoScope+®, были собраны в лаборатории ЭКО и использованы для настройки модели глубокого обучения.

Результат для каждого эмбриона был получен из системы управления пациентами и использовался для маркировки этих покадровых видео с использованием схемы, показанной на фиг. 15.

В частности, эмбрионы, которые были перенесены пациентке и привели к выявлению сердца плода, обнаруживаемого на антенатальном ультразвуковом исследовании через 6 недель после переноса эмбриона, были обозначены как «1» для положительного результата. Эмбрионы, которые были либо отбракованы эмбриологом, либо не привели к появлению сердца плода, были помечены как «0» как отрицательные. Все эмбрионы с неизвестным или неопределенным исходом не были использованы для обучения.

Разделение данных

Покадровые видеоролики эмбрионов, экспортированные из коммерческих инкубаторов с покадровой съемкой, таких как EmbryoScope® или EmbryoScope+®, были собраны в лаборатории ЭКО и использованы для настройки модели глубокого обучения.

В общей сложности полный набор данных включал 1281 покадровых видео.

Как показано на фиг. 16, полный набор данных был случайным образом разделен на обучающий набор (80%) и тестовый набор (20%). Нейронную сеть обучали только на обучающем наборе. После завершения обучения модель была протестирована на тестовом наборе для получения метрик характеристик производительности.

Обучающий набор включал 1025 покадровых видеороликов, 789 с отрицательными исходами беременности и 236 с положительными исходами беременности. Тестовый набор включал 256 покадровых видео, 197 с отрицательными исходами беременности и 59 с положительными исходами беременности.

Подготовка данных для обучения

Покадровые видео в обучающем наборе данных были предварительно обработаны перед использованием для настройки модели глубокого обучения. Во-первых, покадровые видеоролики были стандартизированы по времени, чтобы обеспечить охват всех видео с эмбрионами в течение 5 дней. Затем для каждого видео была применена функция круговой обрезки, чтобы центрировать эмбрион и блокировать нежелательные области, позволяя нейронной сети сфокусировать свое обучение на эмбрионе. Затем для улучшения качества изображения ко всем изображениям в видео с эмбрионами была применена контрастно-ограниченная адаптивная эквализация гистограммы (CLAHE). Наконец, все видео эмбрионов были изменены до фиксированной формы 128x128x128x1 (128 кадров 128x128 пикселей и 1 канал черного и белого).

На фиг. 17А и 17В показан пример изображений в слегка отличающиеся моменты времени в покадровом видео с эмбрионом до и после предварительной обработки, соответственно.

Приращение данных

Чтобы увеличить размер исходного набора данных, к каждому покадровому видео случайным образом применяли различные преобразования для создания новых видео, которые визуально отличались от исходного видео. Это позволяет нейронной сети лучше обобщать невидимые примеры, тем самым дополнительно улучшая производительность нейронной сети.

Эти способы приращения включали:

- случайное вращение на 360 градусов;

- случайный горизонтальный и вертикальный переворот;

- произвольное изменение масштаба видео (1,2x - 0,8x);

- произвольную регулировку скорости воспроизведения (1,2x - 0,8x);

- размытие по Гауссу для имитации эффекта не в фокусе; и

- случайное затемнение частей видео.

На каждом этапе процесса обучения из набора данных случайным образом выбирали партию видео, и к этой партии применяли случайный набор операций приращения, чтобы создать слегка отличающийся набор видео для обучения. Этот процесс повторяли, чтобы весь набор данных был пройден несколько раз.

Настройка модели глубокого обучения

В этом примере использовали трехмерную модель глубокого обучения СНС, показанную на фиг. 3А и 3В.

Трёхмерная СНС была обучена с набором покадровых видеоданных с использованием метода стохастического градиента. Функция потерь, использованная для обучения, была категоричной кросс-энтропией. СНС была обучена с использованием скорости обучения 0,00001 и импульса 0,9 для 102 400 шагов. Затем скорость обучения была снижена до 0,000001, и сеть прошла обучение еще на 102 400 шагов.

Обучение проводили с использованием персонального компьютера с четырьмя графическими процессорами (GPU), такими как NVIDIA 1080 Ti, 6-ядерными центральными процессорами (CPU), такими как Intel i7-6850K, и оперативной памятью 64 ГБ.

Ансамблевые модели

В этом примере несколько трехмерных СНС были объединены для дальнейшего улучшения производительности СНС.

Методом выбора ансамбля была 5-кратная перекрестная проверка и сбор моделей. Как показано на фиг. 18, полный набор данных был разделен на пять равных частей. Одна из этих частей была впоследствии удержана для тестирования, а модель была обучена с использованием других 4 частей. Конечными результатами были 5 уникальных нейронных сетей, которые были обучены на слегка отличающихся наборах данных и имели различные отклонения. При прогнозировании нового эмбриона все 5 нейронных сетей использовались для независимой оценки эмбриона, и их оценки были усреднены для получения окончательного результата. Это привело к унифицированной модели, которая была более надежной, чем любая отдельная модель.

Программное обеспечение для развертывания

Был разработан программный пакет для применения нейронной сети к новым покадровым видео. Программное обеспечение было сконфигурировано для приема видеофайла с покадровой последовательностью и вывода показателя жизнеспособности (который также может называться «EB.Score» («балл для эмбриона»)) для каждого эмбриона. Показатель жизнеспособности представлял вероятность того, что данный эмбрион приведет к выявлению сердца плода при ультразвуковом исследовании через 6 недель после переноса этого эмбриона.

Специалист-эмбриолог мог впоследствии принять решение о лучшем эмбрионе для переноса на основе показателя жизнеспособности.

На фиг. 19 показан примерный интерфейс пользователя пакета программного обеспечения, который отображает показатель жизнеспособности (в процентном виде), генерированный для ряда эмбрионов. Пакет программного обеспечения может быть развернут на подходящем компьютерном устройстве, таком как ноутбук, используемый в лабораториях ЭКО. Как показано, зеленый столбец (или светло-серый) представляет эмбрион с самым высоким показателем жизнеспособности (38,92%), синие столбцы (или темно-серые) представляют эмбрионы с приемлемыми показателями жизнеспособности, а белые столбцы представляют эмбрионы с низкими баллами жизнеспособности (т.е. нежизнеспособные эмбрионы).

Альтернативно, способ может быть реализован любым другим подходящим вычислительным устройством или предоставлен в виде веб/облачного сервера, к которому можно получить доступ через сеть, такую как Интернет.

Также следует понимать, что модель глубокого обучения может быть улучшена путем добавления большего количества данных в процесс обучения. Другими словами, модель глубокого обучения является моделью самосовершенствования и самонастройки. Производительность и надежность модели могут быть улучшены с течением времени путем переобучения СНС, в то время как модель глубокого обучения получает доступ к большему количеству эмбрионов.

Генерация тепловой карты

Чтобы обеспечить визуальное представление того, какие области видео привели к значительному изменению в выданном показателе жизнеспособности, тепловые карты были генерированы путем последовательной окклюзии частей видео и повторения процесса оценки.

Тепловая карта, генерированная для видео эмбриона, указала области видео, на которых СНС уделяла пристальное внимание при принятии окончательного решения.

На фиг. 14 показаны примеры генерируемой тепловой карты, в которой синие области (в центральной области четвертого и пятого изображения слева) представляют области, которые имеют низкий уровень вклада в жизнеспособность эмбрионов (такая область также может упоминается как «неблагоприятная область»), в то время как красные области (в центральной области ячейки шестого и седьмого изображений слева) представляют области, которые имеют высокий уровень вклада в жизнеспособность эмбриона (такая область также может упоминаться в качестве «благоприятной области»).

Тепловая карта позволила нейронной сети обмениваться информацией о процессе принятия решений понятным для человека способом, тем самым улучшая взаимодействие между нейронной сетью и специалистами-эмбриологами.

Интерпретация

Ссылка в настоящем описании на любую предыдущую публикацию (или информацию, полученную из нее), или на любой известный вопрос, не является и не должна рассматриваться как подтверждение или допущение, или любая форма предложения о том, что эта предыдущая публикация (или информация, полученная из неё) или известная материя являются частью общих знаний в области деятельности, к которой относится данное описание.

Многие модификации будут очевидны для специалистов в данной области техники, не выходя за пределы объема настоящего изобретения.

Claims (91)

1. Способ оценки жизнеспособности человеческого эмбриона, содержащий этапы, на которых:

принимают видеоданные человеческого эмбриона, причем видеоданные представляют последовательность изображений человеческого эмбриона в хронологическом порядке;

применяют по меньшей мере одну трехмерную (3D) искусственную нейронную сеть (ИНС) к видеоданным для определения показателя жизнеспособности для человеческого эмбриона, представляющего вероятность того, что человеческий эмбрион даст жизнеспособный эмбрион или жизнеспособный плод; и

выводят показатель жизнеспособности;

при этом трехмерная искусственная нейронная сеть включает трехмерную сверточную нейронную сеть (СНС), и

3D СНС включает в себя слои свертки, каждый из которых использует 3D ядро свертки, и слои подвыборки, каждый из которых использует 3D ядро подвыборки.

2. Способ по п. 1, в котором показатель жизнеспособности представляет вероятность того, что перенос человеческого эмбриона даст жизнеспособный плод.

3. Способ по п. 1, в котором показатель жизнеспособности представляет вероятность того, что перенос человеческого эмбриона даст одно или более из следующего:

жизнеспособное сердце плода, обнаруженное в течение заданного периода времени после переноса эмбриона;

биохимическая беременность, выявленная на основании анализа мочи или анализа крови;

жизнеспособное плодное яйцо или жизнеспособный желточный мешок, обнаруженные с помощью ультразвука в заданное время после переноса эмбриона; и

живорождение в конце беременности.

4. Способ по любому из пп. 1-3, в котором 3D ИНС обучают с использованием:

видеоданных, представляющих последовательности изображений человеческих эмбрионов; и

данных о результатах беременности, которые указывают, дал ли каждый из указанных человеческих эмбрионов жизнеспособный эмбрион или жизнеспособный плод.

5. Способ по п. 4, в котором обучение 3D ИНС выполняют без выбора или извлечения признаков вручную или аннотации человеком ключевых событий развития.

6. Способ по любому из пп. 1-5, дополнительно содержащий один или более из этапов, на которых:

стандартизируют принятые видеоданные так, чтобы все видео охватывали заданный период времени;

обрезают видеоданные для сохранения заданных областей данных;

регулируют контрастность изображений в видеоданных; и

изменяют размер изображений в видеоданных до заданного размера изображения.

7. Способ по любому из пп. 1-6, дополнительно содержащий этапы, на которых:

обрабатывают видеоданные путем добавления визуального наложения по меньшей мере к некоторым изображениям видеоданных, причем визуальное наложение указывает на вклады соответствующих частей изображений в показатель жизнеспособности; и

выводят изображения с визуальными наложениями.

8. Способ по п. 7, в котором визуальное наложение является тепловой картой.

9. Способ по п. 7 или 8, в котором визуальное наложение генерируется посредством:

определения изменений выходных данных показателя жизнеспособности в результате окклюзии частей изображений или последовательности изображений в видеоданных.

10. Способ по п. 9, в котором окклюзия частей изображений в видеоданных включает в себя применение трехмерного окна окклюзии к видеоданным.

11. Способ по любому из пп. 1-10, дополнительно содержащий этап, на котором:

определяют ранжирование человеческих эмбрионов на основе их показателей жизнеспособности.

12. Способ по п. 11, дополнительно содержащий этап, на котором:

выбирают на основе ранжирования один из указанных человеческих эмбрионов для переноса единственного эмбриона или порядок, в котором следует переносить несколько эмбрионов.

13. Система оценки жизнеспособности человеческого эмбриона, включающая в себя по меньшей мере один процессор, выполненный с возможностью:

приема видеоданных человеческого эмбриона, включающих в себя последовательность изображений человеческого эмбриона в хронологическом порядке;

применения по меньшей мере одной трехмерной (3D) искусственной нейронной сети к видеоданным для определения показателя жизнеспособности человеческого эмбриона, причем показатель жизнеспособности представляет вероятность того, что человеческий эмбрион даст жизнеспособный эмбрион или жизнеспособный плод; и

вывода показателя жизнеспособности,

при этом трехмерная искусственная нейронная сеть включает в себя трехмерную сверточную нейронную сеть (СНС), и

3D СНС включает в себя слои свертки, каждый из которых использует 3D ядро свертки, и слои подвыборки, каждый из которых использует 3D ядро подвыборки.

14. Система по п. 13, в которой показатель жизнеспособности представляет вероятность того, что перенос человеческого эмбриона даст жизнеспособный плод.

15. Система по п. 13, в которой показатель жизнеспособности представляет вероятность того, что перенос человеческого эмбриона даст одно или более из следующего:

жизнеспособное сердце плода, выявленное в течение заданного периода времени после переноса эмбриона;

биохимическая беременность, выявленная на основании анализа мочи или анализа крови;

жизнеспособное плодное яйцо или жизнеспособный желточный мешок, обнаруженный с помощью ультразвука в заданное время после переноса эмбрионов; и

живорождение в конце беременности;

16. Система по любому из пп. 13-15, в которой 3D ИНС обучается с использованием:

видеоданных, представляющих последовательности изображений человеческих эмбрионов; и

данных о результатах беременности, которые указывают, дал ли каждый из указанных человеческих эмбрионов жизнеспособный эмбрион или жизнеспособный плод.

17. Система по п. 16, в которой обучение 3D ИНС выполняется без выбора или извлечения признаков вручную или без аннотации человеком ключевых событий развития.

18. Система по любому из пп. 13-17, в которой указанный по меньшей мере один процессор дополнительно выполнен с возможностью выполнения одного или более из следующих этапов:

стандартизации принятых видеоданных так, чтобы все видео охватывали заданный период времени;

обрезки видеоданных для сохранения заданных областей данных;

настройки контрастности изображений в видеоданных; и

изменения размера изображений в видеоданных до заданного размера изображения.

19. Система по любому из пп. 13-18, в которой указанный по меньшей мере один процессор дополнительно выполнен с возможностью:

обработки видеоданных путем добавления визуального наложения по меньшей мере к некоторым изображениям видеоданных, при этом визуальное наложение указывает на вклады соответствующих частей изображений в показатель жизнеспособности; и

вывода изображений с визуальными наложениями.

20. Система по любому из пп. 13-19, в которой визуальное наложение является тепловой картой.

21. Система по п. 19 или 20, в которой визуальное наложение генерируется посредством определения изменений выходных данных показателя жизнеспособности в результате окклюзии частей изображений или последовательности изображений в видеоданных.

22. Система по п. 21, в которой окклюзия частей изображений в видеоданных включает в себя применение трехмерного окна окклюзии к видеоданным.

23. Система по любому из пп. 13-22, в которой указанный по меньшей мере один процессор дополнительно выполнен с возможностью:

определения ранжирования человеческих эмбрионов на основе их показателей жизнеспособности.

24. Система по п. 23, в которой указанный по меньшей мере один процессор дополнительно выполнен с возможностью:

выбора на основе ранжирования одного из указанных человеческих эмбрионов для переноса единственного эмбриона.

25. Система по любому из пп. 13-24, содержащая:

датчик изображения для фиксации видеоданных человеческого эмбриона;

при этом процессор выполнен с возможностью приема зафиксированных видеоданных от датчика изображения.

26. Система по любому из пп. 13-25, включающая в себя инкубатор с покадровой съемкой.

27. Способ оценки жизнеспособности человеческого эмбриона, содержащий этапы, на которых:

генерируют показатель жизнеспособности для человеческого эмбриона путем вероятностной классификации данных, представляющих видео человеческого эмбриона, при помощи трехмерной (3D) искусственной нейронной сети (ИНС),

при этом трехмерная искусственная нейронная сеть включает в себя трехмерную сверточную нейронную сеть (СНС), и

3D СНС включает в себя слои свертки, каждый из которых использует 3D ядро свертки, и слои подвыборки, каждый из которых использует 3D ядро подвыборки; или

обучают трехмерную (3D) искусственную нейронную сеть (ИНС) для вероятностной классификации данных, представляющих видео человеческого эмбриона, для получения показателя жизнеспособности человеческого эмбриона,

при этом трехмерная искусственная нейронная сеть включает в себя трехмерную сверточную нейронную сеть (СНС), и

3D СНС включает в себя слои свертки, каждый из которых использует 3D ядро свертки, и слои подвыборки, каждый из которых использует 3D ядро подвыборки.

28. Способ по п. 27, в котором показатель жизнеспособности представляет вероятность того, что человеческий эмбрион даст жизнеспособный эмбрион или жизнеспособный плод.

29. Способ по п. 27 или 28, в котором видео представляет человеческий эмбрион в инкубаторе, при необходимости в течение предварительно выбранного периода времени; и/или видео включает в себя последовательность изображений, при необходимости покадровые изображения.

30. Способ по любому из пп. 27-29, в котором ИНС обучают с использованием:

данных, представляющих видео человеческих эмбрионов; и

данных, показывающих, дали ли человеческие эмбрионы соответствующие жизнеспособные эмбрионы или жизнеспособные плоды.

31. Система оценки жизнеспособности человеческого эмбриона, содержащая по меньшей мере один процессор, выполненный с возможностью:

генерирования показателя жизнеспособности человеческого эмбриона путем вероятностной классификации данных, представляющих видео человеческого эмбриона, при помощи трехмерной (3D) искусственной нейронной сети (ИНС),

при этом при этом трехмерная искусственная нейронная сеть включает в себя трехмерную сверточную нейронную сеть (СНС), и

3D СНС включает в себя слои свертки, каждый из которых использует 3D ядро свертки, и слои подвыборки, каждый из которых использует 3D ядро подвыборки; или

обучения трехмерной (3D) искусственной нейронной сети (ИНС) для вероятностной классификации данных, представляющих видео человеческого эмбриона, для получения показателя жизнеспособности человеческого эмбриона,

при этом трехмерная искусственная нейронная сеть включает в себя трехмерную сверточную нейронную сеть (СНС), и

3D СНС включает в себя слои свертки, каждый из которых использует 3D ядро свертки, и слои подвыборки, каждый из которых использует 3D ядро подвыборки.

32. Система по п. 31, в которой показатель жизнеспособности представляет вероятность того, что человеческий эмбрион даст жизнеспособный эмбрион или жизнеспособный плод.

33. Система по п. 31 или 32, в которой видео представляет человеческий эмбрион в инкубаторе, при необходимости в течение предварительно выбранного периода времени; и/или видео включает в себя последовательность изображений, при необходимости покадровые изображения.

34. Система по любому из пп. 31-33, в которой ИНС обучается с использованием:

данных, представляющих видео человеческих эмбрионов; и

данных, показывающих, дали ли человеческие эмбрионы соответствующие жизнеспособные эмбрионы или жизнеспособные плоды.