Claims (38)
1. Система для обучения генеративно-состязательной сети с использованием изображений, включающих представления интересующей особенности, содержащая1. A system for training a generative adversarial network using images that include representations of a feature of interest, containing
по меньшей мере один блок памяти, выполненный с возможностью хранения инструкций; и at least one memory block configured to store instructions; and
по меньшей мере один процессор, выполненный с возможностью выполнения инструкций для выполнения операций, включающихat least one processor configured to execute instructions to perform operations including
предоставление первого множества изображений, которые содержат представления интересующей особенности и индикаторы местоположения интересующей особенности в изображениях первого множества изображений;providing a first set of images that contain representations of the feature of interest and indicators of the location of the feature of interest in the images of the first set of images;
использование первого множества изображений и индикаторов интересующей особенности, обучение сети обнаружения объектов обнаружению интересующей особенности, необязательно, когда сеть обнаружения объектов является сверточной нейронной сетью;using the first set of images and indicators of the feature of interest, training the object detection network to detect the feature of interest, optionally when the object detection network is a convolutional neural network;
предоставление второго множества изображений, которые включают в себя представления интересующей особенности, причем второе множество изображений содержит большее количество изображений, чем то, которое включено в первое множество изображений;providing a second set of images that include representations of the feature of interest, the second set of images containing more images than that included in the first set of images;
задействование сети обнаружения обученных объектов ко второму множеству изображений, чтобы произвести первое множество обнаружений интересующей особенности;applying the trained object detection network to the second set of images to produce the first set of detections of the feature of interest;
обеспечение ручной установки проверок истинно положительных срабатываний и ложно положительных срабатываний по отношению к первому множеству обнаружений;providing for manual setting of true positive and false positive checks against the first set of detections;
использование проверки истинно положительных и ложно положительных срабатываний по отношению к первому множеству обнаружений, обучение генеративно-состязательной сети; иusing true positive and false positive tests against the first set of detections, training a generative adversarial network; and
переобучение генеративно-состязательной сети, используя по меньшей мере один дополнительный набор изображений и обнаружений интересующей особенности, вместе с дополнительной установкой вручную проверок истинно положительных и ложно положительных срабатываний в отношении дальнейших обнаружений интересующей особенности.retraining the generative adversarial network using at least one additional set of images and feature-of-interest detections, along with additional manual setting of true positive and false positive checks against further feature-of-interest detections.
2. Система по п. 1, отличающаяся тем, что по меньшей мере один процессор дополнительно выполнен с возможностью для переобучения генеративно-состязательной сети путем обеспечения проверки ложноотрицательных результатов для пропущенных обнаружений интересующего объекта на двух или более изображениях.2. The system of claim 1, wherein the at least one processor is further configured to retrain the generative adversarial network by providing a false negative test for missed detections of an object of interest in two or more images.
3. Система по любому из предшествующих пунктов, отличающаяся тем, что количество изображений во втором множестве изображений по меньшей мере в 100 раз больше, чем количество изображений в первом множестве изображений.3. The system according to any of the preceding claims, characterized in that the number of images in the second set of images is at least 100 times greater than the number of images in the first set of images.
4. Система по любому из предшествующих пунктов, отличающаяся тем, что первое множество изображений и второе множество изображений содержат медицинские изображения, а медицинские изображения необязательно представляют собой изображения желудочно-кишечного тракта.4. A system according to any one of the preceding claims, wherein the first set of images and the second set of images comprise medical images, and the medical images are optionally images of the gastrointestinal tract.
5. Система по любому из предшествующих пунктов, отличающаяся тем, что по меньшей мере одно из первого множества изображений и второго множествa изображений содержат изображения с устройства формирования изображений, используемого во время выполнения по меньшей мере одной из операций: гастроскопия, колоноскопия, энтероскопия или эндоскопия верхнего отдела желудочно-кишечного тракта, необязательно включая устройство для эндоскопии.5. The system according to any of the preceding claims, characterized in that at least one of the first set of images and the second set of images contain images from the imaging device used during at least one of the operations: gastroscopy, colonoscopy, enteroscopy or endoscopy upper gastrointestinal tract, optionally including an endoscopy device.
6. Система по любому из предшествующих пунктов, отличающаяся тем, что интересующая особенность представляет собой аномалию, при этом аномалия необязательно включает изменение человеческой ткани от одного типа клетки к другому типу клеток, отсутствие человеческой ткани в определенном месте, где она предполагается, и/или образование, находящееся в пределах человеческой ткани или вне ее.6. The system according to any one of the preceding claims, wherein the feature of interest is an anomaly, wherein the anomaly does not necessarily include a change in human tissue from one cell type to another cell type, the absence of human tissue at a particular location where it is suspected, and/or a formation located within or outside human tissue.
7. Система по п. 6, отличающаяся тем, что аномалия представляет собой поражение, необязательно включающее полиповидное поражение или неполиповидное поражение.7. The system of claim. 6, wherein the anomaly is a lesion, optionally including a polypoid lesion or a non-polypoid lesion.
8. Способ обучения нейросетевой системы обнаружению аномалий на изображениях человеческого органа, включающий следующие этапы, выполняемые по меньшей мере одним процессором8. A method for training a neural network system to detect anomalies in images of a human organ, including the following steps performed by at least one processor
сохранение в базе данных множества видео, включая изображения аномалий;storing in the database a plurality of videos, including images of anomalies;
выбор первого подмножества из множества видео;selecting a first subset from the plurality of videos;
задействование ветви восприятия сети обнаружения объектов к кадрам первого поднабора множества видео для создания первого множества обнаружений аномалий;applying a perceptual branch of the object detection network to frames of the first subset of the plurality of videos to generate a first plurality of anomaly detections;
выбор второго подмножества из множества видео;selecting a second subset of the plurality of videos;
использование первого множества обнаружений и кадров из второго подмножества множества видео, обучение генеративной сети для генерации множества искусственных представлений полипов, при этом множество искусственных представлений генерируется посредством остаточного обучения, и при этом сеть генератора необязательно содержит генеративно-состязательную сеть;using a first set of detections and frames from a second subset of the set of videos, training a generative network to generate a set of artificial representations of polyps, wherein the set of artificial representations is generated by residual learning, and the generator network optionally comprises a generative adversarial network;
обучение состязательной ветви дискриминаторной сети для различения искусственных представлений аномалий и истинных представлений аномалий, причем дискриминаторная сеть необязательно представляет собой сверточную нейронную сеть;training an adversarial branch of the discriminator network to distinguish between artificial representations of anomalies and true representations of anomalies, wherein the discriminator network is optionally a convolutional neural network;
задействование состязательной ветви дискриминаторной сети к множеству искусственных представлений для создания индикаторов различия между искусственными представлениями аномалий и истинными представлениями аномалий, содержащимися в кадрах второго поднабора множества видео;applying an adversarial branch of the discriminator network to the plurality of artificial representations to create indicators of difference between the artificial anomaly representations and the true anomaly representations contained in the frames of the second subset of the plurality of videos;
задействование ветви восприятия дискриминаторной сети к искусственным представлениям для получения второго множества обнаружений аномалий; иengaging the perceptual branch of the discriminator network to artificial representations to obtain a second set of anomaly detections; and
переобучение ветви восприятия на основе индикаторов различия и второго множества обнаружений.retraining of the perceptual branch based on the difference indicators and the second set of detections.
9. Способ по п. 8, отличающийся тем, что аномалия представляет собой изменение в человеческой ткани от одного типа клеток к другому типу клеток, отсутствие человеческой ткани в месте, где она предполагается, и/или наличие образования в области человеческой ткани или вне этой области.9. The method according to claim 8, characterized in that the anomaly is a change in human tissue from one cell type to another cell type, the absence of human tissue in the place where it is supposed to be, and / or the presence of a formation in or outside the area of human tissue areas.
10. Способ по п. 9, отличающийся тем, что аномалия представляет собой поражение, необязательно включающее полиповидное поражение или неполиповидное поражение.10. The method of claim 9, wherein the anomaly is a lesion, optionally including a polypoid lesion or a non-polypoid lesion.
11. Способ по любому из пп. 8-10, отличающийся тем, что каждое искусственное представление обеспечивает ложное представление аномалии, которое очень похоже на истинное представление аномалии.11. The method according to any one of paragraphs. 8-10, characterized in that each artificial representation provides a false representation of the anomaly that is very similar to the true representation of the anomaly.
12. Система для обнаружения аномалии в изображениях человеческого органа, содержащая12. A system for detecting anomalies in images of a human organ, comprising
по меньшей мере, одну инструкцию хранения в памяти; иat least one memory storage instruction; and
по меньшей мере, один процессор, выполненный с возможностью выполнения инструкций для отработки операций, содержащихat least one processor configured to execute instructions for processing operations comprising
выборка кадров из видео человеческого органа;selection of frames from a video of a human organ;
задействование обученной системы нейронной сети к кадрам для выполнения по меньшей мере одного обнаружение аномалии;applying the trained neural network system to the frames to perform at least one anomaly detection;
генерирование индикатора местоположения по меньшей мере одного обнаружения на одном из кадров;generating a location indicator of at least one detection on one of the frames;
перекодирование кадров в видео; иtranscoding frames to video; and
вывод перекодированного видео с индикатором,output of transcoded video with indicator,
при этом система нейронной сети обучается в соответствии со способом по любому из пп. 8-11.while the neural network system is trained in accordance with the method according to any one of paragraphs. 8-11.