RU2409855C2 - Идентификация и классификация вирусных частиц на текстурированных электронных микрофотографиях - Google Patents

Идентификация и классификация вирусных частиц на текстурированных электронных микрофотографиях Download PDF

Info

Publication number
RU2409855C2
RU2409855C2 RU2008113161/08A RU2008113161A RU2409855C2 RU 2409855 C2 RU2409855 C2 RU 2409855C2 RU 2008113161/08 A RU2008113161/08 A RU 2008113161/08A RU 2008113161 A RU2008113161 A RU 2008113161A RU 2409855 C2 RU2409855 C2 RU 2409855C2
Authority
RU
Russia
Prior art keywords
structures
image
new structure
method further
shape
Prior art date
Application number
RU2008113161/08A
Other languages
English (en)
Other versions
RU2008113161A (ru
Inventor
Мохаммед ХОММАН (SE)
Мохаммед ХОММАН
Мартин РУНЕР (SE)
Мартин РУНЕР
Original Assignee
Интеллигент Вирус Имагинг Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Интеллигент Вирус Имагинг Инк. filed Critical Интеллигент Вирус Имагинг Инк.
Publication of RU2008113161A publication Critical patent/RU2008113161A/ru
Application granted granted Critical
Publication of RU2409855C2 publication Critical patent/RU2409855C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

Изобретение относится к способу идентификации и определения характеристик структур на электронных микрофотографиях. Техническим результатом является повышение качества идентификации и сокращение времени анализа вирусных частиц с помощью электронного микроскопа. Способ включает: отбор структур на первом изображении, при этом структуры имеют первый тип формы, деформированный в первом направлении; преобразование отобранных структур во второй тип формы, отличающийся от первого типа формы; использование преобразованных структур второго типа формы для формирования эталонных изображений; идентификация новой структуры на втором изображении; при этом новая структура имеет первый тип формы; деформирование структуры со вторым типом формы на каждом эталонном изображении в первом направлении; определение какое из эталонных изображений является предпочтительным эталонным изображением, которое наилучшим образом соответствует новой структуре; и деформирование ряда эталонных изображений, чтобы они приобрели форму новой структуры, имеющей эллиптическую форму, и исследование каждого деформированного эталонного изображения с целью проверки того, что предпочтительное эталонное изображение наиболее точно соответствует новой структуре эллиптической формы на втором изображении. 9 з.п. ф-лы, 10 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Данное изобретение относится к идентификации структур на изображениях. В частности, в данном изобретении предлагается способ и схема идентификации и классификации вирусных частиц на текстурированных электронных микрофотографиях.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
Упорядочение структуры вируса представляет собой сложный процесс и является предметом интенсивного изучения. Вирусы используют клетку-хозяина, чтобы создавать свои вторичные вирусные частицы, подвергаясь сложному процессу созревания и внутриклеточного переноса. Этот процесс можно наблюдать при высоком увеличении с использованием электронного микроскопа, что позволяет визуально дифференцировать различные типы вирусных частиц в различных клеточных компартментах. К важным вопросам, еще требующим решения, относятся идентификация протеинов вирусов, которые участвуют на каждом шаге процесса упорядочения структуры вируса, а также механизм, лежащий в основе внутриклеточной транслокации и локализации различных типов вирусных частиц во время созревания вируса. К структурным аспектам созревания вируса в общем случае трудно подойти, хотя такие методы визуализации, как томография и низкотемпературные электронные микроскопы, внесли огромный вклад в обширную информацию о структурах вирусов. Данные методы дают информацию о стабильных и часто зрелых вирусных частицах. Имеются генетические инструменты, чтобы создать мутанты основных компонентов белка вируса, и структурные эффекты можно наблюдать с помощью электронного микроскопа (ЭМ). Однако отсутствуют необходимые инструменты для характеристики структурных эффектов, в особенности промежуточных и неясных форм частиц, и для их правильного и объективного количественного описания. Инструменты для анализа изображений, предназначенные, чтобы характеризовать и количественно описывать вирусную частицу, ее созревание и внутриклеточный перенос, могли бы облегчить объективное изучение различных состояний упорядочения структуры вируса с использованием электронного микроскопа. Получается большое количество информации, но ее необходимо структурировать и статистически обработать, чтобы оценить эффект и сделать выводы.
Краткое изложение сущности данного изобретения
Определение характеристик структурной морфологии вирусных частиц на электронных микрофотографиях является сложной задачей, которую желательно решить в связи с изучением процесса созревания и определения изменений в морфологии вирусных частиц в ответ на эффект мутации или применение противовирусных лекарственных препаратов. С этой целью была разработана процедура для описания и классификации форм вирусных частиц на электронных микрофотографиях, основанная на определении инвариантных характеристик проекции данной вирусной структуры. Эталонное изображение для вирусной частицы создается на основе информации, полученной из небольшого обучающего набора электронных микрофотографий, а затем используется для классификации и количественного описания аналогичных представляющих интерес структур на неограниченном количестве электронных микрофотографий благодаря процессу корреляции. Используя анализ линейных деформаций, возможно с помощью описанного здесь нового алгоритма оперировать изменениями вирусных частиц, такими как эллиптичность, и, кроме того, оценивать такие свойства, как размер и ориентация вирусной частицы. Практическое применение этого способа демонстрируется возможностью определять положение трех различных классов вирусных частиц на просвечивающих электронных микрофотографиях фибробластов, инфицированных цитомегаловирусом человека.
Резюмируя, можно сказать, что данный способ предназначен для идентификации и определения характеристик на электронных микрофотографиях. Выбираются структуры на первом изображении. Эти структуры имеют первый тип формы, деформированный в первом направлении. Выбранные структуры трансформируются во второй тип формы, отличный от первого типа формы. Трансформированные структуры второго типа формы используются для создания ряда эталонных изображений. Идентифицируется новая структура на втором изображении. Эта новая структура имеет первый тип формы. Структура второго типа формы каждого эталонного изображения деформируется в первом направлении. Определяется, какое из эталонных изображений является предпочтительным эталоном, который наилучшим образом соответствует новой структуре.
Краткое описание чертежей
На Фиг.1А и 1В показаны типичные изображения просвечивающих электронных микрофотографий развивающегося вируса герпеса;
на Фиг.2А показаны пустые нуклеокапсиды вируса герпеса;
на Фиг.2В показаны нуклеокапсиды вируса герпеса с полупрозрачным ядром;
на Фиг.2С показаны нуклеокапсиды вируса герпеса, содержащие упакованную ДНК;
на Фиг.3А показана вирусная частица, имеющая эллиптическую форму;
на Фиг.3В показана вирусная частица, которая была деформированна таким образом, что стала круглой;
на Фиг.4А-С показаны функции-критерии для структур капсид вирусов (А, В и С) на электронных микрофотографиях, не использующие уменьшение числа коэффициентов (None) или использующие 80% коэффициентов, имеющих наименьший разброс (VAR);
на Фиг.5А показано соответствие функции-критерия А аутентичной структуре капсида и аналогичной, но ложной структуре;
на Фиг.5В показано соответствие функции-критерия В аутентичной структуре капсида и аналогичной, но ложной структуре;
на Фиг.6 показано соответствие функции-критерия А внутри везикулы;
на Фиг.7А-С показаны ложные положительные (FPR) и ложные отрицательные отношения (FNR) для различных функций-критериев А, В и С соответственно;
на Фиг.8 показаны положительные функции вероятности (PPFs) для функций-критериев А, В и С соответственно;
на Фиг.9 показано сравнение действительного полного количества вирусных структур, присутствующих в наборе контрольных изображений (ось X), как они были выявлены вирусологом, и количества частиц, идентифицированных с помощью нашей процедуры (ось Y); и
на Фиг.10 показано автоматическое выполнение карты, которая идентифицирует представляющие интерес участки на электронной микрофотографии, приведенной здесь в качестве иллюстрации для функции-критерия С.
Подробное описание
Здесь описывается разработка автоматизированной системы, которая помогает идентифицировать вирусные частицы на электронной микрофотографии. В качестве модели использовались фибробласты, зараженные цитомегаловирусом человека (HCMV), вирусом герпеса класса β. Следует понимать, что вирус герпеса использовался только в качестве иллюстрированного примера, и изобретение не ограничивается вирусом герпеса. Во время инфицирования цитомегаловирусом человека образуется много различных промежуточных форм вирусных частиц. Во время упорядочения структуры вируса герпеса клетка хозяин вынуждена производить копии генетического материала вируса и создавать капсиды, оболочки из белков вируса, которые окружают и защищают генетический материал. Капсиды представляют собой сферические структуры, которые могут изменяться в отношении размера и симметрии и могут в зрелом состоянии быть окруженными двухслойной мембраной. Созревание капсидов вируса представляет собой важный этап в образовании вирусной частицы, и оно часто является объектом изучения. Однако их внешний вид на электронных микрофотографиях значительно изменяется, что делает анализ сложной задачей. Уникальной характеристикой вируса герпеса является тегумент, слой белков вируса, который окружает капсид до окончательного заключения в оболочку. Оболочка создается путем почкования заключенных в тегумент капсидов в секреторные пузырьки в цитоплазме. После этого идентифицирующие вирусные частицы покидают клетку-хозяина путем слияния этих содержащих вирус пузырьков с плазмой мембраны.
Была разработана объективная процедура классификации и количественного описания вирусных частиц на подобных просвечивающих электронных микрофотографиях. В родственных видах анализа изображений, полученных с помощью низкотемпературного электронного микроскопа, значительно больше усилий было направлено на исследование различных способов идентификации. На низкотемпературных микрофотографиях были успешно использованы взаимная корреляция с использованием множества эталонных изображений и способы обнаружения края.
Специальные подходы, позволяющие характеризовать и количественно описывать вирусные частицы и их внутриклеточную транслокацию, облегчают объективные исследования этих явлений с использованием электронного микроскопа. Однако изображения, полученные с помощью электронного микроскопа, трудно анализировать и описывать объективным образом, вследствие их сильно текстурированного фона. Кроме того, отдельные вирусные частицы демонстрируют большое разнообразие форм в зависимости от их проекции на электронной микрофотографии, процедуры, используемой для приготовления образцов для исследования с помощью электронного микроскопа, и юстировок, используемых при фотографировании. Типичные изображения 100, 102, полученные с помощью электронного микроскопа и дающие ценную информацию, представлены на Фиг.1А и 1В соответственно.
В данном изобретении определенный метод применялся для анализа капсидов цитомегаловируса человека в ядре инфицированных клеток, которые находятся на определенных стадиях созревания, таких как пустые капсиды 104 (названная А), капсиды с полупрозрачным ядром 106 (названная В) и капсиды, содержащие упакованную ДНК 108 (названная С), что наилучшим образом показано на Фиг.2А-С.
Этот способ и схема согласно данному изобретению иллюстрируются на примере с вирусными частицами. Его следует рассматривать как неограничивающий пример. Другие типы частиц, включая, например, биологические объекты, подобные клеткам или клеточным структурам, а также неорганические частицы и структуры, могут быть идентифицированы и характеризованы при минимальных модификациях описанного способа и схемы.
Способ согласно данному изобретению содержит шаг получения изображения. Электронная микрофотография может быть получена с помощью электронного микроскопа в виде файлов или картинок, которые нужно сканировать. Для использования на последующих шагах данного способа предпочтительно получить и хранить информацию о размере пикселей, разрешении и увеличении для каждой микрофотографии.
На шаге предварительной обработки отбираются соответствующие частицы, и их внешний вид из возможно деформированного трансформируется в окружность.
На шаге формирования эталонных изображений отобранные и трансформированные частицы используются для формирования эталонного изображения, которое можно охарактеризовать функцией-критерием.
На шаге установления соответствия эталонное изображение, или функция-критерий, используется для идентификации частиц на последующих изображениях. Эти шаги данного способа будут описаны ниже и пояснены на примерах.
Аппаратура для идентификации и классификации согласно данному изобретению может основываться на универсальном ПК с достаточной вычислительной мощностью. Аппаратура для идентификации и классификации содержит интерфейс для приема микрофотографий, средства предварительной обработки для преобразования деформированных изображений, средства для формирования эталонных изображений, или извлечения функций-критериев, и средств для выполнения процедуры установления соответствия. В типичном и предпочтительном случае эти шаги осуществляются программными модулями.
Клеточные культуры, такие как легочные фибробласты эмбриона человека (HF), выдерживались в не содержащей бикарбонатов минимальной основной среде с солями Хенка (Hank's salts) (GIBCO BRL), дополненной 25 мМ HEPES [4-(2 гидроксиэтил)-1-пиперазин этансульфоновая кислота], 10% инактивированной теплом эмбриональной сывороткой теленка, L-глютамином (2 мМ), пенициллином (100 U/мл) и стрептомицином (100 мг/мл) (GIBCO BRL, Гранд Айлэнд, Нью-Йорк, США). Клетки выращивались в колбах с тканевой культурой площадью 175 см2 (Корнинг, Нью-Йорк, США), максимально за 17 переносов.
На шаге заражения вирусом легочные фибробласты человека (HF) инфицировались штаммом AD169 цитомегаловируса человека (HCMV) с использованием множественности инфицирования (MOI), равной 1. Содержащая вирус надосадочная жидкость собиралась спустя 7 или 10 дней после инфицирования, очищалась от остатков клеток путем центрифугирования на малой скорости и замораживалась при -70°С до момента ее использования для инокуляции.
Для того чтобы изучить с помощью электронного микроскопа инфицированные вирусом клетки, неинфицированные клетки и клетки, инфицированные цитомегаловирусом человека, собирались на 1, 3, 5 и 7 дни после инфицирования и закреплялись в 2% глютаральдегиде в 0,1М буфера из какодилата натрия, содержащего 0,1 М сахарозы и 3 мМ СаСl2, с рН=7,4 при комнатной температуре в течение 30 минут. Затем эти клетки соскабливались при помощи деревянной палочки и переносились в пробирку Эппендорфа для дальнейшего закрепления в течение всей ночи при 4°С. После этой процедуры клетки промывались в буферном растворе 0,15 М какодилата натрия, содержащем 3 мМ СаСl2, при рН=7,4 и гранулировались путем центрифугирования. Затем эти гранулы вторично фиксировались в 2% тетроксиде осмия, растворенного в 0,07 М буферного раствора какодилата натрия, содержащего 1,5 мМ СаСl3, с рН=7,4 при 4°С в течение 2 часов, дегидратировались последовательно в этаноле и ацетоне и заделывались в LX-112 (Ледд, Берлингтон, Вермонт, США). Контраст на препаратах достигался посредством уранилацетата с последующим использованием цитрата свинца, а исследование проводилось на просвечивающем электронном микроскопе Philips 420 или Tecnai 10 (Компания FEI, Орегон, США) при 80 кВ.
Затем следовали получение изображения, его дискретизация и анализ. Электронные микрофотографии инфицированных цитомегаловирусом человека легочных фибробластом человека оцифровывались с использованием 8-битовой шкалы серого при разрешении 5,5 нм/пиксель в HP Scanjet 3970. Реализация осуществлялась при помощи программного обеспечения Matlab 7.0.1 (The Vathworks Inc., Нентик, Миннесота, США) и Sun Java 1.4.2 на ПК Dell Optiplex GX260. Данный анализ включал удобный в использовании графический интерфейс и автоматический выбор описанных ниже параметров для быстрого и удобного использования.
Были разработаны удобные для использования и надежные инструменты для изучения внутриклеточного упорядочения структуры вируса. Подход был основан на нахождении компактного множества точек на R2, поле микрофотографии, для каждой из которых точка имела соответствующее значение функции. Это множество точек и их значения функции вместе можно назвать функцией-критерием, или эталонным изображением, и описать последовательностью {(хk, ck)}k, в которой х представляет собой точку, а с - значение функции. Предпочтительно, чтобы функция-критерий образовывалась таким образом, чтобы последовательность значения функции коррелировала со значениями на шкале серого для соответствующих точек. Согласно этому определенное множество вирусных частиц одного типа требуется для того, чтобы обучить и сконструировать последовательность и создать эталонное изображение для данной конкретной структуры частиц. Такое рассеянное представление позволяет легко деформировать и подгонять эталонное изображение к отдельным вирусным частицам, форма которых на микрофотографии является более-менее эллиптической.
На шаге деформации и предварительной обработки положения субструктур внутри одного типа вирусных частиц изменяются на различных изображениях. Например, вирусные частицы деформируются иногда таким образом, что оказываются в различных эллиптических формах. Для того чтобы создать функцию-критерий, использовались линейные векторные пространства, для чего необходимо, чтобы анализируемые положения векторного пространства были относительно стабильными. Линейное однородное преобразование было выбрано для того, чтобы аппроксимировать деформации, поскольку оно охватывает большую часть наиболее значительных деформаций, наблюдаемых на микрофотографиях. Затраты на вычисления в данных расчетах очень невысоки, и это упрощает установление границ. Данный подход часто требует использования четырехмерного оператора преобразований, т.е. матрицы 2×2. Фигурирующие здесь переменные могут быть выражены как вращение структуры до деформации (φR), первоначальная радиальная деформация (
Figure 00000001
), величина деформации, порождающей эллиптическую структуру (d) и вращение, следующее за деформацией (φD). Вместе они образуют приведенное ниже преобразование:
Figure 00000002
Для того чтобы идентифицировать переменные этого преобразования для отдельной вирусной частицы, установленный вручную эллипс использовался для оценки положения, размера и деформации каждой стенки капсида, что лучше всего показано на Фиг.3А и 3В. Изображение 110 (названное А) имеет эллиптическую форму, в то время как изображение 112 (названное В) было деформировано, как описывалось, чтобы приблизить его форму к круглой. Это дает три (φD,
Figure 00000001
и d) из четырех переменных. Затем образец частично преобразовывался, чтобы получить первичный радиус, измеренный без деформации (d=1), как показано на Фиг.3В.
Не зависящие от вращения характеристики, такие как многоугольное строение стенки капсида и положение ядра ДНК, могут быть определены значением φR для каждого образца. Для того чтобы найти это значение, каждый частично преобразованный образец может быть нормализован около своего среднего значения внутри круга, покрывающего визуально значимую область изображений 114а, 116а и 118а, как показано в левом столбце на Фиг.4 А-С. Затем сумма квадратов расстояний в смысле L2 для каждого образца может быть минимизирована относительно углов. Поскольку эта минимизация содержит N-1 переменных, где N - количество эталонных образцов при одном закрепленном образце, данную процедуру можно упростить, минимизируя расстояние до образцов, уже обработанных по одному. Все преобразования изображений могут быть осуществлены билинейным образом, и тем самым можно выразить приближенное значение функции f в точке (х,y), как:
Figure 00000003
где
Figure 00000004
- ближайшее меньшее целое значение х,
Figure 00000005
- ближайшее большее целое значение х; а
Figure 00000006
. Интегрирование можно выполнить с использованием такой же интерполяции. Измерения, полученные на этом шаге обработки, дают указания на диапазон свойств деформации, т.е. основной радиус (первичный радиус) и степень деформации, но эти параметры следует определять на основе дополнительного опыта. Поскольку все типы вращения и все направления деформации вирусной структуры, по предположению, присутствуют на электронной микрофотографии, предпочтительно, чтобы эти переменные не были фиксированными.
Точки и локальные значения функции (параметры) для эталонных изображений вирусных частиц могут быть в этом случае идентифицированы. Как только деформированные образцы будут совмещены с частичной структурой в тех же положениях, данный подход можно применить для нахождения значений инвариантной функции. Для того чтобы более понятно описать эту процедуру, деформированный образец f можно преобразовать в график этой функции путем подсчета (перечисляются отдельно) положений пикселей х и соответствующих им значений функции с в виде f={(xk, ck)}k.
Степень совпадения между двумя последовательностями значений функции yi и yj (в дальнейшем называемыми векторами), содержащими одинаковые последовательности положений пикселей, устанавливалось с использованием стандартной расчетной статистической корреляции:
Figure 00000007
в котором
Figure 00000008
- среднее значение вектора, и соответствие всех коэффициентов [-1,1] наносится на диаграмму. Логическим обоснованием использования данного подхода является то, что он показывает степень линейного подобия между этими двумя структурами. После размещения в столбцы матрицы векторов образцов, нормализованных вокруг своего среднего
Figure 00000009
, определяется последовательность функции-критерия fc(||fc||=1), которая делает максимально возможной величину ||АТfc||, обеспечивая тем самым наилучшее соответствие образцам, используемым для обучения.
Разложение по сингулярным значениям (РСЗ) может быть описано следующим образом:
||АTfc||=||VΣUT||=(V - квадратная и ортонормальная) = ||ΣUTfc||=||Σw||
и оно применяется к А, где ||w||=1, если fc Є span(U), что следует ожидать. Последнее выражение достигает максимума, когда w представляет собой собственный вектор, соответствующий наибольшему собственному значению Σ (которая является наибольшим сингулярным значением), а fc, таким образом, должна быть соответствующим столбцом U. Поскольку эта функция является линейной комбинацией столбцов в А, соответствие (ур.2а) приводится к виду
Figure 00000010
Функция-критерий в этом исходном разложении (РСЗ) использует коэффициенты всех точек, связанных с первой принятой опорой. Некоторые из этих точек расположены немного за пределами вирусных структур на изображениях, и, кроме того, на этих структурах имеются точки, коэффициенты которых могут значительно изменяться. Таким образом, для того чтобы расположить в порядке возрастания значимости каждый коэффициент и тем самым исключить наибольшую дисперсию, значение
Figure 00000011
рассчитывалось для каждого коэффициента. Затем некоторый процент этих точек можно сохранить в функции-критерии. Поскольку эти операции изменяются на основе функции-критерия, последовательно вычислялось новое разложение (РСЗ).
На Фиг.4А-С изображены функции-критерии, полученные с использованием всех коэффициентов или только тех 80% изменяющихся коэффициентов, которые, как было установлено, показали наименьшую дисперсию в соответствии с расположением дисперсий в порядке возрастания. Очевидно, что размер ядра ДНК изменяется в функции-критерии для капсида С, и, следовательно, самые неопределенные точки были исключены в правых изображениях 114в, 116в, и 118в. Согласно вышесказанному, функции-критерии, полученные путем уменьшения количества коэффициентов описанным образом, использовались согласно обычной процедуре.
В этом случае деформации могут быть синтезированы. Поскольку предполагалось, что анализируемые структуры являются одновременно ориентированными в любом направлении и линейно деформированными в любом направлении, эти характеристики должны быть автоматически применены к функции-критерию при анализе изображения. Информация, полученная из поведения функции соответствия при деформации функции-критерия, также представляет определенный интерес, и она также использовалась в подобной ситуации. При сохранении фиксированными изображения В и функции-критерия fc и изменении деформации Т анализ функции соответствия g(T)=M(fc,{B(Txk)}k), где последовательность {xk}k получается при выполнении произведения функций-критериев. Для того чтобы описать Т в терминах параметров
Figure 00000012
, были сделаны следующие допущения:
(i) Для некоторых Т Є Tbound деформированная функция-критерий представляет собой структуру, наиболее похожую на объект на изображении. Предполагается, что в данном случае Т максимизирует g.
(ii) Т, связанные с максимальной деформацией, должны быть расположены в пределах внутренней части множества деформаций, а не на границе. При этих условиях, даже если g достигает максимального значения за пределами множества (т.е. структура является слишком большой, слишком маленькой или слишком сильно деформированной), совпадение с ближайшими точками границы все еще может быть значительным.
Для того чтобы считаться идентифицированной, структура должна соответствовать этим критериям. Максимизация функции соответствия была выполнена по обратной схеме наиболее крутого понижения, с использованием недеформированной функции-критерия в качестве отправной точки и аппроксимируя производную как восьмиточечную центрированную разностную схему (т.е. две точки для каждой переменной в деформации).
Применение используемых критериев соответствия показано на Фиг.5 и 6. На Фиг.5А показано, как работают эти критерии, когда они применяются к аутентичному капсиду А, а также похожей, но ложной структуре. На изображении 120 (названном А) показан аутентичный капсид. Когда функция-критерий деформируется, график показывает, как изменяется функция соответствия g в зависимости от радиального размера (
Figure 00000013
) и степени деформации (d) от точки из множества допустимых деформаций, которая максимизирует g. Деформированная функция-критерий имеет вид, подобный виду функции для образца, и деформация находится внутри границ. Таким образом, классификация должна быть положительной. На изображении 122 (названном В) на Фиг.5 В, в отличии от изображения А, точка из множества деформаций, которая максимизирует g, расположена на границе, и графики показывают более высокое значение совпадения за пределами этого множества. Таким образом, классификация должна быть отрицательной. В этом случае границы деформации были установлены равными:
Figure 00000014
c иллюстративными целями.
Капсиды вирусов выходят из ядра внутри почкования через мембрану этой органеллы. В связи с этим процессом становится сложно различать вирусные и другие структуры, как показано на изображениях 126а и 126в на Фиг.6. Структуры, отмеченные голубым крестиком, отвечают критериям соответствия (i) и (ii), а помеченные красным кружком, отвечают только критерию (i). На Фиг.6 голубым крестиком отмечена точка на изображении, в которой совпадение между функцией-критерием и структурой капсида составляет более 0,8, и степень деформации является приемлемой. Красным крестиком отмечена точка, в которой это совпадение составляет более 0,8, но степень деформации в ней не является допустимой. Структура, отмеченная как совпадающая, имеет совпадение, равное 0,94, которое является очень высоким.
Структура вирусной частицы на электронной микрофотографии может быть в этом случае идентифицирована. Для того чтобы осуществить поиск структур на изображении (В), подобных функции-критерию fc, уравнение 2в преобразуется в свертку. Совпадение функции-критерия в точке (m) можно, таким образом, выразить как
Figure 00000015
Однако данная процедура требует значительного времени. Ее можно ускорить, сделав некоторые наблюдения и допущения:
(i) Деформированные варианты функций-критериев не являются ортогональными друг другу, и поскольку эти структуры являются по существу независимыми от вращения, совпадение недеформированной функции-критерия с любой допустимой деформированной структурой того же вида больше, чем совпадение некоторой величины.
(ii) Поскольку параллельный перенос еще больше деформирует структуру, предполагается, что совпадение с недеформированной функцией-критерием будет выше в действительном расположении вирусной частицы, чем в местах, удаленных по крайней мере на один диаметр функции-критерия от этого положения.
Используя эти критерии, можно идентифицировать подмножество потенциально интересных точек внутри большего изображения. После этого можно выполнить дальнейший анализ этого множества с использованием оптимизации, описанной в предыдущем разделе. Данный подход позволяет получить окончательное множество точек на изображении, которые связаны со значениями совпадения P={Mj}j. Для того чтобы быть уверенными, что включены все интересующие положения на изображении, пороговое значение, связанное с указанным выше допущением (i), было установлено равным 0,5.
При постобработке окончательного множества подсчитываются вирусные частицы. Не существует пороговое значение (t), с помощью которого можно отличать аутентичные структуры от ложных на всех изображениях, т.е. определение структур с использованием данной процедуры не полностью совпадает с определением, осуществляемым опытным вирусологом. Следовательно, установление порогового уровня не является произвольным. Вместо этого можно использовать положительную вероятностную функцию
PPF:[-1,1]→[0,1],
чтобы определить вероятность того, что заданная точка, связанная с некоторым значением совпадения, на самом деле связана с вирусной частицей. Это обобщение положительного прогнозируемого значения (PPV) получается путем вычисления отношения между количеством правильно идентифицированных структур и общим количеством структур, идентифицированных с некоторым значением совпадения. Таким образом, для множества (Р) структур, идентифицированных согласно данной процедуре, содержащего множество Pcorrect точек, связанных с вирусными частицами определенного вида,
Figure 00000016
Для того чтобы получить гладкую и монотонную возрастающую функцию, в качестве значения ε было выбрано 0,05. Функция вероятности, указывающая на ожидаемое количество (N) структур на изображении, имеет вид
Figure 00000017
Точность определения ложного отрицательного отношения/ ложного положительного отношения (FNR/FPR) согласно данному способу может быть описана следующим образом. Для того чтобы организовать вирусные частицы, видимые на электронных микрофотографиях в соответствии с их стадией созревания, для отображения каждой конкретной стадии требуется модель, подобная описанной здесь. Кроме того, чтобы эта модель была полезна для обнаружения и квантования вирусных частиц на таких изображениях, она также должна быть в состоянии отбросить ложные структуры. Таким образом, идеальная модель должна обнаруживать все возможные изображения вирусных частиц различных видов, но ничего кроме них, в том же пространстве, т.е. на заднем плане. Для того чтобы охарактеризовать нашу модель в этом отношении, использовались обычно ложные отрицательные (FNR) и ложные положительного (FPR) отношения. FNR определяется как отношение между количеством аутентичных вирусных частиц, ошибочно отброшенных данным способом, и действительным количеством аутентичных частиц; а FPR представляет собой отношение между количеством ложных структур, идентифицированных в качестве аутентичных, и общим количеством структур, рассматриваемых аутентичными, согласно данному подходу. Таким образом, оба отношения находятся в диапазоне от 0 до 1, причем в идеальном случае они равны 0.
Для того чтобы определить количество вирусных частиц на основании информации, полученной из множества значений совпадения, полученных путем поиска по всему изображению, возможно использовать описанную выше положительную вероятностную функцию PPF. Ожидаемое количество идентифицированных частиц сравнивалось с истинным количеством частиц, присутствующих на изображении, с целью получить среднее и стандартное отклонение ошибки расчета. Кроме того, для того чтобы оценить, имелась ли систематическая средняя разность, т.е. идентифицирует ли данная процедура в среднем слишком много или слишком мало частиц, проверялась гипотеза Н0 о том, что "средняя разность = 0".
Стандартизация и проверка осуществлялись на отдельных комплектах изображений, 2 - для обучения и 12 - для проверки. Количество образцов, используемых для стандартизации, равнялось 4, 7 и 10 для функций-критериев А, В и С соответственно. Контрольные изображения содержали в общем 53 капсида А, 239 капсида В и 83 капсида С, а границы деформации устанавливались следующим образом
Figure 00000018
Ложное отрицательное отношение (FNR) и ложное положительное отношение (FPR) могут быть описаны следующим образом. Данный способ оценивался путем сравнения наших результатов с результатами опытных вирусологов. FPR и FNR вычислялись как функция порогового значения для меры совпадения, как лучше всего показано на графиках 128, 130 и 132 на Фиг.7А-С соответственно. FNR определяется как отношение между количеством аутентичных структур, ошибочно отброшенных процедурой, использующей определенное пороговое значение для меры совпадения, и действительным количеством присутствующих вирусных частиц, выявленных вирусологом. Аналогично, FPR представляет собой отношение между количеством ложных структур, идентифицированных как аутентичные, и общим количеством структур, рассматриваемых как аутентичные, согласно данной процедуре. Для сравнения с другими способами пересечение этих кривых произошло при значении 0,25 для функции-критерия А, 0,13 для функции-критерия В и 0,23 функции-критерия С.
Квантование структур на электронной микрофотографии может быть описано, как показано ниже. Значения PPF 134, вычисленные по представленным выше результатам, показаны на Фиг.8. На графике изображена относительная частота вирусных частиц, правильно идентифицированных согласно данной процедуре при определенном значении совпадения. Для сравнения, идеальный способ, обеспечивающий полное разделение между истинными и ложными структурами, даст ступенчатую функцию Хевисайда при некотором пороговом значении.
График 136 разброса общего количества вирусных частиц, идентифицированных в качестве присутствующих на комплекте контрольных изображений посредством нашей процедуры, по сравнению с правильным количеством, определенным вирусологом, показан на Фиг.9 вместе с функцией тождественности. Линией на этом графике изображена функция тождественности. Средняя разность составляет 0,16, а стандартное отклонение 5,63. Уровень значимости, нулевой гипотезы Н0, т.е. "Средняя разность = 0", составляет 0,92. Очевидно, что имеется значительное подобие между этими двумя величинами (средняя разность = 0,16, стандартное отклонение 5,63), что в идеальном случае даст точки на функции тождественности. Тот факт, что уровень значимости Н0 был 0,92, согласно критерию Стьюдента, имелась значительная вероятность того, что отсутствовала систематическая разность между этими двумя подходами в среднем. Результаты показывают, что быстрый отбор общего количества вирусных структур, находящихся на различных стадиях созревания, на значительном множестве электронных микрофотографий, задача, которая в другом случае была бы трудоемкой для эксперта и требовала значительного времени, может быть выполнен быстро и надежно при помощи нашей автоматизированной процедуры.
На основе множества положений на изображении 138, в которых расположены представляющие интерес структуры, можно создать карту, как показано на Фиг.10. Это существенно облегчает ручной подсчет этих структур, а также предоставляет основу для ручного анализа. Вместо того чтобы просто подсчитывать и сравнивать структуры на необработанном изображении, вирусолог благодаря наличию такой карты, получает значительную помощь в решении этой задачи. Различные структуры сортируются слева на право в порядке убывания величин совпадения, начиная с левой стороны в верхнем ряду.
При исследовании процесса упорядочения структуры вируса информация, относящаяся к топологии структур, связанной со стадией созревания, обычно недоступна или нечетко определена. Следовательно, необходимы инструменты для сортировки классификации вирусных частиц, находящихся на различных стадиях созревания. Как только будут получены несколько отправных точек путем классификации множества очевидных структур, их можно использовать для расширения множества классифицированных структур путем идентификации подобных структур, используя функцию соответствия. Данный проход позволяет выполнить карту созревания вируса по электронным микрофотографиям быстро, надежно и удобно для описания.
Хотя данное изобретение было описано в соответствии с предпочтительными составами и вариантами выполнений, следует понимать, что можно произвести в них некоторые замены и изменения, не выходя за пределы сущности и объема следующих пунктов патентных притязаний.

Claims (10)

1. Способ идентификации и определения характеристик структур на электронных микрофотографиях, включающий:
отбор структур на первом изображении (110), при этом структуры имеют первый тип формы, деформированный в первом направлении;
преобразование отобранных структур во второй тип формы, отличающийся от первого типа формы;
использование преобразованных структур второго типа формы для формирования эталонных изображений;
идентификация новой структуры на втором изображении (112); при этом новая структура имеет первый тип формы;
деформирование структуры со вторым типом формы на каждом эталонном изображении в первом направлении;
определение какое из эталонных изображений является предпочтительным эталонным изображением, которое наилучшим образом соответствует новой структуре; и
деформирование ряда эталонных изображений, чтобы они приобрели форму новой структуры, имеющей эллиптическую форму, и исследование каждого деформированного эталонного изображения с целью проверки того, что предпочтительное эталонное изображение наиболее точно соответствует новой структуре эллиптической формы на втором изображении.
2. Способ по п.1, в котором способ, кроме того, включает механическое деформирование вирусной частицы (110) эллиптической формы или, по существу, круглой формы.
3. Способ по п.2, в котором способ, кроме того, включает выражение вращения вирусной частицы (110), предшествующее деформированию вирусной частицы.
4. Способ по п.3, в котором способ, кроме того, включает выражение вращения вирусной частицы (110), следующее за деформированием вирусной частицы.
5. Способ по п.1, в котором способ, кроме того, включает исследование других эталонных изображений с целью проверки того, что предпочтительное эталонное изображение обеспечивает наилучшее соответствие.
6. Способ по п.5, в котором способ, кроме того, включает отбор структур на основе параметров, связанных с размером и степенью эллиптичности формы этих структур.
7. Способ по п.1, в котором способ, кроме того, включает исследование других направлений, отличных от первого направления, с целью проверки того, что первое направление деформирования оптимального эталонного изображения обеспечивает наилучшее соответствие новой структуре эллиптической формы.
8. Способ по п.7, в котором способ, кроме того, включает установление того факта, что соответствие является менее точным в направлениях, отличных от первого направления.
9. Способ по п.1, в котором способ, кроме того, включает определение стадии зрелости и типа структуры для новой структуры эллиптической формы на основе предпочтительного эталонного изображения.
10. Способ по п.1, в котором способ, кроме того, включает фильтрацию структур, расположенных в пределах радиального расстояния новой структуры эллиптической формы.
RU2008113161/08A 2005-10-12 2006-09-12 Идентификация и классификация вирусных частиц на текстурированных электронных микрофотографиях RU2409855C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US72580605P 2005-10-12 2005-10-12
US60/725,806 2005-10-12

Publications (2)

Publication Number Publication Date
RU2008113161A RU2008113161A (ru) 2009-11-20
RU2409855C2 true RU2409855C2 (ru) 2011-01-20

Family

ID=37962978

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2008113161/08A RU2409855C2 (ru) 2005-10-12 2006-09-12 Идентификация и классификация вирусных частиц на текстурированных электронных микрофотографиях

Country Status (19)

Country Link
US (1) US8238627B2 (ru)
EP (1) EP1934860B1 (ru)
JP (1) JP5344922B2 (ru)
KR (1) KR101228271B1 (ru)
CN (2) CN104537337B (ru)
AU (1) AU2006302938B2 (ru)
BR (1) BRPI0617610A2 (ru)
CA (1) CA2621168C (ru)
DK (1) DK1934860T3 (ru)
ES (1) ES2498796T3 (ru)
HK (1) HK1118926A1 (ru)
MY (1) MY148115A (ru)
PL (1) PL1934860T3 (ru)
PT (1) PT1934860E (ru)
RU (1) RU2409855C2 (ru)
SG (1) SG166120A1 (ru)
SI (1) SI1934860T1 (ru)
WO (1) WO2007046985A2 (ru)
ZA (1) ZA200801551B (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2741124C1 (ru) * 2020-09-30 2021-01-22 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Способ оценки качества образца флавивируса для получения трехмерной структуры с использованием лазера на свободных электронах

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100573541C (zh) * 2005-04-15 2009-12-23 智能病毒成像公司 分析细胞结构及其组分的方法
US8712140B2 (en) * 2005-04-15 2014-04-29 Intelligent Virus Imaging Inc. Method of analyzing cell structures and their components
RU2461063C2 (ru) * 2007-05-30 2012-09-10 Интеллигент Вирус Имагинг Инк. Способ подсчета и сегментации частиц вирусов на изображении
WO2019018040A1 (en) 2017-04-24 2019-01-24 Trustees Of Princeton University DOUBLING ANISOTROPIC FOR SINGLE PARTICLE RECONSTRUCTION USING SELF-CORRELATION ANALYSIS
US11557034B2 (en) 2017-06-13 2023-01-17 The Trustees Of Princeton University Fully automatic, template-free particle picking for electron microscopy
BR112019007917A2 (pt) * 2017-07-22 2020-02-11 Intelligent Virus Imaging Inc. Método para investigação ontológica não supervisionada automatizada de aparências estruturais em micrografias eletrônicas
KR101962869B1 (ko) * 2018-08-02 2019-03-27 주식회사 우리메디칼 이미지 분석에 기반한 골수판독 지원 장치
TWI709188B (zh) 2018-09-27 2020-11-01 財團法人工業技術研究院 基於機率融合的分類器、分類方法及分類系統
CN111435544B (zh) * 2019-01-14 2021-11-05 珠海格力电器股份有限公司 图片处理方法和装置
CN111795986A (zh) * 2020-05-20 2020-10-20 万秋花 应用外形搜索的病毒临床检验检测平台
CN112183433B (zh) * 2020-10-12 2024-02-23 水木未来(北京)科技有限公司 一种实心和空心病毒颗粒的表征量化方法
WO2023238756A1 (ja) * 2022-06-07 2023-12-14 国立大学法人 東京大学 ウイルス粒子検出方法、情報処理装置及びウイルス粒子検出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2836865B2 (ja) * 1989-10-23 1998-12-14 東亜医用電子株式会社 血液中の白血球およびヘモグロビンの測定用試薬
JP3467310B2 (ja) * 1994-04-21 2003-11-17 シスメックス株式会社 白血球分析用試薬及び白血球の分類方法
US6063580A (en) * 1998-08-31 2000-05-16 Wayne State University Methods for the temporal analysis of programmed cell death in living cells
CN1266642C (zh) * 2003-10-09 2006-07-26 重庆大学 基于多类别的人脸分类识别方法
FR2862069B1 (fr) * 2003-11-07 2006-06-23 Celogos Analyse automatique d'echantillons cellulaires

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.STOSCHEK et al. "JOURNAL OF MICROSCOPY", vol 185, с.76-82, 01.1997. Y.G.KUZNETSOV et al. "VIROLOGY" vol. 284, с.223-234, 06.2001. YU et al. "JOURNAL OF STRUCTURAL BIOLOGY", vol.145, с.168-180, 2004. ROSEMAN "JOURNAL OF STRUCTURAL BIOLOGY", vol.145, с.91-99, 2004. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2741124C1 (ru) * 2020-09-30 2021-01-22 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Способ оценки качества образца флавивируса для получения трехмерной структуры с использованием лазера на свободных электронах

Also Published As

Publication number Publication date
SI1934860T1 (sl) 2014-11-28
WO2007046985B1 (en) 2007-12-21
CN104537337A (zh) 2015-04-22
KR101228271B1 (ko) 2013-01-30
AU2006302938A1 (en) 2007-04-26
PT1934860E (pt) 2014-09-15
JP5344922B2 (ja) 2013-11-20
WO2007046985A2 (en) 2007-04-26
PL1934860T3 (pl) 2014-11-28
ES2498796T3 (es) 2014-09-25
KR20080060219A (ko) 2008-07-01
CA2621168C (en) 2014-01-21
CA2621168A1 (en) 2007-04-26
CN101278303B (zh) 2015-12-16
CN104537337B (zh) 2018-05-18
RU2008113161A (ru) 2009-11-20
CN101278303A (zh) 2008-10-01
MY148115A (en) 2013-02-28
BRPI0617610A2 (pt) 2011-07-26
EP1934860A2 (en) 2008-06-25
EP1934860A4 (en) 2012-08-29
EP1934860B1 (en) 2014-07-23
ZA200801551B (en) 2008-12-31
AU2006302938B2 (en) 2011-12-15
WO2007046985A3 (en) 2007-11-08
DK1934860T3 (da) 2014-09-01
SG166120A1 (en) 2010-11-29
HK1118926A1 (en) 2009-02-20
US20080212880A1 (en) 2008-09-04
US8238627B2 (en) 2012-08-07
JP2009511046A (ja) 2009-03-19

Similar Documents

Publication Publication Date Title
RU2409855C2 (ru) Идентификация и классификация вирусных частиц на текстурированных электронных микрофотографиях
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
KR20190043135A (ko) 생물학적 입자의 분류 시스템 및 방법
JP5243535B2 (ja) イメージ内のウィルス顆粒を集計及び区分する方法
CN117152152B (zh) 检测试剂盒的生产管理系统及方法
US20220383629A1 (en) Label-free cell classification and screening system based on hybrid transfer learning
Mohammadpoor et al. An intelligent technique for grape fanleaf virus detection
CN110298364A (zh) 面向功能性脑网络的多阈值下基于多任务的特征选择方法
US8805039B2 (en) Identification and classification of virus particles in textured electron micrographs
CN115420578A (zh) 一种基于显微高光谱成像系统的Omicron病毒检测方法
Africa et al. Development of a urine strip analyzer using artificial neural network using an android phone
Ryner et al. Identification and classification of human cytomegalovirus capsids in textured electron micrographs using deformed template matching
CN109325416A (zh) 一种基于pca和src的高清图像人脸快速识别方法
CN114332060A (zh) 一种病理样本的制片检测系统
Liu et al. GLO-YOLO: a dynamic glomerular detecting and slicing model in whole slide images
CN109543696A (zh) 一种基于神经网络的图像识别方法及其应用
Joao et al. A Flyweight CNN with Adaptive Decoder for Schistosoma mansoni Egg Detection
Beksaç et al. An expert diagnostic system based on neural networks and image analysis techniques in the field of automated cytogenetics
Zhou et al. Automatic Detection of Rice Blast Fungus Spores by Deep Learning-Based Object Detection: Models, Benchmarks and Quantitative Analysis
CN108764367A (zh) 一种基于关系正则化的特征图像提取装置及提取方法
CN111368907B (zh) 羽毛片分类识别方法、装置及计算机可读存储介质
Kongkeaw et al. Automated Stomatal Detection and Enumeration Using Machine Vision Techniques
Trujillo et al. A machine vision system using immuno‐fluorescence microscopy for rapid recognition of Salmonella typhimurium
CN117576687A (zh) 基于图像分析的宫颈癌细胞学筛查系统及方法
Bria et al. Detecting clusters of microcalcifications with a cascade-based approach