RU2504012C1 - Автоматизированная система реконструкции 3d распределения нейронов по серии изображений срезов головного мозга - Google Patents

Abstract

Изобретение направлено на построение 3D модели при использовании минимального количества изображений гистологических срезов (слоев) с использованием средств приведения изображений к виду, удобному для распознавания специфических нейронов и последующей реконструкции их трехмерных распределений. Система включает связанные с возможностью обмена данными и управления процессом реконструкции модуль ввода цифровых 2D изображений гистологических срезов черной субстанции головного мозга с выявленными специфическими нейронами, модуль обработки изображений, модуль визуализации 3D модели распределения нейронов, модуль хранения изображений и сформированных моделей. Модуль обработки изображений содержит модуль совмещения слоев, модуль выделения нейронов, модуль кластеризации нейронов и модуль подгонки кластеров. 2 з.п. ф-лы, 12 ил.

Description

Изобретение относится к технологии компьютерной обработки медицинских цифровых изображений и может быть использовано для автоматизации исследований в экспериментальной биологии.

Известно, что распознавания и классификации нейронов при нейродегенеративных заболеваниях в срезах головного мозга экспериментальных животных являются основой разработки принципиально новых технологий доклинической диагностики болезни Паркинсона (БП). Необходимо детальное изучение динамики процесса гибели нейронов и компенсаторных процессов. Для этих целей разрабатываются адекватные экспериментальные модели заболевания на животных с использованием широкого спектра современных подходов, основанные, например, на определении количества выживших дофаминергических нейронов и анализе их функционального состояния при различных схемах применения нейротоксина, что является чрезвычайно трудоемкой лабораторной процедурой. Оптимизация исследований позволяет, например, снизить число исследуемых срезов в три и более раза при сохранении достоверности анализа в рамках 5% на различных биологических объектах с неоднородным распределением подсчитываемых структур, в частности при резком изменении числа нейронов от слоя к слою при определении количества нейронов среднего отдела компактной части черной субстанции головного мозга после действия нейротоксина (RU 2363950 С1, Угрюмов М.В., 10.08.2009).

Описаны различные автоматизированные системы для обработки и распознавания микроскопических биологических структур. В патенте RU 2385494 С1, Никитаев и др., 27.03.2010 рассматривается обработка цифровых данных, в частности, при цитологических исследованиях клеток крови, а в патенте RU 2403616 C1, Самойлин, 10.11.2010 - способ градиентного выделения контуров объектов на цифровых изображениях, однако не рассматриваются средства реконструкции трехмерных (3D) распределений исследуемых объектов, что принципиально важно при моделировании патологий в рассматриваемой области.

В ряде изобретений описаны принципы восстановления трехмерных моделей по последовательности двумерных изображений, в том числе и для клеточных структур (W00030039 A1, SIMPSON TODD et al., 25.05.2000). В работе Hanchuan Peng «V3D enables real-time 3D visualization and quantitative analysis of large-scale biological image data sets» (published online 14 March 2010; doi:10.1038/nbt.l612) описана 3D система обработки изображений гигабайтного размера V3D. Для иллюстрации возможностей расширения V3D авторы построили на ее основе приложение V3D-Neuron, которое осуществляет реконструкцию сложной 3D структуры нейрона из высокого разрешения изображений срезов мозга. Приведены примеры реконструкции.

В статье «Автоматическое выделение нейронов на срезах мозга» Sciarabba, М. and Serrao, G. and Bauer, D. and Amaboldi, F. and Borghese, N.A. Journal of Neuroscience Methods, 182, 123-140 (2009) описан метод анализа распределения нейронов в коре головного мозга и алгоритм надежной идентификации нейронов, основанный на новом многоуровневом анализе формы капель мозаичного изображения. В ж. Computer Vision and Image Understanding, 115, p.1112-1120 (2011) описан метод регистрации и быстрого распознавания структуры изображений гистологических срезов на основе алгоритмов PSO и Пауэла оптимизатора позволяет изолировать глобальный максимум меры взаимной информации, что ведет к повышению точности регистрации. Мультиразрешение структуры данных на основе разложения Малата не только улучшает регистрацию, но и ускоряет выполнение алгоритма.

В статье Monica L. Berlanga и др. «Three-dimensional reconstruction of serial mouse brain sections: solution for flattening high-resolution large-scale mosaics», FRONTIERS in Neuroanatomy, vol.5, art. 17, march 2011 - ближайший аналог) описана 3D реконструкция по срезам мозга мыши при маркировании слоев на основе ориентиров трех типов - кровеносных сосудов, ядер нейронов и меланина, что позволяет осуществить разметку для совмещения последовательных слоев при реконструкции. Компьютерная система реконструкции трехмерного распределения изображений нейронов включает модуль ввода цифровых двухмерных (2D) изображений гистологических срезов черной субстанции головного мозга с выявленными нейронами, модуль обработки изображений, модуль формирования трехмерной (3D) модели распределения нейронов, модуль хранения изображений и сформированных моделей.

Однако в данной работе не рассматривается возможность реконструкции трехмерных распределений нейронов по минимальному количеству срезов с достаточной достоверностью.

Патентуемое изобретение направлено на решение технической задачи автоматизации реконструкции 3D распределения специфических нейронов по минимальному количеству 2D изображений срезов черной субстанции головного мозга экспериментальных животных. К специфическим нейронам могут относиться как выжившие, так и погибшие после действия токсина нейроны. Картину погибших (дегенерировавших) нейронов можно получить, вычитая изображение мозга после действия нейротоксина из изображения мозга в контроле. 3D распределение специфических нейронов позволяет построить адекватные экспериментальные модели заболевания.

В основе построения системы реконструкции использованы известные из теории распознавания изображений современные методы выделения специфических нейронов и их точных координат на изображениях срезов, методы кластеризации, группирования дискретных данных для формирования сначала двумерных распределений на срезах, а потом по ним - трехмерных распределений при помощи межслойной интерполяции в пространстве.

Автоматизированная компьютерная система реконструкции трехмерного распределения изображений нейронов включает связанные с возможностью обмена данными и управления процессом реконструкции модуль ввода цифровых 2D изображений гистологических срезов черной субстанции головного мозга с выявленными специфическими нейронами, модуль обработки изображений, модуль визуализации 3D модели распределения нейронов, модуль хранения изображений и сформированных моделей.

Отличие патентуемой системы состоит в том, модуль обработки изображений включает модуль совмещения слоев, модуль выделения нейронов, модуль кластеризации нейронов, модуль подгонки кластеров, выход которого является входом модуля визуализации изображений.

Модуль совмещения слоев выполнен с возможностью выделения на изображениях срезов согласованных между собой областей интереса и введения локальных 2D координат на изображениях срезов, определения глобальной 3D системы координат и соотнесение с ней упомянутых 2D координат всех срезов.

Модуль выделения нейронов выполнен с возможностью автоматического распознавания нейронов, редактирования данных и согласования по срезам, определения их локальных координат, пересчета локальных 2D координат к глобальной 3D системе координат.

Модуль кластеризации нейронов выполнен с возможностью построения двумерных непрерывных распределений плотности нейронов в срезах на основе нейробиологической модели болезни Паркинсона и аппроксимации найденных распределений моделями гауссовых смесей.

Модуль подгонки кластеров выполнен с возможностью определения типов кластеров и выравнивания их в соседних слоях последовательно по типу и положению с целью получения плавных и соответствующих нейробиологической модели болезни Паркинсона 3D поверхностей постоянного уровня распределений плотности нейронов.

Модуль визуализации 3D модели распределения выполнен с возможностью реконструкции распределений плотности нейронов в областях интереса на основе аппроксимации линий постоянного уровня сплайнами для межслойной интерполяции данных.

Система может характеризоваться тем, что модуль подгонки кластеров выполнен с возможностью определения типов N-Чск, N-Чср, N-Чсл, N-BTA кластеров, а также тем, что модуль визуализации 3D модели распределений нейронов выполнен с возможностью использования программной графической среды DirectX.

Технический результат - построение 3D модели при использовании минимального количества изображений гистологических срезов (слоев) с использованием средств приведения изображений к виду, удобному для распознавания специфических нейронов и последующей реконструкции их трехмерных распределений.

Существо изобретения поясняется на чертежах, где:

на фиг.1 представлена блок-схема автоматизированной системы;

на фиг.2 - алгоритм функционирования модуля совмещения слоев;

на фиг.3 - алгоритм функционирования модуля выделения нейронов;

на фиг.4 - алгоритм функционирования модуля кластеризации нейронов;

на фиг.5 - алгоритм функционирования модуля подгонки кластеров;

на фиг.6 - алгоритм функционирования модуля визуализации 3D модели;

на фиг.7 - алгоритм функционирования модуля хранения изображений и сформированных моделей;

на фиг.8-12 - оконные интерфейсы модулей, соответствующих приведенным на фиг.2-6 и раскрытым в тексте описания.

На фиг.1 представлена блок-схема автоматизированной системы. Система содержит модуль 1 ввода цифровых двухмерных (2D) изображений 10 гистологических срезов черной субстанции головного мозга с выявленными специфическими нейронами, модуль 2 обработки изображений.

Модуль 2 обработки изображений содержит последовательно установленные с возможностью двухстороннего обмена информацией модуль 3 совмещения слоев, модуль 4 выделения нейронов, модуль 5 кластеризации нейронов, модуль 6 подгонки кластеров. Выход модуля 6 является выходом модуля 2 обработки изображений.

Модуль 3 совмещения слоев выполнен с возможностью выделения на изображениях срезов согласованных между собой областей интереса и введения локальных 2D координат изображений срезов областей интереса, определения глобальной 3D системы координат и соотнесения с ней упомянутых 2D координат всех срезов.

Модуль 4 выделения нейронов выполнен с возможностью автоматического распознавания нейронов, редактирования данных и согласования по срезам, определения их локальных координат, пересчета локальных 2D координат к глобальной 3D системе координат.

Модуль 5 кластеризации нейронов выполнен с возможностью построения двумерных непрерывных распределений плотности нейронов в срезах на основе нейробиологической модели болезни Паркинсона и аппроксимации найденных распределений моделями гауссовых смесей;

Модуль 6 подгонки кластеров выполнен с возможностью определения типов кластеров и выравнивания их в соседних слоях последовательно по типу и положению с целью получения плавных и соответствующих нейробиологической модели болезни Паркинсона 3D поверхностей постоянного уровня распределений плотности нейронов. Модуль 6 определяет типы кластеров: N-Чск, N-Чср, N-Чсл, N-BTA.

Модуль 7 визуализации 3D модели распределения нейронов выполнен с возможностью реконструкции распределений плотности нейронов в областях интереса на основе аппроксимации поверхностей постоянного уровня сплайнами для межслойной интерполяции данных. Модуль 7 формирования 3D модели выполнен с возможностью использования программной графической среды DirectX.

Модуль 8 предназначен для хранения изображений и сформированных моделей.

Цикл последовательных операций, реализуемых в модулях 3-6, может повторяться итеративно несколько раз, каждый раз корректируя и уточняя получающиеся промежуточные распределения, объекты и увеличивая степень их согласованности, адекватности общим модельным представлениям. В дальнейшем совокупность исходных материалов (изображения срезов, описания, особые замечания) и полученных результатов (распределений, распознанных нейронов, кластеров, лофтинг-объектов) для каждого конкретного животного названа проектом.

На фиг.2 показан алгоритм функционирования модуля 3 совмещения слоев. Модуль предназначен для совмещения изображений соседних срезов (текущего и предыдущего) и выделения области интересов (для текущего среза), посредством которой задается система локальных координат на срезе. Поскольку исходные срезы в процессе подготовки обрабатываются независимо и могут быть значительно искажены, взаимные пространственные расположения между представляющими геометрическими объектами (нейроны, черная субстанция и т.д.) могут быть нарушены. Поэтому может оказаться необходимым выровнять объекты из разных срезов друг к другу. В дополнение к ручному редактированию может использоваться автоматизация - копирование области интересов из предыдущего слоя в текущий (корректно при уже выровненных изображениях срезов).

На фиг.3 показан алгоритм функционирования модуля 4 выделения нейронов. Он предназначен для редактирования объектов «нейроны», связанных с изображениями реальных нейронов, автоматически распознанных или вручную отмеченных. Каждый объект «нейрон» характеризуется своими координатами по отношению к изображению, которые могут быть пересчитаны в локальную систему координат при завершенном шаге «выравнивание слоев». Редактор позволяет вручную добавлять объект «нейрон» в заданной точке изображения среза, либо удалять какой-либо из «нейронов», предварительно его отметив.

На фиг.4 представлен алгоритм функционирования модуля 5 кластеризации нейронов. Сценарий редактирования предназначен для выделения групп нейронов (кластеризация нейронов) на срезах. В процессе выделения существенную роль играет процедура автоматизации группирования, поскольку в отношении каждого из нейронов приходится решать вопрос к какому кластеру его отнести. Во избежание субъективных предпочтений этот вопрос решается на основе критерия минимизации обобщенного расстояния до кластеров, т.е. связан со значительной вычислительной работой, которая и осуществляется в рамках ЕМ-алгоритма кластеризации (Expectation-maximization (ЕМ) algorithm). Единственным слабым моментом ЕМ-алгоритма является проблема выбора числа кластеров. По этой причине редактор предоставляет возможность ручного ввода этого параметра, и процесс реконструкции в этом моменте существенно зависит от (субъективного) решения эксперта (в соответствии с моделью БП предусмотрено ожидаемое значение параметра «число кластеров», однако опыт показывает, что это значение надежно не для всех срезов). ЕМ-алгоритм в процессе кластеризации также автоматически определяет оптимальные границы кластеров. На данном шаге реконструкции предусмотрена возможность корректировать автоматически найденные границы вручную.

На фиг.5 показан алгоритм функционирования модуля 6 подгонки кластеров. Модуль предназначен для увязывания кластеров на соседних срезах по типам и является, по существу, первым шагом в формировании 3D объектов. Прежде чем осуществляется увязывание, необходимо каждому из кластеров приписать его уникальный на срезе тип. Эта процедура может быть осуществлена вручную, а может быть проведена автоматически по критерию ближнего по евклидову расстоянию кластера предыдущего слоя (если кластеры предыдущего слоя уже типизированы). Как и все автоматические операции, в патентуемой системе данная также допускает корректировку вручную. Кроме типизации в данном режиме, как и в предыдущем, предусмотрена возможность корректировать также и расположения кластеров и их границы.

На фиг.6 представлен алгоритм функционирования модуля 7 визуализации 3D модели. Этот модуль предназначен для визуального анализа рассчитанных распределений, представленных 3D лофтинг-объектами области интересов и связанных кластеров. Интерполяция последовательностей связанных кластеров и области интересов осуществляется «на лету» В-сплайнами, на основе каждого из сечений строится последовательность вертексов, на основе соседних последовательностей вертексов - меш-поверхности. Последние после загрузки в D3DSurface отображаются на экране в виде реалистичных 3D объектов удобных для визуального анализа. Средства DirectX-3D управления камерой предоставляют возможность быстро и просто реализовать одни из основных функций программы просмотра 3D модели: изменение точки обзора, поворот, увеличение или уменьшение масштаба и т.п.

На фиг.7 показана диаграмма классов для структур хранения изображений и сформированных моделей - виртуальной базы данных модуля 8. Как понятно из приведенного выше описания функционирования патентуемой автоматизированной системы, за каждым из шагов процесса реконструкции закреплен свой отдельный программный модуль, содержащий набор соответствующих данному шагу алгоритмов и создаваемых/редактируемых входных-промежуточных-выходных объектов проекта. Все связанные с данным проектом (каждым конкретным животным) объекты на всем протяжении работы системы хранятся в оперативной памяти компьютера в виде некоторой виртуальной базы данных, представленной объектом класса NdobjectsDB. Каждый из модулей имеет свои входные/выходные данные, хранящиеся в отдельных файлах БД проекта (БД содержит файл проекта *.ndv с описанием размещения всех других специализированных файлов данных) и связан с соответствующей страницей интерфейса системы для редактирования входных и анализа выходных данных.

На фиг.8-12 приводятся оконные интерфейсы модулей, описанных в тексте и соответствующих фиг.2-6.

Интерфейс фиг.8 соответствует модулю 3 совмещения слоев (фиг.2). Представлены два находящиеся в процессе совмещения слоя, каждый со своей эллиптической областью интересов.

Интерфейс фиг.9 соответствует модулю 4 выделения нейронов (фиг.3); малыми окружностями изображены выделенные на срезе нейроны.

Интерфейс фиг.10 соответствует модулю 5 кластеризации нейронов (фиг.4). Малыми окружностями изображены выделенные на срезе нейроны, а эллипсами - границы найденных групп (кластеров) нейронов. Границы кластеров являются изолиниями гауссовых элементов из смеси распределений ЕМ-алгоритма.

Интерфейс фиг.11 соответствует модулю 6 подгонки кластеров (фиг.5). На фиг. представлены два совмещенных слоя, на каждом из которых видны эллиптические кластеры, подлежащие связыванию в один 3D фрагмент распределения.

Интерфейс фиг.12, соответствует модулю визуализации 3D модели (фиг.6). Представлена содержащая фрагменты распределения область интересов (внешняя трубкообразная поверхность) и размеченные разными цветами 3D фрагменты реконструированного распределения.

Редактор, с программной точки зрения представляющий собой элемент управления D3DSurface - интерфейс к графическим средствам интегрированного пакета DirectX, совместно с визуальными средствами DirectX-3D позволяет осуществлять ручное редактирование объектов проекта. Средства автоматизации (алгоритмы обработки) доступны через меню системы. Тем самым осуществляется возможность контролировать степень автоматизации процесса реконструкции с тем, чтобы, с одной стороны, избавить исследователя от длительной рутинной работы, с другой стороны, чтобы контролировать промежуточные шаги процесса - вовремя пресекать тенденцию к накоплению промежуточных ошибок.

Таким образом, патентуемая автоматизированная компьютерная система реконструкции 3D распределения изображений нейронов оптимизирует и адаптирует современные алгоритмические подходы извлечения и представления информации к данной конкретной задаче: компьютерной реконструкции 3D-распределений специфических нейронов на основе общей нейробиологической модели болезни Паркинсона и конкретной для каждого животного серии минимального числа изображений 2D-срезов головного мозга.

Claims (3)

1. Автоматизированная компьютерная система реконструкции трехмерного распределения изображений нейронов, включающая связанные с возможностью обмена данными и управления процессом реконструкции модуль ввода цифровых двухмерных (2D) изображений гистологических срезов черной субстанции головного мозга с выявленными специфическими нейронами, модуль обработки изображений, модуль визуализации трехмерной (3D) модели распределения нейронов, модуль хранения изображений и сформированных моделей,
отличающаяся тем, что
модуль обработки изображений содержит последовательно установленные с возможностью двухстороннего обмена информацией модуль совмещения слоев, модуль выделения нейронов, модуль кластеризации нейронов, модуль подгонки кластеров, выход которого является выходом модуля обработки изображений, при этом
модуль совмещения слоев выполнен с возможностью выделения на изображениях срезов согласованных между собой областей интереса и введения локальных 2D координат изображений срезов областей интереса, определения глобальной 3D системы координат и соотнесение с ней упомянутых 2D координат всех срезов;
модуль выделения нейронов выполнен с возможностью автоматического распознавания нейронов, редактирования данных и согласования по срезам, определения их локальных координат, пересчета локальных 2D координат к глобальной 3D системе координат;
модуль кластеризации нейронов выполнен с возможностью построения двумерных непрерывных распределений плотности нейронов в срезах на основе нейробиологической модели болезни Паркинсона и аппроксимации найденных распределений моделями гауссовых смесей;
модуль подгонки кластеров выполнен с возможностью определения типов кластеров и выравнивания их в соседних слоях последовательно по типу и положению с целью получения плавных и соответствующих нейробиологической модели болезни Паркинсона 3D поверхностей постоянного уровня распределений плотности нейронов, при этом
модуль визуализации 3D модели распределения нейронов выполнен с возможностью реконструкции распределений плотности нейронов в областях интереса на основе аппроксимации линий постоянного уровня сплайнами для межслойной интерполяции данных.

2. Система по п.1, отличающаяся тем, что модуль выравнивания кластеров выполнен с возможностью определения типов N-Чск, N-Чср, N-Чсл, N-BTA кластеров.

3. Система по п.1, отличающаяся тем, что модуль формирования 3D модели распределения нейронов выполнен с возможностью использования программной графической среды DirectX.

Images