RU2783364C1 - Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства - Google Patents
Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства Download PDFInfo
- Publication number
- RU2783364C1 RU2783364C1 RU2021133389A RU2021133389A RU2783364C1 RU 2783364 C1 RU2783364 C1 RU 2783364C1 RU 2021133389 A RU2021133389 A RU 2021133389A RU 2021133389 A RU2021133389 A RU 2021133389A RU 2783364 C1 RU2783364 C1 RU 2783364C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- message
- images
- tensor
- multidimensional
- Prior art date
Links
- 210000000056 organs Anatomy 0.000 title claims abstract description 21
- 230000000241 respiratory Effects 0.000 title claims abstract description 21
- 210000004072 Lung Anatomy 0.000 claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000005755 formation reaction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000001131 transforming Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 238000003062 neural network model Methods 0.000 description 26
- 210000001519 tissues Anatomy 0.000 description 20
- 210000000621 Bronchi Anatomy 0.000 description 15
- 238000002591 computed tomography Methods 0.000 description 14
- 210000003437 Trachea Anatomy 0.000 description 12
- 230000001537 neural Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- 230000004931 aggregating Effects 0.000 description 8
- 230000002085 persistent Effects 0.000 description 7
- 210000003484 anatomy Anatomy 0.000 description 6
- 206010054107 Nodule Diseases 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000451 tissue damage Effects 0.000 description 4
- 231100000827 tissue damage Toxicity 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 3
- 230000003902 lesions Effects 0.000 description 3
- 238000001959 radiotherapy Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000875 corresponding Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000004204 Blood Vessels Anatomy 0.000 description 1
- 210000003238 Esophagus Anatomy 0.000 description 1
- 210000001370 Mediastinum Anatomy 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000996 additive Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 201000008325 diseases of cellular proliferation Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drugs Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 210000002569 neurons Anatomy 0.000 description 1
- 230000002093 peripheral Effects 0.000 description 1
- 230000000750 progressive Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Abstract
Изобретение относится к области обработки медицинских изображений. Технический результат заключается в повышении точности медицинского изображения и получении сегментированного виртуального изображения органов дыхания человека. Устройство создания многомерных виртуальных изображений органов дыхания человека, состоящее из регистров блоков памяти шины сообщений (1), характеризует то, что устройство выполнено с наличием входного многоразрядного накопителя изображений (2), контроллера управления формированием пакетов сообщений и отправки в шину сообщений (3), первого преобразователя изображения в многомерный тензор пикселей (4), цифрового сигнального процессора (5), второго преобразователя изображений в многомерный тензор пикселей (6), нейроморфного процессора (7), выполняющего сегментацию изображения на классы частей лёгкого, с возможностью выдачи на выход сформированного сообщения, в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов вокселов статистической модели текстуры. 2 н.п. ф-лы, 9 ил.
Description
Изобретение относится к визуализации медицинских изображений и может быть использовано в устройствах обработки изображений снимков компьютерной томографии в формате DICOM. Снимки КТ участвуют в построении трёхмерных виртуальных моделей органов дыхания человека и отображения их на экране.
Далее заявителем представлены термины использованные в заявленном техническом решении для целей исключения неоднозначного толкования, трактования заявленных материалов.
- DICOM (Digital Imaging and COmmunications in Medicine) – формат данных для создания, хранения, передачи и визуализации цифровых медицинских изображений (исследований компьютерной томографии);
- пиксельное изображение – это изображение, представляющее собой матрицу пикселей (цветных точек);
- воксел – это элемент объёмного изображения, содержащий значение элемента растра в трёхмерном пространстве;
- воксельное изображение – это изображение, представляющее собой трёхмерную матрицу, состоящую из вокселов – элементов объёмного изображения, содержащий значение цвета в трёхмерном пространстве;
- трёхмерного изображения – изображение, состоящее из вокселов;
- глубинные нейронные сети – это искусственная нейронная сеть, состоящая из искусственных нейронов, с несколькими слоями между входным и выходным слоями;
- нейронно-сетевая модель – конкретная структура слоёв и связей глубинной нейронной сети;
- нейроморфный процессор – это специализированный класс микропроцессоров и сопроцессоров, используемый для аппаратного ускорения работы искусственных нейронных сетей;
- RGB-модель воксела после предобработки файла DICOM – это аддитивная цветовая модель воксела, которая используется в устройствах, работающих со световыми потоками: сканеры, мониторы, цифровые фотоаппараты, слайд-проектора и т.д.
- тензор вокселов – это трёхмерная матрица вокселов;
- сегментация – это процесс разделения цифрового изображения на несколько участков;
- улучшающего фильтра – метод, повышающий контрастность границ при сегментации.
Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства состоит из шины сообщений, входного многоразрядного накопителя объёмных изображений с применением устройства; содержит регистр блоков памяти, контроллер управления формированием пакетов сообщений, адаптер маршрутизации сообщений с регистром пакетов шины сообщений и подключённые к регистру блоков памяти шины сообщения, цифровой сигнальный процессор с первым преобразователем изображений, нейроморфный процессор со вторым преобразователем изображений, программируемую логическую интегральную схему с третьим преобразователем изображений. Входом устройства является вектор параметров отображения. Выходы параметров отображения соединены с регистром блоков памяти шины сообщений и единым выходом. На единый выход подаётся результирующий тензор вокселов.
С ростом производительности доступных вычислительных устройств и устройств воспроизведения изображений открываются новые возможности для создания многомерных изображений. При послойном сканировании лёгких с помощью компьютерной томографии формируется множество двумерных пиксельных и воксельных изображений.
В основе методов создания многомерных изображений компьютерной томографии лёгких лежат методы обработки плоского изображения с помощью глубинных нейронных сетей, которые вычисляют параметры пикселей – яркость и цвет пикселей. На основе параметров пикселей формируют воксели (объёмные пиксели). Послойное отображение пиксельных двумерных изображений в воксельные слои и последующее наложение этих слоев в виртуальной графической среде даёт трёхмерное изображение лёгких. При послойной сегментации изображений на отдельные элементы лёгкого получается многомерное объёмное изображение лёгких, способное отображаться на экране.
Недостатком такого метода оказывается получение результата с невысокой точностью в виде сегментированного на отдельные элементы лёгкого трёхмерного изображения.
Ещё одним недостатком является отсутствие возможности получить отдельные объёмные сегменты лёгких – бронхи, трахею, пораженную лёгочную ткань для дальнейшей индивидуальной визуализации каждого органа. Низкая точность пиксела на 1 мм3 получения результата связана с применением стандартных моделей сегментации для работы с многомерными массивами серии изображений. При получении результатов обработки изображений компьютерной томографии возникают этапы постобработки данных, связанные с поэлементными вычислениями в массивах большой размерности пикселей и вокселов.
Операция восстановления многомерного сигнала с изображением лёгких выполняется методом вычисления яркости и RGB-модели вокселя после предобработки файла DICOM. Формирование результирующих объемных фигур как правило происходит путём послойного наращивания вокселов, которые представляют собой объемные варианты двумерных плоских пикселей с теми же значениями яркости и цвета. Описанный метод преобразования пиксельных массивов в воксельные может реализовывать цифровой сигнальный процессор, который оперирует многомерными матрицами входных значений яркости и цвета пикселей.
Сегментация изображений лёгких строится на основе ресурсоёмких, с точки зрения вычислений, искусственных нейронных сетей и является медленным с точки быстродействия этапом перед построением трёхмерной модели. Как правило, сегментация трёхмерных изображений компьютерной томографии лёгких производится вручную.
Сегментация воксельных слоёв на отдельные изображения частей реализовывает нейроморфный процессор. Алгоритмы отображения, поворота и сечений трехмерного изображения реализуются с помощью реализованных расчётных соотношениях на программируемой логической интегральной схеме.
Из уровня техники известно изобретение по патенту RU 2720070 C1, выявлен метод, относящийся к улучшению точности автоматической сегментации изображений. Изобретение обрабатывает медицинские данные в формате 3D.
1.Сущностью является реализуемый компьютером способ сегментации трёхмерного изображения, причём способ содержит этапы, на которых:
принимают трёхмерное изображение, полученное устройством формирования изображения;
создают первый стек двухмерных изображений из первой плоскости трёхмерного изображения и второй стек двухмерных изображений из второй плоскости трёхмерного изображения;
сегментируют посредством процессора первый стек и второй стек двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и определяют посредством процессора карту меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека и второго стека.
2. Способ, дополнительно содержащий этапы, на которых:
создают третий стек двухмерных изображений из третьей плоскости трёхмерного изображения;
сегментируют третий стек двухмерных изображений с использованием упомянутой по меньшей мере одной нейронно-сетевой модели и
определяют карту меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека, второго стека и третьего стека.
3. Способ по п. 1, в котором в сегментации первого стека двухмерных изображений используется первая нейронно-сетевая модель, а в сегментации второго стека двухмерных изображений используется вторая нейронно-сетевая модель. Способ по п. 1, в котором первая плоскость или вторая плоскость выбраны из осевой плоскости, сагиттальной плоскости и фронтальной плоскости трёхмерного изображения.
5. Способ по п. 1, в котором сегментация первого стека и второго стека двухмерных изображения включает в себя этапы, на которых:
создают объединённый стек двухмерных изображений из первого стека и второго стека двухмерных изображений и
сегментируют объединённый стек двухмерных изображений с использованием одной нейронно-сетевой модели.
6. Способ по п. 1, в котором сегментация первого стека и второго стека двухмерных изображений включает в себя этап, на котором определяют множество меток для воксела трёхмерного изображения.
7. Способ по п. 6, в котором агрегирование результатов сегментации включает в себя этап, на котором назначают вокселу метку с наивысшим значением вероятности среди множества меток.
8. Способ по п. 1, в котором упомянутая по меньшей мере одна нейронно-сетевая модель является глубокой сверточной нейронно-сетевой моделью.
9. Способ по п. 1, в котором трёхмерное изображение является медицинским изображением, указывающим анатомические структуры пациента, при этом карта меток ассоциирует анатомическую структуру с каждым вокселом трёхмерного изображения.
10. Способ по п. 1, дополнительно включающий в себя этап, на котором обучают по меньшей мере одну нейронно-сетевую модель с использованием по меньшей мере одного трёхмерного обучающего изображения.
11. Устройство для сегментации трёхмерного изображения, причём устройство содержит:
входной интерфейс, который принимает трёхмерное изображение, полученное устройством формирования изображения;
по меньшей мере одно запоминающее устройство, выполненное с возможностью хранения трёхмерного изображения; и
процессор изображений, выполненный с возможностью:
создания первого стека двухмерных изображений из первой плоскости трёхмерного изображения и второго стека двухмерных изображений из второй плоскости трёхмерного изображения;
сегментации первого стека и второго стека двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и
определения карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека и второго стека.
12. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью:
создания третьего стека двухмерных изображений из третьей плоскости трёхмерного изображения;
сегментации третьего стека двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и
определения карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека, второго стека и третьего стека.
13. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью сегментации первого стека двухмерных изображений с использованием первой нейронно-сетевой модели и сегментации второго стека двухмерных изображений с использованием второй нейронно-сетевой модели.
14. Устройство по п. 11, в котором первая плоскость или вторая плоскость выбраны из осевой плоскости, сагиттальной плоскости и фронтальной плоскости трёхмерного изображения.
15. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью:
создания объединённого стека двухмерных изображений из первого стека и второго стека двухмерных изображений и
сегментации объединённого стека двухмерных изображений с использованием одной нейронно-сетевой модели.
16. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью определения множества меток для воксела трёхмерного изображения.
17. Устройство по п. 16, в котором процессор изображений дополнительно выполнен с возможностью назначения вокселу метки с наивысшим значением вероятности среди множества меток.
18. Устройство по п. 11, в котором упомянутая по меньшей мере одна нейронно-сетевая модель является глубокой нейронно-сетевой моделью.
19. Устройство по п. 11, в котором трёхмерное изображение является медицинским изображением, указывающим анатомические структуры пациента, при этом карта меток ассоциирует анатомическую структуру с каждым вокселом трёхмерного изображения.
20. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью обучения по меньшей мере одной нейронно-сетевой модели с использованием по меньшей мере одного трёхмерного обучающего изображения.
21. Постоянный машиночитаемый носитель, содержащий инструкции, которые при исполнении посредством по меньшей мере одного процессора предписывают по меньшей мере одному процессору выполнять способ сегментации трёхмерного изображения, причём способ содержит:
прием трёхмерного изображения, полученного устройством формирования изображения;
создание первого стека двухмерных изображений из первой плоскости трёхмерного изображения и второго стека двухмерных изображений из второй плоскости трёхмерного изображения;
сегментацию посредством по меньшей мере одного процессора первого стека и второго стека двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и
определение посредством по меньшей мере одного процессора карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека и второго стека.
22. Постоянный машиночитаемый носитель по п. 21, в котором способ дополнительно содержит:
создание третьего стека двухмерных изображений из третьей плоскости трёхмерного изображения;
сегментацию третьего стека двухмерных изображений с использованием упомянутой по меньшей мере одной нейронно-сетевой модели и
определение карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека, второго стека и третьего стека.
23. Постоянный машиночитаемый носитель по п. 21, в котором в сегментации первого стека двухмерных изображений используется первая нейронно-сетевая модель, а в сегментации второго стека двухмерных изображений используется вторая нейронно-сетевая модель.
24. Постоянный машиночитаемый носитель по п. 21, в котором первая плоскость или вторая плоскость выбраны из осевой плоскости, сагиттальной плоскости и фронтальной плоскости трёхмерного изображения.
25. Постоянный машиночитаемый носитель по п. 21, в котором сегментация первого стека и второго стека двухмерных изображений содержит:
создание объединённого стека двухмерных изображений из первого стека и второго стека двухмерных изображений и
сегментацию объединённого стека двухмерных изображений с использованием одной нейронно-сетевой модели.
26. Постоянный машиночитаемый носитель по п. 21, в котором сегментация первого стека и второго стека двухмерных изображений включает в себя определение множества меток для воксела трёхмерного изображения.
27. Постоянный машиночитаемый носитель по п. 21, в котором агрегирование результатов сегментации включает в себя назначение вокселу метки с наивысшим значением вероятности среди множества меток.
28. Постоянный машиночитаемый носитель по п. 21, в котором по меньшей мере одна нейронно-сетевая модель является глубокой сверточной нейронно-сетевой моделью.
29. Постоянный машиночитаемый носитель по п. 21, в котором трёхмерное изображение является медицинским изображением, указывающим анатомические структуры пациента, при этом карта меток ассоциирует анатомическую структуру с каждым вокселом трёхмерного изображения.
30. Постоянный машиночитаемый носитель по п. 21, в котором способ дополнительно содержит обучение по меньшей мере одной нейронно-сетевой модели с использованием по меньшей мере одного трёхмерного обучающего изображения.
Таким образом, более коротко, известный способ может включать в себя прием трёхмерного изображения, полученного устройством формирования изображения, и создание первого стека двухмерных изображений из первой плоскости трёхмерного изображения и второго стека двухмерных изображений из второй плоскости трёхмерного изображения.
Недостатком данного способа является отсутствие воксельного изображения, которое с более высокой производительностью обрабатывается при вращении и смещении трёхмерного объекта.
Из уровня техники выявлено изобретений по патенту RU 2587427 C2, сущностью является Устройство сегментации медицинских изображений, содержащее: запоминающее устройство (16), в котором хранится медицинское яркостное изображение, подлежащее сегментированию; один или более процессоров (30), запрограммированных с возможностью: применять алгоритм предварительной сегментации к яркостному изображению для оценки границы целевого объема и увеличения упомянутой оцененной границы для гарантии включения упомянутого целевого объема в упомянутую увеличенную оцененную границу; обрабатывать яркостное изображение внутри увеличенной оцененной границы с помощью улучшающего фильтра, основываясь на массиве признаков, чтобы создать улучшенное изображение, в котором целевой объем отличается от соседней ткани, причем улучшенное изображение является трехмерным изображением, включающим в себя трехмерную матрицу вокселов, причем значение каждого воксела представляет вероятность, что каждый воксел принадлежит целевому объему; запоминающее устройство (34) для хранения улучшенного изображения.
2. Устройство по п. 1, дополнительно включающее в себя: запоминающее устройство (32) улучшающих фильтров для хранения множества улучшающих фильтров, соответствующих каждому из множества потенциальных целевых объемов.
3. Устройство по любому из пп. 1-2, дополнительно включающее в себя по меньшей мере одно из следующего: монитор (52), который отображает улучшенное изображение; систему (54) планирования радиотерапии, которая использует улучшенное изображение для создания плана радиотерапии; устройство (10) формирования изображения и процессор (12) реконструкции, выполняющий обследование пациента и реконструирующий яркостное изображение из данных, созданных устройством формирования изображения.
4. Способ сегментации медицинских изображений, содержащий этапы, на которых:
идентифицируют область яркостного изображения, подлежащую сегментации, причем упомянутое изображение содержит выбранный целевой объем, при этом упомянутая идентификация включает в себя применение алгоритма предварительной сегментации к яркостному изображению для оценки границы упомянутого целевого объема и увеличения упомянутой оцененной границы для гарантии включения упомянутого целевого объема в упомянутую увеличенную оцененную границу; обрабатывают яркостное изображение внутри увеличенной оцененной границы с помощью улучшающего фильтра, основываясь на массиве признаков для дифференциации выбранного целевого объема от соседней ткани, чтобы создать улучшенное изображение, причем улучшенное изображение является трехмерным изображением, включающим в себя трехмерную матрицу вокселов, причем значение каждого воксела представляет вероятность, что каждый воксел принадлежит целевому объему.
5. Способ по п. 4, дополнительно включающий в себя этап, на котором: выбирают из множества улучшающих фильтров один фильтр, соответствующий выбранному целевому объему.
6. Способ по любому из пп. 4-5, дополнительно включающий в себя по меньшей мере один из этапов, на котором: отображают улучшенное или сегментированное изображение; создают план радиотерапии, исходя из улучшенного или сегментированного изображения; выполняют обследование пациента для создания данных формирования изображения и реконструируют данные формирования изображения в яркостное изображение.
7. Считываемый компьютером носитель данных, содержащий компьютерную программу, управляющую одним или более процессорами для выполнения способа по любому из пп. 4-5.
Таким образом, известный улучшающий фильтр, который основываясь на массив признаков, создаёт улучшенное изображение, которое отличает целевой сегмент от соседней ткани лучше, чем яркостное изображение. Улучшенное изображение является трехмерным изображением, включающим в себя трехмерную матрицу вокселов, значение каждого воксела представляет вероятность, что каждый воксел принадлежит целевому объему; запоминающее устройство хранит улучшенное изображение.
Недостатком является только предварительная обработка изображения, улучшение его качества, сегментация биомедицинских изображений не включает в себя дальнейшую конвертацию в 3D.
Из уровня техники [патент RU 2571523 C2, опубл. 14.02.2011] известен метод подгонки сеточной модели к текущим данным изображения, который содержит математическое приложение противоположных сил к сеточной модели. В частности, метод определяет равновесие между внешней энергией, притягивающей сетку к известным элементам изображения, например краям или границам в изображении, и противодействующей, сохраняющей форму внутренней энергией, которая принуждает модель сохранять свою форму.
Недостатком является работа модели притяжения сил к сеточной модели, которая может захватывать локальный минимум силы и притягиваться к другому, но близкому сегменту. Повоксельная обработка идет на основе вероятностной модели, что не решает проблему точного вычисления объема сегмента.
Из уровня техники [патент US20050207630A1, опубл. 14.02.2003] известен компьютерный метод обнаружения и классификации элементов лёгких в наборе КТ изображения включая контур тела, дыхательные путей, легкое и пищевод. Сегментация определяет регионы КТ изображения для поиска потенциальных новообразований. Компьютер анализирует каждую область лёгкого для обнаружения и идентификации трехмерного дерева сосудов, представляющего кровеносные сосуды в средостении или рядом с ним. Затем компьютер обнаруживает объекты, прикрепленные к поверхности лёгких или к дереву сосуда, чтобы гарантировать, что эти объекты не исключены из рассмотрения как потенциальные конкреции. После этого компьютер выполняет анализ сходства пикселей в соответствующих областях в пределах КТ изображения для обнаружения потенциальных конкреций и выполняет один или несколько методов экспертного анализа, используя особенности потенциальных конкреций, чтобы определить, является ли каждый из потенциальных конкреций или нет новообразованием в ткани лёгких.
Недостатком является низкая производительность схемы обработки изображения. Большую часть времени обработки приходимся на матричные вычисления, что требует применения дополнительных вычислительных ресурсов, вследствие чего увеличивается время обработки.
Из уровня техники [патент US8577114B2, опубл. 20.02.2012] известно устройство и способ расширения поля зрения среза компьютерной томографии. Итеративное вычисление выполняется на исходном КТ-изображении для получения оценки изображения. Вычисленная оценка восстановленного изображения включает в себя исходный центр изображения и оценку усеченной части за пределами центра изображения. В расчетах используется маска изображения с центром изображения в качестве одной границы.
Недостатком является отсутствие возможности построения воксельного трёхмерного изображения компьютерной томографии лёгких.
Из уровня техники [патент US20150024337A1, опубл. 22.01.2015] известен метод интеграции новой информации, содержащей значения из карт глубины, в существующее трехмерное представление объекта, указанное представление, содержащее поверхность, которая является виртуальным представлением поверхности указанного объекта, указанная поверхность
имеет внутреннюю сторону и внешнюю сторону. Представление в виде функции усеченного расстояния со знаком (TSDF), которая отмечается в отдельных вокселях в сетке вокселов, при этом функция усеченного расстояния со знаком (TSDF) указывает в соответствующих координатах в пределах определенного объема расстояние до следующего вокселя поверхности.
Недостатком является сложность вычисления карты глубины для каждого вокселя, учитывающего карты глубин всех соседних вокселов.
Из уровня техники [патент US10580131B2, опубл. 11.02.2018] известна свёрточная нейронная сеть для сегментации медицинских анатомических изображений. Предоставляется метод для сегментация изображения целевого пациента, содержащее: предоставление целевого 2D-среза и 2D-среза ближайшего соседа трехмерного анатомического изображения и вычисление обученной многосрезовой полностью сверточной нейронной сети (multi-slice FCN), сегментация области, включающая в себя определенный анатомический элемент внутри тела, который простирается в пространстве через целевой 2D-срез и ближайший соседний 2D-срез (-ы), при этом целевой 2D-срез и каждый из ближайших соседних 2D-срезов обрабатываются соответствующим сжимающимся компонентом последовательного сжатия в соответствии с порядком целевого двухмерного среза и ближайшего соседнего двухмерного среза (ов) на основе последовательности двухмерных срезов, извлеченных из трехмерного анатомического изображения, при этом, выходные сигналы последовательных сжимающихся компонентов объединяются и обрабатываются одним расширяющимся компонентом, который выводит сегментация маска для целевого 2D-среза.
Недостатком является низкая производительность метода на стандартных вычислительных средствах.
Сущностью заявленного способа создания объёмных изображений с применением устройства является Устройство создания многомерных виртуальных изображений органов дыхания человека состоящее из регистров блоков памяти шины сообщений (1), отличающиеся тем, что устройство выполнено с возможностью параллельно обрабатывать все входящие сообщения без потерь входного многоразрядного накопителя изображений (2), контроллера управления формированием пакетов сообщений и отправки в шину сообщений (3), первого преобразователя изображения в многомерный тензор пикселей (4), цифрового сигнального процессора (5), второго преобразователя изображений в многомерный тензор пикселей (6), нейроморфного процессора (7), выполняющего сегментацию изображения на классы частей лёгкого, с возможностью выдачи на выход сформированного сообщения в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов вокселов статистической модели текстуры, третьего преобразователя изображений в многомерный тензор пикселей (8), программируемой логической интегральной схемы (9), выполняющей построение объёмного изображения органов дыхания человека, с возможностью формирования поворота и смещения каждого элемента тензора с помощью сообщения qi, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов yi с заданной матрицей конфигурации, который является выходом устройства, содержащим сообщение с векторами формы объёмного изображением органов дыхания человека, регистра пакетов шины сообщений (10), адаптера маршрутизации сообщений, формирующего ключ маршрутизации (11).
2. Способ реализации заявленного технического решения заключается в том, что используя заявленное устройство осуществляет следующую последовательность действий.
Способ создания объёмных изображений с применением устройства, заключающийся в том, что берут последовательность изображений в формате DICOM подают в виде параллельно подаваемого потока из изображений DICOM, содержащих полный набор входных изображений хi на входной многоразрядный накопитель изображений (2), далее из набора изображений xi * формируются пакеты в контроллере управления формированием пакетов сообщений и отправки в шину сообщений (3) и подаются в регистр блоков памяти шины сообщений (1), далее пакеты сообщений подают ступают в адаптер маршрутизации сообщений (11), формирующий ключ маршрутизации и адрес первого преобразователя изображений в многомерный тензор пикселей (4) и далее их подают поступают на регистр пакетов шины сообщений (10), в котором пакетам сообщений присваиваются биты заголовка и окончания, время, размер, уникальный идентификатор далее, после присвоения пакет отправляется в регистр блоков памяти шины сообщений (1) и записываются там в очередь, реализованную как массив Flash ROM, далее, сообщения, согласно очерёдности и в соответствии с адресом поступают из регистра блоков памяти шины сообщений (1) на первый преобразователь изображения (4), который обрабатывает очередь сообщений выполняя низкоуровневую обработку, преобразуя массив пикселей в тензор, далее после преобразования в тензор первый преобразователь изображений (4) подают выходной многомерный тензор пикселей на цифровой сигнальный процессор (5), реализуя алгоритм Брезенхэма в трёхмерном пространстве, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса второго преобразователя изображений (6), далее пакет поступает на второй преобразователь изображений (6), в котором формируется многомерный тензор яркостей двумерных пикселей изображения, который далее поступает на нейроморфный процессор (7), который в свою очередь сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив вокселов изображения лёгких и массив вокселов маски сегментации в виде номеров классов пикселей, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса третьего преобразователя изображений (8), далее пакет поступает на третий преобразователь изображений (8), в котором формируется многомерный тензор вокселов с перекрёстной проверкой воксельных функций набора сегментированных изображений, который далее поступает на программируемую логическую интегральную схему (9), при этом, действия в элементах № (1) № (4) № (6), № (8), № (11) выполняются параллельно, а программируемая логическая интегральная схема (9) реализует превращение тензора вокселов в трёхмерный тензор вокселов методом наслоения и реализует поворот и смещение каждого элемента тензора с помощью сообщения qi, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов yi с заданной матрицей конфигурации, который в свою очередь является выходом устройства, содержащим сообщение с объёмным изображением органов дыхания человека, при этом, действия в элементах № (2) № (10) № (5), № (7), № (9) выполняются параллельно с получением на выходе многомерных виртуальных изображений органов дыхания человека.
Заявленное устройство создания многомерных виртуальных изображений органов дыхания человека состоит из следующих конструктивных элементов.
1 - регистр блоков памяти шины сообщений (массив Flash ROM)
2 - входной многоразрядный накопитель изображений
3 - контроллер управления формированием пакетов сообщений и отправки в шину сообщений
4 - первый преобразователь изображения в многомерный тензор пикселей
5 - цифровой сигнальный процессор (DSP)
6 - второй преобразователь изображений в многомерный тензор пикселей
7 - нейроморфный процессор (NPU)
8 - третий преобразователь изображений в многомерный тензор пикселей
9 - программируемая логическая интегральная схема (ПЛИС)
10 - регистр пакетов шины сообщений
11 - адаптер маршрутизации сообщений, формирующий ключ маршрутизации.
Способ реализации заявленного технического решения заключается в том, что используя заявленное устройство осуществляет следующую последовательность действий.
Способ создания объёмных изображений с применением устройства, заключающийся в том, что берут последовательность изображений в формате DICOM подают в виде потока из изображений DICOM, содержащих полный набор входных изображений хi на входной многоразрядный накопитель изображений (2), далее из набора изображений xi * формируются пакеты в контроллере управления формированием пакетов сообщений и отправки в шину сообщений (3) и подаются в регистр блоков памяти шины сообщений (1). Пакеты сообщений поступают в адаптер маршрутизации сообщений (11), формирующий ключ маршрутизации и адрес первого преобразователя изображений в многомерный тензор пикселей (4) и далее поступают на регистр пакетов шины сообщений (10), в котором пакетам сообщений присваиваются биты заголовка и окончания, время, размер, уникальный идентификатор. После присвоения пакет отправляется в регистр блоков памяти шины сообщений (1) и записываются там в очередь, реализованную как массив Flash ROM. Сообщения, согласно очерёдности и в соответствии с адресом поступают из регистра блоков памяти шины сообщений (1) на первый преобразователь изображения (4), который обрабатывает очередь сообщений выполняя низкоуровневую обработку, преобразуя массив пикселей в тензор. После преобразования в тензор первый преобразователь изображений (4) подаёт выходной многомерный тензор пикселей на цифровой сигнальный процессор (5), реализуя алгоритм Брезенхэма в трёхмерном пространстве. Сформированный массив вокселов поступает поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса второго преобразователя изображений (6). Далее пакет поступает на второй преобразователь изображений (6), в котором формируется многомерный тензор яркостей двумерных пикселей изображения, который поступает на нейроморфный процессор (7), который сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив вокселов изображения лёгких и массив вокселов маски сегментации в виде номеров классов пикселей. Сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса третьего преобразователя изображений (8). Далее пакет поступает на третий преобразователь изображений (8), в котором формируется многомерный тензор вокселов с перекрёстной проверкой воксельных функций набора сегментированных изображений, который поступает на программируемую логическую интегральную схему (9). Действия в элементах № (1) № (4) № (6), № (8), № (11) выполняются параллельно. Программируемая логическая интегральная схема (9) реализует превращение тензора вокселов в трёхмерный тензор вокселов методом наслоения и реализует поворот и смещение каждого элемента тензора с помощью сообщения qi, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов yi с заданной матрицей конфигурации, который является выходом устройства, содержащим сообщение с объёмным изображением органов дыхания человека. Действия в элементах № (2) № (10) № (5), № (7), № (9) выполняются параллельно.
Преимуществом заявленного технического решения с использованием заявленного устройства является получение нового результата – многомерного сегментированного виртуального изображения органов дыхания человека, которое создано по двум типам параметров: параметрам, связанных с формой контуров сегментов изображения, и параметрам, связанных со статистической моделью текстуры изображения компьютерной томографии формата DICOM путём сочетания признаков устройства. Процедура перекрёстной проверки воксельных функций обеспечивает нормализацию положения всех тензоров форм для того чтобы компенсировать различия в масштабе, наклоне и смещении, тем самым минимизируя ошибку построения трёхмерной тензорной воксельной формы многомерной модели органов дыхания человека.
Другим преимуществом является высокая точность сегментации объектов в 3D модели лёгких ее многомерных слоёв, достигаемая засчёт использования совокупности признаков заявленного технического решения.
Заявленное техническое решение иллюстрируется следующими материалами.
На Фиг. 1 – представлено схематическое изображение устройства создания многомерных виртуальных изображений органов дыхания человека;
На Фиг. 2 – представлено двумерное яркостное сегментированное с помощью настоящей технологии изображение снимка компьютерной томографии лёгких человека;
На Фиг. 3 – представлено созданные объёмные нормальное и повёрнутое изображения трахеи и бронхов человека.
На Фиг. 4 – представлено созданное многомерное виртуальное изображение лёгких человека;
На Фиг. 5 – представлено повёрнутое в виртуальном пространстве созданное многомерное виртуальное изображение лёгких человека.
На фиг.6 – представлено исходное изображение и автоматически выделенная с помощью устройства маска области бронхов.
На фиг.7 – представлено многомерное виртуальное изображение лёгких первого пациента.
На фиг. 8 – представлено многомерное виртуальное изображение второго пациента.
Далее заявителем представлен пример детальной реализации заявленного технического решения в отношении устройства и способа.
На фиг. 1 представлено устройство создания многомерных виртуальных изображений, которое содержит регистр блоков памяти шины сообщений 1, который строится на микросхемах класса Flash ROM, отличающийся тем, что параллельно обрабатывает сообщения без потерь, в регистр подается вектор сообщений с помощью входа, который также является выходом блока контроллера управления формированием пакетов сообщений 3, построенный на микросхеме класса ATmega, получающим упорядоченный вектор изображений xi *, вход которого связан с выходом накопителя изображений 2, построенный на микросхеме памяти класса SRAM, получающего набор входных изображений хi. К регистру блоков памяти шины сообщений 1 подключены входы первого преобразователя изображений 4, реализованный на микросхеме параллельного центрального процессорного устройства с фиксированной системой команд, выходы которого подключены к цифровому сигнальному процессору 5, реализованного на микросхеме класса DSP, выходы которого подключены к шине сообщений 1. К регистру блоков памяти шины сообщений 1 подключены входы второго преобразователя изображений 6, реализованного на микросхеме параллельного центрального процессорного устройства с фиксированной системой команд, выходы которого подключены к нейроморфному процессору 7, реализованного на микросхеме класса NPU, выходы которого подключены к шине сообщений 1. К регистру блоков памяти шины сообщений 1 подключены входы третьего преобразователя изображений 8, реализованного на микросхеме параллельного центрального процессорного устройства с фиксированной системой команд, выходы которого подключены к программируемой логической интегральной схеме 9, реализуемой на микросхеме класса CPLD, выходы которого подключены к регистру блоков памяти шины сообщений 1 и к единому выходу, на который подаётся результирующий тензор вокселов yi. К регистру блоков памяти шины сообщений 1 подключен вход адаптера маршрутизации сообщений 11, реализованный на микросхеме программируемого периферийного адаптера ввода-вывода параллельной информации, выход которого подключен к регистр адресов шины сообщений 10, построенный на микросхеме памяти класса SRAM, и входом, на который подается вектор параметров отображения, выходы подключены к регистру блоков памяти шины сообщений 1, на который подаются сообщения с адресом приёмника и получателя.
На фиг. 2 представлено двумерное яркостное изображение КТ-снимка среза лёгких конкретного человека, с участками тканей лёгких, трахеи и бронхов. Серым цветом показано исходное КТ изображение, цветными сегментами, показан результат автоматической сегментации тканей лёгких, трахеи и бронхов с помощью нейроморфного процессора с предварительной обработкой на цифровом сигнальном процессоре и применением модели глубинной нейронной сети, реализованной как программный модуль. Результатом сегментации является маска, состоящая из вокселов, и являющаяся основой для формирования многомерного изображения лёгких человека.
На фиг. 3 представлено созданное с помощью устройства многомерное виртуальное изображение бронхов и трахей в иммерсивной среде. Представлено нормальное и повёрнутое изображения трахеи и бронхов человека. Построение многомерного изображения из сегментированных областей и поворот на 35° осуществлялся с помощью входной команды на программируемую логическую интегральную схему в составе устройства.
На фиг. 4 представлено созданное с помощью устройства многомерное виртуальное изображение тканей лёгких, бронхов и трахей в иммерсивной среде. В представленном изображении прозрачные участки отображают ткань лёгких в нормальном состоянии. Показаны трахея и бронхи в трёхмерном сегментированном виде как составные участки лёгкого.
На фиг. 5 представлено созданное с помощью устройства многомерное виртуальное изображение тканей лёгких, пораженных участков тканей лёгких, бронхов и трахей и поворот на 70° в лево в иммерсивной среде. Плотными рваными участками показаны области поражения тканей лёгких конкретного человека. Области поражения тканей построены по результату сегментации областей поражения на КТ изображениях нейроморфным процессором устройства. Построение многомерной модели и поворот реализован программируемой логической интегральной схемой в составе устройства. Показанное изображение является результатом применения устройства к набору снимков компьютерной томографии лёгких конкретного человека.
Работа устройства основана на схеме создания многомерных виртуальных изображений методом построения разреженного массива вокселов из полного массива вокселов, применяемого в создании трёхмерных моделей в виртуальной среде с использованием двух типов параметров, реализующих перекрёстную проверку воксельных функций: параметров, связанных с формой сегментов изображений среза лёгких, и параметров, связанных со статистической моделью текстуры – набором точек, определяющих контур сегмента поставленных, на различных итерациях работы нейронной сети и определении линии границы сегмента лёгкого. Данные параметры представлены воксельными функциями – модели примитивов тригонометрических функций. Между двумя типами параметров минимизируется расстояние с помощью расчета и минимизации метрического расстояния. Отличие от известного алгоритма Брезенхэма для двумерного случая заключается в построении линии с помощью направляющего вектора E между двумя ближайшими вокселями на любом расстоянии при этом формируются промежуточные воксели. Сформированный массив вокселов сегментируется с помощью нейронной сети на изображения элементов снимка лёгких нейроморфным процессором. Применение нейроморфного процессора повышает точность сегментации разряженного массива вокселов. При выводе на экран формируется разряженный массив вокселов, который включает только воксели видимой части. Формирование разряженного массива происходит с учетом ракурса отображения. При этом невидимые воксели не участвуют в обработке, что повышает производительность отображения. Для каждого вокселя рассчитывается компилированная матрицей поворота и сдвига M (4× 4). Матрица M выглядит следующим образом
где – вектор параллельного перевода, определяющий смещение от подматрицы порядка 3x3 в точки отсчета;
подматрица размера 3×3 из формулы, 01×3 - построчная последовательность, состоящая из нулевых элементов. Применение матрицы M позволяет строить сплошные массивы вокселов между соседними вокселями, но только для видимого ракурса, заданного с помощью входного сообщения qi, тем самым формируя разряженный массивом вокселов, что увеличивает производительность создания трёхмерных изображений за счет того, что расчёты при отображении ведутся только для видимых в текущий момент на экране вокселов, учитывая заданное положение с помощью входного сообщения qi, содержащего вектор положения всего объекта матрицей конфигурации с, которая описывает ракурс трёхмерного объекта на экране. Матрица конфигурации с выглядит следующим образом:
где Θ,ϕ,ψ – углы Эйлера, tx,ty,tz – параллельный перенос модели. Итоговый вектор векселей получается разряженный, что снижает вычислительную нагрузку на программируемую логическую интегральную схему, на которой идёт пересчет итогового выходного разряженного массива вокселов, при отображении и повышает быстродействие создания многомерных виртуальных изображений. Предварительно поток из изображений DICOM, содержащий полный набор вокселов поступает на накопитель изображений 2 и формируется в одномерный вектор с присвоением порядкового номера элемента. Формируется пакет сообщения блоком контроллера управления сообщений 3, где пристыковываются биты заголовка и окончания, время, размер и уникальный идентификатор. Регистр блоков памяти шины сообщений 1 принимает сообщения на обработку по принципу запроса получателя, которыми являются первый преобразователь изображений 4, второй преобразователь изображений 6, третий преобразователь изображений 8 и адаптер маршрутизации сообщений 11. Поступая на преобразователи изображений из сообщения выделяется матрица изображений и накладываются данные о цвете формируя тензор. Первый преобразователь изображений 4 подаёт выходной одномерный массив вокселов на цифровой сигнальный процессор, реализуя алгоритм Брезенхэма в трёхмерном пространстве с учётом применения матрицы. Сформированный массив вокселов поступает на второй преобразователь изображений 6, в котором формируется входной вектор двумерной проекции значения которого формируется в массив яркостей двумерных пикселей изображения, подаваемый как выходное итоговое плоское изображение и 0 < m < М-1, а 0 < n<N — 1, является яркостью пикселя (m, n), который подаётся на нейроморфный процессор 7. Нейроморфный процессор 7 осуществляет работу нейронной сети, которая сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов пикселей. Третий преобразователь изображений 8 соединён с регистром блоков памяти шины сообщений 1 через вход, на который поступает сообщение, содержащее матрицу текстур фильтрованного изображения и маску. Преобразователь изображений 8 осуществляет преобразование изображения и маски в тензоры, выполняя проверку воксельных функций, и передает их на выходы, которые связаны со входами программируемой логической интегральной схемой 9. Программируемая логическая интегральная схема 9 реализует превращение тензора вокселов в трёхмерный тензор вокселов и реализует поворот и смещение каждого элемента тензора с помощью сообщения qi, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов yi с заданной матрицей конфигурации. Положение лёгких можно установить с помощью матрицы конфигурации.
Адаптер маршрутизации сообщений 11 присваивает адреса отправителя и получателя и записывает их в пакеты пришедшие от блоков 3, 5, 7, а затем передает их на вход регистра пакетов шины сообщений 10, выход которого соединён с регистром блоков памяти шины сообщений 1, и присваивает адреса получателя и отправителя заданным сообщениям.
Описание примеров применения устройства и способа.
Приведены примеры применения устройства создания многомерных виртуальных изображений органов дыхания человека и способа создания объёмных изображений с применением устройства для изображений компьютерной томографии области груди с последующим созданием сегментированного многомерного виртуального изображения.
Пример №1.
На вход устройства подано 406 снимков компьютерной томографии области груди первого пациента. Пациент по предварительному обследованию здоров – лёгкие в норме.
Пример исходного изображения компьютерной томографии нормальных лёгких первого пациента. Цветом показана сформированная устройством маска, отображающая область бронхов.
На фиг.6 показано исходное изображение и автоматически выделенная с помощью устройства маска области бронхов.
При создании многомерного виртуального изображения обработаны все 406 снимков.
Пример №2.
На вход устройства подано 482 снимка компьютерной томографии области груди второго пациента. Пациент по предварительному обследованию имеет поражение лёгочной ткани более 30%.
Пример созданного многомерного виртуального изображения первого пациента без поражения лёгочной ткани.
На основе выделенных сегментов с помощью масок устройство создало многомерное виртуальное изображение лёгких первого пациента, показанного на фиг.7, с видимыми отдельными сегментами лёгочной ткани, трахеи и бронхов, вокселы которых разделены логически по классам: лёгочная ткань, трахея и бронхи, что является новым результатом ранее не достижимым без использования устройства и способа его применения.
– Пример исходного изображения компьютерной томографии нормальных лёгких второго пациента без маски – видны области поражения тканей лёгких.
На фиг.8 показано исходное изображение компьютерной томографии среза лёгких с видимыми участками нормальной лёгочной ткани, бронхов и пораженной лёгочной ткани.
При создании многомерного виртуального изображения обработаны все 482 снимка.
Пример созданного многомерного виртуального изображения второго пациента с созданными многомерными виртуальными изображениями сегментов лёгких, трахеи, бронхов и поражения лёгочной ткани.
На фиг.9 представлено созданное с помощью устройства многомерное виртуальное изображение второго пациента на основе выделенных сегментов лёгочной ткани, трахеи, бронхов и областей поражения лёгких, вокселы которых разделены логически по классам: лёгочная ткань, трахея, бронхи и поражённая лёгочная ткань, что является новым результатом ранее не достижимым без использования устройства и способа его применения.
Claims (2)
1. Устройство создания многомерных виртуальных изображений органов дыхания человека, состоящее из регистров блоков памяти шины сообщений (1), отличающееся тем, что устройство выполнено с наличием входного многоразрядного накопителя изображений (2), контроллера управления формированием пакетов сообщений и отправки в шину сообщений (3), первого преобразователя изображения в многомерный тензор пикселей (4), цифрового сигнального процессора (5), второго преобразователя изображений в многомерный тензор пикселей (6), нейроморфного процессора (7), выполняющего сегментацию изображения на классы частей лёгкого, с возможностью выдачи на выход сформированного сообщения, в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов вокселов статистической модели текстуры, третьего преобразователя изображений в многомерный тензор пикселей (8), программируемой логической интегральной схемы (9), выполняющей построение объёмного изображения органов дыхания человека, с возможностью формирования поворота и смещения каждого элемента тензора с помощью сообщения qi, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов yi с заданной матрицей конфигурации, который является выходом устройства, содержащим сообщение с векторами формы объёмного изображением органов дыхания человека, регистра пакетов шины сообщений (10), адаптера маршрутизации сообщений, формирующего ключ маршрутизации (11).
2. Способ создания объёмных изображений с применением устройства, заключающийся в том, что берут последовательность изображений в формате DICOM, подают в виде параллельно подаваемого потока из изображений DICOM, содержащих полный набор входных изображений хi, на входной многоразрядный накопитель изображений (2), далее из набора изображений xi * формируются пакеты в контроллере управления формированием пакетов сообщений и отправки в шину сообщений (3) и подаются в регистр блоков памяти шины сообщений (1), далее пакеты сообщений подают в адаптер маршрутизации сообщений (11), формирующий ключ маршрутизации и адрес первого преобразователя изображений в многомерный тензор пикселей (4), и далее их подают на регистр пакетов шины сообщений (10), в котором пакетам сообщений присваивают биты заголовка и окончания, время, размер, уникальный идентификатор, далее после присвоения пакет отправляется в регистр блоков памяти шины сообщений (1) и записывается там в очередь, реализованную как массив Flash ROM, далее сообщения согласно очерёдности и в соответствии с адресом поступают из регистра блоков памяти шины сообщений (1) на первый преобразователь изображения (4), который обрабатывает очередь сообщений, выполняя низкоуровневую обработку, преобразуя массив пикселей в тензор, далее после преобразования в тензор первый преобразователь изображений (4) подает выходной многомерный тензор пикселей на цифровой сигнальный процессор (5), реализуя алгоритм Брезенхэма в трёхмерном пространстве, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса второго преобразователя изображений (6), далее пакет поступает на второй преобразователь изображений (6), в котором формируется многомерный тензор яркостей двумерных пикселей изображения, который далее поступает на нейроморфный процессор (7), который в свою очередь сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив вокселов изображения лёгких и массив вокселов маски сегментации в виде номеров классов пикселей, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса третьего преобразователя изображений (8), далее пакет поступает на третий преобразователь изображений (8), в котором формируется многомерный тензор вокселов с перекрёстной проверкой воксельных функций набора сегментированных изображений, который далее поступает на программируемую логическую интегральную схему (9), при этом действия в регистре блоков памяти шины сообщений (1) , первого преобразователя изображения в многомерный тензор пикселей (4), второго преобразователя изображения в многомерный тензор пикселей (6), третьего преобразователя изображения в многомерный тензор пикселей (8), адаптера маршрутизации сообщений, формирующего ключ маршрутизации (11), выполняются параллельно, а программируемая логическая интегральная схема (9) реализует превращение тензора вокселов в трёхмерный тензор вокселов методом наслоения и реализует поворот и смещение каждого элемента тензора с помощью сообщения qi, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов yi с заданной матрицей конфигурации, который в свою очередь является выходом устройства, содержащим сообщение с объёмным изображением органов дыхания человека, при этом действия в входном многоразрядном накопителе изображений (2), регистре пакетов шины сообщений (10), цифровом сигнальном процессоре (5), нейроморфном процессоре (7), программируемой логической интегральной схеме (9) выполняются параллельно с получением на выходе многомерных виртуальных изображений органов дыхания человека.
Publications (1)
Publication Number | Publication Date |
---|---|
RU2783364C1 true RU2783364C1 (ru) | 2022-11-11 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2729368C1 (ru) * | 2020-06-10 | 2020-08-06 | Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр хирургии имени А.В. Вишневского» Министерства здравоохранения Российской Федерации (ФГБУ "НМИЦ хирургии им. А.В.Вишневского" Минздрава России) | Способ оценки тяжести пневмонии при covid-19 с помощью ультразвукового метода исследования |
CN111798437A (zh) * | 2020-07-09 | 2020-10-20 | 兴义民族师范学院 | 一种基于ct影像的新型冠状病毒肺炎ai快速诊断方法 |
CN112288843A (zh) * | 2020-09-10 | 2021-01-29 | 深圳市智影医疗科技有限公司 | 一种病灶的三维构建方法、装置、终端设备及存储介质 |
US11045271B1 (en) * | 2021-02-09 | 2021-06-29 | Bao Q Tran | Robotic medical system |
US20210327054A1 (en) * | 2020-04-15 | 2021-10-21 | Siemens Healthcare Gmbh | Medical image synthesis of abnormality patterns associated with covid-19 |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210327054A1 (en) * | 2020-04-15 | 2021-10-21 | Siemens Healthcare Gmbh | Medical image synthesis of abnormality patterns associated with covid-19 |
RU2729368C1 (ru) * | 2020-06-10 | 2020-08-06 | Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр хирургии имени А.В. Вишневского» Министерства здравоохранения Российской Федерации (ФГБУ "НМИЦ хирургии им. А.В.Вишневского" Минздрава России) | Способ оценки тяжести пневмонии при covid-19 с помощью ультразвукового метода исследования |
CN111798437A (zh) * | 2020-07-09 | 2020-10-20 | 兴义民族师范学院 | 一种基于ct影像的新型冠状病毒肺炎ai快速诊断方法 |
CN112288843A (zh) * | 2020-09-10 | 2021-01-29 | 深圳市智影医疗科技有限公司 | 一种病灶的三维构建方法、装置、终端设备及存储介质 |
US11045271B1 (en) * | 2021-02-09 | 2021-06-29 | Bao Q Tran | Robotic medical system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11961226B2 (en) | Medical image recognition method, model training method, and computer device | |
CN107622492B (zh) | 肺裂分割方法及系统 | |
US7529396B2 (en) | Method, computer program product, and apparatus for designating region of interest | |
CN108615237A (zh) | 一种肺部图像处理方法及图像处理设备 | |
CN110992377B (zh) | 图像分割方法、装置、计算机可读存储介质和设备 | |
US20080107318A1 (en) | Object Centric Data Reformation With Application To Rib Visualization | |
CN111862171A (zh) | 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法 | |
JP7398377B2 (ja) | 3d医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス | |
KR20160004865A (ko) | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 | |
CN112861961B (zh) | 肺血管分类方法及装置、存储介质及电子设备 | |
EP4033451A1 (en) | Interactive image editing using signed distance fields | |
US11288812B2 (en) | Automatic segmentation process of a 3D medical image by one or several neural networks through structured convolution according to the anatomic geometry of the 3D medical image | |
Ben-Hamadou et al. | 3DTeethSeg'22: 3D Teeth Scan Segmentation and Labeling Challenge | |
RU2783364C1 (ru) | Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства | |
JP7456928B2 (ja) | 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
JP4473578B2 (ja) | 体の構造の孤立した視覚化されたものを形成する方法及び装置 | |
Tong et al. | Computer-aided lung nodule detection based on CT images | |
Jia et al. | Automated detection of pulmonary nodules in HRCT images | |
Mukundan | Reconstruction of high resolution 3D meshes of lung geometry from HRCT contours | |
Dhar et al. | Automatic tracing of mandibular canal pathways using deep learning | |
CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 | |
CN117437350B (zh) | 一种用于手术术前规划的三维重建系统及方法 | |
RU2803978C2 (ru) | Процесс автоматической сегментации трехмерного медицинского изображения с помощью нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией трехмерного медицинского изображения | |
JP7462188B2 (ja) | 医用画像処理装置、医用画像処理方法、およびプログラム | |
Preethi et al. | 3D Echocardiogram Reconstruction Employing a Flip Directional Texture Pyramid. |