RU2015102613A - Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства - Google Patents

Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства Download PDF

Info

Publication number
RU2015102613A
RU2015102613A RU2015102613A RU2015102613A RU2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A
Authority
RU
Russia
Prior art keywords
images
anatomical
real
display device
video display
Prior art date
Application number
RU2015102613A
Other languages
English (en)
Inventor
Хайтам ЭЛАВАРИ
Александра ПОПОВИЧ
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2015102613A publication Critical patent/RU2015102613A/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

1. Система медицинской визуализации, содержащая:компьютерное устройство, включающее в себя процессор (114) и память (116), соединенную с процессором, причем память хранит:записанные анатомические изображения (130) объекта; имодуль (142) совмещения, выполненный с возможностью совмещения особенностей в предоперационных изображениях; совмещения особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях; и выравнивания записанных анатомических изображений с изображениями (134) в реальном масштабе времени;портативное устройство (132) отображения видео, включающее в себя камеру (136) и экран (133) дисплея, причем портативное устройство отображения видео выполнено с возможностью сбора изображений объекта в реальном масштабе времени, подлежащих совмещению с записанными анатомическими изображениями объекта, так что по меньшей мере часть записанных анатомических изображений одновременно отображается на портативном устройстве отображения видео, совмещенными с изображениями в реальном масштабе времени; илинию (140) связи, выполненную с возможностью выполнения связи и переноса данных между компьютерным устройством и портативным устройством отображения видео.2. Система по п. 1, в которой портативное устройство (132) отображения видео включает в себя смартфон или планшет.3. Система по п. 1, в которой модуль (142) совмещения определяет и отслеживает общие точки между записанными анатомическими изображениями и изображениями видео в реальном масштабе времени.4. Система по п. 1, в которой по меньшей мере часть записанных анатомических изображений включает в себя наложение (146), отображаемое одновременно с

Claims (29)

1. Система медицинской визуализации, содержащая:
компьютерное устройство, включающее в себя процессор (114) и память (116), соединенную с процессором, причем память хранит:
записанные анатомические изображения (130) объекта; и
модуль (142) совмещения, выполненный с возможностью совмещения особенностей в предоперационных изображениях; совмещения особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях; и выравнивания записанных анатомических изображений с изображениями (134) в реальном масштабе времени;
портативное устройство (132) отображения видео, включающее в себя камеру (136) и экран (133) дисплея, причем портативное устройство отображения видео выполнено с возможностью сбора изображений объекта в реальном масштабе времени, подлежащих совмещению с записанными анатомическими изображениями объекта, так что по меньшей мере часть записанных анатомических изображений одновременно отображается на портативном устройстве отображения видео, совмещенными с изображениями в реальном масштабе времени; и
линию (140) связи, выполненную с возможностью выполнения связи и переноса данных между компьютерным устройством и портативным устройством отображения видео.
2. Система по п. 1, в которой портативное устройство (132) отображения видео включает в себя смартфон или планшет.
3. Система по п. 1, в которой модуль (142) совмещения определяет и отслеживает общие точки между записанными анатомическими изображениями и изображениями видео в реальном масштабе времени.
4. Система по п. 1, в которой по меньшей мере часть записанных анатомических изображений включает в себя наложение (146), отображаемое одновременно с изображениями видео в реальном масштабе времени.
5. Система по п. 1, дополнительно содержащая модуль (148) обработки изображения, выполненный с возможностью компенсации движения по меньшей мере одного из: визуализируемой анатомической особенности и перемещения портативного устройства отображения видео.
6. Система по п. 5, в которой анатомическая особенность включает в себя бьющееся сердце, и по меньшей мере часть записанных анатомических изображений корректируется так, чтобы отслеживать движение бьющегося сердца.
7. Система по п. 5, дополнительно содержащая матрицу H гомографии, вычисляемую во времени из целевой анатомической особенности в визуализируемой анатомической особенности, причем матрица H применяется для деформирования записанных анатомических изображений для сохранения совмещения с изображениями в реальном масштабе времени.
8. Система по п. 1, в которой записанные анатомические изображения включают в себя предоперационные или интраоперационные изображения (130), собранные с использованием одного или нескольких методов визуализации.
9. Система по п. 1, дополнительно содержащая модуль (148) обработки изображения, выполненный с возможностью обеспечения особенностей наложения из записанных анатомических изображений для наложения на изображения в реальном масштабе времени для отображения на портативном устройстве отображения видео.
10. Система по п. 9, в которой перемещение портативного устройства отображения видео изменяет изображения в реальном масштабе времени и особенности наложения соответствующим образом.
11. Система по п. 1, дополнительно содержащая кронштейн (152) для фиксирования положения портативного устройства отображения видео во время процедуры.
12. Портативное устройство отображения видео для медицинской визуализации, содержащее:
камеру (136), выполненную с возможностью сбора видео в реальном масштабе времени;
экран (133) отображения, выполненный с возможностью отображения видео в реальном масштабе времени одновременно с изображениями (146) наложения, совмещенными с изображениями (134) в реальном масштабе времени;
процессор (114); и
память (116), соединенную с процессором, причем память хранит:
записанные анатомические изображения (130) объекта; и
модуль (142) совмещения, выполненный с возможностью совмещения особенностей в предоперационных изображениях; совмещения особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях; и выравнивания записанных анатомический изображений с изображениями в реальном масштабе времени;
причем изображения наложения включают в себя по меньшей мере часть хранимых анатомических изображений и отображаются на портативном устройстве отображения видео, чтобы оказывать помощь пользователю при просмотре анатомических особенностей, которые не являются легко наблюдаемыми.
13. Устройство по п. 12, в котором портативное устройство (132) отображения видео включает в себя смартфон или планшет.
14. Устройство по п. 12, в котором модуль (142) совмещения определяет и отслеживает общие точки между записанными анатомическими изображениями и изображениями в реальном масштабе времени.
15. Устройство по п. 12, в котором по меньшей мере часть записанных анатомических изображений включает в себя скрытые коронарные артерии во время оперативного вмешательства на открытом сердце.
16. Устройство по п. 12, дополнительно содержащее модуль (148) обработки изображения, выполненный с возможностью компенсации движения по меньшей мере одного из: визуализируемой анатомической особенности и перемещения портативного устройства отображения видео.
17. Устройство по п. 16, в котором анатомическая особенность включает в себя бьющееся сердце, и по меньшей мере часть записанных анатомических изображений корректируются так, чтобы отслеживать движение бьющегося сердца.
18. Система по п. 16, дополнительно содержащая матрицу H гомографии, вычисляемую во времени из целевой анатомической особенности в визуализируемой анатомической особенности, причем матрица H применяется для деформирования записанных анатомических изображений для сохранения совмещения с изображениями в реальном масштабе времени.
19. Устройство по п. 16, в котором перемещение портативного устройства отображения видео изменяет изображения в реальном масштабе времени и изображения наложения соответствующим образом.
20. Устройство по п. 12, в котором записанные анатомические изображения включают в себя предоперационные или интраоперационные изображения (130), собранные с использованием одного или нескольких методов визуализации.
21. Способ медицинской визуализации, содержащий:
сохранение (702) анатомических изображений объекта;
обеспечение (704) портативного устройства отображения видео, включающего в себя камеру и экран дисплея, причем портативное устройство отображения видео выполнено с возможностью сбора изображений объекта в реальном масштабе времени;
совмещение особенностей в предоперационных изображениях;
совмещение особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях;
совмещение (710) по меньшей мере части анатомических изображений с изображениями в реальном масштабе времени; и
одновременное отображение (716) на портативном устройстве отображения видео по меньшей мере части анатомических изображений, совмещенных с изображениями в реальном масштабе времени.
22. Способ по п. 21, в котором портативное устройство (132) отображения видео включает в себя смартфон или планшет.
23. Способ по п. 21, в котором совмещение включает в себя отслеживание (712) общих точек между анатомическими изображениями и изображениями в реальном масштабе времени.
24. Способ по п. 21, дополнительно содержащий генерирование (714) наложения из по меньшей мере части анатомических изображений; и наложение (716) особенностей из анатомических изображений на изображения в реальном масштабе времени для отображения на портативном устройстве отображения видео.
25. Способ по п. 21, дополнительно содержащий компенсацию (720) движения по меньшей мере одного из: визуализируемой анатомической особенности и перемещения портативного устройства отображения видео.
26. Способ по п. 25, в котором анатомическая особенность включает в себя бьющееся сердце, и способ дополнительно содержит отслеживание (722) движения бьющегося сердца, чтобы корректировать по меньшей мере часть анатомических изображений.
27. Способ по п. 25, в котором компенсация движения включает в себя применение (724) матрицы H гомографии, вычисляемой во времени из целевой анатомической особенности в визуализируемой анатомической особенности, причем матрица H применяется для деформирования записанных анатомических изображений для сохранения совмещения с изображениями в реальном масштабе времени.
28. Способ по п. 25, в котором перемещение портативного устройства отображения видео изменяет (726) изображения в реальном масштабе времени и особенности наложения соответствующим образом.
29. Способ по п. 21, в котором анатомические изображения включают в себя предоперационные или интраоперационные изображения, собранные с использованием одного или нескольких методов визуализации.
RU2015102613A 2012-06-28 2013-06-28 Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства RU2015102613A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261665329P 2012-06-28 2012-06-28
US61/665,329 2012-06-28
PCT/IB2013/055329 WO2014002070A1 (en) 2012-06-28 2013-06-28 Overlay and registration of preoperative data on live video using a portable device

Publications (1)

Publication Number Publication Date
RU2015102613A true RU2015102613A (ru) 2016-08-20

Family

ID=49165799

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015102613A RU2015102613A (ru) 2012-06-28 2013-06-28 Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства

Country Status (7)

Country Link
US (1) US20150146946A1 (ru)
EP (1) EP2867864A1 (ru)
JP (1) JP2015529478A (ru)
CN (1) CN104428818A (ru)
BR (1) BR112014032136A2 (ru)
RU (1) RU2015102613A (ru)
WO (1) WO2014002070A1 (ru)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10743945B2 (en) 2012-10-02 2020-08-18 Radlink, Inc. Surgical method and workflow
JP6649260B2 (ja) 2014-02-04 2020-02-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化
CN106030657B (zh) * 2014-02-19 2019-06-28 皇家飞利浦有限公司 医学4d成像中的运动自适应可视化
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10248756B2 (en) * 2015-02-18 2019-04-02 Siemens Healthcare Gmbh Anatomically specific movie driven medical image review
JP6493877B2 (ja) * 2015-08-25 2019-04-03 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
WO2019079126A1 (en) 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
DE102017221924B3 (de) * 2017-12-05 2019-05-02 Siemens Healthcare Gmbh Verfahren zur Fusionierung eines Analysedatensatzes mit einem Bilddatensatz, Positionierungseinrichtung und Computerprogramm
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3707830B2 (ja) * 1995-07-04 2005-10-19 株式会社東芝 術式支援用画像表示装置
WO2001076496A1 (fr) * 2000-04-10 2001-10-18 Karl Storz Gmbh & Co. Kg Dispositif medical de positionnement d'informations sur des images intraoperatoires
JP4674948B2 (ja) * 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
EP1617779A1 (en) * 2003-04-28 2006-01-25 BRACCO IMAGING S.p.A. Surgical navigation imaging system
US7394946B2 (en) * 2004-05-18 2008-07-01 Agfa Healthcare Method for automatically mapping of geometric objects in digital medical images
WO2007135609A2 (en) * 2006-05-24 2007-11-29 Koninklijke Philips Electronics, N.V. Coordinate system registration
RU2009129139A (ru) * 2006-12-29 2011-02-10 Конинклейке Филипс Электроникс, Н.В. (Nl) Улучшенная регистрация изображений и способы для компенсировния интраоперационного движения в контролируемых по изображениям процедурах оперативного вмешательства
CN101833756A (zh) * 2009-03-10 2010-09-15 南通爱普医疗器械有限公司 神经外科手术导航系统中图谱的三维可视化方法
JP2011081556A (ja) * 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
JP5661453B2 (ja) * 2010-02-04 2015-01-28 株式会社東芝 画像処理装置、超音波診断装置、及び画像処理方法
CN101957325B (zh) * 2010-10-14 2012-05-23 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN102411781B (zh) * 2011-09-09 2013-11-13 华南理工大学 一种双能减影胸部x射线图像的运动校正系统

Also Published As

Publication number Publication date
BR112014032136A2 (pt) 2017-06-27
CN104428818A (zh) 2015-03-18
US20150146946A1 (en) 2015-05-28
JP2015529478A (ja) 2015-10-08
WO2014002070A1 (en) 2014-01-03
EP2867864A1 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
RU2015102613A (ru) Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства
KR102617605B1 (ko) 턱의 모션 추적
CN103845113B (zh) 无线手术放大镜及其利用方法、装置和系统
RU2714665C2 (ru) Направляющая система для позиционирования пациента для медицинской визуализации
US10448003B2 (en) System and method for triangulation-based depth and surface visualization
JP2018535568A (ja) 画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法
JP2016511049A5 (ru)
US9182361B2 (en) Digital X-ray imaging system with still and video capture modes
ATE247431T1 (de) Projektion von patientenbilddaten aus durchleuchtungs bzw. schichtbilderfassungsverfahren auf oberflächenvideobilder
WO2011053921A3 (en) Visual tracking and annotation of clinically important anatomical landmarks for surgical interventions
RU2011148415A (ru) Определеие глубины в реальном времени по монокулярным изображениям эндоскопа
JP2016501085A5 (ru)
JP2016013233A (ja) 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置
JP2008528164A5 (ru)
ATE502357T1 (de) Benutzerschnittstelle zur bewegungsanalyse bei kinematischen mr-studien
CN103815972A (zh) 腹胸腔镜的手术区域自动跟踪系统及方法
JP2016538083A5 (ru)
WO2019124111A1 (ja) 制御装置および制御方法
JP6356623B2 (ja) 画像処理装置、方法、及びプログラム
Olbrich et al. Respiratory motion analysis: Towards gated augmentation of the liver
WO2010048309A3 (en) A near real-time viewer for pet-guided tissue interventions
Spaedy et al. Accuracy of remote chest X-ray interpretation using Google Glass technology
JP6751763B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014212439A5 (ru)
CN203815583U (zh) 腹胸腔镜的手术区域自动跟踪系统

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20160629