JP7486603B2 - 拡張現実画像上に医用スキャン画像情報を補う方法及びシステム - Google Patents
拡張現実画像上に医用スキャン画像情報を補う方法及びシステム Download PDFInfo
- Publication number
- JP7486603B2 JP7486603B2 JP2022564308A JP2022564308A JP7486603B2 JP 7486603 B2 JP7486603 B2 JP 7486603B2 JP 2022564308 A JP2022564308 A JP 2022564308A JP 2022564308 A JP2022564308 A JP 2022564308A JP 7486603 B2 JP7486603 B2 JP 7486603B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- augmented reality
- processors
- dimensional
- reality image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 28
- 230000001502 supplementing effect Effects 0.000 title description 4
- 210000000056 organ Anatomy 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 15
- 210000004789 organ system Anatomy 0.000 claims description 9
- 239000013589 supplement Substances 0.000 claims description 4
- 210000003484 anatomy Anatomy 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 20
- 210000001519 tissue Anatomy 0.000 description 17
- 238000001356 surgical procedure Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 210000000624 ear auricle Anatomy 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Radiology & Medical Imaging (AREA)
- Robotics (AREA)
- Epidemiology (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Primary Health Care (AREA)
- Gynecology & Obstetrics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Description
本出願は、2020年4月22日に出願された米国仮出願第63/013,687号の利益を主張し、その全体が参照により組み込まれる。
Claims (7)
- 1つまたは複数のプロセッサと、
前記プロセッサに結合されたウェアラブルと、
命令が格納された非一時的コンピュータ可読媒体であって、該命令が、前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、目標物に関連付けられた医用スキャン情報を第1の拡張現実画像上に補う方法を実行させ、該方法が、
前記目標物に関連付けられた3次元画像を取得するステップと、
前記3次元画像から3次元特徴点の第1のセットを識別するステップと、
前記3次元特徴点の第1のセットに基づいて身体構造上の点を識別するステップと、
前記身体構造上の点に関連付けられた前記第1の拡張現実画像を取得するステップと、
前記第1の拡張現実画像から3次元特徴点の第2のセットを選択するステップと、
前記3次元特徴点の第1のセットと前記3次元特徴点の第2のセットとの間で第1の画像マッチングを実行するステップと、
前記第1の画像マッチングに基づいて前記3次元画像を前記第1の拡張現実画像に重ねるステップと
を含む、非一時的コンピュータ可読媒体と、を備える
追加の命令を記憶している前記非一時的コンピュータ可読媒体が、
前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、
前記医用スキャン情報に基づいて3次元モデルを構築させ、
前記3次元モデルから特徴点の第3のセットを選択させ、
前記3次元画像と前記3次元モデルとに関連付けられた一致した表面を識別するために、前記3次元特徴点の第1のセットと前記3次元特徴点の第3のセットとの間で第2の画像マッチングを実行させ、
前記3次元モデルを前記一致した表面に一致させ、
前記一致した3次元モデルに基づいて第2の拡張現実画像を取得させ、
追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、前記目標物に関連付けられた前記医用スキャン情報を補うために前記一致した表面に基づいて前記第2の拡張現実画像を前記第1の拡張現実画像に重ねさせる、
システム。 - 追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、前記3次元画像上に前記3次元特徴点の第1のセットをマーキングさせる、
請求項1に記載のシステム。 - 追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、前記3次元モデルの複数の点によって画定された表面を前記一致した表面に一致させるために該3次元モデルを回転または移動させる、
請求項1に記載のシステム。 - 追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、患者の1つもしくは複数の組織、1つもしくは複数の器官、または1つもしくは複数の器官系の下面領域に対応する第3の拡張現実画像を取得させ、該第3の拡張現実画像が、手術器具が前記下面領域に到達したときの視野をシミュレートするための該下面領域に関連付けられた画像である、
請求項1に記載のシステム。 - 追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、
前記手術器具が前記下面領域に物理的に到達したことに応答して、前記下面領域に関連付けられた別の3次元画像を取得させ、
前記第3の拡張現実画像と前記別の3次元画像との間のずれを計算させ、該ずれが、前記患者の前記1つもしくは複数の組織、1つもしくは複数の器官、または1つもしくは複数の器官系の移動に対応する、
請求項4に記載のシステム。 - 追加の命令を記憶している前記非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによる実行に応答して、該1つまたは複数のプロセッサに、前記第3の拡張現実画像及び前記ずれに基づいて前記下面領域に対応する第4の拡張現実画像を取得させる、
請求項5に記載のシステム。 - 前記ウェアラブルが、前記第1の拡張現実画像、前記第2の拡張現実画像、前記第3の拡張現実画像、及び前記第4の拡張現実画像のうちの1つまたは複数を表示するように構成されている、
請求項6に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063013687P | 2020-04-22 | 2020-04-22 | |
US63/013,687 | 2020-04-22 | ||
PCT/CN2021/088799 WO2021213450A1 (en) | 2020-04-22 | 2021-04-21 | Method and system to augment medical scan image information on extended reality image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023524652A JP2023524652A (ja) | 2023-06-13 |
JP7486603B2 true JP7486603B2 (ja) | 2024-05-17 |
Family
ID=78270281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022564308A Active JP7486603B2 (ja) | 2020-04-22 | 2021-04-21 | 拡張現実画像上に医用スキャン画像情報を補う方法及びシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230149087A1 (ja) |
EP (1) | EP4140125A4 (ja) |
JP (1) | JP7486603B2 (ja) |
CN (1) | CN115428443A (ja) |
TW (1) | TW202145250A (ja) |
WO (1) | WO2021213450A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012121341A1 (ja) | 2011-03-09 | 2012-09-13 | 国立大学法人大阪大学 | 画像データ処理装置および経頭蓋磁気刺激装置 |
US20150049174A1 (en) | 2013-08-13 | 2015-02-19 | Korea Institute Of Science And Technology | System and method for non-invasive patient-image registration |
WO2018195529A1 (en) | 2017-04-21 | 2018-10-25 | Samadani Uzma | Using augmented reality in surgical navigation |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080049999A1 (en) * | 2006-08-28 | 2008-02-28 | Siemens Medical Solutions Usa, Inc. | Computer Aided Detection of Bone Metastasis |
TWI473598B (zh) * | 2012-05-18 | 2015-02-21 | Univ Nat Taiwan | Breast ultrasound image scanning and diagnostic assistance system |
US9547940B1 (en) * | 2014-09-12 | 2017-01-17 | University Of South Florida | Systems and methods for providing augmented reality in minimally invasive surgery |
BR112018007473A2 (pt) * | 2015-10-14 | 2018-10-23 | Surgical Theater LLC | navegação cirúrgica de realidade aumentada |
CN107204037B (zh) * | 2016-03-17 | 2020-11-24 | 中国科学院光电研究院 | 基于主被动三维成像系统的三维影像生成方法 |
WO2018032083A1 (en) * | 2016-08-17 | 2018-02-22 | Synaptive Medical (Barbados) Inc. | Methods and systems for registration of virtual space with real space in an augmented reality system |
TWI670681B (zh) * | 2017-06-04 | 2019-09-01 | 鈦隼生物科技股份有限公司 | 判定手術路徑上一個或多個點之方法和系統 |
CN109961487A (zh) * | 2017-12-14 | 2019-07-02 | 通用电气公司 | 放疗定位图像识别方法、计算机程序及计算机存储介质 |
US20190392265A1 (en) * | 2018-06-22 | 2019-12-26 | Siemens Medical Solutions Usa, Inc. | Patient-Adaptive Nuclear Imaging |
-
2021
- 2021-04-21 EP EP21792586.6A patent/EP4140125A4/en active Pending
- 2021-04-21 CN CN202180030417.0A patent/CN115428443A/zh active Pending
- 2021-04-21 JP JP2022564308A patent/JP7486603B2/ja active Active
- 2021-04-21 WO PCT/CN2021/088799 patent/WO2021213450A1/en unknown
- 2021-04-21 TW TW110114344A patent/TW202145250A/zh unknown
- 2021-04-21 US US17/919,989 patent/US20230149087A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012121341A1 (ja) | 2011-03-09 | 2012-09-13 | 国立大学法人大阪大学 | 画像データ処理装置および経頭蓋磁気刺激装置 |
US20130345491A1 (en) | 2011-03-09 | 2013-12-26 | A School Corporation Kansai University | Image data processing device and transcranial magnetic stimulation apparatus |
US20150049174A1 (en) | 2013-08-13 | 2015-02-19 | Korea Institute Of Science And Technology | System and method for non-invasive patient-image registration |
WO2018195529A1 (en) | 2017-04-21 | 2018-10-25 | Samadani Uzma | Using augmented reality in surgical navigation |
Also Published As
Publication number | Publication date |
---|---|
CN115428443A (zh) | 2022-12-02 |
WO2021213450A1 (en) | 2021-10-28 |
TW202145250A (zh) | 2021-12-01 |
EP4140125A1 (en) | 2023-03-01 |
US20230149087A1 (en) | 2023-05-18 |
EP4140125A4 (en) | 2024-05-15 |
JP2023524652A (ja) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11652971B2 (en) | Image-guided surgery with surface reconstruction and augmented reality visualization | |
US11883118B2 (en) | Using augmented reality in surgical navigation | |
US11443431B2 (en) | Augmented reality patient positioning using an atlas | |
EP3789965B1 (en) | Method for controlling a display, computer program and mixed reality display device | |
Wu et al. | Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning | |
JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
KR20160057024A (ko) | 마커리스 3차원 객체추적 장치 및 그 방법 | |
JP7486603B2 (ja) | 拡張現実画像上に医用スキャン画像情報を補う方法及びシステム | |
US11869216B2 (en) | Registration of an anatomical body part by detecting a finger pose | |
CN114270408A (zh) | 用于控制显示器的方法、计算机程序和混合现实显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7486603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |