JP2023511315A - 拡張現実ディスプレイ内の医療画像の位置合わせ - Google Patents
拡張現実ディスプレイ内の医療画像の位置合わせ Download PDFInfo
- Publication number
- JP2023511315A JP2023511315A JP2022543527A JP2022543527A JP2023511315A JP 2023511315 A JP2023511315 A JP 2023511315A JP 2022543527 A JP2022543527 A JP 2022543527A JP 2022543527 A JP2022543527 A JP 2022543527A JP 2023511315 A JP2023511315 A JP 2023511315A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tube
- visible
- optical
- optical code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 275
- 239000003550 marker Substances 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 80
- 239000002872 contrast media Substances 0.000 claims abstract description 50
- 229910052688 Gadolinium Inorganic materials 0.000 claims abstract description 10
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 claims abstract description 10
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 41
- 229920003023 plastic Polymers 0.000 claims description 34
- 239000004033 plastic Substances 0.000 claims description 33
- 239000012530 fluid Substances 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000005298 paramagnetic effect Effects 0.000 claims description 14
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 12
- 238000002059 diagnostic imaging Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- GVJHHUAWPYXKBD-UHFFFAOYSA-N (±)-α-Tocopherol Chemical compound OC1=C(C)C(C)=C2OC(CCCC(C)CCCC(C)CCCC(C)C)(C)CCC2=C1C GVJHHUAWPYXKBD-UHFFFAOYSA-N 0.000 claims description 6
- 229910052742 iron Inorganic materials 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 239000002907 paramagnetic material Substances 0.000 claims description 6
- 238000007789 sealing Methods 0.000 claims description 6
- 239000000243 solution Substances 0.000 claims description 6
- 229910000365 copper sulfate Inorganic materials 0.000 claims description 4
- ARUVKPQLZAKDPS-UHFFFAOYSA-L copper(II) sulfate Chemical compound [Cu+2].[O-][S+2]([O-])([O-])[O-] ARUVKPQLZAKDPS-UHFFFAOYSA-L 0.000 claims description 4
- 229930003427 Vitamin E Natural products 0.000 claims description 3
- WIGCFUFOHFEKBI-UHFFFAOYSA-N gamma-tocopherol Natural products CC(C)CCCC(C)CCCC(C)CCCC1CCC2C(C)C(O)C(C)C(C)C2O1 WIGCFUFOHFEKBI-UHFFFAOYSA-N 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- WPBNNNQJVZRUHP-UHFFFAOYSA-L manganese(2+);methyl n-[[2-(methoxycarbonylcarbamothioylamino)phenyl]carbamothioyl]carbamate;n-[2-(sulfidocarbothioylamino)ethyl]carbamodithioate Chemical compound [Mn+2].[S-]C(=S)NCCNC([S-])=S.COC(=O)NC(=S)NC1=CC=CC=C1NC(=S)NC(=O)OC WPBNNNQJVZRUHP-UHFFFAOYSA-L 0.000 claims description 3
- 229940046009 vitamin E Drugs 0.000 claims description 3
- 235000019165 vitamin E Nutrition 0.000 claims description 3
- 239000011709 vitamin E Substances 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 18
- 210000003484 anatomy Anatomy 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000012634 optical imaging Methods 0.000 description 12
- 238000002591 computed tomography Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 7
- 229910052751 metal Inorganic materials 0.000 description 7
- 239000002184 metal Substances 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 239000000853 adhesive Substances 0.000 description 4
- 230000001070 adhesive effect Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 239000007769 metal material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000004026 adhesive bonding Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000000976 ink Substances 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 239000004593 Epoxy Substances 0.000 description 1
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 description 1
- BXNJHAXVSOCGBA-UHFFFAOYSA-N Harmine Chemical compound N1=CC=C2C3=CC=C(OC)C=C3NC2=C1C BXNJHAXVSOCGBA-UHFFFAOYSA-N 0.000 description 1
- 239000002616 MRI contrast agent Substances 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 229910052788 barium Inorganic materials 0.000 description 1
- DSAJWYNOEDNPEQ-UHFFFAOYSA-N barium atom Chemical compound [Ba] DSAJWYNOEDNPEQ-UHFFFAOYSA-N 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910052797 bismuth Inorganic materials 0.000 description 1
- JCXGWMGPZLAOME-UHFFFAOYSA-N bismuth atom Chemical compound [Bi] JCXGWMGPZLAOME-UHFFFAOYSA-N 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 239000011888 foil Substances 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
- A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3925—Markers, e.g. radio-opaque or breast lesions markers ultrasonic
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3995—Multi-modality markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
画像データセットを人の身体と共存させるためのARヘッドセットについて説明する。1つの方法は、そのARヘッドセットを使用して、人の身体上のチューブ内の造影剤を有する光学コードを識別することを含むことができる。画像データセットは、画像可視マーカの表現を参照する光学コードに対するチューブ内の造影剤を有する画像可視マーカの固定位置を使用して、人の身体と位置合わせすることができる。一構成では、画像データセットは、取り込まれた画像データセット内の画像可視マーカ(例えば、ガドリニウムチューブ)の測定されたサイズを、画像可視マーカの既知のサイズと比較することによって、変倍することができる。更に、光学コードの中心を識別して、画像データセットを人の身体とより正確に位置合わせすることができる。
Description
本開示は、拡張現実ディスプレイ内の医療画像の位置合わせに関する。
複合現実又は拡張現実は、物質界及び仮想コンピューティング世界からの画像を複合現実世界に組み合わされ得るコンピューティング技術の領域である。複合現実では、物理世界及び仮想世界からの人々、場所、及びオブジェクトは、ブレンドされた環境になる。VR(virtual reality、仮想現実)又はAR(augmented reality、拡張現実)ヘッドセットの使用と共に、既存の商用又はカスタムソフトウェアを介して複合現実体験が提供されてもよい。
拡張現実(AR)は、物理的な実的な世界の環境の、生の直接的なビュー又は間接的なビューが、画像、音声、ビデオ、グラフィックス、又は他のデータなどの、コンピュータで作られた感覚入力によって拡張又は補足される複合現実の例である。このような拡張は、実世界の場所が見られ、かつ環境要素との関連があるときに、実現され得る。高度なAR技術(例えば、コンピュータビジョン及びオブジェクト認識を追加する)の支援により、ユーザの周囲の実世界に関する情報は、インタラクティブになり、(例えば、コンピュータグラフィックオーバーレイを介して)デジタル的に修正することができる。
ARシステム又はARヘッドセットが直面する問題は、オブジェクトの位置及び向きを高精度で識別することである。同様に、仮想要素の位置を実世界環境の生のビューと位置合わせすることは、困難であり得る。例えば、ARヘッドセットを介して見たときに、仮想オブジェクトを物理的オブジェクトと位置合わせすることは、困難であり得、その理由は、仮想オブジェクトの発光又は明るさが、仮想オブジェクトを位置合わせすることになる、基となる現実オブジェクトを見えにくくさせるからである。仮想オブジェクトを物理的オブジェクトと概ね数センチメートル以内に位置合わせすることは、娯楽分野、及びより負担の少ないアプリケーションにとって有用であり得るが、ARシステムの場合の位置決め及び位置合わせの解像度をより高めることは、科学的、工学的、及び医学的分野において望ましい場合がある。結果として、科学的、工学的、及び医学的分野において使用されるARの位置決め及び位置合わせプロセスは、手動で行われ得、これは、時間がかかり、煩雑であり、かつ不正確であり得る。
拡張現実(AR)ヘッドセットを使用して、医療手順中にARヘッドセットのカメラのビュー内にある1つ以上の光学コード(例えば、AprilTag、QRコード(登録商標)、又は2D光学バーコード)を識別するための技術が提供される。画像データセットは、人の身体上の1つ以上の光学コード及び画像可視マーカを使用して、その人の身体と位置合わせすることができる。この画像データセットは、非光学撮像法モダリティを使用して、人の身体の一部分の、以前に取得された画像であり得る。非光学撮像法モダリティの例は、MRI(磁気共鳴撮像法)モダリティ、CT(computed tomography、コンピュータ断層撮影)スキャンモダリティ、X線モダリティ、陽電子放出断層撮影(Positron Emission Tomography、PET)モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ(Infrared Thermography、IRT)モダリティ、3Dマンモグラフィ、又は単一光子放出型コンピュータ断層撮影(Single-Photon Emission Computed Tomography、SPECT)スキャンモダリティなどであってもよい。画像データセットは、人の身体上(例えば、身体の側面に、又は身体の下)に位置付けられた少なくとも1つの光学コードからの固定距離にある画像可視マーカを使用して、人の身体に位置合わせすることができる。例えば、画像可視マーカ及び光学コードが両方とも一片の材料上に取り付けられて(例えば、同じ場所に位置付けられるか、又は互いに固定されて近接している)、画像データセットの、人の身体との位置合わせを容易にすることができる。画像可視マーカは、ARヘッドセットにとって光学的に可視ではない場合がある、取り込まれた放射線医学画像又は画像データセットなどの非可視撮像法モダリティで見ることができるマーカである。画像データセットは、非光学撮像法モダリティを用いてヒトの身体の構造を捕捉する、機械で取り込まれた画像内の画像可視マーカの表現で取り込むことができる。画像データセット内の画像可視マーカの表現は、(後に更に詳細に説明されるように)人の身体に貼り付けられた1つ以上の光学コードに対する画像可視マーカの既知の固定位置を使用して、患者の身体と位置合わせすることができる。例えば、画像可視マーカは、密閉容器(例えば、MRIビーズ若しくは球体)又はある長さを有するチューブ内のMRI用造影剤であり得る。上述のような他の撮像法モダリティでは、適切な造影剤が、それぞれのモダリティ(核ベースの画像取得など)において取り込まれた画像内で可視であるチューブ内に提供され得る。
図1は、患者又は人106の画像データセット116が、患者106に貼り付けられた光学コード200を使用して、患者106の実際のビューと位置合わせすることができる拡張現実(AR)環境100の一例を示す。この画像データセット116は、画像データセット内に画像可視流体、画像可視媒体、又は画像可視マーカを含むチューブ198又は密閉容器の撮像を含むことができる。画像データセット116内の別個の光学タグ200の識別情報(例えば、一意の光学コード)は、画像可視媒体又はマーカを含むチューブ198の場所、及びチューブの長さに基づいて、決定又は符号化することができる。この光学コード200はまた、光学コードとして可視AprilTag又は2Dバーコードを使用して、ARヘッドセット108によって取り込まれたカメラ画像内で識別することもできる。したがって、画像可視マーカ198は、画像データセット116内で識別することができ、ARヘッドセット108を介して可視である光学コード200と位置合わせすることができる。
環境100は、物理的空間102(例えば、手術室、実験室など)、ユーザ104、患者106、患者上の複数の光学コード200、光学コード198を有する医療用具118、及びコンピュータネットワーク110を介してサーバ112と通信するARヘッドセット108を含むことができる。仮想ユーザインターフェース114及び仮想カーソル122が、破線で示され、これらの仮想要素がARヘッドセット108によって生成され、ARヘッドセット108を介してユーザ104によって見ることができることを示している。
ARヘッドセット108は、画像データセット116を用いて、(院内着又は布地107によって覆われた)患者106の実際のビューを拡張することができるARコンピューティングシステムであり得る。例えば、ARヘッドセット108は、骨(図1に例示されているような)、筋肉、臓器、又は流体106bを含むが、これらに限定されない、患者106の1つ以上の3D画像データセットのビュー、又は放射線医学画像を用いて患者106の実際のビューを拡張するために、ユーザ104によって用いられ得る。
ARヘッドセット108により、画像データセット116(又は画像データセットの投射)が動的に再構築されることが可能になり得る。よって、ユーザ104が患者106の周辺を移動するときに、ARヘッドセット108のセンサは、患者106に対するユーザ104の場所を決定し、画像データセットを使用して表示される患者の内部の解剖学的構造は、ユーザ104が患者に対して異なる配向を選択するときに、動的に再構築することができる。例えば、ユーザ104は、患者106の周りを歩いてもよい。次いで、ARヘッドセット108は、患者106の1つ以上の取得された放射線医学画像又は画像データセット(MRI、CTスキャンなど)を用いて、患者106の実際のビューを拡張することができ、その結果、患者106a、及びその患者106aの画像データセット116の両方は、任意の角度からユーザ104によって見られ得る(例えば、画像データセットからの投射された画像又はスライスもまた、表示することができる)。ARヘッドセット108は、Microsoft HOLOLENS(登録商標)、Meta Company META 2、Epson MOVERIO(登録商標)、Garmin VARIA VISION、又は他のARヘッドセットの修正バージョンであってもよい。
光学コード200は、患者106の画像データの生成(例えば、MRI、CTスキャン、X線などの取り込み)に先立って患者106に貼り付けられ、その後、患者106がARヘッドセット108を介してユーザ104によって見られている間、患者106に貼り付けられたままであり得る。次いで、光学コード200及び画像可視マーカ198がARヘッドセット108によって用いられ、患者106の画像データセット116を患者106の実際のビューとプログラム制御で位置合わせすることができる。例えば、人106の身体と関連付けられた1つ以上の光学コード200を識別することができる。人の身体106a上の光学コード198は、チューブ内の造影剤、又はチューブの長さを含む画像可視マーカ198に対して固定位置に位置付けられ得る。ある長さのチューブ内で造影剤を使用する画像可視マーカ198は、医療撮像デバイスを使用して取得された画像データセット116内で識別することができる。画像データセット116は、人の身体上の1つ以上の光学コード200を使用し、かつ光学コード200に対するチューブ内の造影剤を有する画像可視マーカ198の固定位置を使用してARヘッドセット108を介して見たときに、人の身体106bと位置合わせすることができる。画像データセット内のチューブ内の造影剤を有する画像可視マーカ198の表現は、位置合わせプロセスのための基準点として使用することができる。
造影剤又は造影薬剤は、MRI(磁気共鳴撮像法)可視造影剤であってもよい。一例では、密閉容器又はチューブ内のカプセル化された造影剤又は造影薬剤は、常磁性流体又は半流体であってもよい。造影剤は、画定された長さ、又は人によって選択された可変の長さの密閉容器又はチューブ内にカプセル化することができる。チューブの画定された長さは、ARヘッドセットの光学センサを使用して可視である2Dデータコード化で光学コードと関連付けるか、又はその光学コードを識別することができる。チューブの画定された長さは、チューブの所定の長さをデータストア又はデータベース内で光学コードとリンクすることによって、ARヘッドセットのカメラ又は光学センサによって見ることができる光学コードと関連付けることができる。可視光学コードとチューブとの間のこの登録又はリンク付けは、光学コードから固定距離にあるチューブを用いて光学コードの画像を取り込み、かつ取り込まれたチューブの測定された長さを記録するか、又は手入力によって行うことができる。
チューブのセグメントは、変化する可能性があり(例えば、3mm、5mm、7mm、10mm)、チューブの特定の長さは、別個の光学コードと関連付けることができる。例えば、光学コードAが、長さ5ミリメートル(millimeter、mm)の光学コードに取り付けられたチューブを有することができ、光学コードBが、長さ7mmの光学コードに取り付けられたチューブを有することができ、光学コードCが、長さ10mmの光学コードに取り付けられたチューブを有することができる。チューブのセグメントは、それぞれの光学コードにリンクすることができる。したがって、特定の長さ又は密閉容器を有するチューブによって作成された画像可視マーカ198が画像データセット116内で識別されたときに、対応する光学コード、及び光学コードの場所もまた、画像データセットに対して既知である。
対応する光学コード200は、チューブ又は密閉容器を有する画像可視マーカからの固定距離及び配向であることが知られている。個々のチューブのセグメントの各々が異なる場合があるため、チューブのセクションの長さを使用して、画像データを患者の可視の身体と位置合わせすることができる。チューブで作製された画像可視マーカを、画像データセット及び/又は光学コード内のチューブの表現と一致させることは、チューブの複数のセグメントの各長さ又は組み合わせが一意である可能性があるため、チューブの長さを使用して実行することができる。その結果、チューブのセグメントと光学コードとの間のリンクのデータストアがチェックされて不一致が防止されることになるため、チューブの長さは、不適切な光学コードに一致するはずがない。更に、画像データセット内の5mmのチューブ表現が、光学コードについて可視であるか、又は予想される10mmのチューブに一致するように試行される場合、これは、不一致を引き起こし、システムは、正しいチューブ長を正しいチューブ表現に一致させようと試みることになる。
一例では、チューブ198の異なるサイズ、形状、又は長さが、光学コード200による固定位置に配置することができる。各光学コード(例えば、AprilTag又は2Dバーコード)は、一意の光学コード200を有するが、その光学コードは、画像データセット内では見えない。画像データセット内で可視であるチューブは、1)可視光学コードがどこにあるか、及び2)どの可視光学コードが画像可視コードと関連付けられているか、を識別する。チューブの位置がわかると、可視光学コード200の位置もまた、わかる。光学コード200及びチューブの位置を見つけることにより、システムがA/Rヘッドセットを介して画像データセット(例えば、MR画像)を人の身体の現実ビュー又は可視ビューと接合することが可能になる。
造影剤又は造影薬剤を含むこのチューブは、線、交差構造(formation)、同心円、正方形、長方形、直角、又は格子構造の形状の成形チューブであり得る。上記の形状は、その形状の他のチューブセグメントで、単一平面内に作成され得る(ただし、そのチューブは、チューブの直径に起因して三次元の深さを有する)。このチューブは、円形、三角形、正方形、長方形、楕円形、六角形、八角形、卵形、半円形、又は多角形のうちの少なくとも1つである断面形状を有することができる。カプセル化された造影剤又は造影薬剤は、ガドリニウム溶液(例えば、ガドリニウムキレート化合物)、硫酸銅、鉄溶液、マンガン、ビタミンE油、又は他の磁気共鳴可視媒体であり得る。このチューブは、プラスチックチューブ、ガラスチューブ、複合チューブ(例えば、ガラス及びエポキシ)、又は別の非金属チューブであり得る。画像可視マーカの形状を使用して、どの一意の光学コード又は視覚マーカが一意の画像可視マーカの場所にあるかを決定することができる。
更に、画像データセット116の取り込み中に使用される同じ光学コード200を使用して、画像データセットを自動的に取得し、ARヘッドセット108によって取り出された画像データセットがARヘッドセット108を介して見ている実際の患者106と一致するのを確実にすることができる。同様に、チューブ198の長さ又は形状はまた、正しい患者の手順が行われていることの妥当性を確認することができ、これは、画像データセットに対してチェックすることができる(例えば、チューブパターンをチェックすることは、患者にとって正しい)。患者が画像データセットと一致しない(又は逆もまた同様)チューブパターンを有する場合、エラーのフラグを立てることができる。
ARヘッドセット108によって生成された仮想ユーザインターフェース114は、患者106の画像データセット116から患者106の投射された内側の解剖学的構造の表示を変更するための選択肢を含むことができる。仮想ユーザインターフェース114は、ユーザ104にとって有用であり得る他の情報を含むことができる。例えば、仮想ユーザインターフェース114は、光学コードで識別されている患者又は医療用具118(例えば、医療器具、インプラントなど)に関する情報を含んでもよい。別の例では、仮想ユーザインターフェース114は、患者106の医療チャート又は他の医療データを含むことができる。いくつかの構成では、人の画像データ116又は取り込まれた放射線医学的なデータは、多量の画像データセット116を使用して、ARヘッドセット108によって表示されて、その画像データから患者106aの放射線医学的に取り込まれた解剖学的構造(例えば、骨106b、組織、血管、流体など)を表示することができる。この画像データは、画像データの軸方向スライス、冠状スライス、矢状スライス、又は傾斜スライスを含むことができる。スライスは、深さ並びに高さ及び幅(例えば、ボクセルの1つ以上の層)を有する二次元(two-dimensional、2D)スライス、三次元(three-dimensional、3D)スライス、及び/又は四次元(four dimensional、4D)スライス(画像の時系列を有する3D画像)であってもよい。ユーザ104は、ハンドジェスチャ、音声コマンド、眼球運動、リモコン(例えば、指クリッカ(finger clicker))、3Dマウス、VR棒(VR wand)、指センサ、触覚技術、又は他の制御方法を使用して仮想ユーザインターフェース114を制御することができる。
図2は、図1の患者106に貼り付けられた図1の光学コード200を示す。図1及び図2の両方を参照すると、光学コード200は、ARヘッドセット108中に組み込まれた、視覚スペクトルのための光学センサ又はカメラなどの光学センサに対して知覚可能であり得る。いくつかの実施形態では、光学コード200は、AprilTag、線形バーコード、マトリックス二次元(2D)バーコード、クイックレスポンス(Quick Response、QR)コード、又はそれらの何らかの組み合わせであってもよい。AprilTagは、拡張現実及びカメラ較正のために有用である視覚的基準システムであり得る二次元バーコードである。AprilTagsは、カメラ、センサ、又はARヘッドセットに対するタグの3D位置、向き、及び識別情報を計算するために使用され得る。
光学コード200は、非光学撮像法モダリティに対して知覚可能であるマーカ206、214、又は画像可視マーカと更に関連付けることができる。常磁性流体を含むチューブを用いて画像可視マーカを取り込むために使用される非光学撮像法モダリティの一例は、MRIモダリティであってもよい。別の例では、非光学画像又は画像データセットは、非光学撮像法モダリティの2つ以上の形態の組み合わせを含む画像又は画像データセットであってもよい(例えば、共に組み合わされた2つ以上の画像、2つ以上の非光学画像の組み合わされたセグメント、MRI画像と融合されたCT画像など)。別個のモダリティ内の各画像データセットは、個々の画像データセット内に画像可視コードを有することができ、これにより、PET画像、CT画像、MRI画像、透視画像などを、ARシステムビュー内の人の身体上の光学コードと共に位置合わせ及び参照することができる。非光学撮像法モダリティに対して知覚可能である材料からマーカ206を形成することにより、マーカ206又は画像可視マーカが、非光学撮像法モダリティの任意の組み合わせを使用して取り込まれる、患者106の画像データセット内に出現することが可能になり得る。
マーカ206又は画像可視マーカは、常磁性流体206を含むチューブの1つ以上のセグメントを有することができる。このチューブのセグメントは、図2のように、別々に提供され得るか、又はあるパターンに配置され得、光学コード200の位置に対する固定位置を有することができる。常磁性材料を有する複数のマーカ214又はチューブの複数のセクションを任意選択的に使用して、場所及び/又は画像可視マーカを識別する認識可能なパターンを形成することができる。例えば、図2に開示されている実施形態では、光学コード200は、材料202(絆創膏(adhesive bandage)、紙、プラスチックなど)上に印刷することができ、マーカ206は、材料202上に貼り付けることができる(例えば、材料202に取り付けられるか、又は接着剤で取り付けられる)。この実施形態では、1つ以上のマーカ206は、包帯202又は材料に対する固定位置に配置されることによって、光学コード200の位置に対する固定位置に配置され得る。
更に、マーカ206は、光学コード200を患者106の皮膚106aに直接(少なくとも一時的に)貼り付けるか又は印刷することによって配置することができる。光学コード200の位置に対する固定位置を有する、患者106の皮膚上のパターン内に、マーカ206を配置することによって、この固定位置を用いて、光学コード200の可視の場所に対してマーカ206又は画像可視マーカのパターンの場所を計算することができる。次いで、ARヘッドセット108のセンサへの、マーカ206又はチューブの可視性もまた、位置合わせのために使用することができる。
光学コード200及びマーカ206が固定パターンで患者106に貼り付けられると、(マーカ206が知覚可能である)非光学撮像法モダリティを用いて、患者106及びマーカ206の画像データセット216(図示された一部のセグメントのみ)を取り込むことができる。特に、画像データは、患者106の内部の解剖学的構造(骨106b、筋肉、臓器、又は流体など)を含むことができ、並びに患者106の内部の解剖学的構造の位置に対する固定位置にあるマーカ206、214のパターンを含むことができる。言い替えると、患者106の内部の解剖学的構造は、患者106の画像データ内に出現することになるだけでなく、マーカ206もまた、パターン内で患者106の画像データセット内に出現することになり、マーカ206のこのパターンの位置は、患者106の内部の解剖学的構造の位置に対する固定位置にある画像データセット内に出現することになる。一例では、非光学撮像法モダリティがMRIモダリティである場合、MRI画像は、患者106の骨、臓器、及び柔組織、並びに患者106の骨、臓器、及び柔組織の位置に対する固定位置に配置されたチューブを有するマーカ206を表示することができる。
更に、患者106は、例えば、病院の医療撮像室から病院の手術室に移動されてもよい。次いで、ユーザ104(図1の医療専門家など)は、ARヘッドセット108を用いて、人又は患者の身体上の光学コード200の場所(及び、見ることができる場合、任意選択的に、マーカ206の可視部分)を決定することができる。次に、ARヘッドセット108は、光学コードに基づいて患者106の画像データを自動的に取り出すことができる。
3D空間102内で光学コード200を検出した後、ARヘッドセット108は、互いに対して3D空間102内のチューブを用いて、1つ以上のマーカ206の位置を自動的に計算することができる。この自動計算は、3D空間102内の光学コード200の検知された位置、光学コード200の位置に対する、チューブのマーカ206のパターンの既知の固定位置、又は常磁性流体で充填されたチューブのセグメントを視覚的に見ることに基づき得る。マーカ206がARヘッドセット108に対して知覚可能でない場合であっても(例えば、マーカ206が透明プラスチックであるか、又は光学コード印刷材料の下に隠れていることに起因して)、ARヘッドセット108は、光学コード200の位置、及び光学コード200の位置に対する、マーカ206のパターンの固定位置に基づいて、マーカ206のパターンの場所を自動的に計算することができる。この例では、ARヘッドセット108がマーカ206の位置を直接感知していない場合であっても、これらの固定位置により、ARヘッドセット108が互いに対して3D空間102内のマーカ206のパターンの位置を自動的に計算することが可能になり得る。
3D空間102内のマーカ206又は画像可視マーカのパターンの場所を計算した後、ARヘッドセット108は、3D空間102内のマーカ206のパターンの計算された位置を、画像データセット内のマーカ206のパターンの位置と位置合わせすることによって、3D空間102内の患者106の内部の解剖学的構造の位置を登録することができる。この位置合わせは、3D空間102内のチューブのマーカ206のパターンの計算された位置、及びマーカ206に対する画像データセットの固定位置に基づいて、実行することができる。次いで、この位置合わせ及び登録により、ARヘッドセット108が、患者106の実際のビュー上に投射された画像データから、患者106の内部の解剖学的構造をリアルタイムで表示することが可能になり得る。したがって、光学コード200、及び1つ以上の関連するマーカ206は、ARヘッドセット108によって用いられて、患者106の画像データを、患者106の実際のビューと自動的に位置合わせすることができる。
図3は、患者106の画像データセットと、3D空間102内の患者106の実際のビューとの正確な位置合わせを更に確実にするために、複数の光学コード312、313が患者106に同時に貼り付けられ得ることを示す。また、各光学コード310のマーカ314、312のパターンは、チューブの複数のセグメントを使用することができる。更に、マーカ314が患者106の外層に貼り付けられているため、マーカ314、312は、実際の1つの平面内に必ずしもすべてが存在するとは限らないが、逆に、患者106の外層のいずれの曲率にも適合することができる。これらの実施形態では、光学コード304の位置に対するマーカ314、312のパターンの位置は、光学コード310及びマーカ314、312を患者106に貼り付けた後に確立されて、患者106の外層上に任意の曲率を考慮することができる。
図3は、ARヘッドセット又はARシステムのカメラによって取り込むことができる視覚画像を更に示す。この視覚画像は、患者106の身体300に貼り付けられている材料304上に印刷された光学コード310を有する患者の身体300を含むことができる。第2のマーカ312に対して実質的に垂直に配向されている第1のマーカ314が示されている。第1のマーカ314及び第2のマーカ312は、常磁性流体を含むチューブであり得る。第2のマーカ312又は第3のマーカ316の使用は、取捨選択可能であり得、破線を使用して例示されている。マーカのための複数の配向を使用することは、有用であり得、その理由は、複数のマーカが、画像データセットを適切な向きに配向させることを支援し、ばらばら(flipped)画像又は反転(inverted)画像を回避することができるからである。図3は、第2の光学コード313上にチューブを有する画像可視マーカ320を更に示す。この画像可視マーカは、光学コードに対して任意の配向に向くことができる。マーカ320の配向は、光学コードの縁端部に対して平行に、光学コードの縁端部に対して垂直に、又は光学コードの縁端部に対して斜めに向くことができる。更に、先に考察されたように、取捨選択可能な放射線不透過性マーカ302を、MRI以外の撮像法モダリティとの画像位置合わせに使用するための光学コードと共に含めることができる。
別の構成では、チューブは、光学コード200に対して固定距離及び配向にある別個の長さを各々有する複数のチューブセクションを含むことができる。例えば、各光学コード200は、光学コード200に取り付けられたチューブの2つ又は3つのセクションを有することができる。例えば、チューブの3つの異なるセグメントは、同じように配向され得、チューブのセグメントの組み合わせは、一意であり、また一意の光学コードも識別する。代替的に、チューブの各セクションは、光学コード302の別個のコーナー又は頂点から延在することができる。
画像可視マーカとして常磁性流体を有するチューブを使用することは、MRI画像内で鉄又は金属材料を使用することがMRI画像内にアーチファクトを引き起こしやすいため、MRI(磁気共鳴撮像法)環境での位置合わせを支援することができる。より具体的には、MR撮像における鉄又は金属材料を使用することにより、鉄又は金属材料がMRI撮像において使用される場合の水分子の陽子によって生成された信号の減衰、損失、又は破壊が引き起こされる。したがって、本技術は、ガドリニウム流体などの常磁性材料で充填されたポリエチレンチューブである、MRI画像内のマーカを使用することができる。
図4aは、チューブ内のカプセル化された造影剤又は造影マーカを製造するための方法を例示するフローチャートである。ブロック402にあるように、1つの動作が、プラスチックチューブの第1の端部をシールすることができる。プラスチックチューブは、加熱されたワイヤを使用してシールされて、チューブの第1の端部を切断及びシールすることができる。代替的に、加熱ナイフ、加熱圧接ツール、又は別の加熱されたシーリングツールを使用して、プラスチックチューブの第1の端部をシールすることもできる。
ブロック404にあるように、別の動作は、ある長さのプラスチックチューブを、医療撮像デバイスを使用して取り込むことができる画定された長さ、又は測定された長さに切断することである。プラスチックチューブの長さは、医療撮像デバイスによって取り込まれ得る任意の長さに切断することができる。例えば、プラスチックチューブの長さは、撮像シナリオに有用である場合があるように、ちょうど数ミリメートルから最大数センチメートルへのサイズとすることができる。プラスチックチューブのサイズは、医療撮像デバイス(例えば、MRIデバイス)が取り込むと予想される撮像ウィンドウのサイズを下回ることが好ましい。
ブロック406にあるように、プラスチックチューブは、MRI画像内で可視である造影剤又は造影マーカで充填することができる。前述したように、この造影剤は、ガドリニウム流体などの常磁性流体、又はMRI撮像デバイスにとって可視である別の造影薬剤であってもよい。ブロック408にあるように、画像造影剤を含むプラスチックチューブの第2の端部をシールすることができる。チューブ内の材料は、常磁性材料及び流体を含むことができ、その常磁性流体は、3DMRI画像において明るい領域として表示されることになる。言い替えると、チューブの内容物は、MRI画像において可視であることになる。
ブロック410にあるように、1つ以上の光学コードが、接合又は装着構造を使用してプラスチックチューブに取り付けられて、プラスチックチューブと1つ以上の光学コードとの間の固定位置を維持することができる。この接合若しくは装着構造は、光学コードが上に印刷される紙若しくはプラスチックであってもよく、又は接合構造は、光学コードとチューブとの間の距離及び配向を固定するために使用される任意の紙、プラスチック構造、若しくは非金属構造であってもよい。したがって、このチューブを使用して、チューブのサイズ(例えば、長さ若しくは直径)、形状、又は他の幾何学的形状を使用することによって、光学コードの場所を識別するか、又は一意の光学コードの位置を符号化することができる。
図4bは、流体がプラスチックチューブに追加される前に408、プラスチックチューブの第2の端部がシールされ得ることを示している。ブロック406にあるように、本方法のこの順番では、プラスチックチューブは、プラスチックチューブがシールされた後に、MRIを使用して可視の医療造影剤で充填することができる。この状況では、造影剤は、プラスチックチューブ中に注入され得、注入孔は、熱、又は注入孔を覆う接着剤材料を使用して、シールすることができる。例えば、ガドリニウム、硫酸銅、又は鉄溶液のような薄い常磁性溶液は、チューブが閉鎖される前に、チューブの一端を通って充填することができる。
図4a及び図4bで説明されたチューブはまた、他のシーリング薬剤を用いてシールすることもできる。他のシーリング薬剤又は方法の例としては、チューブの端部を接着剤で塞ぐこと、粘土充填剤プラグを使用すること、端部上に接着性プラスチック層を塗布すること、チューブの端部にプラスチック端部キャップを貼り付けること、金属箔を端部に接着すること、金属被覆したプラスチックシートをチューブに接着すること、又は任意の他のシーリング方法若しくは材料を使用することが挙げられ得る。
図5は、画像可視マーカ又は画像可視媒体を含む光学コード502及びチューブ504を例示する。この光学コードは、AprilTag(図示のような)、2Dバーコード、又はカメラを用いて取り込むことができる他の光学コードであり得る。チューブ504の長さは、光学コード502の側面又は縁端部の長さと同様である長さを有し得る。ただし、チューブの長さのサイズは、光学コード520の縁端部の長さよりも短くても又は長くてもよい。更に、チューブの長さは、光学コードの側面に対して実質的に平行であるものとして示されているが、チューブの長さは、光学コード520に対して任意の角度で設定されてもよい。例えば、チューブは、光学コード520に対して10度の角度としてもよく、又は光学コードの側面に対して垂直であってもよい。チューブはまた、チューブが変形して、患者の身体の輪郭、又は撮像されている解剖学的構造に従うことが可能になり得る、屈曲可能であるプラスチックであってもよい。チューブが湾曲している場合であっても、医療撮像ツールは、3D内のチューブの経路を測定することができ、チューブの長さを決定することができる。
図6Aは、MRI撮像デバイスによって取り込まれたときの、パラメトリック流体を含むチューブ610、612を示している。図6aのチューブは、造影剤又はパラメトリック流体の容器上に取り込まれている。図6Bは、MRI画像データセットで取り込まれたチューブ620A~Cの複数のセグメントを示している。チューブの複数のセグメントは、チューブの一端から見えている。参照のために、パラメトリック流体を含む参照容器が、図6Bのチューブのセグメントの下方にある。
先に考察されたように、画像データセットを、患者の身体内の解剖学的構造と位置合わせするための能力は、医療手順において医療器具をラインアップして他の作業を実行するときに大いに役立つ。画像データセットが、以前に撮像された解剖学的構造又は実際のヒトの組織の近くでラインアップしない場合、その画像データセットは、医療手順の状況において、あまり役立たない。例えば、ヒトの組織(例えば、頭蓋骨内の撮像された孔)を表す画像データセットが実際のヒトの組織(例えば、頭蓋骨内の実際の孔)と共にラインアップしない場合、その画像データセットは、医療手順の状況において、ほとんど役立たない。場合によっては、粗雑に位置合わせされた画像セットは、シミュレーション又は訓練の目的に有用であり得るが、外科手順には有用ではない。対照的に、本技術により、医療関係者が高精度の医療手順において画像データセットを使用することを可能にすることができる程度の解像度で、MRI画像のための画像データセットが可能になる。
非光学撮像法モダリティを使用する医療画像取得では、画像内のボクセルの数は、例えば、512×512ボクセルであり得る。画像内の各ボクセルは、画像データセットが患者の身体から取り込まれた所定の数のミリメートル又はサンプリング周波数を表し得る。例えば、このサンプリング周波数は、ボクセル毎に1.2ミリメートルであると予想され得る(注記:これは、任意の測定例であり、実際のサンプリング周波数は、変化し得る。)。しかしながら、医療画像スキャナがわずかに誤って較正され、画像データセット内のボクセルのサンプリングがボクセル毎に1.15ミリメートルで実際に行われる場合、画像化されているヒトの解剖学的構造又は現実のヒト組織の現実のサイズは、画像データセット又は画像スキャナが取り込むことができるものとは異なる(例えば、画像データセットは、小さすぎる場合がある)。そのような誤った較正は、仮想的なヒト組織が、不正確なサンプリングの結果である実際のヒト組織よりも少し大きいか又は少し小さくなる可能性がある。
その結果、本技術は、画像可視マーカを使用して、ARヘッドセットのユーザに表示される画像データセットを変倍することができる。より正確な変倍は、画像の歪みを低減し、かつ他のエラーを補正するのに役立ち得る。画像可視マーカは、その画像可視マーカの取り込まれたバージョン又は電子的なバージョンを含む画像データセット内で識別することができる。画像可視マーカの実際のサイズは、医療手順の前に測定されてもよく、又は画像可視マーカの実際のサイズは、製造時間に事前に既知であってもよい。代替的に、画像可視マーカのサイズは、ARヘッドセットのカメラによって取り込まれた可視光画像(すなわち、写真又はビデオ)から測定することができる。例えば、画像可視マーカのサイズは、基準オブジェクト(例えば、光学コード若しくは医療器具)又は他の手段を使用してカメラによって取り込まれた画像において測定され得る。
実世界における画像可視マーカの既知のサイズと、画像データセット内で取り込まれた画像可視マーカデータの測定されたサイズとの間で、比較を行うことができる。この比較は、画像データセット内の画像可視マーカの電子的表現と画像可視マーカの既知のサイズとの間にエラー、又はサイズの差が存在するかどうかを判定することができる。差が識別された場合、画像データセットを変倍して、その差又はエラーを補正することができる。画像データセットにおける変倍問題を補正することにより、結果として、画像データセットが医療手順において良好に使用されるのが可能になる。この技術は、画像の変倍を増加又は減少させることによって、任意の誤った画像変倍を補正することができる。例えば、画像データセットサイズが5%だけ外れ、かつ針が20cmだけヒト組織を貫通して移動する医療手術が行われた場合、針の先端は、その手術におけるヒト組織の目的場所では1cm外れることになる。手術において1cmだけ所望の場所を外すことは、ヒトの身体においては重大な量であり、個々の患者に対して深刻な帰結をもたらす可能性がある。画像データが正しく変倍され、かつ正確に位置合わせされると、医療手順におけるそのような問題を減少させることができる。
図7は、取り込まれた画像データセット720内の画像可視マーカ714(例えば、ガドリニウムチューブ)の測定されたサイズを、画像可視マーカ712の既知のサイズ、又は画像可視マーカの測定されたサイズと比較することによる、画像データセット720のこの変倍を示す。
画像可視マーカの幾何学的属性の既知のサイズは、識別することができる。光学コードの幾何学的属性は、パラメトリック流体を含むチューブの長さ、光学コード704に取り付けられた2つの金属マーカ708間の距離、光学コードの複数の金属マーカを包含する円の半径、画像可視マーカの直径、又は画像可視マーカの別の幾何学的測定値であり得る。幾何学的属性の既知のサイズは、医療技術者によって物理的な測定デバイスを使用して以前に測定された幾何学的属性の既知のサイズを保存するか、又はその既知のサイズが製造時間に設定されたデータストアから取得することができる。例えば、光学コードの幾何学的属性のサイズは、ARヘッドセットにアクセス可能なデータストア内に保存された事前測定された値であってもよい。先に考察されたように、画像可視マーカの幾何学的属性の既知のサイズは、ARヘッドセットの可視光カメラを使用して、光学コード及び画像可視マーカの取り込まれた視覚画像又は写真を使用して測定することができる。これは、画像可視マークが、いつも正しいとは限らないARヘッドセットカメラを使用して見ることができると仮定している。
画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズは、画像可視マーカの幾何学的属性の既知のサイズと比較されて、画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズと画像可視マーカの幾何学的属性の既知のサイズとの間の、サイズにおける計算された差を決定することができる。
画像データセットの変倍は、画像可視マーカの幾何学的属性の既知のサイズと測定されたサイズとの間の、サイズにおける計算された差に部分的に基づいて、修正することができる。この変倍は、ARヘッドセット及び画像可視マーカを介して見たときに、画像データセットが、人の身体上の1つ以上の光学コードを使用して、人の身体とより正確に位置合わせされることを可能にすることができる。変倍の修正は、画像データセットの倍率を増加又は減少させて、画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズを、画像可視マーカの幾何学的属性の既知のサイズに一致させることができる。
より具体的には、ARヘッドセットを介して見たときの画像データセットの変倍は、光学コードの幾何学的属性の既知のサイズが画像データセット内の画像可視マーカの測定されたサイズよりも大きい場合に増加させることができる。逆に、ARヘッドセットを介して見たときの画像データセットの変倍は、光学コードの幾何学的属性の既知のサイズが画像データセット内の画像可視マーカの測定されたサイズよりも小さい場合に減少させることができる。
この技術により、医療手順中に、医療関係者からの関与を必ずしも必要とすることなく、オブジェクトの既知のサイズと画像データセット内のオブジェクトの測定されたサイズとの間の、計算された較正又は較正が可能になる。例えば、画像可視マーカの既知の長さは、10ミリメートルであり得る。画像可視マーカは、MR画像内に見つけることができ、画像可視マーカの尺度は、撮像ソフトウェア内の電子的なツールを使用して行うことができる。次いで、本システムは、画像可視マーカのサイズを画像データセット内のオブジェクトの既知のサイズと比較することができる。画像可視マーカが画像データセット内で小さすぎるか又は大きすぎる場合、その画像が拡大しすぎているか又は縮小しすぎているかを決定することができ、その結果、画像データセットは、自動的に変倍されて、画像可視マーカ又は光学コードの実際のサイズに一致させることができる。この変倍は、画像データセットを患者の身体、又は現実のヒト組織の正しい実世界サイズに、次々に一致させることになる。
本技術の別の構成では、同じサイズとなるように製造された複数の画像可視マーカの測定値は、画像データセットから取得することができる。実世界においてたびたび起こるように、画像可視マーカのサイズ及び長さにわずかなエラー又は不一致が予想される場合(例えば、各々10mmの長さのチューブが予想される5つのマーカの場合)、複数の画像可視マーカの平均値が、共に平均化されて、マーカの平均サイズを見つけることができる。その結果、その画像データセットが平均して大きすぎるか又は小さすぎるかを判定するための計算が行われ得(例えば、5つのマーカの平均に基づく変倍において、0.5mm、1mm、又は3mm外れている)、画像データセットは、事前に知られている測定値か、又はカメラによって取り込まれた画像から測定されている測定値のどちらにも適合しない。したがって、上で考察された変倍及び比較は、画像可視マーカの平均サイズに基づいて行われ得る。
本技術のこの変倍の態様はまた、MRIのみならず、他の撮像法モダリティと共に使用される画像可視放射線不透過性材料の使用にも適用することができる。例えば、光学コードの上に放射線不透過性材料を印刷することができる。放射線不透過性材料の例としては、金属球、液体球、放射線不透過性プラスチック、金属含浸ゴム、金属細片、常磁性材料、及び金属インクの部分が挙げられ得るが、これらに限定されない。放射線不透過性材料は、10分の1ミリメートル(0.1mm)未満の解像度に印刷することができる。変倍についての上述の技術は、X線、CTスキャン、又は画像可視マーカを含む画像データセットを取得することができる他の撮像法モダリティなどの、多くのタイプの撮像法モダリティについての放射線不透過性マーカと共に使用することができる。変倍及び画像可視マーカが適用され得る非光学撮像法モダリティのより詳細なリストとしては、コンピュータ断層撮影(Computerized Tomography、CT)スキャンモダリティ、X線モダリティ、陽電子放出断層撮影(PET)モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ(IRT)モダリティ、3Dマンモグラフィ、又は単一光子放出型コンピュータ断層撮影(SPECT)スキャンモダリティが挙げられる。例えば、他のモダリティで使用される画像可視マーカは、放射線不透過性マーカ、超音波用の音響発生構造体、造影剤、又はチューブ内の造影薬剤などであり得る。
本技術の一構成では、患者の身体がARヘッドセットを介して見ているときに、本システムは、患者の身体上の光学コード(例えば、AprilTag)を空間内の1つ以上の点として識別することができ、サブミリメートル精度に至る光学コード(例えば、AprilTag)の点を知ることが望ましい。しかしながら、光学コードは、空間内に多くの点をカバーするため、空間内の単一点ではない。その結果、ARヘッドセットを介して光学コードを見ているときに、光学コード及び関連する3D点の場所を見て識別するときに生じる、視点問題、光学的不完全さ、視差問題、及び短縮が存在し得る。より具体的な例として、光学コード上の第1の点からのARヘッドセット上の光学センサ又はカメラからの距離は、光学コード上の第2の点よりも遠い場合があり、これは、患者の身体に対して画像データセットの位置推定をわずかにシフトさせる可能性がある。位置合わせにおける精度をミリメートル及びサブミリメートルに改善するために、光学コードは、視覚歪みを受ける点群ではなく、空間内の単一点として取り扱うことができる。
画像データセットを位置合わせするには、可視光学コードを空間内の単一点に低減し、その単一点を、ARヘッドセットによって見られる3D空間内の第2の単一点にも低減される画像可視マーカと位置合わせすることによって、実行することができる。位置合わせのために光学コード全体の多くの点を使用するのではなく、光学コードは、3D空間内の1つの点として識別することができる。縁端部(例えば、コーナー又は他の光学コード特徴)の座標は、識別することができ、数学的線(例えば、正方形又は長方形の対角線、2等分線など)が、光学コードの縁端部間に引くことができ、次いで、光学コードは、その線が交差する点における空間内の単一点に軽減することができる。
光学コードを空間内の単一点に軽減することは、視差及び幾何学的歪みによって作り出されたエラーを補正するのに役立ち得る。位置合わせのための光学コードの複数の点を使用することはまた、単一点を使用することよりも正確であり得る。いくつかの状況では、コーナーなどの、光学コードの1つ以上の点の測定は、縁端部検出閾値がARヘッドセット内にどのレベルで設定されるか、又は可視画像内の様々な点に存在する光学歪みに応じて、数ミリメートルだけ変化し得る。本技術は、位置合わせを改善し、かつ先に考察された潜在的な問題を補正するのに役立ち得る。
図8は、拡張現実(AR)ヘッドセットを使用して、画像データセット880を人の身体850と位置合わせ又は共存させるための光学コード854の中心を見つけること及び使用することを示す。材料852上に印刷され、かつ人の身体と関連付けられている1つ以上の光学コード854は、ARヘッドセットの可視光カメラによって取り込まれたカメラ画像内で識別することができる。人850の身体上の光学コードは、画像可視マーカ860(例えば、チューブ又は放射線不透過性材料)に対する固定位置に位置付けすることができる。
視覚画像データ内の人850の身体と関連付けられた光学コード854の1つ以上の縁端部はまた、識別することもできる。光学コードの中心点856は、光学コード854の1つ以上の縁端部を使用して識別することができる。
光学コード854の中心、幾何学的中心、又は重心を計算するための1つの方法は、光学コードの縁端部上の第1の点と光学コード854の縁端部上の第2の点との間の第1の線を計算して、光学コードの第1の対角線の870を形成することであり得る。第1及び第2の点は、光学コードのコーナーであり得る。第2の線872はまた、光学コードの、縁端部上の第3の点と縁端部上の第4の点(例えば、コーナー)との間を計算して、第1の線と交差する、光学コードの第2の対角線を形成することができる。次いで、第1の線及び第2の線が交差する、光学コードの中心点856を決定することができる。画像データセットは、光学コード及び画像可視コードの中心点を使用して人の身体と位置合わせすることができ、その理由は、画像可視コードと光学コードの中心との間の距離が固定され、かつ既知であるためである。
一例では、AprilTagは、画像可視マーカ860を形成するAprilTagの裏面に印刷された放射線不透過性インクを有することができ、その放射線不透過性マーカは、放射線不透過性マーカを検出することができるCTスキャン、X線、又は撮像法モダリティにおいて可視であり得る。このAprilTagは、自動的に見つけられ、一意に識別されることができ、その理由は、各AprilTagが異なるパターンを有し、光学コードが、光学コード材料又は裏張りの裏面に印刷された画像可視マーカ860を有し、CTスキャンで可視であるためである。一例では、放射線不透過性材料は、バリウム又はビスマスであってもよい。更に、常磁性材料を含むチューブはまた、MR画像のための画像可視マーカとして使用することもできる。
図に示すように、光学コードの中心又は重心を見つけることは、正方形又は長方形である光学コードについて計算され得る。ただし、円形、三角形、星形、六角形、多角形、異形、又は任意の他の形状などの任意の形状の、光学コードの中心又は重心が計算され得る。
光学コードの重心866を見つけることにより、ヒト患者の表面上の表面曲率によって作り出されるエラーを補正することができる。可視光学コードを介してXを置くことにより、光学コードの単一の場所をより良好に識別して、光学コードが患者の身体の表面に取り付けられていることに起因した、光学コードのいかなる表面曲率にもかかわらず、位置合わせプロセスで使用するのに役立つ。任意の既知の方法を使用して重心を見つけることはまた、患者に取り付けられた光学コードの任意の曲率又は他の歪みを補正するのを支援することもできる。例えば、光学コードの重心、又は他の明らかに画定された単一点を見つけることは、位置合わせ問題を是正し、光学コードを識別するのを支援することができ、光学コードの正確な追跡を改善することができる。
複数の中心点もまた、位置合わせのために使用することができる。この場合、視覚画像データ内の複数の光学コードの中心点を見つけることができる。複数の光学コードの中心点の平均的な中心点を計算することができる。画像データセットは、複数の光学コードの平均的な中心点を使用して、人又は患者と位置合わせすることができる。
光学コードを含むボックス又は長方形のコーナーを見つけることはまた、QRコード、2Dバーコード、又は光学コードのコーナー上の暗い又は黒いボックスを使用するAprilタグ(図2に示す)を使用することによって、より正確に行うこともできる。ボックスにより、光学コードのコーナーが縁端部検出を使用して明確に識別されることが可能になり、このコーナー識別は、光学コードの中心座標をより正確に決定することを可能になり得る。視覚コードの縁端部にあるボックス又は暗い視覚的強調部分を使用することにより、縁端部(例えば、縁端部検出)を見つけるか、又は照明条件を変化させるために使用される視覚閾値に対して、視覚コードのコーナーの識別をより不変的にする。
光学コードの中心を見つけることはまた、コントラスト解像度問題及び閾値検出問題によって作り出されるエラーを訂正するのを支援することができる。光学コード又は視覚タグは、印刷される形態において正確であり得るが、光学コードが画像化されると、不鮮明又はコントラスト不足となる可能性がある。次いで、正方形若しくは長方形を有する対角線若しくは2等分線を使用するか、又は円の中心を見つけることによって、光学コードの位置は、より容易に決定又は符号化することができる。光学コードが円形であった場合、考察されたように、円の中心を見つけて、位置合わせのために単一点を使用することができる。
光学コードの中心点を見つけることはまた、画像データセットと比較して相対的に大きくない光学コードをより正確に取り込むのを支援することもできる。MR撮像が256×192マトリックス(CTと比較してより低い解像度)で取り込まれている場合、光学コードが大きいほど患者の身体上により多くの幾何学的歪みを有する可能性があるため、光学コードは、好ましくは人のサイズと比較して過度に大きくない。したがって、小さな光学コードの場合に、より正確な中心点を見つけることができる。
図9aは、画像可視マーキング流体を含むチューブを使用して、画像データセット、及び患者の身体を共存させるための、拡張現実ヘッドセットを使用する例示的な方法のフローチャートである。これら及び他の実施形態では、この方法は、1つ以上の非一時的コンピュータ可読媒体上に保存された1つ以上のコンピュータ可読命令に基づいて、1つ以上のプロセッサによって実行することができる。
図9aは、拡張現実(AR)ヘッドセットを使用して、人の身体と画像データセットを共存させるための方法を示す。ブロック904にあるように、この方法は、ARヘッドセットの光学センサを使用して、人の身体と関連付けられた1つ以上の光学コードを識別する動作を含むことができる。人の身体についての光学コードは、光学コードに対して固定位置にあるチューブ又は密閉容器内に画像可視造影剤(すなわち、常磁性流体)を含む画像可視マーカを有することができる。
ブロック906にあるように、チューブ内の画像可視造影剤を有する画像可視マーカは、医療撮像デバイス(例えば、MRIスキャナ)を使用して取得された画像データセット内で識別することができる。ブロック908にあるように、画像データセットは、ARヘッドセットを介して見たときに、人の身体上の1つ以上の光学コードを使用して人の身体と位置合わせすることができる。更に、画像データセットは、画像データセット内のチューブ内の画像可視造影剤を有する画像可視マーカの表現を参照したときに、画像可視マーカの固定位置を使用して、光学コードに対するチューブ内の画像可視造影剤と位置合わせすることができる。
図9bは、拡張現実(AR)ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法を示す。ブロック920にあるように、人の身体の一部分の視覚画像データが、ARヘッドセットの光学センサ又はカメラを使用して取得することができる。ブロック922にあるように、人の身体と関連付けられた1つ以上の光学コードが、視覚画像データ内で識別され得る。人の身体についての光学コードが、その光学コードに対して固定位置に位置付けられている画像可視マーカを有することができる。
ブロック920にあるように、人の身体と関連付けられた画像可視マーカの幾何学的属性の既知のサイズが、識別され得る。画像可視マーカは、医療撮像デバイスを使用して取り込まれたときに、画像データセット内に出現することができる。
ブロック926にあるように、画像データセット内の画像可視マーカの幾何学的属性の測定されたサイズが、画像可視マーカの幾何学的属性の既知のサイズと比較されて、画像データセット内の画像可視マーカの幾何学的属性の、測定されたサイズと既知のサイズとの間の、サイズにおける計算された差を決定することができる。ブロック928にあるように、画像データセットの変倍が修正され得る。画像データセットは、ARヘッドセット及び画像可視マーカを介して見たときに、人の身体上の1つ以上の光学コードを使用して、人の身体と位置合わせすることができる。この位置合わせは、画像データセット内の画像可視マーカの幾何学的属性の、既知のサイズと測定されたサイズとの間の、サイズにおける計算された差に部分的に基づいて生じ得る。
図9cは、拡張現実(AR)ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法を示す。ブロック932にあるように、この方法は、ARヘッドセットの光学センサを使用して、人の身体と関連付けられた1つ以上の光学コードを識別することを含むことができる。人の身体についての光学コードが、画像可視マーカに対して固定位置に位置付けられ得る。
ブロック934にあるように、視覚画像データ内の人の身体と関連付けられた光学コードの縁端部が、識別又は検出され得る。次いで、縁端部上の点が、選択され得る。ブロック936にあるように、光学コードの中心点が、光学コードの1つ以上の縁端部上の点を使用して識別され得る。ブロック940にあるように、画像データセットは、光学コードの第1の中心点、及び画像可視コードの第2の中心点を使用して、人の身体と位置合わせすることができる。
図10は、拡張現実(AR)ヘッドセットを使用して、画像データセットを、ARヘッドセットを介して見られている人の身体と共存させるために用いられ得る例示的なシステムを示す。このシステム1000は、カメラデバイス1002、拡張現実システム1020、ディスプレイデバイス1030、及び複数のデータベース又はデータストアを含むことができる。システム1000はまた、共に通信可能に結合することができる、1つ以上のプロセッサ、メモリ、ファイルシステム、通信ユニット、オペレーティングシステム、及びユーザインターフェースを含むことができる。いくつかの実施形態では、システム1000は、例えば、デスクトップコンピュータ、サーバコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、組み込み型コンピュータ、ARヘッドセット、VRヘッドセットなどであり得る。
カメラデバイス1002は、可視データを取り込むように構成することができる。一例では、カメラデバイス1002を使用して、医療手順又は健康診断中に可視データを取り込むことができる。カメラデバイス1002によって取り込まれた可視データは、人の身体(又は身体の一部分)、光学コード、画像可視マーカ、医療器具(例えば、医療機器、インプラントなど)の画像を含むことができる。カメラデバイス1002は、取り込まれた光学データを拡張現実システム1020に送信することができる。システムはまた、表面センサ、光学センサ、赤外線センサ、Lidarセンサ、又はARシステムによって検出された実際のビュー又は実際のビューのマッピングを検出及び支援するための他のセンサを含むことができる。任意のオブジェクト又は表面を、手術室、患者、部屋、物理的形状、医療用具、又は任意の他の物理的な周囲又はオブジェクトについて検出することができる。
拡張現実システム1020は、画像処理エンジン1022、基準及び位置合わせモジュール1024、画像生成モジュール1026、及び拡張ディスプレイバッファ1028を含むことができる。例えば、画像処理エンジン1022は、カメラデバイス1002から取り込まれた可視画像データを受信し、可視画像データを分析して、可視画像データ内の1つ以上の光学コード、オブジェクト、又は人々を識別する。複数の異なる技術を使用して、以下に限定されない、特徴抽出、セグメント化、及び/又はオブジェクト検出を含む可視画像データ内のオブジェクト又は人々を識別することができる。
画像処理エンジン1022はまた、画像内の患者の両方の身体に貼り付けられ得る光学コードも識別する。画像処理エンジン1022が光学コード(例えば、AprilTag、2Dバーコード、QRコード、及びその他のもの)を識別すると、画像処理ユニット1022は、光学コードデータベース1046にアクセスして、その光学コードと関連付けられた情報を取り出す。いくつかの例では、光学コードは、測定された長さの常磁性流体を含むチューブなどの、測定されたサイズの画像可視マーカと関連付けられている。更に、光学コードは、特定の患者、特定の手順、又は特定のオブジェクトと関連付けることができる。
いくつかの実施形態では、前述したように、基準及び位置合わせモジュール1024が、画像処理エンジン1022と連携して、互いに対して人の身体及び画像データセットを参照する。更に、基準及び位置合わせモジュール1024は、医療オブジェクトデータベース1044内の光学コード情報を使用して、光学コードのサイズ及び形状、並びに識別情報を適切に識別することができる。患者の身体の位置及び配向が決定されると、基準及び位置合わせコントローラ1026は、放射線医学画像データ1042内の任意の関連する放射線医学画像を患者の身体と位置合わせすることができる。いくつかの例では、放射線医学画像は、患者記録データベース1040内の患者記録に基づいて放射線医学画像データベース1042から受信される。
画像生成モジュール1026は、患者の身体の上部に重層化されているときに、グラフィカルデータ、仮想ツール、3D外科手術経路、腫瘤若しくは臓器の3D着色若しくは陰影付け、又は腫瘤、臓器、若しくは標的の強調表示を生成して、ディスプレイデバイス1030内に表示することができる。いくつかの例では、この情報は拡張ディスプレイバッファ1028にロードすることができる。次いで、この情報は、ユーザに表示するためにディスプレイデバイス1030に送信されてもよい。
一例では、患者データベース1040は、複数の患者記録を含む。各患者記録は、患者に対して実行される1つ以上の医療手順を含むことができる。患者記録はまた、医療手順のためのメモ、指示又は計画を含むことができる。患者記録はまた、放射線医学画像データベース1042内の1つ以上の放射線医学画像と関連付けることができる。いくつかの例では、放射線画像は、画像可視マーカに対する光学コードの固定位置を使用して、基準及び位置合わせモジュール1026が画像データセットを患者の身体と適切に位置合わせすることを可能にする画像可視マーカの表現を含む。一例では、医療オブジェクトデータ1044は、医療器具、インプラント、及び他のオブジェクトを含む医療用具を説明する情報を含む。
いくつかの実施形態では、拡張現実システムは、サーバ上に配置されてもよく、ARヘッドセット又はディスプレイデバイス1030に関連して機能することができる任意のコンピュータシステムであってもよい。そのような実施形態では、サーバは、画像データをARヘッドセットに伝達するか、又はARヘッドセットからデータを受信するために、コンピュータネットワークを介してARヘッドセットと通信するように構成され得る。
図11は、本技術のモジュールが実行され得るコンピューティングデバイス1110を図示する。本技術の高レベルの例を実行することができるコンピューティングデバイス1110が示されている。コンピューティングデバイス1110は、メモリデバイス1112と通信する1つ以上のプロセッサ1112を含み得る。このコンピューティングデバイスは、コンピューティングデバイス内のコンポーネントのためのローカル通信インターフェース1118を含むことができる。例えば、ローカル通信インターフェースは、ローカルデータバス及び/又は所望に応じて任意の関連するアドレス若しくは制御バスであってもよい。
メモリデバイス1112は、プロセッサ1112によって実行可能なモジュール1124、及びモジュール1124のためのデータを含み得る。モジュール1124は、前述した機能を実行することができる。データストア1122もまた、プロセッサ1112によって実行可能であるオペレーティングシステムと共に、モジュール1124及び他のアプリケーションに関連するデータを記憶するためにメモリデバイス1112内に位置付けられてもよい。
他のアプリケーションもまた、メモリデバイス1112に記憶され、プロセッサ1112によって実行可能であってもよい。本明細書において考察されるコンポーネント又はモジュールは、ハイブリッドの方法を使用してコンパイル、解釈又は実行される高水準プログラミング言語を使用してソフトウェアの形態で実装され得る。
コンピューティングデバイスはまた、そのコンピューティングデバイスによって使用可能であるI/O(input/output、入力/出力)デバイス1114へのアクセスを有することもできる。I/Oデバイスの一例は、コンピューティングデバイスからの出力を表示するための利用可能なディスプレイ画面である。所望に応じて、他の既知のI/Oデバイスが、コンピューティングデバイスと共に使用され得る。ネットワーキングデバイス1116及び類似の通信デバイスが、コンピューティングデバイスに含まれてもよい。このネットワーキングデバイス1116は、インターネット、LAN、WAN、又は他のコンピューティングネットワークに接続する有線又は無線ネットワーキングデバイスであってもよい。
メモリデバイス1112に記憶されているとして示されているコンポーネント又はモジュールは、プロセッサ1112によって実行されてもよい。「実行可能」という用語は、プロセッサ1112によって実行することができる形式のプログラムファイルを意味し得る。例えば、高水準言語のプログラムは、メモリデバイス1112のランダムアクセス部分にロードされプロセッサ1112によって実行され得るフォーマットで機械コードにコンパイルされ得、又はソースコードは、別の実行可能プログラムによってロードされ、プロセッサによって実行されるべきメモリのランダムアクセス部分に命令を生成するように解釈され得る。実行可能プログラムは、メモリデバイス1112の任意の部分又はコンポーネントに記憶され得る。例えば、メモリデバイス1112は、ランダムアクセスメモリ(random access memory、RAM)、読出し専用メモリ(read only memory、ROM)、フラッシュメモリ、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロッピー(登録商標)ディスク、磁気テープ、又は任意の他のメモリコンポーネントであり得る。
プロセッサ1112は、複数のプロセッサを表すことができ、メモリ1112は、処理回路に対して並列に動作する複数のメモリユニットを表すことができる。これは、システム内の処理及びデータのために並列処理チャネルを提供し得る。ローカルインターフェース1118は、複数のプロセッサのうちのいずれかと複数のメモリとの間の通信を容易にするためのネットワークとして使用されてもよい。ローカルインターフェース1118は、負荷分散、大量データ転送、及び類似のシステムなどの通信を連携するために設計された追加のシステムを使用してもよい。
本明細書に記載されている機能ユニットのいくつかは、それらの実施の独立性をより特に強調するために、モジュールとしてラベル付けされている。例えば、モジュールは、カスタムVLSI回路又はゲートアレイ、論理チップなどの既製の半導体、トランジスタ、又は他のディスクリートコンポーネントを含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのようなプログラマブルハードウェアデバイスに実装されてもよい。
モジュールはまた、様々なタイプのプロセッサによる実行のためのソフトウェアに実装されてもよい。実行可能コードの識別されたモジュールは、例えば、オブジェクト、手順、又は機能として編成され得るコンピュータ命令の1つ以上のブロックを含んでもよい。それにもかかわらず、識別されたモジュールの実行ファイルは、物理的に一緒に位置する必要はなく、モジュールを構成し、論理的に一緒に結合されたときにモジュールについて述べられた目的を達成する異なる場所に記憶された異種の命令を含んでもよい。
実際、実行可能コードのモジュールは、単一の命令、又は多くの命令であってもよく、異なるプログラムの間で、及びいくつかのメモリデバイスにまたがって、いくつかの異なるコードセグメントにわたって分散さえすることであってもよい。同様に、動作データは、本明細書ではモジュール内で識別され及び例示され得、任意の好適な形態で具現化され、任意の好適なタイプのデータ構造内に編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、又は異なるストレージデバイスにわたることを含めて異なる場所にわたって分散されてもよい。モジュールは、所望の機能を行うように動作可能なエージェントを含めて、受動的であっても又は能動的であってもよい。
本明細書に記載の技術は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するための任意の技術で実装された揮発性及び不揮発性、取り外し可能及び非取り外し可能媒体を含むコンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体としては、RAM、ROM、EEPROM、フラッシュメモリ若しくは他のメモリ技術、CD-ROM、デジタル多用途ディスク(digital versatile disk、DVD)若しくは他の光学ストレージデバイス、磁気カセット、磁気テープ、磁気ディスクストレージデバイス若しくは他の磁気ストレージデバイス、又は所望の情報及び記載された技術を記憶するために使用され得る任意の他のコンピュータ記憶媒体が挙げられるが、これらに限定されない。
本明細書に記載のデバイスはまた、デバイスが他のデバイスと通信することを可能にする通信接続又はネットワーキング装置及びネットワーキング接続を含むことができる。通信接続は、通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、及び搬送波又は他の移送機構などの変調データ信号内の他のデータを具現化し、任意の情報配信媒体を含む。「変調データ信号」は、信号内の情報を符号化するような様態で設定又は変更されたその特性のうちの1つ以上を有する信号を意味する。限定ではなく例として、通信媒体には、有線ネットワーク又は直接配線接続などの有線媒体、及び音響、無線周波数、赤外線などの無線媒体並びに他の無線媒体が含まれる。本明細書で使用されるコンピュータ可読媒体という用語は、通信媒体を含む。
図面に図示された例を参照し、本明細書では同じことを説明するために特定言語を使用した。それでもなお、それにより本技術の範囲の限定が意図されない、と理解されるであろう。本明細書に例示されている特徴の変更及び更なる修正、並びに本開示を所有する当業者が想到するであろう、本明細書に例示されている実施例の追加の適用は、本明細書の範囲内であると考えられるべきである。
更に、説明された特徴、構造、又は特性は、1つ以上の実施例において、任意の好適な様態で組み合わされてもよい。先行する説明において、説明される技術の実施例の完全な理解を提供するために、様々な構成の実施例などの多数の具体的な詳細を提供した。しかしながら、当業者は、本技術が、具体的な詳細のうちの1つ以上を伴わずに、又は他の方法、コンポーネント、デバイスなどを伴って実践され得ることを認識するであろう。その他の場合、本技術の態様を不明瞭にすることを回避するために、周知の構造又は動作は、詳細には図示又は説明されていない。
本主題は、構造的特徴及び/又は動作に特有の言語で説明されてきたが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴及び動作に限定されないことを理解されたい。むしろ、上記の特定の特徴及び作用は、特許請求の範囲を実施する例示的な形態として開示されている。記載された技術の趣旨及び範囲から逸脱することなく、多数の改変及び代替の構成が考案され得る。
Claims (29)
- 拡張現実(AR)ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法であって、
前記ARヘッドセットの光学センサを使用して、前記人の前記身体と関連付けられた1つ以上の光学コードを識別することであって、前記人の身体についての光学コードが、前記光学コードに対して固定位置にあるチューブ、又は密閉容器内の画像可視造影剤を含む画像可視マーカを有する、識別することと、
医療撮像デバイスを使用して取得された前記画像データセット内の、前記チューブ内の前記画像可視造影剤を有する前記画像可視マーカを識別することと、
前記ARヘッドセットを介して見たときに前記人の前記身体上の1つ以上の光学コードを使用し、かつ前記画像データセット内の、前記チューブ内の前記画像可視造影剤を有する前記画像可視マーカの表現を参照するときに、前記光学コードに対する前記チューブ内の前記画像可視造影剤を有する前記画像可視マーカの前記固定位置を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、を含む、方法。 - 更に、前記画像可視造影剤が、MRI(磁気共鳴撮像法)可視造影剤である、請求項1に記載の方法。
- 前記画像可視造影剤が、常磁性流体である、請求項2に記載の方法。
- 前記画像可視造影剤が、画定された長さの前記チューブ、又は可変の長さのチューブ内にカプセル化される、請求項2に記載の方法。
- 前記チューブの前記画定された長さが、前記ARヘッドセットの前記光学センサを使用して可視である画定された2Dデータコード化で光学コードを識別する、請求項4に記載の方法。
- チューブの前記画定された長さをデータストア内の前記光学コードとリンクさせることによって、前記ARヘッドセットの前記光学センサを使用して可視の前記光学コードと前記チューブの前記画定された長さを関連付けることを更に含む、請求項5に記載の方法。
- 前記チューブが、線、交差構造、同心円、又は格子構造のうちの少なくとも1つの形状の成形チューブである、請求項1に記載の方法。
- 前記チューブが、円形、三角形、正方形、長方形、楕円形、六角形、八角形、卵形、又は多角形のうちの少なくとも1つである二次元(2D)断面形状を有する、請求項3に記載の方法。
- 前記チューブは、各々が別個の長さを有する複数のチューブセグメントである、請求項3に記載の方法。
- 前記画像可視造影剤が、ガドリニウム溶液、硫酸銅、鉄溶液、マンガン、ビタミンE油、又は常磁性材料である、請求項1に記載の方法。
- 前記人の前記身体上の1つ以上の光学コードを使用して、前記人の前記身体について前記画像データセットを自動的に取リ出すことを更に含む、請求項1に記載の方法。
- 前記チューブが、プラスチックチューブ、ガラス、又は非金属チューブのうちの少なくとも1つである、請求項1に記載の方法。
- カプセル化された造影剤及び光学コードを製造するための方法であって、
プラスチックチューブの第1の端部をシールすることと、
MRI(磁気共鳴撮像法)データ取得で使用するための前記プラスチックチューブの長さを切断することと、
MRI画像データセットに取り込まれ得る可視の画像可視造影剤で前記プラスチックチューブを充填することと、
前記画像可視造影剤を含む前記プラスチックチューブの第2の端部をシールすることと、
接合構造を使用して1つ以上の光学コードを前記プラスチックチューブに取り付けて、前記プラスチックチューブと前記1つ以上の光学コードとの間の固定位置を維持することと、を含む、方法。 - 前記プラスチックチューブが、円形、卵形、正方形、長方形、半円形、波形、又は多角形によって画定された断面形状を有する、請求項13に記載の方法。
- MRI(磁気共鳴撮像法)可視造影剤である前記画像可視造影剤で前記プラスチックチューブを充填することを更に含む、請求項13に記載の方法。
- 常磁性流体である画像可視造影剤で前記チューブを充填することを更に含む、請求項13に記載の方法。
- ガドリニウム溶液、硫酸銅、鉄溶液、マンガン、又はビタミンE油である前記画像可視造影剤で前記チューブを充填することを更に含む、請求項13に記載の方法。
- 拡張現実(AR)ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法であって、
前記ARヘッドセットの光学センサを使用して、前記人の前記身体の一部分の視覚画像データを検出することと、
前記人の前記身体と関連付けられた1つ以上の光学コードを識別することであって、前記人の身体についての光学コードが、前記光学コードに対して固定位置に位置付けられている画像可視マーカを有する、識別することと、
前記人の前記身体と関連付けられた前記画像可視マーカの幾何学的属性の既知のサイズを識別することであって、前記画像可視マーカが、前記画像データセット内に出現する、識別することと、
前記画像データセット内の前記画像可視マーカの前記幾何学的属性の測定されたサイズを、画像可視マーカの幾何学的属性の前記既知のサイズと比較して、前記画像データセット内の前記画像可視マーカの前記幾何学的属性の、測定されたサイズと前記既知のサイズとの間のサイズの計算された差を決定することと、
前記画像可視マーカの前記幾何学的属性の、前記既知のサイズと測定されたサイズとの間のサイズの前記計算された差に少なくとも部分的に基づいて、前記ARヘッドセット及び前記画像可視マーカを介して見たときに、前記人の前記身体上の1つ以上の光学コードを使用して、前記人の前記身体に位置合わせされるように、前記画像データセットの倍率を修正することと、を含む、方法。 - 前記画像データセットの前記倍率を増加又は減少させて、前記画像データセット内の前記画像可視マーカの前記幾何学的属性の前記測定されたサイズを、前記画像可視マーカの前記幾何学的属性の前記既知のサイズに一致させることを更に含む、請求項18に記載の方法。
- 前記ARヘッドセットを介して見たときに、前記画像データセットの前記倍率を増加させることを更に含み、前記光学コードの前記既知のサイズが、前記画像データセット内の前記画像可視マーカの前記測定されたサイズよりも大きい、請求項18に記載の方法。
- 前記ARヘッドセットを介して見たときに、前記画像データセットの前記倍率を減少させることを更に含み、前記光学コードの前記既知のサイズが、前記画像データセット内の前記画像可視マーカの前記測定されたサイズよりも小さい、請求項18に記載の方法。
- 前記幾何学的属性の前記サイズが、前記ARヘッドセットにアクセス可能なデータストアに保存された事前測定された値である、請求項18に記載の方法。
- 前記幾何学的属性の前記サイズが、前記ARヘッドセットによって取得された人の身体上で可視である画像可視マーカから測定される、請求項18に記載の方法。
- 前記光学コードの前記幾何学的属性が、常磁性マーカのチューブの長さ、前記光学コードとの2つの金属マーカ間の距離、前記光学コードの複数の金属マーカを包含する半径、前記画像可視マーカの直径、又は前記画像可視マーカの幾何学的測定のうちの少なくとも1つである、請求項18に記載の方法。
- 拡張現実(AR)ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法であって、
前記ARヘッドセットの光学センサを使用して、前記人の前記身体と関連付けられた1つ以上の光学コードを識別することであって、前記人の身体についての光学コードが、画像可視マーカに対して固定位置に位置付けられている、識別することと、
前記人の前記身体と関連付けられた光学コードの1つ以上の縁端部を識別することと、
前記光学コードの前記1つ以上の縁端部を使用して、前記光学コードの中心点を識別することと、
前記光学コードの前記中心点及び前記画像可視コードを使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、を含む、方法。 - 前記中心点が、前記光学コードの計算された重心である、請求項25に記載の方法。
- 前記光学コードの前記縁端部上の第1の点と前記光学コードの縁端部上の第2の点との間の第1の線を計算して、前記光学コードの第1の対角線を形成することと、
前記光学コードの第2の対角線を形成し、前記第1の線と交差する、前記光学コードの前記縁端部上の第3の点と前記縁端部上の第4の点との間の第2の線を計算することと、
前記第1の線及び第2の線が交差する前記光学コードの中心点を識別することと、を更に含む、請求項25に記載の方法。 - 前記画像可視マーカを参照としたときの光学コードの前記中心点、及び前記光学コードの前記中心点と前記画像可視マーカとの間の固定距離を使用することによって、前記ARヘッドセットを介して前記画像データセットを表示するための場所を決定することを更に含む、請求項25に記載の方法。
- 前記視覚画像データ内の複数の光学コードの前記中心点を見つけることと、
前記複数の光学コードの前記中心点の平均中心点を計算することと、
前記複数の光学コードの前記平均中心点を使用して、前記画像データセットを人の身体と位置合わせすることと、を更に含む、請求項25に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/745,160 | 2020-01-16 | ||
US16/745,160 US11237627B2 (en) | 2020-01-16 | 2020-01-16 | Alignment of medical images in augmented reality displays |
PCT/US2021/013333 WO2021146357A1 (en) | 2020-01-16 | 2021-01-13 | Alignment of medical images in augmented reality displays |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023511315A true JP2023511315A (ja) | 2023-03-17 |
Family
ID=76856928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022543527A Pending JP2023511315A (ja) | 2020-01-16 | 2021-01-13 | 拡張現実ディスプレイ内の医療画像の位置合わせ |
Country Status (5)
Country | Link |
---|---|
US (2) | US11237627B2 (ja) |
EP (1) | EP4091175A4 (ja) |
JP (1) | JP2023511315A (ja) |
KR (1) | KR20220159359A (ja) |
WO (1) | WO2021146357A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2955481B1 (fr) | 2010-01-27 | 2013-06-14 | Tornier Sa | Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer |
US11417426B2 (en) | 2017-02-24 | 2022-08-16 | Masimo Corporation | System for displaying medical monitoring data |
US11024064B2 (en) * | 2017-02-24 | 2021-06-01 | Masimo Corporation | Augmented reality system for displaying patient data |
SE2250262A1 (en) * | 2022-02-25 | 2023-08-26 | Navari Surgical Ab | Marker unit for use in ar aided surgery |
CN116504356B (zh) * | 2023-06-25 | 2023-09-19 | 成都尚医信息科技有限公司 | 一种基于ar体姿识别的动态交互布局方法、系统及设备 |
Family Cites Families (126)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8496474B2 (en) | 1997-06-20 | 2013-07-30 | Align Technology, Inc. | Computer automated development of an orthodontic treatment plan and appliance |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
US6470207B1 (en) | 1999-03-23 | 2002-10-22 | Surgical Navigation Technologies, Inc. | Navigational guidance via computer-assisted fluoroscopic imaging |
US6919867B2 (en) | 2001-03-29 | 2005-07-19 | Siemens Corporate Research, Inc. | Method and apparatus for augmented reality visualization |
US20030100830A1 (en) * | 2001-11-27 | 2003-05-29 | Sheng-Ping Zhong | Implantable or insertable medical devices visible under magnetic resonance imaging |
US7369101B2 (en) | 2003-06-12 | 2008-05-06 | Siemens Medical Solutions Usa, Inc. | Calibrating real and virtual views |
US7467119B2 (en) | 2003-07-21 | 2008-12-16 | Aureon Laboratories, Inc. | Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition |
CN1957373A (zh) | 2004-03-12 | 2007-05-02 | 布拉科成像S.P.A.公司 | 基于视频的扩增实境增强型外科手术导航系统的精度评估 |
US9681925B2 (en) | 2004-04-21 | 2017-06-20 | Siemens Medical Solutions Usa, Inc. | Method for augmented reality instrument placement using an image based navigation system |
US7394946B2 (en) | 2004-05-18 | 2008-07-01 | Agfa Healthcare | Method for automatically mapping of geometric objects in digital medical images |
WO2006077529A2 (en) * | 2005-01-18 | 2006-07-27 | Koninklijke Philips Electronics, N.V. | System for controlling traversal of an ingested capsule |
US20070066881A1 (en) | 2005-09-13 | 2007-03-22 | Edwards Jerome R | Apparatus and method for image guided accuracy verification |
JP4665710B2 (ja) * | 2005-10-21 | 2011-04-06 | 株式会社デンソーウェーブ | 情報コード担体 |
US9782229B2 (en) | 2007-02-16 | 2017-10-10 | Globus Medical, Inc. | Surgical robot platform |
US7546950B2 (en) * | 2006-03-28 | 2009-06-16 | Seiko Epson Corporation | Method and apparatus for locating and decoding a two-dimensional machine-readable symbol |
JP5146692B2 (ja) | 2006-03-30 | 2013-02-20 | アクティビューズ リミテッド | 光学的位置測定ならびに剛性または半可撓性の針の標的への誘導のためのシステム |
WO2008076079A1 (en) | 2006-12-19 | 2008-06-26 | Bracco Imaging S.P.A. | Methods and apparatuses for cursor control in image guided surgery |
US9554765B2 (en) | 2007-01-22 | 2017-01-31 | Avent, Inc. | Positioning tool |
JPWO2008090676A1 (ja) | 2007-01-25 | 2010-05-13 | コニカミノルタエムジー株式会社 | 医用画像システム、電子カルテ端末及びプログラム |
CN101677827B (zh) | 2007-05-10 | 2014-08-13 | 皇家飞利浦电子股份有限公司 | 定靶方法和定靶装置 |
US7886978B2 (en) * | 2007-09-20 | 2011-02-15 | Microsoft Corporation | Techniques for decoding images of barcodes |
US7853558B2 (en) | 2007-11-09 | 2010-12-14 | Vibrant Media, Inc. | Intelligent augmentation of media content |
EP2304527A4 (en) | 2008-06-18 | 2013-03-27 | Oblong Ind Inc | GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES |
WO2010110560A2 (ko) | 2009-03-24 | 2010-09-30 | 주식회사 래보 | 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법 |
US20110105895A1 (en) | 2009-10-01 | 2011-05-05 | Giora Kornblau | Guided surgery |
WO2011085815A1 (en) | 2010-01-14 | 2011-07-21 | Brainlab Ag | Controlling a surgical navigation system |
US8657809B2 (en) | 2010-09-29 | 2014-02-25 | Stryker Leibinger Gmbh & Co., Kg | Surgical navigation system |
US9119655B2 (en) | 2012-08-03 | 2015-09-01 | Stryker Corporation | Surgical manipulator capable of controlling a surgical instrument in multiple modes |
US9521966B2 (en) * | 2012-05-17 | 2016-12-20 | Alan N. Schwartz | Localization of the parathyroid |
DE112012000752A5 (de) | 2011-02-11 | 2013-11-21 | Olaf Christiansen | Endoskopisches Bildverarbeitungssystem mit Mitteln, welche im Erfassungsbereich einer optischen Digitalkamera eine geometrische Vermessungsinformation erzeugen |
US8401343B2 (en) | 2011-03-27 | 2013-03-19 | Edwin Braun | System and method for defining an augmented reality character in computer generated virtual reality using coded stickers |
JP6021353B2 (ja) | 2011-08-04 | 2016-11-09 | オリンパス株式会社 | 手術支援装置 |
US9123155B2 (en) | 2011-08-09 | 2015-09-01 | Covidien Lp | Apparatus and method for using augmented reality vision system in surgical procedures |
US20130197354A1 (en) | 2012-01-30 | 2013-08-01 | Siemens Aktiengesellschaft | Minimally invasive treatment of mitral regurgitation |
US9594877B2 (en) | 2012-08-31 | 2017-03-14 | Nuvectra Corporation | Virtual reality representation of medical devices |
US9817440B2 (en) | 2012-09-11 | 2017-11-14 | L.I.F.E. Corporation S.A. | Garments having stretchable and conductive ink |
US8945328B2 (en) | 2012-09-11 | 2015-02-03 | L.I.F.E. Corporation S.A. | Methods of making garments having stretchable and conductive ink |
US9323057B2 (en) * | 2012-12-07 | 2016-04-26 | Blackberry Limited | Mobile device, system and method for controlling a heads-up display |
JP2014131552A (ja) | 2013-01-07 | 2014-07-17 | Akira Takebayashi | 医療支援装置 |
US9336629B2 (en) * | 2013-01-30 | 2016-05-10 | F3 & Associates, Inc. | Coordinate geometry augmented reality process |
WO2014160342A1 (en) | 2013-03-13 | 2014-10-02 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
KR20140112207A (ko) | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 |
US9047664B2 (en) | 2013-05-31 | 2015-06-02 | Kathryn Pearson Peyton | Apparatus and method for utilizing mammogram images for verification |
JP6023324B2 (ja) | 2013-06-11 | 2016-11-09 | 敦 丹治 | 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置 |
US9572516B1 (en) | 2013-08-06 | 2017-02-21 | Babak Sheikh | Application and method for producing images of moving joints |
US10433911B2 (en) | 2013-09-18 | 2019-10-08 | iMIRGE Medical INC. | Optical targeting and visualization of trajectories |
EP2870941A1 (en) | 2013-11-08 | 2015-05-13 | Orthotaxy | Method for planning a surgical intervention |
JP6264014B2 (ja) | 2013-12-17 | 2018-01-24 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
US10231704B2 (en) | 2013-12-20 | 2019-03-19 | Raghu Raghavan | Method for acquiring ultrasonic data |
EP3110331B1 (en) | 2014-02-26 | 2018-10-10 | Brainlab AG | Tracking soft tissue in medical images |
JP6445784B2 (ja) | 2014-05-16 | 2018-12-26 | キヤノン株式会社 | 画像診断支援装置、その処理方法及びプログラム |
US10504231B2 (en) | 2014-05-21 | 2019-12-10 | Millennium Three Technologies, Inc. | Fiducial marker patterns, their automatic detection in images, and applications thereof |
US20210186355A1 (en) | 2014-11-30 | 2021-06-24 | Elbit Systems Ltd. | Model registration system and method |
US20160180441A1 (en) | 2014-12-22 | 2016-06-23 | Amazon Technologies, Inc. | Item preview image generation |
US9830488B2 (en) | 2014-12-30 | 2017-11-28 | Hand Held Products, Inc. | Real-time adjustable window feature for barcode scanning and process of scanning barcode with adjustable window feature |
US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
US10004610B2 (en) | 2015-02-04 | 2018-06-26 | DePuy Synthes Products, Inc. | Non-invasive methods for modifying tissue to facilitate treatment |
MA41082A1 (fr) | 2015-03-01 | 2018-06-29 | Aris Md Inc | Procédure morphologique à réalité augmentée |
TWI553508B (zh) | 2015-03-03 | 2016-10-11 | 緯創資通股份有限公司 | 物件感測裝置與方法 |
EP3280344A2 (en) | 2015-04-07 | 2018-02-14 | King Abdullah University Of Science And Technology | Method, apparatus, and system for utilizing augmented reality to improve surgery |
US9436993B1 (en) | 2015-04-17 | 2016-09-06 | Clear Guide Medical, Inc | System and method for fused image based navigation with late marker placement |
US10076265B2 (en) * | 2015-05-08 | 2018-09-18 | Synaptive Medical (Barbados) Inc. | Magnetic resonance visible labels and markers for encoding information |
EP3369021B1 (en) | 2015-10-29 | 2023-08-16 | Koninklijke Philips N.V. | Remote assistance workstation, method and system with a user interface for remote assistance with spatial placement tasks via augmented reality glasses |
WO2017093034A1 (en) | 2015-12-01 | 2017-06-08 | Brainlab Ag | Method and apparatus for determining or predicting the position of a target |
TWI589628B (zh) | 2015-12-09 | 2017-07-01 | 中山台光電子材料有限公司 | 樹脂組合物 |
WO2017106357A1 (en) | 2015-12-14 | 2017-06-22 | Nuvasive, Inc. | 3d visualization during surgery with reduced radiation exposure |
US20170178540A1 (en) | 2015-12-22 | 2017-06-22 | Truinject Medical Corp. | Injection training with modeled behavior |
JP6112689B1 (ja) | 2016-02-17 | 2017-04-12 | 株式会社菊池製作所 | 重畳画像表示システム |
CN105769232B (zh) | 2016-02-22 | 2018-01-12 | 上海联影医疗科技有限公司 | Ct设备的x射线管灯丝预热方法和预热电路 |
EP3426179B1 (en) | 2016-03-12 | 2023-03-22 | Philipp K. Lang | Devices for surgery |
JP6780948B2 (ja) | 2016-03-28 | 2020-11-04 | キヤノンメディカルシステムズ株式会社 | X線ct装置 |
US20170296292A1 (en) | 2016-04-16 | 2017-10-19 | Eitezaz MAHMOOD | Systems and Methods for Surgical Imaging |
IL245339A (en) | 2016-04-21 | 2017-10-31 | Rani Ben Yishai | Method and system for verification of registration |
US9589348B1 (en) | 2016-05-31 | 2017-03-07 | Oculus Vr, Llc | Camera calibration system |
EP3494546A1 (en) | 2016-08-05 | 2019-06-12 | Brainlab AG | Automatic image registration of scans for image-guided surgery |
US11071596B2 (en) | 2016-08-16 | 2021-07-27 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
JP2019534717A (ja) | 2016-08-16 | 2019-12-05 | インサイト メディカル システムズ インコーポレイテッド | 医療処置における感覚増強のためのシステム |
US10687901B2 (en) | 2016-08-17 | 2020-06-23 | Synaptive Medical (Barbados) Inc. | Methods and systems for registration of virtual space with real space in an augmented reality system |
US20180092698A1 (en) | 2016-10-04 | 2018-04-05 | WortheeMed, Inc. | Enhanced Reality Medical Guidance Systems and Methods of Use |
US10888228B2 (en) | 2016-11-10 | 2021-01-12 | SK Commercial Construction, Inc. | Method and system for correlating anatomy using an electronic mobile device transparent display screen |
EP3568070B1 (en) | 2017-01-16 | 2024-01-03 | Philipp K. Lang | Optical guidance for surgical, medical, and dental procedures |
EP3571698A1 (en) | 2017-01-17 | 2019-11-27 | Koninklijke Philips N.V. | Augmented reality interventional system providing contextual overlays |
IL250432A0 (en) | 2017-02-02 | 2017-06-29 | Elbit Systems Ltd | Magnified imaging with high resolution and traceability for medical use |
US20200188030A1 (en) | 2017-02-08 | 2020-06-18 | Duke University | Augmented Reality-Based Navigation for Use in Surgical and Non-Surgical Procedures |
US10010379B1 (en) * | 2017-02-21 | 2018-07-03 | Novarad Corporation | Augmented reality viewing and tagging for medical procedures |
US10478149B2 (en) | 2017-02-21 | 2019-11-19 | Siemens Healthcare Gmbh | Method of automatically positioning an X-ray source of an X-ray system and an X-ray system |
US9836654B1 (en) | 2017-02-28 | 2017-12-05 | Kinosis Ltd. | Surgical tracking and procedural map analysis tool |
US10871934B2 (en) | 2017-05-04 | 2020-12-22 | Microsoft Technology Licensing, Llc | Virtual content displayed with shared anchor |
US20180373327A1 (en) | 2017-06-26 | 2018-12-27 | Hand Held Products, Inc. | System and method for selective scanning on a binocular augmented reality device |
WO2019006026A1 (en) | 2017-06-28 | 2019-01-03 | Commscope Technologies Llc | SYSTEMS AND METHODS FOR CONNECTIVITY WALL OUTPUTS MANAGED WITH LOW ENERGY WIRELESS COMMUNICATION |
US20200405395A1 (en) | 2017-07-03 | 2020-12-31 | Spine Align, Llc | Intraoperative alignment assessment system and method |
US11540767B2 (en) | 2017-07-03 | 2023-01-03 | Globus Medical Inc. | Intraoperative alignment assessment system and method |
EP3445048A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
EP3470006B1 (en) | 2017-10-10 | 2020-06-10 | Holo Surgical Inc. | Automated segmentation of three dimensional bony structure images |
EP4245250A3 (en) | 2017-08-15 | 2023-09-27 | Holo Surgical Inc. | Surgical navigation system for providing an augmented reality image during operation |
US11432879B2 (en) | 2017-08-18 | 2022-09-06 | Siemens Healthcare Gmbh | Method and apparatus for wide area multi-body 6D pose tracking system |
US20190075456A1 (en) | 2017-09-07 | 2019-03-07 | Bae Systems Information And Electronic Systems Integration Inc. | Secure wireless pairing of master slave devices withqr codes |
WO2019051464A1 (en) * | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
US11199946B2 (en) | 2017-09-20 | 2021-12-14 | Nec Corporation | Information processing apparatus, control method, and program |
EP3498212A1 (en) | 2017-12-12 | 2019-06-19 | Holo Surgical Inc. | A method for patient registration, calibration, and real-time augmented reality image display during surgery |
EP3509013A1 (en) | 2018-01-04 | 2019-07-10 | Holo Surgical Inc. | Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure |
US10504250B2 (en) | 2018-01-27 | 2019-12-10 | Uih America, Inc. | Systems and methods for correcting mismatch induced by respiratory motion in positron emission tomography image reconstruction |
GB201804383D0 (en) | 2018-03-19 | 2018-05-02 | Microsoft Technology Licensing Llc | Multi-endpoint mixed reality meetings |
US20190310819A1 (en) | 2018-04-10 | 2019-10-10 | Carto Technologies, LLC | Augmented reality image display systems and methods |
US10809958B2 (en) | 2018-04-16 | 2020-10-20 | Microsoft Technology Licensing, Llc | Setting up multiple displays via user input |
US11145123B1 (en) | 2018-04-27 | 2021-10-12 | Splunk Inc. | Generating extended reality overlays in an industrial environment |
TWI678181B (zh) | 2018-04-30 | 2019-12-01 | 長庚大學 | 手術導引系統 |
US11666411B2 (en) | 2018-05-10 | 2023-06-06 | Memorial Sloan Kettering Cancer Center | Systems for augmented reality surgical and clinical visualization |
US10825563B2 (en) * | 2018-05-14 | 2020-11-03 | Novarad Corporation | Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient |
EP3803540B1 (en) | 2018-06-11 | 2023-05-24 | Brainlab AG | Gesture control of medical displays |
EP3810008A2 (en) | 2018-06-19 | 2021-04-28 | Tornier, Inc. | Mixed reality-aided depth tracking in orthopedic surgical procedures |
EP3608870A1 (en) | 2018-08-10 | 2020-02-12 | Holo Surgical Inc. | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure |
US10803761B2 (en) | 2018-08-13 | 2020-10-13 | University Of Central Florida Research Foundation, Inc. | Multisensory wound simulation |
US11244509B2 (en) | 2018-08-20 | 2022-02-08 | Fisher-Rosemount Systems, Inc. | Drift correction for industrial augmented reality applications |
ES2919428T3 (es) | 2018-11-08 | 2022-07-26 | Holo Surgical Inc | Segmentación autónoma de estructuras tridimensionales del sistema nervioso a partir de imágenes médicas |
US11287874B2 (en) | 2018-11-17 | 2022-03-29 | Novarad Corporation | Using optical codes with augmented reality displays |
US20200186786A1 (en) | 2018-12-06 | 2020-06-11 | Novarad Corporation | Calibration for Augmented Reality |
JP7227377B2 (ja) | 2018-12-12 | 2023-02-21 | ホウメディカ・オステオニクス・コーポレイション | 骨密度モデリング及び整形外科手術計画システム |
JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ, インコーポレイテッド | 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
EP3937825A4 (en) | 2019-03-13 | 2022-12-28 | Smith&Nephew, Inc. | AUGMENTED REALITY ASSISTED SURGICAL TOOL ALIGNMENT |
AU2020282774A1 (en) * | 2019-05-29 | 2021-12-23 | Murphy, Stephen B | Systems and methods for utilizing augmented reality in surgery |
US10929670B1 (en) * | 2019-10-21 | 2021-02-23 | The Boeing Company | Marker-to-model location pairing and registration for augmented reality applications |
US20220202493A1 (en) | 2020-12-30 | 2022-06-30 | Novarad Corporation | Alignment of Medical Images in Augmented Reality Displays |
US11172996B1 (en) | 2021-01-13 | 2021-11-16 | MediVis, Inc. | Instrument-based registration and alignment for augmented reality environments |
US11786206B2 (en) | 2021-03-10 | 2023-10-17 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems |
US11948265B2 (en) | 2021-11-27 | 2024-04-02 | Novarad Corporation | Image data set alignment for an AR headset using anatomic structures and data fitting |
-
2020
- 2020-01-16 US US16/745,160 patent/US11237627B2/en active Active
-
2021
- 2021-01-13 EP EP21740876.4A patent/EP4091175A4/en active Pending
- 2021-01-13 JP JP2022543527A patent/JP2023511315A/ja active Pending
- 2021-01-13 WO PCT/US2021/013333 patent/WO2021146357A1/en unknown
- 2021-01-13 KR KR1020227027719A patent/KR20220159359A/ko unknown
-
2022
- 2022-01-31 US US17/589,679 patent/US11989341B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2021146357A1 (en) | 2021-07-22 |
US11989341B2 (en) | 2024-05-21 |
EP4091175A1 (en) | 2022-11-23 |
EP4091175A4 (en) | 2024-01-24 |
US11237627B2 (en) | 2022-02-01 |
US20220155854A1 (en) | 2022-05-19 |
US20210223855A1 (en) | 2021-07-22 |
KR20220159359A (ko) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11989338B2 (en) | Using optical codes with augmented reality displays | |
US11989341B2 (en) | Alignment of medical images in augmented reality displays | |
US11393110B2 (en) | Spatial registration of tracking system with an image using two-dimensional image projections | |
US20230072188A1 (en) | Calibration for Augmented Reality | |
US9314214B2 (en) | Calibration of radiographic images | |
KR20210016378A (ko) | 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법 | |
CN113646808A (zh) | 空间跟踪系统与增强现实显示器的配准 | |
US20090129650A1 (en) | System for presenting projection image information | |
EP2452649A1 (en) | Visualization of anatomical data by augmented reality | |
EP2849630B1 (en) | Virtual fiducial markers | |
US20220202493A1 (en) | Alignment of Medical Images in Augmented Reality Displays | |
JP2019511268A (ja) | 脳深部刺激療法の電極の三次元画像における回転配向の決定 | |
US11948265B2 (en) | Image data set alignment for an AR headset using anatomic structures and data fitting | |
CN104274247A (zh) | 医学手术导航方法 | |
WO2017120126A1 (en) | Accurate radiographic calibration using multiple images | |
EP3637374A1 (en) | Method and system for visualising a spatial surface curvature of a 3d-object, computer program product, and computer-readable storage medium | |
US20230169696A1 (en) | Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays | |
Hosseinian et al. | C-arm pose estimation and navigation in surgeries for augmented reality application | |
US20240144497A1 (en) | 3D Spatial Mapping in a 3D Coordinate System of an AR Headset Using 2D Images | |
Kaushik et al. | Image based data preparation for neuronavigation | |
Manning et al. | Surgical navigation | |
CN116983084A (zh) | 一种穿支皮瓣三维导航方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240110 |