JP6698824B2 - 画像表示制御装置および方法並びにプログラム - Google Patents

画像表示制御装置および方法並びにプログラム Download PDF

Info

Publication number
JP6698824B2
JP6698824B2 JP2018511934A JP2018511934A JP6698824B2 JP 6698824 B2 JP6698824 B2 JP 6698824B2 JP 2018511934 A JP2018511934 A JP 2018511934A JP 2018511934 A JP2018511934 A JP 2018511934A JP 6698824 B2 JP6698824 B2 JP 6698824B2
Authority
JP
Japan
Prior art keywords
image
observation target
target tissue
superimposed
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018511934A
Other languages
English (en)
Other versions
JPWO2017179350A1 (ja
Inventor
太 櫻木
太 櫻木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017179350A1 publication Critical patent/JPWO2017179350A1/ja
Application granted granted Critical
Publication of JP6698824B2 publication Critical patent/JP6698824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022—Stereoscopic imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Description

本発明は、拡張現実感を用いて実空間に重畳画像を表示させる画像表示制御装置および方法並びにプログラムに関するものである。
従来、術前に撮影された医用画像などから作成した仮想オブジェクトをヘッドマウントディスプレイなどによって実空間に重畳表示することで、手術シミュレーションおよび手術ナビゲーションに利用することが行われている（たとえば特許文献１参照）。
また、特許文献２および特許文献３においては、カメラおよびセンサなどを用いて実空間における臓器などの表面形状を取得し、術前にＣＴ（Computed Tomography）装置などで得られた画像から生成した臓器モデルを上記表面形状に位置合わして重畳表示することによって、手術を安全に行えるようにすることが提案されている。
特開２０１１−２１２３６７号公報 特開２０１０−２５９４９７号公報 特開２０１２−２３５９８３号公報
しかしながら、特許文献２および特許文献３に示すように、臓器モデルを単に重畳表示するだけでは、臓器モデル自体に奥行き感がないため、たとえば肝臓の切除手術などにおいて重畳表示された臓器モデルを参考に手術を行う場合、実際の臓器の奥側にある血管なども重畳表示され、臓器表面の直ぐ下にある血管がどのように走行しているかを把握することが困難であった。
本発明は、上記事情に鑑み、奥行き情報を把握し易い重畳画像を実空間の観察対象組織に対して重畳表示させることができる画像表示制御装置および方法並びにプログラムを提供することを目的とするものである。
本発明の画像表示制御装置は、被検体を撮影した３次元画像から観察対象組織の画像を抽出する画像抽出部と、観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる観察対象組織の表面からの距離を記憶する距離記憶部と、実空間における観察対象組織の表面形状を取得する表面形状取得部と、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行う位置合わせ処理部と、位置合わせ処理が行われた観察対象組織の画像と距離記憶部に記憶された距離とに基づいて、重畳画像を生成する重畳画像生成部と、観察対象組織に対して重畳画像を重畳表示させる表示制御部とを備える。
また、上記本発明の画像表示制御装置において、表面形状取得部は、実空間における観察対象組織の表面形状を計測する表面形状計測部によって計測された表面形状を取得し、表面形状計測部は、その表面形状計測部と実空間における観察対象組織の表面上の複数の点との距離を計測することによって表面形状を計測することができる。
また、上記本発明の画像表示制御装置において、表面形状取得部は、実空間の表面形状を時間の経過に応じて逐次取得し、位置合わせ処理部は、表面形状の取得に応じて位置合わせ処理を逐次行い、重畳画像生成部は、位置合わせ処理に応じて重畳画像を逐次更新することができる。
また、上記本発明の画像表示制御装置においては、上記距離の変更を受け付ける距離変更受付部を備え、重畳画像生成部は、変更後の距離と観察対象組織の画像とに基づいて、重畳画像を生成することができる。
また、上記本発明の画像表示制御装置において、重畳画像生成部は、上記距離以外の範囲の観察対象組織の画像に対して、上記距離の観察対象組織の画像よりも高い透明度を設定した重畳画像を生成することができる。
また、上記本発明の画像表示制御装置において、上記距離以外の範囲の観察対象組織の画像に対して設定される透明度は、上記距離から離れるにつれて徐々に大きくなるように設定することができる。
また、上記本発明の画像表示制御装置において、重畳画像生成部は、上記距離以外の範囲に含まれる予め設定された特定組織の画像に対して、上記距離の観察対象組織の画像と同じ不透明度を設定して重畳画像を生成することができる。
また、上記本発明の画像表示制御装置において、表示制御部は、特定組織の画像を表示させる場合、特定組織の観察対象組織の表面からの距離をテキスト表示させることができる。
また、上記本発明の画像表示制御装置においては、実空間における観察対象組織の画像を撮像する撮像部を備え、表示制御部は、撮像部によって撮像された観察対象組織の画像に対して重畳画像を重畳表示させることができる。
また、上記本発明の画像表示制御装置において、表示制御部は、シースルー型のモニタに重畳画像を表示させることができる。
本発明の画像表示制御方法は、被検体を撮影した３次元画像から観察対象組織の画像を抽出し、観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる観察対象組織の表面からの距離を予め記憶し、実空間における観察対象組織の表面形状を取得し、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行い、位置合わせ処理が行われた観察対象組織の画像と予め記憶した距離とに基づいて、重畳画像を生成し、観察対象組織に対して重畳画像を重畳表示させる。
本発明の画像表示制御プログラムは、コンピュータに、被検体を撮影した３次元画像から観察対象組織の画像を抽出する手順と、観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる観察対象組織の表面からの距離を予め記憶する手順と、実空間における観察対象組織の表面形状を取得する手順と、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行う手順と、位置合わせ処理が行われた観察対象組織の画像と予め記憶した距離とに基づいて、重畳画像を生成する手順と、観察対象組織に対して重畳画像を重畳表示させる手順とを実行させる。
本発明の画像表示制御装置および方法並びにプログラムによれば、被検体を撮影した３次元画像から観察対象組織の画像を抽出し、実空間における観察対象組織の表面形状を取得し、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行う。そして、位置合わせ処理が行われた観察対象組織の画像と予め記憶した距離とに基づいて、重畳画像を生成し、観察対象組織に対して重畳画像を重畳表示させる。このように予め記憶した距離に応じた重畳画像を生成して重畳表示させることによって、奥行き情報を把握し易い重畳画像を実空間の観察対象組織に対して重畳表示させることができる。
本発明の画像表示制御装置の一実施形態を用いた仮想オブジェクト表示システムの使用状況を説明するための図 図１に示す仮想オブジェクト表示システムの概要を示すハードウェア構成図 ヘッドマウントディスプレイと画像表示制御装置の概略構成を示すブロック図 肝臓の３次元画像に含まれる門脈と腫瘍の画像の一例を示す図 ヘッドマウントディスプレイに表示された実空間の肝臓と、肝臓に重ね合わせて表示された重畳画像の一例を示す図 ヘッドマウントディスプレイと実空間における肝臓との間に術具が挿入された場合の作用を説明するための図 ヘッドマウントディスプレイと実空間における肝臓との間に術具が挿入された場合の重畳画像の一例を示す図 手術中において肝臓の一部が切除された場合における重畳画像の生成処理を説明するための図 手術中において肝臓の一部が切除された場合の重畳画像の一例を示す図 本発明の画像表示制御装置の一実施形態を用いた仮想オブジェクト表示システムの作用を説明するためのフローチャート
以下、図面を参照して本発明の画像表示制御装置の一実施形態を用いた仮想オブジェクト表示システムの一実施形態について説明する。図１は、本実施形態の仮想オブジェクト表示システムの使用状況を説明するための図である。
本実施形態の仮想オブジェクト表示システムは、たとえば肝臓Ｌの手術をする場合において、拡張現実感を用いて、肝臓Ｌ（観察対象組織）の３次元画像を仮想オブジェクトとして表示するものである。具体的には、手術対象の患者（被検体）の腹部を撮影して取得した３次元画像から、肝臓Ｌなどの観察対象組織の３次元画像を抽出し、その３次元画像を用いて仮想オブジェクトを生成する。そして、たとえば手術の執刀医Ｄが装着したヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mount Display）という。）１に仮想オブジェクトを表示させる。仮想オブジェクトは、肝臓Ｌに対して重畳表示され、執刀医Ｄは仮想オブジェクトを観察しながら肝臓Ｌの手術を進めることができる。なお、ＨＭＤ１に表示される仮想オブジェクトが、本発明の重畳画像に相当するものである。以下、仮想オブジェクトのことを重畳画像という。
図２は、本実施形態の仮想オブジェクト表示システムの概要を示すハードウェア構成図である。図２に示すように、本実施形態の仮想オブジェクト表示システムは、ＨＭＤ１、３次元画像撮影装置２、画像保管サーバ３および画像表示制御装置４を備えている。ＨＭＤ１と画像表示制御装置４とは、ネットワーク５を経由して無線通信可能な状態で接続されている。また、画像表示制御装置４には、画像保管サーバ３、表示装置６および入力装置７が接続されている。
３次元画像撮影装置２は、患者の手術対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ(Positron Emission Tomography )装置などである。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２としてＣＴ装置を用い、そのＣＴ装置によって腹部を撮影し、腹部の３次元画像Ｖ０を生成するものとする。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、３次元画像撮影装置２で生成された３次元画像Ｖ０などの画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。
図３は、ＨＭＤ１と画像表示制御装置４の概略構成を示すブロック図である。図３に示すように、ＨＭＤ１は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、カメラ１３、ディスプレイ１４および３次元計測カメラ１５を備える。なお、本実施形態においては、カメラ１３が、本発明の撮影部に相当するものであり、３次元計測カメラ１５が、本発明の表面形状計測部に相当するものである。
ＣＰＵ１１は、ＨＭＤ１全体を制御するものである。特に、ＣＰＵ１１は、画像表示制御装置４の表示制御部２５から出力された制御信号に基づいて、重畳画像をディスプレイ１４に表示させるものである。
メモリ１２は、カメラ１３および３次元計測カメラ１５によって撮影された画像などを記憶するものである。
カメラ１３は、レンズおよびＣＣＤ(Charge Coupled Device)などの撮像素子を備えたものである。図２に示すように、カメラ１３は、ＨＭＤ１が装着された際に、装着者の視野とカメラ１３の撮影範囲とが一致するように、装着者の左目と右目の間の中央位置に設けられている。したがって、執刀医ＤがＨＭＤ１を装着すると、カメラ１３は執刀医Ｄの視野内の画像を撮影する。これにより、装着者が見ている実空間の映像がカメラ１３によって背景映像として取得される。背景映像は所定のフレームレートを有する動画像となる。
ディスプレイ１４は、液晶パネルなどを備えたものであり、背景映像および背景映像上に重畳画像を表示する。なお、ディスプレイ１４は、ＨＭＤ１の装着者の左目用および右目用の表示部を備える。
３次元計測カメラ１５は、観察対象組織を撮影する２つのカメラを備えている。そして、３次元計測カメラ１５は、２つのカメラによって取得された２つの画像に基づいて、３次元計測カメラ１５と実空間における観察対象組織の表面上の複数の点との距離を計測し、これにより観察対象組織の表面形状を計測するものである。３次元計測カメラ１５と観察対象組織の表面上の点との距離については、３次元計測カメラ１５の２つのカメラの基線長と、２つのカメラによって撮影された２つの画像のずれに基づいて、三角測量法によって算出される。３次元計測カメラ１５は、観察対象組織の表面形状をリアルタイムに逐次計測するものである。
３次元計測カメラ１５の各カメラの構成については、上述したカメラ１３と同様である。また、３次元計測カメラ１５の２つのカメラは、図２に示すように、カメラ１３を挟んで左右方向に並べて配置されている。なお、ここでいう左右方向とは、ＨＭＤ１を装着者が装着した場合に、装着者から見た左右方向のことをいう。
また、３次元計測カメラ１５は、カメラ１３の近傍に設けられているので、３次元計測カメラ１５によって計測される観察対象組織の表面形状の座標系と、カメラ１３によって撮影される観察対象組織の画像の座標系とはほぼ一致しているものとする。ただし、これらの座標系が一致していない場合には、予めキャリブレーションなどを行って座標系を一致させるようにしてもよい。
また、本実施形態においては、３次元計測カメラ１５によって観察対象組織の表面形状を計測するようにしたが、これに限らず、距離センサをＨＭＤ１に設けて観察対象組織の表面形状を計測するようにしてもよい。
画像表示制御装置４は、ＣＰＵ（Central Processing Unit）４１およびメモリ４２を備えたコンピュータに、本発明の画像表示制御プログラムをインストールしたものである。画像表示制御プログラムは、画像表示制御装置４が有するメモリ４２にインストールされる。
画像表示制御プログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、画像表示制御プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
そして、メモリ４２に記憶された画像表示制御プログラムがＣＰＵ４１によって実行されることによって、図３に示す画像抽出部２１、表面形状取得部２２、位置合わせ処理部２３、重畳画像生成部２４および表示制御部２５が機能する。なお、画像表示制御装置４の構成の一部または全部をＨＭＤ１に設けるようにしてもよい。
また、メモリ４２には、距離記憶部２６が設けられている。距離記憶部２６は、重畳画像を生成するために用いられる観察対象組織の表面からの距離の情報が予め記憶されている。
画像抽出部２１は、画像保管サーバ３から読み出された３次元画像Ｖ０を取得し、その３次元画像Ｖ０から観察対象組織の３次元画像Ｖ１を抽出するものである。本実施形態においては、画像保管サーバ３から患者の腹部を撮影した３次元画像Ｖ０を取得し、その３次元画像Ｖ０から肝臓の３次元画像Ｖ１を抽出する。肝臓の３次元画像Ｖ１の抽出方法としては、エッジ検出などの公知な種々の画像処理を用いることができる。
なお、本実施形態においては、肝臓の３次元画像Ｖ１を画像処理によって抽出するようにしたが、これに限らない。たとえば表示装置６に３次元画像Ｖ０を表示させ、ユーザによる肝臓領域の指定を受け付けるようにしてもよい。肝臓領域の指定は、入力装置７が有するマウスなどによって行われ、画像抽出部２１は、入力装置７によって受け付けられた肝臓領域の情報に基づいて、肝臓の３次元画像Ｖ１を抽出する。
表面形状取得部２２は、３次元計測カメラ１５によって計測された観察対象組織の表面形状の情報を取得するものである。
位置合わせ処理部２３は、表面形状取得部２２によって取得された観察対象組織の表面形状と画像抽出部２１によって抽出された観察対象組織の３次元画像Ｖ１との位置関係が合うように位置合わせ処理を行うものである。具体的には、本実施形態の位置合わせ処理部２３は、画像抽出部２１によって抽出された肝臓の３次元画像Ｖ１に基づいてサーフェスモデルを生成する。そして、位置合わせ処理部２３は、サーフェスモデルによって表される表面と、表面形状取得部２２によって取得された肝臓の表面形状との相関関係を算出し、最も相関が高くなる位置関係を求めることによって位置合わせ処理を行う。
なお、本実施形態においては、上述したように３次元計測カメラ１５によって計測された肝臓の表面形状と肝臓の３次元画像Ｖ１の表面との相関関係を算出することによって位置合わせ処理を行うようにしたが、これに限らない。たとえば３次元計測カメラ１５によって計測された肝臓の表面形状から生成された立体画像Ｖ２と、肝臓の３次元画像Ｖ１に基づいて生成されたサーフェスモデルとを表示装置６に表示させる。そして、ユーザが立体画像Ｖ２とサーフェスモデルとの位置関係を見ながら入力装置７を用いてサーフェスモデルの移動量を設定入力し、その設定入力された移動量を位置合わせ処理部２３が受け付けることによって位置合わせ処理を行うようにしてもよい。
また、本実施形態においては、３次元計測カメラ１５によって計測された表面形状を用いて、肝臓のサーフェスモデルの位置合わせ処理を行うようにしたが、これに限らない。たとえば表面形状取得部２２が、肝臓の表面形状の情報としてカメラ１３によって撮影された画像を取得し、位置合わせ処理部２３が、カメラ１３によって撮影された画像と肝臓のサーフェスモデルとの位置関係が合うように位置合わせ処理を行うようにしてもよい。この場合も、カメラ１３によって撮影された画像と肝臓のサーフェスモデルとの相関関係を算出することによって位置合わせ処理を行う。相関関係の算出方法については、種々の公知な手法を用いることができる。
重畳画像生成部２４は、位置合わせ処理が行われた肝臓の３次元画像Ｖ１と距離記憶部２６に予め記憶された距離とに基づいて、仮想オブジェクトとしての重畳画像を生成するものである。具体的には、重畳画像生成部２４は、表面形状取得部２２によって取得された表面形状の各点からの上記距離を、位置合わせ処理が行われた肝臓の３次元画像Ｖ１に設定し、その距離の画像に対して不透明度１を設定し、上記距離以外の範囲の画像に対して、１より小さい不透明度を設定する。すなわち、上記距離以外の範囲の画像に対して、上記距離の画像よりも高い透明度を設定する。そして、重畳画像生成部２４は、上記のようにして設定した不透明度を用いて３次元画像Ｖ１をボリュームレンダリングすることによって重畳画像を生成する。
図４は、肝臓の３次元画像Ｖ１に含まれる門脈の画像Ｂと腫瘍の画像Ｒとを示す図である。また、図４に示すＳは、表面形状取得部２２によって取得された表面形状であり、図４に示す矢印ｄは、表面形状Ｓの各点からの距離を示すものである。また、図４に示す矢印Ｄｒは、ＨＭＤ１の装着者の視線方向を示すものであるが、本実施形態においては、ＨＭＤ１に３次元計測カメラ１５を設け、３次元計測カメラ１５によって計測された表面形状と３次元画像Ｖ１の表面との位置合わせ処理を行っているので、視線方向Ｄｒは、３次元画像Ｖ１に対してボリュームレンダリングを施す際における視線方向と同じ方向となる。
図４に示すように距離ｄが設定された場合、距離ｄに含まれる門脈の画像Ｂに対して不透明度１が設定され、距離ｄ以外の範囲の門脈の画像Ｂに対して１よりも小さい不透明度が設定された重畳画像が生成される。
なお、予め記憶された距離以外の範囲の画像に対して設定される不透明度（透明度）については、ユーザが入力装置７などを用いて任意に指定される。また、この不透明度（透明度）については、上記距離から離れるにつれて徐々に小さく（透明度の場合は、徐々に大きく）なるように設定するようにしてもよい。このように予め記憶された距離以外の範囲の画像に対して不透明度を設定することによって、より奥行き情報を把握し易い重畳画像を表示させることができる。なお、上記不透明度をゼロに設定し、上記距離以外の範囲の画像が表示されないようにしてもよい。
また、腫瘍の画像Ｒについては、腫瘍の位置は手術を行う上で重要な情報であるので、明確に表示させることが望ましい。したがって、腫瘍のような重要な組織については特定組織として予め設定しておき、この特定組織の画像に対しては、距離ｄに関わらず、距離ｄに含まれる画像と同様に、不透明度１を設定することによって明確に表示させることが望ましい。
また、重畳画像を生成する際に用いられる距離を観察対象組織に含まれる組織毎に設定するようにしてもよい。たとえば、肝臓に含まれる門脈については肝臓表面近傍の門脈のみを重畳画像として表示し、腫瘍については肝臓の表面からの距離に関わらず必ず表示させたい場合には、門脈については肝臓表面近傍の距離を予め記憶しておき、腫瘍については肝臓表面から肝臓裏面までの長さを含むような距離または無限大の距離を予め記憶しておくようにすればよい。そして、この組織毎に記憶された距離を用いて組織毎の重畳画像を生成するようにすればよい。
なお、本実施形態においては、ボリュームレンダリングによって重畳画像を生成するようにしたが、これに限らず、予め記憶された距離の画像をサーフェスレンダリングすることによって重畳画像を生成するようにしてもよい。
表示制御部２５は、カメラ１３によって撮影された背景映像に対して重畳画像を重ね合わせてＨＭＤ１のディスプレイ１４に表示させるものである。すなわち、表示制御部２５は、背景映像に含まれる実空間の肝臓Ｌに対して、仮想オブジェクトとしての重畳画像を重ね合わせて表示させるものである。また、表示制御部２５は、重畳画像の中に、上述した腫瘍のような特定組織の画像が含まれる場合には、その特定組織の観察対象組織の表面からの距離をテキスト表示させることが望ましい。観察対象組織の表面からの距離については、たとえば肝臓の３次元画像Ｖ１に基づいて算出するようにすればよい。
図５は、ＨＭＤ１のディスプレイ１４に表示された実空間の肝臓Ｌと、肝臓Ｌに重ね合わせて表示された重畳画像の一例を示す図である。図５に示す重畳画像は、予め記憶された距離に含まれる門脈の画像Ｂと腫瘍の画像Ｒに対して不透明度１を設定し、その他の画像については非表示とした場合を示している。また、図５は、予め記憶された距離以外の範囲の腫瘍の画像Ｒに対して、肝臓の表面からの距離（３２ｍｍ）を表示させた例を示している。
なお、表示制御部２５は、視差を有するようにディスプレイ１４の左目用の表示部および右目用の表示部にそれぞれ重畳画像を表示させる。これにより、執刀医Ｄは仮想オブジェクトとしての重畳画像を立体視することができる。
また、図６は、装着者の肝臓に対する視線方向が図４に示すような視線方向Ｄｒである場合において、ＨＭＤ１と実空間における肝臓との間に術具Ｔが挿入された場合の作用を説明するための図である。図６に示すようにＨＭＤ１と実空間における肝臓との間に術具Ｔが挿入された場合、３次元計測カメラ１５によって計測される表面は、肝臓の表面Ｓのうちの図６に示す実線の部分と、術具Ｔの表面ＴＳとになる。したがって、重畳画像生成部２４は、実線で示される表面Ｓから距離ｄまでの門脈の画像Ｂと、術具Ｔの表面ＴＳから距離ｄまでの画像とをボリュームレンダリングをして重畳画像を生成することになるが、実際には、術具Ｔの表面ＴＳから距離ｄまでの範囲には画像は存在しない。したがって、重畳画像としては、図７に示すように術具Ｔの範囲が空白画像ＮＤとなった重畳画像が生成されて重畳表示される。上述した特許文献３においては、術具の位置を検出することによって、術具に対して重畳画像が重畳表示されるのを回避することが提案されているが、本実施形態によれば、術具などを検出するセンサなどを設けることなく、術具に対して重畳画像が重畳表示されるのを回避することができ、より見やすい重畳画像を表示させることができる。
また、たとえば手術中において肝臓Ｌの一部が切除され、ＨＭＤ１の装着者の視線方向が、図８に示すような視線方向Ｄｒとなった場合においても、図８において実線で示す肝臓Ｌの表面Ｓと切断表面ＣＳから距離ｄまでの画像がボリュームレンダリングされた重畳画像が生成されて重畳表示される。したがって、肝臓の３次元画像Ｖ１自体の一部を切除した３次元画像を生成しなくても、図９に示すように切断表面近傍の門脈の画像Ｂや腫瘍の画像Ｒを含む重畳画像を表示させることができる。これにより演算処理の負荷を軽減することができる。
なお、手術中において肝臓Ｌの一部が切除されたり、押さえられたりすることによって肝臓Ｌの表面形状が変形した場合には、重畳画像を生成する際に用いられる肝臓の３次元画像Ｖ１に対して肝臓の変形に応じた変形処理を施し、変形処理後の３次元画像Ｖ１を用いて重畳画像を生成するようにしてもよい。
次に、本実施形態の仮想オブジェクト表示システムの作用について、図１０に示すフローチャートを参照しながら説明する。なお、ここでは観察対象組織が肝臓である場合について説明する。
まず、ＨＭＤ１のカメラ１３によって実空間における肝臓が撮影され、その肝臓の映像が背景映像としてディスプレイ１４に表示される（Ｓ１０）。
そして、予め撮影された腹部の３次元画像Ｖ０が画像抽出部２１によって取得され（Ｓ１２）、画像抽出部２１は、その３次元画像Ｖ０から肝臓の３次元画像Ｖ１を抽出する（Ｓ１４）。
次に、ＨＭＤ１の３次元計測カメラ１５によって肝臓の表面形状が計測され、その表面形状の情報が表面形状取得部２２によって取得される（Ｓ１６）。
表面形状取得部２２によって取得された表面形状は位置合わせ処理部２３に入力され、位置合わせ処理部２３は、入力された表面形状と肝臓の３次元画像Ｖ１の表面との位置関係が合うように位置合わせ処理を行う（Ｓ１８）。
そして、距離記憶部２６に予め記憶された距離が重畳画像生成部２４によって読み出され、重畳画像生成部２４は、その読み出した距離と位置合わせ処理が行われた肝臓の３次元画像Ｖ１とに基づいて、仮想オブジェクトとしての重畳画像を生成する（Ｓ２０）。
重畳画像生成部２０によって生成された重畳画像は表示制御部２５に入力され、表示制御部２５は、重畳画像がＨＭＤ１のディスプレイ１４に表示されるようにＨＭＤ１に対して表示制御信号を出力する。表示制御部２５から出力された表示制御信号がＨＭＤ１によって受信され、ＨＭＤ１のディスプレイ１４は、カメラ１３によって撮影された肝臓の映像に対して重畳画像を重畳表示させる（Ｓ２２）。
そして、ＨＭＤ１の装着者などによって重畳画像の表示処理の終了指示が入力されるまではＳ１６〜Ｓ２２までの処理が繰り返して行われる（Ｓ２４，ＮＯ）。すなわち、３次元計測カメラ１５によって実空間における肝臓の表面形状が逐次計測されて表面形状取得部２２によって取得され、その表面形状の取得に応じて位置合わせ処理部２３において位置合わせ処理が逐次行われる。そして、その位置合わせ処理に応じて重畳画像が逐次更新され、ＨＭＤ１のディスプレイ１４において肝臓の映像に対して重畳表示される。
そして、ＨＭＤ１の装着者などによって重畳画像の表示処理の終了指示が入力された場合には、重畳画像の表示処理を終了する（Ｓ２４，ＹＥＳ）。
上記実施形態の仮想オブジェクト表示システムによれば、被検体を撮影した３次元画像Ｖ０から観察対象組織の３次元画像Ｖ１を抽出し、実空間における観察対象組織の表面形状を取得し、実空間の表面形状と観察対象組織の３次元画像Ｖ１との位置関係が合うように位置合わせ処理を行う。そして、位置合わせ処理が行われた観察対象組織の３次元画像Ｖ１と予め記憶した距離とに基づいて、重畳画像を生成し、観察対象組織に対して重畳画像を重畳表示させる。このように予め記憶した距離に応じた重畳画像を生成して重畳表示させることによって、奥行き情報を把握し易い重畳画像を実空間の観察対象組織に対して重畳表示させることができる。
なお、上記実施形態においては、重畳画像を生成するために用いられる距離を距離記憶部２６に予め記憶するようにしたが、この距離を変更可能に構成してもよい。上記距離の変更は、たとえば入力装置７において受け付けるようにすればよい。この場合、入力装置７が、本発明の距離変更受付部に相当するものである。重畳画像生成部２４は、変更後の距離に基づいて、上記実施形態と同様にして重畳画像を生成する。このように上記距離を変更可能にすることによって、装着者の要望に応じた種々の重畳画像を生成することができる。
また、上記実施形態においては、ＨＭＤ１にカメラ１３を設けているが、カメラ１３をＨＭＤ１とは別体として設けてもよい。この場合においても、ＨＭＤ１の装着者の視野に対応する範囲を撮影するように配置されることが好ましい。
また、上記実施形態においては、カメラ１３によって撮影された実空間の背景映像をＨＭＤ１のディスプレイ１４に表示させる、いわゆる没入型のＨＭＤ１を用いるようにしたが、ＨＭＤ１としては、これに限らず、シースルー型のディスプレイを備えたものを用い、表示制御部２５が、シースルー型のディスプレイに重畳画像のみを表示させるようにしてもよい。この場合、ＨＭＤ１の装着者は、実空間における肝臓など観察対象組織上に重畳画像の虚像が重畳表示された画像を観察することができる。
また、上記実施形態においては、ＨＭＤ１に重畳画像を表示させるようにしたが、ＨＭＤ１の代わりに、カメラおよび３次元計測カメラを搭載したタブレット端末のディスプレイにカメラによって撮影された背景映像と重畳画像とを表示させるようにしてもよい。
なお、上記実施形態においては、観察対象組織が肝臓の場合について説明したが、肝臓に限らず、たとえば心臓、肺および大腸など臓器の手術の際に、これらの重畳画像を生成して実空間の臓器に対して重畳表示させるようにしてもよい。また、本発明は、医用画像に限らず、たとえば工業製品などの３次元画像に基づいて重畳画像を生成し、実空間の工業製品に対して重畳表示させるようにしてもよい。
１ ヘッドマウントディスプレイ
２ ３次元画像撮影装置
３ 画像保管サーバ
４ 画像表示制御装置
５ ネットワーク
６ 表示装置
７ 入力装置
１１ ＣＰＵ
１２ メモリ
１３ カメラ
１４ ディスプレイ
１５ ３次元計測カメラ
２０ 重畳画像生成部
２１ 画像抽出部
２２ 表面形状取得部
２３ 位置合わせ処理部
２４ 重畳画像生成部
２５ 表示制御部
２５ 距離記憶部
２５ 表示制御部
２６ 距離記憶部
４１ ＣＰＵ
４２ メモリ
ＣＳ 切断表面
ｄ 観察対象組織の表面からの距離
Ｄ 執刀医
Ｄｒ 視線方向
Ｌ 肝臓
ＮＤ 空白画像
Ｒ 腫瘍の画像
Ｂ 門脈の画像
Ｓ 表面形状
Ｔ 術具
ＴＳ 術具の表面

Claims (11)

  1. 被検体を撮影した３次元画像から観察対象組織の画像を抽出する画像抽出部と、
    実空間における前記被検体の前記観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる前記観察対象組織の表面からの距離を記憶する距離記憶部と、
    前記実空間における前記観察対象組織の表面形状を取得する表面形状取得部と、
    前記実空間の表面形状と前記観察対象組織の画像の表面形状との位置関係が合うように位置合わせ処理を行う位置合わせ処理部と、
    前記位置合わせ処理が行われた前記観察対象組織の画像の表面と、該表面から前記実空間において前記観察対象組織を観察する視線方向に一致する方向に前記距離まで進んだ位置との間の範囲内にある前記観察対象組織の画像の中に存在する注目領域の画像に対しては、透明度を低い値に設定し、かつ、前記範囲内にある前記観察対象組織の画像の中の前記注目領域以外の画像と前記範囲以外の前記観察対象組織の画像に対しては、前記範囲内に設定した透明度より高い値に設定して、ボリュームレンダリングによって前記３次元画像を前記視線方向に投影することで、前記重畳画像を生成する重畳画像生成部と、
    前記実空間の前記被検体の前記観察対象組織に対して、前記重畳画像を前記位置合わせ処理の結果に従って重畳表示させる表示制御部とを備えたことを特徴とする画像表示制御装置。
  2. 前記表面形状取得部が、前記実空間における観察対象組織の表面形状を計測する表面形状計測部によって計測された表面形状を取得し、
    前記表面形状計測部が、該表面形状計測部と前記実空間における観察対象組織の表面上の複数の点との距離を計測することによって前記表面形状を計測する請求項１記載の画像表示制御装置。
  3. 前記表面形状取得部が、前記実空間の表面形状を時間の経過に応じて逐次取得し、
    前記位置合わせ処理部が、前記表面形状の取得に応じて前記位置合わせ処理を逐次行い、
    前記重畳画像生成部が、前記位置合わせ処理に応じて前記重畳画像を逐次更新する請求項１または２記載の画像表示制御装置。
  4. 前記距離の変更を受け付ける距離変更受付部を備え、
    前記重畳画像生成部が、変更後の距離と前記観察対象組織の画像とに基づいて、前記重畳画像を生成する請求項１から３いずれか１項記載の画像表示制御装置。
  5. 前記距離以外の範囲の前記観察対象組織の中の前記注目領域の画像に対して設定される透明度が、前記距離から離れるにつれて徐々に大きくなるように設定されている請求項１〜４のいずれか１項に記載の画像表示制御装置。
  6. 前記重畳画像生成部が、前記距離以外の範囲に含まれる予め設定された特定組織の画像に対して、前記距離の前記観察対象組織の画像と同じ透明度を設定して重畳画像を生成する請求項５記載の画像表示制御装置。
  7. 前記表示制御部が、前記特定組織の画像を表示させる場合、該特定組織の前記観察対象組織の表面からの距離をテキスト表示させる請求項６記載の画像表示制御装置。
  8. 前記実空間における観察対象組織の画像を撮像する撮像部を備え、
    前記表示制御部が、前記撮像部によって撮像された観察対象組織の画像に対して前記重畳画像を重畳表示させる請求項１から７いずれか１項記載の画像表示制御装置。
  9. 前記表示制御部が、シースルー型のモニタに前記重畳画像を表示させる請求項１から７いずれか１項記載の画像表示制御装置。
  10. 画像表示制御装置が、
    被検体を撮影した３次元画像から観察対象組織の画像を抽出し、
    実空間における前記被検体の前記観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる前記観察対象組織の表面からの距離を予め記憶し、
    前記実空間における前記観察対象組織の表面形状を取得し、
    前記実空間の表面形状と前記観察対象組織の画像の表面形状との位置関係が合うように位置合わせ処理を行い、
    前記位置合わせ処理が行われた前記観察対象組織の画像の表面と、該表面から前記実空間において前記観察対象組織を観察する視線方向に一致する方向に前記距離まで進んだ位置との間の範囲内にある前記観察対象組織の画像の中に存在する注目領域の画像に対しては、透明度を低い値に設定し、かつ、前記範囲内にある前記観察対象組織の画像の中の前記注目領域以外の画像と前記範囲以外の前記観察対象組織の画像に対しては、前記範囲内に設定した透明度より高い値に設定して、ボリュームレンダリングによって前記３次元画像を前記視線方向に投影することで、前記重畳画像を生成し、
    前記実空間の前記被検体の前記観察対象組織に対して、前記重畳画像を前記位置合わせ処理の結果に従って重畳表示させることを特徴とする画像表示制御方法。
  11. コンピュータに、
    被検体を撮影した３次元画像から観察対象組織の画像を抽出する手順と、
    実空間における前記被検体の前記観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる前記観察対象組織の表面からの距離を予め記憶する手順と、
    前記実空間における前記観察対象組織の表面形状を取得する手順と、
    前記実空間の表面形状と前記観察対象組織の画像の表面形状との位置関係が合うように位置合わせ処理を行う手順と、
    前記位置合わせ処理が行われた前記観察対象組織の画像の表面と、該表面から前記実空間において前記観察対象組織を観察する視線方向に一致する方向に前記距離まで進んだ位置との間の範囲内にある前記観察対象組織の画像の中に存在する注目領域の画像に対しては、透明度を低い値に設定し、かつ、前記範囲内にある前記観察対象組織の画像の中の前記注目領域以外の画像と前記範囲以外の前記観察対象組織の画像に対しては、前記範囲内に設定した透明度より高い値に設定して、ボリュームレンダリングによって前記３次元画像を前記視線方向に投影することで、前記重畳画像を生成する手順と、
    前記実空間の前記被検体の前記観察対象組織に対して、前記重畳画像を前記位置合わせ処理の結果に従って重畳表示させる手順とを実行させることを特徴とする画像表示制御プログラム。
JP2018511934A 2016-04-11 2017-03-10 画像表示制御装置および方法並びにプログラム Active JP6698824B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016078634 2016-04-11
JP2016078634 2016-04-11
PCT/JP2017/009673 WO2017179350A1 (ja) 2016-04-11 2017-03-10 画像表示制御装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017179350A1 JPWO2017179350A1 (ja) 2019-03-07
JP6698824B2 true JP6698824B2 (ja) 2020-05-27

Family

ID=60042547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018511934A Active JP6698824B2 (ja) 2016-04-11 2017-03-10 画像表示制御装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US10740642B2 (ja)
JP (1) JP6698824B2 (ja)
WO (1) WO2017179350A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
JP7190448B2 (ja) * 2017-05-16 2022-12-15 コーニンクレッカ フィリップス エヌ ヴェ 解剖学的モデルの仮想拡張
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
JP7109047B2 (ja) * 2018-02-19 2022-07-29 株式会社吉田製作所 情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラム
CN109345632B (zh) * 2018-09-17 2023-04-07 深圳达闼科技控股有限公司 一种获取图像的方法、相关装置及可读存储介质
WO2021044523A1 (ja) * 2019-09-03 2021-03-11 株式会社インキュビット 手術支援装置
GB2588774A (en) * 2019-11-05 2021-05-12 Arspectra Sarl Augmented reality headset for medical imaging
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
JPWO2022176873A1 (ja) * 2021-02-22 2022-08-25
WO2022234156A1 (en) * 2021-05-05 2022-11-10 Arspectra Sàrl Enhanced augmented reality headset for medical imaging
EP4231246A1 (en) * 2022-02-16 2023-08-23 Siemens Healthcare GmbH Technique for optical guidance during a surgical procedure
WO2023188903A1 (ja) * 2022-03-29 2023-10-05 富士フイルム株式会社 画像処理装置、医療診断装置、超音波内視鏡装置、画像処理方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6437678A (en) * 1987-08-03 1989-02-08 Toshiba Corp Three-dimensional image processor
JPH05120451A (ja) * 1991-08-08 1993-05-18 Hitachi Medical Corp 医用診断画像装置
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP4022068B2 (ja) * 2001-12-28 2007-12-12 オリンパス株式会社 内視鏡システム
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
GB0712690D0 (en) * 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
JP5476036B2 (ja) 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
JP5043145B2 (ja) 2010-04-01 2012-10-10 俊道 森 診断システム
JP5657467B2 (ja) * 2011-05-13 2015-01-21 オリンパスメディカルシステムズ株式会社 医療用画像表示システム
CN103702613A (zh) * 2011-07-28 2014-04-02 松下电器产业株式会社 切割模拟装置以及切割模拟程序
JP5808004B2 (ja) * 2011-08-24 2015-11-10 国立大学法人 奈良先端科学技術大学院大学 画像処理装置、画像処理方法、およびプログラム
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
JP6008635B2 (ja) * 2012-07-24 2016-10-19 富士フイルム株式会社 手術支援装置、方法およびプログラム
JP5785214B2 (ja) * 2013-05-08 2015-09-24 富士フイルム株式会社 型、手術支援セット、手術支援装置、手術支援方法および手術支援プログラム
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display

Also Published As

Publication number Publication date
JPWO2017179350A1 (ja) 2019-03-07
US10740642B2 (en) 2020-08-11
WO2017179350A1 (ja) 2017-10-19
US20190050665A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
JP6698824B2 (ja) 画像表示制御装置および方法並びにプログラム
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
JP6242569B2 (ja) 医用画像表示装置及びｘ線診断装置
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US20050251030A1 (en) Method for augmented reality instrument placement using an image based navigation system
EP3886754A1 (en) Tracking system for image-guided surgery
JP2016043211A (ja) 画像位置合せ装置、方法およびプログラム
CN108778143B (zh) 用于将腹腔镜图像与超声图像进行叠加的计算设备
JP2018514340A (ja) ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム
JP2008210276A (ja) 三次元モデル情報の生成方法及び装置
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
US20120050277A1 (en) Stereoscopic image displaying method and device
JP2016524478A (ja) 画像データを立体視表示するための方法及び装置
JP6493877B2 (ja) 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
KR20220164463A (ko) 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
US10631948B2 (en) Image alignment device, method, and program
TW202000143A (zh) 整合擴增實境之手術導航方法及系統
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
US10049480B2 (en) Image alignment device, method, and program
US20230015060A1 (en) Methods and systems for displaying preoperative and intraoperative image data of a scene
US11369440B2 (en) Tactile augmented reality for medical interventions
WO2024064867A1 (en) Generating image data for three-dimensional topographical volumes, including dicom-compliant image data for surgical navigation
JP6327695B2 (ja) 手術支援プログラム及び手術支援システムの作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200428

R150 Certificate of patent or registration of utility model

Ref document number: 6698824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250