JP6129421B2 - 医療用観察システム - Google Patents

医療用観察システム Download PDF

Info

Publication number
JP6129421B2
JP6129421B2 JP2016537570A JP2016537570A JP6129421B2 JP 6129421 B2 JP6129421 B2 JP 6129421B2 JP 2016537570 A JP2016537570 A JP 2016537570A JP 2016537570 A JP2016537570 A JP 2016537570A JP 6129421 B2 JP6129421 B2 JP 6129421B2
Authority
JP
Japan
Prior art keywords
movement
position information
image
treatment
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016537570A
Other languages
English (en)
Other versions
JPWO2016042811A1 (ja
Inventor
佐苗 中川
佐苗 中川
大西　順一
順一 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016042811A1 publication Critical patent/JPWO2016042811A1/ja
Application granted granted Critical
Publication of JP6129421B2 publication Critical patent/JP6129421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232—Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Robotics (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、医療用観察システムに関し、特に、生体内に存在する所定の対象物の位置を特定するために用いられる医療用観察システムに関するものである。
腎臓内の結石を除去するための処置方法として、例えば、ＥＳＷＬ（体外衝撃波砕石術）、ＴＵＬ（経尿道的尿管砕石術）、及び、ｆ−ＴＵＬ（経尿道的結石砕石術）等の処置方法が従来知られている。
また、例えば、日本国特表２０１３−５２７７８２号公報には、腎臓内の結石の除去を促進するための処置方法として、蛍光透視法等の既知の造影モダリティを用いて当該結石の位置を特定し、当該結石に対して所定の範囲の圧力振幅を有する押出超音波を当てる方法が開示されている。
ところで、ＴＵＬまたはｆ−ＴＵＬにおいては、破砕前後における結石の現在位置を、内視鏡画像を確認しながら当該結石の除去に係る処置を行う術者の主観的判断に基づいて特定せざるを得ないため、当該術者に過度な負担を強いてしまう場合がある、という課題が生じている。
また、日本国特表２０１３−５２７７８２号公報に開示された構成によれば、蛍光透視法等の既知の造影モダリティを用いて結石を可視化した際に、当該結石の現在位置を視覚的に特定し辛い画像が生成される場合があり、すなわち、当該結石の除去に係る処置を行う術者に過度な負担を強いてしまう場合がある、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、結石の除去に係る処置を行う術者の負担を軽減することが可能な医療用観察システムを提供することを目的としている。
本発明の一態様の医療用観察システムは、被検体の複数の断層画像に基づいて生成される３次元画像上において、処置を施すための対象物の初期位置を示す情報である第１の位置情報を記憶するための処理を行うように構成された位置情報記憶部と、前記処置を施すための対象物の移動を検知するように構成された移動検知部と、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記３次元画像上における前記処置を施すための対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された位置情報取得部と、前記位置情報取得部により前記第２の位置情報が取得された場合、前記３次元画像上における前記処置を施すための対象物の位置を、前記第１の位置情報から前記第２の位置情報へ更新し、前記３次元画像上、または、前記複数の断層画像に基づいて生成された擬似透視画像上に重畳した画像を生成する表示用画像生成部と、を有する。
実施例に係る医療用観察システムの要部の構成を示す図。 実施例に係る画像処理装置の構成の一例を説明するための図。 先端位置記憶部に格納される先端位置データの一例を示す図。 所定の管腔臓器の３次元モデルデータの一例を説明するための模式図。 所定の管腔臓器の３次元モデルデータの、図４とは異なる例を説明するための模式図。 表示装置に表示される画像の一例を説明するための図。 結石位置記憶部に格納される結石位置データの一例を示す図。 実施例に係る医療用観察システムにおいて行われる処理の一例を説明するためのフローチャート。 表示装置に表示される画像の他の例を説明するための図。 表示装置に表示される画像の他の例を説明するための図。 表示装置に表示される画像の他の例を説明するための図。 表示装置に表示される画像の他の例を説明するための図。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図１から図１２は、本発明の実施例に係るものである。図１は、実施例に係る医療用観察システムの要部の構成を示す図である。
医療用観察システム１は、図１に示すように、内視鏡２と、内視鏡画像生成装置３と、位置検出装置４と、Ｘ線Ｃアーム装置５と、サーバ６と、画像処理装置７と、表示装置８と、入力装置９と、を有して構成されている。
内視鏡２は、被検体内に挿入可能であるとともに可撓性を有して形成された細長の挿入部１１と、挿入部１１の基端部に連設された操作部１２と、操作部１２の側面より延設されたケーブル１３と、を有して構成されている。
内視鏡２は、ケーブル１３を介して内視鏡画像生成装置３に接続されるとともに、ケーブル１４を介して位置検出装置４に接続されるように構成されている。
挿入部１１の先端部１１Ａには、被検体内の被写体を撮像するための撮像部１０が設けられている。
撮像部１０は、例えば、ＣＣＤ等の撮像素子により被写体を撮像し、当該撮像した被写体に応じた撮像信号を生成するように構成されている。そして、撮像部１０において生成された撮像信号は、操作部１２及びケーブル１３を経て内視鏡画像生成装置３へ出力される。
挿入部１１の先端部１１Ａから基端部にかけての部分には、位置検出装置４から発せられる磁界を検出し、当該検出した磁界に応じた電気信号を生成する複数の磁気センサ５１が所定の間隔毎に配設されている。そして、複数の磁気センサ５１において生成された電気信号は、操作部１２及びケーブル１４を経て位置検出装置４へ出力される。
内視鏡画像生成装置３は、ケーブル１３を介して内視鏡２に接続されるように構成されている。また、内視鏡画像生成装置３は、内視鏡２からケーブル１３を経て出力される撮像信号に対して所定の画像処理を施すことにより内視鏡画像データを生成し、当該生成した内視鏡画像データを画像処理装置７へ出力するように構成されている。
位置検出装置４は、ケーブル１４を介して内視鏡２に接続されるように構成されている。また、位置検出装置４は、ケーブル１４を経て入力される電気信号の中から、挿入部１１の最も先端側に位置する磁気センサ５１において生成された電気信号を抽出し、当該抽出した電気信号に基づいて挿入部１１の先端部１１Ａの実空間上の位置及び方向を検出するための演算を所定の時間間隔毎に行い、当該演算により得られた演算結果を示す先端位置データ及び先端方向データを生成し、当該生成した先端位置データ及び先端方向データを画像処理装置７へ順次出力するように構成されている。
位置検出装置４は、ケーブル１４を経て入力される電気信号に基づき、挿入部１１の挿入形状を検出するための演算を行い、当該演算により得られた演算結果を示す挿入形状データを生成し、当該生成した挿入形状データを画像処理装置７へ出力するように構成されている。
位置検出装置４は、ケーブル１５を経て入力される電気信号に基づき、Ｘ線Ｃアーム装置５におけるＸ線Ｃアーム（後述）の位置等を検出するための演算を行い、当該演算により得られた演算結果を示すＸ線撮像位置データを生成し、当該生成したＸ線撮像位置データを画像処理装置７へ出力するように構成されている。
Ｘ線Ｃアーム装置５は、被検体を透過するＸ線を発するＸ線発生部と、当該Ｘ線発生部から発せられたＸ線を検出するためのＸ線検出部を略対向する位置に設けたＸ線Ｃアームと、を具備して構成されている。また、Ｘ線Ｃアーム装置５は、Ｘ線Ｃアームを任意の角度に回転させることにより、多方向から術中のＸ線画像データを取得し、当該取得した術中のＸ線画像データを画像処理装置７へ出力するように構成されている。
Ｘ線Ｃアーム装置５のＸ線Ｃアームには、位置検出装置４から発せられる磁界を検出し、当該検出した磁界に応じた電気信号を生成する磁気センサ（不図示）が設けられている。そして、前述の磁気センサにおいて生成された電気信号は、ケーブル１５を経て位置検出装置４へ出力される。
サーバ６には、例えば、ＣＴまたはＭＲＩ等により被検体を撮像して取得した術前マルチスライス画像データ１６ａ〜１６ｎが格納されている。術前マルチスライス画像データ１６ａ〜１６ｎは、例えば、ローカルエリアネットワーク等のネットワーク回線を経て画像処理装置７へ出力される。
なお、本実施例においては、術前マルチスライス画像データ１６ａ〜１６ｎがサーバ６から画像処理装置７へ出力されるように構成したものに限らず、例えば、ＣＤ−ＲＯＭ等の可搬型記憶媒体に予め格納された術前マルチスライス画像データ１６ａ〜１６ｎが画像処理装置７により読み込まれるようにしてもよい。
表示装置８は、例えば、液晶ディスプレイ等を具備し、画像処理装置７から出力される画像を表示するように構成されている。
入力装置９は、例えば、タッチパネルまたはキーボード等を具備し、術者等のユーザの操作に応じた情報の入力を画像処理装置７に対して行うことができるように構成されている。なお、本実施例によれば、例えば、内視鏡２の操作部１２のスコープスイッチ（不図示）等において、入力装置９と同様の情報を入力することができるようにしてもよい。
次に、画像処理装置７の詳細な構成等について説明する。
画像処理装置７は、図２に示すように、記憶部２１と、先端位置記憶部２２と、演算部２３と、先端座標変換部２４と、画像処理部２５と、結石位置記憶部２６と、を有して構成されている。図２は、実施例に係る画像処理装置の構成の一例を説明するための図である。
記憶部２１は、例えば、ハードディスクドライブ等の記憶装置を具備し、サーバ６から出力される術前マルチスライス画像データ１６ａ〜１６ｎを格納するように構成されている。
先端位置記憶部２２は、位置検出装置４から出力される挿入形状データを格納するように構成されている。
先端位置記憶部２２は、位置検出装置４から出力される先端位置データ及び先端方向データにタイムスタンプＴＳＰを付与して格納するように構成されている。そして、このような先端位置記憶部２２の構成によれば、例えば、図３に示すように、位置検出装置４から出力される先端位置データのＸ座標値Ａ１、Ｙ座標値Ｂ１及びＺ座標値Ｃ１にタイムスタンプＴＳＰ１が付与された状態で格納される。なお、図３においては、簡単のため、先端方向データを省略して示している。図３は、先端位置記憶部に格納される先端位置データの一例を示す図である。
演算部２３は、位置合わせを実施するための情報の入力が入力装置９において行われたことを検知した際に、先端位置記憶部２２に格納されている先端位置データの座標値と、画像処理部２５から出力される芯線データの座標値（後述）と、を比較することにより、実空間上の位置を示す座標値を３次元データ上の位置を示す座標値に変換するための変換式を算出するように構成されている。
先端座標変換部２４は、演算部２３で算出された変換式に基づき、先端位置記憶部２２に格納されている先端位置データ及び先端方向データを３次元データ上の位置を示す座標値に変換するように構成されている。また、先端座標変換部２４は、変換後の先端位置データ及び先端方向データと、変換前の先端位置データ及び方向データと、タイムスタンプＴＳＰと、を併せて先端位置記憶部２２に格納するように構成されている。そして、このような先端座標変換部２４の処理によれば、例えば、図３に示すように、変換前の先端位置データである実空間上のＸ座標値Ａ１、Ｙ座標値Ｂ１及びＺ座標値Ｃ１と、変換後の先端位置データである３次元データ上のＸ座標値Ｄ１、Ｙ座標値Ｅ１及びＺ座標値Ｆ１と、タイムスタンプＴＳＰ１と、が併せて先端位置記憶部２２に格納される。また、前述のような先端座標変換部２４の処理によれば、３次元データ上の先端位置データが先端位置記憶部２２に時系列に格納される。
すなわち、以上に述べたような演算部２３及び先端座標変換部２４の処理によれば、所定の管腔臓器の３次元モデルデータ上の座標位置と、位置検出装置４において取得された挿入部１１の先端の座標位置と、を合わせ込むことができる。
画像処理部２５は、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎを用いて被検体の３次元モデルデータを生成し、当該生成した被検体の３次元モデルデータの中から、尿管４０、腎盂４１、腎杯４２〜４９及び結石ＳＴを含む所定の管腔臓器の３次元モデルデータ３１（図４参照）を抽出するように構成されている。また、画像処理部２５は、３次元モデルデータ３１における管腔の芯線データの座標値を抽出し、当該抽出した芯線データの座標値を演算部２３へ出力するように構成されている。また、画像処理部２５は、所定の管腔臓器を２方向から観察できるようにするために、前述のように抽出した３次元モデルデータ３１を任意の角度だけ回転させた３次元モデルデータ３２（図５参照）を生成するように構成されている。図４は、所定の管腔臓器の３次元モデルデータの一例を説明するための模式図である。図５は、所定の管腔臓器の３次元モデルデータの、図４とは異なる例を説明するための模式図である。
なお、本実施例の画像処理部２５は、被検体の３次元モデルデータの中から、尿管４０、腎盂４１及び腎杯４２〜４９のみならず、例えば、膀胱や尿道を含めた３次元モデルデータを抽出するようにしてもよい。また、本実施例の画像処理部２５は、被検体の３次元モデルデータの中から所定の管腔臓器の３次元モデルデータを抽出するものに限らず、例えば、サーバ６または記憶部２１に予め格納されている当該所定の管腔臓器の３次元モデルデータを読み込むものであってもよい。
一方、画像処理部２５は、擬似Ｘ線画像生成部２５ａと、移動検知部２５ｂと、結石位置取得部２５ｃと、表示用画像生成部２５ｄと、を有して構成されている。
擬似Ｘ線画像生成部２５ａは、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎに基づいて擬似Ｘ線画像データを生成するように構成されている。
移動検知部２５ｂは、結石ＳＴの初期位置の内視鏡画像データと、結石ＳＴの現在位置の内視鏡画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量として取得するように構成されている。または、移動検知部２５ｂは、擬似Ｘ線画像生成部２５ａにより生成された結石ＳＴを含む擬似Ｘ線画像データと、Ｘ線Ｃアーム装置５により被検体内に存在する結石ＳＴを撮像して得られたＸ線画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量として取得するように構成されている。
なお、結石ＳＴの初期位置の内視鏡画像データは、例えば、被検体内に存在する結石ＳＴに対する処置が行われる前に当該結石ＳＴを撮像して得られた動画データまたは静止画データとして内視鏡画像生成装置３から出力され、画像処理部２５の図示しないメモリ等に格納されるものとする。また、結石ＳＴの現在位置の内視鏡画像データは、例えば、被検体内に存在する結石ＳＴに対する処置が行われている最中に当該結石ＳＴを撮像して得られた動画データまたは静止画データとして内視鏡画像生成装置３から出力され、画像処理部２５の図示しないメモリ等に格納されるものとする。
移動検知部２５ｂは、前述のように取得した結石ＳＴの移動量と所定の閾値ＴＨとを比較した比較結果に基づき、または、入力装置９のスイッチＳＷ１（不図示）の操作に応じた情報の入力がなされたか否かを判定した判定結果に基づき、結石ＳＴが移動したか否かを検知するように構成されている。なお、スイッチＳＷ１は、例えば、処置に適した位置に結石ＳＴを移動させた場合等のような、ユーザの意図に応じて結石ＳＴを移動させたことが明白である場合において、結石ＳＴが移動したことを告知するための情報の入力を画像処理部２５に対して行うことが可能なスイッチとして構成されている。
結石位置取得部２５ｃは、術前マルチスライス画像データ１６ａ〜１６ｎを用いて生成された被検体の３次元モデルデータに基づき、当該被検体の３次元モデルデータにおける結石ＳＴの初期位置を示す座標値を取得するように構成されている。
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、演算部２３により算出された変換式と、位置検出装置４から出力されるＸ線撮像位置データと、に基づき、移動検知部２５ｂにより取得された移動量を、擬似Ｘ線画像生成部２５ａにより生成された擬似Ｘ線画像データ上に投影することにより、３次元データ上の結石ＳＴの現在位置を示す座標値を取得するように構成されている。
または、結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、タイムスタンプＴＳＰｎが付与された最新の先端位置データのＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎ（図３参照）を先端位置記憶部２２から読み込み、当該読み込んだＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎを３次元データ上の結石ＳＴの現在位置を示す座標値として取得するように構成されている。
結石位置取得部２５ｃは、３次元データ上の結石ＳＴの初期位置を示す座標値、及び、３次元データ上の結石ＳＴの現在位置を示す座標値を結石位置データとして結石位置記憶部２６へ順次出力するように構成されている。
表示用画像生成部２５ｄは、結石位置記憶部２６に格納されている結石位置データに基づき、３次元データ上の結石ＳＴの位置を示す１つ以上のマーカーＭを生成し、当該生成したマーカーＭを３次元モデルデータ３１及び３２に合成するように構成されている。
表示用画像生成部２５ｄは、マーカーＭを含む３次元モデルデータ３１及び３２と、内視鏡画像生成装置３から出力される内視鏡画像データに対して所定の画像処理を施すことにより生成した内視鏡画像３４と、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎの中からユーザにより選択された１つの術前マルチスライス画像データ１６ｉと、を合成することにより表示用画像を生成し、当該生成した表示用画像を表示装置８へ出力するように構成されている。そして、このような表示用画像生成部２５ｄの処理により、例えば、図６に示すような画像が表示装置８に表示される。図６は、表示装置に表示される画像の一例を説明するための図である。
表示用画像生成部２５ｄは、入力装置９のスイッチＳＷ２（不図示）の操作に応じた情報の入力がなされたことを検知した際に、結石位置記憶部２６に格納されている結石位置データに基づき、３次元データ上の結石ＳＴの位置を示すマーカーの表示態様を変更するように構成されている。なお、スイッチＳＷ２は、例えば、３次元モデルデータ３１及び３２に表示されている１つ以上のマーカーを選択するための情報の入力、及び、当該選択した１つ以上のマーカーの表示態様を所望の表示態様に変更するための情報の入力を画像処理部２５に対して行うことが可能なスイッチとして構成されている。
結石位置記憶部２６は、画像処理部２５から順次出力される結石位置データにタイムスタンプＴＳＱを付与して格納するように構成されている。そして、このような結石位置記憶部２６の構成によれば、例えば、図７に示すように、結石ＳＴの初期位置を示すＸ座標値Ｇ１、Ｙ座標値Ｈ１及びＺ座標値Ｉ１にタイムスタンプＴＳＱ１が付与された状態で格納される。また、前述のような結石位置記憶部２６の構成によれば、例えば、図７に示すように、結石ＳＴの最新の位置を示すＸ座標値Ｇｍ、Ｙ座標値Ｈｍ及びＺ座標値ＩｍにタイムスタンプＴＳＱｍが付与された状態で格納される。すなわち、前述のような結石位置記憶部２６の構成によれば、画像処理部２５から順次出力される結石位置データが時系列に格納される。図７は、結石位置記憶部に格納される結石位置データの一例を示す図である。
続いて、本実施例の作用について説明する。図８は、実施例に係る医療用観察システムにおいて行われる処理の一例を説明するためのフローチャートである。
画像処理部２５は、記憶部２１に格納された術前マルチスライス画像データ１６ａ〜１６ｎを用いて被検体の３次元モデルデータを生成し、当該生成した被検体の３次元モデルデータの中から、尿管４０、腎盂４１、腎杯４２〜４９及び結石ＳＴを含む所定の管腔臓器の３次元モデルデータ３１を抽出する。また、画像処理部２５は、前述のように抽出した３次元モデルデータ３１を任意の角度だけ回転させた３次元モデルデータ３２を生成する。
結石位置取得部２５ｃは、術前マルチスライス画像データ１６ａ〜１６ｎを用いて生成された被検体の３次元モデルデータに基づき、当該被検体の３次元モデルデータにおける結石ＳＴの初期位置を示す座標値を取得し、当該取得した座標値を結石位置データとして結石位置記憶部２６へ出力する。
表示用画像生成部２５ｄは、結石の初期位置を示す画像を生成するための処理として、以下に述べるような処理を行う（図８のステップＳ１）。
表示用画像生成部２５ｄは、結石位置記憶部２６に格納されている結石位置データに基づき、３次元データ上の結石ＳＴの初期位置を示すマーカーＭ１を生成し、当該生成したマーカーＭ１を３次元モデルデータ３１及び３２に合成する。また、表示用画像生成部２５ｄは、マーカーＭ１を含む３次元モデルデータ３１及び３２と、内視鏡画像３４と、術前マルチスライス画像データ１６ｉと、を合成して表示用画像を生成し、当該生成した表示用画像を表示装置８へ出力する。
そして、以上に述べたような処理が表示用画像生成部２５ｄにおいて行われることにより、例えば、図９に示すような画像が表示装置８に表示される。図９は、表示装置に表示される画像の他の例を説明するための図である。なお、図９においては、簡単のため、挿入部１１が被検体の内部に挿入される前に表示装置８に表示される内視鏡画像３４の詳細を省略しているものとする。
ユーザは、表示装置８に表示される画像におけるマーカーＭ１の位置を確認しながら、挿入部１１を被検体の内部へ挿入してゆくことにより、挿入部１１の先端部１１Ａを腎杯４９の結石ＳＴの近傍に配置する。そして、このようなユーザの挿入操作に応じ、例えば、図１０に示すように、腎杯４９内に位置する結石ＳＴを含む内視鏡画像３４が表示装置８に表示される。図１０は、表示装置に表示される画像の他の例を説明するための図である。
その後、ユーザは、表示装置８に表示される内視鏡画像３４を確認しながら、腎杯４９内に位置する結石ＳＴに対する処置を開始する。
移動検知部２５ｂは、結石ＳＴの移動を検知するための処理として、以下に述べる各処理のうちのいずれか１つの処理を行う（図８のステップＳ２）。
移動検知部２５ｂは、結石ＳＴの初期位置の内視鏡画像データと、結石ＳＴの現在位置の内視鏡画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量ＤＡとして取得する。そして、移動検知部２５ｂは、移動量ＤＡと所定の閾値ＴＨ１とを比較し、移動量ＤＡが所定の閾値ＴＨ１以上であるとの比較結果を得た場合に結石ＳＴの移動を検知する。
移動検知部２５ｂは、擬似Ｘ線画像生成部２５ａにより生成された結石ＳＴを含む擬似Ｘ線画像データと、Ｘ線Ｃアーム装置５により被検体内に存在する結石ＳＴを撮像して得られたＸ線画像データと、に対してマッチング処理を施すことにより差分値を算出し、当該算出した差分値を結石ＳＴの移動量ＤＢとして取得する。そして、移動検知部２５ｂは、移動量ＤＢと所定の閾値ＴＨ２を比較し、移動量ＤＢが所定の閾値ＴＨ２以上であるとの比較結果を得た場合に結石ＳＴの移動を検知する。
移動検知部２５ｂは、入力装置９のスイッチＳＷ１の操作に応じた情報の入力がなされたか否かを判定し、スイッチＳＷ１の操作に応じた情報の入力がなされたとの判定結果を得た場合に結石ＳＴが移動したことを検知する。
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、結石ＳＴの現在位置を取得するための処理として、以下に述べる各処理のうちのいずれか１つの処理を行う（図８のステップＳ３）。
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、演算部２３により算出された変換式と、位置検出装置４から出力されるＸ線撮像位置データと、に基づき、移動検知部２５ｂにより取得された移動量ＤＡまたはＤＢを、擬似Ｘ線画像生成部２５ａにより生成された擬似Ｘ線画像データ上に投影することにより、３次元データ上の結石ＳＴの現在位置を示す座標値を取得する。そして、結石位置取得部２５ｃは、３次元データ上の結石ＳＴの現在位置を示す座標値を結石位置データとして結石位置記憶部２６へ出力する。
結石位置取得部２５ｃは、結石ＳＴの移動が移動検知部２５ｂにより検知された際に、タイムスタンプＴＳＰｎが付与された最新の先端位置データのＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎを先端位置記憶部２２から読み込み、当該読み込んだＸ座標値Ｄｎ、Ｙ座標値Ｅｎ及びＺ座標値Ｆｎを３次元データ上の結石ＳＴの現在位置を示す座標値として取得する。そして、結石位置取得部２５ｃは、３次元データ上の結石ＳＴの現在位置を示す座標値を結石位置データとして結石位置記憶部２６へ出力する。
位置情報提示部としての機能を備えた表示用画像生成部２５ｄは、結石の現在位置を示す画像を生成するための処理として、以下に述べるような処理を行う（図８のステップＳ４）。
表示用画像生成部２５ｄは、結石位置記憶部２６に格納されている最新の結石位置データに基づき、３次元データ上の結石ＳＴの現在位置を示すマーカーＭｎを生成し、当該生成したマーカーＭｎを３次元モデルデータ３１及び３２に合成するとともに、当該生成したマーカーＭｎよりも前に生成したマーカーを３次元モデルデータ３１及び３２から消去する。また、表示用画像生成部２５ｄは、マーカーＭｎを含む３次元モデルデータ３１及び３２と、内視鏡画像３４と、術前マルチスライス画像データ１６ｉと、を合成して表示用画像を生成し、当該生成した表示用画像を表示装置８へ出力する。
そして、以上に述べたような処理が表示用画像生成部２５ｄにおいて行われることにより、例えば、図１１に示すような画像が表示装置８に表示される。図１１は、表示装置に表示される画像の他の例を説明するための図である。
すなわち、本実施例によれば、図８のステップＳ２〜Ｓ４の処理を繰り返し行うことにより、結石ＳＴの現在位置を示すマーカーを、所定の管腔臓器の３次元モデルデータ上に略リアルタイムに表示させることができる。その結果、本実施例によれば、結石の除去に係る処置を行う術者の負担を軽減することができる。
なお、本実施例の表示用画像生成部２５ｄは、結石ＳＴの位置を示すマーカーを、所定の管腔臓器の３次元モデルデータ３１に合成して表示用画像を生成するものに限らず、例えば、当該所定の管腔臓器の３次元モデルデータ３１を抽出する前の被検体の３次元モデルデータに合成して表示用画像を生成するものであってもよく、または、擬似Ｘ線画像生成部２５ａにより生成された擬似Ｘ線画像データに合成して表示用画像を生成するものであってもよい。
また、本実施例の表示用画像生成部２５ｄは、図８のステップＳ４において、前述のような処理を行うものに限らず、例えば、入力装置９のスイッチＳＷ２の操作に応じた情報の入力を検出した際に、少なくともマーカーＭｎを含む複数のマーカーを相互に異なる色で着色し、当該着色した複数のマーカーを３次元モデルデータ３１及び３２に合成するような処理を行ってもよい。
また、本実施例の表示用画像生成部２５ｄは、例えば、結石ＳＴの位置を示すマーカーと、入力装置９の操作に応じて当該マーカーに付与されたコメントと、を併せて表示させるような表示用画像を生成するものであってもよい。
また、本実施例の表示用画像生成部２５ｄは、図８のステップＳ４において、前述のような処理を行うものに限らず、例えば、入力装置９のスイッチＳＷ２の操作に応じた情報の入力を検出した際に、３次元データ上の結石ＳＴの現在位置を示すマーカーＭｎと、マーカーＭ１からＭｎまでの３次元データ上の結石ＳＴの移動軌跡を示す線分ＬＳと、をそれぞれ生成し、当該生成したマーカーＭｎ及び線分ＬＳを３次元モデルデータ３１及び３２に合成するようにしてもよい。そして、このような処理が表示用画像生成部２５ｄにおいて行われた場合には、例えば、図１２に示すような画像が表示装置８に表示される。図１２は、表示装置に表示される画像の他の例を説明するための図である。
なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、２０１４年９月１９日に日本国に出願された特願２０１４−１９１７２７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (12)

  1. 被検体の複数の断層画像に基づいて生成される３次元画像上において、処置を施すための対象物の初期位置を示す情報である第１の位置情報を記憶するための処理を行うように構成された位置情報記憶部と、
    前記処置を施すための対象物の移動を検知するように構成された移動検知部と、
    前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記３次元画像上における前記処置を施すための対象物の現在位置を示す情報である第２の位置情報を取得するための処理を行うように構成された位置情報取得部と、
    前記位置情報取得部により前記第２の位置情報が取得された場合、前記３次元画像上における前記処置を施すための対象物の位置を、前記第１の位置情報から前記第２の位置情報へ更新し、前記３次元画像上、または、前記複数の断層画像に基づいて生成された擬似透視画像上に重畳した画像を生成する表示用画像生成部と、
    を有することを特徴とする医療用観察システム。
  2. 前記移動検知部は、前記被検体に存在する前記処置を施すための対象物を撮像した画像に基づいて、前記処置を施すための対象物の移動を検知する
    ことを特徴とする請求項１に記載の医療用観察システム。
  3. 前記位置情報記憶部は、前記位置情報取得部により取得された前記第２の位置情報を時系列に格納する
    ことを特徴とする請求項１に記載の医療用観察システム。
  4. 前記移動検知部は、前記被検体内に挿入される内視鏡を用いて前記被検体内に存在する前記処置を施すための対象物を撮像した内視鏡画像に基づいて前記処置を施すための対象物の移動を検知する
    ことを特徴とする請求項１に記載の医療用観察システム。
  5. 前記移動検知部は、前記処置を施すための対象物を含む前記擬似透視画像と、前記被検体を透過する放射線を用いて前記被検体内に存在する前記処置を施すための対象物を撮像した透視画像と、に基づいて前記処置を施すための対象物の移動を検知する
    ことを特徴とする請求項１に記載の医療用観察システム。
  6. 前記移動検知部は、前記内視鏡画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記処置を施すための対象物の移動を検知する
    ことを特徴とする請求項４に記載の医療用観察システム。
  7. 前記移動検知部は、前記擬似透視画像及び前記透視画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、当該取得した移動量が所定の閾値以上である場合に前記処置を施すための対象物の移動を検知する
    ことを特徴とする請求項５に記載の医療用観察システム。
  8. 前記移動検知部は、前記内視鏡画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、
    前記位置情報取得部は、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
    ことを特徴とする請求項６に記載の医療用観察システム。
  9. 前記移動検知部は、前記透視画像に基づいて前記処置を施すための対象物の前記初期位置からの移動量を取得し、
    前記位置情報取得部は、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
    ことを特徴とする請求項７に記載の医療用観察システム。
  10. 前記位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
    ことを特徴とする請求項６に記載の医療用観察システム。
  11. 前記位置情報取得部は、前記移動検知部により取得された移動量を前記擬似透視画像上に投影することにより、前記第２の位置情報を取得する
    ことを特徴とする請求項７に記載の医療用観察システム。
  12. 前記被検体内に挿入される内視鏡の先端部の実空間上の位置を所定の時間間隔毎に検出するように構成された位置検出部と、
    前記位置検出部により検出された前記先端部の実空間上の位置を、前記３次元画像上の位置を示す情報である先端位置情報に変換するための処理を行うように構成された位置情報変換部と、
    前記先端位置情報を時系列に格納するように構成された先端位置情報記憶部と、をさらに有し、
    前記位置情報取得部は、前記処置を施すための対象物の移動が前記移動検知部により検知された際に、前記先端位置情報記憶部から最新の先端位置情報を読み込み、当該読み込んだ最新の先端位置情報を前記第２の位置情報として取得する
    ことを特徴とする請求項１に記載の医療用観察システム。
JP2016537570A 2014-09-19 2015-03-18 医療用観察システム Active JP6129421B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014191727 2014-09-19
JP2014191727 2014-09-19
PCT/JP2015/058040 WO2016042811A1 (ja) 2014-09-19 2015-03-18 医療用観察システム

Publications (2)

Publication Number Publication Date
JPWO2016042811A1 JPWO2016042811A1 (ja) 2017-04-27
JP6129421B2 true JP6129421B2 (ja) 2017-05-17

Family

ID=55532859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537570A Active JP6129421B2 (ja) 2014-09-19 2015-03-18 医療用観察システム

Country Status (3)

Country Link
US (1) US10085705B2 (ja)
JP (1) JP6129421B2 (ja)
WO (1) WO2016042811A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP7049325B6 (ja) * 2016-09-23 2022-06-01 コーニンクレッカ フィリップス エヌ ヴェ 体外画像における器具に関連する画像オブジェクトの可視化
WO2018204577A1 (en) * 2017-05-04 2018-11-08 Boston Scientific Scimed, Inc. Medical system and related methods
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4166277B2 (ja) * 1996-02-15 2008-10-15 バイオセンス・ウェブスター・インコーポレイテッド 体内プローブを用いた医療方法および装置
WO2006095324A1 (en) * 2005-03-10 2006-09-14 Koninklijke Philips Electronics N.V. Image processing system and method for registration of two-dimensional with three-dimensional volume data during interventional procedures
JP5719017B2 (ja) 2010-04-22 2015-05-13 ザ ユニバーシティ オブ ワシントン スルー イッツ センター フォーコマーシャライゼーションＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｗａｓｈｉｎｇｔｏｎ Ｔｈｒｏｕｇｈ Ｉｔｓ Ｃｅｎｔｅｒ Ｆｏｒ Ｃｏｍｍｅｒｃｉａｌｉｚａｔｉｏｎ 結石を検出し、その除去を促進する超音波ベースの方法及び装置
JP5641792B2 (ja) * 2010-06-24 2014-12-17 株式会社東芝 医用画像診断装置及び医用画像診断装置の制御方法
JP6129590B2 (ja) 2012-03-06 2017-05-17 東芝メディカルシステムズ株式会社 画像処理装置、ｘ線撮影装置及び画像処理方法
WO2013132880A1 (ja) 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014141968A1 (ja) * 2013-03-12 2014-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム

Also Published As

Publication number Publication date
US20170188986A1 (en) 2017-07-06
US10085705B2 (en) 2018-10-02
WO2016042811A1 (ja) 2016-03-24
JPWO2016042811A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
EP3689223B1 (en) Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
CN110741414B (zh) 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法
EP3164071B1 (en) Intelligent display
CN106659373B (zh) 用于在肺内部的工具导航的动态3d肺图谱视图
JP7391100B2 (ja) 管腔内超音波イメージングのための速度決定、並びに関連するデバイス、システム、及び方法
CN107072736B (zh) 计算机断层扫描增强的荧光透视系统、装置及其使用方法
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP4733243B2 (ja) 生検支援システム
JPWO2015045368A1 (ja) 画像処理装置、画像表示システム、撮影システム、画像処理方法及びプログラム
JP6129421B2 (ja) 医療用観察システム
US10524652B2 (en) Information processing device, imaging system, information processing method and program
EP3733047A1 (en) Surgical system, image processing device, and image processing method
CN112386336A (zh) 用于进行初始配准的荧光-ct成像的系统和方法
JP2023537882A (ja) 管腔内ロボット（ｅｌｒ）システム及び方法
JP7049325B6 (ja) 体外画像における器具に関連する画像オブジェクトの可視化
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
CN111163697B (zh) 用于在荧光三维重构中识别和标记目标的系统和方法
US10076311B2 (en) Method and apparatus for registering medical images
US11910995B2 (en) Instrument navigation in endoscopic surgery during obscured vision
JP6871007B2 (ja) 医用画像処理装置及び医用画像診断システム
JP4354353B2 (ja) 挿入支援システム
KR20140136139A (ko) 수술 지원용 영상 제공 시스템 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R151 Written notification of patent or utility model registration

Ref document number: 6129421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250