JPH11309A - Image processor - Google Patents

Image processor

Info

Publication number
JPH11309A
JPH11309A JP15479397A JP15479397A JPH11309A JP H11309 A JPH11309 A JP H11309A JP 15479397 A JP15479397 A JP 15479397A JP 15479397 A JP15479397 A JP 15479397A JP H11309 A JPH11309 A JP H11309A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
dimensional
endoscope
means
position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP15479397A
Other languages
Japanese (ja)
Inventor
Yoshiaki Isobe
Michio Oikawa
Koichi Sano
耕一 佐野
道雄 及川
義明 磯部
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To easily seize the three-dimensional positional relationship and the sight line direction in an endoscope image or the whole object of an endoscope itself by simultaneously displaying a synthetic image of a three-dimensional image of an object and a model image of an endoscope tip part and a photographing image of the endoscope. SOLUTION: Before an operation, a three-dimensional tomographic image of an area containing the lesion of a person to be operated is photographed by using a three-dimensional measuring device 15, and is stored in a data storage device 111. Next, the three-dimensional tomographic image is segmented with every lesion and organ, and an operation plan before the operation is made by using it, and a treating plan image to show the relationship between the lesion and a peripheral tissue viewed from various angles is made, and is stored in the data storage device 111. An image of an operation part is photographed by an endoscope 17 inserted into the lesion, and it and the treating plan image made before the operation are synthesized, and it is displayed on a display means 13 so that to which position image of the lesion an endoscope image belongs can be understood, and non-laparotomy and non-thoracotomy can be supported.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、内視鏡で撮影した画像を表示する画像表示装置に係り、特に、外部から直接観察することができない内部空間を有する体内などの内部画像を表示するのに好適な画像表示装置に関するものである。 BACKGROUND OF THE INVENTION The present invention relates to an image display device for displaying an image taken with the endoscope, in particular, to display the internal images of such body having an internal space that can not be directly observed from the outside those of the preferred image display apparatus.

【0002】 [0002]

【従来の技術】外科手術中における患者への侵襲を少なくする手法として、内視鏡によって体内画像を撮影しながら手術を行う非開胸、非開腹手術が盛んに行われるようになってきている。 As a method to reduce the invasiveness to the patient in the Background of the Invention During surgical procedures, non-thoracotomy perform surgery while taking an in-vivo image by the endoscope, it is non-laparotomy has come to be actively performed .

【0003】ところが、内視鏡はその視野が狭いため、 [0003] However, since the endoscope is its field of view narrow,
全体的な位置関係がわかりにくく、また内視鏡画像だけを見ていた場合に、現在どの方向を向いているのか、どの部分を見ているのかがわからないといった問題があり、この解決手法が強く望まれている。 Obscure the overall positional relationship, also in the case had seen only the endoscopic image, whether facing any current direction, there is a problem or are you looking at which parts do not know, this solution technique is strong It is desired.

【0004】一方、脳外科手術の支援を目的とした画像支援システムとして、次の文献「 Ramin Shahidi, "App [0004] On the other hand, as an image support system for the purpose of support of brain surgery, the following document "Ramin Shahidi," App
lications of Virtual Reality in Stereotactic Surge lications of Virtual Reality in Stereotactic Surge
ry:Volumetric Image Navigation via Surgical Micros ry: Volumetric Image Navigation via Surgical Micros
cope", CAR95 Computer Assisted Radiology, pp.1126- cope ", CAR95 Computer Assisted Radiology, pp.1126-
1138(1995)」に紹介されているようなシステムがある。 1138 there is a system, such as those introduced in the (1995) ".
この文献では、患部を露出させた定位脳手術におけるCo In this document, Co in stereotaxic surgery to expose the affected area
mputer Aided Surgeryにおいて、術中の顕微鏡画像に術前のMRI画像データを利用した3次元画像を合成表示し、手術支援を行うと共に、ステレオカメラを用いて術具をトラッキングし、術具と患部との関係も計測し、定位脳手術を支援することが記述されている。 In mputer Aided Surgery, a three-dimensional image using the pre-operative MRI image data to the microscope image of the intra-operative composite display, and performs operation support, track surgical instrument with a stereo camera, a surgical instrument and the diseased part also related to measurement, it has been described that support the stereotactic brain surgery.

【0005】そこで、この文献に記述された画像支援システムの顕微鏡を内視鏡に置き換えて内視鏡画像をMR [0005] Therefore, an endoscopic image by replacing the microscope image supporting system described in this document the endoscope MR
I画像データと合成して表示する方法が考えられる。 How to display the synthesized with I picture data is considered.

【0006】 [0006]

【発明が解決しようとする課題】しかし、前記文献に記述された画像支援システムの顕微鏡は、露出した術部をターゲットとして位置が固定されたものであるため、顕微鏡画像がどの部分の位置の画像であるかを認識する必要はない。 [SUMMARY OF THE INVENTION] However, microscopic image support system described in the literature, for the exposed operative portion in which position as a target is fixed, an image of the position of which parts microscopic image it is not necessary to know whether it is. これに対し、内視鏡は体内で位置が自由に移動するため、その位置と視線方法を正確に認識する必要がある。 In contrast, the endoscope since the position in the body to move freely, it is necessary to accurately recognize the position and line of sight methods. また、体内の位置と視線方向を認識した後、術前に撮影した視野の大きなMRI画像データなどとの位置合わせを行ったうえで表示する必要がある。 In addition, after recognizing the position and direction of the line of sight of the body, it is necessary to display after conducting the alignment, such as the viewing of large MRI image data taken prior to surgery. 従って、 Therefore,
前記の文献に記述された画像支援システムの顕微鏡を内視鏡に置き換えたのみでは、非開胸、非開腹手術を支援するための内視鏡画像を表示することはできない。 The than only replaced with an endoscope microscope an image described support system in the literature, closed-chest, it is not possible to display the endoscopic image to assist non laparotomy.

【0007】また、内視鏡として立体内視鏡を用いた場合、その両眼の視差によって該立体内視鏡で撮影している体内画像を構成している複数の特徴点の3次元位置を復元することができるが、各特徴点の3次元位置が判明したとしても、術具によって撮影中の画像の一部が隠れてしまった場合、両眼の画像における特徴点同士の対応付けが困難になるという問題がある。 [0007] In the case of using the stereoscopic endoscope as an endoscope, a 3-dimensional positions of a plurality of feature points constituting the in-vivo images that are captured by the standing body endoscope by the parallax of both eyes it can be restored, even if the three-dimensional positions of the feature points is found, when a part of the image being taken by the surgical instrument has had hidden, difficult correspondence between feature points in both eyes of the image there is a problem that becomes. さらに、術具によって隠れた部分の位置が認識できないという問題がある。 Furthermore, there is a problem that the position of the hidden part by the surgical instrument can not be recognized.

【0008】また、内視鏡では体内臓器の表面の画像しか撮影できないため、臓器表面下で内出血しているような状態を把握できないという問題がある。 [0008] Also, in the endoscope can not be taken only image of the surface of the body organs, there is a problem that can not be grasped a state, such as those to internal bleeding under the organ surface.

【0009】さらに、内視鏡画像の3次元位置を復元する場合、画像自体の歪によって誤差が生じてしまい、3 Furthermore, if you want to restore the three-dimensional position of the endoscopic image, away error is caused by distortion of the image itself, 3
次元位置を高精度で復元できないという問題がある。 It is impossible to restore the dimension position with high accuracy.

【0010】本発明の第1の目的は、外部から遮蔽された対象物の内部空間を視野の狭い内視鏡で撮影した画像を表示する場合に、内視鏡画像あるいは内視鏡自体の対象物全体における3次元的な位置関係および視線方向を容易に把握することができる画像処理システムを提供することにある。 [0010] The first object of the present invention, when displaying an image taken by a narrow endoscopic field of view of the internal space of the shielded object from the outside, a subject of the endoscope image or the endoscope itself it is to provide an image processing system which can easily grasp the three-dimensional position relation and the line-of-sight direction in the entire object.

【0011】また、本発明の第2の目的は、内視鏡画像の一部が術具などの操作具によって隠れてしまった場合でも、予め撮影しておいた画像と内視鏡画像との対応付けを容易に行い、隠れた部分の位置を把握することができる画像処理システムを提供することにある。 [0011] A second object of the present invention, even when a part of the endoscope image had hidden by the operation tool such as a surgical instrument, the image and the endoscope image and that had been previously photographed easily performed correspondence is to provide an image processing system which can grasp the position of the hidden parts.

【0012】また、本発明の第3の目的は、内視鏡では撮影できない内側の状態を把握することができる画像処理装置を提供することにある。 [0012] A third object of the present invention, the endoscope is to provide an image processing apparatus which can grasp the inner state that can not be photographed.

【0013】さらに、本発明の第4の目的は、内視鏡画像自体に歪に起因する3次元位置の復元誤差を補正し、 Furthermore, a fourth object of the present invention corrects the reconstruction error of the three-dimensional position due to strain in the endoscopic image itself,
内視鏡画像の3次元位置を高精度で復元することができる画像処理装置を提供することにある。 It is to provide an image processing apparatus capable of restoring the 3-dimensional position of the endoscopic image with high accuracy.

【0014】 [0014]

【課題を解決するための手段】上記第1の目的を達成するために、本発明は、内視鏡の対象物内部空間内の3次元位置および視線方向を計測すると共に、内視鏡による撮影範囲を含む対象物の3次元断層像を撮影し、この3 In order to achieve the first object, there is solved a means for the ## present invention is to measure the three-dimensional position and direction of the line of sight of the object interior space of the endoscope, capturing endoscopic taking a three-dimensional tomographic image of the object including the scope, this 3
次元断層像に基づき内視鏡の視線方向とは異なる方向から見た3次元画像を生成し、その生成された3次元画像と内視鏡先端部のモデル画像との合成画像と共に、内視鏡の撮影画像とを同時に表示するように構成したことを特徴とする。 To generate a three-dimensional image viewed from a direction different from the direction of the line of sight of the endoscope based on the dimension tomogram, with the composite image of the model image of the endoscope tip portion and the three-dimensional image that is generated, the endoscope characterized by being configured to display a photographed image at the same time.

【0015】また、上記第2の目的を達成するために、 Further, in order to achieve the second object,
本発明は、立体内視鏡を用い、この立体内視鏡の対象物内部空間内の3次元位置および視線方向を計測すると共に、立体内視鏡による撮影範囲を含む対象物の3次元断層像を撮影し、この3次元断層像に基づき立体内視鏡の視線方向と同じ方向から見た3次元画像を生成し、さらに、立体内視鏡の両眼の視差に基づき該立体内視鏡で撮影した対象物の内部空間内の画像の複数の特徴点の3次元位置を復元し、その復元された立体内視鏡画像の複数の特徴点と3次元画像生成手段により生成された3次元画像の複数の特徴点との対応付けを行い、対応付け後の3次元画像と立体内視鏡の片眼の撮影画像とを合成して表示するようにし、さらに、術具等の操作具で隠された特徴点については立体内視鏡の視線方向と同じ方向から見た3次元画像か The present invention uses a stereoscopic endoscope, as well as measure the three-dimensional position and direction of the line of sight of the object inner space of the stereoscopic endoscope, three-dimensional tomographic image of an object comprising an imaging range of the stereoscopic endoscope photographed, generates a 3-dimensional image seen from the same direction as the viewing direction of the stereoscopic endoscope based on this 3-dimensional tomographic image, further, in the standing body endoscope based on the parallax of both eyes of stereoscopic endoscope the three-dimensional positions of a plurality of feature points in the image in the internal space of the photographed object restored, generated by the plurality of feature points and a three-dimensional image generating unit of the restored stereoscopic endoscope image 3-dimensional image deeds the association between the plurality of feature points, and the captured image of the eye of the three-dimensional image and a stereoscopic endoscope after association to be synthesized and displayed, further, hidden in the operating tool of the surgical instrument, such as 3-dimensional image or viewed from the same direction as the viewing direction of a stereoscopic endoscope for feature points 求めるように構成したことを特徴とする。 Characterized by being configured to determine.

【0016】さらに上記第3の目的を達成するために、 [0016] To further achieve the third object,
本発明は、3次元位置が復元された立体内視鏡画像上の1点を指定し、その指定された立体内視鏡画像上の位置を中心とし、該指定された位置を通り、立体内視鏡の視線方向と垂直な1ないし複数の断面における3次元画像を断層像撮影手段による3次元断層像から再生成し、その再生成された1ないし複数の断面における重ね合わせ3次元画像を生成し、表示手段に表示させるように構成したことを特徴とする。 The present invention is to specify one point on the three-dimensional position restored stereoscopic endoscope image, centered on the position on the designated three-dimensional endoscopic image, through the specified position, three-dimensional in the 3-dimensional image in a viewing direction perpendicular to one or a plurality of cross-section of endoscope regenerate from three-dimensional tomographic image by the tomographic image capturing means, generating a superposition three-dimensional image in which the regenerated one or a plurality of cross and, characterized by being configured so as to display on the display means.

【0017】さらに、上記第4の目的を達成するために、本発明は、対象物内部空間内に挿入された操作具の先端の3次元位置を検出すると共に、立体内視鏡の両眼の視差に基づき、前記操作具の先端の3次元位置を復元し、これら2つの3次元位置を比較し、その差によって立体内視鏡の撮影画像の3次元位置を復元するためのパラメータを調整するように構成したことを特徴とする。 Furthermore, in order to achieve the fourth object, the present invention is to detect a three-dimensional position of the distal end of the inserted operation tool on the object interior space, the binocular stereoscopic endoscope based on the parallax, to restore the three-dimensional position of the tip of the operation member, and compares these two three-dimensional position, to adjust the parameters to restore the three-dimensional position of the captured image of the stereoscopic endoscope by the difference characterized by being configured.

【0018】 [0018]

【発明の実施の形態】以下、本発明の実施の形態を図面に基づいて詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, will be described in detail with reference to embodiments of the present invention with reference to the drawings.

【0019】図1は、本発明を適用した画像処理装置の第1の実施形態を示す機能ブロック図である。 [0019] FIG. 1 is a functional block diagram showing a first embodiment of an image processing apparatus according to the present invention. この第1 The first
の実施形態は、内視鏡を用いた手術を支援することを想定した構成を示すものであり、以下では、手術を受ける患者を被術者、内視鏡や術具を扱う人を術者、画像処理に関する操作を行う人を操作者とする。 Embodiments are those showing a structure that is intended to be assisted surgery using an endoscope, in the following, a subject of a patient undergoing surgery, endoscope or surgical instrument operator who handles the , the person performing the operation on the image processing and the operator. なお、操作者と術者は同一人物であっても良く、術者や操作者は一人でも複数でも良い。 In addition, the operator and the operator may be the same person, the operator and the operator may be a plurality of even one person. また、操作の入力はポインティングデバイス、キー入力、音声入力などにより可能であるものとする。 The input operation is assumed to be possible by a pointing device, a key input, voice input.

【0020】この第1の実施形態の画像処理装置は、大別すると、術前に撮影したMR等の3次元画像と内視鏡によって撮影した体内の画像とを合成して出力する画像合成装置11、画像合成に関する各種の指示やパラメータを入力する入力装置12、合成された画像を表示する表示手段13、X線,DR等の2次元画像を撮影する2 [0020] The first image processing apparatus embodiment roughly includes an image synthesizing apparatus for outputting by synthesizing the body of the image taken by a three-dimensional image and the endoscope MR etc. taken preoperatively 11, the display unit 13 for displaying the input device 12, has been synthesized image to input various instructions and parameters relating to the image composition, X-rays, taking a two-dimensional image of the DR like 2
次元計測装置(2D計測装置)14、CT,MRI等の3次元断層を撮影する3次元計測装置(3D計測装置) Dimension measuring apparatus (2D measuring device) 14, CT, three-dimensional measuring device for capturing a three-dimensional tomographic such as MRI (3D measurement device)
15、鉗子等の術具の3次元位置および内視鏡の3次元位置,視線方向を計測する位置計測装置16、術部の2 15, the three-dimensional position of the three-dimensional position and the endoscope surgical instrument such as forceps, the position measuring device 16 for measuring a gaze direction, operative part of the 2
次元画像を撮影する内視鏡17、心電計や血圧計などのバイタルデータを計測するバイタルデータ計測装置18 The endoscope 17 for taking a dimension image, vital data measurement apparatus 18 for measuring the vital data such ECG and blood pressure monitor
とから構成されている。 It is composed of a.

【0021】画像合成装置11は、内視鏡17で撮影した画像や前記の各種の計測装置で計測したデータを記憶するハードディスクや光磁気ディスクで構成されたデータ記憶装置111を備え、さらに座標系/位置合わせ手段112、セグメンテーション手段113、3次元画像生成手段114、断面画像生成手段115、3次元画像復元等画像処理手段116、3次元コンピュータグラフィック画像生成手段(3DCG生成手段)117、画像合成手段118を備えている。 The image synthesizing unit 11, a data storage device 111 constituted by a hard disk or a magneto-optical disk for storing data measured by the image or the various measuring devices taken with the endoscope 17, further coordinate system / alignment means 112, the segmentation unit 113,3 dimensional image generating unit 114, tomographic image generating unit 115,3 dimensional image restoration, etc. The image processing unit 116,3 dimensional computer graphic image generating unit (3DCG generating means) 117, an image synthesizing means It is equipped with a 118.

【0022】鉗子等の術具の3次元位置および内視鏡の3次元位置,視線方向を計測する位置計測装置16は、 The three-dimensional position of the three-dimensional position and the endoscope surgical instrument such as forceps, the position measuring device 16 for measuring a gaze direction,
図2に示すように、内視鏡17および術具19を先端部に保持するマニピュレータ161,162に組み込まれている。 As shown in FIG. 2, it is incorporated into the manipulator 161 and 162 to hold the endoscope 17 and the surgical tools 19 to the tip portion. すなわち、マニピュレータ161を代表して説明すると、このマニピュレータ161は水平方向の回転機構163、垂直面内の回転機構164,165、水平方向の回転機構166、内視鏡17の円周方向への回転機構167を備え、これらの各回転機構163〜167 That is, when described as a representative manipulator 161, the rotation in the circumferential direction of the manipulator 161 is horizontal rotation mechanism 163, the rotation mechanism in the vertical plane 164 and 165, the horizontal rotation mechanism 166, the endoscope 17 a mechanism 167, each of these rotating mechanisms 163 to 167
には各回転角θ1〜θ5を検出するポテンショメータなどの回転角度検出センサが組み込まれ、これらの回転角度検出センサによって検出した各回転角θ1〜θ5と各回転機構を結ぶリンクの長さおよび内視鏡の長さに基づき内視鏡17の3次元位置および視線方向を特定するように構成されている。 Rotational angle detecting sensor such as a potentiometer for detecting the rotation angles θ1~θ5 is incorporated in the length and endoscopic links the rotation angles θ1~θ5 detected by these rotational angle detecting sensor connecting the rotation mechanism It is configured to identify the three-dimensional position and direction of the line of sight of the endoscope 17 on the basis of the length of the mirror.

【0023】術具19を保持するマニピュレータ162 Manipulator 162 that holds the [0023] The surgical instrument 19
についても同様の構成となっている。 It has the same configuration for.

【0024】なお、磁気センサや電波を用いて術具の3 [0024] In addition, 3 of the surgical instrument using a magnetic sensor or radio waves
次元位置および内視鏡の3次元位置,視線方向を計測する構成にすることができる。 Three-dimensional position of the dimension position and the endoscope, can be configured to measure the gaze direction.

【0025】入力装置12は、キーボードやマウス、トラックボール、タブレット、音声入力装置などで構成される。 [0025] The input device 12 includes a keyboard, a mouse, trackball, tablet, and a voice input device.

【0026】表示手段113は、ディスプレイやフィルム、ヘッドマウントディスプレイなどの周知の表示装置で構成される。 The display unit 113 displays and film, and a known display device such as a head-mounted display.

【0027】図3は、内視鏡を用いた手術を行う場合の作業の流れを示すフローチャートであり、まず、術前にX線CTやMRIなどの3次元計測装置15を用い、被術者の患部を含む領域の3次元断層像を撮影し、データ記憶装置111に記憶させておく(ステップ301)。 [0027] FIG. 3 is a flowchart showing a flow of operations in the case of performing surgery using an endoscope, first, using a three-dimensional measuring device 15, such as X-ray CT or MRI preoperatively, a subject the affected part taken a three-dimensional tomographic image of the region including and stored in the data storage device 111 (step 301).

【0028】次に、記憶された3次元断層像を患部や臓器ごとにセグメンテーションを行い、さらに特徴点の抽出も行う(ステップ302)。 Next, the stored three-dimensional tomogram performs segmentation for each affected area or organ, also performs further feature point extraction (step 302). 続いて、セグメンテーションされた3次元断層像を用いて術前の手術計画を作成し、その手術計画に従って様々な角度から見た患部と周辺組織との関係を示す治療計画画像あるいは参照画像を作成し、データ記憶装置111内に記憶させる(ステップ303)。 Then, to create a surgical plan for preoperative using three-dimensional tomographic image which is segmented to create a treatment plan image or reference image showing the relationship between the affected area and the surrounding tissue when viewed from different angles in accordance with the surgical planning , it is stored in the data storage device 111 (step 303). このステップ303までが術前の作業である。 Up to this step 303 is the pre-operative work.

【0029】次に、以上のような準備作業が終了したならば、樹術を開始することになるが、手術開始に当って、術前に撮影した3次元断層像と術中に撮影する内視鏡画像(あるいは3次元断層像)との位置合わせを行うためのキャリブレーションを行う(ステップ304)。 [0029] Then, if the preparation work, such as the above has been completed, the endoscope is made to start a tree surgery, hitting to the start of surgery, to shoot the three-dimensional tomographic image and intraoperative taken preoperatively calibrate for alignment of a mirror image (or three-dimensional tomographic image) (step 304).
このキャリブレーション実施後において、内視鏡17によって患部に挿入した内視鏡17によって術部の画像を撮影し、その内視鏡画像と術前に作成しておいた治療計画画像あるいは参照画像とを合成し、内視鏡画像が患部のどの位置の画像であるかが分かるように表示手段13 In this calibration after implementation, the endoscope by the mirror 17 to capture an image of the operative site by the endoscope 17 inserted into the affected part, and the endoscopic image and the surgical treatment plan made before the image or reference image was synthesized and displayed as if the endoscope image is an image of which position of the affected part can be known means 13
に表示し、非開腹手術、非開胸手術を支援する。 It is displayed on the, non-abdominal surgery, to support the non-open-heart surgery.

【0030】図4は、図1の実施形態における各種の計測データと画像処理の関係を示す機能説明図であり、4 FIG. 4 is a functional diagram illustrating the relationship between the various measurement data and image processing in the embodiment of FIG. 1, 4
01は術前に撮影しておいたX線やDR等の術前2次元画像データ、402は術前に撮影しておいたX線CTやMRI等の術前3次元画像データ、403は術中に撮影したX線CTやMRI、立体内視鏡等の術中3次元画像データ、404は術中に撮影した内視鏡の術中2次元画像データ、405は内視鏡17の3次元位置および視線方向ならびに術具19の3次元位置を示す位置データ、 01 X-ray had been taken before surgery and DR such preoperative 2-dimensional image data, 402 preoperative preoperative 3-dimensional image data of the X-ray CT or MRI or the like that has been taken, 403 intraoperative captured X-ray CT or MRI, three-dimensional endoscopes intraoperative 3-dimensional image data, the 404 intraoperative 2-dimensional image data of the endoscope taken during surgery, the three-dimensional position and sight line direction of the endoscope 17 405 and position data indicating the three-dimensional position of the surgical instrument 19,
406は心電計等から出力されるバイタルデータ、40 Vital data 406 output from the electrocardiograph or the like, 40
7はセグメンテーションされた3次元画像データ、40 3-dimensional image data 7 that is segmented, 40
8は3次元位置が復元された内視鏡の画像データ、40 8 the image data of the endoscope 3-dimensional position is restored, 40
9は術前に作成しておいた術前計画画像データである。 9 is a preoperative planning image data that has been created before surgery.

【0031】なお、これらのデータ401〜409の全てが必ずしも必要というわけではなく、少なくとも、X It should be noted, all of these data 401 to 409 is does not mean that necessarily need, at least, X
線CTなどの断層像撮影装置による術前3次元画像データ402、内視鏡画像の術中2次元画像データ404、 Preoperative 3-dimensional image data 402 by tomography apparatus such as lines CT, endoscopic image intraoperative 2-dimensional image data 404,
術具等の位置データ405が必要である。 It is necessary position data 405, such as a surgical instrument. これらのデータに基づき画像合成装置11の各部が以下で説明するような処理を行う。 Each part of the image synthesizer 11 on the basis of these data performs processing as described below. なお、画像合成装置11の各部は、それぞれに必要なパラメータについて、ユーザから入力を得る手段が用意されており、ユーザの入力が無い場合には、あらかじめ設定されたパラメータにて処理を行う。 Each unit of the image synthesizer 11, the parameters required for each, means for obtaining input from a user are ready, when user input is not, performs the processing at preset parameters.

【0032】表示手段138には、手術のターゲットとなる領域411、そのターゲット411周辺の臓器41 The display unit 138 is a target of the operation region 411, organs 41 near the target 411
2、グラフィックスで描画された内視鏡17、同じくグラフィックスで描画された鉗子などの術具19などが表示される。 2, the endoscope 17 has been drawn in the graphics, as well, such as surgical instrument 19, such as a forceps that are drawn in the graphics is displayed.

【0033】まず、各種の術前データと術中に得られるデータの座標系や位置合わせを座標系/位置合わせ手段112により行う。 [0033] First, various kinds of pre-operative data and the coordinate system and alignment of data obtained during an operation of the coordinate system / alignment means 112. ただし、座標系や位置が一致している場合には不要である。 However, if the coordinate system and the position is coincident is not needed.

【0034】ここでは、座標系は直交座標系に合わせるものとし、手術の前に、X線やDR,MRI,CTなどにより、手術する部位を含む領域の術前2次元画像データ401や術前3次元画像データ402を計測しておき、術中に得られるデータとの位置は一致しているするものとする。 [0034] Here, the coordinate system is assumed to match the rectangular coordinate system, prior to surgery, X-rays and DR, MRI, and the like CT, surgery of the region containing the site preoperative 2-dimensional image data 401 and preoperative the 3-dimensional image data 402 is measured in advance, the position of the data obtained during the surgery is intended to be consistent.

【0035】次に、術前3次元画像データ402から、 [0035] Then, from the preoperative 3-dimensional image data 402,
手術中に参照する際に必要となる臓器などをしきい値に基づく方法や領域拡張に基づく方法などによるセグメンテーションをセグメンテーション手段113により行い、セグメンテーションされた3次元画像データ407 Carried out by the segmentation unit 113 segmentation by a method based on the method or region growing based and threshold the organ which is required for reference during surgery, the three-dimensional image data 407 that has been segmented
を生成する。 To generate. なお、この処理は行わなくてもよく、また通常は術前に行うが、術中にセグメンテーションをし直してもよい。 It should be noted, may not be carried out this process, also is usually performed before surgery, may be re-segmentation during surgery.

【0036】次に、術前3次元画像データ402またはセグメンテーションされた3次元画像データ407より、ボリュームレンダリングなどの可視化手法により、 Next, from the three-dimensional image data 407 which are 3-dimensional image data 402 or segmentation preoperatively by visualization techniques such as volume rendering,
3次元画像生成手段114で3次元画像を生成し、さらに必要に応じて、術前計画画像データ409を作成する。 With a three-dimensional image generating unit 114 generates a 3-dimensional image, further optionally, to create a preoperative planning image data 409.

【0037】手術中には、内視鏡17や術具19などの位置データ405がリアルタイムで入力される。 [0037] During operation, the position data 405, such as an endoscope 17 and the surgical instrument 19 is input in real time. 、3次元画像生成手段114は術前3次元画像データ402、 , 3-dimensional image generating unit 114 preoperative 3-dimensional image data 402,
術中3次元画像データ403またはセグメンテーションされた3次元画像データ407から、被術者の臓器などの3次元画像を生成し、3DCG生成手段26は内視鏡17,術具19の位置データ405から、内視鏡17, From intraoperative 3-dimensional image data 403 or segmented 3D image data 407, and generates a three-dimensional image, such as an organ of a subject, the position data 405 of 3DCG generation means 26 is an endoscope 17, the surgical instrument 19, endoscope 17,
術具19の3次元位置および視線方向(あるいは姿勢) 3-dimensional position and direction of the line of sight of the surgical instrument 19 (or attitude)
に応じた3次元のモデル画像をグラフィックス処理で生成する。 The three-dimensional model image generated by the graphics processing in accordance with the.

【0038】このとき、3次元のモデル画像を生成する方向は、内視鏡17の視線方向と垂直方向をデフォルトとし、内視鏡17の視線方向とは異なるようにする。 [0038] At this time, the direction of generating a three-dimensional model image, the viewing direction and the vertical direction of the endoscope 17 as the default, to differ from the viewing direction of the endoscope 17. 内視鏡17の視線方向と垂直方向とは、図5に示すように、内視鏡17の視線方向501の上下方向502,5 The gaze direction and the vertical direction of the endoscope 17, as shown in FIG. 5, the vertical direction of the sight line direction 501 of the endoscope 17 502,5
03および左右方向504,505のいずれかに相当する。 03 and corresponds to either of the right and left directions 504 and 505. これは、内視鏡17が何処を向いているかを上下方向または左右方向の画像によって把握するようにするためであり、例えば、内視鏡17が箱体506の内側を向いている場合には、側面507から他の側面508の方向を見た画像が生成される。 This is so that to grasp whether the endoscope 17 is facing where the vertical or horizontal direction of the image, for example, when the endoscope 17 is facing the inside of the box 506 , an image viewed in the direction of the other side surface 508 from the side surface 507 is generated.

【0039】これにより、内視鏡17自体の向きと患部付近での3次元位置が分かり、内視鏡で撮影した画像と内視鏡17の位置関係、さらには術具の位置関係を容易に把握できるようにする。 [0039] Thus, to understand the three-dimensional position in the vicinity of the endoscope 17 itself direction and the affected area, positional relationship between the inner and the image taken with the endoscope endoscope 17, more easily the positional relationship between the surgical instrument to be able to grasp. その後、ユーザの指示があれば、3次元画像生成方向を変更し、指示された方向から見た臓器の画像および内視鏡17,術具19の3次元モデル画像を生成する。 Then, if there is a user's instruction to change the three-dimensional image generation direction, the image and the endoscope 17 of the organ as viewed from the indicated direction, to generate a three-dimensional model image of the surgical instrument 19.

【0040】このようにして3次元画像生成手段114 [0040] In this way, the three-dimensional image generating unit 114
で生成された画像は画像合成手段118によって合成され、その3次元合成画像410は表示手段13に表示される。 In generated images are combined by the image combining unit 118, the 3-dimensional composite image 410 is displayed on the display unit 13.

【0041】表示手段13には、術中2次元画像データ404のうちの内視鏡画像413も同時に表示される。 The display unit 13, an endoscopic image 413 of the intraoperative 2-dimensional image data 404 is also displayed at the same time.

【0042】以上の処理により、図4の表示手段13に表示された画像の例のように、術者は、内視鏡17や術具19の3次元位置と、手術のターゲットとなる領域4 [0042] With the above processing, as in the example of the image displayed on the display unit 13 in FIG. 4, the operator, the three-dimensional position of the endoscope 17 and the surgical instrument 19, the target of the operation area 4
11やその周辺の臓器412などの位置関係を容易に把握することが可能となる。 The positional relationships such as 11 and around the organ 412 can be easily grasped. この表示方向は任意に変更可能であり、3次元的に認識することができる。 The display direction can be arbitrarily changed, it is possible to recognize three-dimensionally. これにより、内視鏡17の視野だけではわかりにくかった手術が容易になる。 Thus, only the field of view of the endoscope 17 is facilitated surgery that was difficult to understand.

【0043】図6および図7に上記の方法を用いて、術前計画画像や2次元の内視鏡画像、バイタルデータなどの複数のデータを合成表示した例を示す。 [0043] Using the above method is shown in FIG. 6 and FIG. 7, preoperative planning image or a two-dimensional endoscopic image, an example in which a plurality of data were synthesized and displayed, such as vital data.

【0044】図6では、表示手段13の画面は1つであり、3次元合成画像410中に術具19や内視鏡17などの位置関係を3次元的に合成した画像が表示され、2 [0044] In Figure 6, the screen of the display unit 13 is one, three-dimensionally combined image a positional relationship such as the surgical instrument 19 and the endoscope 17 is displayed in a three-dimensional composite image 410, 2
次元の内視鏡画像413と超音波画像414、バイタルサイン414は現在の状況をリアルタイムで表示している。 Endoscopic image 413 and the ultrasonic image 414 dimensions, vital signs 414 are displayed the current status in real time. 416は患部の術前計画画像、417は患部を含めた全体の3次元画像、418〜420は患部付近の複数の断面像を示し、術前計画の参照を行っている。 416 affected part of preoperative planning image, 417 a three-dimensional image of the whole including the affected area, from 418 to 420 represents a plurality of cross-sectional images of the vicinity of the affected area is performed a reference preoperative planning. 421 421
は内視鏡17の3次元位置および視線方向を示す数値情報、422は術具である鉗子の3次元位置および視線方向を示す数値情報である。 Numerical information indicating the three-dimensional position and sight line direction of the endoscope 17, 422 is a numerical value information showing a three-dimensional position and sight line direction of the forceps is a surgical instrument.

【0045】これらの表示画像の配置はユーザが任意に指定できるものとし、ウィンドウ数、画面数(モニタ数)も可変とする。 The arrangement of these display images is that the user can arbitrarily specify the number of windows, the number of screens (the number of monitor) also made variable. すなわち、図7(a)に示すように、表示画面を複数用意し、各画面に3次元合成画像4 That is, as shown in FIG. 7 (a), a display screen preparing a plurality 3D synthesized image 4 on the screen
10、内視鏡画像413、超音波画像414等を1つずつ表示してもよい。 10, an endoscopic image 413 may be displayed one by one ultrasound image 414 or the like. このとき、術中に計測される超音波画像414や内視鏡画像413と、術前データを用いて生成される3次元合成画像410は別の画面に表示することにより、リアルタイム情報と、それ以外の情報を明瞭に区別して把握することが可能になり、術中の混乱を避けることが可能である。 At this time, the ultrasonic image 414 and an endoscopic image 413 is measured during surgery, a three-dimensional composite image 410 generated by using the preoperative data by displaying to another screen, and real-time information, otherwise will the information to be able to grasp clearly distinguished, it is possible to avoid the confusion of intraoperative.

【0046】また、図7(b)に示すように、複数の表示画面によって1つのウィンドウを構成し、3次元合成画像410を大画面で表示してもよい。 Further, as shown in FIG. 7 (b), a plurality of display screens constitute one window may display a 3-dimensional composite image 410 on a large screen. さらに、図7 In addition, as shown in FIG. 7
(c)に示すように、重ね合わせが可能な画像、例えば、後述する3次元位置の復元された立体内視鏡画像4 (C), the image that can be superimposed, for example, the three-dimensional position to be described later restored stereoscopic endoscope image 4
23と視点視線の同じCT断面画像から再構成した3次元術前計画画像416とMRI画像から再構成した血管の3次元画像424などを複数選択した場合には、半透明に各画像を重ね合わせ、その重ね合わせ画像425を作成し、表示してもよい。 23 and when the like three-dimensional image 424 of the reconstituted vessels plurality selected from 3-dimensional preoperative planning image 416 and the MRI image reconstructed from the same CT sectional image of the view line of sight, superimposing the translucent each image , to create the overlay image 425, it may be displayed. このとき、半透明の度合いは、任意に変更可能とする。 At this time, the degree of translucent, and can be arbitrarily changed.

【0047】次に、両眼に視差を持つ立体内視鏡を用いて術部の画像を撮影し、術部画像を構成する複数の特徴点の3次元位置を3D復元等画像処理手段116で復元する手法について説明する。 Next, taking an image of the operative site using a stereoscopic endoscope with parallax to both eyes, the three-dimensional positions of a plurality of feature points constituting the operative part image in 3D reconstruction such as the image processing unit 116 It will be described technique to restore.

【0048】図8は、立体内視鏡によって撮影したターゲットとなる領域11の画像の例を示す図であり、80 [0048] Figure 8 is a diagram showing an example of an image of a region 11 where the target captured by the stereoscopic endoscope, 80
1が左目用、802が右目用の内視鏡画像であり、19 1 for the left eye, 802 are endoscopic image for the right eye, 19
は術具である。 It is a surgical tool.

【0049】左右の画像の対応点が分かれば、立体内視鏡の光学的特性から奥行方向の情報を生成することが可能である。 [0049] When corresponding points of the left and right images are known, it is possible to generate information in the depth direction from the optical properties of the stereoscopic endoscope. これは、谷内田編「MARUZEN Adc This is, Yachida ed., "MARUZEN Adc
anced Technology ;コンピュータビジョン;pp118−124」、および出口著「コンピュータビジョンのための幾何学2 ステレオの仕掛けを解き明かす;情報処理、vol37,pp662」で説明されている手法を用いることにより生成することが可能である。 Anced Technology; computer vision; Pp118-124 ", and the outlet al" unlock geometry 2 stereo gimmicks for computer vision; information, be generated by using techniques described in vol37, pp662 " possible it is.

【0050】しかし、術具19が存在するため、左右の画像間で対応点が取れない場合があったり、誤った対応点をとる場合がある。 [0050] However, since the surgical instrument 19 is present, or in some cases between the left and right images corresponding points can not be taken, it may take a wrong corresponding points.

【0051】そこで、本発明では、第1の手法として、 [0051] Therefore, in the present invention, as a first approach,
まず、左右の立体内視鏡画像から術具19の画像を抽出する。 First extracts an image of the surgical instrument 19 from the left and right stereoscopic endoscope image. 術具19の画像は周辺領域の組織と色が違うことから比較的容易に識別することが可能である。 Image of the surgical instrument 19 can be relatively easily distinguished from the different tissue and color of the surrounding area.

【0052】次に、術具19の画像を除いた領域から、 Next, the region excluding the image of the surgical instrument 19,
特徴点として、例えばエッジの交点を用いるとして、a As used as a characteristic point, for example, the intersection of the edge, a
〜g、a'〜d'、f'〜h'を特徴点として抽出する。 ~g, a'~d ', f'~h' to extract as a characteristic point. このとき、術具の境界はエッジとしないことにする。 In this case, the boundary of the surgical instrument is not to an edge. 特徴点としては、高輝度点や低輝度点などを用いてもよい。 The feature points may be used such as high luminance point and low-luminance point.

【0053】すると、左右の画像においてa〜dとa'〜 [0053] Then, the a~d in the left and right of the image a'~
d'、及びf,gとf',g'が対応するが、e,h'に対応する点はない。 d ', and f, g and f', g 'is corresponds, e, h' is not a point corresponding to. これは術具19の画像により、対応する点が隠されてしまっているためである。 This is because the image of the surgical instrument 19 is for corresponding points is too long and hidden. 立体内視鏡の光学的及び幾何学的特性が既知であれば、1つの画像上のある点のもう一方の画像上での点の位置は、ある直線上にあることが分かるため、そのライン上を探すことで、対応点を見つけることが可能である。 If known optical and geometrical properties of the stereoscopic endoscope, the position of a point on one of a point on an image other image, because it is found that a certain straight line, the line by looking on, it is possible to find the corresponding point. 図8の例では、特徴点e及びh'に対応する点は存在しないため、この点は無視することにする。 In the example of FIG. 8, a point corresponding to the feature points e and h 'because it does not exist, is to ignore this point. もし、同一ライン上に特徴点が複数ある場合には、特徴点の属性(例えばエッジの方向など)から対応点を決定する。 If, in the case where a plurality of characteristic points on the same line, determines the corresponding points from the attribute of the feature points (e.g., the direction of the edge).

【0054】以上の手法により、術野を手前で遮る術具19などによる、対応点の誤りを回避することが可能となり、ターゲットとなる領域11の画像を構成する複数の特徴点の3次元位置を容易に復元することができる。 [0054] By the above technique, due to the surgical instrument 19 to block the surgical field in front, it is possible to avoid an error in the corresponding point, three-dimensional positions of a plurality of feature points making up the image of the region 11 to be targeted it can be easily restored.

【0055】次に、立体内視鏡の両眼の視差に基づき、 Next, based on the parallax of both eyes of stereoscopic endoscope,
術具を取り除いた画像を復元し、術具によって隠された部分の特徴点を復元する手法について図9を用いて説明する。 And reconstructing an image obtained by removing the surgical instrument, the method for reconstructing the feature points of the hidden part by the surgical instrument will be described with reference to FIG.

【0056】ここでは、立体内視鏡の位置姿勢は固定状態と考える。 [0056] Here, the position and orientation of the stereoscopic endoscope considered stationary. このとき、図9(a)のように、最初は術具がなく、ターゲットとなる領域11の臓器が表示されていて、徐々に同図(b),(c)のように術具19が立体内視鏡の視野に入ってくるような場合を考える。 At this time, as shown in FIG. 9 (a), the first no surgical instrument, have organ region 11 serving as a target is displayed, and gradually drawing (b), the surgical instrument 19 as (c) consider a case such as coming into the field of view of the stereoscopic endoscope. このような場合、臓器のみが表示されている図9(a)の状態では、すべての特徴点a〜hに関して3次元位置を復元可能であるが、術具19が視野に入ってくると、その術具19に遮られた部分、すなわち図9(b)のe, In this case, in the state shown in FIG. 9 (a) only the organ is displayed, but can be restored all the three-dimensional position with respect to the feature point to h, the surgical instrument 19 comes into view, shielded portion to the surgical instrument 19, i.e. e of FIG. 9 (b),
g、同図(c)のc, e, hに関しては3次元位置は復元不可能になる。 g, 3-dimensional positions c, e, with respect to h of FIG. (c) becomes unrecoverable.

【0057】そこで、立体内視鏡の位置姿勢が変わらない場合には、術具19が視野内に存在しない状態で(これは幾何学的な条件から求められる)、立体内視鏡画像中の特徴点に関して3次元位置を復元し、術具19が視野に入ってからは、臓器の各特徴点3次元位置は、最初に求めた復元結果を利用することにする。 [0057] Therefore, when the position and orientation of the stereoscopic endoscope is not changed, in a state in which the surgical instrument 19 is not in the field of view (which is determined from the geometrical conditions), the stereoscopic endoscope in the image the three-dimensional position and restore respect feature points from the surgical instrument 19 into view, each feature point three-dimensional position of an organ is to utilize the recovered results initially determined.

【0058】以上のような方法により、術具によって臓器の画像が隠された場合であっても、立体内視鏡の両眼の視差により、臓器の各特徴点の3次元位置が復元でき、結果的に臓器の形状を把握することができる。 [0058] The method described above, even when the image of the organ has been hidden by the surgical instrument, the parallax of both eyes in the stereoscopic endoscope, can restore the three-dimensional positions of the feature points of the organ, Consequently, it is possible to grasp the shape of the organ.

【0059】臓器の各特徴点の3次元位置が復元できたならば、この3次元位置情報と、術具19の位置情報から、術具19が重要な臓器に接触しそうになった場合に警告を提示するなどのモニタリングが可能となり、立体内視鏡だけでは奥行き関係が分かりにくい場合にも安全な手術が可能となる。 [0059] If three-dimensional positions of the feature points of the organ could be restored, warnings and the three-dimensional position information, the position information of the surgical instrument 19, when the surgical instrument 19 is about to contact the vital organs monitoring, such as presenting a becomes possible, the only three-dimensional endoscope it is possible to be safe surgery if it is difficult to understand the depth relationship. このとき、術具19の3次元位置は、位置計測装置16センサ或いは立体内視鏡に映った術具19の位置から得ることができる。 At this time, three-dimensional position of the surgical instrument 19, can be obtained from the position of the surgical instrument 19 reflected in the position measuring device 16 sensor or stereoscopic endoscope.

【0060】上記のようにして、立体内視鏡の左右の画像において対応関係にある各特徴点の3次元位置の復元が可能となるが、画像中のすべての特徴点に対応して3 [0060] As described above, restoration of three-dimensional positions of the feature points in the correspondence between the left and right images of a stereoscopic endoscope but is possible, compatible with all feature points in an image 3
次元位置を復元することは困難で、特徴がなく、対応の付かなかった点の3次元位置は復元できない。 It is difficult to restore the dimensions position, no features, the three-dimensional position of the point Did not adhere paired can not be restored.

【0061】そこで、次に、図10を用いて、特徴点以外の点の特徴点3次元位置の復元方法について説明する。 [0061] Accordingly, next, with reference to FIG. 10, a description how to restore the feature point three-dimensional position of a point other than the feature point. 図10において、101は術前にセグメンテーションした3次元画像データ407から生成した臓器の3次元モデルである。 10, 101 is a three-dimensional model of an organ that is generated from the three-dimensional image data 407 segmentation preoperatively.

【0062】このとき、術前データの座標系と術中の立体内視鏡などの座標系の統合は済んでいるものとする。 [0062] At this time, the coordinate integrated system, such as preoperative coordinate system of the data and the stereoscopic endoscope during surgery shall been finished.

【0063】まず、前述の手法により3次元位置を復元した特徴点A,B,Cと臓器の術前に作成した3次元モデル101上の特徴点A',B',C'との対応をとり、各特徴点が立体内視鏡画像と対応するように変形し、位置合わせを行う。 [0063] First, feature points to restore the three-dimensional position by the above method A, B, feature points on the three-dimensional model 101 created preoperatively C and organ A ', B', the correspondence between C ' taken, each feature point is deformed to correspond to the three-dimensional endoscopic image, performing alignment. このとき、立体内視鏡の位置、 At this time, the position of the stereoscopic endoscope,
姿勢は位置計測装置16の出力情報によって認識可能なため、3次元モデル101と立体内視鏡画像の対応は容易に付くが、自動的に対応がとれない場合には、操作者が対応点を指示しても良い。 Because attitude recognizable by the output information of the position measuring device 16, the three-dimensional model 101 and the stereoscopic endoscope image corresponding Tags easily but automatically if the corresponding can not be taken, the corresponding point operator it may instruct. この位置合わせのための情報を用いると、立体内視鏡画像中で、3次元位置が復元されていない特徴点Xは、3次元モデル101上の対応する点X'の位置で近似できることになる。 With information for this alignment, stereoscopic endoscope in the image, the feature point three-dimensional position is not restored X would be approximated by the position of the corresponding point X 'on the three-dimensional model 101 .

【0064】この手法により、数点の特徴点同士の対応をとることにより、立体内視鏡画像中に映ったモデル化された臓器領域に関して、3次元位置を得ることができる。 [0064] This approach, by taking the corresponding feature points between the number of points, with respect to the modeled organ regions reflected in the three-dimensional endoscopic image, it is possible to obtain three-dimensional position. すなわち、立体内視鏡画像上の特徴点以外の点における3次元位置についても求めることができる。 That can also be determined for the three-dimensional position at the point other than the characteristic points on the stereoscopic endoscope image.

【0065】以上のような方法で3次元位置の復元された立体内視鏡画像と、術前に計測した3次元画像データ407から生成した3次元画像との対応をとり、位置を合わせ、しかも術前の3次元画像データ407から内部の腫瘍情報などをセグメンテーションしておいて図7 [0065] taken over the reconstructed three-dimensional endoscopic image of the three-dimensional position in a manner such as, the correspondence between the three-dimensional image generated from the 3-dimensional image data 407 measured preoperatively, position, yet from preoperative 3-dimensional image data 407 in advance by segmentation and internal tumor information 7
(c)に示したように合成表示することにより、表面情報しか見ることができない立体内視鏡画像中に、腫瘍情報など内部情報を重ねて表示することが可能となり、術者へ提示できる情報量を増やすことができる。 By combining the display as shown (c), the stereoscopic endoscope in an image that can not be seen only surface information, it is possible to display superimposed internal information such as tumor information can be presented to the operator information it is possible to increase the amount.

【0066】また、立体内視鏡の視野よりも大きな領域の3次元画像に立体内視鏡画像を重ね合わせることにより、仮想的に広い視野で手術ができることになり、術者の負担が軽減される。 [0066] Further, by superimposing the three-dimensional endoscopic image in 3-dimensional image of a larger area than the field of view of the stereoscopic endoscope, will be capable of operation in virtually wide viewing, operator's burden can be reduced that.

【0067】次に、立体内視鏡画像上の特徴点の3次元位置を利用した断面画像を再構成する手法について図1 Next, a technique of reconstructing a cross-sectional image using the three-dimensional positions of feature points on the three-dimensional endoscopic image 1
1を用いて説明する。 It will be described with reference to the 1.

【0068】まず、図11(a)に示すような画像(ここでは、立体内視鏡の片目画像を代表して示す)が表示されている状態であるとする。 [0068] First, the image (in this case, shown on behalf of one eye image of a stereoscopic endoscope) as shown in FIG. 11 (a) is assumed to be a state that is displayed. この状態で、操作者は断面画像を見たい位置の中心102を内視鏡画像上で指定する。 In this state, the operator specifies the center 102 of the position you want to see a cross-sectional image on the endoscopic image. その指定はマウスやタブレット、タッチパネルなどのポインティングデバイスを用いる。 Its specification is a mouse or tablet, using a pointing device such as a touch panel.

【0069】指定された点の3次元位置は前述した手法によって求まる。 [0069] 3-dimensional position of the specified point is obtained by the method described above. そこで、その指定した位置102を通り、立体内視鏡の視線方向と垂直な平面の画像(視線方向と同じ方向を見た時の画像)103を、術前に計測した術前3次元画像データ402または術中に撮影した術中3次元画像データ403から再構成する。 Therefore, through the designated position 102, stereoscopic endoscope viewing direction and the 103 (image when viewed in the same direction as the viewing direction) image of a plane perpendicular preoperative measured preoperatively 3-dimensional image data to 402 or intraoperative reconstructed from intraoperative 3-dimensional image data 403 captured.

【0070】この場合、断面画像を生成する大きさや形状は操作者が入力できるものとするが、デフォルトでは例えば図11(b)に示すように指定点102を中心とする画素数N×Nの正方形であるとし、指定した位置1 [0070] In this case, the size and shape to produce a cross-sectional image is assumed to be input by the operator, default number of pixels N × N centered on the designated point 102 as shown in FIG. 11 (b) e.g. and a square, the specified position 1
02を断面画像上に重ねて表示する。 02 displayed superimposed on the section image.

【0071】断面の表示は、図11(b)に示すように断面画像103のみで表示する他に、図11(c)に示すように立体内視鏡画像を重ね合わせた画像104としてもよい。 [0071] The cross-sectional view, in addition to displaying only the cross-sectional image 103 as shown in FIG. 11 (b), or as an image 104 superimposed stereoscopic endoscope image as shown in FIG. 11 (c) . これにより、全体における立体内視鏡画像の位置の把握や、断面画像による診断的情報などを得ることができる。 This makes it possible to obtain grasp and position of the stereoscopic endoscope image in the whole, and diagnostic information by cross-sectional image.

【0072】さらに、図11(d)に示すようにパラメータにより断面位置を視線方向に沿って平行移動した画像105を表示することにより、立体内視鏡画像では見ることができない表面の下の情報を得ることができる。 [0072] Further, FIG. 11 by displaying the image 105 that has moved in parallel along the cross-sectional position in the line-of-sight direction by the parameter (d), the information below the surface that can not be seen by the stereoscopic endoscope image it is possible to obtain.
このとき、指定した位置102を通る視線方向と断面位置との交点106を表示することにより、指定位置10 At this time, by displaying the intersection 106 between the visual axis direction and the cross-sectional position through a specified location 102, the designated position 10
2との位置関係を分かりやすく提示することが可能となる。 It can be presented easy to understand the positional relationship between the 2 become.

【0073】次に、図11で説明した断面画像を奥行方向に複数加算した画像を表示する手法について図12を用いて説明する。 Next, will be described with reference to FIG method of displaying an image of the cross-sectional image described was more added to the depth direction in FIG. 11.

【0074】まず、図11で説明したのと同様に、立体内視鏡画像上の点102を指定することで、断面加算画像を生成する範囲を指定する。 [0074] First, in the same manner as described in FIG. 11, by specifying a point 102 on the stereoscopic endoscope image, to specify a range to generate a cross-sectional added image. 次に、指定した点102 Then, the point was specified 102
の位置から奥行き方向(立体内視鏡の視線方向の視点から遠ざかる向き)に指定された深さ分(指定されない場合はデフォルト値で)の断面画像103,105,10 Cross-sectional image in the depth direction from the position deep enough as specified in (a direction away from the viewing direction of the viewpoint of the stereoscopic endoscope) (if not specified the default value) 103,105,10
6を術前3次元画像データ403から生成し、それらを加算した画像108を図12(b)に示すようにして表示する。 Generates 6 from preoperative 3-dimensional image data 403, and displays an image 108 obtained by adding them as shown in Figure 12 (b). この場合、表示法は、図11の場合と同様に立体内視鏡画像を重ねて表示しても良いし、別に表示してもよい。 In this case, the display method, may be displayed superimposed similarly stereoscopic endoscope image in the case of FIG. 11 may be displayed separately. 例えば図12(c)の断面画像中に血溜像10 For example Chitamari image 10 in the cross-sectional image shown in FIG. 12 (c)
7が存在した場合、各断面画像を重ね合わせて表示することにより、立体内視鏡の方向から見た場合の深さ方向の位置情報を提示することができる。 If 7 is present, by displaying superposed each cross-sectional image, it is possible to present the positional information in the depth direction when viewed from the direction of the stereoscopic endoscope.

【0075】図11で説明した例では、深さ方向の情報を得るために断面位置を平行移動しなければならないという手間がかかったが、図12で説明した手法を用いることにより、1度の操作で、一断面では得られない情報を得ることが可能になり、表面深部の患部や血溜の位置などを同時に把握できる。 [0075] In the example described in FIG. 11, but is troublesome that it is necessary to translate the cross-sectional position in order to obtain information in the depth direction, by using the method described in FIG. 12, once the operated, it is possible to obtain information not obtained in one section can be grasped and position of the affected part and Chitamari surface deep simultaneously.

【0076】次に、単眼の内視鏡画像あるいは立体内視鏡画像から各特徴点の3次元位置情報を復元するタイミングについて図13のフローチャートを用いて説明する。 Next, it will be described with reference to the flowchart of FIG. 13 for the timing of restoring the 3-dimensional position information of the feature points from the monocular of the endoscope image or the stereoscopic endoscope image.

【0077】内視鏡(単眼内視鏡あるいは立体内視鏡) [0077] endoscope (monocular endoscope or stereoscopic endoscope)
が術者により体内へ挿入されているときには、その撮影画像は刻々と変わるため、その都度、各特徴点の3次元位置の復元を行っては無駄が多い。 There when it is inserted into the body by the surgeon for the captured image to change every moment, each time, wasteful by performing the reconstruction of three-dimensional positions of the feature points.

【0078】そこで、内視鏡の移動が停止するのを検出し、停止した時点で撮影画像を構成する各特徴点の3次元位置の復元処理を行う。 [0078] Therefore, to detect the movement of the endoscope to stop, it performs the restoration processing of the three-dimensional positions of the feature points constituting the photographed image at the time of the stop. 例えば、内視鏡の位置・姿勢データ(位置・視線方向データ)を位置計測装置16より入手し(ステップ131)、時間的に以前(例えば1 For example, to obtain the position and orientation data of the endoscope (position and viewing direction data) from the position measuring device 16 (step 131), temporally earlier (e.g. 1
秒前)の位置・姿勢データと比較を行う(ステップ13 Performing comparison with the position and orientation data in seconds before) (step 13
2)。 2). この比較の結果、値が異なった場合には、一定時間(例えば1秒間)経過後、再びステップ131に戻り、現在の位置・姿勢データを入手する。 The result of this comparison, if the value is different from, after a certain time (e.g. 1 sec), the process returns to step 131 again to obtain the current position and orientation data. しかし、値が同じの場合には、内視鏡は固定された(停止した)と判断し、内視鏡画像の3次元位置の復元処理を行う(ステップ133)。 However, if the values ​​are the same, it is determined that the endoscope has been fixed (stopped), the restoration process of the three-dimensional position of the endoscopic image (Step 133).

【0079】ここで、内視鏡が移動しない限り3次元位置の復元を行わない方法をとると、観察している臓器が変形した場合などに対応できないため、操作者からの指示によるユーザ割込みによって3次元位置の復元処理を実行するようにする(ステップ134)。 [0079] Here, taking the method of the endoscope does not perform reconstruction of three-dimensional position unless you move, because the organ being observed can not handle a case where deformation by the user interruption by instruction from the operator the restoration process of three-dimensional position to be executed (step 134). さらに、内視鏡の位置・姿勢が変更された場合には、内視鏡の制御機構より、割り込みが発生し(ステップ135)、ステップ131へ戻る。 Further, when the position and orientation of the endoscope is changed, from the control mechanism of the endoscope, an interrupt is generated (step 135), returns to step 131.

【0080】このようにすることにより、3次元位置の復元処理における冗長な処理を省くことができ、処理時間の短縮を図ることが可能になる。 [0080] By doing so, it is possible to omit the redundant processing in the restoration process of the three-dimensional position, it is possible to shorten the processing time.

【0081】次に、立体内視鏡に映った術具位置を参照して内視鏡画像の3次元位置を復元する差異のパラメータを調整するキャリブレーションについて図14を用いて説明する。 Next, it will be described with reference to FIG. 14 for the calibration to adjust the parameters of the difference to restore the three-dimensional position of the endoscopic image with reference to the surgical instrument position reflected in stereoscopic endoscope.

【0082】各種の術具や内視鏡などを正確に制御するためには、各術具や内視鏡などの位置合わせを行う必要がある。 [0082] To various precisely controlling the surgical instrument or endoscope, it is necessary to perform positioning such the surgical instrument and the endoscope. 術具や内視鏡などを保持し、位置/姿勢を制御するマニピュレータ間の誤差は、共通絶対位置を事前に合わせることによりキャリブレーションすることができる。 Holds like surgical instrument and the endoscope, the error between the manipulator to control the position / orientation can be calibrated by aligning the pre-common absolute position. 一方、立体内視鏡画像から3次元位置を復元した位置に関しては、視差の誤差、画像の歪み、対応点のずれなどから、誤差が生じる。 On the other hand, with respect to the position restoring the three-dimensional position from the stereoscopic endoscope image, the error of parallax, image distortion, and the like displacement of corresponding points, an error occurs.

【0083】そこで、立体内視鏡画像に映った術具から復元した3次元位置とマニピュレータ161による制御位置との位置合わせを行う。 [0083] Therefore, to align the control position by the three-dimensional position and the manipulator 161 restored from the stereoscopic endoscope surgical instrument reflected in the image.

【0084】マニピュレータ161の位置を(x,y,z)とし、立体内視鏡画像から復元された3次元位置を(u,v, [0084] The position of the manipulator 161 (x, y, z) and the restored three-dimensional position from the stereoscopic endoscope image (u, v,
w)としたとき、次の「数1」により座標変換がされるものとする。 When a w), and it shall be the coordinate transformation by the "number 1" below.

【0085】 [0085]

【数1】 [Number 1]

【0086】この場合、一般には、より高次の項を加えた非線型な変換を行ってもよいが、その分未知の係数が増え、計算量が増加するため、線形変換に非線型の項を1つ加えた「数1」を用いることにする。 [0086] In this case, in general, may perform higher order terms nonlinear transformation plus but increased correspondingly unknown coefficients, for calculating the amount is increased, the non-linear terms in the linear transformation the to the use of "number 1" plus one.

【0087】さて、「数1」を用いた場合、未知の係数は15個となる。 [0087] Now, in the case of using the "number 1", the unknown coefficients of 15 pieces. 一組のマニピュレータ位置(x,y,z)と立体内視鏡復元位置(u,v,w)からは3つの方程式を生成できるため、すべての未知数を解くためには5点以上の対応点が必要となる。 A pair of manipulator position (x, y, z) and the stereoscopic endoscope restored position (u, v, w) because from that can generate three equations, all in order to solve the unknowns 5 points or more corresponding points Is required. 5点あれば解を求められ、6点以上の場合、最小2乗法などの手法で平均的により安定な解を求めることになる。 If 5 points sought a solution in the case of six or more, thereby obtaining a stable solution by the average by a technique such as least squares. ここでは、5点の対応点(x0,y Here, the five points corresponding points (x0, y
0,z0)→(u0,v0,w0),....,(x4,y4,z4)→(u4,v4,w4)が与えられたとすると、「数2」が得られる。 0, z0) → (u0, v0, w0), ...., (x4, and y4, z4) → (u4, v4, w4) and is given, "number 2" is obtained.

【0088】 [0088]

【数2】 [Number 2]

【0089】ここで、「数2」をマニピュレータ位置行列X、係数行列A、内視鏡復元位置行列Uを用いて書き換えると、係数行列Aは「数3」のように求められる。 [0089] Here, the manipulator position matrix X "number 2", the coefficient matrix A, is rewritten using the endoscope restore position matrix U, the coefficient matrix A is determined as the "number 3".

【0090】 [0090]

【数3】 [Number 3]

【0091】以上のようにして求めた係数をパラメータとして用い、立体内視鏡画像より復元された3次元位置をマニピュレータ161の3次元位置へ変換することにより、3次元位置の復元精度を向上することが可能となる。 Using [0091] The coefficients determined as above as a parameter, by converting the three-dimensional position restored from stereoscopic endoscope image to three-dimensional position of the manipulator 161, to improve the restoration precision of the three-dimensional position it becomes possible.

【0092】また、この手法を逆に用いてマニピュレータ162の異常を検知できる。 [0092] Also, it detects an abnormality of the manipulator 162 using this approach is reversed. このことについて図14 Figure about this 14
のフローチャートを用いて説明する。 It will be described with reference to the flowchart of.

【0093】マニピュレータ162を機械により自動駆動していた場合、急激な電圧低下や、電磁ノイズによる制御値の異常、アクチュエータの故障などにより異常動作することが考えられ、危険が考えられる。 [0093] If you were automatically driven by mechanical manipulators 162, rapid voltage and drop, fault in the control value due to electromagnetic noise, it is believed that abnormal operation as a result of a malfunction of the actuator, can be considered dangerous. そこで、立体内視鏡画像に映った術具の位置と、術具の制御情報を比較して監視することにより、異常を検知することができる。 Therefore, by monitoring and comparing the position of the surgical instrument reflected in stereoscopic endoscope image, the control information of the surgical instrument, it is possible to detect abnormality.

【0094】まず、立体内視鏡画像から復元した臓器等の特徴点の3次元位置と術具位置とのキャリブレーションを行う。 [0094] First, the calibration of the three-dimensional position and surgical instrument positions of feature points such as an organ restored from stereoscopic endoscope image. (ステップ141)手術中は一定間隔(例えば1秒間隔)で立体内視鏡画像から術具の3次元位置を復元し(ステップ142)、術具制御情報との比較を行い(ステップ143)、その差がしきい値を超えた場合には、術具の移動を停止し(ステップ144)、手術を中断する。 (Step 141) during surgery restores the 3-dimensional position of the surgical instrument from the stereoscopic endoscope image at regular intervals (e.g. 1 second intervals) (step 142), compares with the surgical instrument control information (step 143), If the difference exceeds the threshold, it stops the movement of the surgical instrument (step 144), interrupts the surgery. 術者が位置関係の確認を行い(ステップ14 Operator confirms the positional relationship (step 14
5)、問題がなければステップ141に戻り、キャリブレーションを行い手術を再開する。 5), the process returns to step 141 if there is no problem, resume operation to calibrate.

【0095】このようにすることにより、より安全にマニピュレータ162を用いた手術を行うことが可能となる。 [0095] By doing this, operation becomes possible to perform with more safely manipulator 162.

【0096】以上説明した実施形態によれば、内視鏡下の手術において、手術の低侵襲化、時間短縮、安全性向上、術者の負担軽減などが達成できる。 According to the embodiment [0096] described above, in the operation of endoscopic minimally invasive of surgeries, time saving, safety improvement, such as surgeon's burden can be achieved.

【0097】具体的には、視野の狭い内視鏡では確認することができない全体における3次元的な位置関係、すなわち内視鏡がどの方向を向いているのか、どの部分を見ているのかなどの位置関係を容易に把握することが可能となる。 [0097] Specifically, 3-dimensional positional relationship in whole can not be confirmed in a narrow endoscopic field of view, i.e. whether the endoscope is facing in any direction, such as whether looking at what part it is possible to make the positional relationship easily grasp.

【0098】また、術前の画像や現在の状況を示す様々な情報を合成し、選択的に表示することが可能なため、 [0098] In addition, to synthesize a variety of information indicating a preoperative image and the current situation, since it is possible to selectively display,
非開腹手術等における術者の現状認識を補助することができる。 It can assist current situation of the operator in the non laparotomy like.

【0099】また、術具等によって立体内視鏡画像の一部が隠れてしまった場合でも、立体内視鏡画像から体内画像の特徴点の3次元位置の復元を対応点の特定に時間をかけずに精度よくできるようになり、その結果として術前の画像との位置合わせが容易になる。 [0099] Also, even if you've hidden part of stereoscopic endoscope image by the surgical instrument or the like, from the three-dimensional endoscopic image time to restore the three-dimensional positions of feature points of the in-vivo image to the particular corresponding points It will be able to accurately without applying the alignment between the preoperative image is facilitated as a result.

【0100】さらに、術具と臓器との距離などを計測可能であり、重要臓器を侵襲しそうになった場合などに警告を出すこともできる。 [0100] Furthermore, it is such as enables the measurement distance between the surgical instrument and the organ, it is also possible to issue a warning, such as when it becomes the vital organs to invasive likely.

【0101】また、内視鏡では観察できない表面深部の状態を、容易な操作により、術前の断層画像より生成して提示することができる。 [0102] Further, the state of the surface deep which can not be observed in the endoscope, by a simple operation, can be presented generated from pre-operative tomographic images.

【0102】さらに、内視鏡画像の歪に起因する3次元位置の復元精度を向上させ、内視鏡画像の3次元位置を高精度で検出することが可能になったうえ、術具の位置を画像上でモニタリングすることで、術具を保持するマニピュレータの異常を検知できるなどの効果がある。 [0102] Further, to improve the restoration accuracy of the three-dimensional position due to the distortion of the endoscope image, after having made a three-dimensional position of the endoscope image can be detected with high accuracy, the position of the surgical instrument the by monitoring the image, an effect such as can detect abnormality of the manipulator that holds the surgical instrument.

【0103】ところで、本発明は、内視鏡下の外科手術を支援する場合に限らず、内部空間が外部から遮蔽され、外部から内視鏡を挿入して内部空間を観察する場合に同様に適用することができる。 [0103] Incidentally, the present invention is not limited to the case of supporting the surgery under endoscope, an internal space shielded from the outside, similarly to the case of observing the interior space by inserting an endoscope from the outside it is possible to apply. 図15に、その一例を示す。 15 shows an example thereof.

【0104】図15において、151は地中から発掘された古代の棺であり、内部には空気に触れると急速に品質が変質するような装飾品等の文化財が収納されているとする。 [0104] In FIG. 15, 151 is the ancient coffin excavated from the ground, and rapidly cultural properties ornaments such quality is degraded when exposed to air in the interior is housed. このような棺151については、内部をさらすことなく内部の文化財の調査を行うことが必要になる。 Such coffin 151, it is necessary to carry out the investigation of the interior of the cultural assets without exposing the interior.

【0105】そこで、棺151の全体の断層像、あるいは底部の2次元平面画像を高エネルギーの産業用X線C [0105] Therefore, the entire tomogram, or bottom industrial X-ray of high energy two-dimensional plane image of the portion C of the coffin 151
Tによって撮影した後、棺151の一部の小さな隙間からマニピュレータ161に保持された内視鏡17を挿入し、棺151の内部の画像を撮影する。 After taking the T, insert the endoscope 17 held by a portion of the small gap manipulator 161 coffin 151 photographs the image of the interior of the coffin 151. そして、産業用X線CTによって撮影した事前画像と内視鏡によって撮影した画像とを前記の実施形態と同様の画像処理によって処理する。 Then, it processes the images taken by the pre-image and the endoscope taken by industrial X-ray CT in the same image processing as in the embodiment described above. この場合の画像処理装置の構成は、図1における構成から心電計等の計測装置および術具を保持するマニピュレータを削除した構成になる。 Configuration of the image processing apparatus in this case is configured to delete a manipulator for holding the measuring device and the surgical instrument of the electrocardiograph and the like from the configuration in FIG.

【0106】これにより、内視鏡で撮影している内在物と、棺151内における3次元的な位置関係を容易に把握することができる。 [0106] Thus, the endogenous substance that is taken with the endoscope, it is possible to easily grasp the three-dimensional positional relationship in the coffin 151.

【0107】さらに、産業用X線CTによって撮影した事前画像から生成した3次元モデルに体し、内視鏡画像をテキスチャとしてマッピングすることにより、画像処理装置内に内在物である装飾品等の文化財の3次元画像データを蓄積することができる。 [0107] Further, Taishi the three-dimensional model generated from the pre-image captured by an industrial X-ray CT, by mapping an endoscopic image as a texture, the ornaments are integral product in the image processing apparatus it can be accumulated three-dimensional image data of the cultural properties.

【0108】このような応用の他に、内部が見えない構造物、例えば上下水道設備、原子力設備、建築物などの構造物を対象にして、内部を調査する場合に適用することができる。 [0108] In addition to such applications, it is possible to structure the inside can not be seen, for example, water and sewage facilities, intended for structures such as nuclear power facilities, buildings, applied to the case to investigate the interior.

【0109】 [0109]

【発明の効果】以上詳細に説明したように、本発明による画像処理装置によれば、外部から遮蔽された対象物の内部空間を視野の狭い内視鏡で撮影した画像を表示する場合に、内視鏡画像あるいは内視鏡自体の対象物全体における3次元的な位置関係および視線方向を容易に把握することができる。 As described [Effect Invention above in detail, according to the image processing apparatus according to the present invention, when displaying an image captured by the endoscope narrow viewing the interior space of the object is shielded from the outside, the three-dimensional position relation and the line-of-sight direction in the overall object of the endoscope image or the endoscope itself can be easily grasped.

【0110】また、内視鏡画像の一部が術具などの操作具によって隠れてしまった場合でも、予め撮影しておいた画像と内視鏡画像との対応付けを容易に行い、隠れた部分の位置を把握することができる。 [0110] In addition, even if a part of the endoscope image had hidden by the operation tool such as a surgical tool, it performs a correlation between the endoscopic image and the image that has been captured in advance easily, hidden it is possible to grasp the position of the part.

【0111】また、内視鏡では撮影できない内側の状態を把握することができる。 [0111] In addition, it is possible to grasp the inside of a state that can not be photographed by the endoscope.

【0112】さらに、内視鏡画像自体に歪に起因する3 [0112] Furthermore, 3 due to distortion in the endoscopic image itself
次元位置の復元誤差を補正し、内視鏡画像の3次元位置を高精度で復元することができる。 Correcting the reconstruction error dimension position, it is possible to restore the three-dimensional position of the endoscopic image with high accuracy.

【0113】特に、内視鏡下の手術支援に適用した場合、手術の低侵襲化、時間短縮、安全性向上、術者の負担軽減などを図れるという優れた効果が得られる。 [0113] In particular, when applied to surgery support of endoscopic, minimally invasive of the surgery, time savings, improved safety, excellent advantage of being able to, such as the operator of the burden obtained.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明を適用した画像処理装置の第1の実施形態を示す機能ブロック図である。 1 is a functional block diagram showing a first embodiment of an image processing apparatus of the present invention.

【図2】位置計測装置を内蔵したマニピュレータの例を示す図である。 2 is a diagram showing an example of a manipulator with a built-in position measuring devices.

【図3】内視鏡を用いた手術を行う場合の作業の流れを示すフローチャートである。 It is a flowchart showing a flow of operations in the case of performing the operation using the [3] endoscope.

【図4】各種の計測データと画像処理の関係を示す機能説明図である。 4 is a functional diagram illustrating the relationship between various measurement data and image processing.

【図5】内視鏡の視線方向と垂直な方向の説明図である。 5 is an explanatory diagram of a viewing direction perpendicular to the direction of the endoscope.

【図6】合成表示画面の例を示す説明図である。 6 is an explanatory diagram showing an example of a composite display screen.

【図7】合成表示画面の他の例を示す説明図である。 7 is an explanatory diagram showing another example of a composite display screen.

【図8】立体内視鏡画像からの特徴点の3次元位置復元のための対応点を求める処理の説明図である。 8 is an explanatory diagram of a process for obtaining the corresponding point for the three-dimensional position recovery of the feature point from the three-dimensional endoscopic image.

【図9】術前画像を用いて立体内視鏡画像の特徴点の3 3 of feature points stereoscopic endoscope image using a 9 preoperative image
次元位置を復元する処理の説明図である。 It is an explanatory view of a process of restoring the dimension position.

【図10】特徴点でない位置の3次元位置を復元する処理の説明図である。 10 is an explanatory view of a process of restoring the 3-dimensional position of non-feature point.

【図11】内視鏡画像上で指定した位置の断面画像を表示する例の説明図である。 11 is an explanatory diagram of an example of displaying the cross-sectional image of the specified position on the endoscopic image.

【図12】内視鏡画像上で指定した位置の断面加算画像を表示する例の説明図である。 Sectional addition image of the position specified by [12] endoscopic image on an example illustration of displaying the.

【図13】立体内視鏡画像からの3次元位置を復元処理のフローチャートである。 13 is a flowchart of a restoration process the three-dimensional position of the stereoscopic endoscope image.

【図14】術具位置の監視処理のフローチャートである。 14 is a flowchart of a monitoring process of surgical instrument position.

【図15】箱体の内部を内視鏡で観察する場合に適用した第2の実施形態を示す概略構成図である。 15 is a schematic diagram showing a second embodiment applied to a case of observing an endoscope inside the box body.

【符号の説明】 DESCRIPTION OF SYMBOLS

11…画像合成装置、12…入力装置、13…表示手段、14…2D計測装置、15…3D計測装置、16… 11 ... image synthesizing apparatus, 12 ... input unit, 13 ... display unit, 14 ... 2D measuring device, 15 ... 3D measurement device, 16 ...
位置計測装置、17…内視鏡、19…術具、111…データ記憶装置、112…座標系/位置合わせ手段、11 Position measuring device, 17 ... endoscope, 19 ... surgical instrument, 111 ... data storage unit, 112 ... coordinate system / alignment means, 11
3…セグメンテーション手段、114…3D画像生成手段、115…断面画像生成手段、116…3D復元等画像処理手段、117…3DCG生成手段、161,16 3 ... segmentation unit, 114 ... 3D image generation unit, 115 ... cross-sectional image generation unit, 116 ... 3D restored such as the image processing unit, 117 ... 3DCG generation means, 161,16
2…マニピュレータ。 2 ... manipulator.

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 外部から遮蔽された対象物の内部空間内の画像を表示する画像処理装置において、 前記対象物の内部空間内に挿入され、該内部空間内で3 The image processing device for displaying an image in the internal space of the claims 1] object to be shielded from the outside, is inserted in the inner space of the object, 3 in the internal space
    次元位置および視線方向が任意に変更可能な内視鏡と、 この内視鏡の前記内部空間内の3次元位置および視線方向を計測する計測手段と、 前記内視鏡による撮影範囲を含む前記対象物の3次元断層像を撮影する断層像撮影手段と、 前記計測手段によって計測された内視鏡の視線方向を参照し、前記断層像撮影手段による3次元断層像に基づき前記内視鏡の視線方向とは異なる方向から見た3次元画像を生成する3次元画像生成手段と、 前記計測手段によって計測された前記対象物の内部空間内の内視鏡の3次元位置および視線方向を参照し、前記対象物の内部空間内における内視鏡先端部のモデル画像を生成する内視鏡モデル画像生成手段と、 前記3次元画像生成手段により生成された3次元画像と前記内視鏡モデル画像生成手段により The subject, including a dimension position and viewing direction arbitrarily changeable endoscope, a measuring means for measuring the three-dimensional position and direction of the line of sight of the inner space of the endoscope, the imaging range by the endoscope and tomography means for photographing a three-dimensional tomogram of the object, the reference to the viewing direction of the endoscope, which is measured by the measuring means, the line of sight of the endoscope based on the three-dimensional tomographic image by the tomographic image capturing means Referring to the three-dimensional position and the viewing direction of the endoscope in the internal space of the different and 3-dimensional image generating means for generating a 3-dimensional image seen from a direction, the object measured by the measuring means and direction, endoscopic model image generating means, 3-dimensional image and the endoscope model image generating means which is generated by the three-dimensional image generating means for generating a model image of the endoscope tip portion in the interior space of the object by 成された内視鏡先端部のモデル画像との合成画像と共に、前記内視鏡の撮影画像とを表示する表示手段と、を備えることを特徴とする画像処理装置。 Together composite image of the model image of the endoscope front end portion inner been made, the image processing apparatus comprising: a display means for displaying the captured image of the endoscope.
  2. 【請求項2】 外部から遮蔽された対象物の内部空間内の画像を表示する画像処理装置において、 前記対象物の内部空間内に挿入され、該内部空間内で3 The image processing device for displaying an image in the internal space of 2. A target object which is shielded from the outside, is inserted in the inner space of the object, 3 in the internal space
    次元位置および視線方向が任意に変更可能な内視鏡と、 この内視鏡の前記内部空間内の3次元位置および視線方向を計測する第1の計測手段と、 前記対象物の内部空間内に挿入され、該内部空間内で3 A dimension position and viewing direction arbitrarily changeable endoscope, a first measuring means for measuring a three-dimensional position and viewing direction in the inner space of the endoscope, into the interior space of the object is inserted, 3 internal space
    次元位置および視線方向が任意に変更可能な操作具と、 この操作具の前記内部空間内の3次元位置を計測する第2の計測手段と、 前記内視鏡による撮影範囲を含む前記対象物の3次元断層像を撮影する断層像撮影手段と、 この断層像撮影手段による3次元断層像に基づき前記内視鏡の視線方向とは異なる方向から見た3次元画像を生成する3次元画像生成手段と、 前記第1の計測手段によって計測された前記対象物の内部空間内の内視鏡の3次元位置および視線方向を参照し、前記対象物の内部空間内における内視鏡先端部のモデル画像を生成すると共に、前記第2の計測手段によって計測された前記操作具の前記内部空間内における3次元位置を参照し、前記対象物の内部空間内における操作具先端部のモデル画像を生成するモデル画像 A dimension position and viewing direction arbitrarily changeable operating member, a second measuring means for measuring the three-dimensional position of the inner space of the operation device, the object including a shooting range by the endoscope and tomography means for photographing a three-dimensional tomographic image, a three-dimensional image generating means for generating a 3-dimensional image seen from a different direction from the viewing direction of the endoscope based on the three-dimensional tomographic image by the tomographic image capturing means When the first reference to the three-dimensional position and the viewing direction of the endoscope in the internal space of the object measured by the measuring means, the model image of the endoscope tip portion in the interior space of the object to generate a model of the second reference to the three-dimensional position in the inner space of has been the operation member measured by the measuring means, for generating a model image of the operating tool tip in the interior space of the object image 生成手段と、 前記3次元画像生成手段により生成された3次元画像と前記モデル画像生成手段により生成された内視鏡先端部および操作具先端部のモデル画像との合成画像と共に、 A generation unit, with the composite image of the endoscope tip and manipulation tool tip of the model image among generated by the three-dimensional image generated the model image generating section by the three-dimensional image generation means,
    前記内視鏡の撮影画像とを表示する表示手段と、を備えることを特徴とする画像処理装置。 The image processing apparatus comprising: a display means for displaying the captured image of the endoscope.
  3. 【請求項3】 外部から遮蔽された対象物の内部空間内の画像を表示する画像処理装置において、 前記対象物の内部空間内に挿入され、該内部空間内で3 The image processing device for displaying an image in the internal space of 3. A target object which is shielded from the outside, is inserted in the inner space of the object, 3 in the internal space
    次元位置および視線方向が任意に変更可能な立体内視鏡と、 この内視鏡の前記内部空間内の3次元位置および視線方向を計測する計測手段と、 前記立体内視鏡による撮影範囲を含む前記対象物の3次元断層像を撮影する断層像撮影手段と、 前記計測手段によって計測された内視鏡の視線方向を参照し、前記断層像撮影手段による3次元断層像に基づき前記立体内視鏡の視線方向と同じ方向から見た3次元画像を生成する3次元画像生成手段と、 前記立体内視鏡の両眼の視差に基づき該立体内視鏡で撮影した前記対象物の内部空間内の画像の複数の特徴点の3次元位置を復元する3次元画像復元手段と、 前記3次元画像生成手段により生成された3次元画像の複数の特徴点と前記3次元画像復元手段によって復元された前記立体内視鏡画像 Including a dimension position and viewing direction arbitrarily changeable stereoscopic endoscope, a measuring means for measuring the three-dimensional position and direction of the line of sight of the inner space of the endoscope, the imaging range by the stereoscopic endoscope and tomography means for photographing a three-dimensional tomogram of the object, the reference to the viewing direction of the endoscope, which is measured by the measuring means, the stereoscopic endoscope based on the three-dimensional tomographic image by the tomographic image capturing means and a three-dimensional image generation means for generating a 3-dimensional image seen from the same direction as the viewing direction of the mirror, the internal space of the object taken with the standing body endoscope based on the parallax of both eyes of the stereoscopic endoscope and a three-dimensional image restoring means for restoring the three-dimensional positions of a plurality of feature points of the image, which is restored by a plurality of feature points of the three-dimensional image generated the three-dimensional image restoring means by the three-dimensional image generating unit the stereoscopic endoscope image 複数の特徴点との対応付けを行い、対応付け後の3次元画像と立体内視鏡の片眼の撮影画像とを合成する画像合成手段と、 合成後の画像を表示する表示手段と、を備えることを特徴とする画像処理装置。 Performs the association between the plurality of feature points, an image synthesizing means for synthesizing the captured image of one eye of the three-dimensional image and a stereoscopic endoscope after correspondence, and a display means for displaying an image after synthesis, the image processing apparatus, characterized in that it comprises.
  4. 【請求項4】 前記3次元画像復元手段は、前記立体内視鏡で撮影した前記対象物の内部空間内の画像の複数の特徴点以外の点の3次元位置を、前記3次元画像生成手段により生成された3次元画像から求めることを特徴とする請求項3記載の画像処理装置。 Wherein said three-dimensional image reconstruction means, the three-dimensional positions of a plurality of non-feature point a point in the image in the internal space of the object taken by the stereoscopic endoscope, the three-dimensional image generating unit the image processing apparatus according to claim 3, wherein the obtaining the three-dimensional image generated by.
  5. 【請求項5】 前記3次元画像復元手段は、対象物の内部空間内に操作具が挿入される前に前記立体内視鏡で撮影した画像と、前記操作具が挿入され、かつ該操作具が立体内視鏡で撮影された状態での立体内視鏡の出力画像とのマッチングを行い、前記操作具の像を除く領域を抽出した後、その領域中の複数の特徴点の3次元位置を前記立体内視鏡の両眼の視差に基づいて復元することを特徴とする請求項3記載の画像処理装置。 Wherein said three-dimensional image restoring means includes an image taken by the stereoscopic endoscope before the operating tool is inserted into the inner space of the object, wherein the operating member is inserted, and said operating member There it matches the output image of the stereoscopic endoscope in the state taken by the stereoscopic endoscope, after extracting the region excluding the image of the operation member, the three-dimensional positions of a plurality of feature points in the region the image processing apparatus according to claim 3, wherein the restore based on the parallax of both eyes of the stereoscopic endoscope.
  6. 【請求項6】 前記3次元画像復元手段によって3次元位置が復元された立体内視鏡画像上の1点を指定する手段と、 指定された立体内視鏡画像上の位置を中心とし、該指定された位置を通り、前記立体内視鏡の視線方向と垂直な1ないし複数の断面における3次元画像を前記断層像撮影手段による3次元断層像から再生成する3次元画像再生成手段と、 再生成された1ないし複数の断面における重ね合わせ3 6. around the three-dimensional position and a means for specifying one point on the recovered stereoscopic endoscope image, the position on the specified stereoscopic endoscope image by the three-dimensional image reconstruction means, said through the specified position, and a three-dimensional image reconstruction means for regenerating a three-dimensional image in a viewing direction perpendicular to one or a plurality of cross-section of the stereoscopic endoscope from three-dimensional tomographic image by the tomographic image capturing means, superposition of one or a plurality of cross-section is regenerated 3
    次元画像を生成し、前記表示手段に表示させる手段と、 Generates a dimension image, and means for displaying on said display means,
    をさらに備えることを特徴とする請求項3〜5記載のいずれかの画像処理装置。 One of the image processing apparatus according to claim 3-5, wherein further comprising a.
  7. 【請求項7】 前記3次元画像復元手段における立体内視鏡画像の3次元位置の復元処理は、該立体内視鏡の移動が停止した時点、または操作者の指示のあった時点で行うことを特徴とする請求項3〜6記載のいずれかの画像処理装置。 7. restoration process of the three-dimensional position of the stereoscopic endoscope image in the three-dimensional image reconstruction means, be carried out at the time of movement of the standing body endoscope had instructed time has stopped or the operator, one of the image processing apparatus according to claim 3-6, wherein.
  8. 【請求項8】 前記対象物内部空間内に挿入された操作具の先端の3次元位置を検出する検出手段と、 前記立体内視鏡によって撮影された画像中から前記操作具の先端を識別する識別手段と、 前記立体内視鏡の両眼の視差に基づき、前記識別手段によって識別された前記操作具の先端の3次元位置を復元する復元手段と、前記検出手段によって検出された前記操作具の先端の3次元位置と前記復元手段によって復元された前記操作具の先端の3次元位置を比較し、前記3 8. identifying and detecting means for detecting a three-dimensional position of the distal end of the inserted operation tool on the object interior space, the tip of the operation member from the image in captured by the stereoscopic endoscope and identification means on the basis of the parallax of both eyes of the stereoscopic endoscope, a restoring means for restoring the three-dimensional position of the tip of the operation member identified by the identifying means, the operating member detected by said detecting means and the three-dimensional position of the tip compared the three-dimensional position of the tip of the operation member, which is restored by the restoring means, wherein 3
    次元画像復元手段において前記立体内視鏡の撮影画像の3次元位置を復元するためのパラメータを調整する手段と、をさらに備えることを特徴とする請求項3〜7記載のいずれかの画像処理装置。 One of the image processing apparatus according to claim 3-7, wherein further comprising means for adjusting the parameters to restore the three-dimensional position of the captured image of the stereoscopic endoscope, the in dimension image restoring unit .
  9. 【請求項9】 前記対象物の内部空間は低侵襲手術における体内であり、前記操作具は低侵襲手術における術具であることを特徴とする請求項1〜8記載の画像処理装置。 The internal space of wherein said object is a body in a minimally invasive surgery, the operation member is an image processing apparatus according to claim 8, wherein it is a surgical instrument in minimally invasive surgery.
JP15479397A 1997-06-12 1997-06-12 Image processor Granted JPH11309A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15479397A JPH11309A (en) 1997-06-12 1997-06-12 Image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15479397A JPH11309A (en) 1997-06-12 1997-06-12 Image processor

Publications (1)

Publication Number Publication Date
JPH11309A true true JPH11309A (en) 1999-01-06

Family

ID=15592024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15479397A Granted JPH11309A (en) 1997-06-12 1997-06-12 Image processor

Country Status (1)

Country Link
JP (1) JPH11309A (en)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001133696A (en) * 1999-11-02 2001-05-18 Olympus Optical Co Ltd Microscope device for surgery
WO2001074266A1 (en) * 2000-03-30 2001-10-11 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating an endoscope
JP2002238839A (en) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd Endoscope system
JP2002263053A (en) * 2001-03-06 2002-09-17 Olympus Optical Co Ltd Medical image display device and method
JP2005021354A (en) * 2003-07-01 2005-01-27 Olympus Corp Surgery remotely supporting apparatus
JP2005211531A (en) * 2004-01-30 2005-08-11 Olympus Corp Virtual image display system
JP2005211533A (en) * 2004-01-30 2005-08-11 Olympus Corp Virtual image display system
JP2006006567A (en) * 2004-06-24 2006-01-12 Olympus Corp Endoscopic image display device
JP2007152027A (en) * 2005-12-08 2007-06-21 Univ Waseda Endoscope visual field expanding system, endoscope visual field expanding device, and endoscope visual field expanding program
JP2007244746A (en) * 2006-03-17 2007-09-27 Olympus Corp Observation system
JP2009247677A (en) * 2008-04-08 2009-10-29 Fujinon Corp Endoscope system
KR20110037948A (en) * 2008-06-27 2011-04-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US7951070B2 (en) 2003-06-02 2011-05-31 Olympus Corporation Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure
WO2011114731A1 (en) * 2010-03-17 2011-09-22 富士フイルム株式会社 System, method, device, and program for supporting endoscopic observation
WO2011122032A1 (en) * 2010-03-31 2011-10-06 富士フイルム株式会社 Endoscope observation supporting system and method, and device and programme
JP2012504017A (en) * 2008-09-30 2012-02-16 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Medical robotic system for providing auxiliary views that are computer-generated camera device to control the placement and orientation of the distal portion
JP2012133365A (en) * 2010-12-22 2012-07-12 General Electric Co <Ge> System and method for rotary machine online monitoring
JP2012521855A (en) * 2009-03-31 2012-09-20 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of a surgical robot
JP2012235983A (en) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp Medical image display system
JP2013031660A (en) * 2011-08-02 2013-02-14 Samsung Electronics Co Ltd Method and apparatus for processing medical image, and robotic surgery system using image guidance
JP2013111160A (en) * 2011-11-28 2013-06-10 Fujifilm Corp Endoscope
WO2013141155A1 (en) 2012-03-17 2013-09-26 学校法人早稲田大学 Image completion system for in-image cutoff region, image processing device, and program therefor
JP2013540455A (en) * 2010-08-04 2013-11-07 メドテックMedtech Assisted automatic data collection method of the anatomical surface
JP2014104328A (en) * 2012-11-30 2014-06-09 Toyota Keeramu:Kk Operation support system, operation support method, and operation support program
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
WO2015029318A1 (en) * 2013-08-26 2015-03-05 パナソニックIpマネジメント株式会社 3d display device and 3d display method
JP2015066021A (en) * 2013-09-27 2015-04-13 エフ・エーシステムエンジニアリング株式会社 Three-dimensional navigation image generation device
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
JP2015228955A (en) * 2014-06-04 2015-12-21 ソニー株式会社 Image processing device, image processing method, and program
JP2016505315A (en) * 2012-12-20 2016-02-25 アヴァテラメディカル ゲーエムベーハー Multi-camera systems with endoscopes for minimally invasive surgery
JP2016508765A (en) * 2013-01-21 2016-03-24 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft The endoscope for endoscopic, especially minimally invasive surgery
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9374574B2 (en) 2012-07-11 2016-06-21 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional video display apparatus and three-dimensional video display method
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
JPWO2015011758A1 (en) * 2013-07-22 2017-03-02 株式会社東芝 Display system
US9592096B2 (en) 2011-11-30 2017-03-14 Medtech S.A. Robotic-assisted device for positioning a surgical instrument relative to the body of a patient
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
JP2017185225A (en) * 2016-03-31 2017-10-12 コヴィディエン リミテッド パートナーシップ Thoracic endoscope for surface scanning
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
JP2018027289A (en) * 2016-08-16 2018-02-22 コー・ヤング・テクノロジー・インコーポレーテッド Surgical robot system for stereotactic surgery and method for controlling stereotactic surgery robot
US9916691B2 (en) 2013-02-14 2018-03-13 Seiko Epson Corporation Head mounted display and control method for head mounted display
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US10169925B2 (en) 2013-02-14 2019-01-01 Seiko Epson Corporation Head mounted display and control method for head mounted display

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US9232984B2 (en) 1999-04-07 2016-01-12 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
JP2001133696A (en) * 1999-11-02 2001-05-18 Olympus Optical Co Ltd Microscope device for surgery
WO2001074266A1 (en) * 2000-03-30 2001-10-11 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating an endoscope
JP2002238839A (en) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd Endoscope system
JP4624575B2 (en) * 2001-02-16 2011-02-02 オリンパス株式会社 The endoscope system
JP2002263053A (en) * 2001-03-06 2002-09-17 Olympus Optical Co Ltd Medical image display device and method
US7951070B2 (en) 2003-06-02 2011-05-31 Olympus Corporation Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure
JP2005021354A (en) * 2003-07-01 2005-01-27 Olympus Corp Surgery remotely supporting apparatus
JP4590189B2 (en) * 2004-01-30 2010-12-01 オリンパス株式会社 Virtual image display device
JP2005211533A (en) * 2004-01-30 2005-08-11 Olympus Corp Virtual image display system
JP2005211531A (en) * 2004-01-30 2005-08-11 Olympus Corp Virtual image display system
JP4533638B2 (en) * 2004-01-30 2010-09-01 オリンパス株式会社 Virtual image display system
JP2006006567A (en) * 2004-06-24 2006-01-12 Olympus Corp Endoscopic image display device
JP2007152027A (en) * 2005-12-08 2007-06-21 Univ Waseda Endoscope visual field expanding system, endoscope visual field expanding device, and endoscope visual field expanding program
JP2007244746A (en) * 2006-03-17 2007-09-27 Olympus Corp Observation system
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US10137575B2 (en) 2006-06-29 2018-11-27 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9801690B2 (en) 2006-06-29 2017-10-31 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical instrument
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9901408B2 (en) 2007-06-13 2018-02-27 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9629520B2 (en) 2007-06-13 2017-04-25 Intuitive Surgical Operations, Inc. Method and system for moving an articulated instrument back towards an entry guide while automatically reconfiguring the articulated instrument for retraction into the entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
JP2009247677A (en) * 2008-04-08 2009-10-29 Fujinon Corp Endoscope system
US9516996B2 (en) 2008-06-27 2016-12-13 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
KR20160119871A (en) * 2008-06-27 2016-10-14 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
KR20160118384A (en) * 2008-06-27 2016-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
KR20110037948A (en) * 2008-06-27 2011-04-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9717563B2 (en) 2008-06-27 2017-08-01 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
JP2014012212A (en) * 2008-06-27 2014-01-23 Intuitive Surgical Operations Inc Medical robotic system for providing auxiliary visual field of articulatable instrument extending from entrance guide distal end
JP2012504017A (en) * 2008-09-30 2012-02-16 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Medical robotic system for providing auxiliary views that are computer-generated camera device to control the placement and orientation of the distal portion
JP2012521855A (en) * 2009-03-31 2012-09-20 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of a surgical robot
JP2016101506A (en) * 2009-03-31 2016-06-02 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of surgical robot
JP2016052521A (en) * 2009-03-31 2016-04-14 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of surgical robot
JP2016064155A (en) * 2009-03-31 2016-04-28 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of surgical robot
JP2016073686A (en) * 2009-03-31 2016-05-12 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Synthetic representation of surgery robot
US9956044B2 (en) 2009-08-15 2018-05-01 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9622826B2 (en) 2010-02-12 2017-04-18 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9179822B2 (en) 2010-03-17 2015-11-10 Fujifilm Corporation Endoscopic observation supporting system, method, device and program
JP2011193885A (en) * 2010-03-17 2011-10-06 Fujifilm Corp System, method, apparatus and program for supporting endoscope observation
WO2011114731A1 (en) * 2010-03-17 2011-09-22 富士フイルム株式会社 System, method, device, and program for supporting endoscopic observation
JP2011212244A (en) * 2010-03-31 2011-10-27 Fujifilm Corp Endoscope observation supporting system and method, and device and program
US9375133B2 (en) 2010-03-31 2016-06-28 Fujifilm Corporation Endoscopic observation support system
WO2011122032A1 (en) * 2010-03-31 2011-10-06 富士フイルム株式会社 Endoscope observation supporting system and method, and device and programme
US9750432B2 (en) 2010-08-04 2017-09-05 Medtech S.A. Method for the automated and assisted acquisition of anatomical surfaces
JP2013540455A (en) * 2010-08-04 2013-11-07 メドテックMedtech Assisted automatic data collection method of the anatomical surface
JP2012133365A (en) * 2010-12-22 2012-07-12 General Electric Co <Ge> System and method for rotary machine online monitoring
JP2012235983A (en) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp Medical image display system
JP2013031660A (en) * 2011-08-02 2013-02-14 Samsung Electronics Co Ltd Method and apparatus for processing medical image, and robotic surgery system using image guidance
JP2013111160A (en) * 2011-11-28 2013-06-10 Fujifilm Corp Endoscope
US9592096B2 (en) 2011-11-30 2017-03-14 Medtech S.A. Robotic-assisted device for positioning a surgical instrument relative to the body of a patient
WO2013141155A1 (en) 2012-03-17 2013-09-26 学校法人早稲田大学 Image completion system for in-image cutoff region, image processing device, and program therefor
US9374574B2 (en) 2012-07-11 2016-06-21 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional video display apparatus and three-dimensional video display method
JP2014104328A (en) * 2012-11-30 2014-06-09 Toyota Keeramu:Kk Operation support system, operation support method, and operation support program
JP2016505315A (en) * 2012-12-20 2016-02-25 アヴァテラメディカル ゲーエムベーハー Multi-camera systems with endoscopes for minimally invasive surgery
JP2016508765A (en) * 2013-01-21 2016-03-24 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft The endoscope for endoscopic, especially minimally invasive surgery
US10169925B2 (en) 2013-02-14 2019-01-01 Seiko Epson Corporation Head mounted display and control method for head mounted display
US9916691B2 (en) 2013-02-14 2018-03-13 Seiko Epson Corporation Head mounted display and control method for head mounted display
JPWO2015011758A1 (en) * 2013-07-22 2017-03-02 株式会社東芝 Display system
JPWO2015029318A1 (en) * 2013-08-26 2017-03-02 パナソニックIpマネジメント株式会社 Three-dimensional display device and a three-dimensional display method
WO2015029318A1 (en) * 2013-08-26 2015-03-05 パナソニックIpマネジメント株式会社 3d display device and 3d display method
JP2015066021A (en) * 2013-09-27 2015-04-13 エフ・エーシステムエンジニアリング株式会社 Three-dimensional navigation image generation device
JP2015228955A (en) * 2014-06-04 2015-12-21 ソニー株式会社 Image processing device, image processing method, and program
JP2017185225A (en) * 2016-03-31 2017-10-12 コヴィディエン リミテッド パートナーシップ Thoracic endoscope for surface scanning
JP2018027289A (en) * 2016-08-16 2018-02-22 コー・ヤング・テクノロジー・インコーポレーテッド Surgical robot system for stereotactic surgery and method for controlling stereotactic surgery robot

Similar Documents

Publication Publication Date Title
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
US6599247B1 (en) System and method for location-merging of real-time tomographic slice images with human vision
US5715836A (en) Method and apparatus for planning and monitoring a surgical operation
Peters Image-guidance for surgical procedures
Liao et al. Three-dimensional augmented reality for mriguided surgery using integral videography auto stereoscopic-image overlay
US6768496B2 (en) System and method for generating an image from an image dataset and a video image
EP0501993B1 (en) Probe-correlated viewing of anatomical image data
US8213693B1 (en) System and method to track and navigate a tool through an imaged subject
US20120101370A1 (en) Systems, methods, apparatuses, and computer-readable media for image guided surgery
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US20080243142A1 (en) Videotactic and audiotactic assisted surgical methods and procedures
US20030181809A1 (en) 3D imaging for catheter interventions by use of 2D/3D image fusion
US20100152570A1 (en) Virtual Penetrating Mirror Device for Visualizing Virtual Objects in Angiographic Applications
US20120289777A1 (en) Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US20040077942A1 (en) 3D imaging for catheter interventions by use of positioning system
US7570987B2 (en) Perspective registration and visualization of internal areas of the body
US20070010743A1 (en) Reference image display method for ultrasonography and ultrasonograph
Boctor et al. Three‐dimensional ultrasound‐guided robotic needle placement: an experimental evaluation
Haouchine et al. Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery
WO2005039391A2 (en) Systems and methods for intraoperative targetting
US20080144773A1 (en) System and Method for Producing an Augmented Image of an Organ of a Patient
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments
US8160676B2 (en) Method for planning a surgical procedure
CN101193603A (en) Laparoscopic ultrasound robotic surgical system
JPH07184929A (en) Surgical instrument