WO2012014438A1 - Device, method, and program for assisting endoscopic observation - Google Patents

Device, method, and program for assisting endoscopic observation Download PDF

Info

Publication number
WO2012014438A1
WO2012014438A1 PCT/JP2011/004184 JP2011004184W WO2012014438A1 WO 2012014438 A1 WO2012014438 A1 WO 2012014438A1 JP 2011004184 W JP2011004184 W JP 2011004184W WO 2012014438 A1 WO2012014438 A1 WO 2012014438A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
tubular tissue
image
center line
displayed
Prior art date
Application number
PCT/JP2011/004184
Other languages
French (fr)
Japanese (ja)
Inventor
元中 季
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2012014438A1 publication Critical patent/WO2012014438A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

[Problem] To grasp the position of an endoscope inserted in a tubular tissue of a subject within the tubular tissue. [Solution] The center line (L) of a tubular tissue of a subject is acquired from a previously acquired three-dimensional image of the subject, an endoscopic image captured while the endoscope inserted in the tubular tissue is being moved along the longitudinal direction of the tubular tissue is displayed, when one feature region of the tubular tissue is displayed in the displayed endoscopic image, the reference position of the endoscope is inputted and a position (Q1) corresponding to the one feature region is set on the center line (L), the amount of movement and the direction of travel of the endoscope moved further from the reference position is acquired, the position distant by the acquired amount of movement in the acquired direction of travel along the center line from the position (Q1) corresponding to the one feature region is calculated as a present position (Q2), and an indicator (M) indicating the calculated present position (Q2) is displayed on the center line (L).

Description

内視鏡観察を支援する装置および方法、並びに、プログラムApparatus and method for supporting endoscopic observation, and program
　本発明は、被検体の管状組織に挿入された内視鏡下での手術や検査等における、内視鏡観察を支援する技術に関するものであり、特に、被検体の管状組織を表す仮想内視鏡画像を用いて内視鏡観察を支援する技術に関するものである。 The present invention relates to a technique for supporting endoscopic observation in an operation or examination under an endoscope inserted into a tubular tissue of a subject, and in particular, a virtual endoscope representing a tubular tissue of a subject. The present invention relates to a technique for supporting endoscopic observation using a mirror image.
　近年、患者の大腸や気管支等の管状組織を内視鏡を用いて観察または処置を行う技術が注目されている。医師らは、内視鏡により撮影された内視鏡画像上で管状組織内の湾曲部や分岐部を目印としつつ、所望の部位まで内視鏡を目的の位置まで移動させて、内視鏡により撮影された内視鏡画像により観察等を行う。しかし、複雑な構造をした管状組織では、管状組織内の湾曲部や分岐部等の特徴のある部分以外は同じような光景が続くため、管状組織内の位置を正確に把握することが難しい。このことが、医師らによる、複雑な構造の管状組織の壁に衝突させないように管状組織の所望の部位まで円滑に内視鏡を移動させる作業の効率を低減させ、被検体の負担を増加させる一つの要因となっている。このため、内視鏡を所望部位まで内視鏡を円滑に移動するために、管状組織内に挿入された内視鏡の位置の把握を支援する技術が求められている。 In recent years, a technique for observing or treating a tubular tissue such as a large intestine or bronchi of a patient using an endoscope has attracted attention. The doctors move the endoscope to a desired position while moving the endoscope to a desired position while using a curved portion or a branching portion in the tubular tissue as a mark on the endoscope image photographed by the endoscope. Observation or the like is performed with the endoscope image photographed by the above. However, the tubular tissue complex structures, because other than a feature portion such as a curved portion or branch portion in the tubular tissue is followed by similar scenes, it is difficult to accurately grasp the position of the tubular tissue. This is, according to doctors, reduce the efficiency of the work of moving smoothly endoscope to a desired site of the tubular tissue so as not to collide with the wall of the tubular tissue of complex structures, increasing the burden on the subject This is one factor. For this reason, in order to smoothly move the endoscope to a desired site, there is a need for a technique that supports the grasp of the position of the endoscope inserted into the tubular tissue.
　例えば、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術を利用し、仮想内視鏡画像を用いて管状組織内の内視鏡の位置の把握を支援する技術が提案されている。 For example, an endoscope in a tubular tissue is used by using a virtual endoscope image that generates an image similar to an endoscope from a three-dimensional volume image obtained by imaging with CT or the like. A technology that supports the grasping of the position of a person has been proposed.
　例えば、特許文献１には、予め取得した被験体の３次元画像から仮想内視鏡画像を生成し、仮想内視鏡画像と内視鏡により撮影されたリアル画像との誤差を算出し、算出した誤差が許容誤差以下になるまで、仮想内視鏡の視点の位置を移動して、移動した仮想内視鏡画像と内視鏡画像の誤差の算出を繰り返し、算出された誤差が許容誤差以下になったときに、仮想内視鏡画像の視線パラメータから内視鏡先端部の位置と方向を算出する装置が記載されている。 For example, in Patent Document 1, a virtual endoscopic image is generated from a three-dimensional image of a subject acquired in advance, and an error between the virtual endoscopic image and a real image captured by the endoscope is calculated and calculated. The position of the viewpoint of the virtual endoscope is moved until the error is less than the allowable error, and the calculation of the error between the moved virtual endoscope image and the endoscope image is repeated, and the calculated error is less than the allowable error. Describes a device that calculates the position and direction of the endoscope tip from the line-of-sight parameter of the virtual endoscopic image.
特開２００９－２７９２５１号公報JP 2009-279251 A
　しかしながら、大腸などのやわらかい管状組織では、仮想内視鏡画像が撮影された際の患者の体位が仰臥位であり、内視鏡が挿入された際の患者の体位が側臥位である場合など、同じ領域であっても管状組織はそれぞれの異なる体位ごとに重力の作用により変形した形状になっている。このため、ＣＴ装置等により得られた３次元画像データから生成した仮想内視鏡画像と内視鏡画像では同じ領域であっても異なる形状で表示される可能性が高く、特許文献１に記載された手法では、画像のマッチングが困難であった。さらに、管状組織内の画像は、管状構造の特質として湾曲部分や分岐部分がない区間では同じような構造が連続するため、画像の特徴を対比させてマッチングを行うことが難しかった。 However, the soft tubular tissue such as the colon, a body position supine patient when virtual endoscopic image is captured, or when patient position when the endoscope is inserted is lateral position, Even in the same region, the tubular tissue is deformed by the action of gravity for each different body position. For this reason, there is a high possibility that a virtual endoscopic image and an endoscopic image generated from three-dimensional image data obtained by a CT apparatus or the like are displayed in different shapes even in the same region. According to the proposed method, image matching is difficult. Furthermore, the image of the tubular tissue, since the similar structure is continuous in a section no curved portion or branch portion as characteristic of the tubular structure, by comparing the characteristics of the image it is difficult to match.
　また、処置具の先端の位置を確認するために、磁気センサを処置具に配設する方法も提案されているが、撮影時の患者の体位による管状組織の変形等により、体内での管状組織の正確な位置が確認できず、所望の精度が得られなかった。 In order to confirm the position of the distal end of the treatment instrument, a method of arranging a magnetic sensor in the treatment instrument has also been proposed. However, the tubular tissue in the body is deformed due to deformation of the tubular tissue due to the patient's body position during imaging. Thus, the exact position could not be confirmed, and the desired accuracy could not be obtained.
　本発明は上記事情に鑑みてなされたものであり、被検体に挿入した内視鏡下での管状組織の観察の際に、管状組織内での内視鏡の位置をより確実に把握可能な装置および方法、およびプログラムを提供することを目的とするものである。 The present invention has been made in view of the above circumstances, upon observation of the tubular tissue in endoscopic inserted into the subject, more reliably it can grasp the position of the endoscope within the tubular tissue An object is to provide an apparatus, a method, and a program.
　本発明の内視鏡観察支援装置は、予め取得した前記被検体の３次元画像から被検体の管状組織の中心線を取得する中心線取得手段と、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する位置決定手段と、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出する現在位置算出手段と、算出された前記現在位置を表す指標を前記中心線上に表示させる現在位置表示手段とを備えたことを特徴とするものである。 An endoscope observation support apparatus according to the present invention includes a center line acquisition unit that acquires a center line of a tubular tissue of a subject from a previously acquired three-dimensional image of the subject, and an endoscope that is inserted into the tubular tissue. Endoscopic image display means for displaying an endoscopic image photographed while moving along the longitudinal direction of the tubular tissue, and one characteristic region of the tubular tissue is displayed on the displayed endoscopic image. Position determining means for determining the position of the endoscope as a reference position and setting a position corresponding to the one feature region on the center line, and the endoscope further moved from the reference position A movement amount acquisition means for acquiring a movement amount and a traveling direction of the current position, and a position separated from the position corresponding to the one characteristic region by the acquired movement amount along the center line in the acquired traveling direction. Calculate as position A standing position calculating means, is characterized in that the index representing the calculated the current position and a current position display means for displaying on said center line.
　本発明の内視鏡観察支援方法は、予め取得した被検体の３次元画像から被検体の管状組織の中心線を取得し、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の基準位置を入力するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定し、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出し、算出された前記現在位置を表す指標を前記中心線上に表示させることを特徴とするものである。 The endoscope observation support method according to the present invention acquires a center line of a tubular tissue of a subject from a previously acquired three-dimensional image of the subject, and moves the endoscope inserted into the tubular tissue in the longitudinal direction of the tubular tissue. An endoscope image taken while moving along the screen is displayed, and when one feature region of the tubular tissue is displayed in the displayed endoscope image, a reference position of the endoscope is input And setting a position corresponding to the one feature region on the center line, obtaining a movement amount and a traveling direction of the endoscope further moved from the reference position, and a position corresponding to the one feature region Then, a position that is separated by the acquired amount of movement in the acquired traveling direction along the center line is calculated as a current position, and an index representing the calculated current position is displayed on the center line. It is what.
　本発明の内視鏡観察支援プログラムは、コンピュータを、予め取得した前記被検体の３次元画像から被検体の管状組織の中心線を取得する中心線取得手段と、前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する位置決定手段と、前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出する現在位置算出手段と、算出された前記現在位置を表す指標を前記中心線上に表示させる現在位置表示手段として機能させることを特徴とするものである。 An endoscope observation support program according to the present invention includes a computer, a center line acquisition unit that acquires a center line of a tubular tissue of a subject from a three-dimensional image of the subject that has been acquired in advance, and an internal portion inserted into the tubular tissue. Endoscopic image display means for displaying an endoscopic image taken while moving the endoscope along the longitudinal direction of the tubular tissue, and one feature region of the tubular tissue in the displayed endoscopic image Is displayed, the position of the endoscope is determined as a reference position, and a position determination means for setting a position corresponding to the one feature region on the center line, and the position further moved from the reference position The movement amount acquisition means for acquiring the movement amount and the traveling direction of the endoscope, and the position corresponding to the one feature region, the distance along the center line is separated by the acquired movement amount in the acquired traveling direction. Position Current position calculating means for calculating as a standing position, characterized in that the functioning of the index representing the calculated the current position as the current position display means for displaying on said center line.
　本発明において、上記管状組織は、被検体が人体であれば、腸や胃などの管状の内臓に代表されるものであるが、内視鏡を挿入可能なものであれば何でもよい。また、上記特徴領域は、腸の折曲部や目だったポリープが見つかった領域など、ユーザ等が管状組織内の他の領域と識別可能な形態を有する領域であれば何でもよい。ユーザがそれらの特徴領域を見つけたときは、その領域を、円、矩形、閉曲面など、様々な形状の指標で特定して示すことができる。例えば、前記管状組織が大腸であるときは、特徴領域は肛門管、脾彎曲部、肝彎曲部のいずれかであってもよい。また、前記管状組織が気管支のときには、特徴領域は喉頭あるいは気管支分岐部のいずれかであってもよい。また、管状組織が食道のときには、特徴領域は咽頭および噴門のいずれかであってもよい。また、管状組織内の腫瘍等の凹凸を有する領域を特徴領域としてもよい。 In the present invention, the tubular tissue is typified by a tubular internal organ such as the intestine or stomach if the subject is a human body, but may be anything as long as an endoscope can be inserted. The feature region may be any region as long as the user has a form that can be distinguished from other regions in the tubular tissue, such as a bent portion of the intestine or a region in which a polyp is noticeable. When the user finds these characteristic areas, the areas can be specified and indicated by indexes of various shapes such as a circle, a rectangle, and a closed curved surface. For example, when the tubular tissue is the large intestine, the characteristic region may be one of an anal canal, a spleen fold, and a liver fold. When the tubular tissue is a bronchus, the feature region may be either the larynx or the bronchial bifurcation. When the tubular tissue is the esophagus, the characteristic region may be either the pharynx or the cardia. Moreover, it is good also considering the area | region which has unevenness | corrugations, such as a tumor in a tubular tissue, as a characteristic area.
　また、本発明において、上記基準位置とは、管状組織内に位置する内視鏡の位置を算出するための基準となる位置で、内視鏡画像中に前記管状組織内の特徴領域が表示されたときの内視鏡の位置を意味する。この基準位置の決定は、内視鏡画像に前記特徴領域が表示されたとき、ユーザのマウスやキーボードあるいはその他の入力装置により内視鏡の位置を記憶するなどして決定するものであれば、種々の方法で行うことができる。例えば、内視鏡画像に管状組織内の特徴領域が表示されたときに、ユーザが画面上に設けたボタンをマウスでクリックすることにより基準位置を決定してもよく、対話形式のＧＵＩで基準位置の取得を命ずるコマンド入力により基準位置を決定してもよい。 In the present invention, the reference position is a position used as a reference for calculating the position of the endoscope located in the tubular tissue, and the characteristic region in the tubular tissue is displayed in the endoscopic image. It means the position of the endoscope at the time. This reference position is determined by storing the position of the endoscope with the user's mouse, keyboard or other input device when the feature area is displayed in the endoscopic image, Various methods can be used. For example, when the feature region in the tubular tissue is displayed in the endoscopic image, the user may determine the reference position by clicking a button provided on the screen with the mouse, and the interactive GUI may be used as the reference position. The reference position may be determined by command input for ordering acquisition of the position.
　また、この基準位置の特定は、内視鏡の管状組織の長手方向に沿った移動量及び移動方向の計測を開始する位置であるから、これに基づいて管状組織の長手方向に沿った移動量及び移動方向の計測が可能であれば、どのように特定してもよい。一例として、管状組織から露出した内視鏡のプローブ外表面上に内視鏡の先端からの長さを表す数値を付すことにより、基準位置を内視鏡の挿入深さとして特定することができる。また、内視鏡の管状組織への挿入深さを計測するような内視鏡の既存の機能により、基準位置を特定してもよい。 In addition, the specification of the reference position is a position at which measurement of the movement amount and the movement direction along the longitudinal direction of the tubular tissue of the endoscope is started, and based on this, the movement amount along the longitudinal direction of the tubular tissue. As long as the movement direction can be measured, any method may be used. As an example, the reference position can be specified as the insertion depth of the endoscope by attaching a numerical value representing the length from the distal end of the endoscope on the outer surface of the probe exposed from the tubular tissue. . Further, the reference position may be specified by an existing function of the endoscope that measures the insertion depth of the endoscope into the tubular tissue.
　また、「中心線上に前記１つの特徴領域に対応する位置を設定する」の「位置」とは、特徴領域近傍の中心線上の位置、例えば特徴領域を仮想内視鏡で表示した場合の仮想内視鏡の視点の位置であってもよく、また、特徴領域から最も近い中心線上の点の位置でもよく、特徴領域から所定の範囲内に含まれる中心線上の任意の位置でもよい。 The “position” in “set a position corresponding to the one feature area on the center line” means a position on the center line in the vicinity of the feature area, for example, the virtual area when the feature area is displayed with a virtual endoscope. It may be the position of the viewpoint of the endoscope, may be the position of a point on the center line closest to the feature area, or may be an arbitrary position on the center line included in a predetermined range from the feature area.
　また、本発明において、内視鏡の移動量および進行方向の取得は、内視鏡の管状組織に沿って移動した移動量および進行方向が取得できる方法であれば種々の方法を用いることができる。例えば、本発明の内視鏡観察支援装置における前記移動量取得手段は、前記管状組織外に露出した前記内視鏡のプローブの移動量及び移動方向を取得するものであってもよい。例えば、内視鏡のプローブまたはプローブの被覆膜に目盛りを設け、プローブの管状組織外に露出した部分を光学的検出手段により読み取るようにすることができる。あるいは、定点撮影可能に配置した光学撮影装置により撮影し、撮影した画像から周知の方法で目盛りを読み取って、プローブの移動量および進行方向を取得することができる。また、内視鏡のプローブまたはプローブの被覆膜に設けた目盛りに基づいてユーザ等が手動でプローブの移動量および進行方向を計測し、ユーザによるキーボード等の入力装置からの入力として計測した移動量および進行方向を取得してもよい。また、内視鏡の既存の機能により、内視鏡の管状組織の長手方向に沿った移動距離および進行方向を計測してもよい。 Further, in the present invention, various methods can be used for acquiring the movement amount and the traveling direction of the endoscope as long as the movement amount and the traveling direction moved along the tubular tissue of the endoscope can be acquired. . For example, the movement amount acquisition means in the endoscope observation support apparatus of the present invention may acquire the movement amount and movement direction of the probe of the endoscope exposed outside the tubular tissue. For example, a scale can be provided on the probe of the endoscope or the coating film of the probe, and the portion of the probe exposed outside the tubular tissue can be read by the optical detection means. Alternatively, it is possible to obtain a moving amount and a traveling direction of the probe by photographing with an optical photographing device arranged so that fixed point photographing is possible and reading the scale from the photographed image by a known method. In addition, based on the scale provided on the endoscope probe or probe coating film, the user manually measures the amount and direction of movement of the probe, and the movement measured as input from the keyboard or other input device by the user The amount and direction of travel may be obtained. Moreover, you may measure the moving distance and the advancing direction along the longitudinal direction of the tubular structure | tissue of an endoscope with the existing function of an endoscope.
　また、内視鏡の現在位置を表す指標は、表示画面上に識別可能に位置を表示するものであれば何でもよい。例えば、指標は、十字マークでもよいし、点、円、矩形、矢印、閉曲面など、位置を示すことができる周知の指標を用いることができる。 Also, the index indicating the current position of the endoscope may be anything as long as it displays the position in an identifiable manner on the display screen. For example, the index may be a cross mark, or a known index that can indicate a position, such as a point, a circle, a rectangle, an arrow, or a closed curved surface.
　本発明の内視鏡観察支援装置は、前記中心線に沿って、視点を移動させた仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記生成された仮想内視鏡画像を表示する表示手段とをさらに備え、前記基準位置の決定は、表示された前記仮想内視鏡画像および前記内視鏡画像の両方に前記管状組織内の特徴領域が表示されたときに行われるものであることが好ましい。 The endoscopic observation support apparatus of the present invention includes a virtual endoscopic image generation unit that generates a virtual endoscopic image with a viewpoint moved along the center line, and the generated virtual endoscopic image. Display means for displaying, wherein the determination of the reference position is performed when the feature region in the tubular tissue is displayed in both the virtual endoscopic image and the endoscopic image that are displayed. It is preferable that
　「前記仮想内視鏡画像および前記内視鏡画像の両方に前記管状組織内の同じ特徴領域が表示された」とは、両画像が同じ特徴領域を表示しているものであればよく、同じ特徴領域の形態が被検体の体位等により変形している場合もあるため、特徴領域の形態は、特徴領域で同じあることが認識できるものであれば、両画像上の特徴領域の形態が厳密に一致する必要はない。なお、同じ特徴領域を表示する際の仮想内視鏡画像の視点の位置と内視鏡画像のＣＣＤ等の撮像手段の位置を正確に対応付けて内視鏡画像の位置を取得するために、好ましくは、基準位置を入力するときに、同じ特徴領域を両画像上で同じ程度の位置または同程度の大きさで表すことが好ましい。 “The same feature region in the tubular tissue is displayed in both the virtual endoscopic image and the endoscopic image” is acceptable as long as both images display the same feature region. Since the form of the feature area may be deformed depending on the body position of the subject, the form of the feature area on both images is strict if it can be recognized that the form of the feature area is the same in the feature area. There is no need to match. In order to obtain the position of the endoscopic image by accurately associating the position of the viewpoint of the virtual endoscopic image when displaying the same feature region with the position of the imaging means such as the CCD of the endoscopic image, Preferably, when the reference position is input, it is preferable that the same feature region is represented by the same position or the same size on both images.
　なお、仮想内視鏡画像および内視鏡画像の両方に管状組織内の同じ特徴領域が表示される際に、最初に仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の特徴領域を表示しておいて、その後内視鏡画像で内視鏡の移動に応じて管状組織内の同じ特徴領域を表示してもよく、最初に内視鏡画像で内視鏡の移動に応じて管状組織内の特徴領域を表示しておいて、その後仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の同じ特徴領域を表示してもよく、両画像で同時に管状組織内の同じ特徴領域を表示してもよい。 When the same feature region in the tubular tissue is displayed in both the virtual endoscopic image and the endoscopic image, the viewpoint of the virtual endoscopic image is first moved in the virtual endoscopic image to thereby move the tubular tissue The same feature area in the tubular tissue may be displayed in accordance with the movement of the endoscope in the endoscopic image, and the endoscopic image is first displayed in the endoscopic image. The feature region in the tubular tissue may be displayed in accordance with the movement, and then the same feature region in the tubular tissue may be displayed by moving the viewpoint of the virtual endoscopic image in the virtual endoscopic image. The same feature region in the tubular tissue may be displayed simultaneously with the image.
　また、内視鏡画像と仮想内視鏡画像の表示は、両者を対比可能に表示していればよく、１つの表示装置に行ってもよいし、複数の表示装置に別々に行ってもよい。また、内視鏡画像と仮想内視鏡画像を複数の表示装置で表示する場合は、両画像を同時に観察可能なように物理的に同じ場所に並べられて設置されていることが好ましい。また、内視鏡画像と仮想内視鏡画像は、両者を対比可能に表示するものであれば両者を切り替えて表示することもでき、重ね合わせて表示することもできる。 Further, the display of the endoscopic image and the virtual endoscopic image may be performed on one display device or may be performed separately on a plurality of display devices as long as they are displayed in a comparable manner. . Moreover, when displaying an endoscopic image and a virtual endoscopic image on a plurality of display devices, it is preferable that the endoscope image and the virtual endoscopic image are arranged in the same physical location so that both images can be observed simultaneously. In addition, the endoscopic image and the virtual endoscopic image can be switched and displayed as long as they can be compared with each other, and can be displayed in a superimposed manner.
　本発明の内視鏡観察支援装置において、位置決定手段は、前記管状組織内の異なる特徴領域ごとに前記基準位置を決定するものであることが望ましい。このことより、本発明の内視鏡観察支援装置は、新たな基準位置が入力され、新たな基準位置から移動量および進行方向を取得し、取得した移動量および進行方向に、基準位置が入力されたときの特徴領域を表す位置を移動させた位置を算出し、算出された位置を表示する。 In the endoscope observation support apparatus according to the present invention, it is preferable that the position determining means determines the reference position for each different characteristic region in the tubular tissue. Thus, the endoscope observation support apparatus of the present invention receives a new reference position, acquires the movement amount and the traveling direction from the new reference position, and inputs the reference position in the acquired movement amount and the traveling direction. The position where the position representing the feature area when moved is calculated, and the calculated position is displayed.
　本発明の内視鏡観察支援装置は、前記現在位置表示手段が、前記算出された位置の指標だけでなく、他の指標をさらに表示するものであってもよい。例えば、前記現在位置表示手段が、前記中心線とともに前記管状組織をさらに表示するものであってもよい。この管状組織は、被検体の３次元画像から抽出して得られたものでもよく、管状組織のモデル等でもよい。また、前記現在位置表示手段は、前記位置を先端とする模式的な内視鏡をさらに表示するものであってもよい。前記現在位置表示手段は、前記特徴領域を表す指標をさらに表示するものであってもよい。 In the endoscope observation support apparatus according to the present invention, the current position display unit may further display not only the calculated position index but also another index. For example, the present position display means may further display the tubular tissue together with the center line. This tubular tissue may be obtained by extracting from a three-dimensional image of a subject, or may be a tubular tissue model or the like. Further, the current position display means may further display a schematic endoscope having the position as a tip. The current position display means may further display an index representing the feature area.
　本発明の内視鏡観察支援装置、方法およびプログラムによれば、管状組織に挿入された内視鏡を管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、表示された内視鏡画像に管状組織の１つの特徴領域が表示されたときに、内視鏡の基準位置を入力するとともに前記中心線Ｌ上に１つの特徴領域に対応する位置を設定し、基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、１つの特徴領域に対応する位置から、中心線に沿って、取得した進行方向に取得した移動量だけ離れた位置を現在位置として算出し、算出された現在位置を表す指標を中心線上に表示させるため、管状組織の内視鏡画像だけでは管状組織内の内視鏡の位置が把握できない場合であっても、内視鏡の移動距離及び進行方向に基づいて管状組織内での内視鏡の位置を的確に把握することができる。このことにより、管状組織の湾曲部分の接近や、管状組織の進行方向を予測することでき、手術や検査等において内視鏡の管状組織での円滑な移動を支援し、手技のミス等の防止に資する。 According to the endoscope observation support apparatus, method, and program of the present invention, an endoscope image captured while moving an endoscope inserted into a tubular tissue along the longitudinal direction of the tubular tissue is displayed and displayed. When one feature region of the tubular tissue is displayed in the endoscopic image, the reference position of the endoscope is input and a position corresponding to one feature region is set on the center line L, and the reference A movement amount and a traveling direction of the endoscope further moved from the position are acquired, and a position separated from the position corresponding to one feature region by the acquired movement amount in the traveling direction along the center line. calculated as the current position, to display an index representing the calculated current position on the center line, even only the endoscopic image of the tubular tissue even when the position of the endoscope within the tubular tissue can not be grasped, an inner Based on the distance and direction of travel of the endoscope There endoscope position within the tubular tissue can be accurately grasped. Thus, approach and of the curved portion of the tubular tissue, can predict the moving direction of the tubular tissue, and aid smooth movement of the endoscopic tubular tissue at the surgical or inspection, preventing mistakes such procedures Contribute to
　また、本発明の内視鏡観察支援装置において、中心線に沿って、視点を移動させた仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、生成された仮想内視鏡画像を表示する表示手段とをさらに備え、基準位置の決定は、表示された仮想内視鏡画像および内視鏡画像の両方に前記管状組織内の特徴領域が表示されたときに行われるものである場合には、より正確に内視鏡の基準位置を設定できるため、より正確に仮想内視鏡の視点の位置を算出することができる。この結果、中心線上の指標がより正確な位置に表示されるため、内視鏡の位置をより的確に捉えることができる。 Further, in the endoscopic observation support apparatus of the present invention, virtual endoscopic image generation means for generating a virtual endoscopic image with the viewpoint moved along the center line, and the generated virtual endoscopic image Display means for displaying, wherein the determination of the reference position is performed when the feature region in the tubular tissue is displayed in both the displayed virtual endoscopic image and endoscopic image Since the reference position of the endoscope can be set more accurately, the position of the viewpoint of the virtual endoscope can be calculated more accurately. As a result, since the indicator on the center line is displayed at a more accurate position, the position of the endoscope can be grasped more accurately.
　本発明の内視鏡観察支援装置において、基準位置決定手段が、管状組織内の異なる特徴領域ごとに基準位置を決定するものである場合には、被検体の体位や内視鏡の移動により管状組織が伸縮、変形することにより生ずる内視鏡の位置と仮想内視鏡画像の視点の位置のずれを修正することができ、より正確に内視鏡の基準位置を設定できるため、より正確に仮想内視鏡の視点の位置を算出することができる。この結果、中心線上の指標がより正確な位置に表示されるため、内視鏡の位置をより的確に捉えることができる。 In the endoscopic observation support apparatus of the present invention, when the reference position determining means determines the reference position for each different characteristic region in the tubular tissue, the tubular position is determined by the body position of the subject and the movement of the endoscope. It is possible to correct the difference between the position of the endoscope and the position of the viewpoint of the virtual endoscopic image caused by the expansion and contraction of the tissue, and the reference position of the endoscope can be set more accurately. The position of the viewpoint of the virtual endoscope can be calculated. As a result, since the indicator on the center line is displayed at a more accurate position, the position of the endoscope can be grasped more accurately.
　本発明の内視鏡観察支援装置が、中心線とともに管状組織または視点の位置を先端とする模式的な内視鏡または特徴領域を表す指標をさらに表示するものである場合には、より管状組織内における内視鏡の位置を的確に捉えることができる。 In the case where the endoscope observation support apparatus of the present invention further displays an indicator representing a typical endoscope or feature region having a tubular tissue or a viewpoint position as a tip together with the center line, the tubular tissue is more It is possible to accurately grasp the position of the endoscope in the interior.
本発明の実施の形態となる内視鏡観察支援システムのハードウェア構成図Hardware configuration diagram of an endoscope observation support system according to an embodiment of the present invention 本発明の第１の実施形態における内視鏡観察支援システムの機能ブロック図Functional block diagram of the endoscope observation support system in the first embodiment of the present invention 本発明の第１の実施形態における内視鏡観察支援処理の流れを表したフローチャートThe flowchart showing the flow of the endoscopic observation support process in the first embodiment of the present invention. 内視鏡と仮想内視鏡が同じ特徴領域を表したときの入力画面の一例を模式的に表した図A diagram schematically showing an example of the input screen when the endoscope and virtual endoscope represent the same feature area 内視鏡と仮想内視鏡画像の視点と特徴領域の位置関係の一例を模式的に表した図A diagram schematically showing an example of the positional relationship between the viewpoint and feature region of the endoscope and virtual endoscope image 第１の実施形態で表示される中心線と指標の一例を模式的に表した図The figure which represented typically an example of the centerline and index | index displayed by 1st Embodiment 第１の実施形態で表示される中心線と指標の変形例を模式的に表した図The figure which represented typically the modification of the centerline and index which are displayed in 1st Embodiment
　以下、本発明の実施の形態となる内視鏡観察支援システムについて説明する。 Hereinafter, an endoscope observation support system according to an embodiment of the present invention will be described.
　図１は、この内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１、デジタルプロセッサ２、光源装置３、内視鏡画像用ディスプレイ４、モダリティ５、画像保管サーバ６、位置検出装置７、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）８、画像処理ワークステーション９から構成されている。 FIG. 1 is a hardware configuration diagram showing an outline of the endoscope observation support system. As shown in the figure, this system includes an endoscope 1, a digital processor 2, a light source device 3, an endoscope image display 4, a modality 5, an image storage server 6, a position detection device 7, and an image processing workstation. A display (hereinafter referred to as WS display) 8 and an image processing workstation 9 are included.
　本実施形態では、内視鏡１は大腸用の軟性鏡であり、被検体の大腸内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部１Ａから照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、内視鏡画像データ(ＩRE)を出力する。出力された内視鏡画像データ(ＩRE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。また、デジタルプロセッサ２は、内視鏡画像データ(ＩRE)をアナログ信号に変換して内視鏡画像用ディスプレイ４に出力し、内視鏡画像用ディスプレイ４には内視鏡画像(ＩRE)が表示される。内視鏡１での撮像信号の取得は所定のフレームレートで行われるので、内視鏡用ディスプレイ４では、内視鏡画像(ＩRE)が腹腔内を表す動画として表示される。さらに、内視鏡１では、ユーザの操作に応じて静止画撮影も可能である。 In the present embodiment, the endoscope 1 is a flexible endoscope for the large intestine and is inserted into the large intestine of the subject. Light guided by the optical fiber from the light source device 3 is irradiated from the distal end portion 1A of the endoscope 1, and an image in the abdominal cavity of the subject is obtained by the imaging optical system of the endoscope 1. The digital processor 2 converts the imaging signal obtained by the endoscope 1 into a digital image signal, corrects the image quality by digital signal processing such as white balance adjustment and shading correction, and then performs DICOM (Digital Imaging and Communications in Adds incidental information defined in the Medicine) standard and outputs endoscopic image data (I RE ). The output endoscopic image data (I RE ) is transmitted to the image processing workstation 9 via the LAN according to a communication protocol compliant with the DICOM standard. Further, the digital processor 2 converts the endoscope image data (I RE ) into an analog signal and outputs the analog signal to the endoscope image display 4, and the endoscope image (I RE) is displayed on the endoscope image display 4. ) Is displayed. Since the acquisition of the imaging signal by the endoscope 1 is performed at a predetermined frame rate, the endoscope display (I RE ) is displayed as a moving image representing the abdominal cavity on the endoscope display 4. Furthermore, the endoscope 1 can also shoot still images according to user operations.
　モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データ(Ｖ)を生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データ(Ｖ)にもＤＩＣＯＭ規格で規定された付帯情報が付加されている。にまた、３次元医用画像データ(Ｖ)も、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。 The modality 5 is a device that generates image data (V) of a three-dimensional medical image representing a region by imaging the region to be examined of the subject, and is a CT device here. Additional information defined by the DICOM standard is also added to the three-dimensional medical image data (V). In addition, the three-dimensional medical image data (V) is also transmitted to the image processing workstation 9 via the LAN according to a communication protocol compliant with the DICOM standard.
　画像保管サーバ６は、モダリティ５や画像処理ワークステーション９とＬＡＮ経由で接続されており、モダリティ５で取得された医用画像データや画像処理ワークステーション９での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。 Image storage server 6 is connected via modality 5 and image processing workstation 9 and LAN, image of a medical image generated by image processing in the medical image data and image processing workstation 9 obtained by the modality 5 A computer that stores and manages data in an image database, and includes a large-capacity external storage device and database management software (for example, ORDB (Object Relational Database Management software)).
　位置検出装置７は、公知の光学撮影装置から構成される。図１の領域７Ａには、内視鏡１の位置を検出するために被検体の管状組織外に露出した内視鏡のプローブ１Ｂの一部を水平に移動可能に支持する不図示の支持具が設置されている。そして、内視鏡のプローブ１Ｂの外表面には内視鏡の先端部分からの長さをｍｍ単位で示した数値が記されている。位置検出装置７は、この数値を読み取ることができる位置、すなわち、該支持部に水平に支持されたプローブ１Ｂを定点撮影できる位置７Ａに周知の固定方法で配置される。位置検出装置７は、画像処理ワークステーション９に周知のインターフェースを介して接続されており、画像処理ワークステーション９からの指示に応じて、プローブ１Ｂ上の数値を光学撮影し、取得した信号値を画像処理ワークステーション９に送信する。 The position detecting device 7 is composed of a known optical photographing device. In a region 7A of FIG. 1, a support tool (not shown) that supports a part of the probe 1B of the endoscope exposed outside the tubular tissue of the subject so as to be horizontally movable in order to detect the position of the endoscope 1. Is installed. And the numerical value which showed the length from the front-end | tip part of an endoscope in mm unit is described on the outer surface of the probe 1B of an endoscope. The position detection device 7 is arranged by a well-known fixing method at a position where the numerical value can be read, that is, a position 7A where the probe 1B supported horizontally by the support portion can be photographed at a fixed point. The position detection device 7 is connected to the image processing workstation 9 via a known interface, and in response to an instruction from the image processing workstation 9, the numerical value on the probe 1B is optically photographed and the acquired signal value is obtained. Transmit to the image processing workstation 9.
　画像処理ワークステーション９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ８が接続されている。また、画像処理ワークステーション９は、デジタルプロセッサ２、モダリティ５、画像保管サーバ６とＬＡＮ接続されており、位置検出装置７とは周知のインターフェースを介して接続されている。さらに、画像処理ワークステーション９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ－ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。 The image processing workstation 9 is a computer having a well-known hardware configuration such as a CPU, a main storage device, an auxiliary storage device, an input / output interface, a communication interface, and a data bus, and includes an input device (pointing device, keyboard, etc.) WS display 8 is connected. The image processing workstation 9 is connected to the digital processor 2, the modality 5, and the image storage server 6 via a LAN, and is connected to the position detection device 7 via a known interface. Further, the image processing workstation 9 is installed with a well-known operating system, various application software, and the like, and is also installed with an application for executing the endoscope observation support processing of the present invention. These software may be installed from a recording medium such as a CD-ROM, or may be installed after being downloaded from a storage device of a server connected via a network such as the Internet. Good.
　図２は、本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。 FIG. 2 is a block diagram in which the endoscopic observation support system according to the first embodiment of the present invention is divided at the functional level.
　図２に示したように、本明細書の内視鏡観察支援システムは、内視鏡１と、内視鏡１から撮像した画像信号から内視鏡画像を形成する内視鏡画像形成部２と、内視鏡画像形成部２に形成された内視鏡画像を表示する内視鏡画像表示手段４（内視鏡画像用ディスプレイ４）と、被検体の３次元画像を形成する３次元医用画像形成部５と、３次元医用画像を保管する画像保管サーバ６と、内視鏡１の移動量を検出するための位置検出装置７と、被検体の３次元画像Ｖを予め取得する３次元画像取得手段１１と、３次元画像取得手段１１が取得した３次元画像から被検体の管状組織及び該管状組織の中心線Ｌを抽出する中心線取得手段１７と、中心線取得手段１７が取得した中心線Ｌに沿って、視点を移動させた仮想内視鏡画像４１を生成する仮想内視鏡画像生成手段１２と、生成された仮想内視鏡画像４１および中心線Ｌを表示する表示手段８（ＷＳディスプレイ８）と、被検体の管状組織に挿入された内視鏡１によって管状組織の長手方向に沿って撮影された内視鏡画像３１を表示する内視鏡画像表示手段４（内視鏡画像用ディスプレイ４）と、内視鏡画像３１に管状組織内の１つの特徴領域Ｒが表示されたときに内視鏡の位置を基準位置Ｐ１として決定するとともに中心線上の特徴領域Ｒに対応する位置Ｑ１を設定する基準位置決定手段１３と、基準位置Ｐ１からの内視鏡１の移動量及び進行方向を取得する移動量取得手段１４と、基準位置Ｐ１を入力したときの特徴領域Ｒに対応する位置Ｑ１から、中心線Ｌｖに沿って、取得した進行方向に取得した移動量だけ離れた位置Ｑ２を算出する現在位置算出手段１５と、算出された視点の位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示させる現在位置表示手段１６から構成される。 As shown in FIG. 2, the endoscope observation support system of the present specification includes an endoscope 1 and an endoscope image forming unit 2 that forms an endoscope image from an image signal captured from the endoscope 1. An endoscopic image display means 4 (endoscopic image display 4) for displaying an endoscopic image formed in the endoscopic image forming unit 2, and a three-dimensional medical for forming a three-dimensional image of the subject. An image forming unit 5, an image storage server 6 for storing a three-dimensional medical image, a position detection device 7 for detecting the movement amount of the endoscope 1, and a three-dimensional image for acquiring a three-dimensional image V of the subject in advance. The image acquisition unit 11, the center line acquisition unit 17 that extracts the tubular tissue of the subject and the center line L of the tubular tissue from the 3D image acquired by the 3D image acquisition unit 11, and the center line acquisition unit 17 acquired. A temporary endoscopic image 41 is generated by moving the viewpoint along the center line L. Tubular by the endoscopic image generation means 12, the display means 8 (WS display 8) for displaying the generated virtual endoscopic image 41 and the center line L, and the endoscope 1 inserted into the tubular tissue of the subject. Endoscopic image display means 4 (endoscopic image display 4) for displaying an endoscopic image 31 photographed along the longitudinal direction of the tissue, and one characteristic region in the tubular tissue in the endoscopic image 31 When R is displayed, the position of the endoscope is determined as the reference position P1, and the reference position determining means 13 for setting the position Q1 corresponding to the feature region R on the center line, and the endoscope 1 from the reference position P1 The movement amount acquired in the traveling direction acquired along the center line Lv from the position Q1 corresponding to the feature region R when the reference position P1 is input, and the movement amount acquisition means 14 for acquiring the movement amount and the traveling direction of Only Q2 away A current position calculating means 15 for calculating, and a current position display unit 16 for displaying the calculated display the index M representing the position Q2 of viewpoints was on the center line L.
　以下、図２で示す各機能ブロックについて詳細に説明する。なお、図１に示したハードウェア機器と図２に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付して説明を省略する。なお、内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現され、位置検出部７の機能は、位置検出装置７によって実現される。また、破線枠は画像処理ワークステーション９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション９で所定のプログラムを実行することによって実現される。 Hereinafter, each functional block shown in FIG. 2 will be described in detail. In addition, when the hardware apparatus shown in FIG. 1 and each functional block shown in FIG. 2 respond | correspond substantially 1 to 1, the same code | symbol is attached | subjected and description is abbreviate | omitted. The function of the endoscope image forming unit 2 is realized by the digital processor of FIG. 1, the function of the three-dimensional medical image forming unit 5 is realized by the modality of FIG. 1, and the function of the position detecting unit 7 is the position detecting device. 7 is realized. The broken line frame indicates the image processing workstation 9, and the functions of the processing units in the broken line frame are realized by executing a predetermined program on the image processing workstation 9.
　３次元画像取得手段１１は、３次元医用画像形成部５または画像管理データベース６から３次元医用画像Ｖを受信し、画像処理ワークステーション９の所定のメモリ領域に格納する通信インターフェース機能を有する。 The 3D image acquisition unit 11 has a communication interface function for receiving the 3D medical image V from the 3D medical image forming unit 5 or the image management database 6 and storing it in a predetermined memory area of the image processing workstation 9.
　中心線取得手段１７は、３次元画像取得手段１１が取得した３次元画像から被検体の管状組織及び該管状組織の中心線Ｌを抽出する。管状組織の抽出及び中心線の抽出は周知の種々の方法を適用することができ、例えば、中心線の抽出には、“Colon
centreline calculation for CT colonography using optimised 3D topological
thinning.”, Proceedings of the 1st International Symposium on 3D Data
Processing Visualization and Transmission, IEEE Computer Society, pp.800-803, 2002に記載された方法を用いることができる。また、本実施形態では、中心線取得手段１７は、大腸の特徴領域Ｒ１、Ｒ２を所定方向から表示するように仮想内視鏡画像４１を再構成した場合の際の仮想内視鏡の視点の位置の座標を取得する。具体的には、抽出された大腸の中心線上で複数の特徴領域ＲＶ１、ＲＶ２をユーザがマウス等の入力装置でそれぞれ指定することにより、大腸の複数の特徴領域ＲＶ１、ＲＶ２が予め抽出されて、特徴領域ＲＶ１、ＲＶ２を所定方向から表示するように仮想内視鏡画像４１を再構成した場合の際の仮想内視鏡の視点の位置の座標が個々に画像処理ＷＳ９に保存されている。なお、ＲＶ１は大腸の脾彎曲部を指し、ＲＶ２は大腸の肝彎曲部を指しているものとする。 The center line acquisition unit 17 extracts the tubular tissue of the subject and the center line L of the tubular tissue from the 3D image acquired by the 3D image acquisition unit 11. Various known methods can be applied to the extraction of the tubular tissue and the extraction of the center line. For example, for the extraction of the center line, “Colon
centreline calculation for CT colonography using optimized 3D topological
thinning. ”, Proceedings of the 1st International Symposium on 3D Data
The method described in Processing Visualization and Transmission, IEEE Computer Society, pp. 800-803, 2002 can be used. Further, in the present embodiment, the center line acquisition unit 17 determines the viewpoint of the virtual endoscope when the virtual endoscopic image 41 is reconstructed so as to display the large intestine feature regions R1 and R2 from a predetermined direction. Get the coordinates of the position. Specifically, when the user designates a plurality of feature regions R V1 and R V2 on the center line of the extracted large intestine with an input device such as a mouse, the plurality of feature regions R V1 and R V2 of the large intestine are previously stored. The coordinates of the position of the viewpoint of the virtual endoscope when the virtual endoscopic image 41 is reconstructed so as to display the feature regions R V1 and R V2 from a predetermined direction are extracted to the image processing WS9. Saved. It is assumed that R V1 indicates the spleen fold of the large intestine and R V2 indicates the liver fold of the large intestine.
　仮想内視鏡画像生成手段１２は、仮想内視鏡画像生成手段１２中心線取得手段１７が取得した中心線Ｌｖに沿って、視点を移動させた仮想内視鏡画像４１を周知の方法により生成する。 The virtual endoscopic image generation unit 12 generates a virtual endoscopic image 41 with the viewpoint moved along the center line Lv acquired by the virtual endoscopic image generation unit 12 center line acquisition unit 17 by a known method. To do.
　内視鏡画像表示手段４（内視鏡画像用ディスプレイ４）は、生成された仮想内視鏡画像４１および中心線Ｌを表示する表示手段８（ＷＳディスプレイ８）と、被検体の管状組織に挿入された内視鏡１によって大腸の長手方向に沿って撮影された内視鏡画像３１を表示する。本実施形態では、内視鏡画像用ディスプレイ４とＷＳディスプレイ８は同じ大きさのディスプレイを、医師らが両ディスプレイを対比しやすいよう並べて配置している。また、内視鏡画像３１と仮想内視鏡画像４１は、対比しやすいよう各ディスプレイ４，８でそれぞれ同じ大きさのウインドウの中に表示されている。 Endoscopic image display means 4 (endoscopic image display 4) includes display means 8 (WS display 8) for displaying the generated virtual endoscopic image 41 and center line L, and the tubular tissue of the subject. An endoscopic image 31 photographed along the longitudinal direction of the large intestine by the inserted endoscope 1 is displayed. In the present embodiment, the endoscope image display 4 and the WS display 8 are arranged so that the same size displays are arranged side by side so that doctors can easily compare the two displays. The endoscopic image 31 and the virtual endoscopic image 41 are displayed in windows of the same size on the respective displays 4 and 8 so that they can be easily compared.
　基準位置決定手段１３は、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の同じ特徴領域ＲＶ１が表示されたときに、ポインティングデバイスまたはキーボード等の入力装置によりユーザからの入力を受け付ける。この入力に応じて、基準位置決定手段１３は、内視鏡の位置を基準位置Ｐ１として決定する。この決定された基準位置Ｐ１は移動量取得手段１４によって内視鏡１の挿入深さとして特定される。また、基準位置決定手段１３は、特徴領域ＲＶ１と対応する位置Ｑ１として、仮想内視鏡画像３１で特徴領域ＲＶ１を表示した際の仮想内視鏡の視点の座標を設定する。また、基準位置決定手段１３は、基準位置Ｐ１を、特徴領域ＲＶ１と対応する位置Ｑ１と対応付けて画像処理ワークステーション９の所定のメモリ領域に格納する。 When the same feature region R V1 in the tubular tissue is displayed in both the displayed virtual endoscopic image 41 and endoscopic image 31, the reference position determination unit 13 uses a pointing device or an input device such as a keyboard. Accepts input from the user. In response to this input, the reference position determining means 13 determines the position of the endoscope as the reference position P1. The determined reference position P1 is specified as the insertion depth of the endoscope 1 by the movement amount acquisition means 14. Further, the reference position determination unit 13 as the position Q1 corresponding to the feature region R V1, sets the coordinate of the viewing point of the virtual endoscope when viewing feature region R V1 in virtual endoscopic image 31. Further, the reference position determination unit 13 stores the reference position P1 in a predetermined memory area of the image processing workstation 9 in association with the position Q1 corresponding to the feature area RV1 .
　移動量取得手段１４は、位置検出装置７との通信により内視鏡のプローブ１Ｂ上の数値を撮影した画像信号を取得する通信インターフェースとしての機能と、所定の時間間隔で、位置検出装置７から内視鏡の位置Ｐに任意の位置おける内視鏡のプローブ１Ｂに記された数値Ｓｃを撮影した画像信号を取得し、画像信号に周知の画像処理を行って数値Ｓｃを認識して取得し、画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。 The movement amount acquisition means 14 functions as a communication interface for acquiring an image signal obtained by photographing a numerical value on the probe 1B of the endoscope through communication with the position detection device 7, and from the position detection device 7 at a predetermined time interval. An image signal obtained by capturing the numerical value Sc recorded on the probe 1B of the endoscope at an arbitrary position at the position P of the endoscope is acquired, and a known image processing is performed on the image signal to recognize and acquire the numerical value Sc. And a function of storing in a predetermined memory area of the image processing workstation 9.
　また、移動量取得手段１４は、内視鏡が基準位置Ｐ１にあるときに位置検出装置７から取得した数値Ｓｃ１から内視鏡が任意の位置Ｐ２にあるときに位置検出装置７から取得した数値Ｓｃ２までの、移動量Ｓｑ（Ｓｑ＝｜Ｓｃ１－Ｓｃ２｜）および進行方向Ｓｄを取得する。なお、内視鏡１のプローブ１Ｂに付された数値Ｓｃ１、Ｓｃ２は、内視鏡先端からの長さを表す数値であるため、Ｓｃ１－Ｓｃ２が負であれば、内視鏡の進行方向Ｓｄは、基準位置Ｐ１から大腸の奥に内視鏡をさらに進入する方向（直腸から盲腸に向かう方向）であり、Ｓｃ１－Ｓｃ２が正であれば、基準位置Ｐ１から内視鏡を引き抜く方向（盲腸から直腸に向かう方向）であることが分かる。ここでは、内視鏡の進行方向が直腸から盲腸に向かう方向の場合をＳｄ＝１、盲腸から直腸に向かう方向の場合をＳｄ＝０として表す。 Also, the movement amount acquisition means 14 is a numerical value acquired from the position detection device 7 when the endoscope is at an arbitrary position P2 from the numerical value Sc1 acquired from the position detection device 7 when the endoscope is at the reference position P1. The movement amount Sq (Sq = | Sc1-Sc2 |) and the traveling direction Sd up to Sc2 are acquired. Since the numerical values Sc1 and Sc2 attached to the probe 1B of the endoscope 1 are numerical values representing the length from the distal end of the endoscope, if Sc1-Sc2 is negative, the traveling direction Sd of the endoscope is a reference position direction further enters the endoscope at the back of the large intestine from P1 (direction toward the cecum from the rectum), if positive is Sc1-Sc2, the direction of pulling the endoscope from the reference position P1 (cecum It is understood that the direction is from the head to the rectum. Here, the case where the direction of travel of the endoscope is the direction from the rectum to the cecum is represented as Sd = 1, and the case where the endoscope is traveled from the cecum to the rectum is represented as Sd = 0.
　現在位置算出手段１５は、特徴領域ＲＶ１に対応する位置Ｑ１から、中心線Ｌｖに沿って、取得した進行方向に取得した移動量だけ離れた現在位置Ｑ２を位置Ｑ１の座標および中心線Ｌｖの経路等に基づいて周知の方法により算出する。 Current position calculating means 15, from the position Q1 corresponding to the feature region R V1, along the center line Lv, acquired in the moving direction by the movement amount obtained in distant current position Q2 position Q1 coordinates and the center line Lv It is calculated by a known method based on the route and the like.
　現在位置表示手段１６は、算出された現在位置Ｑ２を表す指標Ｍを中心線Ｌ上に表示させる。図６Ａは、本実施形態における中心線＋と指標の表示の一例を示す図である。現在位置表示手段１６、図６Ａに示すように、ＷＳディスプレイ８に中心線取得手段１７により抽出された中心線Ｌおよび算出された現在位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示したガイド画像５１を表示させる。特徴領域ＲＶ１に対応する位置Ｑ１として、特徴領域ＲＶ１を表示した際の仮想内視鏡の視点位置を設定しているため、現在位置Ｑ２は、特徴領域ＲＶ１を表示した際の仮想内視鏡の視点位置から、内視鏡の移動した方向に内視鏡の移動量だけ離れた仮想内視鏡の視点位置を表している。なお、現在位置として、ガイド画像５１上に内視鏡１の撮影部１Ａ以外の各位置に相当する仮想内視鏡の位置の標識を表示することができるが、医師らは内視鏡１の撮影部１Ａで撮影された映像を手がかりに、管状組織内で移動や処置を行うため、ガイド画像５１上では、内視鏡１の撮影部１Ａに相当する位置を現在位置Ｑ２として識別可能に表示することが好ましい。 The current position display means 16 displays an index M representing the calculated current position Q2 on the center line L. FIG. 6A is a diagram illustrating an example of display of the center line + and the index in the present embodiment. As shown in FIG. 6A, the current position display means 16 displays the center line L extracted by the center line acquisition means 17 on the WS display 8 and the index M representing the calculated current position Q2 on the displayed center line L. The guide image 51 is displayed. As the position Q1 corresponding to the feature region R V1, because it sets a viewpoint position of the virtual endoscope when viewing feature region R V1, the current position Q2 is virtual when displaying the characteristic region R V1 It represents the viewpoint position of the virtual endoscope that is separated from the viewpoint position of the endoscope by the amount of movement of the endoscope in the direction in which the endoscope has moved. Note that as the current position, a sign of the position of the virtual endoscope corresponding to each position other than the imaging unit 1A of the endoscope 1 can be displayed on the guide image 51. In order to perform movement and treatment in the tubular tissue using the image captured by the imaging unit 1A as a clue, the position corresponding to the imaging unit 1A of the endoscope 1 is displayed on the guide image 51 so as to be identifiable as the current position Q2. It is preferable to do.
　次に、図３に示したフローチャートを用いて、本発明の第１の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。 Next, using the flowchart shown in FIG. 3, a schematic flow of a user operation performed in the endoscope observation support system according to the first embodiment of the present invention and a process performed in each of the above processing units. Will be explained.
　まず、内視鏡１を用いた被検体の管状組織の観察に先立って、３次元医用画像形成部５による被検体の管状組織の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション９では、３次元画像取得手段１１が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得する（Ｓ０１）。そして、中心線取得手段１７が、３次元画像取得手段１１によって取得された３次元医用画像Ｖに基づいて、管状組織の中心線Ｌを取得する(Ｓ０２)。 First, prior to observation of the tubular tissue of the subject using the endoscope 1, a 3D medical image V is formed by imaging the tubular tissue of the subject by the 3D medical image forming unit 5. In the image processing workstation 9, the three-dimensional image acquisition unit 11 acquires the three-dimensional medical image V formed by the three-dimensional medical image forming unit 5 (S01). Then, the center line acquisition unit 17 acquires the center line L of the tubular tissue based on the 3D medical image V acquired by the 3D image acquisition unit 11 (S02).
　仮想内視鏡画像生成手段１２は、中心線取得手段１７が取得した中心線Ｌに沿って、視点を移動させた仮想内視鏡画像４１を生成する。本実施形態においては、ポインティングデバイス等の入力装置により受け付けたユーザの移動指示に応じて仮想内視鏡画像の視点を移動させる。そして、表示手段８（ＷＳディスプレイ８）は、生成された仮想内視鏡画像４１を表示する（Ｓ０３）。そして、本実施形態では、ユーザの入力装置による入力に応じて、仮想内視鏡画像生成手段１２は特徴領域ＲＶ１を表す仮想内視鏡画像４１を表示する。 The virtual endoscopic image generation unit 12 generates a virtual endoscopic image 41 in which the viewpoint is moved along the center line L acquired by the center line acquisition unit 17. In the present embodiment, the viewpoint of the virtual endoscopic image is moved in accordance with a user movement instruction received by an input device such as a pointing device. Then, the display unit 8 (WS display 8) displays the generated virtual endoscopic image 41 (S03). In this embodiment, the virtual endoscopic image generation unit 12 displays a virtual endoscopic image 41 representing the feature region R V1 in response to an input by the user input device.
　そして、内視鏡画像形成部２は、被検体の管状組織に挿入された内視鏡１によって管状組織の長手方向に沿って撮影された画像信号を所定のフレームレートで内視鏡画像３１を繰り返し形成し、形成された内視鏡画像３１を内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示させる（Ｓ０４）。 Then, the endoscope image forming unit 2 generates an endoscope image 31 at a predetermined frame rate from an image signal photographed along the longitudinal direction of the tubular tissue by the endoscope 1 inserted into the tubular tissue of the subject. The endoscope image 31 formed repeatedly is displayed on the endoscope image display 4 in real time as a through moving image (S04).
　図４に、内視鏡画像３１と仮想内視鏡画像４１が同じ特徴領域Ｒ１（以下、内視鏡画像３１上での特徴領域をＲＥ１、仮想内視鏡画像４１上での特徴領域をＲＶ１と表す。）を表したときの入力画面の一例を示す。図５は、本実施形態における現在位置の算出方法を説明するための図である。図５右は、内視鏡１と被検体の大腸ＣＲとを模式的に表しており、内視鏡１は内視鏡の撮影部１Ａを先端として破線で表した経路に沿って大腸ＣＲを移動する。図５左は、ＣＴ装置等のモダリティによる断層撮影から得た大腸被検体のＣＶと中心線Ｌを表しており、仮想内視鏡の視点は中心線Ｌ上を移動する。また、図５に、大腸ＣＲ、ＣＶと大腸の長さ方向に沿って移動する内視鏡の撮影部１Ａの位置Ｅ１、Ｅ２、内視鏡の撮影部１Ａが位置Ｅ１にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ１、内視鏡の撮影部１Ａが位置Ｅ２にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ２、特徴領域ＲＶ１に対応する位置Ｑ１、特徴領域ＲＶ１から移動された現在位置Ｑ２との関係を示す。また、図５に、同様に、内視鏡の撮影部１Ａが位置Ｅ１’にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ１’、内視鏡の撮影部１Ａが位置Ｅ２’にあるときに位置検出装置７に所定の位置７Ａで定点撮影される内視鏡のプローブ１Ｂの位置Ｐ２’、特徴領域ＲＶ２に対応する位置Ｑ１’、特徴領域ＲＶ２から移動された仮想内視鏡画像４１の現在位置Ｑ２’との関係を示す。なお、図４では、大腸の湾曲部を特徴領域Ｒ１として、内視鏡画像と仮想内視鏡画像の両方にそれぞれ特徴領域ＲＥ１、ＲＶ１を表示させた状態を表している。 In FIG. 4, the endoscopic image 31 and the virtual endoscopic image 41 have the same characteristic area R1 (hereinafter, the characteristic area on the endoscopic image 31 is R E1 , and the characteristic area on the virtual endoscopic image 41 is It shows an example of an input screen when represents represents and R V1.). FIG. 5 is a diagram for explaining a method of calculating the current position in the present embodiment. Figure 5 right, large intestine endoscope 1 and colon C R of the object represents schematically, the endoscope 1 along the path represented by the dashed line the imaging unit 1A of the endoscope as the tip C Move R. The left side of FIG. 5 shows CV and the center line L of the large intestine subject obtained from tomography by a modality such as a CT apparatus, and the viewpoint of the virtual endoscope moves on the center line L. FIG. 5 shows the positions E1, E2 of the imaging unit 1A of the endoscope that moves along the length directions of the large intestine C R and C V and the large intestine, and the imaging unit 1A of the endoscope at the position E1. When the position detection device 7 is at a predetermined position 7A, the position P1 of the endoscope probe 1B is fixed, and when the endoscope imaging unit 1A is at the position E2, the position detection device 7 is fixed at the predetermined position 7A. position P2 probe 1B of the endoscope is, position Q1 corresponding to the feature region R V1, showing the relationship between the current position Q2, which is moved from the feature region R V1. Similarly, in FIG. 5, the position P1 ′ of the probe 1B of the endoscope that is fixed-point photographed at the predetermined position 7A by the position detection device 7 when the imaging unit 1A of the endoscope is at the position E1 ′, A position P2 ′ of the probe 1B of the endoscope that is fixed-point imaged at the predetermined position 7A by the position detection device 7 when the imaging unit 1A of the endoscope is at the position E2 ′, a position Q1 ′ corresponding to the feature region R V2 ; A relationship with the current position Q2 ′ of the virtual endoscopic image 41 moved from the feature region RV2 is shown. FIG. 4 shows a state where the curved region of the large intestine is the feature region R1, and the feature regions R E1 and R V1 are displayed in both the endoscopic image and the virtual endoscopic image, respectively.
　図４に示すように、医師等のユーザは、内視鏡画像３１に表示された特徴領域ＲＥ１と仮想内視鏡画像４１に表示された特徴領域ＲＶ１がほぼ同じ大きさで同じ配置で表示された状態となるように、内視鏡１を移動させる。図５に示すように、内視鏡画像３１および仮想内視鏡画像４１に同じ特徴領域ＲＥ１、ＲＶ１が表示されている状態では、内視鏡１の撮影部１Ａ（内視鏡１の先端）はＥ１に配置された状態であり、仮想内視鏡の視点はＱ１に配置された状態である。つまり、内視鏡画像３１と仮想内視鏡画像４１とは、同じ特徴領域ＲＥ１、ＲＶ１がほぼ同じ大きさ同じ配置で表示された状態では、内視鏡の撮影部１Ａの位置Ｅ１と仮想内視鏡の視点の位置Ｑ１は大腸ＣＲ、ＣＶのほぼ同じ点を表している。 As shown in FIG. 4, a user such as a doctor has a feature region R E1 displayed on the endoscopic image 31 and a feature region R V1 displayed on the virtual endoscopic image 41 having substantially the same size and the same arrangement. The endoscope 1 is moved so that the displayed state is obtained. As shown in FIG. 5, in the state where the same feature regions R E1 and R V1 are displayed in the endoscopic image 31 and the virtual endoscopic image 41, the imaging unit 1A (the endoscope 1 of the endoscope 1) of the endoscope 1 is displayed. (Tip) is the state arranged at E1, and the viewpoint of the virtual endoscope is the state arranged at Q1. That is, the endoscopic image 31 and the virtual endoscopic image 41 have the same feature areas R E1 and R V1 displayed with substantially the same size and the same arrangement, and the position E1 of the imaging unit 1A of the endoscope. The viewpoint position Q1 of the virtual endoscope represents substantially the same point in the large intestine C R and C V.
　次いで、図４に示すように、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の同じ特徴領域Ｒ１が表示されたときに、ユーザはマウス等の入力装置でポインタＰｔｒを移動させて仮想内視鏡画像の特徴領域ＲＶ１の一部をクリックする。すると、基準位置決定手段１３は、基準位置Ｐ１の決定指示を受け付けて（Ｓ０５のＹ）、これにより、基準位置決定手段１３は、基準位置Ｐ１を決定する。また、基準位置決定手段１３は、基準位置決定手段１３の入力により指定された位置の座標を取得し、取得した該座標に最も近い特徴領域ＲＶ１に対する仮想内視鏡の視点の座標を、特徴領域Ｒ１に対応する位置Ｑ１の座標として設定し、基準位置Ｐ１と特徴領域Ｒ１に対応する位置Ｑ１を対応付けて画像処理ワークステーション９の所定のメモリ領域に格納する。そして、この決定により移動量取得手段１４が基準位置Ｐ１の内視鏡の挿入深さを取得するとともに、現在位置算出手段１５が特徴領域ＲＶ１に対応する位置Ｑ１の座標を取得する（Ｓ０６）。 Next, as shown in FIG. 4, when the same feature region R1 in the tubular tissue is displayed in both the displayed virtual endoscopic image 41 and endoscopic image 31, the user uses an input device such as a mouse. The pointer Ptr is moved and a part of the feature region R V1 of the virtual endoscopic image is clicked. Then, the reference position determination unit 13 receives an instruction to determine the reference position P1 (Y in S05), and the reference position determination unit 13 thereby determines the reference position P1. Further, the reference position determination unit 13 acquires the coordinates of the position designated by the input of the reference position determination unit 13, and uses the coordinates of the viewpoint of the virtual endoscope for the feature region R V1 closest to the acquired coordinates as the feature. The coordinates of the position Q1 corresponding to the area R1 are set, and the reference position P1 and the position Q1 corresponding to the feature area R1 are associated with each other and stored in a predetermined memory area of the image processing workstation 9. Based on this determination, the movement amount acquisition unit 14 acquires the insertion depth of the endoscope at the reference position P1, and the current position calculation unit 15 acquires the coordinates of the position Q1 corresponding to the feature region R V1 (S06). .
　なお、指定された位置の座標から最も近い特徴領域ＲＶ１は周知の種々の方法で特定できる。本実施形態では、保存された複数の特徴領域ＲＶ１、ＲＶ２に対応する内視鏡の視点の座標と指定された位置の座標との距離を算出し、距離が最も短い座標を特徴領域Ｖ１に対応する位置の座標として設定する。例えば、指定された位置の座標から所定範囲に一部または全部が存在する特徴領域ＲＶを、最も近い特徴領域ＲＶとすることもできる。 Note that the feature region R V1 closest to the coordinates of the designated position can be specified by various known methods. In the present embodiment, the distance between the coordinates of the viewpoint of the endoscope corresponding to the plurality of stored feature regions R V1 and R V2 and the coordinates of the designated position is calculated, and the coordinate having the shortest distance is calculated as the feature region V1. Set as the coordinates of the position corresponding to. For example, the characteristic region R V is present some or all of the coordinates of the specified position in the predetermined range may be a closest feature region R V.
　次いで、移動量取得手段１４は、基準位置決定手段１３の決定に応じて、内視鏡の基準位置Ｐ１における内視鏡の挿入長さを、定点撮影する位置７Ａでの内視鏡のプローブ１Ｂ上の数値Ｓｃ１として取得する。つまり、図５に示すように、内視鏡１の撮影部１Ａの位置Ｅ１と仮想内視鏡の視点Ｑ１の大腸内の位置が一致した基準位置Ｐ１を、内視鏡１の大腸への挿入深さＳｃ１によって特定する。 Next, the movement amount acquisition unit 14 determines the insertion length of the endoscope at the reference position P1 of the endoscope at the position 7A for fixed point imaging according to the determination of the reference position determination unit 13. Obtained as the upper numerical value Sc1. That is, as shown in FIG. 5, the reference position P1 where the position E1 of the imaging unit 1A of the endoscope 1 and the position of the viewpoint Q1 of the virtual endoscope coincide with each other in the large intestine is inserted into the large intestine of the endoscope 1. It is specified by the depth Sc1.
　そして、移動量取得手段１４は、基準位置Ｐ１からの内視鏡１の大腸の長さ方向に沿った移動量及び進行方向を取得する（Ｓ０７）。すなわち、図５で示すように、基準位置Ｐ１から基準位置Ｐ１の取得後、ユーザ等に移動された内視鏡１の位置Ｐ２までの移動量Ｓｑ及び進行方向Ｓｄを取得する。 Then, the movement amount acquisition means 14 acquires the movement amount and the traveling direction along the length direction of the large intestine of the endoscope 1 from the reference position P1 (S07). That is, as shown in FIG. 5, after the acquisition of the reference position P1 from the reference position P1, the movement amount Sq and the traveling direction Sd from the reference position P1 to the position P2 of the endoscope 1 moved by the user or the like are acquired.
　移動量取得手段１４は、所定の時間間隔で、位置検出装置７から内視鏡の任意の位置Ｐ２における内視鏡のプローブ１Ｂ外表面に記された数値Ｓｃ２を撮影した画像信号を取得し、画像信号に周知の画像処理を行って数値Ｓｃ２を取得する。つまり、基準位置Ｐ１から内視鏡１が移動した位置Ｐ２を、内視鏡１の大腸への挿入深さＳｃ２によって特定する。そして、移動量取得手段１４は、先述の通りＳｃ２とＳｃ１の差分により、基準位置Ｐ１から内視鏡の移動量Ｓｑおよび進行方向Ｓｄを取得する。図５では、内視鏡の移動量Ｓｑは｜Ｓｃ１－Ｓｃ２｜であり、進行方向Ｓｄは大腸への内視鏡１の挿入深さが深くなる方向である。 The movement amount acquisition means 14 acquires an image signal obtained by photographing the numerical value Sc2 written on the outer surface of the probe 1B of the endoscope at an arbitrary position P2 of the endoscope from the position detection device 7 at a predetermined time interval. A known image processing is performed on the image signal to obtain a numerical value Sc2. That is, the position P2 where the endoscope 1 has moved from the reference position P1 is specified by the insertion depth Sc2 of the endoscope 1 into the large intestine. Then, the movement amount acquisition unit 14 acquires the movement amount Sq and the traveling direction Sd of the endoscope from the reference position P1 based on the difference between Sc2 and Sc1 as described above. In FIG. 5, the movement amount Sq of the endoscope is | Sc1-Sc2 |, and the advancing direction Sd is a direction in which the insertion depth of the endoscope 1 into the large intestine becomes deep.
　現在位置算出手段１５は、特徴領域ＲＶ１に対応する位置Ｑ１の座標を取得し、特徴領域に対応する位置Ｑ１から大腸の中心線Ｌに沿って、進行方向Ｓｄに取得した移動量Ｓｑだけ離れた現在位置Ｑ２を算出する（Ｓ０８）。 Current position calculating means 15 obtains the coordinate position Q1 corresponding to the feature region R V1, along from the position Q1 corresponding to the feature region to the center line L of the large intestine, apart movement amount Sq acquired in the traveling direction Sd The current position Q2 is calculated (S08).
　現在位置表示手段１６は、ＷＳディスプレイ８に中心線取得手段１７により抽出された中心線Ｌおよび算出された視点の位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示したガイド画像５１を表示させる（Ｓ０９）。図６Ａは、ガイド画像５１上に現在位置Ｑ２を表す矢印（指標）Ｍを表示した例を示す。 The current position display means 16 displays a guide image 51 displayed on the center line L on which the center line L extracted by the center line acquisition means 17 and the index M representing the calculated viewpoint position Q2 are displayed on the WS display 8. It is displayed (S09). 6A shows an example in which an arrow (index) M indicating the current position Q2 is displayed on the guide image 51. FIG.
　画像処理ワークステーション９では、観察終了を指示する操作が行わない限り（Ｓ１１のＮｏ）、Ｓ０５からＳ１０までの処理を繰り返す。 The image processing workstation 9 repeats the processes from S05 to S10 unless an operation for instructing the end of observation is performed (No in S11).
　一方、基準位置Ｐ１の決定指示がない場合であって（Ｓ０５のＮ）、内視鏡の基準位置Ｐ１がまだ１回も決定されていない場合には（Ｓ１０のＹ）、基準位置Ｐ１の決定指示を待つ（Ｓ０５）。そして、基準位置Ｐ１の決定指示がなく（Ｓ０５のＮ）、内視鏡の基準位置Ｐ１がすでに１回以上決定されている場合には（Ｓ１０のＮ）、Ｓ０７からＳ０９の処理を行う。これにより、ガイド画像５１には、内視鏡１の移動に時間的に連動してガイド画像５１の中心線Ｌ上に現在位置を表す指標Ｍが表示される。 On the other hand, when there is no instruction for determining the reference position P1 (N in S05), and the reference position P1 of the endoscope has not been determined yet (Y in S10), the determination of the reference position P1 is performed. Wait for instructions (S05). If there is no instruction to determine the reference position P1 (N in S05) and the endoscope reference position P1 has already been determined at least once (N in S10), the processes from S07 to S09 are performed. As a result, the guide image 51 displays an index M representing the current position on the center line L of the guide image 51 in conjunction with the movement of the endoscope 1 in time.
　また、図５に示すように、新たな特徴領域ＲＥ２、ＲＶ２が内視鏡画像３１’および仮想内視鏡画像４１’にそれぞれ表示されたときに、ユーザによる特徴領域ＲＶ２の一部を指定する入力を受け付けると（Ｓ０５のＹ）、先述同様基準位置決定手段１３が新たな基準位置Ｐ１’を決定する。また、基準位置決定手段１３は、新たな特徴領域ＲＶ２に対応する位置Ｑ１’の座標として、特徴領域ＲＶ２を仮想内視鏡画像４１に表したときの視点の座標を設定する。移動量取得手段１４は基準位置Ｐ１’の内視鏡の挿入深さＳｃ１’を取得し、現在位置算出手段１５は、新たな特徴領域ＲＶ２に対応する位置Ｑ１’の座標を取得する（Ｓ０６）。このとき、内視鏡１の先端部の位置Ｅ１’は、特徴領域ＲＶ２を表示する仮想内視鏡の視点の位置Ｑ１’と管状組織のほぼ同じ位置に配置された状態である。 Also, as shown in FIG. 5, when new feature regions R E2 and R V2 are displayed in the endoscopic image 31 ′ and the virtual endoscopic image 41 ′, a part of the feature region R V2 by the user Is received (Y in S05), the reference position determination means 13 determines a new reference position P1 ′ as described above. Further, the reference position determining unit 13 sets the coordinates of the viewpoint when the feature region R V2 is represented in the virtual endoscopic image 41 as the coordinates of the position Q1 ′ corresponding to the new feature region R V2 . The movement amount acquisition means 14 acquires the insertion depth Sc1 ′ of the endoscope at the reference position P1 ′, and the current position calculation means 15 acquires the coordinates of the position Q1 ′ corresponding to the new feature region R V2 (S06). ). At this time, the position E1 ′ of the distal end portion of the endoscope 1 is in a state of being arranged at substantially the same position as the position Q1 ′ of the viewpoint of the virtual endoscope displaying the characteristic region RV2 .
　そして、移動量取得手段１４が、ユーザによる内視鏡の撮影部１ＡをＥ２’に移動させる操作に応じて、内視鏡の撮影部１ＡがＥ２’に配置されたときのプローブ１Ｂ外表面の位置Ｐ２’の内視鏡の挿入深さを表す数値Ｓｃ２’を取得する。これにより、新たな基準位置Ｐ１’からの移動量Ｓｑおよび進行方向Ｓｄを取得し（Ｓ０７）、取得した移動量Ｓｑおよび進行方向Ｓｄだけ、新たな特徴領域ＲＶ２に対応する位置Ｑ１’から離れた現在位置Ｑ２’を算出し（Ｓ０８）、算出された現在位置Ｑ２’を表示する（Ｓ０９）。 Then, in response to an operation of moving the imaging unit 1A of the endoscope to E2 ′ by the user, the movement amount acquisition unit 14 is provided on the outer surface of the probe 1B when the imaging unit 1A of the endoscope is arranged at E2 ′. A numerical value Sc2 ′ representing the insertion depth of the endoscope at the position P2 ′ is acquired. As a result, the movement amount Sq and the traveling direction Sd from the new reference position P1 ′ are acquired (S07), and only the acquired movement amount Sq and the traveling direction Sd are separated from the position Q1 ′ corresponding to the new feature region RV2. The current position Q2 ′ is calculated (S08), and the calculated current position Q2 ′ is displayed (S09).
　一方、観察終了を指示する操作が行われた場合には（Ｓ１１のＹ）、本実施形態の内視鏡診断支援処理を終了する。 On the other hand, when an operation for instructing the end of observation is performed (Y in S11), the endoscope diagnosis support process of the present embodiment is ended.
　以上のように、本発明の第１の実施形態では、被検体の管状組織に挿入された内視鏡によって管状組織の長手方向に沿って撮影された内視鏡画像を表示し、表示された内視鏡画像に管状組織の特徴領域が表示されたときに、内視鏡の基準位置を決定するとともに中心線Ｌ上の特徴領域に対応する位置Ｑ１を設定し、基準位置Ｐ１からさらに移動された内視鏡の移動量Ｓｑ及び進行方向Ｓｄを取得し、特徴領域に対応する位置Ｑ１から、中心線Ｌに沿って、取得した進行方向Ｓｄに取得した移動量Ｓｑだけ離れた現在位置Ｑ２を算出し、算出された現在位置Ｑ２を表す指標Ｍを表示された中心線Ｌ上に表示させたため、管状組織の内視鏡画像だけでは管状組織内の内視鏡の位置が把握できない場合であっても、内視鏡の移動距離及び進行方向に基づいて管状組織内での内視鏡の位置を的確に把握することができる。このことにより、管状組織の湾曲部分の接近や、管状組織の進行方向を予測することでき、手術や検査等において内視鏡の管状組織での円滑な移動を支援し、手技のミス等の防止に資する。 As described above, in the first embodiment of the present invention, an endoscope image taken along the longitudinal direction of the tubular tissue is displayed and displayed by the endoscope inserted into the tubular tissue of the subject. When the feature region of the tubular tissue is displayed in the endoscopic image, the reference position of the endoscope is determined and the position Q1 corresponding to the feature region on the center line L is set, and is further moved from the reference position P1. The movement amount Sq and the traveling direction Sd of the endoscope are acquired, and the current position Q2 that is separated from the position Q1 corresponding to the feature region along the center line L by the acquired movement amount Sq in the traveling direction Sd. calculated, because of displaying the calculated current position Q2 centerline on L displayed an index M representing a, only the endoscopic image of the tubular tissue was in when the position of the endoscope within the tubular tissue can not be grasped Even the distance and direction of travel of the endoscope It can accurately grasp the position of the endoscope within the tubular tissue based. Thus, approach and of the curved portion of the tubular tissue, can predict the moving direction of the tubular tissue, and aid smooth movement of the endoscopic tubular tissue at the surgical or inspection, preventing mistakes such procedures Contribute to
　本第１の実施形態では、図５に示すように、特徴領域ごとに基準位置を決定することにより、内視鏡１の撮影部１Ａの位置Ｅ２と現在位置Ｑ２の位置のずれを修正することができ、より正確に内視鏡の基準位置Ｐ１’を切り替えて決定できるため、より正確に仮想内視鏡の視点の位置Ｑ２’を算出することができる。内視鏡１の撮影部１Ａの位置Ｅ１と現在位置Ｑ２のずれは、内視鏡が管状組織の長手方向に沿って移動する経路が管状組織の中心線と必ずしも一致しないことや、被検体の体位や内視鏡の移動により管状組織が伸縮、変形することにより不可避的に生ずるものであるため、特徴領域毎に基準位置を決定することにより、中心線上の指標がより正確な位置に表示されるため、内視鏡の位置をより的確に捉えることができる。 In the first embodiment, as shown in FIG. 5, by determining the reference position for each feature region, the shift between the position E2 of the photographing unit 1A of the endoscope 1 and the current position Q2 is corrected. Since the endoscope reference position P1 ′ can be switched and determined more accurately, the viewpoint position Q2 ′ of the virtual endoscope can be calculated more accurately. Of the endoscope 1 position E1 the current position Q2 of the imaging section 1A deviation, and the route of the endoscope is moved along the longitudinal direction of the tubular tissue does not necessarily coincide with the center line of the tubular tissue, the subject tubular tissue stretch by the movement of the posture and the endoscope, the deformation in which occurs inevitably by, by determining the reference position for each characteristic region, an indication of the center line is displayed in a more accurate position Therefore, the position of the endoscope can be grasped more accurately.
　図６Ｂはガイド画像５１上での現在位置Ｑ２の表示の変形例を示す図である。図６Ｂに示すように、本第１の実施形態の現在位置表示手段１６の変形例として、算出された現在位置Ｑ２を表す指標だけでなく、他の指標をさらに表示するものであってもよい。例えば、現在位置表示手段１６が、中心線Ｌとともに管状組織５２をさらに表示するものであってもよい。この管状組織は、被検体の３次元画像から抽出して得られたものでもよく、管状組織のモデル等でもよい。また、管状組織は、周知の様々な方法で表示することができ、例えば、適宜任意の透明度を設定され、多色または白黒等の任意の色でボリュームレンダリング法等の周知の表示方法により表示することができる。現在位置表示手段１６は、現在位置Ｑ２を先端とする模式的な内視鏡５３をさらに表示するものであってもよい。現在位置表示手段１６は、特徴領域Ｒを表す指標をさらに表示するものであってもよい。図６Ｂにおいては、特徴領域Ｒを表す指標として特徴領域ＲＶ１に対応する位置Ｑ１を表す指標を点で表示している。上記の現在位置表示手段１６の変形例によれば、中心線Ｌだけでなく、管状組織や模式的な内視鏡を併せて表示することにより、より管状組織内での内視鏡の姿勢や位置を的確に捉えることができる。 FIG. 6B is a diagram showing a modification of the display of the current position Q2 on the guide image 51. As shown in FIG. 6B, as a modified example of the current position display means 16 of the first embodiment, not only the index indicating the calculated current position Q2 but also another index may be displayed. . For example, the current position display means 16 may further display the tubular tissue 52 together with the center line L. This tubular tissue may be obtained by extracting from a three-dimensional image of a subject, or may be a tubular tissue model or the like. In addition, the tubular tissue can be displayed by various known methods. For example, an arbitrary transparency is set as appropriate, and an arbitrary color such as multicolor or black and white is displayed by a known display method such as a volume rendering method. be able to. The current position display means 16 may further display a schematic endoscope 53 having the current position Q2 as a tip. The current position display unit 16 may further display an index representing the feature region R. In FIG. 6B, as an index representing the feature region R, an index representing the position Q1 corresponding to the feature region RV1 is displayed as a point. According to the modification of the current position display means 16 described above, by displaying not only the center line L but also the tubular tissue and a schematic endoscope, the posture of the endoscope in the tubular tissue can be further improved. The position can be accurately grasped.
　本実施形態のように基準位置決定手段１３が、ユーザによる仮想内視鏡画像上の特徴領域ＲＶ１の指定を受け付けることにより、内視鏡１の基準位置Ｐ１の入力および管状組織の特徴領域ＲＶ１に対応する位置の設定を同時に行った場合は、入力操作がより簡潔となるため、本発明の内視鏡診断支援をより効率よく行える。なお、基準位置Ｐ１と管状組織の特徴領域ＲＶ１に対応する位置Ｑ１を対応付けるために、特徴領域ＲＶ１の一部を指定する代わりに、予め抽出された複数の特徴領域ＲＶ１、ＲＶ２に対応する位置Ｑ１、Ｑ２を選択可能に表示し、マウス等の入力装置により内視鏡１の基準位置Ｐ１に対応する特徴領域ＲＶ１を表す位置Ｑ１を設定してもよい。 As in the present embodiment, the reference position determination unit 13 receives the specification of the feature region R V1 on the virtual endoscopic image by the user, and thereby inputs the reference position P1 of the endoscope 1 and the feature region R of the tubular tissue. When the position corresponding to V1 is set at the same time, the input operation becomes simpler, so that the endoscopic diagnosis support of the present invention can be performed more efficiently. In order to associate the position Q1 corresponding to the feature region R V1 of the reference position P1 and the tubular tissue, instead of specifying a part of the feature region R V1, a plurality of characteristic regions R V1 which is previously extracted, the R V2 Corresponding positions Q1 and Q2 may be displayed in a selectable manner, and a position Q1 representing the characteristic region RV1 corresponding to the reference position P1 of the endoscope 1 may be set by an input device such as a mouse.
　また、本実施形態の変形例として、基準位置決定手段１３は、基準位置Ｐ１と管状組織の特徴領域ＲＶ１に対応する位置Ｑ１を対応付けられるのであれば、基準位置Ｐ１と管状組織の特徴領域ＲＶ１に対応する位置Ｑ１との対応付けと基準位置Ｐ１の決定とを別々のタイミングに行ってもよく、どちらを先に行ってもよい。例えば、ＷＳディスプレイ８の画面上に基準位置決定ボタンを選択可能に表示し、ユーザのマウス等による基準位置決定ボタンの選択操作により、基準位置決定手段１３が内視鏡１の基準位置Ｐ１の取得を指示する入力を受付け、別途、ユーザの入力装置等の入力により、内視鏡１の基準位置Ｐ１に特定される特徴領域ＲＶ１または特徴領域ＲＶ１に対応する中心線Ｌ上の点Ｑ１を取得して、基準位置Ｐ１と管状組織の特徴領域ＲＶ１を表す位置Ｑ１を対応付けてもよい。 In a modification of this embodiment, the reference position determining means 13, if associated to the position Q1 corresponding to the feature region R V1 of the reference position P1 and the tubular tissue, the characteristic region of the reference position P1 and the tubular tissue it may be carried out and determination of the association and the reference position P1 and the position Q1 corresponding to R V1 to different timings, which may be performed first. For example, the reference position determination button is displayed on the screen of the WS display 8 so as to be selectable, and the reference position determination means 13 acquires the reference position P1 of the endoscope 1 by the selection operation of the reference position determination button by the user's mouse or the like. The feature region R V1 specified at the reference position P1 of the endoscope 1 or the point Q1 on the center line L corresponding to the feature region R V1 is separately input by a user input device or the like. acquired by, or in association with the position Q1 indicating the feature region R V1 of the reference position P1 and the tubular tissue.
　また、本実施形態では、特徴領域ＲＶ１、ＲＶ２に対応する位置として、予め設定した仮想内視鏡の視点Ｑ１、Ｑ１’の座標をそれぞれ対応付けているが、内視鏡の基準位置Ｐ１と管状組織の特徴領域ＲＶ１に対応する位置Ｑ１を相互に対応付けて取得するものであればよく、仮想内視鏡の視点の位置に替えて特徴領域ＲＶ１、ＲＶ２から誤差として許容できる所定の範囲内の特徴領域近傍の位置を対応付けることもできる。また、内視鏡の基準位置Ｐ１と管状組織の特徴領域ＲＶ１に対応する位置Ｑ１を相互に対応付けられるのであれば、特徴領域ＲＶ１、ＲＶ２を表す中心線Ｌ上の点Ｑ１、Ｑ２を必ずしも予め抽出する必要はなく、内視鏡画像３１に特徴領域ＲＶ１を表示させて内視鏡１の基準位置Ｐ１の入力を行ってから、特徴領域ＲＶ１に対応する位置Ｑ１を抽出してもよい。例えば、特徴領域ＲＶ１に対応する位置Ｑ１を、内視鏡１の基準位置Ｐ１の入力を行ったのちに、手動で仮想内視鏡の視点を移動させて仮想内視鏡画像３１に特徴領域ＲＶ１を表示した際の仮想内視鏡の視点の位置として設定してもよく、中心線Ｌを表示して、中心線上でユーザが入力装置により選択した位置として設定してもよい。 In the present embodiment, the coordinates of the viewpoints Q1 and Q1 ′ of the virtual endoscope set in advance are associated as the positions corresponding to the feature regions R V1 and R V2 , respectively, but the reference position P1 of the endoscope the position Q1 corresponding to the feature region R V1 of the tubular tissue may be those obtaining in association with each other, it can be acceptable error from the feature region R V1, R V2 instead on the position of the viewing point of the virtual endoscopy and Positions in the vicinity of the feature area within a predetermined range can also be associated. Further, if the reference position P1 of the endoscope and the position Q1 corresponding to the feature region R V1 of the tubular tissue can be associated with each other, the points Q1, Q2 on the center line L representing the feature regions R V1 , R V2 Is not necessarily extracted in advance, the feature region R V1 is displayed in the endoscope image 31 and the reference position P1 of the endoscope 1 is input, and then the position Q1 corresponding to the feature region R V1 is extracted. May be. For example, after inputting the reference position P1 of the endoscope 1 for the position Q1 corresponding to the feature region RV1 , the viewpoint of the virtual endoscope is manually moved to display the feature region in the virtual endoscope image 31. The position of the viewpoint of the virtual endoscope when RV1 is displayed may be set, or the center line L may be displayed and set as the position selected by the user using the input device on the center line.
　また、本発明の第１の実施形態では、中心線Ｌに沿って、視点を移動させた仮想内視鏡画像４１を生成する仮想内視鏡画像生成手段１２と、生成された仮想内視鏡画像４１を表示する表示手段８とをさらに備え、基準位置Ｐ１の決定は、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の特徴領域ＲＶ１が表示されたときに行われるものであるため、仮想内視鏡３１の視点の位置Ｐ１と内視鏡の撮影部１Ａの位置Ｅ１が精度よく一致するため、仮想内視鏡３１の視点の位置Ｐ１に基づいて算出された視点の位置Ｐ２が精度よく内視鏡の撮影部１Ａの位置Ｅ２を表したものとなり、より的確に内視鏡の撮影部の位置１Ａ（先端部の位置）を把握することができる。つまり、より正確に内視鏡の基準位置Ｐ１を設定でき、より正確に仮想内視鏡の視点の位置Ｑ２を算出することができる。この結果、中心線上の指標Ｍがより正確な位置に表示されるため、さらに移動された内視鏡の位置をより的確に捉えることができる。特に、同じ特徴領域を仮想内視鏡画像４１と内視鏡画像３１の両画像上で同じ程度の位置または同程度の大きさで表しているため、さらに上記効果が著しい。 In the first embodiment of the present invention, the virtual endoscope image generating means 12 that generates the virtual endoscope image 41 with the viewpoint moved along the center line L, and the generated virtual endoscope Display means 8 for displaying an image 41, and the reference position P1 is determined by displaying the feature region R V1 in the tubular tissue in both the displayed virtual endoscopic image 41 and endoscopic image 31. Since the position P1 of the viewpoint of the virtual endoscope 31 coincides with the position E1 of the imaging unit 1A of the endoscope with high accuracy, the position P1 of the viewpoint of the virtual endoscope 31 is based on the viewpoint position P1. The calculated viewpoint position P2 accurately represents the position E2 of the imaging unit 1A of the endoscope, and the position 1A (the position of the distal end) of the imaging unit of the endoscope can be grasped more accurately. . In other words, the reference position P1 of the endoscope can be set more accurately, and the viewpoint position Q2 of the virtual endoscope can be calculated more accurately. As a result, since the index M on the center line is displayed at a more accurate position, the position of the further moved endoscope can be grasped more accurately. In particular, since the same feature region is represented by the same position or the same size on both the virtual endoscopic image 41 and the endoscopic image 31, the above effect is further remarkable.
　なお、仮想内視鏡画像および内視鏡画像の両方に管状組織内の同じ特徴領域が表示される際に、最初に仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の特徴領域を表示しておいて、その後内視鏡画像で内視鏡の移動に応じて管状組織内の同じ特徴領域を表示してもよく、最初に内視鏡画像で内視鏡の移動に応じて管状組織内の特徴領域を表示しておいて、その後仮想内視鏡画像で仮想内視鏡画像の視点を移動させて管状組織内の同じ特徴領域を表示してもよく、両画像で同時に管状組織内の同じ特徴領域を表示してもよい。 When the same feature region in the tubular tissue is displayed in both the virtual endoscopic image and the endoscopic image, the viewpoint of the virtual endoscopic image is first moved in the virtual endoscopic image to thereby move the tubular tissue The same feature area in the tubular tissue may be displayed in accordance with the movement of the endoscope in the endoscopic image, and the endoscopic image is first displayed in the endoscopic image. The feature region in the tubular tissue may be displayed in accordance with the movement, and then the same feature region in the tubular tissue may be displayed by moving the viewpoint of the virtual endoscopic image in the virtual endoscopic image. The same feature region in the tubular tissue may be displayed simultaneously with the image.
　また、基準位置Ｐ１の入力は、内視鏡の基準位置Ｐ１と基準位置Ｐ１によって特定される管状組織の特徴領域ＲＶ１を相互に対応付け可能であれば、表示された仮想内視鏡画像４１および内視鏡画像３１の両方に管状組織内の特徴領域ＲＶ１が表示されたときに必ずしも行われる必要はなく、内視鏡画像３１のみに管状組織内の特徴領域ＲＶ１が表示されたときであっても行うことができる。例えば、内視鏡画像３１に管状組織の特徴領域が表示されたときに内視鏡１の基準位置Ｐ１を決定し、ＷＳディスプレイ８に予め抽出された複数の特徴領域ＲＶ１、ＲＶ２に対応する各位置を選択可能に表示し、マウス等の入力装置により特徴領域ＲＶ１に対応する位置を選択し、基準位置Ｐ１と特徴領域ＲＶ１と対応する位置Ｑ１を対応付けてもよい。 The input of the reference position P1, the endoscope of the reference position P1 and the reference position associated feature regions R V1 of the tubular tissue to be identified to each other by P1 possible, it displayed virtual endoscopic image 41 and not necessarily performed when the feature region R V1 in both the tubular tissue of the endoscopic image 31 is displayed, when the feature region R V1 in only tubular tissue endoscopic image 31 is displayed Even can be done. For example, the reference position P1 of the endoscope 1 is determined when the feature region of the tubular tissue is displayed in the endoscopic image 31, and corresponds to a plurality of feature regions R V1 and R V2 extracted in advance on the WS display 8. The position corresponding to the feature region RV1 may be selected by an input device such as a mouse, and the reference position P1 and the position Q1 corresponding to the feature region RV1 may be associated with each other.
　移動量取得手段１４は、本第１の実施形態では、内視鏡１のプローブ１Ｂ外表面に付された数値を取得し、内視鏡１の管状組織への挿入深さを計測することにより、内視鏡の移動量および移動方向を取得したため、簡易な装置及び方法により内視鏡の移動量および移動方向を取得することができる。なお、移動量および移動方向の取得方法は本実施形態の方法に限られるものでなく、内視鏡１の管状組織の長手方向への移動方向及び移動量を測定可能なものであれば、あらゆる方法を適用できる。例えば、内視鏡１のプローブ１Ｂ外表面に付された数値Ｓｃ１およびＳｃ２をユーザが読み取って、対話式ＧＵＩでキーボード等から入力し、移動量取得手段１４が入力された数値Ｓｃ１、Ｓｃ２を取得するようにしてもよい。 In the first embodiment, the movement amount acquisition unit 14 acquires a numerical value attached to the outer surface of the probe 1B of the endoscope 1 and measures the insertion depth of the endoscope 1 into the tubular tissue. Since the movement amount and movement direction of the endoscope are acquired, the movement amount and movement direction of the endoscope can be acquired with a simple device and method. In addition, the acquisition method of a movement amount and a movement direction is not restricted to the method of this embodiment, As long as the movement direction and movement amount to the longitudinal direction of the tubular structure | tissue of the endoscope 1 can be measured, it will be various. The method can be applied. For example, obtaining an endoscope numerical Sc1 and Sc2 attached to the probe 1B outer surface of the 1 reads user input from a keyboard or the like interactively GUI, the displacement acquiring means 14 numbers is entered Sc1, Sc2 You may make it do.
　また、仮想内視鏡の視点Ｑ２を表す指標Ｍは、識別可能に位置を表示するものであれば何でもよい。例えば、指標は、十字マークでもよいし、点、円、矩形、矢印、閉曲面など、位置を示すことができる周知の指標を用いることができる。また、指標Ｍは、中心線Ｌ上の特徴領域を表す点Ｑ２を中心に中心線Ｌに沿って予想される誤差の範囲を加味した、中心線Ｌ上の任意の点を表すようにしてもよい。 Further, the index M representing the viewpoint Q2 of the virtual endoscope may be anything as long as it displays the position in an identifiable manner. For example, the index may be a cross mark, or a known index that can indicate a position, such as a point, a circle, a rectangle, an arrow, or a closed curved surface. In addition, the index M may represent an arbitrary point on the center line L with a range of errors expected along the center line L around the point Q2 representing the feature region on the center line L. Good.
　モダリティ５は、上記のＣＴ装置のほか、ＭＲＩ装置等の仮想内視鏡画像を再構成可能なボリュームデータを取得できるモダリティを用いることができる。 The modality 5 can use a modality capable of acquiring volume data capable of reconstructing a virtual endoscopic image, such as an MRI apparatus, in addition to the above CT apparatus.
　また、ガイド画像５１には、内視鏡による観察を継続する間、内視鏡１の移動に時間的に連動して仮想内視鏡の視点の位置が算出されて、ガイド画像５１の中心線Ｌ上に視点の位置を表す指標Ｍが表示されるため、医師等のユーザは、ガイド画像５１の中心線により大腸の経路を把握し、その上の指標Ｍにより大腸内の内視鏡の位置を適宜参考にしつつ、内視鏡の操作を行うことができる。このため、湾曲部や目標の診断部位への内視鏡１の接近を、動的に、より的確に捉えることが可能になる。 Further, in the guide image 51, while the observation with the endoscope is continued, the position of the viewpoint of the virtual endoscope is calculated in synchronization with the movement of the endoscope 1, and the center line of the guide image 51 is calculated. Since an index M indicating the position of the viewpoint is displayed on L, a user such as a doctor grasps the route of the large intestine from the center line of the guide image 51, and the position of the endoscope in the large intestine by the index M above it. The endoscope can be operated while referring to the above as appropriate. For this reason, the approach of the endoscope 1 to the curved portion or the target diagnosis site can be dynamically and accurately captured.
　また、上記管状組織は、内視鏡を挿入可能なものであれば何でもよく、上記特徴領域は、ユーザ等が管状組織内の他の領域と識別可能な形態を有する領域であれば何でもよい。例えば、特徴領域は、円、矩形、矢印、閉曲面など、様々な手法で示すことができる。例えば、前記管状組織が大腸であり、前記特徴領域は肛門管および脾彎曲部および肝彎曲部のいずれかを含むものであってもよい。また、前記管状組織が気管支であり、前記特徴領域は喉頭および気管支分岐部のいずれかを含むものであってもよい。また、前記管状組織が食道であり、前記特徴領域は咽頭および噴門のいずれかを含むものであってもよい。また、管状組織内の腫瘍等の凹凸を有する領域を特徴領域としてもよい。 The tubular tissue may be anything as long as an endoscope can be inserted, and the feature region may be anything as long as the user has a form that can be distinguished from other regions in the tubular tissue. For example, the feature region can be indicated by various methods such as a circle, a rectangle, an arrow, and a closed curved surface. For example, the tubular tissue may be a large intestine, and the characteristic region may include any of an anal canal, a spleen fold, and a liver fold. Further, the tubular tissue may be a bronchus, and the characteristic region may include one of a larynx and a bronchial bifurcation. The tubular tissue may be an esophagus, and the characteristic region may include one of a pharynx and a cardia. Moreover, it is good also considering the area | region which has unevenness | corrugations, such as a tumor in a tubular tissue, as a characteristic area.
　本実施形態では、仮想内視鏡画像上で管状組織内の複数の特徴領域ＲＶ１、ＲＶ２をユーザがマウス等の入力装置でそれぞれ指定することにより、管状組織の複数の特徴領域ＲＶ１、ＲＶ２が予め抽出されているが、管状組織の複数の特徴領域Ｒ１、Ｒ２、Ｒ３、…Ｒｎを予め定義した管状組織の中心線の形状モデルと３次元画像データから得られた中心線Ｌとのマッチングを行うことにより、形状モデル上の複数の特徴領域Ｒ１、Ｒ２、Ｒ３、…Ｒｎと対応する中心線Ｌ上での特徴領域ＲＶ１、ＲＶ２、ＲＶ３、…ＲＶｎを自動抽出されてもよい。 In the present embodiment, the user designates a plurality of feature regions R V1 and R V2 in the tubular tissue on the virtual endoscopic image with an input device such as a mouse, whereby a plurality of feature regions R V1 and Although R V2 are previously extracted, the characteristic region of the tubular tissue R 1, R 2, R 3 , ... obtained from the shape model and the 3-dimensional image data of the center line of the predefined tubular tissue R n by performing matching between the center line L, a plurality of characteristic regions R 1, R 2 on the geometric model, R 3, ... feature region on the center line L and the corresponding R n R V1, R V2, R V3 ,... R Vn may be automatically extracted.
　第１の実施形態の変形例として、第１の実施形態による内視鏡観察支援装置に不図示の警告部１８を付加した構成としてもよい。 As a modification of the first embodiment, a warning unit 18 (not shown) may be added to the endoscope observation support apparatus according to the first embodiment.
　この警告部１８は、画像処理ワークステーション９に実装される処理部であり、図３に示す第１の実施形態のＳ０８の後、中心線上の仮想内視鏡の視点の位置Ｑ２と予め指定した注目部位Ｗ１の位置との間の距離が所定の閾値よりも小さい場合、すなわち、内視鏡１が予め指定した注目部位Ｗ１に接近している場合に、警告WMをガイド画像５１上に出力するものである。警告WMは、仮想内視鏡の視点の位置Ｑ２を表す指標Ｍを点滅させるまたは、指標Ｍの色を識別可能な色に変化させる。これにより、管状組織内で、内視鏡１の移動の際気をつけるべき部位を、予め注目部位Ｗ１として登録することにより、管状組織内で、内視鏡１が注目部位Ｗ１に接近した状態を容易に認識することが可能になり、内視鏡１の誤操作の未然防止に資する。なお、警告を外部に出力する方法は、上記の方法の他、警告音や音声を出力する方法であってもよいし、警告メッセージの重畳表示と警告音等の出力の両方を行ってもよい。 The warning unit 18 is a processing unit mounted on the image processing workstation 9, and is designated in advance as the virtual endoscope viewpoint position Q2 on the center line after S08 of the first embodiment shown in FIG. When the distance from the position of the target site W1 is smaller than a predetermined threshold, that is, when the endoscope 1 is approaching the target site W1 designated in advance, a warning WM is output on the guide image 51. Is. The warning WM blinks the index M indicating the position Q2 of the viewpoint of the virtual endoscope or changes the color of the index M to an identifiable color. Thereby, in the tubular tissue, the site to be taken care of when the endoscope 1 is moved is registered in advance as the attention site W1, so that the endoscope 1 approaches the attention site W1 in the tubular tissue. Can be easily recognized, which contributes to prevention of erroneous operation of the endoscope 1. Note that the method for outputting the warning to the outside may be a method for outputting a warning sound or sound in addition to the above method, or both warning message superimposition display and warning sound may be output. .
　上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。 The above embodiments are merely examples, and all the above descriptions should not be used to limit the technical scope of the present invention.
　この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。 In addition, the system configuration, the hardware configuration, the processing flow, the module configuration, the user interface, specific processing contents, and the like in the above embodiment are variously modified without departing from the spirit of the present invention. Are included in the technical scope of the present invention.

Claims (12)

  1. 　予め取得した被検体の３次元画像から前記被検体の管状組織の中心線を取得する中心線取得手段と、
    　前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、
    　表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する基準位置決定手段と、
    　前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、
    　前記１つの特徴領域に対応する位置から、該中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を、現在位置として算出する現在位置算出手段と、
    　算出された前記現在位置を表す指標を、前記中心線上に表示させる現在位置表示手段とを備えたことを特徴とする内視鏡観察支援装置。     Centerline acquisition means for acquiring a centerline of the tubular tissue of the subject from a three-dimensional image of the subject acquired in advance;
    Endoscopic image display means for displaying an endoscope image taken while moving the endoscope inserted into the tubular tissue along the longitudinal direction of the tubular tissue;
    When one feature region of the tubular tissue is displayed in the displayed endoscopic image, the position of the endoscope is determined as a reference position, and a position corresponding to the one feature region on the center line A reference position determining means for setting
    A movement amount acquisition means for acquiring a movement amount and a traveling direction of the endoscope further moved from the reference position;
    Current position calculating means for calculating, as a current position, a position that is separated from the position corresponding to the one characteristic area by the acquired movement amount in the acquired traveling direction along the center line;
    An endoscope observation support apparatus, comprising: a current position display unit configured to display an index representing the calculated current position on the center line.
  2. 　前記中心線に沿って、視点を移動させた仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
    　前記生成された仮想内視鏡画像を表示する表示手段とをさらに備え、
    　前記基準位置の決定は、表示された前記仮想内視鏡画像および前記内視鏡画像の両方に前記管状組織内の特徴領域が表示されたときに行われるものであることを特徴とする請求項１記載の内視鏡観察支援装置。     Virtual endoscopic image generation means for generating a virtual endoscopic image with the viewpoint moved along the center line;
    Display means for displaying the generated virtual endoscopic image,
    The determination of the reference position is performed when a feature region in the tubular tissue is displayed in both of the displayed virtual endoscopic image and the endoscopic image. The endoscope observation support apparatus according to 1.
  3. 前記基準位置決定手段は、前記管状組織内の異なる特徴領域ごとに前記基準位置を決定するものであることを特徴とする請求項１または２記載の内視鏡観察支援装置。 The endoscope observation support apparatus according to claim 1 or 2, wherein the reference position determining means determines the reference position for each different feature region in the tubular tissue.
  4. 　前記現在位置表示手段は、前記中心線とともに前記管状組織をさらに表示するものであることを特徴とする請求項１から３のいずれか１記載の医用画像処理装置。 4. The medical image processing apparatus according to claim 1, wherein the current position display means further displays the tubular tissue together with the center line.
  5. 前記現在位置表示手段は、前記視点の位置を先端とする模式的な内視鏡をさらに表示するものであることを特徴とする請求項１から４のいずれか１項記載の内視鏡観察支援装置。 5. The endoscope observation support according to claim 1, wherein the current position display unit further displays a schematic endoscope having the position of the viewpoint as a tip. 6. apparatus.
  6. 前記現在位置表示手段は、前記特徴領域を表す指標をさらに表示するものであることを特徴とする請求項１から５のいずれか１項記載の内視鏡観察支援装置。 The endoscope observation support apparatus according to any one of claims 1 to 5, wherein the current position display means further displays an index representing the feature region.
  7. 前記移動量取得手段は、前記管状組織外に露出した前記内視鏡のプローブの移動量及び移動方向を取得するものであることを特徴とする請求項１から６のいずれか１項記載の内視鏡観察支援装置。 7. The inside according to claim 1, wherein the movement amount obtaining unit obtains a movement amount and a movement direction of the probe of the endoscope exposed outside the tubular tissue. Endoscopic observation support device.
  8. 前記管状組織は、大腸であり、
    前記特徴領域は肛門管および脾彎曲部および肝彎曲部のいずれかを含むものであることを特徴とする請求項１から７のいずれか１項記載の内視鏡観察支援装置。     The tubular tissue is the large intestine;
    The endoscopic observation support device according to any one of claims 1 to 7, wherein the characteristic region includes any one of an anal canal, a spleen fold portion, and a liver fold portion.
  9. 前記管状組織は、気管支であり、
    前記特徴領域は喉頭および気管支分岐部のいずれかを含むものであることを特徴とする請求項１から８のいずれか１記載の内視鏡観察支援装置。     The tubular tissue is bronchi;
    The endoscopic observation support apparatus according to any one of claims 1 to 8, wherein the characteristic region includes one of a larynx and a bronchial bifurcation.
  10. 前記管状組織は、食道であり、
    前記特徴領域は咽頭および噴門のいずれかを含むものであることを特徴とする請求項１から９のいずれか１記載の内視鏡観察支援装置。     The tubular tissue is the esophagus;
    The endoscopic observation support apparatus according to any one of claims 1 to 9, wherein the characteristic region includes one of a pharynx and a cardia.
  11. 　予め取得した被検体の３次元画像から被検体の管状組織の中心線を取得し、
    　前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示し、
    　表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の基準位置を入力するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定し、
    　前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得し、
    　前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出し、
    　算出された前記現在位置を表す指標を前記中心線上に表示させることを特徴とする内視鏡観察支援方法。     Obtaining a center line of the tubular tissue of the subject from a three-dimensional image of the subject obtained in advance;
    Displaying an endoscope image taken while moving the endoscope inserted into the tubular tissue along the longitudinal direction of the tubular tissue;
    When one feature region of the tubular tissue is displayed in the displayed endoscopic image, a reference position of the endoscope is input and a position corresponding to the one feature region is set on the center line And
    Obtaining the moving amount and the traveling direction of the endoscope further moved from the reference position;
    A position that is separated from the position corresponding to the one characteristic region by the acquired amount of movement in the acquired traveling direction along the center line is calculated as a current position;
    An endoscope observation support method, comprising: displaying an index representing the calculated current position on the center line.
  12. 　コンピュータを、
    　予め取得した前記被検体の３次元画像から被検体の管状組織の中心線を取得する中心線取得手段と、
    　前記管状組織に挿入された内視鏡を前記管状組織の長手方向に沿って移動しつつ撮影された内視鏡画像を表示する内視鏡画像表示手段と、
    　表示された前記内視鏡画像に前記管状組織の１つの特徴領域が表示されたときに、前記内視鏡の位置を基準位置として決定するとともに前記中心線上に前記１つの特徴領域に対応する位置を設定する基準位置決定手段と、
    　前記基準位置からさらに移動された前記内視鏡の移動量及び進行方向を取得する移動量取得手段と、
    　前記１つの特徴領域に対応する位置から、前記中心線に沿って、前記取得した進行方向に前記取得した移動量だけ離れた位置を現在位置として算出する現在位置算出手段と、
    　算出された前記現在位置を表す指標を前記中心線上に表示させる現在位置表示手段として機能させることを特徴とする内視鏡観察支援プログラム。     Computer
    Centerline acquisition means for acquiring the centerline of the tubular tissue of the subject from the three-dimensional image of the subject acquired in advance;
    Endoscopic image display means for displaying an endoscope image taken while moving the endoscope inserted into the tubular tissue along the longitudinal direction of the tubular tissue;
    When one feature region of the tubular tissue is displayed in the displayed endoscopic image, the position of the endoscope is determined as a reference position, and a position corresponding to the one feature region on the center line A reference position determining means for setting
    A movement amount acquisition means for acquiring a movement amount and a traveling direction of the endoscope further moved from the reference position;
    Current position calculating means for calculating, as a current position, a position that is separated from the position corresponding to the one characteristic area by the acquired movement amount in the acquired traveling direction along the center line;
    An endoscope observation support program that functions as current position display means for displaying an index representing the calculated current position on the center line.
PCT/JP2011/004184 2010-07-28 2011-07-25 Device, method, and program for assisting endoscopic observation WO2012014438A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010168932A JP2012024518A (en) 2010-07-28 2010-07-28 Device, method, and program for assisting endoscopic observation
JP2010-168932 2010-07-28

Publications (1)

Publication Number Publication Date
WO2012014438A1 true WO2012014438A1 (en) 2012-02-02

Family

ID=45529671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004184 WO2012014438A1 (en) 2010-07-28 2011-07-25 Device, method, and program for assisting endoscopic observation

Country Status (2)

Country Link
JP (1) JP2012024518A (en)
WO (1) WO2012014438A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061566A1 (en) * 2012-10-16 2014-04-24 オリンパス株式会社 Observation apparatus, observation assistance device, observation assistance method and program
US8894566B2 (en) 2012-03-06 2014-11-25 Olympus Medical Systems Corp. Endoscope system
US9295372B2 (en) 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
EP4154795A4 (en) * 2020-05-21 2023-07-12 NEC Corporation Image processing device, control method, and storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103764041B (en) * 2012-08-08 2015-12-09 株式会社东芝 Medical diagnostic imaging apparatus, image processing apparatus and image processing method
EP2884879B1 (en) * 2012-08-14 2020-01-08 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN104755009B (en) 2013-04-15 2017-04-19 奥林巴斯株式会社 Endoscope system
JP6206869B2 (en) * 2013-05-28 2017-10-04 国立大学法人名古屋大学 Endoscopic observation support device
JP6749473B2 (en) 2017-03-30 2020-09-02 富士フイルム株式会社 Endoscope system and operating method thereof
US11229492B2 (en) 2018-10-04 2022-01-25 Biosense Webster (Israel) Ltd. Automatic probe reinsertion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002200030A (en) * 2000-12-27 2002-07-16 Olympus Optical Co Ltd Position detecting device for endoscope
JP2002345725A (en) * 2001-05-22 2002-12-03 Olympus Optical Co Ltd Endoscopic system
WO2007129493A1 (en) * 2006-05-02 2007-11-15 National University Corporation Nagoya University Medical image observation support device
JP2009125394A (en) * 2007-11-26 2009-06-11 Toshiba Corp Intravascular image diagnostic apparatus and intravascular image diagnostic system
JP2009279249A (en) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp Medical device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002200030A (en) * 2000-12-27 2002-07-16 Olympus Optical Co Ltd Position detecting device for endoscope
JP2002345725A (en) * 2001-05-22 2002-12-03 Olympus Optical Co Ltd Endoscopic system
WO2007129493A1 (en) * 2006-05-02 2007-11-15 National University Corporation Nagoya University Medical image observation support device
JP2009125394A (en) * 2007-11-26 2009-06-11 Toshiba Corp Intravascular image diagnostic apparatus and intravascular image diagnostic system
JP2009279249A (en) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp Medical device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8894566B2 (en) 2012-03-06 2014-11-25 Olympus Medical Systems Corp. Endoscope system
WO2014061566A1 (en) * 2012-10-16 2014-04-24 オリンパス株式会社 Observation apparatus, observation assistance device, observation assistance method and program
JP2014079377A (en) * 2012-10-16 2014-05-08 Olympus Corp Observation apparatus, observation support apparatus, observation support method, and observation support program
US9295372B2 (en) 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
US9805469B2 (en) 2013-09-18 2017-10-31 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
EP4154795A4 (en) * 2020-05-21 2023-07-12 NEC Corporation Image processing device, control method, and storage medium

Also Published As

Publication number Publication date
JP2012024518A (en) 2012-02-09

Similar Documents

Publication Publication Date Title
WO2012014438A1 (en) Device, method, and program for assisting endoscopic observation
JP5380348B2 (en) System, method, apparatus, and program for supporting endoscopic observation
JP5421828B2 (en) Endoscope observation support system, endoscope observation support device, operation method thereof, and program
JP5551957B2 (en) Projection image generation apparatus, operation method thereof, and projection image generation program
JP5918548B2 (en) Endoscopic image diagnosis support apparatus, operation method thereof, and endoscopic image diagnosis support program
JP6371729B2 (en) Endoscopy support apparatus, operation method of endoscopy support apparatus, and endoscope support program
WO2011122037A1 (en) Endoscope observation supporting system and method, and device and programme
JP6254053B2 (en) Endoscopic image diagnosis support apparatus, system and program, and operation method of endoscopic image diagnosis support apparatus
JP5369078B2 (en) Medical image processing apparatus and method, and program
JP6049202B2 (en) Image processing apparatus, method, and program
JP2010517632A (en) System for continuous guidance of endoscope
JP2005131042A (en) Insertion support system
JPWO2007129493A1 (en) Medical image observation support device
JP2012200403A (en) Endoscope insertion support device, operation method for the same, and endoscope insertion support program
JP2011139797A (en) Medical image processor and medical image processing program
JP5961504B2 (en) Virtual endoscopic image generating apparatus, operating method thereof, and program
JP2012165838A (en) Endoscope insertion support device
JP2009125394A (en) Intravascular image diagnostic apparatus and intravascular image diagnostic system
WO2014050019A1 (en) Method and device for generating virtual endoscope image, and program
JP6145870B2 (en) Image display apparatus and method, and program
JP2019069037A (en) Radiation imaging apparatus, image processing method, and image processing program
JP2002253480A (en) Device for assisting medical treatment
JP2011050590A (en) Medical image processing device, and medical image processing program
JP5554028B2 (en) Medical image processing apparatus, medical image processing program, and X-ray CT apparatus
JP2018134197A (en) Medical procedure navigation system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11812040

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11812040

Country of ref document: EP

Kind code of ref document: A1