JP4776919B2

JP4776919B2 - Medical image processing device

Info

Publication number: JP4776919B2
Application number: JP2004378011A
Authority: JP
Inventors: 潤長谷川; 博一西村; 秀樹田中; 涼子井上
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-12-27
Filing date: 2004-12-27
Publication date: 2011-09-21
Anticipated expiration: 2024-12-27
Also published as: JP2006181109A

Description

本発明は、内視鏡画像等の医療画像から幾何学的に変換して、展開図の画像を生成する画像処理を行う医療画像処理装置に関する。 The present invention relates to a medical image processing apparatus that performs image processing for geometrically converting a medical image such as an endoscopic image to generate an image of a developed view.

近年、内視鏡は医療分野などにおいて広く採用されるようになった。例えば、食道の病気の一つにバレット食道がある。
食道は扁平上皮の粘膜でおおわれており、胃や腸は円柱上皮の粘膜でおおわれている。バレット食道は食道への胃酸の逆流により、胃と食道の接合部付近の食道粘膜（扁平上皮）が胃から連続して円柱上皮に変性すると考えられている。
バレット食道の診断方法として、胃と食道の接合部から連続して存在する円柱上皮の広がり方、円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡で観察する内視鏡診断が利用される。
従来技術としての特開平８−２５６２９５号公報には、得られる内視鏡画像における周辺部で発生する光学歪みを補正する手段を開示している。
特開平８−２５６２９５号公報 In recent years, endoscopes have been widely adopted in the medical field and the like. For example, one of the diseases of the esophagus is Barrett's esophagus.
The esophagus is covered with squamous mucosa, and the stomach and intestines are covered with columnar epithelium. In Barrett's esophagus, it is thought that esophageal mucosa (squamous epithelium) near the junction between the stomach and the esophagus continuously degenerates into columnar epithelium due to the reflux of gastric acid into the esophagus.
Endoscopic diagnosis is a diagnostic method for Barrett's esophagus, in which the columnar epithelium that continues from the junction between the stomach and the esophagus is spread, and the characteristic shape of the boundary between the columnar and squamous epithelium is observed with an endoscope. Used.
Japanese Patent Application Laid-Open No. 8-256295 as a prior art discloses means for correcting optical distortion generated in the peripheral portion of an obtained endoscopic image.
JP-A-8-256295

上記特開平８−２５６２９５号公報では、内視鏡画像における周辺部で発生する光学歪みを補正することができるが、直視型の内視鏡を用いて略円管形状の食道を観察した場合、食道と内視鏡先端の位置・向き、光学歪み等の影響により円柱上皮の広がり方や円柱上皮と扁平上皮の境界の特徴を認識し易い状態で表示することができない。
つまり、従来例では診断し易い展開図（の画像）で表示することができなかった。 In the above-mentioned JP-A-8-256295, it is possible to correct the optical distortion generated in the peripheral portion in the endoscopic image, but when observing a substantially circular tube-shaped esophagus using a direct-view type endoscope, Due to the influence of the position and orientation of the esophagus and the endoscope tip, optical distortion, etc., it is impossible to display how the columnar epithelium spreads and the features of the boundary between the columnar epithelium and the squamous epithelium in an easily recognizable state.
That is, in the conventional example, it was not possible to display a developed view (image) that is easy to diagnose.

（発明の目的）
本発明は上述した点に鑑みてなされたもので、バレット食道等の管状部位を撮像した医療画像から診断し易い展開図の画像を生成することができる医療画像処理装置を提供することを目的とする。
本発明は、さらに、より正確な展開図の画像が得られる医療画像処理装置を提供することも目的とする。 (Object of invention)
The present invention has been made in view of the above points, and an object thereof is to provide a medical image processing apparatus capable of generating an image of a developed view that is easy to diagnose from a medical image obtained by imaging a tubular part such as Barrett's esophagus. To do.
It is another object of the present invention to provide a medical image processing apparatus that can obtain a more accurately developed image.

本発明の医療画像処理装置は、体腔内の画像を撮像する撮像手段と、前記撮像手段によって撮像された医療画像と、予め得られた管状体腔器官のモデル形状から得られる画像との相関性から、当該撮像手段と前記体腔内の位置関係を推定する位置推定手段と、前記位置推定手段により得られた位置関係を用いて前記撮像手段による医療画像を、前記管状体腔器官の管壁を近似した円柱体の内表面に投影した画像に変換する画像変換手段と、前記画像変換手段により得られた変換画像を展開図の画像として表示手段に出力する展開図出力手段と、を有することを特徴とする。
上記構成により、撮像された医療画像とモデル画像を用いて撮像手段と体腔内の器官との位置関係を推定することにより正確な展開図を生成することができる。より正確な展開図を生成することによってバレット食道のような病変の診断能力を改善することができる。 The medical image processing apparatus of the present invention is based on the correlation between an imaging unit that captures an image in a body cavity, a medical image captured by the imaging unit, and an image obtained from a model shape of a tubular body cavity organ obtained in advance. The position estimation means for estimating the positional relationship in the body cavity with the imaging means, and the medical image by the imaging means approximated the tube wall of the tubular body cavity organ using the positional relationship obtained by the position estimation means The image conversion means for converting into an image projected on the inner surface of the cylindrical body, and the development drawing output means for outputting the conversion image obtained by the image conversion means to the display means as an image of the development drawing, To do.
With the above configuration, it is possible to generate an accurate development view by estimating the positional relationship between the imaging means and the organ in the body cavity using the captured medical image and model image. Generating more accurate developments can improve the diagnostic ability of lesions such as Barrett's esophagus.

本発明によれば、食道等の管状部位の内表面の状態を診断し易い状態で観察できるようになる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to observe in the state which is easy to diagnose the state of the inner surface of tubular parts, such as an esophagus.

以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１から図８は、本発明の実施例１に係り、図１は本発明の実施例１を備えた内視鏡システムの構成を示し、図２は食道のような管状器官（管状部位）に挿入された内視鏡により撮像する様子を示し、図３は図２の内視鏡の撮像装置により撮像された内視鏡画像を示し、図４はＣＰＵによる画像処理機能を示し、図５は展開図を生成する為の処理フローを示し、図６は内視鏡画像と展開図の関係を示し、図７は展開図から得られる座標位置と内視鏡画像の各画素との位置関係の説明図を示し、図８は生成された展開図と内視鏡画像をモニタに表示した図を示す。
図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される本発明の医療画像処理装置の実施例１となる内視鏡画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示する表示モニタ４とから構成される。 1 to 8 relate to a first embodiment of the present invention, FIG. 1 shows a configuration of an endoscope system including the first embodiment of the present invention, and FIG. 2 shows a tubular organ (tubular portion) such as an esophagus. FIG. 3 shows an endoscope image captured by the endoscope imaging device of FIG. 2, FIG. 4 shows an image processing function by the CPU, and FIG. Shows the processing flow for generating a development view, FIG. 6 shows the relationship between the endoscopic image and the development view, and FIG. 7 shows the positional relationship between the coordinate position obtained from the development view and each pixel of the endoscopic image. FIG. 8 is a diagram showing a generated development view and an endoscopic image displayed on a monitor.
An endoscope system 1 shown in FIG. 1 includes an endoscope observation apparatus 2 and a personal computer that performs image processing on an endoscope image obtained by the endoscope observation apparatus 2. An endoscope image processing apparatus (hereinafter simply abbreviated as “image processing apparatus”) 3 and a display monitor 4 for displaying an image processed by the image processing apparatus 3. Is done.

内視鏡観察装置２は、体腔内に挿入される内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ９とを有する。
内視鏡６は、体腔内に挿入される挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。また、挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。
このライドガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により転送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。 The endoscope observation apparatus 2 includes an endoscope 6 that is inserted into a body cavity, a light source device 7 that supplies illumination light to the endoscope 6, and a camera control that performs signal processing on an imaging unit of the endoscope 6. A unit (abbreviated as CCU) 8 and a monitor 9 for displaying an endoscopic image photographed by the image sensor when a video signal output from the CCU 8 is input.
The endoscope 6 includes an insertion portion 11 that is inserted into a body cavity, and an operation portion 12 that is provided at the rear end of the insertion portion 11. Further, a light guide 13 that transmits illumination light is inserted into the insertion portion 11.
The rear end of the ride guide 13 is connected to the light source device 7. Then, the illumination light supplied from the light source device 7 is transferred by the light guide 13 and emitted (transmitted illumination light) is emitted from the distal end surface attached to the illumination window provided at the distal end portion 14 of the insertion portion 11. Illuminate the subject.

照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１６とによる撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結蔵された光学像は、このＣＣＤ１６により光電変換される。
このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。 An imaging device 17 is provided which includes an objective lens 15 attached to an observation window adjacent to the illumination window, and a charge coupled device (abbreviated as CCD) 16 as a solid-state imaging device disposed at the imaging position of the objective lens 15. is there. The optical image stored on the imaging surface of the CCD 16 is photoelectrically converted by the CCD 16.
The CCD 16 is connected to the CCU 8 via a signal line. When a CCD drive signal is applied from the CCU 8, the CCD 16 outputs a photoelectrically converted image signal. This image signal is signal-processed by a video processing circuit in the CCU 8 and converted into a video signal. This video signal is output to the monitor 9, and an endoscopic image is displayed on the display surface of the monitor 9. This video signal is also input to the image processing device 3.

この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。
また、この画像処理装置３は画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された情報等を記憶する情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び情報等を記憶装置インターフエース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部２９とを有する。 The image processing device 3 includes an image input unit 21 to which a video signal corresponding to an endoscopic image input from the endoscope observation device 2 is input, and image processing for image data input from the image input unit 21. CPU 22 as a central processing unit for performing the processing, and a processing program storage unit 23 for storing a processing program (control program) that causes the CPU 22 to execute image processing.
The image processing apparatus 3 includes an image storage unit 24 that stores image data input from the image input unit 21, an information storage unit 25 that stores information processed by the CPU 22, and an image processed by the CPU 22. A hard disk 27 serving as a storage device for storing data and information via the storage device interface 26, a display processing unit 28 for performing display processing for displaying image data processed by the CPU 22, and image processing by the user And an input operation unit 29 including a keyboard for inputting data such as parameters and performing an instruction operation.

そして、この表示処理部２８により生成された映像信号は、表示モニタ４に表示され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。
本実施例においては、図２に示すように、例えば食道３１のような管状器官或いは管状部位内に直視型の内視鏡６の挿入部１１が挿入され、先端部１４に設けた撮像装置１７により、食道３１の内壁等が撮像される。 The video signal generated by the display processing unit 28 is displayed on the display monitor 4, and a processed image subjected to image processing is displayed on the display surface of the display monitor 4. The image input unit 21, CPU 22, processing program storage unit 23, image storage unit 24, information storage unit 25, storage device interface 26, display processing unit 28, and input operation unit 29 are connected to each other via a data bus 30. ing.
In the present embodiment, as shown in FIG. 2, for example, an imaging device 17 provided at the distal end portion 14 is inserted into the tubular organ or tubular portion such as the esophagus 31 and the insertion portion 11 of the direct-view endoscope 6 is inserted. Thus, the inner wall of the esophagus 31 is imaged.

図３は、この直視型の内視鏡６によって撮像されたバレット食道の内視鏡画像Ｉａの１例を示している。バレット食道は、胃と食道の接合部から口腔に向かって連続的に食道粘膜（扁平上皮）が胃粘膜（円柱上皮）に変性した状態である。この変性した円柱上皮の広がり方や円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡６によって観察することにより、術者はバレット食道の診断を行う。
図３の内視鏡画像Ｉａの場合には、食道３１から胃内部に至る管状部位部分が最暗部画像３３、その周囲に胃及び食道の接合部の画像３４、接合部の周囲の円柱上皮の画像３５、そしてこの円柱上皮の周囲の扁平上皮の画像３６が表示されている。
本実施例では、食道３１のような管状器官の対象物を直視型の内視鏡６によって撮像し、撮像された内視鏡画像Ｉａを幾何学的に変換して、展開図を生成する処理を行い、生成された対象物の展開図を表示モニタ４で表示する。 FIG. 3 shows an example of an endoscopic image Ia of Barrett's esophagus imaged by this direct-view type endoscope 6. Barrett's esophagus is a state in which the esophageal mucosa (squamous epithelium) is continuously denatured into the gastric mucosa (columnar epithelium) from the junction of the stomach and esophagus toward the oral cavity. The operator diagnoses Barrett's esophagus by observing with the endoscope 6 the characteristic shape of the degenerated columnar epithelium spreading and the boundary between the columnar epithelium and the squamous epithelium.
In the case of the endoscopic image Ia in FIG. 3, the tubular part extending from the esophagus 31 to the stomach is the darkest part image 33, the image 34 of the joint of the stomach and the esophagus around it, and the columnar epithelium around the joint. An image 35 and an image 36 of the squamous epithelium around the columnar epithelium are displayed.
In the present embodiment, a processing for generating an unfolded view by capturing an object of a tubular organ such as the esophagus 31 with the direct-view endoscope 6 and geometrically converting the captured endoscope image Ia. And a development view of the generated object is displayed on the display monitor 4.

画像処理装置３を構成するＣＰＵ２２は、図４に示すように、幾何学的な変換を行う幾何学的画像変換手段（機能）２２ａと、幾何学的な変換により展開図の画像を表示モニタ４に出力する展開図出力手段（機能）２２ｂと有し、この表示モニタ４の表示面には展開図の画像（或いは単に展開図と略記）が表示される。
本実施例においては、図４に示した幾何学的画像変換手段２２ａと、展開図出力手段２２ｂをソフトウェア的に実現しており、このために処理プログラム記憶部２３に記憶（格納）された処理プログラムをＣＰＵ２２は読み出し、ＣＰＵ２２は、この処理プログラムに従って図５に示す処理手順を実行する。
次に図５を参照して、本実施例の動作を説明する。 As shown in FIG. 4, the CPU 22 constituting the image processing apparatus 3 includes a geometric image conversion means (function) 22 a that performs geometric conversion, and a display monitor 4 that displays an image of a development view through geometric conversion. And a development view output means (function) 22b for outputting to the display screen. An image of the development view (or simply a development view) is displayed on the display surface of the display monitor 4.
In the present embodiment, the geometric image conversion means 22a and the development drawing output means 22b shown in FIG. 4 are realized by software, and the processing stored (stored) in the processing program storage unit 23 for this purpose. The CPU 22 reads the program, and the CPU 22 executes the processing procedure shown in FIG. 5 according to this processing program.
Next, the operation of this embodiment will be described with reference to FIG.

画像処理装置３の動作が開始すると、ＣＰＵ２２は処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は最初のステップＳ１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される内視鏡画像Ｉａの画像データを取得する。
そして、次のステップＳ２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（例えば特開平８−２５６２９５号公報参照）や、ノイズ除去等の前処理を行い、ステップＳ３において内視鏡画像Ｉａ内の最暗部の位置を検出し、検出された最暗部の重心位置を内視鏡画像Ｉａの座標の中心位置とする。
本実施例においては、内視鏡画像Ｉａ内の最暗部の位置を中心に展開図を生成する。最暗部の検出方法として内視鏡画像Ｉａを複数の領域に分割し、分割された領域の平均輝度を算出し、最小の平均輝度を有する領域を最暗部の位置として求める。 When the operation of the image processing apparatus 3 starts, the CPU 22 reads the processing program in the processing program storage unit 23 and starts processing according to the processing program. In the first step S1, the CPU 22 acquires image data of the endoscopic image Ia input from the CCU 8 of the endoscope observation apparatus 2 via the image input unit 21.
In the next step S2, the CPU 22 performs pre-processing such as distortion correction (see, for example, JP-A-8-256295) and noise removal on the acquired image data, and in step S3, an endoscopic image is obtained. The position of the darkest part in Ia is detected, and the center of gravity position of the detected darkest part is set as the center position of the coordinates of the endoscope image Ia.
In this embodiment, a development view is generated around the position of the darkest part in the endoscopic image Ia. As a method for detecting the darkest part, the endoscopic image Ia is divided into a plurality of areas, the average luminance of the divided areas is calculated, and the area having the minimum average luminance is obtained as the position of the darkest part.

図６（Ａ）に示すように内視鏡画像Ｉａの２次元の直交座標系をＸ−Ｙとし、この内視鏡画像Ｉａから図６（Ｂ）に示すように展開図Ｉｂの座標系をθ−Ｚとする極座標系とする。なお座標系Ｘ−Ｙにおける座標位置はｘ、ｙで示す。また、極座標系θ−Ｚにおける座標位置は、周方向の位置を表すθ、中心からの距離位置を示すｚで示す。
なお、図６では内視鏡画像Ｉａから展開図Ｉｂが生成された場合の関係を分かりやすくするために、内視鏡画像Ｉａにおける扁平上皮と円柱上皮の境界、円柱上皮と胃食道の接合部の境界等を展開図にした場合にはどのような形状で表示されるかを矢印で対応付けて示している。ここで、θＡ、θＢ、θＣは、θが０度、４５度、９０度の場合を示したものであり、また、後述する他の実施例でも同様に示している。
次にステップＳ４とステップＳ５において展開図Ｉｂの座標位置Ｓ（θ、ｚ）の初期値を設定する。つまり、ステップＳ４において、ＣＰＵ２２は、θ＝０とし、ステップＳ５においてｚ＝０とする。
ステップＳ６において設定され展開図Ｉｂの座標Ｓ（θ、ｚ）に対応する内視鏡画像Ｉａの座標位置を以下の式（１）によって求める。

As shown in FIG. 6A, the two-dimensional orthogonal coordinate system of the endoscopic image Ia is XY, and from this endoscopic image Ia, the coordinate system of the developed view Ib is changed as shown in FIG. 6B. The polar coordinate system is θ−Z. The coordinate position in the coordinate system XY is indicated by x and y. The coordinate position in the polar coordinate system θ-Z is indicated by θ indicating the position in the circumferential direction and z indicating the distance position from the center.
In FIG. 6, in order to facilitate understanding of the relationship when the developed view Ib is generated from the endoscopic image Ia, the boundary between the squamous epithelium and the columnar epithelium in the endoscopic image Ia, and the junction between the columnar epithelium and the gastroesophageal tract When the boundary or the like is shown in a development view, an arrow indicates which shape is displayed. Here, θA, θB, and θC show the cases where θ is 0 degree, 45 degrees, and 90 degrees, and are similarly shown in other examples described later.
Next, in step S4 and step S5, an initial value of the coordinate position S (θ, z) of the development view Ib is set. That is, in step S4, the CPU 22 sets θ = 0, and sets z = 0 in step S5.
The coordinate position of the endoscopic image Ia set in step S6 and corresponding to the coordinate S (θ, z) of the developed view Ib is obtained by the following equation (1).

ステップＳ７において算出された座標Ｐ（ｘ、ｙ）が内視鏡画像Ｉａ内に存在するかを判断する。
そして、内視鏡画像Ｉａ内に存在する場合は、ステップＳ８に進む。図７に示すように式（１）より得られた内視鏡画像の座標Ｐ（ｘ、ｙ）の位置は、画素間の中に存在する可能性がある為、ステップＳ８で線形補間等の処理を用いて座標Ｐ（ｘ、ｙ）の輝度値を算出する。例えば、得られた座標位置（符号×で示す）の周囲の４画素○（斜線で示したもの）の輝度値と位置関係から座標位置×の輝度値を求める。
なお、輝度値としては、カラー撮像を行っている場合には、各色信号の輝度値に相当する。 It is determined whether the coordinates P (x, y) calculated in step S7 are present in the endoscopic image Ia.
And when it exists in the endoscopic image Ia, it progresses to step S8. As shown in FIG. 7, since the position of the coordinate P (x, y) of the endoscopic image obtained from the equation (1) may exist between pixels, linear interpolation or the like is performed in step S8. The luminance value at the coordinates P (x, y) is calculated using the process. For example, the luminance value of the coordinate position x is obtained from the luminance value and the positional relationship of the four pixels ◯ (shown by diagonal lines) around the obtained coordinate position (denoted by a symbol x).
Note that the luminance value corresponds to the luminance value of each color signal when color imaging is performed.

ステップＳ９においてステップＳ８で求めた輝度値を展開図の座標Ｓ（θ、ｚ）の輝度値とする。次にステップＳ１０に進み展開図のｚの値を変更（例えばｚの増分Δｚ＝１）し、ステップＳ６に戻る。
一方、ステップＳ７において算出された座標Ｐ（ｘ、ｙ）が内視鏡画像Ｉａ内に存在しない場合、ステップＳ１１へ進み、展開図Ｉｂのθの値を変更する（例えばθの増分Δθ＝π／１８０、つまり１°）。
次のステップＳ１２において、θが２π（３６０°）より小さければステップＳ５に戻り、展開図生成の処理を継続する。一方、θが２π以上になった場合、展開図が生成されたと判断しステップＳ１３に進み、内視鏡画像Ｉａと展開図Ｉｂとを表示モニタ４に出力し、処理を終了する。 In step S9, the luminance value obtained in step S8 is set as the luminance value of the coordinate S (θ, z) in the development view. Next, the process proceeds to step S10, the value of z in the development view is changed (for example, z increment Δz = 1), and the process returns to step S6.
On the other hand, if the coordinate P (x, y) calculated in step S7 does not exist in the endoscopic image Ia, the process proceeds to step S11, and the value of θ in the developed view Ib is changed (for example, an increment of θ Δθ = π). / 180 or 1 °).
In the next step S12, if [theta] is smaller than 2 [pi] (360 [deg.]), The process returns to step S5 to continue the process of generating a development view. On the other hand, if θ is equal to or greater than 2π, it is determined that a development view has been generated, the process proceeds to step S13, the endoscopic image Ia and the development view Ib are output to the display monitor 4, and the process ends.

そして、図８に示すように表示モニタ４には、内視鏡画像Ｉａと展開図Ｉｂが表示される。なお、図８においては、内視鏡画像Ｉａと展開図Ｉｂとの両方を表示しているが、展開図Ｉｂのみを表示してもよい。
このように本実施例においては、展開図Ｉｂを生成してこの展開図Ｉｂを内視鏡画像Ｉａと共に表示モニタ４に表示するようにしているので、単に内視鏡画像Ｉａの場合よりも周方向（θ方向）と奥行き方向（ｚ方向）との値をより比較等がし易い状態で表示できるので、バレット食道等の管状器官の診断をより客観的に行い易くなる。 As shown in FIG. 8, the display monitor 4 displays the endoscopic image Ia and the development view Ib. In FIG. 8, both the endoscopic image Ia and the developed view Ib are displayed, but only the developed view Ib may be displayed.
As described above, in this embodiment, the development view Ib is generated and displayed on the display monitor 4 together with the endoscopic image Ia. Since the values of the direction (θ direction) and the depth direction (z direction) can be displayed in a state where it is easier to compare, the diagnosis of tubular organs such as Barrett's esophagus can be performed more objectively.

従来例では、図８における内視鏡画像Ｉａのみが表示され、この内視鏡画像Ｉａでは管状器官等の内面を２次元的に投影した画像となっており、例えば奥行き方向の距離によって、縮小された状態で各部が表示される。
このため、例えば奥行き方向の値が異なる部分を比較しようとしても、各部が奥行き方向の距離により、そのスケールが異なっているため、比較することが簡単にできない。これに対して、本実施例によれば、２次元的に撮像された内視鏡画像Ｉａにおける各画素の位置を、中心位置を通る基準線の回りの周方向の位置と、この周方向と直交する（中心位置からの）距離位置とに変換した状態で、各画素の輝度値の情報を貼り付け、周方向の位置、つまり角θの値で展開して表示するようにしている。 In the conventional example, only the endoscopic image Ia in FIG. 8 is displayed, and this endoscopic image Ia is an image obtained by two-dimensionally projecting the inner surface of a tubular organ or the like. Each part is displayed in the state where it is done.
For this reason, for example, even if an attempt is made to compare portions having different values in the depth direction, comparison cannot be easily performed because the scales of the respective portions differ depending on the distance in the depth direction. On the other hand, according to the present embodiment, the position of each pixel in the endoscopic image Ia that is two-dimensionally imaged, the circumferential position around the reference line passing through the center position, and the circumferential direction In a state of being converted to a perpendicular distance position (from the center position), information on the luminance value of each pixel is pasted, and developed and displayed at the circumferential position, that is, the value of the angle θ.

このため、本実施例によれば、奥行き方向の距離が異なる位置でも、周方向のスケールを揃えて表示でき、従って場所が異なる部位での比較が簡単に行え、診断し易く表示できる。
従って本実施例は、以下の効果を有する。
直視型の内視鏡６により撮像された食道３１のような管状器官の内視鏡画像Ｉａに対して幾何学的な変換を行うことで、胃と食道の接合部から連続的に存在する円柱上皮の広がり方、円柱上皮と扁平上皮の特徴的な形状を容易に観察できる為、バレット食道等の診断を行い易くする効果がある。 For this reason, according to the present embodiment, even in the position where the distance in the depth direction is different, the scales in the circumferential direction can be aligned and displayed, so that the comparison can be easily performed at different locations and can be displayed easily.
Therefore, the present embodiment has the following effects.
By performing geometric transformation on the endoscopic image Ia of the tubular organ such as the esophagus 31 imaged by the direct-view type endoscope 6, a cylinder continuously present from the junction between the stomach and the esophagus Since the spread of the epithelium and the characteristic shapes of the columnar epithelium and the squamous epithelium can be easily observed, there is an effect of facilitating the diagnosis of Barrett's esophagus and the like.

次に図９から図１３を参照して本発明の実施例２を説明する。
本実施例は、図１の画像処理装置３と同じハードウェアの構成である。そして、実施例１とは処理プログラム記憶部２３に記憶される処理プログラムの内容が異なる。
本実施例では、図９に示すように食道内面を、この食道内面の平均的な直径の値とした円柱体４１と仮定して、内視鏡６の（ＣＣＤ１６の）撮像面４２により撮像される内視鏡画像を円柱体４１の表面に投影する。
つまり、図９に示すように（撮像装置１７を構成するＣＣＤ１６の）撮像面４２に撮像される内視鏡画像を円柱体４１の表面に、円柱体４１の内側を通して投影する。この場合、円柱体４１のサイズは、略食道の管壁（内壁）の値、より具体的にはその平均値に設定する。 Next, Embodiment 2 of the present invention will be described with reference to FIGS.
This embodiment has the same hardware configuration as that of the image processing apparatus 3 in FIG. And the content of the processing program memorize | stored in the processing program memory | storage part 23 differs from Example 1. FIG.
In this embodiment, as shown in FIG. 9, assuming that the inner surface of the esophagus is a cylindrical body 41 having an average diameter value of the inner surface of the esophagus, the image is picked up by the imaging surface 42 (of the CCD 16) of the endoscope 6. The endoscope image is projected onto the surface of the cylindrical body 41.
That is, as shown in FIG. 9, an endoscopic image imaged on the imaging surface 42 (of the CCD 16 constituting the imaging device 17) is projected onto the surface of the cylindrical body 41 through the inside of the cylindrical body 41. In this case, the size of the cylindrical body 41 is set to a value of the tube wall (inner wall) of the esophagus, more specifically, an average value thereof.

つまり、円管に近い食道内面を対物レンズ１５及びＣＣＤ１６からなる撮像装置１７によりＣＣＤ１６の撮像面４２に結像し、その結像により光電変換されて撮像される主に食道及び胃につながる接合部付近の内視鏡画像を、その食道内側の管壁を近似した円柱体４１の内表面に対物レンズ１５により投影した画像を生成するように幾何学的な変換を行う。
そして、この幾何学的な変換により、内視鏡画像が投影された円柱体４１を展開することにより、その円柱体４１に投影された内視鏡画像の展開図（の画像）を生成し、展開図を表示モニタ４等の表示装置に出力して、その表示装置の表示面に展開図を表示するようにする。 In other words, the inner surface of the esophagus close to the circular tube is imaged on the imaging surface 42 of the CCD 16 by the imaging device 17 including the objective lens 15 and the CCD 16, and the junction that is mainly connected to the esophagus and stomach is imaged by photoelectric conversion by the imaging. the endoscopic image near performs geometric transformation to produce an image projected by the objective lens 1 5 on the inner surface of the cylindrical body 41 that approximates the tube wall of the esophagus inside.
Then, by developing the cylindrical body 41 on which the endoscopic image is projected by this geometric transformation, a developed view (image) of the endoscopic image projected on the cylindrical body 41 is generated. The development view is output to a display device such as the display monitor 4 and the development view is displayed on the display surface of the display device.

展開図を生成する処理手順を図１０のフローチャートにより説明する。
実施例１と同様に画像処理装置３の動作が開始すると、ＣＰＵ２２は、処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は、最初のステップＳ２１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される内視鏡画像Ｉａの画像データを取得する。
そして、次のステップＳ２２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（特開平８−２５６２９５号公報参照）や、ノイズ除去等の前処理を行い、さらにステップＳ２３において内視鏡画像内の最暗部の位置を検出し、検出された位置を内視鏡画像の座標の中心位置とする。
図９に示すように内視鏡画像（ＣＣＤ１６の撮像面４２）上の座標系をＸ−Ｙ、円柱体表面の座標系をθ−Ｚとする。 A processing procedure for generating a development view will be described with reference to the flowchart of FIG.
When the operation of the image processing apparatus 3 starts as in the first embodiment, the CPU 22 reads the processing program in the processing program storage unit 23 and starts processing according to the processing program. In the first step S21, the CPU 22 acquires image data of the endoscopic image Ia input from the CCU 8 of the endoscope observation apparatus 2 via the image input unit 21.
In the next step S22, the CPU 22 performs pre-processing such as distortion correction (see Japanese Patent Laid-Open No. 8-256295) and noise removal on the acquired image data, and in step S23, an endoscopic image. The position of the darkest part is detected, and the detected position is set as the center position of the coordinates of the endoscopic image.
As shown in FIG. 9, the coordinate system on the endoscopic image (the imaging surface 42 of the CCD 16) is XY, and the coordinate system of the cylindrical surface is θ-Z.

図１１に示すように内視鏡画像Ｉａの各画素をＩ（ｉ、ｊ）（１≦ｉ≦ｉ＿ｍａｘ、１≦ｊ≦ｊ＿ｍａｘ）、最暗部の位置をＩ（ｉｏ、ｊｏ）とすると、図９の内視鏡画像の座標系Ｘ−Ｙにおける座標Ｐ（ｘ、ｙ）と、内視鏡画像Ｉａの画素位置Ｉ（ｉ、ｊ）との関係は以下の式（２）で表される。

As shown in FIG. 11, assuming that each pixel of the endoscopic image Ia is I (i, j) (1 ≦ i ≦ i_max, 1 ≦ j ≦ j_max) and the position of the darkest part is I (io, jo), The relationship between the coordinate P (x, y) in the coordinate system XY of the endoscope image 9 and the pixel position I (i, j) of the endoscope image Ia is expressed by the following equation (2). .

ただし、ｘ_CCDとｙ_CCDはＸ軸、Ｙ軸方向の画素間の距離である。 However, x _CCD and y _CCD are distances between pixels in the X-axis and Y-axis directions.

次にステップＳ２４とステップＳ２５において内視鏡画像Ｉａの画素の初期位置Ｉ（１、１）を設定する。つまり、画素位置パラメータｉ＝１，ｊ＝１と設定する。そして、次のステップＳ２６においてＣＰＵ２２は、内視鏡画像Ｉａの座標Ｐ（ｘ、ｙ）に対応する円柱体４１の表面の座標Ｃ（θ、ｚ）を以下の式（３）によって求める。

Next, in step S24 and step S25, the initial position I (1, 1) of the pixel of the endoscopic image Ia is set. That is, the pixel position parameter i = 1 and j = 1 are set. In the next step S26, the CPU 22 obtains the surface coordinates C (θ, z) of the cylindrical body 41 corresponding to the coordinates P (x, y) of the endoscopic image Ia by the following equation (3).

ただし、ｆは撮像系（具体的には対物レンズ１５）の焦点距離、ｒは円柱体４１の半径（例えば食道の平均的な直径より半径を算出）、αは画角である。 Here, f is the focal length of the imaging system (specifically, the objective lens 15), r is the radius of the cylindrical body 41 (for example, the radius is calculated from the average diameter of the esophagus), and α is the angle of view.

ステップＳ２７においてＣＰＵ２２は、内視鏡画像Ｉａの画素Ｉ（ｉ、ｊ）（今の場合にはｉ＝１，ｊ＝１）に対応する円柱体４１の表面の座標位置Ｃ（θ、ｚ）を画像記憶部２４等で記憶する処理を行う。
次のステップＳ２８において、ＣＰＵ２２は、パラメータｉを１増分（水平方向に画素を隣の画素に移動）し、ステップＳ２９においてパラメータｉがｉ＿ｍａｘ以下かの判断を行い、パラメータｉがｉ＿ｍａｘ以下であれば、ステップＳ２６に戻り、処理を継続する。
一方、パラメータｉがｉ＿ｍａｘより大きくなった場合には、ＣＰＵ２２は、次のステップＳ３０の処理に進み、このステップＳ３０においてＣＰＵ２２は、パラメータｊを１増分（垂直方向に画素を隣の画素に移動）する。 In step S27, the CPU 22 determines the coordinate position C (θ, z) of the surface of the cylindrical body 41 corresponding to the pixel I (i, j) (i = 1, j = 1 in this case) of the endoscopic image Ia. Is stored in the image storage unit 24 or the like.
In the next step S28, the CPU 22 increments the parameter i by 1 (moves the pixel in the horizontal direction to the adjacent pixel), determines whether the parameter i is i_max or less in step S29, and if the parameter i is i_max or less. Returning to step S26, the processing is continued.
On the other hand, when the parameter i becomes larger than i_max, the CPU 22 proceeds to the process of the next step S30. In this step S30, the CPU 22 increments the parameter j by 1 (moves the pixel in the vertical direction to the adjacent pixel). To do.

次のステップＳ３１においてＣＰＵ２２は、パラメータｊがｊ＿ｍａｘ以下かの判断を行い、パラメータｊがｊ＿ｍａｘ以下であれば、ステップＳ２５に戻り、処理を継続する。
一方、パラメータｊがｊ＿ｍａｘより大きくなった場合には、ＣＰＵは、次のステップＳ３２の処理に移る。
このステップＳ３２においてＣＰＵ２２は、内視鏡画像Ｉａの全ての画素Ｉ（ｉ、ｊ）に対応する円柱体４１の表面の座標位置Ｃ（θ、ｚ）を求め、展開図を（以下で述べるように、補間処理により）生成する。
図１２（Ｂ）に示す円柱体表面の座標系θ−ｚに、図１２（Ａ）の内視鏡画像Ｉａの各画素の輝度値を貼り付ける。 In the next step S31, the CPU 22 determines whether the parameter j is j_max or less. If the parameter j is j_max or less, the CPU 22 returns to step S25 and continues the process.
On the other hand, when the parameter j becomes larger than j_max, the CPU proceeds to the process of the next step S32.
In this step S32, the CPU 22 obtains the coordinate position C (θ, z) of the surface of the cylindrical body 41 corresponding to all the pixels I (i, j) of the endoscopic image Ia, and develops a development view (as described below). (By interpolation processing).
The luminance value of each pixel of the endoscopic image Ia in FIG. 12A is pasted on the coordinate system θ-z of the cylindrical body surface shown in FIG.

図１３に示す展開図Ｉｂで表示される円柱体表面に貼り付けられた画素は、不均一に存在し、Ｚの値が大きくなる程、粗くなる。
また、図１３に示すように貼り付けられた各画素は、表示モニタ４等の表示装置に表示される画像の各画素位置と一致しない為、補間処理によって表示装置に表示する画像、すなわち展開図Ｉｂを生成する。
つまり、ＣＰＵ２２はステップＳ３２において、上記補間処理を行い、表示モニタ４等の表示装置に表示可能な画像、すなわち展開図Ｉｂを生成する。そして、ＣＰＵ２２はステップＳ３３において、この展開図Ｉｂを内視鏡画像Ｉａと共に表示モニタ４に出力する。そして、ステップＳ３４に示すように表示モニタ４には、図８のように展開図Ｉｂ及び内視鏡画像Ｉａが表示され、この処理を終了する。但し、この展開図Ｉｂは実施例１とはｚ方向に関する傾向が異なる展開図として表示される。 The pixels pasted on the surface of the cylindrical body displayed in the developed view Ib shown in FIG. 13 are non-uniformly present and become rougher as the value of Z increases.
Further, since each pixel pasted as shown in FIG. 13 does not coincide with each pixel position of the image displayed on the display device such as the display monitor 4, an image displayed on the display device by interpolation processing, that is, a developed view. Ib is generated.
That is, in step S32, the CPU 22 performs the above-described interpolation processing, and generates an image that can be displayed on a display device such as the display monitor 4, that is, a development view Ib. In step S33, the CPU 22 outputs the development view Ib together with the endoscope image Ia to the display monitor 4. Then, as shown in step S34, the development monitor Ib and the endoscopic image Ia are displayed on the display monitor 4 as shown in FIG. 8, and this processing ends. However, this development view Ib is displayed as a development view in which the tendency in the z direction is different from that in the first embodiment.

本実施例は以下の効果を有する。
食道３１のような管状器官の内面を円柱体４１と仮定し、内視鏡６の撮像面に撮影される内視鏡画像Ｉａを円柱体４１に投影することによって展開図Ｉｂを生成する為、実施例１よりも正確な展開図Ｉｂを生成できる。
つまり、実施例１では、内視鏡画像Ｉａの各位置を、この内視鏡画像Ｉａにおける中心からの距離ｚと、中心を通る基準位置からの周方向の位置情報としての角θとによる極座標系に変換して、角θにより展開して距離ｚと共に展開図Ｉｂとして表示するようにしたのに対し、本実施例では食道３１の管状部位（管状器官）を円柱体４１と見なして、内視鏡画像Ｉａの位置をその円柱体４１の表面に投影して展開図Ｉｂを生成するようにしているので、より実際の状態を反映した展開図Ｉｂを生成できる。 This embodiment has the following effects.
Assuming that the inner surface of a tubular organ such as the esophagus 31 is a cylindrical body 41 and projecting an endoscopic image Ia imaged on the imaging surface of the endoscope 6 onto the cylindrical body 41, a development view Ib is generated. The development view Ib can be generated more accurately than in the first embodiment.
In other words, in the first embodiment, each position of the endoscopic image Ia is expressed in polar coordinates by the distance z from the center in the endoscopic image Ia and the angle θ as the position information in the circumferential direction from the reference position passing through the center. In the present embodiment, the tubular portion (tubular organ) of the esophagus 31 is regarded as the cylindrical body 41 while being expanded as an angle θ and displayed as a developed view Ib along with the distance z. Since the development view Ib is generated by projecting the position of the endoscopic image Ia onto the surface of the cylindrical body 41, the development view Ib reflecting the actual state can be generated.

従って、本実施例によれば、奥行き方向（管腔の軸方向）における値が異なる部分においてもより比較に耐える展開図Ｉｂを得ることができる。
なお、実施例１及び実施例２では内視鏡画像内の最暗部の位置を検出して内視鏡画像Ｉａの中心位置としていたが、輝度の変化方向から中心位置を推定することもできる（特開２００３−９３３２８号公報参照）。 Therefore, according to the present embodiment, it is possible to obtain a development view Ib that can withstand comparison even in a portion having different values in the depth direction (axial direction of the lumen).
In the first and second embodiments, the position of the darkest part in the endoscopic image is detected and set as the center position of the endoscopic image Ia. However, the center position can also be estimated from the luminance change direction ( JP 2003-93328 A).

次に図１４から図１７を参照して本発明の実施例３を説明する。
本画像処理装置の構成は、実施例１と同じであり、処理プログラム記憶部２３に記憶される処理プログラムが異なる。そして、この処理プログラムにより以下の処理を行う。本実施例では、食道のような管状器官を円柱体４１と仮定し、内視鏡先端（の撮像手段）と管状器官との位置関係をモデル画像及び内視鏡画像を用いて推定する。
そして、推定された位置関係に基いて内視鏡６によって撮影された内視鏡画像を円柱体４１の表面に投影し、投影された画像を展開した展開図として表示モニタ４等の表示装置に表示する。 Next, Embodiment 3 of the present invention will be described with reference to FIGS.
The configuration of the image processing apparatus is the same as that of the first embodiment, and the processing programs stored in the processing program storage unit 23 are different. Then, the following processing is performed by this processing program. In this embodiment, a tubular organ such as the esophagus is assumed to be a cylindrical body 41, and the positional relationship between the endoscope tip (imaging means) and the tubular organ is estimated using a model image and an endoscope image.
Then, an endoscopic image photographed by the endoscope 6 based on the estimated positional relationship is projected onto the surface of the cylindrical body 41, and the projected image is developed on a display device such as the display monitor 4 as a developed view. indicate.

上記位置関係を推定するために、本実施例においては、内視鏡６の先端に設けられた撮像装置１７（の撮像面）と円柱体４１の位置関係を変更した複数のモデル画像を生成し、生成された複数のモデル画像と実際に撮影された内視鏡画像Ｉａとのマッチング処理を行い、撮影された内視鏡画像Ｉａに近いモデル画像を検出する。
そして、検出されたモデル画像から撮像装置１７と円柱体４１の位置関係を推定する。モデル画像の生成方法を図１４により説明する。
図１４は、食道のような管状器官の内面を円柱体４１と仮定し、撮像装置１７の撮像面４２と円柱体４１の位置関係を示した図である。実施例２においては、撮像面４２の光軸が円柱体４１の中心を通る条件設定をしていたが、本実施例ではこの条件を外すと共に、両者が傾いている場合も考慮する。 In order to estimate the positional relationship, in this embodiment, a plurality of model images in which the positional relationship between the imaging device 17 (imaging surface) provided at the distal end of the endoscope 6 and the cylindrical body 41 is changed are generated. Then, a matching process is performed between the plurality of generated model images and the actually captured endoscopic image Ia, and a model image close to the captured endoscopic image Ia is detected.
Then, the positional relationship between the imaging device 17 and the cylindrical body 41 is estimated from the detected model image. A model image generation method will be described with reference to FIG.
FIG. 14 is a diagram illustrating the positional relationship between the imaging surface 42 of the imaging device 17 and the cylindrical body 41, assuming that the inner surface of a tubular organ such as the esophagus is a cylindrical body 41. In the second embodiment, the condition is set such that the optical axis of the imaging surface 42 passes through the center of the cylindrical body 41. However, in this embodiment, this condition is removed and the case where both are inclined is also considered.

円柱体４１を基準とした座標系をＸ_Ｌ−Ｙ_Ｌ−Ｚ_Ｌとすると円柱体４１表面の座標（ｘ_L、ｙ_L、ｚ_L）は以下の式（４）で表される。

Assuming that the coordinate system based on the cylinder 41 is X _L -Y _L -Z _L , the coordinates (x _L , y _L , z _L ) on the surface of the cylinder 41 are expressed by the following equation (4).

また、撮像面４２を基準とした座標系をＸ−Ｙ−Ｚとすると、円柱体４１の座標系Ｘ_Ｌ−Ｙ_Ｌ−Ｚ_Ｌとの関係は以下の式（５）で表される。

Further, when a coordinate system based on the imaging surface 42 and X-Y-Z, the relationship between the coordinate system _X _L _-Y L -Z L of the cylindrical body 41 is expressed by the following equation (5).

ただし、Ｒは回転行列、Ｍは並進行列である。つまり、行列ＲとＭは、撮像装置１７の撮像面４２に対する円柱体４１の位置関係を表すパラメータとなる。 However, R is a rotation matrix and M is a parallel progression. That is, the matrices R and M are parameters representing the positional relationship of the cylindrical body 41 with respect to the imaging surface 42 of the imaging device 17.

撮像面４２によって撮影される内視鏡画像を基準とした座標系をＸ_Ｉ−Ｙ_Ｉとすると、撮像面４２の座標系Ｘ−Ｙ−Ｚとの関係は、以下の式（６）で表される。

Table coordinate system based on the endoscopic image captured by the imaging surface 42 when the X _I -Y _I, the relationship between the coordinate system X-Y-Z of the imaging plane 42, the following equation (6) Is done.

図１５に示すように光源Ｑが物体から有限の距離ｄにあり、この光源Ｑを点光源と仮定し、この物体の具体例としての円柱体表面は、光源Ｑの光を拡散反射すると仮定した場合、円柱体表面の反射光Ｉは、以下の式（７）で表される。

As shown in FIG. 15, it is assumed that the light source Q is at a finite distance d from the object, the light source Q is a point light source, and the cylinder surface as a specific example of the object diffuses and reflects the light of the light source Q. In this case, the reflected light I on the surface of the cylindrical body is represented by the following formula (7).

ただし、ｋは面の拡散反射率、Ｉｑは光源Ｑの光度、βは点Ｗにおける面の法線と光源方向ＱＷのなす角度、ｄは点Ｗと光源Ｑの距離である。 Here, k is the diffuse reflectance of the surface, Iq is the luminous intensity of the light source Q, β is the angle formed by the normal of the surface at the point W and the light source direction QW, and d is the distance between the point W and the light source Q.

従って、撮像装置１７に対する円柱体４１の位置・向きを設定することにより円柱体表面の位置Ｂから撮像装置１７により撮影される内視鏡画像上の位置Ａを式（４）〜（６）で求め、そのときの輝度値を式（７）で算出することができる。
図１６（Ａ）は撮像装置１７が円柱体４１の中心線５１上に存在し、中心線５１方向に向いている場合に得られるモデル画像６３ａ、図１６（Ｂ）は撮像装置１７を図１６（Ａ）の状態から平行に移動した場合に得られるモデル画像６３ｂ、図１６（Ｃ）は撮像装置１７を（Ａ）の状態から平行に移動し、向きを変更した場合に得られるモデル画像６３ｃである。
従って、撮像装置１７と円柱体の位置−向きを複数設定し、複数のモデル画像を生成する。 Accordingly, by setting the position / orientation of the cylindrical body 41 with respect to the imaging device 17, the position A on the endoscopic image captured by the imaging device 17 from the position B on the surface of the cylindrical body is expressed by the equations (4) to (6). The luminance value at that time can be calculated by equation (7).
16A shows a model image 63a obtained when the imaging device 17 exists on the center line 51 of the cylindrical body 41 and faces the direction of the center line 51, and FIG. 16B shows the imaging device 17 in FIG. FIG. 16C shows a model image 63b obtained when the imaging device 17 is moved in parallel from the state (A) and the orientation is changed. It is.
Accordingly, a plurality of position-directions of the imaging device 17 and the cylindrical body are set, and a plurality of model images are generated.

そして、図１７に示すフローチャートに沿って処理し、以下に説明するように展開図Ｉｂを生成する。
実施例１と同様に画像処理装置３の動作が開始すると、ＣＰＵ２２は処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は最初のステップＳ４１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される内視鏡画像の画像データを取得する。
そして、次のステップＳ４２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（特開平８−２５６２９５号公報）や、ノイズ除去等の前処理を行い、ステップＳ４３においてモデル画像とのマッチング処理を行う。マッチング処理は正規化相互相関等により取得された内視鏡画像とモデル画像との相関値を計算し、相関が最も高いモデル画像を検出する。 Then, processing is performed according to the flowchart shown in FIG. 17, and a development view Ib is generated as described below.
When the operation of the image processing apparatus 3 starts as in the first embodiment, the CPU 22 reads the processing program in the processing program storage unit 23 and starts processing according to the processing program. In the first step S41, the CPU 22 acquires image data of an endoscopic image input from the CCU 8 of the endoscope observation apparatus 2 via the image input unit 21.
In the next step S42, the CPU 22 performs pre-processing such as distortion correction (Japanese Patent Laid-Open No. 8-256295) and noise removal on the acquired image data, and in step S43, matching processing with the model image is performed. I do. Matching process calculates a correlation value between the endoscopic image and the model image image acquired by the normalized cross-correlation or the like, detects the highest model image correlation.

ステップＳ４３のマッチング処理により取得された画像データと最も相関の高いモデル画像を検出し、検出されたモデル画像から撮像装置１７と円柱体４１の位置・向きの関係を求める。実施例１の図６（Ａ）に示すように内視鏡画像Ｉａの座標系をＸ−Ｙとし、展開図の座標系は、θ_Ｌ−Ｚ_Ｌとする。
次にステップＳ４４とステップＳ４５において円柱体表面の座標Ｓ（θ_L、ｚ_L）の初期値を設定する。ステップＳ４６において設定された座標Ｓ（θ_L、ｚ_L）に対応する内視鏡画像の座標Ｐ（ｘ_I、ｙ_Ｉ）を式（４）〜（６）によって求める。 A model image having the highest correlation with the image data acquired by the matching process in step S43 is detected, and the relationship between the position and orientation of the imaging device 17 and the cylindrical body 41 is obtained from the detected model image. As shown in FIG. 6A of the first embodiment, the coordinate system of the endoscopic image Ia is XY, and the coordinate system of the developed view is θ _L -Z _L.
Next, in step S44 and step S45, initial values of the coordinates S (θ _L , z _L ) of the cylindrical body surface are set. The coordinates P (x _I , y _I ) of the endoscope image corresponding to the coordinates S (θ _L , z _L ) set in step S46 are obtained by equations (4) to (6).

ステップＳ４７において算出された座標Ｐ（ｘ_I、ｙ_I）が内視鏡画像内に存在するかを判断する。内視鏡画像内に存在する場合はステップＳ４８に進む。 It is determined whether the coordinates P (x _I , y _I ) calculated in step S47 exist in the endoscopic image. If it exists in the endoscopic image, the process proceeds to step S48.

実施例１の図７に示すように内視鏡画像の座標Ｐ（ｘ_I、ｙ_I）の位置は、画素間の中間に存在する可能性がある為、ステップＳ４８で線形補間等の処理を用いて座標Ｐ（ｘ_I、ｙ_I）の輝度値を算出する。
例えば、得られた座標位置×の周囲４画素○（斜線）の輝度値と位置関係から座標位置×の輝度値を求める。
ステップＳ４９においてステップＳ４８で求めた輝度値を展開図の座標Ｓ（θ_L、ｚ_L）の輝度値とする。
次にステップＳ５０に進み、展開図のＺ_Lの値を変更（例えばΔｚ_L＝１）し、ステップＳ４６に進む。 As shown in FIG. 7 of the first embodiment, the position of the coordinates P (x _I , y _I ) of the endoscopic image may exist in the middle between the pixels, and therefore processing such as linear interpolation is performed in step S48. The luminance value of the coordinates P (x _I , y _I ) is calculated by using this.
For example, the luminance value at the coordinate position x is obtained from the luminance value and the positional relationship between the obtained four pixels around the coordinate position x (shaded line).
In step S49, the luminance value obtained in step S48 is set as the luminance value of coordinates S (θ _L , z _L ) in the development view.
Next, the process proceeds to step S50, the value of Z _{L in} the developed view is changed (for example, Δz _L = 1), and the process proceeds to step S46.

ステップＳ４７において算出された座標Ｐ（ｘ_I、ｙ_I）が内視鏡の画像内に存在しない場合、ステップＳ５１へ進み展開図のθ_Lの値を変更する。（例えばΔθ_L＝π／ｌ８０：１°）
ステップＳ５２でθ_Ｌが２π（３６０°）より小さければステップＳ４５へ進み展開図生成の処理を継続する。θ_Ｌが２π以上になった場合、展開図が生成されたと判断しステップＳ５３に進み、実施例１のように内視鏡画像と展開図を表示モニタ４に表示し処理を終了する（展開図のみを表示してもよい）。
本実施例は以下の効果を有する。 If the coordinates P (x _I , y _I ) calculated in step S47 do not exist in the endoscope image, the process proceeds to step S51 and the value of θ _{L in} the development view is changed. (For example, Δθ _L = π / l80: 1 °)
Theta _L in step S52 to continue processing the product view deployment proceeds to if step S45 is smaller than 2π (360 °). If theta _L is equal to or greater than 2 [pi, the process proceeds to then step S53 determines that the developed view has been generated, and ends the display process the developed view and an endoscopic image on the display monitor 4 as in Example 1 (exploded view Only may be displayed).
This embodiment has the following effects.

食道のような管状の器官を円柱体４１と仮定し、円柱体４１と撮像装置１７の位置・向きの関係を画像から推定し、推定された位置・向きに基いて内視鏡画像の展開図を生成する為、実施例２よりもさらに正確な展開図を生成できる。
実施例１〜実施例３では、細長の挿入部１１を有する内視鏡６を用いて説明したが、図１８に示すようなカプセル型内視鏡８２の場合にも適用できる。
図１８に示すように変形例を備えたカプセル型内視鏡システム８１は患者が飲み込むことにより体腔内を撮像するカプセル型内視鏡装置（以下ではカプセル型内視鏡と略記）８２と、患者の体外に配置され、カプセル型内視鏡８２からの画像データを受信して記録する体外装置８３と、この体外装置８３から画像が入力される画像処理装置８４とからなる。 Assuming that a tubular organ such as the esophagus is a cylindrical body 41, the relationship between the position and orientation of the cylindrical body 41 and the imaging device 17 is estimated from an image, and a developed view of an endoscopic image based on the estimated position and orientation Therefore, it is possible to generate a more accurate developed view than in the second embodiment.
In the first to third embodiments, the endoscope 6 having the elongated insertion portion 11 has been described. However, the present invention can also be applied to a capsule endoscope 82 as shown in FIG.
As shown in FIG. 18, a capsule endoscope system 81 having a modified example includes a capsule endoscope apparatus 82 (hereinafter abbreviated as a capsule endoscope) that images a body cavity when a patient swallows, and a patient And an external device 83 that receives and records image data from the capsule endoscope 82, and an image processing device 84 to which an image is input from the external device 83.

カプセル型内視鏡８２は、カプセル状の容器内に照明手段としての例えばＬＥＤ８５と、照明された被写体の像を結ぶ対物レンズ８６及びその結像位置に配置され、撮像を行う撮像手段を構成するＣＣＤ８７と、このＣＣＤ８７により撮像された撮像信号に対する信号処理等を行う制御回路８８と、撮像された画像を無線で送信する処理を行う無線回路８９と、各回路等に電力を供給する電池９０を有する。
また、体外装置８３は、カプセル型内視鏡８２の無線回路８９のアンテナ８９ａから電波を複数のアンテナ９１ａ、９１ｂ、９１ｃを介して無線回路９２で受信し、その信号を制御回路９３に送る。この制御回路９３により、映像信号に変換して画像処理装置８４に出力する。 The capsule endoscope 82 is disposed in a capsule-shaped container, for example, an LED 85 as an illuminating unit, an objective lens 86 that connects an image of the illuminated subject, and an imaging position thereof, and constitutes an imaging unit that performs imaging. A CCD 87, a control circuit 88 that performs signal processing on an image signal captured by the CCD 87, a wireless circuit 89 that performs processing to transmit a captured image wirelessly, and a battery 90 that supplies power to each circuit and the like. Have.
The extracorporeal device 83 receives radio waves from the antenna 89 a of the radio circuit 89 of the capsule endoscope 82 via the plurality of antennas 91 a, 91 b, 91 c, and sends the signal to the control circuit 93. This control circuit 93 converts it into a video signal and outputs it to the image processing device 84.

そして、画像処理装置８４は、上述した各実施例等の処理を行う。
なお、制御回路９３は、複数のアンテナ９１ａ〜９１ｃにより、カプセル型内視鏡８２の位置を推定する位置検出機能９３ａを有する。そして、この位置検出機能９３ａを利用して、検出対象の画像を選択設定しても良い。つまり、この位置検出機能９３ａにより、食道から胃に至る境界に近い部位を撮像しているか否かを検出して、或程度境界に近い部位を撮像している場合には、上述した場合と同様に内視鏡画像として展開図の生成に利用するようにしても良い。
このようにすると、検出対象となる食道から胃に至る境界に近い部位の生体粘膜を効率良く判定することができる。
なお、上述した各実施例を部分的に組み合わせる等して構成される実施例等も本発明に属する。 Then, the image processing device 84 performs the processes of the above-described embodiments and the like.
The control circuit 93 has a position detection function 93a that estimates the position of the capsule endoscope 82 using a plurality of antennas 91a to 91c. The position detection function 93a may be used to select and set an image to be detected. In other words, when the position detection function 93a detects whether or not a part close to the boundary from the esophagus to the stomach is imaged, and the part close to the boundary is imaged to some extent, the same as described above. Alternatively, it may be used as an endoscopic image to generate a development view.
In this way, it is possible to efficiently determine the biological mucous membrane in a region close to the boundary from the esophagus to be detected to the stomach.
Note that embodiments configured by partially combining the above-described embodiments also belong to the present invention.

［付記］
１．請求項５において、前記中心位置設定手段は、医療画像内の最暗部を検出し、検出され最暗部の重心位置を中心位置とする手段であることを特徴とする。
２．請求項５において、前記中心位置設定手段は、画像内の輝度の変化方向から中心位置を推定する手段であることを特徴とする。
３．請求項１において、撮像手段によって撮像される前記医療画像の歪曲収差を補正する歪曲収差補正手段を有することを特徴とする。
４．請求項１において、さらに、撮像手段で撮像された前記医療画像と、前記変換画像とを表示する表示手段とを有することを特徴とする請求項１に記載の医療画像処理装置。 [Appendix]
1. 5. The center position setting means according to claim 5, wherein the darkest part in the medical image is detected, and the center of gravity of the darkest part is detected and centered.
2. 5. The center position setting means according to claim 5, wherein the center position setting means is a means for estimating the center position from the luminance change direction in the image.
3. 2. The apparatus according to claim 1, further comprising distortion correction means for correcting distortion of the medical image picked up by the image pickup means.
4). The medical image processing apparatus according to claim 1, further comprising a display unit that displays the medical image captured by the imaging unit and the converted image.

５．請求項１において、前記画像変換手段は、体腔内を撮像した前記医療画像から円柱体の表面に投影される２次元画像を生成する幾何学的な画像変換を行うことを特徴とする。６．体腔内の画像を撮像する撮像手段と、
前記撮像手段によって撮像された医療画像により撮像手段と体腔内の位置関係を推定する位置推定手段と、
前記位置推定手段により得られた位置関係を用いて前記撮像手段による医療画像を幾何学的に変換する画像変換手段と、
前記画像変換手段により得られた変換画像を表示する表示手段と、
を有することを特徴とする医療画像処理装置。 5. The image conversion unit according to claim 1, wherein the image conversion unit performs geometric image conversion that generates a two-dimensional image projected on the surface of a cylindrical body from the medical image obtained by imaging the inside of a body cavity. 6). An imaging means for imaging an image in the body cavity;
Position estimation means for estimating the positional relationship between the imaging means and the body cavity from the medical image captured by the imaging means;
An image conversion means for geometrically converting a medical image by the imaging means using the positional relationship obtained by the position estimation means;
And Viewing means that displays the converted image obtained by the image conversion means,
A medical image processing apparatus comprising:

７．付記６において、前記位置推定手段は、体腔内の器官のモデル形状から得られる画像と前記撮像手段による医療画像との相関性から位置関係を推定する手段であることを特徴とする。 7). In Supplementary Note 6, the position estimating means is a means for estimating a positional relationship from a correlation between an image obtained from a model shape of an organ in a body cavity and a medical image obtained by the imaging means.

８．付記７において、前記体腔内の器官のモデル形状から得られる画像は、撮像手段に対して異なる位置関係のモデル形状を複数設定し、設定された位置関係により算出する手段を有することを特徴とする。
（付記６〜８の目的）より正確な展開図を生成することによってバレット食道のような病変の診断能力を改善することを目的として、付記６〜８の構成にした。
（付記６〜８の作用効果）撮像手段と円柱状器官（管状器官）との位置関係を推定することにより正確な展開図を生成することができる。 8). The appendix 7 is characterized in that the image obtained from the model shape of the organ in the body cavity has means for setting a plurality of model shapes having different positional relations with respect to the imaging means and calculating with the set positional relations. .
(Purpose of Supplementary Notes 6-8) For the purpose of improving the diagnostic ability of lesions such as Barrett's esophagus by generating a more accurate developed view, the configuration of Supplementary Notes 6-8 was adopted.
(Functions and effects of appendices 6 to 8) An accurate development view can be generated by estimating the positional relationship between the imaging means and the columnar organ (tubular organ).

９．体腔内を撮像した医療画像に対して幾何学的に変換する画像変換ステップと、
前記画像変換ステップにより得られた変換画像を展開図の画像として表示手段に出力する展開図出力ステップと、
を有することを特徴とする医療画像処理方法。
１０．付記９において、前記画像変換ステップは、前記医療画像を極座標系へ変換する変換ステップにより構成されることを特徴とする。 9. An image conversion step for geometrically converting a medical image obtained by imaging the inside of the body cavity;
A development view output step of outputting the converted image obtained by the image conversion step as a development view image to a display means;
A medical image processing method comprising:
10. Appendix 9 is characterized in that the image conversion step is constituted by a conversion step of converting the medical image into a polar coordinate system.

前記画像変換手段は、前記医療画像を円柱体に投影する変換手段により構成されることを特徴とする請求項１に記載の医療画像処理装置。 The medical image processing apparatus according to claim 1, wherein the image conversion unit includes a conversion unit that projects the medical image onto a cylindrical body.

１１．付記９において、前記画像変換ステップは、体腔内を撮像した前記医療画像から円柱体の表面に投影される２次元画像を生成する幾何学的な画像変換を行うことを特徴とする。
１２．付記９において、さらに、撮像手段によって撮像される前記医療画像の中心位置を設定する中心位置設定ステップを有することを特徴とする。 11. Appendix 9 is characterized in that the image conversion step performs geometric image conversion for generating a two-dimensional image projected on the surface of a cylindrical body from the medical image obtained by imaging the inside of a body cavity.
12 Appendix 9 further includes a center position setting step for setting a center position of the medical image picked up by the image pickup means.

体腔内に挿入して食道等の管状器官を撮像した画像からその管状器官に近い形状の円柱体に投影するなどして展開図として表示される画像を生成するようにしているため、奥行き方向の値が異なる部分でも同じスケールで表示でき、比較などがし易くかつ客観的な診断も行い画像を得ることができる。 An image that is inserted into a body cavity and imaged of a tubular organ such as the esophagus is projected onto a cylindrical body having a shape close to the tubular organ, etc. Even parts with different values can be displayed on the same scale, making comparison easy and objective diagnosis can also be performed to obtain an image.

本発明の実施例１を備えた内視鏡システムの構成を示すブロック図。1 is a block diagram showing a configuration of an endoscope system including Example 1 of the present invention. 食道のような円管状器官内に挿入された内視鏡により撮像する様子を示す図。The figure which shows a mode that it images with the endoscope inserted in the circular tubular organ like an esophagus. 図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示す図。The figure which shows the endoscopic image imaged with the imaging device provided in the endoscope of FIG. ＣＰＵによる画像処理機能を示すブロック図。The block diagram which shows the image processing function by CPU. 展開図を生成する為の処理手順を示すフローチャート図。The flowchart figure which shows the process sequence for producing | generating a development view. 内視鏡画像と展開図の関係を示す図。The figure which shows the relationship between an endoscopic image and a development view. 展開図から得られる座標位置と内視鏡画像の各画素との位置関係の説明図。Explanatory drawing of the positional relationship between the coordinate position obtained from an expanded view, and each pixel of an endoscopic image. 生成された展開図と内視鏡画像をモニタに表示した状態を示す図。The figure which shows the state which displayed the produced | generated expanded view and an endoscopic image on a monitor. 本発明の実施例２における内視鏡画像を円柱体の表面に投影する様子を示す説明図。Explanatory drawing which shows a mode that the endoscopic image in Example 2 of this invention is projected on the surface of a cylindrical body. 実施例２における展開図を生成する為の処理手順を示すフローチャート図。FIG. 9 is a flowchart illustrating a processing procedure for generating a development view according to the second embodiment. 内視鏡画像における各画素位置を示すための説明図。Explanatory drawing for showing each pixel position in an endoscopic image. 内視鏡画像の各画素の位置を円柱体表面に投影して、各画素の輝度値を貼り付けて展開図を生成するための説明図。Explanatory drawing for projecting the position of each pixel of an endoscopic image on a cylindrical body surface, and pasting the luminance value of each pixel and producing | generating a development view. 内視鏡画像の各画素が貼り付けられる位置と表示装置に展開図として表示される画像の位置とが一致しない場合に補間処理を行うことの説明図。Explanatory drawing of performing an interpolation process when the position where each pixel of an endoscopic image is affixed and the position of the image displayed as a development view on a display apparatus do not correspond. 本発明の実施例３における内視鏡画像を円柱体の表面に投影する様子を示す説明図。Explanatory drawing which shows a mode that the endoscopic image in Example 3 of this invention is projected on the surface of a cylindrical body. 光源からの光が物体の表面で反射される様子を示す説明図。Explanatory drawing which shows a mode that the light from a light source is reflected by the surface of an object. 内視鏡の撮像装置と円柱体との相対的な位置関係の代表例及び対応するモデル画像を示す図。The figure which shows the typical example of the relative positional relationship of the imaging device of an endoscope, and a cylindrical body, and a corresponding model image. 実施例３における展開図を生成する為の処理手順を示すフローチャート図。FIG. 10 is a flowchart illustrating a processing procedure for generating a development view according to the third embodiment. 変形例を備えたカプセル型内視鏡システムの構成図。The block diagram of the capsule type endoscope system provided with the modification.

Explanation of symbols

１…内視鏡システム
２…内視鏡観察装置
３…画像処理装置
４…表示モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１５…対物レンズ
１６…ＣＣＤ
１７…撮像装置
２１…画像入力部
２２…ＣＰＵ
２２ａ…幾何学的変換手段
２２ｂ…展開図出力手段
２３…処理プログラム記憶部
２４…画像記憶部
２５…情報記憶部
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３１…食道
４１…円柱体
４２…撮像面
Ｉａ…内視鏡画像
Ｉｂ…展開図（展開図の画像）
代理人弁理士伊藤進 DESCRIPTION OF SYMBOLS 1 ... Endoscope system 2 ... Endoscope observation apparatus 3 ... Image processing apparatus 4 ... Display monitor 6 ... Endoscope 7 ... Light source device 8 ... CCU
11 ... Insertion part 15 ... Objective lens 16 ... CCD
17 ... Imaging device 21 ... Image input unit 22 ... CPU
22a ... Geometric transformation means 22b ... Development drawing output means 23 ... Processing program storage section 24 ... Image storage section 25 ... Information storage section 27 ... Hard disk 28 ... Display processing section 29 ... Input operation section 31 ... Esophageal 41 ... Cylindrical body 42 ... Imaging surface Ia ... Endoscopic image Ib ... Developed view (image of developed view)
Attorney Susumu Ito

Claims

An imaging means for imaging an image in the body cavity;
A position estimation means for estimating a positional relationship between the imaging means and the body cavity from a correlation between a medical image captured by the imaging means and an image obtained from a model shape of a tubular body cavity organ obtained in advance ;
An image conversion means for converting a medical image by the imaging means into an image projected on an inner surface of a cylindrical body approximating a tube wall of the tubular body cavity organ using the positional relationship obtained by the position estimation means;
A development view output means for outputting the converted image obtained by the image conversion means to the display means as an image of the development view;
A medical image processing apparatus comprising:

The medical image according to claim 1, wherein the image obtained from the model shape of the tubular body cavity organ is generated by setting a plurality of model shapes having different positional relations with respect to the imaging unit and setting the positional relations. Image processing device.