WO2006070669A1 - 医療画像処理装置及び医療画像処理方法 - Google Patents

Abstract

　画像変換部は体腔内の管状部位を撮像した医療画像に対して幾何学的に変換し、展開図出力部は画像変換部により得られた変換画像を展開図の画像として表示装置に出力する。

Description

医療画像処理装置及び医療画像処理方法

技術分野

[0001] 本発明は、内視鏡画像等の医療画像に対して展開図の画像を生成する等の画像 処理を行う医療画像処理装置及び医療画像処理方法に関する。

背景技術

[0002] 近年、内視鏡は医療分野などにおいて広く採用されるようになった。例えば、食道 の病気の一つにバレット食道がある。

食道は扁平上皮の粘膜で覆われており、胃や腸は円柱上皮の粘膜で覆われてい る。バレット食道は食道への胃酸の逆流により、胃と食道の接合部付近の食道粘膜（ 扁平上皮）が胃力 連続して円柱上皮に変性すると考えられている。

バレット食道の診断方法として、胃と食道の接合部から連続して存在する円柱上皮 の広がり方、円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡で観察する内 視鏡診断が利用される。

先行例としての日本国特開平 8— 256295号公報には、得られる内視鏡画像にお ける周辺部で発生する光学歪みを補正する手段が開示されている。

[0003] 上記日本国特開平 8— 256295号公報は、内視鏡画像における周辺部で発生す る光学歪みを補正することができるが、直視型の内視鏡を用いて略円管形状の食道 を観察した場合、食道と内視鏡先端の位置'向き、光学歪み等の影響により円柱上 皮の広がり方や円柱上皮と扁平上皮の境界の特徴を認識し易い状態で表示すること ができない。

つまり、先行例では診断し易い展開図（の画像)で表示することができな力つた。

[0004] 本発明は、バレット食道等の管状部位を撮像した医療画像力も診断し易い展開図 の画像を生成することができる医療画像処理装置を提供することを目的とする。

[0005] また、本発明は、正確な展開図の画像が得られる医療画像処理装置及び医療画 像処理方法を提供することも目的とする。

発明の開示 課題を解決するための手段

[0006] 本発明の医療画像処理装置は、生体内の管状部位を撮像した医療画像に対して 幾何学的に変換する画像変換部と、

前記画像変換部により得られた変換画像を展開図の画像として表示装置に出力す る展開図出力部と、

を有することを特徴とする。

上記構成により、食道のような管状部位を撮像した医療画像を幾何学的に変換し、 展開図の画像として表示装置に出力することにより、管状部位の内表面の状態を診 断し易 、状態で観察できるようにして 、る。

[0007] 本発明の医療画像処理方法は、体腔内の管状部位を撮像した医療画像に対して 幾何学的に変換する画像変換ステップと、

前記画像変換ステップにより得られた変換画像カゝら展開図の画像として表示装置 に出力する展開図出力ステップと、

を有することを特徴とする。

上記構成により、食道のような管状部位を撮像した医療画像を幾何学的に変換し、 展開図の画像として表示装置に出力することにより、管状部位の内表面の状態を診 断し易 、状態で観察できるようにして 、る。

図面の簡単な説明

[0008] [図 1]図 1は本発明の実施例 1を備えた内視鏡システムの構成を示すブロック図。

[図 2]図 2は食道のような管状器官内に挿入された内視鏡により撮像する様子を示す 図。

[図 3]図 3は、図 2の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示 す図。

[図 4]図 4は CPUによる画像処理機能を示すブロック図。

[図 5]図 5は展開図を生成する為の処理手順を示すフローチャート。

[図 6]図 6は内視鏡画像と展開図の関係を示す図。

[図 7]図 7は展開図から得られる座標位置と内視鏡画像の各画素との位置関係の説 明図。 圆 8]図 8は生成された展開図と内視鏡画像をモニタに表示した状態を示す図。 圆 9]図 9は本発明の実施例 2における内視鏡画像を円柱体の表面に投影する様子 を示す説明図。

[図 10]図 10は実施例 2における展開図を生成する為の処理手順を示すフローチヤ ート。

圆 11]図 11は内視鏡画像における各画素位置を示すための説明図。

[図 12]図 12は内視鏡画像の各画素の位置を円柱体表面に投影して、各画素の輝度 値を貼り付けて展開図を生成するための説明図。

圆 13]図 13は内視鏡画像の各画素が貼り付けられる位置と表示装置に展開図として 表示される画像の位置とがー致しない場合に補間処理を行うことの説明図。

[図 14]図 14は本発明の実施例 3における内視鏡画像を円柱体の表面に投影する様 子を示す説明図。

圆 15]図 15は光源力ゝらの光が物体の表面で反射される様子を示す説明図。

[図 16A]図 16Aは内視鏡の撮像装置が円柱体の中心軸上に存在する位置関係及び 対応するモデル画像を示す図。

圆 16B]図 16Bは、図 16Aの状態力も撮像装置が上方向に平行移動した位置関係 及び対応するモデル画像を示す図。

[図 16C]図 16Cは、図 16Aの状態力も挿入部の軸方向を傾けた位置関係及び対応 するモデル画像を示す図。

[図 17]図 17は実施例 3における展開図を生成する為の処理手順を示すフローチヤ ート。

[図 18]図 18は変形例を備えたカプセル型内視鏡システムの構成図。

[図 19]図 19は本発明の実施例 4を備えた内視鏡システムの構成を示すブロック図。

[図 20]図 20は CPUによる画像処理機能を示すブロック図。

[図 21]図 21は展開図を生成する為の処理手順を示すフローチャート。

[図 22]図 22は撮像された画像の各画素に対応する物体上の対応点と光源等との位 置関係を示す図。

[図 23A]図 23Aは光源力もの光が物体の表面で反射される様子を示す図。 [図 23B]図 23Bは、図 23Aの様子を具体的に示す図。

[図 24]図 24は対応点の周囲に設定される複数の法線ベクトルを示す図。

[図 25]図 25はベクトル mが画像上の位置を通ることを示す図。

[図 26]図 26は 3次元形状の中心を通る直線を求めるための説明図。

圆 27]図 27は 3次元形状の座標系力も直線を基準にした座標系に変換する説明図

[図 28A]図 28Aは直視型の内視鏡により得られる内視鏡画像を示す図。

[図 28B]図 28Bは、図 28Aの内視鏡画像と食道をモデル化した円柱体表面との関係 を示す説明図。

[図 28C]図 28Cは、図 28Bの円柱体表面に投影された内視鏡画像から生成された展 開図を示す図。

圆 29]図 29は補間処理により展開図を生成する説明図。

[図 30]図 30は表示装置に表示される内視鏡画像及び展開図を示す図。

[図 31]図 31は本発明の実施例 5における展開図を生成する為の処理手順の一部を 示すフローチャート。

[図 32]図 32は、図 31における処理内容の説明図。

圆 33]図 33はテンプレート画像と参照画像とのシフト量を求める様子の説明図。

[図 34]図 34は本発明の実施例 6を備えた内視鏡システムの構成を示すブロック図。

[図 35]図 35は、図 34の内視鏡の撮像装置により撮像された内視鏡画像を示す図。

[図 36]図 36は CPUによる画像処理機能を示す図。

[図 37]図 37は展開図を生成する処理を経てバレット食道力否かの判定を行う処理手 順を示すフローチャート。

[図 38]図 38は内視鏡画像と生成された展開図の関係を示す図。

[図 39]図 39は内視鏡画像力も展開図生成の処理手順のフローチャート。

[図 40]図 40は、図 37における上皮境界を検出する処理手順のフローチャート。 圆 41]図 41は算出した上皮境界の Z方向の平均値を表示した展開図を示す図。

[図 42]図 42は予め診断が確定した上皮境界の場合とバレット食道の場合のサンプル の分散値のヒストグラムにより判定基準となる基準値を算出したヒストグラム例を示す 図。

[図 43]図 43は内視鏡画像、展開図及び判定結果を表示したモニタでの表示例を示 す図。

[図 44A]図 44Aは直視型の内視鏡により得られる内視鏡画像を示す図。

[図 44B]図 44Bは、図 44Aの内視鏡画像と食道をモデル化した円柱体表面との関係 を示す説明図。

[図 44C]図 44Cは、図 44Bの円柱体表面に投影された内視鏡画像から生成された展 開図を示す図。

圆 45]図 45は本発明の実施例 7における内視鏡画像と展開図を示す図。

[図 46]図 46は展開図を生成する処理を経てバレット食道か否かの判定を行う処理手 順を示すフローチャート。

[図 47]図 47は本発明の実施例 8における内視鏡画像と展開図を示す図。

[図 48]図 48は展開図を生成する処理を経てバレット食道か否かの判定を行う処理手 順を示すフローチャート。

[図 49]図 49は実施例 9における展開図における上皮境界上の隣接する 2点間の距 離を算出する場合の説明図。

圆 50]図 50は上皮境界の隣接する 2点間の距離の総和を算出してバレット食道力否 かの判定を行う処理手順を示すフローチャート。

[図 51A]図 51Aは実施例 10における内視鏡画像力も生成された展開図の上皮境界 上にベクトルを設定した様子を示す説明図。

[図 51B]図 51Bは展開図の上皮境界上の隣接する 3点から隣接する 2つのベクトルの なす角を求める様子を示す説明図。

[図 52]図 52は隣接する 2つのベクトルのなす角の総和を求めてバレット食道か否か の判定を行う処理手順を示すフローチャート。

[図 53]図 53は実施例 11における展開図の上皮境界上の隣接する 2点を結ぶベタト ルの傾きを算出する様子を示す説明図。

[図 54]図 54はベクトルの傾きが正力 負、負から正に変化する変曲点の総数を算出 してその総数力 バレット食道力否かの判定を行う処理手順を示すフローチャート。 発明を実施するための最良の形態

[0009] 以下、図面を参照して本発明の実施例を説明する。

(実施例 1)

図 1から図 8を参照して本発明の実施例 1を説明する。

[0010] 図 1に示す内視鏡システム 1は、内視鏡観察装置 2と、この内視鏡観察装置 2により 得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成さ れる本発明の医療画像処理装置の実施例 1となる内視鏡画像処理装置 (以下、単に 画像処理装置と略記） 3と、この画像処理装置 3により画像処理された画像を表示す る表示モニタ 4とから構成される。

[0011] 内視鏡観察装置 2は、体腔内に挿入される内視鏡 6と、この内視鏡 6に照明光を供 給する光源装置 7と、内視鏡 6の撮像手段に対する信号処理を行うカメラコントロール ユニット（CCUと略記） 8と、この CCU8から出力される映像信号が入力されることによ り、撮像素子で撮影した内視鏡画像を表示するモニタ 9とを有する。

内視鏡 6は、体腔内に挿入される細長の挿入部 11と、この挿入部 11の後端に設けら れた操作部 12とを有する。また、挿入部 11内には照明光を伝送するライトガイド 13 が揷通されている。

このライドガイド 13の後端は、光源装置 7に接続される。そして、この光源装置 7から 供給される照明光をライトガイド 13により転送し、挿入部 11の先端部 14に設けた照 明窓に取り付けられた先端面から (伝送した照明光を）出射し、患部等の被写体を照 明する。

[0012] 照明窓に隣接する観察窓に取り付けた対物レンズ 15と、この対物レンズ 15の結像 位置に配置された固体撮像素子としての例えば電荷結合素子 (CCDと略記） 16とに よる撮像装置 17が設けてある。そして、この CCD 16の撮像面に結蔵された光学像 は、この CCD16により光電変換される。

この CCD16は、信号線を介して CCU8と接続され、この CCU8力 CCD駆動信号 が印加されることにより、 CCD16は光電変換した画像信号を出力する。この画像信 号は、 CCU8内の映像処理回路により信号処理され、映像信号に変換される。この 映像信号はモニタ 9に出力され、モニタ 9の表示面には、内視鏡画像が表示される。 この映像信号は、画像処理装置 3にも入力される。

[0013] この画像処理装置 3は、内視鏡観察装置 2から入力される内視鏡画像に対応する 映像信号が入力される画像入力部 21と、この画像入力部 21から入力された画像デ ータに対する画像処理を行う中央演算処理装置としての CPU22と、この CPU22〖こ より画像処理を実行させる処理プログラム (制御プログラム） 23aを記憶する処理プロ グラム記憶部 23とを有する。

また、この画像処理装置 3は画像入力部 21から入力される画像データ等を記憶す る画像記憶部 24と、 CPU22により処理された情報等を記憶する情報記憶部 25と、 CPU22により処理された画像データ及び情報等を記憶装置インターフェース (IZF ) 26を介して記憶する記憶装置としてのハードディスク 27と、 CPU22により処理され た画像データ等を表示するための表示処理を行う表示処理部 28と、ユーザが画像 処理のパラメータ等のデータ入力や指示操作を行うキーボードなど力 なる入力操 作部 29とを有する。

[0014] そして、この表示処理部 28により生成された映像信号は、表示モニタ 4に表示され 、この表示モニタ 4の表示面には画像処理された処理画像が表示される。なお、画像 入力部 21、 CPU22、処理プログラム記憶部 23、画像記憶部 24、情報記憶部 25、 記憶装置インターフェース 26、表示処理部 28、入力操作部 29は、データバス 30を 介して互!、に接続されて!、る。

本実施例においては、図 2に示すように、例えば食道 31のような管状器官或いは 管状部位内に直視型の内視鏡 6の挿入部 11が挿入され、先端部 14に設けた撮像 装置 17により、食道 31の内壁等が撮像される。直視型の内視鏡 6に設けられた撮像 装置 17は、挿入部 11の長手方向が撮像を行う視野方向となっている。そして、この 撮像装置 17によって、管状部位の内面をその管腔方向をほぼ視野方向とした直視 型の状態で撮像を行う。

[0015] 図 3は、この直視型の内視鏡 6によって撮像されたバレット食道の内視鏡画像 laの 1 例を示している。バレット食道は、胃と食道の接合部から口腔に向力つて連続的に食 道粘膜 (扁平上皮)が胃粘膜 (円柱上皮）に変性した状態である。この変性した円柱 上皮の広がり方や円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡 6によって 観察することにより、術者はバレット食道力否かの診断を行う。

図 3の内視鏡画像 laの場合には、食道 31から胃内部に至る管状部位の画像である 。具体的には、胃内部に至る最暗部（の画像部分) 33、その周囲の胃及び食道の接 合部（の画像部分） 34、接合部 34の周囲の円柱上皮（の画像部分） 35、この円柱上 皮 35の周囲の扁平上皮（の画像部分） 36が表示されて 、る。

本実施例では、食道 31のような管状器官の対象物を直視型の内視鏡 6によって撮 像し、撮像された内視鏡画像 laを幾何学的に変換して、展開図を生成する処理を行 い、生成された対象物の展開図の画像を表示モニタ 4で表示する。

[0016] 画像処理装置 3を構成する CPU22は、図 4に示すように、幾何学的な変換を行う 幾何学的画像変換手段 (機能) 22aと、幾何学的な変換により展開図の画像を生成 して表示モニタ 4に出力する展開図出力手段 (機能） 22bと有し、この表示モニタ 4の 表示面には展開図の画像 (或いは単に展開図と略記）が表示される。

本実施例においては、図 4に示した幾何学的画像変換手段 22aと、展開図出力手 段 22bとは CPU22により処理プログラム 23aを用いてソフトウェア的に実現されてい る。そして、このために図 1に示した処理プログラム記憶部 23に記憶 (格納）された処 理プログラム 23aを CPU22は読み出し、 CPU22は、この処理プログラム 23aに従つ て図 5に示すフローチャートの処理を実行する。

次に図 5を参照して、本実施例の動作を説明する。

[0017] 画像処理装置 3の動作が開始すると、 CPU22は処理プログラム記憶部 23の処理 プログラム 23aを読み出し、その処理プログラム 23aに従った処理を開始する。 CPU 22は最初のステップ SIにおいて、内視鏡観察装置 2の CCU8から画像入力部 21を 経て入力される内視鏡画像 laの画像データを取得する。

そして、次のステップ S2において CPU22は、取得された画像データに対して歪曲 収差補正 (例えば日本国特開平 8— 256295号公報参照)や、ノイズ除去等の前処 理を行い、ステップ S3において CPU22は、内視鏡画像 la内の最暗部の位置を検出 し、検出された最暗部の重心位置を内視鏡画像 laの座標の中心位置とする。

本実施例においては、内視鏡画像 la内の最暗部の位置を中心に展開図を生成す る。最暗部の検出方法として内視鏡画像 laを複数の領域に分割し、分割された領域 の平均輝度を算出し、最小の平均輝度を有する領域を最暗部の位置として求める。

[0018] 図 6の左側に示すように内視鏡画像 laの 2次元の直交座標系を X—Yとし、この内 視鏡画像 laから図 6の右側に示すように展開図 lbの座標系 Θ Zとする極座標系に 変換する。なお座標系 X—Yにおける座標位置は x、 yで示す。また、極座標系 Θ— Z における座標位置は、周方向の位置を表す Θ、中心からの距離位置を示す zで示す なお、図 6では内視鏡画像 laから展開図 lbが生成された場合の関係を分力りやすく するために、内視鏡画像 laにおける扁平上皮と円柱上皮の上皮境界 37、胃食道の 接合部 34 (の境界)等を展開図にした場合にはどのような形状で表示されるかを矢 印で対応付けて示している。また、 Q、 Q 、 Q は、 0が 0度、 45度、 90度の場合を

0 45 90

示したものであり、後述する他の実施例でも同様である。

次にステップ S4とステップ S5において CPU22は、展開図 lbの座標位置 S ( Θ、 z) の初期値を設定する。つまり、ステップ S4において、 CPU22は、 Θ =0とし、ステップ S5にお!/ヽて z = 0とする。

ステップ S6において CPU22は、設定され展開図 lbの座標 S ( 0、 z)に対応する内 視鏡画像 laの座標位置を以下の式（1)によって求める。

[数 1]

X = z sin Θ

( 1 )

y = z cos Θ

[0019] ステップ S7において CPU22は、算出された座標 P (x、 y)が内視鏡画像 la内に存 在するかを判断する。

そして、 CPU22が内視鏡画像 la内に存在すると判断した場合は、ステップ S8の処 理に移る。図 7に示すように式（1)より得られた内視鏡画像の座標 P (x、 y)の位置は 、画素間の中に存在する可能性がある為、ステップ S8において CPU22は、線形補 間等の処理を用いて座標 P (_x、 _y)の輝度値を算出する。例えば、得られた座標位置 (符号 Xで示す)の周囲の 4画素〇（斜線で示したもの）の輝度値と位置関係力 CP U22は、座標位置 Xの輝度値を求める。 なお、輝度値としては、カラー撮像を行っている場合には、各色信号の輝度値に相 当する。

[0020] ステップ S9において CPU22は、ステップ S8で求めた輝度値を展開図の座標 S ( Θ 、 z)の輝度値とする。次にステップ S10に進み CPU22は、展開図の zの値を変更（例 えば zの増分 Δ ζ= 1)し、ステップ S6の処理に戻る。

一方、ステップ S7において算出された座標 P (x、 y)が内視鏡画像 la内に存在しな い場合には、 CPU22は、ステップ S11の処理へ進み、展開図 lbの Θの値を変更す る（例えば 0の増分 Δ 0 = π Ζΐ80、つまり 1° ；)。

次のステップ S12において CPU22は、、 Θが 2 π (360° )より小さければステップ S5に戻り、展開図生成の処理を継続する。一方、 Θが 2 π以上になった場合には C PU22は、展開図が生成されたと判断しステップ S13に進み、内視鏡画像 laと展開 図 lbとを表示モニタ 4に出力し、処理を終了する。

[0021] そして、図 8に示すように表示モニタ 4には、内視鏡画像 laと展開図 lbが表示される 。なお、図 8においては、内視鏡画像 laと展開図 lbとの両方を表示している力 展開 図 lbのみを表示してもよ!/、。

このように本実施例においては、展開図 lbを生成してこの展開図 lbを内視鏡画像 I aと共に表示モニタ 4に表示するようにしているので、単に内視鏡画像 laの場合よりも 周方向（ Θ方向）と管腔方向となる奥行き方向（z方向）との値をより比較等がし易 、 状態で表示できるので、バレット食道等の管状器官の診断をより客観的に行い易くな る。

[0022] 先行例では、図 8における内視鏡画像 laのみが表示され、この内視鏡画像 laのみ では管状器官等の内面を 2次元的に投影した画像となっており、例えば奥行き方向 の距離によって、縮小された状態で各部が表示される。

このため、術者が例えば奥行き方向の値が異なる部分を比較しょうとしても、各部が 奥行き方向の距離により、そのスケールが異なっているため、比較することが簡単に できない。

これに対して、本実施例によれば、 2次元的に撮像された内視鏡画像 laにおける各 画素の位置を、中心位置を通る基準線の回りの周方向の位置と、この周方向と直交 する（中心位置力もの)距離位置とに変換した状態で、各画素の輝度値の情報を貼り 付け、周方向の位置、つまり角 Θの値で展開して表示するようにしている。

[0023] 換言すると、内視鏡画像 laから管状器官の内面を長手方向（奥良き方向）の線で切 り開 ヽた画像に対応する展開図の画像を生成して表示するようにして 、る。

[0024] このため、本実施例によれば、奥行き方向の距離が異なる位置でも、周方向のスケ ールを揃えて表示でき、従って場所が異なる部位での比較が簡単に行え、診断し易 く表示できる。

従って本実施例は、以下の効果を有する。

直視型の内視鏡 6により撮像された食道 31のような管状器官の内視鏡画像 laに対 して幾何学的な変換を行うことで、胃と食道の接合部から連続的に存在する円柱上 皮の広がり方、円柱上皮と扁平上皮の特徴的な形状を容易に観察できる為、バレット 食道等の診断を行い易くする効果がある。

[0025] (実施例 2)

次に図 9から図 13を参照して本発明の実施例 2を説明する。

本実施例は、図 1の画像処理装置 3と同じノヽードウエアの構成である。そして、本実 施例は、図 1の処理プログラム記憶部 23に記憶される処理プログラム 23aとは内容が 異なる処理プログラムが採用されて 、る。

本実施例では、図 9に示すように食道内面を、この食道内面の平均的な直径の値と した円柱体 41と仮定して、内視鏡 6の（CCD16の）撮像面 42により撮像される内視 鏡画像を円柱体 41の表面に投影する様に幾何学的な変換を行う。

つまり、図 9に示すように (撮像装置 17を構成する CCD 16の)撮像面 42に撮像さ れる内視鏡画像を、円柱体 41の表面に、円柱体 41の内側を通して投影する。この 場合、円柱体 41のサイズは、略食道の管壁（内壁）の値、より具体的にはその平均値 に設定されている。

[0026] つまり、円管に近い食道内面を、対物レンズ 15及び CCD16からなる撮像装置 17 により CCD 16の撮像面 42に結像し、結像された光学像を光電変換する CCD 16に より撮像する。そして、撮像された主に食道及び胃につながる接合部付近の内視鏡 画像を、その食道内側の管壁を近似した円柱体 41の内表面に対物レンズ 16により 投影した画像を生成するように幾何学的な変換を行う。

そして、この幾何学的な変換により、内視鏡画像が投影された円柱体 41を展開す ることにより、その円柱体 41に投影された内視鏡画像の展開図（の画像)を生成し、 展開図を表示モニタ 4等の表示装置に出力して、その表示装置の表示面に展開図 を表示する。

[0027] 展開図を生成する処理手順は、図 10のフローチャートのようになる。

実施例 1と同様に画像処理装置 3の動作が開始すると、 CPU22は、処理プロダラ ム記憶部 23の処理プログラムを読み出し、その処理プログラムに従った処理を開始 する。 CPU22は、最初のステップ S21において、内視鏡観察装置 2の CCU8から画 像入力部 21を経て入力される内視鏡画像 laの画像データを取得する。

そして、次のステップ S22において CPU22は、取得された画像データに対して歪 曲収差補正や、ノイズ除去等の前処理を行い、さらにステップ S23において内視鏡 画像内の最暗部の位置を検出し、検出された位置を内視鏡画像の座標の中心位置 とする。

CPU22は、図 9に示すように内視鏡画像 (CCD 16の撮像面 42)上の座標系を X — Y、円柱体表面の座標系を Θ— Ζとする。

[0028] 図 11に示すように内視鏡画像 laの各画素を I (i、 j) (l≤i≤i— max、 l≤j≤j_ma x)、最暗部の位置を I (io、 jo)とすると、図 9の内視鏡画像の座標系 X—Yにおける座 標 P (x、 y)と、内視鏡画像 laの画素位置 I (i、 j)との関係は以下の式（2)で表される。

[数 2]

X = — i。） X CCD

( 2 )

y = ( j 。一 j ) y ccD

[0029] ただし、 x と y は X軸、 Y軸方向の画素間の距離である。

CCD CCD

[0030] 次にステップ S24とステップ S25において CPU22は、内視鏡画像 laの画素の初期 位置 1 (1、 1)を設定する。つまり、画素位置パラメータ i= l, j = lと設定する。そして、 次のステップ S26において CPU22は、内視鏡画像 laの座標 P (x、 y)に対応する円 柱体 41の表面の座標 C ( 0、 z)を以下の式（3)により求める。 [数 3]

[0031] ただし、 fは撮像系（具体的には対物レンズ 15)の焦点距離、 rは円柱体 41の半径（ 例えば食道の平均的な直径より半径を算出）、 aは画角である。

[0032] ステップ S27において CPU22は、内視鏡画像 laの画素 I (i、 j) (今の場合には i= l , j = l)に対応する円柱体 41の表面の座標位置 C ( θ、 ζ)を画像記憶部 24等で記憶 する処理を行う。

次のステップ S28〖こお!/、て CPU22は、パラメータ iを 1増分（水平方向に画素を隣 の画素に移動）し、ステップ S29においてパラメータ iが i— max以下かの判断を行う。 そして CPU22は、、パラメータ iが i— max以下であれば、ステップ S26に戻り、処理 を継続する。

一方、パラメータ iが i— maxより大きくなつた場合には、 CPU22は次のステップ S30 の処理に進み、このステップ S30において CPU22は、パラメータ jを 1増分（垂直方 向に画素を隣の画素に移動）する。

[0033] 次のステップ S31において CPU22は、パラメータ — max以下かの判断を行い 、パラメータ jが j— max以下であれば、ステップ S25〖こ戻り、処理を継続する。 一 方、パラメータ jが j— maxより大きくなつた場合には、 CPU22は次のステップ S32の 処理に移る。

このステップ S32において CPU22は、内視鏡画像 laの全ての画素 I (i、 j)に対応す る円柱体 41の表面の座標位置 C ( 0、 z)を求め、展開図を (以下で述べるように、補 間処理により）生成する。

CPU22は、図 12の右側に示す円柱体表面の座標系 0— zに、図 12の左側の内 視鏡画像 laの各画素の輝度値を貼り付ける。

[0034] 図 13に示す展開図 lbで表示される円柱体表面に貼り付けられた画素は、不均一 に存在し、 Zの値が大きくなる程、粗くなる。なお、図 13では、その左側の展開図 lbに おける一部を右側に拡大して示して 、る。

また、図 13に示すように貼り付けられた各画素は、表示モニタ 4等の表示装置に表 示される画像の各画素位置と一致しない為、補間処理によって表示装置に表示する 画像、すなわち展開図 lbが生成される。

つまり、 CPU22はステップ S32において、上記補間処理を行い、表示モニタ 4等の 表示装置に表示可能な画像、すなわち展開図 lbを生成する。そして、 CPU22はス テツプ S33において、この展開図 lbを内視鏡画像 laと共に表示モニタ 4に出力する。 そして、ステップ S34に示すように表示モニタ 4には、図 8のように展開図 lb及び内視 鏡画像 laが表示され、この処理を終了する。但し、この展開図 lbは実施例 1とは z方 向に関する傾向が異なる展開図として表示される。

[0035] 本実施例は以下の効果を有する。

食道 31のような管状器官の内面を円柱体 41と仮定し、内視鏡 6の撮像面に撮影さ れる内視鏡画像 laを円柱体 41に投影することによって展開図 lbを生成する為、実施 例 1よりも正確な展開図 lbを生成できる。

つまり、実施例 1では、内視鏡画像 laの各位置を、この内視鏡画像 laにおける中心 からの距離 zと、中心を通る基準位置からの周方向の位置情報としての角 Θとによる 極座標系に変換して、角 Θにより展開して距離 zと共に展開図 lbとして表示するように したのに対し、本実施例では食道 31の管状部位 (管状器官)を円柱体 41と見なして 、内視鏡画像 laの位置をその円柱体 41の表面に投影して展開図 lbを生成するよう にしているので、より実際の状態を反映した展開図 lbを生成できる。

[0036] 従って、本実施例によれば、奥行き方向（管腔の軸方向）における値が異なる部分 にお 、てもより比較し易 、展開図 lbを得ることができる。

なお、実施例 1及び実施例 2では内視鏡画像内の最暗部の位置を検出して内視鏡 画像 laの中心位置としていたが、輝度の変化方向から中心位置を推定することもでき る（これは、 日本国特開 2003 - 93328号公報に記載されて 、る）。

[0037] (実施例 3)

次に図 14から図 17を参照して本発明の実施例 3を説明する。 本画像処理装置の構成は、実施例 1と同じであり、処理プログラム記憶部 23に記憶 される処理プログラムが図 1の処理プログラム 23aと異なる。そして、この処理プロダラ ムにより以下の処理を行う。

[0038] 本実施例では、食道のような管状器官を円柱体 41と仮定し、内視鏡先端 (の撮像 手段)と管状器官との位置関係をモデル画像及び内視鏡画像を用いて推定する。 そして、推定された位置関係に基いて内視鏡 6によって撮影された内視鏡画像を 円柱体 41の表面に投影し、投影された画像を展開した展開図として表示モニタ 4等 の表示装置に表示する。

[0039] 上記位置関係を推定するために、本実施例においては、内視鏡 6の先端に設けら れた撮像装置 17 (の撮像面)と円柱体 41の位置関係を変更した複数のモデル画像 を生成し、生成された複数のモデル画像と実際に撮影された内視鏡画像 laとのマツ チング処理を行!ヽ、撮影された内視鏡画像 laに近 、モデル画像を検出する。

そして、検出されたモデル画像力ゝら撮像装置 17と円柱体 41の位置関係を推定す る。モデル画像の生成方法を図 14により説明する。

図 14は、食道のような管状器官の内面を円柱体 41と仮定し、撮像装置 17の撮像 面 42と円柱体 41の位置関係を示した図である。実施例 2においては、撮像面 42の 光軸が円柱体 41の中心を通る条件設定をしていたが、本実施例ではこの条件を外 すと共に、両者が傾いている場合も考慮する。

[0040] 円柱体 41を基準とした座標系を X -Y -Zとすると円柱体 41表面の座標（X 、 y

し し し し し

、 z )は以下の式 (4)で表される。

し

[数 4]

Γ

[0041] また、撮像面 42を基準とした座標系を X—Y—Zとすると、円柱体 41の座標系 X Y Zとの関係は以下の式（5)で表される。

し し

[数 5]

[0042] ただし、 Rは回転行列、 Mは並進行列である。つまり、行列 Rと Mは、撮像装置 17の 撮像面 42に対する円柱体 41の位置関係を表すパラメータとなる。

[0043] 撮像面 42によって撮影される内視鏡画像を基準とした座標系を X -Yとすると、撮

I I

像面 42の座標系 X—Y—Zとの関係は、以下の式 (6)で表される。

[数 6]

r

、 y【

[0044] 図 15に示すように光源 Qが物体カゝら有限の距離 dにあり、この光源 Qを点光源と仮 定し、この物体の具体例としての円柱体表面は、光源 Qの光を拡散反射すると仮定 した場合、円柱体表面の反射光 Iは、以下の式 (7)で表される。

[数 7]

I ( x I , y _t ) = kI _q cos j3 / d 2 ( 7 )

[0045] ただし、 kは面の拡散反射率、 Iqは光源 Qの光度、 βは点 Wにおける面の法線と光 源方向 QWのなす角度、 dは点 Wと光源 Qの距離である。

[0046] 従って、撮像装置 17に対する円柱体 41の位置'向きを設定することにより円柱体 表面の位置 B力も撮像装置 17により撮影される内視鏡画像上の位置 Aを式 (4) （6

)で求め、そのときの輝度値を式（7)で算出することができる。

図 16Aは撮像装置 17が円柱体 41の中心線 51上に存在し、中心線 51方向に向い ている場合に得られるモデル画像 63a、図 16Bは撮像装置 17を図 16Aの状態から 上方向に平行に移動した場合に得られるモデル画像 63b、図 16Cは撮像装置 17を 図 16Aの状態から平行に移動し、かつ視野方向或いは挿入部 11の軸方向の向きを 変更した場合に得られるモデル画像 63cである。

従って、本実施例では、撮像装置 17と円柱体の位置—向きを複数設定し、複数の モデル画像を生成する。

[0047] そして、 CPU22は、図 17に示すフローチャートに沿って処理し、以下に説明するよ うに展開図 lbを生成する。

実施例 1と同様に画像処理装置 3の動作が開始すると、 CPU22は処理プログラム 記憶部 23の処理プログラムを読み出し、その処理プログラムに従った処理を開始す る。 CPU22は最初のステップ S41において、内視鏡観察装置 2の CCU8から画像 入力部 21を経て入力される内視鏡画像の画像データを取得する。

そして、次のステップ S42において CPU22は、取得された画像データに対して歪 曲収差補正や、ノイズ除去等の前処理を行い、ステップ S43においてモデル画像と のマッチング処理を行う。 CPU22は、マッチング処理により、正規化相互相関等によ り取得された内視鏡画像とモデル画像のとの相関値を計算し、相関が最も高 ヽモデ ル画像を検出する。

[0048] CPU22は、ステップ S43のマッチング処理により取得された画像データと最も相関 の高 、モデル画像を検出し、検出されたモデル画像力も撮像装置 17と円柱体 41の 位置 ·向きの関係を求める。実施例 1の図 6に示すように内視鏡画像 laの座標系を X — Yとし、展開図の座標系は、 Θ — Zとする。

し し

次にステップ S44とステップ S45において CPU22は、円柱体表面の座標 S ( 0 、 z し し

)の初期値を設定する。ステップ S46において CPU22は、設定された座標 S ( 0 、 z し し

)に対応する内視鏡画像の座標 P (X、 y )を式 (4)〜（6)によって求める。

I I

[0049] ステップ S47において CPU22は、算出された座標 P (x、 y )が内視鏡画像内に存 在するかを判断する。内視鏡画像内に存在する場合はステップ S48に進む。

[0050] 実施例 1の図 7に示すように内視鏡画像の座標 P (x、 y)の位置は、画素間の中間 に存在する可能性がある為、ステップ S48において CPU22は、線形補間等の処理 を用いて座標 P (x , y )の輝度値を算出する。

例えば、得られた座標位置 Xの周囲 4画素〇（斜線)の輝度値と位置関係から座標 位置 Xの輝度値を求める。

ステップ S49において CPU22は、ステップ S48で求めた輝度値を展開図の座標 S ( Θ 、 z )の輝度値とする。

し し

次にステップ S50に進み、 CPU22は、展開図の Zの値を変更（例えば Δ ζ = 1)し

L L

、ステップ S46に進む。

[0051] ステップ S47において CPU22は、算出された座標 P (x、 y )が内視鏡の画像内に 存在しないと判断した場合には、ステップ S51へ進み、展開図の Θ の値を変更する し

。（例えば Δ θ = π /180 : 1° )

し

ステップ S52において CPU22は、 Θ 力 ^2 π (360° )より/ J、さければステップ S45 し

へ進み、展開図生成の処理を継続する。 Θ

し力 以上になった場合 CPU22は、展 開図が生成されたと判断しステップ S53に進み、実施例 1のように内視鏡画像と展開 図を表示モニタ 4に表示し処理を終了する（展開図のみを表示してもよ!/、)。

本実施例は以下の効果を有する。

[0052] 本実施例では食道のような管状の器官を円柱体 41と仮定し、円柱体 41と撮像装 置 17の位置'向きの関係を画像力も推定し、推定された位置'向きに基いて内視鏡 画像の展開図を生成する為、実施例 2よりもさらに正確な展開図を生成できる。

実施例 1〜実施例 3では、細長の挿入部 11を有する内視鏡 6を用 V、て説明したが、 図 18に示すようなカプセル型内視鏡 82の場合にも適用できる。

図 18に示すように変形例を備えたカプセル型内視鏡システム 81は、患者が飲み込 むことにより体腔内を撮像するカプセル型内視鏡装置 (以下ではカプセル型内視鏡 と略記） 82と、患者の体外に配置され、カプセル型内視鏡 82からの画像データを受 信して記録する体外装置 83と、この体外装置 83から画像が入力される画像処理装 置 84とカゝらなる。

[0053] カプセル型内視鏡 82は、カプセル状の容器内に照明手段としての例えば LED85 と、照明された被写体の像を結ぶ対物レンズ 86及びその結像位置に配置され、撮像 を行う撮像手段を構成する CCD87と、この CCD87により撮像された撮像信号に対 する信号処理等を行う制御回路 88と、撮像された画像を無線で送信する処理を行う 無線回路 89と、各回路等に電力を供給する電池 90を有する。

また、体外装置 83は、カプセル型内視鏡 82の無線回路 89のアンテナ 89aから電 波を複数のアンテナ 91a、 91b、 91cを介して無線回路 92で受信し、その信号を制 御回路 93に送る。この制御回路 93により、映像信号に変換して画像処理装置 84に 出力する。

[0054] そして、画像処理装置 84は、上述した各実施例等の処理を行う。

なお、制御回路 93は、複数のアンテナ 91a〜91cにより、カプセル型内視鏡 82の 位置を推定する位置検出機能 93aを有する。そして、この位置検出機能 93aを利用 して、検出対象の画像を選択設定しても良い。つまり、この位置検出機能 93aにより、 食道から胃に至る境界に近い部位を撮像しているか否かを検出して、或程度、境界 に近い部位を撮像している場合には、上述した場合と同様に内視鏡画像として展開 図の生成に利用するようにしても良い。

このようにすると、検出対象となる食道から胃に至る境界に近い部位の生体粘膜を 効率良く判定することができる。

(実施例 4)

次に図 19から図 30を参照して、本発明の実施例 4を説明する。本実施例 4及び実 施例 5は、実施例 1等に対する上述した目的の他に、さらに管状部位の内面の立体 形状を推定することにより、精度の良い展開図の画像を生成できる医療画像処理装 置及び医療画像処理方法を提供することを目的とする。

[0055] 図 19は、本発明の実施例 4の画像処理装置 3Dを備えた内視鏡システム 1Dの構 成を示す。この内視鏡システム 1Dは、図 1の内視鏡システム 1とハードウェア上の構 成は同じである。そして、画像処理装置 3Dの処理プログラム記憶部 23に記憶されて いる処理プログラム 23dのみが図 1の処理プログラム 23aと異なる。このため、実施例 1における構成要素と同じ構成要素には同じ符号を付け、その説明を省略する。

[0056] また、本実施例においても、図 2に示すように、例えば食道 31のような管状部位 (管 状器官）に直視型の内視鏡 6の挿入部 11が挿入され、撮像装置 17により撮像される 。 また、図 3は、この直視型の内視鏡 6によって撮像されたバレット食道の内視鏡 画像 laの 1例を示している。

[0057] 本実施例では、食道 31のような管状器官を直視型の内視鏡 6によって撮像し、撮 像された画像から対象物の立体形状を推定する。

推定された立体形状の中心を通過する直線を推定し、直線を基準に幾何学的な変 換することで展開図にし易い画像を生成し、その画像を展開図として表示手段に出 力する。そして、表示手段の表示面に、展開図が表示されるようにする。

[0058] つまり、画像処理装置 3Dを構成する CPU22は、図 20に示すようにその機能として 、立体形状推定手段 (機能) 22cと、推定された立体形状の中心を通過する直線の 推定手段 (機能) 22dと、推定された直線を基準として展開図として表示し易い形状 に幾何学的な変換を行う幾何学的変換手段 (機能) 22eと、幾何学的な変換により展 開図の画像を表示モニタ 4に出力する展開図出力手段 (機能) 22fと有し、この表示 モニタ 4の表示面には展開図が表示される。

本実施例においては、図 20に示した立体形状推定手段 22c、直線の推定手段 22 d、幾何学的変換手段 22e、展開図出力手段 22fをソフトウェア的に実現している。つ まり、処理プログラム記憶部 23に記憶 (格納）された処理プログラム 23dを CPU22は 読み出し、 CPU22は、この処理プログラム 23dに従って図 21に示すフローチャート の処理を実行する。

[0059] 以下、展開図を生成して表示する処理を図 21のフローチャートに従って説明する。

画像処理装置 3Dの動作が開始すると、 CPU22は処理プログラム記憶部 23の処 理プログラム 23dを読み出し、その処理プログラム 23dに従った処理を開始する。 CP U22は最初のステップ S61において、内視鏡観察装置 2の CCU8から画像入力部 2 1を経て入力される原画像としての画像データを取得する。

そして、次のステップ S62において CPU22は、取得された画像データに対して歪 曲収差補正や、ノイズ除去等の前処理を行う。ステップ S63において CPU22は、画 像内の画素に対応する対象物体の 3次元位置を以下の手順で求める。

[0060] 図 22に示すように視点位置 Oにある撮像手段によって撮影された画像の 3画素に 対応する対象物体上の画素対応点 El、 E2, E3を抽出し、画素対応点 El、 E2, E3 の 3次元位置と光源 Q及び視点 Oとの位置関係力 以下の式（8)が求められる。 [数 8]

r 2= d— k 2ΙΏ.2 (8)

Γ 3= d — k 3Π13

[0061] ただし、画素対応点 El、 E2, E3の 3次元位置のベクトルを k m、 k m、 k m (m ,

1 1 2 2 3 3 1 m , m：大きさ 1の単位ベクトル）、視点 Oから光源 Qへのベクトルを d、光源 Qから 3

2 3

画素対応点 El、 E2, E3の 3次元位置へのベクトル ¾τ、 r、 rとする。

1 2 3

[0062] 画素対応点 El、 E2, E3の 3次元位置で構成される平面の法線ベクトルを nとする と、式（8)よりベクトル nは、次の式（9)のようになり、ベクトル成分 k、 k、 kの比率で

1 2 3 表される。

[数 9] n i= 1 ι₂Χ 123= kik₂k₃(― miX m₂+— ^m2^{x m3+}~^{m3Xmii (9)} k 3 k i K ₂

[0063] ただし、点 Elから点 E2へのベクトルを 1 ，点 E2から点 E3へのベクトルを 1 , Χは

12 23 外積を表す。また、図 23Αに示すように撮像対象となる (食道内面等の)対象物体の 表面は、全方向に均一に光を反射する拡散反射率と仮定すると、画素対応点 El、 Ε 2, Ε3の輝度値 I、 I , Iは、次の式（10)で表される。

1 2 3

[数 10]

I l = hI_qC0S β i/ ！ Γ1 i 2

I 2 = hIqC。s Z I r₂ I ² (10)

I 3 = hI_qcosj3₃/ I r₃ t ²

[0064] ただし、 hは対象物体の表面の拡散反射率、 は光源 Qの光度、 βは点 Ρにおける 対象物体の表面の法線ベクトル ηと光源 Q力 点 Ρに至るベクトル rとのなす角である 。なお、図 23Aの点 Pは、図 22の画素対応点 El、 E2, E3を代表している（このため 、ベクトノレ rは、図 22のべクトノレ r、 r、 rを代表している）。

1 2 3

次に以下の条件 (a)及び (b)を設定して、これらの条件 (a)及び (b)を満たす仮定 のもとで、 CPU22は撮像される画素に対応する対象物体の 3次元位置の算出を行う

[0065] 今、条件（a)視点位置 Oと光源 Qの距離《視点位置 Oと画素対応点 El、 E2, E3 の 3次元位置との距離、つまり、 I d I < I r

m I (或いは I d I 《 I r Iここで m= l〜

3)、及び

条件 (b)画素対応点 El、 E2, E3の 3次元位置が近接している、

の両条件 (a) , (b)が成立する場合、以下の近似式（11)が得られる。

[数 11] k 1： k₂ ： k ₃ I 1 ： l/f I 2： 1/ I 3 ( 1 1 )

[0066] 上記条件 (a)は、図 23Bに示すように dの絶対値に比べて rの絶対値が大きければ 成立する。また、条件 (b)は、食道等の管状の内面を撮像する場合においては、殆ど の場合において成立すると考えられる。なお、図 23Bは、挿入部の先端部 14におけ る先端面部分を拡大して示す。

この先端面には、ライトガイド 13の先端面 (或いは照明レンズ） 13aが臨み、ここから 照明光を出射する。つまり、このライトガイド 13の先端面 13aは、図 22及び図 23Aの 光源 Qに相当する。また、この先端面 13aに隣接して、視点 Oに相当する撮像手段（ 撮像装置 17)の対物レンズ 15が配置されて 、る。

[0067] 上記式（11)より k、 k、 kの比率が求められ、法線ベクトル nが求められる。

1 2 3

画像内の各画素に対応する対象物体の表面上の画素対応点は、隣接する画素対 応点が複数存在する為、図 24に示すように 1つの画素対応点 Paの周囲の点 Pb〜P eにおける各 3点により形成される各面に対してそれぞれ法線ベクトル n〜nが求め

1 4 られる。よって、これら複数の法線ベクトル n〜nの平均ベクトルを算出し、その平均

1 4

ベクトルを画素対応点の法線ベクトルとしてもよ 、。

図 22Aに示したように対象物体の表面を拡散反射と仮定し、さらに角 |8を書き換え ることにより、各画素対応点 P (x, y)の輝度値 I (x, y)は以下のような式（12)で表す ことができる。

[数 12]

I _(x,_y) ³ (12)

ただし、 hは対象表面の拡散反射率、 Iqは光源 Qの光度、 βは点 Ρにおける対象物 体の表面の法線ベクトル n(x， y)と光源方向 r(x， y)のなす角である。

また、点 Pにおける光源方向 r(x， y)は、以下のような式（13)で表すことができる。

[数 13]

ただし、図 23Bに示すように対物レンズ 15の視点 Oから光源 Qへのベクトルを d、視 点 O力 対象物体の位置 Pへの単位ベクトルを m(x， y)、距離 OPを k(x， y)とする。 ベクトル m(x, y)は、図 25に示すように（CCD16の）撮像面 42の画像上の位置（x , y)を通ることから、以下の式（14)に示すように

[数 14]

となる。ただし、 fは撮像装置 17の焦点距離である。従って画像上の各画素の輝度値 I (X, y)は次のような式（15)で表すことができる。

[数 15]

I (x,y) = hl_qncx,y) - ( k (_X,y)m(x,y)- d ) / t k ,y)m(x,_y)- a t ³ (1。ノ 上記式（15)において k(x， y)以外は全て既知であることから、 CPU22は、式（15) より k(x， y)を算出し、画像上の各画素 (X, y)に対応する 3次元位置 (X， Υ, Z)を、 以下の式（16)のように算出する _c

[数 16]

ノ

[0072] 次にステップ S64において CPU22は、ステップ S63で得られた 3次元形状（各画 素対応点の 3次元位置によって得られた形状)の中心を通過する直線を推定する。

[0073] 図 26に示すように視点 0から 3次元形状の点 Pへのベクトルを p、直線上の任意の 点 Aへのベクトルを a、直線の方向ベクトルを 1とおくと、 3次元形状の点 Pから垂直に 直線におろしたベクトル u (x， y)は次の式（17)で表される。

[数 17]

[0074] 推定された 3次元形状が円柱体に近い形状を示す場合、 3次元形状の中心を通過 する直線は、各画素に対応する 3次元形状の各 3次元位置力 等距離に存在すると 考えられる。従って、 CPU22は、以下の式（18)に示すように、式（17)より得られる ベクトル u (x， y)の大きさと任意の大きさ!:（円柱体の半径)との差の総和が最も小さく なるように任意の大きさ rと直線の方向ベクトル 1と点 Aへのベクトル aを最小二乗法に より推定する。

[数 18]

∑t | u (χ,ν) I - r ) ² →m l n ( 1 8 ) 次のステップ S65において CPU22は、各画素に対応する 3次元形状の 3次元位置 を座標系 X— Y— Zから直線を基準とした座標系 X— Y— Zに変換する為のパラメ ータ回転行列 R、並進行列 Mを、図 27に示す関係力も求める。

座標系 X—Y—Zの Z方向のベクトル Z、直線のベクトルはり単位ベクトル v= (vx, v y, vz)と角度 γは、以下の式（19)に示すように

[数 19]

V = Ζ X 1

( 1 9 )

y = cos一¹ Z · 1 )

[0076] となる。

[0077] よって、回転行列 R、並進行列 Mは次の式（20)、式（21)のようになる _c

[数 20] r ヽ cos 7 + v ² _x(l-cos 7 ) v it v yCl-cos γ )■ v ism y v _x v j(l-cos )- v _ysm γ ' v _y v nd-cos 7 )+ v _zsin γ cos v + v ² _y(l-cos y ) v _y v jd-cos 7 )■ v _xsin y ( 2 0) v z v _x(l-cos 7 )+ v ysin v ； v _y(l-cos 7 )+ v _xsin v cos γ + v ² _z(l-cos 7 )

ノ

[0078] ここで、並進行列 Mとして、ベクトル a = (a , a , a )と設定する。

次のステップ S66において CPU22は、座標系 X—Y—Zで表されている 3次元位 置を座標系 X— Y— Zに変換する。この変換式は、次の式（22)のようになる。

し し し

[数 21]

P _L = R ^{_ 1} ( P - ) ( 2 2) 次のステップ S67において CPU22は、式（22)によって図 28Aの内視鏡画像 laに 対応する図 28Bに示すように変換された各画素対応点の 3次元位置 P = (X , Υ , Z し し し

)を、さらに ZLを中心とした円柱体表面に投影する。 [0080] この円柱体としては、例えば食道等の管状部位のサイズに近い値に設定する。例 えば、管状部位の内径を平均化した値を円柱体の直径とする。

例えば図 28Aにおける内視鏡画像 laにおける上皮境界 37, (胃食道)接合部 34, 暗部境界 38は、図 28Bにおける同じ符号 37, 34, 38で示す 3次元形状部分に対応 し、その 3次元形状部分の各位置は太 、線で示す ZLを中心とした円柱体表面に投 影される。

[0081] 円柱体表面の座標系を θ -Zとすると、変換された 3次元位置 P = (X , Υ , Z ) し し し し し し は以下の式（23)によって求められる。

[数 22]

X L

Θ L~tan

Y L

( 2 3 )

Z L— ^ L

[0082] 画像の全ての画素に対応する円柱体表面の位置 C ( θ 、 Ζ )を求め、各画素の輝 し し

度値を座標系 Θ — Ζに貼り付ける。そして、図 28Cに示す展開図 lbを生成する。な し し

お、輝度値としては、カラー画像の場合には、各色信号の輝度値を表す。

[0083] 図 28C或いは図 29に示すように円柱体表面に貼り付けられた画素は、不均一に存 在し、 Zが大きくになるほど粗くなる (視点から遠方側となる位置の画像部分ほど粗く し

なる)。

[0084] また、図 29の部分拡大図に示すように貼り付けられた各画素は、表示装置に表示 される画像の各画素位置と一致しない場合が多い。従って、補間処理によって表示 装置に表示する画像、すなわち展開図 lbを生成する。

ステップ S68において CPU22は、上記補間処理を行い、表示モニタ 4等の表示装 置に表示可能な画像、すなわち展開図 lbを生成する。次のステップ S69において C PU22は、内視鏡画像 laと展開図 lbを表示モニタ 4に出力する。そして、図 30に示す ように表示モニタ 4には、ステップ S10の内視鏡画像 laと展開図 lbとが表示されるよう になる。そして、この展開図 lbを表示する処理が終了する。 [0085] 本実施例は、以下の効果を有する。

胃と食道の接合部から連続的に存在する円柱上皮の広がり方、円柱上皮と扁平上 皮の特徴的な形状を、展開された展開図（の画像）により表示し、術者は、より比較等 力 Sし易い状態で観察できる為、バレット食道等の管状部位の診断をより容易に行うこ とが可能となる。

つまり、先行例では、図 30における内視鏡画像 laのみが表示され、この内視鏡画 像 laでは管状部位の内面を 2次元的に投影した画像となっており、例えば奥行き方 向（管状部位の軸方向）の距離の値によって、縮小された状態で各部が表示される。

[0086] このため、例えば奥行き方向の値が異なる部分を比較しょうとしても、各部が奥行き 方向の距離によりスケールが異なっているため、比較することが簡単にできない。 これに対して、本実施例によれば、 2次元的に撮像された内視鏡画像 laにおける各 画素に対応する管状部位の内面の位置の 3次元位置を算出し、 3次元位置の算出 により、各画素の位置情報を周方向の位置情報と、この周方向と直交する管腔の略 中心軸方向の距離成分情報とに変換し、さらに管状部位の平均的サイズ等に設定し た円柱体の表面に投影した状態で、各部の輝度情報を周方向の位置情報、つまり 角度の値で展開して表示するようにして 、る。

このため、本実施例によれば、奥行き方向が異なる位置でも、周方向のスケールを 揃えて表示でき、従って場所が異なる部位での比較が簡単に行え、さらに過去の症 例等との比較等も客観的かつ簡単に行える。

従って、本実施例によれば、管状部位の診断を容易に行うことができる展開図の画 像を生成でき、診断上、非常に有効な画像処理装置及び画像処理方法を提供でき る。

[0087] (実施例 5)

次に図 31から図 33を参照して本発明の実施例 5を説明する。本実施例の画像処 理装置は、実施例 4と同じ構成であり、図 19の処理プログラム記憶部 23に記憶され て 、る処理プログラム 23dと異なる処理プログラムが採用されて 、る。

実施例 4においては、 1枚の画像力ゝら各画素に対応する画素対応点の 3次元位置 を推定していたが、本実施例では以下に説明するように、複数の内視鏡画像を撮像 し、その撮像された複数の内視鏡画像に対応する対象物体の 3次元位置を算出する

3次元位置の算出後における以後の処理は、実施例 4と同様である。図 31は本実 施例における 3次元位置を算出するフローチャートを示し、図 32はその処理内容の 概略の動作を示し、図 33はテンプレート画像と参照画像とのシフト量を求める様子を 示す。

[0088] 以下、図 31及び図 32を参照して 3次元画像データが算出されるまでの過程を説明 する。

[0089] ステップ S71に示すように画像処理装置 3の CPU22は、内視鏡 6の揷入部 11の先 端部 14の撮像装置 17を移動しながら対象物を撮像して、複数の画像データを取得 する。

撮像された複数の画像データは、画像入力部 21を経て画像処理装置 3内の画像 記憶部 24に一時記憶される。

つまり、同一対象物に対して（内視鏡 6の先端部 14の)撮像装置 17を移動しながら 、少しづつ位置が異なる 2次元画像データの取得を行う。

[0090] 挿入部 11の先端側を移動して撮像している様子を図 32に示している。ここでは、 P

0力も P

Nまで移動し、その際の撮像により得られた画像データを四角で示している。 次のステップ S72において CPU22は、ステップ S71で取得された複数の画像に対し て歪曲収差補正等の前処理を適用し、画像の歪を補正する。

内視鏡観察装置 2から送られてくる内視鏡の画像データでは、対物レンズとして広 角レンズを使用していることにより歪が発生するため、各画像に対して歪曲収差補正 処理を適用し画像の歪を補正する。

[0091] また、このステップ S72において CPU22は、補正された複数の画像 (画像対）を用 いて、対応点の追跡、つまり対象物を表す 1つの画像 (テンプレート画像)を選び、そ の画像上の複数の点を選択してそれぞれの点が他の参照画像 (リファレンス画像)上 でどのように移動して 、るかの追跡を行う。この対応点追跡を補足説明する。

対応点追跡は、図 33の左側に示すように、検出しょうとする対象物のテンプレート 画像に、ある点を中心とした矩形領域 (ウィンドウ）を t (x)とし、図 17の右側に示すよう に参照画像にある大きさのサーチエリア Sを設定し、サーチエリア S内の対応領域 f(x )と前記テンプレート画像の矩形領域 t(x)とのブロックマッチング処理を相互相関演 算によって相関値が最大となる領域を求める演算で行い、その場合におけるテンプ レート画像に対する参照画像の移動方向及び移動量を求める。

[0092] 例えば、次のような正規ィ匕された式（24)の相互相関 D(u, v)；

[数 23]

Us C {f (x+u,y₊v)-<i» {c .y)-<t>1 ] む

D ( , ν) - -= ^{(2 4)} is tf Cx₊u,y₊v)-<f »² dxdy SS (t .y)-<t» ^

[0093] を用いて相関値を求め、それが最大となる領域を求め、その場合における移動方向 及び移動量を求める。ここで、 2重積分記号はサーチエリア S内での積分を表し、 <f >、 <t>はそれぞれ f(x+u，y+v)、 t(x,y)の S内での平均を表す。

[0094] なお、ブロックマッチング処理は、相互相関演算に限定されるものでなぐ米国特許 4, 962， 540号明細書に開示されているカラーマッチング手法を適用してもよい。

[0095] 上述のようにして、テンプレート画像上で選択された点の移動方向及び移動量の値 を記述したシフトマップを求める。

図 32においても隣接する撮像位置 Pと P、 Pと P、…等により、得られた画像デー

0 1 1 2

タカ シフトマップ M、 M、…の算出を行い、位置推定を行う様子を示している。

1 2

[0096] ステップ S72で求めたシフトマップを用いて、次のステップ S73において CPU22は 、最急降下法等の反復処理により、撮像装置 17の運動ベクトルを求め、対象物体の 位置及び撮像装置 17の位置との相対的な位置関係を求める。

[0097] 次のステップ S74において CPU22は、各シフトマップで求めた対象物体と撮像装 置 17との位置関係が同一の座標空間になるように変換し、それぞれの同一点での対 象物体と撮像装置 17の位置を平均して 1つの対象物体の 3次元形状を推定する（対 象物体の各 3次元位置を算出する)。

このようにして、対象物体の 3次元位置を算出した後には、図 21のステップ S64に 示す 3次元形状の中心を通る直線の推定等の処理を行うことになる。

本実施例は、撮像装置 17により撮像した複数の画像を用レ、ることにより、実施例 4 と同様に、診断する場合に適した展開図の画像を得ることができる。

[0098] なお、この他に、以下の文献に開示されているように、 1枚の画像から shape— fro m— shading法により、立体形状を推定し、この推定した立体形状力も実施例 1のよう に展開図を生成するようにしても良い。文献:コンピュータビジョン，投影中心に点光 源がある場合の Shape— from— Shading—内視鏡形状力もの 3次元形状復元— 岡谷、出 Pl :pp. 19- 26, 1996

この文献は、光源 (先端部 14のライトガイド先端面 13a)力もの距離が等しい管状器 官の表面上の曲線に注目して、その曲線の発展方程式を偏微分方程式で記述し、 これを解くことで 3次元形状を復元 (算出）するものである。 3次元形状の算出後の処 理は、実施例 4の場合と同様の処理となる。

[0099] (実施例 6)

次に図 34から図 44Cを参照して、本発明の実施例 6を説明する。実施例 6以降は、 直視型の内視鏡によって撮像された食道の内視鏡画像のような場合に対してもバレ ット食道の診断等を効率良く行うのに適した医療画像処理装置 (より具体的には食道 粘膜用画像処理装置)及び医療画像処理方法を提供することを目的とする。この背 景を補足説明する。

[0100] 食道内部のような管状部位を直視型の内視鏡により撮像した画像の場合には、管 状の粘膜組織 (具体的には上皮の組織)を管腔の軸方向から斜めないしは直角に近 い方向から撮像した画像となるため、特に撮像装置力もの距離が異なる部分での形 状等が大きく変化する。

[0101] このため、直視型の内視鏡により撮像した内視鏡画像のみでは、形状や大きさ等を 把握するのに時間がかかり、より把握し易い画像を提供できると診断する場合、非常 に便利である。つまり、上記目的が非常に有効となる。

[0102] 図 34に示す内視鏡システム 1Eは、図 1の内視鏡システム 1とハードウェア上の構成 は同じである。本実施例の食道粘膜用画像処理装置 (以下、単に画像処理装置と略 記） 3Eは、図 1の画像処理装置 3において生成した展開図の画像を用いてさらにバ レット食道が有する特徴量に対する解析を行う画像処理を行う機能を付加したもので ある。 [0103] このため、図 34における画像処理装置 3Eは、図 1の画像処理装置 3の場合の処理 プログラム 23aに、さらに上皮境界を検出する機能と、検出された上皮境界に対して ノルット食道の特徴量を調べる解析を行う機能とを付加した機能を持つ処理プロダラ ム 23eを有する。その他は、実施例 1と同様の構成であるので、同一の構成要素には 同じ符号を付け、その説明を省略する。

[0104] 本実施例においても、図 2に示すように、例えば食道 31のような管状器官或いは管 状部位内に直視型の内視鏡 6の挿入部 11が挿入され、先端部 14に設けた撮像装 置 17により、食道 31の内壁粘膜等が撮像される。

図 35は、この直視型の内視鏡 6によって撮像されたバレット食道の内視鏡画像 laの 1例を示している。バレット食道は、胃と食道の接合部、つまり胃食道接合部 34から 口腔側に向力つて連続的に食道粘膜としての扁平上皮 36が胃粘膜或いはバレット 粘膜としての円柱上皮 35に変性したものであり、このバレット粘膜が正常な粘膜境界 力 3cm以上、食道管腔断面に対して全周性で生じた場合に、バレット食道という疾 患と診断される。

[0105] このように定義された場合を含めて、変性した円柱上皮 35の広がり方や円柱上皮 35 と扁平上皮 36との境界としての上皮境界 37の特徴的な形状を内視鏡 6によって観 察することにより、術者はバレット食道の診断を行う。

図 35の内視鏡画像 laでは、食道 31から胃内部に至る管状部位部分が、図示しな ぃ最暗部の周囲の胃食道接合部 34、胃食道接合部 34の周囲の外側の円柱上皮 3 5、その外側の上皮境界 37、そしてこの上皮境界 37の外側の扁平上皮 36が表示さ れている。

[0106] 本実施例では、食道 31のような管状器官の対象物を直視型の内視鏡 6によって撮 像し、撮像された内視鏡画像 laを幾何学的に変換して、展開図を生成する処理を行 い、生成された対象物の展開図をモニタ 4で表示すると共に、生成された展開図から 上皮境界 37を検出する。

そして、検出された上皮境界 37の特徴的な形状に基づいて、形状の解析を行い、 解析結果を出力する処理を行う。

具体的には、上皮境界 37の Z方向の平均値を算出し、さらに上皮境界 37の Z方向 の分散値を算出することによって、上皮境界力バレット食道かを判定する処理を行い 、上皮境界かバレット食道かの判定結果 (解析結果)を出力する。

[0107] 画像処理装置 3を構成する CPU22は、図 36に示すように、幾何学的な変換を行う 幾何学的画像変換手段 (機能) 22aと、幾何学的な変換により展開図の画像を出力 する展開図出力手段 (機能) 22bと、展開図から上皮境界を検出する上皮境界検出 手段 (機能) 22gと、上皮境界の形状を解析してその解析結果を出力する上皮境界 解析手段 (機能) 22hとを有する。

上記上皮境界解析手段 22gは、具体的には、上皮境界の Z軸方向の平均値を算 出する上皮境界の平均値算出手段 (機能)と、上皮境界の Z方向の分散値を算出す る上皮境界の分散値算出手段 (機能)と、この分散値が上皮境界かバレット食道かを 判定する判定手段 (機能)とからなる。

[0108] 本実施例においては、図 36に示した幾何学的画像変換手段 22a、展開図出力手 段 22b、上皮境界検出手段 22g、及び上皮解析手段 22hをソフトウェア的に実現し ており、このために処理プログラム記憶部 23に記憶 (格納）された処理プログラム 23e を CPU22は読み出し、 CPU22は、この処理プログラム 23eに従って図 37に示す処 理手順を実行する。

[0109] 以下に説明するように本実施例は、食道の胃食道接合部周辺部を直視型の内視 鏡 6で撮像した内視鏡画像 laから展開図 lbを生成し、その展開図 lbから上皮境界を 検出し、さらにその上皮境界 37の形状に対して典型的なバレット食道の形状、つまり 上皮境界 37の各点が管腔方向にぎざぎざになっている等、複雑な形状となっている 場合における特徴量を有しているか否力を上皮境界各点での分散値を算出して、判 定するようにしている。

[0110] そして、撮像された内視鏡画像 laにおける上皮境界 37の各点が管腔方向にぎざぎ ざになっている等、複雑な形状となっている場合の典型的なバレット食道を客観的に 判定するようにしている。

次に図 37を参照して、本実施例の動作を説明する。

画像処理装置 3の動作が開始すると、 CPU22は処理プログラム記憶部 23の処理 プログラム 23eを読み出し、その処理プログラム 23eに従った処理を開始する。 CPU 22は最初のステップ S81において、内視鏡観察装置 2の CCU8から画像入力部 21 を経て入力される内視鏡画像 laの画像データを取得する。

[0111] そして、次のステップ S82において CPU22は、取得された画像データに対して歪 曲収差補正や、ノイズ除去等の前処理を行い、ステップ S83において図 38の左側に 示す内視鏡画像 laから右側に示す展開図 lbを生成する処理を行う。

この展開図 lbを生成するステップ S83の処理を図 39に示す。図 39に示す処理は 図 5において説明したステップ S3からステップ S13で内容と同じであるので、同じ処 理内容のステップには同じ符号を付ける。但し、図 39におけるステップ は展開 図のみを出力する処理となって 、る。

[0112] 図 39に示すように最初のステップ S3において、内視鏡画像 la内の最暗部の位置 を検出し、検出された最暗部の重心位置を内視鏡画像 laの座標の中心位置とする。 本実施例においては、内視鏡画像 la内の最暗部の位置を中心に展開図を生成す る。最暗部の検出方法として内視鏡画像 laを複数の領域に分割し、分割された領域 の平均輝度を算出し、最小の平均輝度を有する領域を最暗部の位置として求める。

[0113] 図 38に示すように内視鏡画像 laの 2次元の直交座標系を X—Yとし、この内視鏡画 像 laから極座標系に幾何学的に変換して 0—Zとする展開図 lbを生成する。なお座 標系 X— Yにおける座標位置は x、 yで示す。また、極座標系 θ—Zにおける座標位 置は、周方向の位置を表す Θ、中心からの距離位置を zで示す。

なお、図 6では内視鏡画像 laから展開図 lbが生成された場合の関係を分力りやすく するために、内視鏡画像 laにおける扁平上皮 36と円柱上皮 35の上皮境界 37、胃食 道接合部 34を展開図 lbにした場合にはどのような形状で表示されるかを矢印で対応 付けて示している。ここで、 Θ力 O度、 45度、 90度、…の場合の目盛を付して示して いる。また、画像の表示枠の位置を Q , Q , Q により示している。

0 45 90

次のステップ S4とステップ S5において展開図 lbの座標 S ( 0、 z)の初期値を設定 する。つまり、ステップ S4において、 CPU22は、 Θ =0とし、ステップ S5において z = 0とする。

[0114] 次のステップ S6において設定され展開図 lbの座標 S ( Θ、 z)に対応する内視鏡画 像 laの座標位置を以下の式（1)によって求める。 x=z sin Θ 、 y=z cos Θ (1)

ステップ S7において算出された座標 P (x、 y)が内視鏡画像 la内に存在するかを判 断する。

そして、内視鏡画像 la内に存在する場合は、ステップ S8に進む。式（1)より得られ た内視鏡画像の座標 P (x、 y)の位置は、画素間の中に存在する可能性がある為、ス テツプ S8で線形補間等の処理を用いて座標 P (x、 y)の輝度値を算出する。

なお、輝度値としては、カラー撮像を行っている場合には、各色信号の輝度値を算 出する。

[0115] ステップ S9においてステップ S8で求めた輝度値を展開図の座標 S ( Θ、 z)の輝度 値とする。次にステップ S10に進み、展開図 lbの zの値を変更（例えば zの増分 Δ ζ = 1)し、ステップ S6に戻る。

一方、ステップ S7において算出された座標 P (x、 y)が内視鏡画像 la内に存在しな い場合、ステップ S11へ進み、展開図 lbの Θの値を変更する（例えば Θの増分 Δ Θ = π /180、つまり 1° )。 次のステップ S12において、 0力 2 π (360° )より小さ ければステップ S5に戻り、展開図生成の処理を継続する。一方、 Θが 2 π以上にな つた場合、展開図 lbが生成されたと判断しステップ S 13に進み、展開図 lbをモニタ 4 に出力して、展開図生成の処理を終了し、生成された展開図 lbを用いて図 37のステ ップ S84の上皮境界 37を検出する処理に移る。

[0116] 図 37のステップ S84に示す扁平上皮 36と円柱上皮 35との境界としての上皮境界 3 7を検出 (座標点列を取得)するために、例えば図 40に示すようにエッジ検出を利用 して行う。扁平上皮 36は白い色調であり、これに対して円柱上皮 35は赤い色調であ るので、 R, G, Bの色信号における特定の色調等によりその上皮境界 37を検出する ことちでさる。

図 40に示すように CPU22は、ステップ S131において、画像記憶部 24等に格納さ れた展開図 lbの画像データを取得する。

そして、次のステップ S132において CPU22は、その画像データに対して、輪郭抽 出フィルタリング処理として上述した公知のエッジ検出の処理を行 ヽ、エッジ検出画 像を生成する。 [0117] 次のステップ S133において CPU22は、このエッジ検出画像に対して、 2値化処理 を行 ヽ、さらに細線ィ匕処理を行って境界の取得を行う。

次のステップ S134において CPU22は、取得した境界に対してトレース処理を行つ て境界に沿った座標点列、つまり上皮境界の点列を取得する。

このようにして上皮境界 37の点列を取得したら、 CPU22は、図 37のステップ S85 に示すように上皮境界 37の (食道の管腔方向となる) Z方向の平均値く Z >を算出

A

する。

つまり、 CPU22は、検出された上皮境界 37の Z方向の平均値 <Z >を以下の式（

A

25)で求める。

[数 24]

、 ノ = ∑厶 （2 5 )

[0118] ただし、 Z は、式（1)で得られた展開図における上皮境界の 6 iにおける Z値であ る。式（25)においては周方向の 1回転分のサンプル値 Nにより平均が算出される。（ この場合、図 38の展開図 lbの分解能は、 0 iと Z (中心 Oからの距離）のサンプリング の細かさによって決定される。

[0119] 図 41は、展開図 lb上に、上皮境界 37の Z方向の平均値く Z >を表示した図を示

A

す。式（25)の平均値 <Z 〉を算出した後、次のステップ S86において CPU22は、

A

上皮境界 37の Z方向の座標位置のばらつき (境界の凹凸の）の程度を表す分散値 σ を以下の式（26)で求める。

A

[数 25]

[0120] 次のステップ S87において CPU22は、式（26)で算出された分散値 σ と、基準値

A

σ を比較し、この分散値 σ が基準値 σ より小さいか否かの判定を行う。

th A th

そして、分散値 σ が基準値 σ より小さい場合にはステップ S88において CPU22

A th

は、上皮境界 37と判定し、逆に分散値 σ が基準値 σ より大きい場合はステップ S8

A th

9に示すように上皮境界 37が複雑な形状をしていると判断し、撮像された画像をバレ ット食道と判断する。

この場合、展開図 lbにより得られた分散値 σ に対して判定に用いる基準値 σ は

A th

、図 42に示すように予め診断が確定した上皮境界 37のサンプルとバレット食道の場 合のサンプルを用いた分散値 σのヒストグラム力 決定される。

[0121] 図 42は、上皮境界 37の場合に得られる分散値 σ の分布のヒストグラム D と、バ nor nor レット食道の場合に得られる分散値 σ の分布のヒストグラム D とを示している。な bar bar

お、バレット食道の場合のサンプルは、上皮境界 37がぎざぎざになったように境界形 状が複雑な形状のサンプルを用いて 、る。 図 42に示すように 2つのヒストグラム D nor 及び D から、例えば 2つのヒストグラムが交差する位置 σ をバレット食道と評価する bar th

基準値 σ とする。

th

そして、上述したように式（26)で求めた分散値 σ をこの基準値 σ と比較すること

A th

により CPU22は、上皮境界 37である力バレット食道かを判定する。

ステップ S88或いはステップ S89による判定結果 (解析結果）の情報を、ステップ S9 0にお 、て CPU22は、モニタ 4等の表示装置に出力してこの処理を終了する。

[0122] 図 43は、内視鏡画像 Ia、展開図 Ib、及び判定結果の情報をモニタ 4に表示した表 示例を示す。図 43の表示例では、分散値 σ が基準値 σ 以上となった場合の例と

A th

して、判定表示部 41に"バレット食道"と判定した判定結果を表示して 、る。

なお、ここでは、バレット食道と表示している力 "バレット食道の可能性が高い"と表 示する等しても良い。また、分散値 σ

Aを求める代わりに標準偏差値を算出して、基 準値と比較して比較結果を解析結果として表示等しても良い。

また、本実施例及び以下の実施例では、算出した分散値 σ 等、判定対象となるバ

A

レット食道の特徴量に対する評価値を単一の基準値（ σ 等)）と比較した比較結果 th

を解析結果としているが、算出した評価値を複数の基準値と比較して、バレット食道 の可能性が高!、状態と正常に近!、状態との中間的な状態（1つ或いは複数の中間 的な状態)の解析結果等を出すようにしても良 、。

[0123] 例えば、上皮境界 37の場合よりも、食道粘膜としての扁平上皮 36が少し変性した 状態と判定した場合には、少し円柱上皮 (バレット粘膜) 35が生成されている初期状 態の可能性があるとか、扁平上皮 36がさらに変性した状態と判定した場合にはかな り円柱上皮 (バレット粘膜) 35が生成されて 、る症状が進行状態にある等の判定結果 を表示する等して告知するようにしても良 、。

術者は、判定結果の情報を参考にすることにより、効率的な診断を行うことができる 。また、術者は、モニタ 4に表示される内視鏡画像 laと共に表示される展開図 lbを参 照することにより、上皮境界 37の周方向の形状等を（内視鏡画像 laのみの場合よりも )より把握し易くなり、従って診断等も効率良く進めることができる。

[0124] 上述の説明では、図 39に示すような処理により 2次元の内視鏡画像 laから幾何学 的な変換により、展開図 lbを生成した場合で説明したが、図 44Aに示す内視鏡画像 laから図 44Bに示すように診断対象となる食道の胃食道接合部周辺部の内壁面の 立体形状を推定する等した後、図 44Cに示す展開図 lbを生成するようにしても良い。

[0125] なお、図 44Bのように立体形状を推定した場合、さらにこの立体形状の中心線を推 定してその中心線方向に座標軸 Zとした 3次元座標系（X , Υ , Z )に内視鏡画像 I

し し し し

aの各点を変換する。

さらにこの 3次元座標系（X , Υ , Z )における立体形状の各点を、この立体形状に

し し し

近い同じ Zを中心とした円柱体の表面に投影する。この円柱体の表面の座標系を 0

し

— Zとする。そして、 3次元座標系（X , Υ , Z )の各点或いは円柱体の表面に投影 し し し し し

された各点を 0 — Zの座標系に変換する。

し し

[0126] 図 44Bでは、上皮境界 37上での点! ^ を示し、この上皮境界 37上での点! ^ は Y

し 軸となす角が 0

しで示されている。

図 44Bに示すように円柱体の表面に投影された各点を 0 — Zの座標系に変換後

し し

、 Θ を 0とした値で切り開き、図 44Cに示す展開図 lbにより、内視鏡画像 laの各位置 し

を表示する。この処理は、実施例 4においてその詳細が説明されている。

また、実施例 5の展開図生成手段を採用して展開図を生成しても良い (また、 2次元 的な変換により展開図を生成する場合にも、実施例 2或いは実施例 3に記載されて いる展開図生成手段を採用して展開図を生成し、その展開図を利用して上述した処 理を行うようにしても良い)。

[0127] 図 44Cに示すようにこの場合においては、 Zが大きい値側が撮像手段から遠方の

し

位置となるため、遠方位置に対応する胃食道接合部 34の下側（内側）に上皮境界 3 7の形状が表示される。

このように図 44Cに示した展開図 lbの場合にも、 CPU22力 図 37のステップ S84 以降の処理を行うことによって、上皮境界 37の Z方向（図 44Cでは ZL方向）の平均 値 <Z >、分散値 σ を算出して、この分散値 σ を基準値 σ と比較することにより

A A A th

上皮境界であるか或いは性状が変化したバレット食道であるかを判定することができ る。なお、図 44Cの展開図 lbの分解能は、診断対象の立体形状を推定する場合の 画像の分解能によって決定される。

[0128] このように本実施例では、直視型の内視鏡 6によって撮像された食道の内視鏡画像 の展開図 lbを生成し、展開図 lbの上皮境界 37の形状のばらつき等を定量的に判定 することによりバレット食道か否かを容易かつ客観的に判定することができる。

従って、術者は、この判定結果を利用することにより、バレット食道か否かの診断を 効率良く行うことができる。

また、本実施例では、展開図 lbを生成するようにしているので、内視鏡画像 laのみ の場合よりも管腔方向或いは管腔と直交する周方向における上皮境界 37の形状分 布等の把握がし易くなり、従って術者は、診断をより行い易くなる。

[0129] (実施例 7)

次に図 45及び図 46を参照して本発明の実施例 7を説明する。バレット食道は、実 施例 6で説明したように上皮境界 37が複雑な形状をしたものに適用した場合である 力 円柱上皮 (バレット粘膜) 35が舌状に広がり、このため上皮境界 37の形状も舌状 に形成される場合がある。

この場合には、実施例 6では、この形状に対して適切な解析結果を出力することが 困難になる可能性がある。このため、本実施例では、円柱上皮 35が舌状に広がった ような場合にも、それに対して適切な解析結果 (判定結果)を出力することができるよ うにすることを目的とする。

このため、本実施例では、以下に説明するように実施例 6における上皮境界 37の Z 方向の平均値く Z >を算出して、上皮境界 37の Z方向のばらつき (複雑さ）に対応

A

する分散値 σ を算出する代わりに、上皮境界 37の Ζ方向の最大値と最小値を求め

A

、これらの差分値の絶対値を基準値と比較することにより、上皮境界 37がバレット食 道か否かの判定を行う。

[0130] 図 45は、胃食道接合部付近を撮像した内視鏡画像 laと、この内視鏡画像 laから 2 次元的或いは 3次元的に生成した展開図 lbを示す。

本実施例では、図 46に示すような処理を行う。図 46の処理は、ステップ S81からス テツプ S84までは図 37の処理と同様である。ステップ S84により上皮境界 37を検出 した後、本実施例ではステップ S 141に示すように CPU22は、上皮境界 37の Z方向 の最大値 Zmaxと最小値 Zminを算出する。

そして、次のステップ S142において CPU22は、これら最大値 Zmaxと最小値 Zmi nの差分値の絶対値 Dを求める。

A

次のステップ S 143において CPU22は、この差分値の絶対値 Dを基準値 D と比

A th 較して、差分値の絶対値 Dが基準値 D より小さいか否かを判定する。

A th

[0131] この基準値 D は、予め診断が確定している正常なサンプル及び上皮境界 37が舌

th

状に広がっているバレット食道のサンプルにおけるそれぞれ差分値の絶対値のヒスト グラムを求めたものから、両者の判定を行うのに適した閾値として算出されたものであ る。

差分値の絶対値 Dが基準値 D より小さい場合にはステップ S88において CPU2

A th

2は、上皮境界 37と判定し、逆に差分値の絶対値 Dが基準値 D 以上の場合にはス

A th

テツプ S89に示すようにバレット食道と判定する。そして、ステップ S88或いはステツ プ S89による判定した結果を、ステップ S90において CPU22は、モニタ 4等の表示 装置に出力する等して、この処理を終了する。

本実施例によれば、上皮境界 37が舌状に広がったような場合のバレット食道の場 合にもその特徴を適切に解析して、的確な判定を行うことができる。

[0132] (実施例 8)

次に図 47及び図 48を参照して本発明の実施例 8を説明する。本実施例は、食道 の管状の形状が例えば円管形状力も変形したような場合にも、上皮境界の特徴的な 形状からバレット食道か否か適切に判定することを目的とする。

実施例 6の判定方法では、食道を円管形状に近いことを想定して、上皮境界 37の Z方向の平均値 <Z >を算出し、上皮境界 37の Z方向の各位置をこの平均値 <Z >からのばらつき (分散値)を算出して、バレット食道力否かの判定を行っていた。こ の方法では、食道の管状の形状が、例えば心臓の拍動等の影響その他の影響で円 管形状力も変形したような場合には、判定結果がその影響を受けやすくなる。

本実施例においては、その影響を軽減するべぐ図 47の左側に示す内視鏡画像 la 力も右側の展開図 lbを生成し、この展開図 lb上において例えば胃食道接合部 34を 検出し、この胃食道接合部 34から上皮境界 37までの距離の分散値からバレット食道 か否かを判定する。

[0133] つまり、食道の管状形状が変形した場合、胃食道接合部 34もほぼ同様に変形する ことが考えられるため、胃食道接合部 34から上皮境界 37までの距離情報を利用する ことにより、食道の管状形状に殆ど影響されないで判定を行うようにするものである。 この場合、胃食道接合部 34の代わりに胃に通じる暗部或いは噴門部を検出し、それ を利用しても良い。

胃食道接合部 34の検出方法としては、例えば食道粘膜の管腔方向（つまり Z方向） に走行する柵状血管の端点を検出し、その端点を連結することにより胃食道接合部 3 4を検出することができる。

本実施例の処理方法は、図 48のようになる。図 48において、ステップ S81力ら S84 までは、図 37或いは図 46と同じである。ステップ S84の次にステップ S151において CPU22は、胃食道接合部 34を検出する処理を行い、胃食道接合部 B34検出する。

[0134] 次のステップ S152において CPU22は、上皮境界 37と胃食道接合部 34とにおけ る Z方向の距離 Z — Z の平均値 <Z >と分散値 σ を算出する。

Α θ ί Β θ ί ΑΒ ΑΒ

ここで、平均値く Ζ >及び分散値 σ は、以下の式（27)で求めることができる。

ΑΒ ΑΒ

[数 26] く ZA3〉 （²ァ）

[0135] そして、次のステップ S153において CPU22は、この分散値 σ が予め求めた判

ΑΒ

定に用いる基準の分散値 σ

ABthと比較することにより上皮境界であるか或いは性状が 変化したバレット食道であるかを判定する。

つまり、ステップ S153により分散値 σ の値が基準の分散値 _σ より小さい場合 には、ステップ S88に示すように CPU22は、上皮境界と判定し、逆に分散値 σ の

ΑΒ

値が基準の分散値 _σ 以上の場合には、ステップ S89に示すようにバレット食道で

ABth

あると判定する。

[0136] そして、ステップ S90に示すように CPU22は、ステップ S88或いはステップ S89の 判定結果をモニタ 4に表示するように判定結果を出力してこの処理を終了する。 本実施例によれば、胃食道接合部 34を基準として上皮境界 37までの距離（=Z -Z )の平均値く Z >を算出して、その距離 Z -Z のばらつきを評価するこ

Β θ ί AB Α θ ί Β θ ί

とにより、上皮境界 37が上皮境界力バレット食道かを判定するようにしているので、食 道の管状が変形した場合でも適切に判定することができる。

なお、上述したように胃食道接合部 34を基準にする代わりに胃に通じる暗部や噴 門部を基準に用いて判定するようにしても良い。例えば暗部（最暗部）を検出するに は、暗部を検出するために設定した閾値で 2値ィ匕し、エッジ抽出によりその境界を検 出し、さらに細線ィ匕する等して暗部の境界を検出することができる。

この場合には胃食道接合部 34を検出する場合よりも簡単な処理で算出することが できる。

[0137] (実施例 9)

次に図 49及び図 50を参照して本発明の実施例 9を説明する。本実施例は、バレツ ト食道の場合には、上皮境界 37が複雑な形状を伴う特徴に着目して、その特徴を上 皮境界 37の線長を算出して、上皮境界力バレット食道かの判定を行う。

図 49は上述した各実施例のように内視鏡画像から生成した展開図 lbを示す。この 展開図 lbは、離散的な画像であるため、実際には上皮境界 37の曲線は、折れ線で 表される。従って、隣接する 2点 A ( θ 、Ζ )、Α ( Θ、Ζ )間の距離 L , を算 出し、その距離 L , の総和値を求めることにより、上皮境界 37の長さ Lを式（28)

i- 1 i A

のように求める。 つまり、

[数 27]

一 n

Li-i,,- = ^(θΐ -θί- ' + ί Ζί -Ζί- ¹- LA =∑ L;-i.i ( 2 8 )

[0138] ここで、 iは、 360度（2 π )を N等分した場合の 1から Nまでの値とする。 [0139] このように算出した上皮境界 37の長さ Lを用いて図 50に示す手順により上皮境界

A

かバレット食道かの判定を行う。図 50におけるステップ S81力ら S83は、図 37と同じ であるため省略している。

図 50に示すようにステップ S84により上皮境界 37の検出を行つた後、ステップ S 16 1に示すように CPU22は、上皮境界 37の長さ Lを算出する。

A

次のステップ S162において CPU22は、算出した上皮境界 37の長さ Lを、予め診

A

断が確定して 、る多数のサンプルを用いて判定に使用する基準とする上皮境界の長 さし と比較する。そして、上皮境界 37の長さ Lが基準の上皮境界の長さ L より小さ th A th い場合には、ステップ S88に示すように CPU22は、上皮境界と判定し、逆に上皮境 界 37の長さ Lが基準の上皮境界の長さ L 以上の場合には、ステップ S89に示すよ

A th

うにバレット食道であると判定する。

[0140] そして、ステップ S90に示すように CPU22は、ステップ S88或いはステップ S89の 判定結果をモニタ 4に表示するように出力してこの処理を終了する。

本実施例によれば、バレット食道の場合には、上皮境界 37が複雑な形状となる症 例が多く見受けられ、そのような症例の場合に対して的確な判定を行うことができる。 なお、上皮境界 37の長さ Lを算出する場合、上皮境界 37の曲線を近似式で表す

A

ようにし、その近似式により線長を求めるようにしても良い。このようにすると、より精度 の良い線長を算出でき、線長による判定をより精度良く行うこともできる。

なお、隣接する 2点 A ( θ 、Ζ )、Α ( Θ 、Ζ )間の距離 L , を周方向に全周 (360度)分の総和値から上皮境界 37の長さ Lを算出しているが、必ずしも全周に

A

限定されるものでな ヽ。これは他の実施例にお ヽても同様である。

[0141] (実施例 10)

次に図 51Aから図 52を参照して本発明の実施例 10を説明する。本実施例では上 皮境界の曲線における隣接するベクトルのなす角の絶対値の周方向における総和 値を求め、この総和値により上皮境界力バレット食道かの判定を行う。

本実施例においても CPU22は、図 51 Aの左側に示すように内視鏡画像 laから右 側の展開図 lbを生成する。また、 CPU22は、展開図 lbから上皮境界 37を検出する。 展開図 lbは離散的な画像であるため、上皮境界 37は折れ線で表される。 この上皮境界 37上における隣接する 3点を抽出し、隣接する 2点をそれぞれ結ん だ 2つの線分がなす角、或いは 2つのベクトルのなす角を求める。

例えば図 51Aにおける円 Cの部分の拡大図に示すように、この図中の 3点 A 、 A 、A におけるベクトル V、V を図 19Bに示す。

i+ l i i+ 1

[0142] そして CPU22は、両ベクトル V、 V のなす角 φ を算出する。

i i+ l fl i

そして CPU22は、 iを 0から 1つづつ大きくするようにして、 3点 A 、 A、 A を左

i- l i i+ l 側に移動しつつ、その場合の角 Φ の絶対値の総和 φ を式（29)のように算出する

Θ ϊ A この場合、

[数 28] = ^cos I、ゾ I / ί ^ = l_i \ ⁽P3■ ( 2 9 )

[0143] となる。

本実施例における上皮境界かバレット食道かの判定方法は図 52のようになる。図 5 2においても最初のステップ S81からステップ S83までは図 37の場合と同様であるの で、そのステップを省略している。

[0144] ステップ S84に示すように上皮境界 37を検出した後、次のステップ S171において CPU22は、図 51A及び図 51Bで説明したように展開図 lb上における隣接する 3点 から順次 2つのベクトル V、 V を設定して、それらのなす角 φ を算出する。そして

i i+ l Θ ϊ

、次のステップ S172〖こおいて、これらの角 φ の絶対値の総和 φ を算出する。

Θ ϊ A

次のステップ S73において、算出した総和 φ を、予め診断が確定した多数のサン

A

プルを用いて求めた基準とする上皮境界の場合の総和値 Φ と比較する。そして、算

th

出した総和 φ が基準の総和値 φ より小さい場合には CPU22は、ステップ S88に

A th

示すように上皮境界と判定し、逆に総和 Φ が基準の総和値 φ 以上の場合には、ス

A th

テツプ S89に示すようにバレット食道であると判定する。

[0145] そして、ステップ S90に示すように CPU22は、ステップ S88或いはステップ S89の 判定結果をモニタ 4に表示する様に出力してこの処理を終了する。 本実施例によれば、バレット食道の場合には、上皮境界 37が複雑な形状となる症 例が多く見受けられ、そのような症例の場合に対して的確な判定を行うことができる。

[0146] (実施例 11)

次に図 53及び図 54を参照して本発明の実施例 11を説明する。本実施例では上 皮境界の屈曲点の数を算出し、その数の大小により上皮境界力バレット食道かの判 定を行う。上述したようにバレット食道の症例の場合には、ぎざぎざ形状等、複雑な形 状を伴う場合が多い。 例えば図 51Aに示すように上皮境界 37は、バレット食道の症 例においては、凹凸形状になる場合が多い。

本実施例では、屈曲点の数を算出 (評価)する具体例として、例えば展開図におけ る上皮境界 37の極大値と極小値に相当する変曲点の数を算出する。或いは展開図 における上皮境界 37上の隣接する 2点を結ぶ線分或いはベクトルが水平方向となす 角が 0度を超える状態力 0度以下 (正力 負）になる状態或 、は 0度未満力 0度以 上 (負から正）になる点の数を計測する。この様子を図 53に示す。

[0147] 図 53に示すように上皮境界 37上における 2点 A 、 Aのベクトル Vの傾き Δ Ζ Ζ

Δ θ = Ψが正力も負になる点と、負力も正になる変曲点の数を算出する。図 53では ベクトル V の傾きが負になるため、点 Α が変曲点と判定される。

i+2 i+2

そして、このように変曲点の検出を Θ iを i= lから Nまで行い、変曲点の総和を算出 する。そして、変曲点の総和の値の大小から上皮境界力バレット食道かの判定を行う 本実施例における上皮境界かバレット食道かの判定方法は図 54のようになる。図 5 4においても最初のステップ S81からステップ S83までは図 37の場合と同様であるの で、そのステップを省略している。

[0148] ステップ S84に示すように CPU22は、上皮境界 37を検出した後、次のステップ S1 81において、 0の変数パラメータ i、屈曲点の数 Fを初期化する。つまり、 CPU22は

A

、i= l及び F =0とする。 次のステップ S182において CPU22は、図 53に示すよう

A

にベクトル Vの傾き Ψを算出する。そして、次のステップ S183において CPU22は、 この傾き Ψが変曲点に該当するかの判定を行う。この判定により、変曲点に該当する 場合には、ステップ S184において CPU22は、数 Fの値を 1つ増大した後、次のス テツプ SI 85に進む。

また、ステップ S183の判定処理において CPU22が、変曲点に該当しないと判定 した場合には、ステップ S185に移る。ステップ S185において CPU22は、変数パラメ ータ iが Θの分割数 Nに等しいかの判定を行い、 Nに等しくない場合にはステップ S1 86に示すように変数パラメータ iの数を 1つ増大してステップ S182に戻る。

[0149] このようにして、 CPU22は、ステップ S 182からステップ S 186までの処理を i=Nに なるまで繰り返す。

そして、 i=Nになった場合にはステップ S187に示すように CPU22は、数 Fが基

A

準となる数 F より小さいかの判定を行う。この基準となる数 F は、診断が確定した多

th th

数のサンプル力 算出される。

そして、数 F が基準となる数 F より小さい場合には、ステップ S88に示すように CP

A th

U22は、上皮境界と判定し、逆に数 Fが基準の数 F 以上の場合には、ステップ S8

A th

9に示すようにバレット食道であると判定する。

そして、ステップ S90に示すように CPU22は、ステップ S88或いはステップ S89の 判定結果をモニタ 4に表示するように出力してこの処理を終了する。

[0150] 本実施例によれば、バレット食道の場合には、上皮境界 37が複雑な形状となる症 例が多く見受けられ、そのような症例の場合に対して的確な判定を行うことができる。 なお、本実施例においては、変曲点の数 Fを算出して、算出した数を比較すること

A

により上皮境界力バレット食道であるかの判定を行う例を説明した力 例えば日本国 特願 2004 - 360319号に記載されて 、るように屈曲点の数を算出してその数を比 較することにより、上皮境界力バレット食道であるかの判定を行うようにしても良い。

この判定方法は、この秘本国特願 2004— 360319号の図 4におけるステップ S4力 ら S14の処理に沿った処理を行えば良い。なお、この場合には、内視鏡画像により得 られる画像データに対して行って 、る。

[0151] また、上述の説明では変曲点の数 F或いは屈曲点の数を算出してその数を基準

A

値と比較して上皮境界力バレット食道であるかの判定を行う例を説明したが、隣接す る 2つの傾き Ψ、 Ψ の値を比較してその値が変化する点 (例えば減算値が変化す

i i+ 1

る点）の数を計数して、その総和の値を基準値と比較して判定を行うようにしても良い なお、例えば図 37の処理手順では、ステップ S83において展開図を生成した後、 次のステップ S84において上皮境界 37を検出するようにしている力 先に上皮境界 3 7を検出した後、展開図 lbを生成するようにしても良い。

また、上述した各実施例においては、上部消化管としての食道内における胃食道 接合部周辺部の疾患としてのバレット食道力否力を定量的に判定する場合を説明し たが、下部消化管の場合に対しても適用することができる。

[0152] 例えば大腸内に内視鏡 6を挿入して撮像した画像力も展開図を生成し、その展開 図から色調などが正常部位と異なる病変部粘膜の境界を検出し、その検出した境界 に対して、例えば境界の形状等に対する解析を行い、解析結果を得るようにしても良 い。要するに体内の管状部位を撮像した内視鏡画像力 展開図を生成して、その展 開図から病変部などに対する解析を行う場合の装置及び方法として広く適用できる。 この場合、解析結果を展開図と併用することにより、病変部等の把握がし易ぐ診断 等を効率良く行うことができる。 なお、上述した各実施例を部分的に組み合わせる 等して構成される実施例等も本発明に属する。

産業上の利用可能性

[0153] 体腔内に挿入して食道等の管状部位内面を直視型の内視鏡で撮像した画像から その管状部位内面を展開した形状に近い展開図の画像を生成して表示装置に表示 するようにしているため、奥行き方向の値が異なる部分でも同じスケールで表示でき 、比較などがし易くかつ客観的な診断も行い画像を得ることができる。

Claims

請求の範囲

[1] 生体内の管状部位を撮像した医療画像に対して幾何学的に変換する画像変換部 と、

前記画像変換部により得られた変換画像を展開図の画像として表示装置に出力す る展開図出力部と、

を有することを特徴とする医療画像処理装置。

[2] 前記医療画像は、前記管状部位の長手方向を視野方向とする直視型の撮像装置 で撮像された撮像画像であることを特徴とする請求項 1に記載の医療画像処理装置

[3] 前記画像変換部は、前記撮像画像から極座標系の画像に変換する座標系変換部 を有することを特徴とする請求項 2に記載の医療画像処理装置。

[4] 前記画像変換部は、前記撮像画像を円柱体表面に投影して前記変換画像を生成 することを特徴とする請求項 2に記載の医療画像処理装置。

[5] さらに、前記撮像装置と前記管状部位との相対的な位置関係を推定する推定部を 有することを特徴とする請求項 2に記載の医療画像処理装置。

[6] さらに、前記撮像画像の中心位置を設定する中心位置設定部を有することを特徴 とする請求項 2に記載の医療画像処理装置。

[7] 前記中心位置設定部は、前記撮像画像内の最暗部を検出し、検出され最暗部の 重心位置を中心位置とすることを特徴とする請求項 6に記載の医療画像処理装置。

[8] 前記医療画像の歪曲収差を補正する歪曲収差補正部を有することを特徴とする請 求項 1に記載の医療画像処理装置。

[9] さらに、前記展開図の画像を表示する表示装置を有することを特徴とする請求項 1 に記載の医療画像処理装置。

[10] 前記推定部は、前記管状部位と前記撮像装置とがそれぞれ異なる複数の位置関 係に設定された状態で得られる複数のモデル画像から、前記撮像装置により実際に 撮像された前記撮像画像に近 、モデル画像を検出することにより、検出されたモデ ル画像に対応する位置関係を推定することを特徴とする請求項 5に記載の医療画像 処理装置。 さらに前記医療画像力 前記管状部位の立体形状を推定する立体形状推定部を有 することを特徴とする請求項 1に記載の医療画像処理装置。

さらに前記撮像画像力 前記管状部位の立体形状を推定する立体形状推定部を 有することを特徴とする請求項 2に記載の医療画像処理装置。

前記画像変換部は、前記撮像画像を、前記立体形状推定部により推定された立体 形状の表面に投影するように幾何学的な変換を行 ヽ、前記変換画像を生成すること を特徴とする請求項 12に記載の医療画像処理装置。

前記画像変換部による前記変換画像から生成される前記展開図の画像を表示す る表示装置を有することを特徴とする請求項 13に記載の医療画像処理装置。

前記立体形状推定部は、それぞれ異なる撮像位置で撮像された複数枚の撮像画 像間の同一対象部分の動き量から、前記撮像位置と前記管状部位の立体形状を推 定することを特徴とする請求項 11に記載の医療画像処理装置。

前記立体形状推定部は、照明手段力もの距離が等しいと見なされる表面上の曲線 に対する発展方程式力も前記管状部位の立体形状を推定する shape— from— sha ding法を用いることを特徴とする請求項 11に記載の医療画像処理装置。

前記立体形状推定部により推定された立体形状に対して、その略中心を通る直線 を推定する直線推定部を有することを特徴とする請求項 11に記載の医療画像処理 装置。

前記立体形状推定部により推定された立体形状を表す座標系から、前記直線を基 準とした座標系に変換する変換パラメータを算出する変換パラメータ算出部を有する ことを特徴とする請求項 11に記載の医療画像処理装置。

前記展開図出力部は、前記変換画像に対して補間処理を行って前記展開図の画 像を出力する補間処理部を有することを特徴とする請求項 1に記載の医療画像処理 装置。

さらに前記展開図の画像に対して食道側粘膜としての扁平上皮と、前記扁平上皮が 胃側粘膜に変性した円柱上皮との境界としての上皮境界を検出する上皮境界検出 部と、 解析部と、

を有することを特徴とする請求項 1に記載の医療画像処理装置。

[21] さらに前記展開図の画像に対して食道側粘膜としての扁平上皮と、前記扁平上皮が 胃側粘膜に変性した円柱上皮との境界としての上皮境界を検出する上皮境界検出 部と、

検出された前記上皮境界に対して、所定の特徴量に対応する解析結果を算出する 解析部と、

を有することを特徴とする請求項 2に記載の医療画像処理装置。

[22] 前記解析部は、前記所定の特徴量としてバレット食道の場合における上皮境界の 形状的な特徴量に対応する解析結果を算出することを特徴とする請求項 21に記載 の医療画像処理装置。

[23] 前記解析部は、前記上皮境界の平均値を算出する平均値算出部と、前記上皮境 界の平均値からのばらつき量を算出するばらつき量算出部とを有し、前記ばらつき量 の算出により前記所定の特徴量に対応する解析結果を算出することを特徴とする請 求項 21に記載の医療画像処理装置。

[24] 前記解析部は、前記上皮境界における食道の管腔方向に対する最大値と最小値と の差分値を算出して所定の値との比較結果を解析結果とすることを特徴とする請求 項 21に記載の医療画像処理装置。

[25] 前記解析部は、胃と食道の接合部等の基準部位から前記上皮境界までの距離のば らつき量を算出し、算出したばらつき量を基準値と比較して解析結果とすることを特 徴とする請求項 21に記載の医療画像処理装置。

[26] 前記解析部は、前記上皮境界上の隣接する 2点間の距離の総和値を算出し、算出 した総和値を基準値と比較した比較結果を解析結果とすることを特徴とする請求項 2

1に記載の医療画像処理装置。

[27] 前記解析部は、前記上皮境界上の隣接する 3点における隣接する 2点を結ぶ 2つの ベクトルのなす角の絶対値の総和値を算出し、算出した総和値を基準値と比較した 比較結果を解析結果とすることを特徴とする請求項 21に記載の医療画像処理装置。

[28] 前記解析部は、前記上皮境界上における各点の形状が前記食道の管腔方向に関し て凹凸となる場合の屈曲点の数を算出し、算出した屈曲点の数を基準値と比較した 比較結果を解析結果とすることを特徴とする請求項 21に記載の医療画像処理装置。

[29] 前記解析部は、前記上皮境界の形状が前記食道の管腔方向に関して極大と極小と なる極値の数を算出し、算出した極値の数を基準値と比較した比較結果を解析結果 とすることを特徴とする請求項 21に記載の医療画像処理装置。

[30] さらに挿入部の長手方向を視野方向とする撮像装置を備えた直視型の内視鏡を有 することを特徴とする請求項 1に記載の医療画像処理装置。

[31] 前記展開図出力部は、前記撮像画像力も前記管状部位の内周面を切り開いた画 像に対応する展開図の画像を生成することを特徴とする請求項 2に記載の医療画像 処理装置。

[32] 体腔内の管状部位の画像を撮像する撮像装置を備えた内視鏡と、

前記撮像装置により撮像された少なくとも 1枚の画像を用いて管状部位を切り開いた 画像に対応する展開図の画像を生成する展開画像生成装置と、

前記展開図の画像より上皮境界を検出する上皮境界検出部と、

前記上皮境界検出部によって検出された上皮境界の形状を解析し、解析結果を出 力する解析部と、

を有することを特徴とする内視鏡装置。

[33] 体腔内の管状部位を撮像した医療画像に対して幾何学的に変換する画像変換 ステップと、

前記画像変換ステップにより得られた変換画像カゝら展開図の画像として表示装置 に出力する展開図出力ステップと、

を有することを特徴とする医療画像処理方法。

[34] 前記画像変換ステップは、前記医療画像カゝら極座標系の画像に変換する極座標 系変換ステップであることを特徴とする請求項 33に記載の医療画像処理方法。

[35] 前記画像変換ステップは、前記医療画像を円柱体の表面に投影した 2次元画像を 生成する幾何学的な画像変換を行うことを特徴とする請求項 33に記載の医療画像 処理方法。

[36] 前記医療画像から前記管状部位の立体形状を推定する立体形状推定ステップを 有することを特徴とする請求項 33に記載の医療画像処理方法。

[37] 前記画像変換ステップは、前記医療画像を、前記立体形状推定ステップにより推 定された立体形状の表面に対して幾何学的な変換を行うことを特徴とする請求項 36 に記載の医療画像処理方法。

[38] 前記展開図の画像より食道側粘膜としての扁平上皮と、前記扁平上皮が胃側粘膜 に変性した円柱上皮との境界としての上皮境界を検出する上皮境界検出ステップと 検出された前記上皮境界に対して、所定の特徴量に対応する解析結果を算出する 解析ステップと、

を有することを特徴とする請求項 33に記載の医療画像処理方法。

[39] 前記解析ステップは、前記所定の特徴量としてバレット食道の場合における上皮境 界の特徴量の評価値を算出し、前記評価値を基準となる基準値と比較して解析結果 を算出することを特徴とすることを特徴とする請求項 33に記載の医療画像処理方法