JP4832927B2 - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

Description

本発明は、２次元画像から生成された３次元の表面モデルにおける各部の信頼度を処理する医療用画像処理装置及び医療用画像処理方法に関する。

体腔内に挿入された内視鏡により得られる内視鏡画像は、観察部位の診断に広く利用される。
内視鏡により得られる内視鏡画像は、２次元画像であるため、例えば特開８−２５２２１７号公報に開示されている従来例のように、取得した画像情報から３次元の表面モデルを作成して、作成した表面モデルを表示することにより、より診断し易い画像情報を提供する装置がある。
特開８−２５２２１７号公報

上記のように３次元の表面モデルを作成して表示した場合には、２次元の内視鏡画像の場合よりも診断し易い画像となる。しかし、２次元の内視鏡画像から３次元の表面モデルを構築するため、例えば内視鏡が挿入されて観察された体腔内部位が内視鏡の照明窓或いは観察（撮像）窓から遠く離れた距離になると、照明光源からの照明光の照射量が低下する。
このため、遠く離れた距離で、撮像された画像データ部分から生成された表面モデルのデータ部分の精度は、近い距離で撮像された画像データ部分から生成された表面モデルのデータ部分より低下する。

また、体腔内、特に管腔形状の場合には、管腔部分に襞や隆起物があると、その陰となる位置は視点となる位置（つまり、観察窓）からは見えない。このため、当該箇所に対応する表面モデル上の位置を作成する場合には、その位置の近隣データ等による推定値により作成するため、生成された表面モデルの精度が低下する。
従来例においては、このような精度を考慮していないため、表面モデルを診断に利用する場合、その信頼性の確認がし難い。また、画像処理により表面モデルを用いて病変部の特徴量を有する病変候補の検出や判定を行おうとする場合に、その信頼性の確認若しくは向上が困難になる。

（発明の目的）
本発明は上述した点に鑑みてなされたもので、表面モデルを病変候補の検出等に利用する場合における信頼性の確認若しくは向上を可能とする医療用画像処理装置及び医療用画像処理方法を提供することを目的とする。

本発明の医療用画像処理装置は、２次元の医療用画像から３次元の表面モデルの生成処理を行う表面モデル生成手段と、
前記表面モデルを複数の領域に区分けして、複数の領域におけるデータの信頼度を算出する領域信頼度算出手段と、
を具備したことを特徴とする。
上記構成により、２次元の医療用画像から生成された３次元の表面モデルにおける複数の領域におけるデータの信頼度を算出するようにして、３次元の表面モデルを病変候補の検出等を行う場合におけるその信頼性の確認や向上を可能にしている。

本発明の医療用画像処理装置は、２次元の医療用画像から３次元の表面モデルの生成処理を行う表面モデル生成ステップと、
前記表面モデルを複数の領域に区分けして、複数の領域におけるデータの信頼度を算出する領域信頼度算出ステップと、
を具備したことを特徴とする。
上記構成により、２次元の医療用画像から生成された３次元の表面モデルにおける複数の領域におけるデータの信頼度を算出するようにして、３次元の表面モデルを病変候補の検出等を行う場合におけるその信頼性の確認や向上を可能にしている。

本発明によれば、３次元の表面モデルを病変候補の検出等を行う場合におけるその信頼性の確認や向上を可能にする。

以下、図面を参照して本発明の実施例を説明する。

図１ないし図１７は本発明の実施例１に係り、図１は本発明の実施例１を備えた内視鏡システムの構成を示し、図２は大腸のような管状部位内に挿入された内視鏡により撮像する様子を示し、図３は図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示し、図４は図３の内視鏡画像から生成される表面モデルを示し、図５はＣＰＵによる画像解析処理機能を示し、図６は表面モデルを生成する為の処理手順を示し、図７は撮像された画像の各画素に対応する物体上の対応点と光源等との位置関係を示す。
また、図８は光源からの光を物体の面で反射する様子などを示し、図９は対応点の周囲に設定される複数の法線ベクトルを示し、図１０は図８（Ｂ）のベクトルｍが２次元画像上の位置を通ることを示し、図１１は図６のステップＳ２で生成される表面モデルを示し、図１２はボクセル信頼度マップを生成する処理内容及び使用されるデータ等を示し、図１３は図１２のステップＳ１２による距離算出の説明図を示し、図１４はポリープ抽出候補判定を行う処理内容及び生成／使用される画像等を示し、図１５は図１４のステップＳ２４の動作説明図を示し、図１６は図１４のステップＳ２６のポリープ候補判定の処理内容を示し、図１７は図１６の処理の説明図を示す。

図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた医療用画像としての内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される医療用画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示する表示モニタ４とから構成される。
内視鏡観察装置２は、体腔内に挿入される内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ９とを有する。

内視鏡６は、体腔内に挿入される挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。また、挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。
このライドガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により転送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１６とによる撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結蔵された光学像は、このＣＣＤ１６により光電変換される。

このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。
この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。

また、この画像処理装置３は、画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された情報等を記憶する情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び情報等を記憶装置インターフエース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボード等からなる入力操作部２９とを有する。 そして、この表示処理部２８により生成された映像信号は、表示モニタ４に表示され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。

本実施例においては、図２に示すように、例えば大腸３１のような管状部位（管状器官）に直視型の内視鏡６の挿入部１１が挿入され、撮像装置１７により撮像される。
図３は、この直視型の内視鏡６によって撮像された内視鏡画像の１例を示している。この内視鏡画像には、襞や隆起性の凸部が存在する。尚、斜線で示す部分は深部側に延びる管腔暗部を示す。

本実施例では、大腸３１のような管状器官を直視型等の内視鏡６によって撮像し、撮像された２次元の内視鏡画像から対象物（具体的には大腸の管腔形状の内面）の３次元形状の表面モデルを推定する。推定された表面モデルの例を、例えば図４に示す。図４には、図３の凸部に対応する凸部Ｇ１、Ｇ２が生成されている。
図３の２次元の内視鏡画像の画像データから図４に示すような３次元形状としての表面モデルを生成する場合、内視鏡６の先端面の照明窓の位置からの距離が大きい部分では、距離が小さい部分と比較して照明強度が低下しているので、その部分に対応して生成される表面モデルにおける３次元データの精度が低下する。

また、管腔に襞や隆起した凸部があると、その陰となる位置は、視点位置となる観察窓からは見えないため、推定などで生成される表面モデルの３次元データの精度が低下する。
本実施例では、これらの点を考慮して、生成される３次元の表面モデルにおける各点（後述するように小領域としてのボクセル）の面ないしは位置のデータの信頼度を表す信頼度マップを生成する。
そして、生成された３次元の表面モデルの各部におけるそのデータの信頼度の情報を、病変の検出若しくは判定等に有効に利用できるようにする。
このため、本実施例における画像処理装置を構成するＣＰＵ２２は、図５に示すような画像処理機能を有する。

ＣＰＵ２２は、２次元の内視鏡画像から３次元形状としての表面モデルを生成（推定）する処理を行う表面モデル生成機能２２ａと、生成された表面モデルの表面データ各部における小領域としてのボクセルに対するそのボクセル部分でのそのデータの信頼度を表すボクセル信頼度マップを生成するボクセル信頼度マップ生成機能２２ｂと、表面モデルの表面データから病変候補、具体的にはポリープ候補を抽出して、ポリープである可能性の判定処理（或いは検出処理）を行うポリープ候補判定機能（ポリープ候補検出機能）２２ｃとを有する。
本実施例ではこのように、３次元の表面モデルを生成し、その表面モデルの表面データ各部をボクセルの集合体と見なし、各ボクセル部分におけるその３次元データの信頼度（ボクセル信頼度）を算出する。

そして、例えば生成された３次元の表面モデルからポリープ等の病変を検出若しくは判定する画像処理を行う場合、この信頼度の情報を利用することにより、より信頼性のある検出若しくは判定を行えるようにする。
また、術者は提示されたポリープ等の病変の検出若しくは判定の結果に、信頼度の情報が提示されるため、ポリープ等の診断を行う際、より有効に利用できる。そして、より的確な診断を行い易くなる。
本実施例においては、図５に示した各機能をソフトウェア的に実現している。つまり、処理プログラム記憶部２３に記憶（格納）された処理プログラムをＣＰＵ２２は読み出し、ＣＰＵ２２は、この処理プログラムに従って処理を行うことにより、図６に示す表面モデル生成機能２２ａに対応するフローチャートの処理等を実行する。

次に本実施例の動作を説明する。
画像処理装置３の動作が開始すると、ＣＰＵ２２は処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。図６に示すようにＣＰＵ２２は最初のステップＳ１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される内視鏡画像を原画像の画像データとして取得する。
そして、次のステップＳ２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（特開平８−２５６２９５号公報）や、ノイズ除去等の前処理を行う。ステップＳ３においてＣＰＵ２２は、画像内の画素に対応する対象物体の３次元位置を以下の手順で求める。

図７に示すように視点Ｏにある撮像手段によって撮影された画像の３画素に対応する対象物体上の画素対応点Ｅ１、Ｅ２，Ｅ３を抽出し、画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置と光源Ｑ及び視点Ｏとの位置関係から以下の式（１）が求められる。

ただし、画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置のベクトルをｋ1ｍ1、ｋ2ｍ2、ｋ3ｍ3（ｍ1，ｍ2，ｍ3：大きさ１の単位ベクトル）、視点Ｏから光源Ｑへのベクトルをｄ、光源Ｑから３画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置へのベクトルをｒ1、ｒ2、ｒ3とする。

画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置で構成される平面の法線ベクトルをｎとすると、式（１）よりベクトルｎは、次の式（２）のようになり、ベクトル成分ｋ1、ｋ2、ｋ3の比率で表される。

ただし、点Ｅ１から点Ｅ２へのベクトルをｌ１２，点Ｅ２から点Ｅ３へのベクトルをｌ２３，×は外積を表す。また、図８（Ａ）に示すように撮像対象となる（大腸内面等の）対象物体の表面は、全方向に均一に光を反射する拡散反射率と仮定すると、画素対応点Ｅ１、Ｅ２，Ｅ３の輝度値Ｉ１、Ｉ２，Ｉ３は、次の式（３）で表される。

ただし、ｈは対象物体の表面の拡散反射率、Ｉqは光源Ｑの光度、βは点Ｐにおける対象物体の表面の法線ベクトルｎと光源Ｑから点Ｐに至るベクトルｒとのなす角である。なお、図８（Ａ）の点Ｐは、図７の画素対応点Ｅ１、Ｅ２，Ｅ３を代表している（このため、ベクトルｒは、図７のベクトルｒ1、ｒ2、ｒ3を代表している）。
次に以下の条件（ａ）及び（ｂ）を設定して、これらの条件（ａ）及び（ｂ）を満たす仮定のもとで、撮像される画素に対応する対象物体の３次元位置の算出を行う。

今、条件（ａ）視点Ｏと光源Ｑの距離≪視点Ｏと画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置との距離、つまり、｜ｄ｜≪｜ｒｍ｜（或いは｜ｄ｜≪｜ｒ｜ここでｍ＝１〜３）、及び
条件（ｂ）画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置が近接している、
の両条件（ａ），（ｂ）が成立する場合、以下の近似式（４）が得られる。

上記条件（ａ）は、図８（Ｂ）に示すようにｄの絶対値に比べてｒの絶対値が大きければ成立する。また、条件（ｂ）は、食道等の管状の内面を撮像する場合においては、殆どの場合において成立すると考えられる。なお、図８（Ｂ）は、挿入部の先端部１４における先端面部分を拡大して示す。
この先端面には、ライトガイド１３の先端面（或いは照明レンズ）が取り付けられた照明窓１３ａが臨み、ここから照明光を出射する。つまり、このライトガイド１３の先端面等の照明窓１３ａは、図７及び図８（Ａ）の光源Ｑに相当する。また、この照明窓１３ａに隣接した視点Ｏは、撮像手段（撮像装置１７）の対物レンズ１５が配置された観察窓（撮像窓）となっている。

上記式（４）よりｋ1、ｋ2、ｋ3の比率が求められ、法線ベクトルｎが求められる。
画像内の各画素に対応する対象物体の表面上の画素対応点は、隣接する画素対応点が複数存在する為、図９に示すように１つの画素対応点Ｐａの周囲の点Ｐｂ〜Ｐｅにおける各３点により形成される各面に対してそれぞれ法線ベクトルｎ１〜ｎ４が求められる。よって、これら複数の法線ベクトルｎ１〜ｎ４の平均ベクトルを算出し、その平均ベクトルを画素対応点の法線ベクトルとしてもよい。
図８（Ａ）に示したように対象物体の表面を拡散反射と仮定し、さらに角βを書き換えることにより、各画素対応点Ｐ（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）は以下のような式（５）で表すことができる。

ただし、ｈは対象表面の拡散反射率、Ｉqは光源Ｑの光度、βは点Ｐにおける対象物体の表面の法線ベクトルｎ（ｘ，ｙ）と光源方向ｒ（ｘ，ｙ）のなす角である。
また、点Ｐにおける光源方向ｒ（ｘ，ｙ）は、以下のような式（６）で表すことができる。

ただし、図８（Ｂ）に示すように対物レンズ１５の視点Ｏから光源Ｑへのベクトルをｄ、視点Ｏから対象物体（具体的には大腸の管腔表面）の位置Ｐへの単位ベクトルをｍ（ｘ，ｙ）、距離ＯＰをｋ（ｘ，ｙ）とする。
ベクトルｍ（ｘ，ｙ）は、図１０に示すように（ＣＣＤ１６の）撮像面４２の画像上の位置（ｘ，ｙ）を通ることから、以下の式（７）に示すように

となる。ただし、ｆは撮像装置１７の焦点距離である。従って画像上の各画素の輝度値Ｉ（ｘ，ｙ）は次のような式（８）で表すことができる。

上記式（８）においてｋ（ｘ，ｙ）以外は全て既知であることから、式（８）よりｋ（ｘ，ｙ）を算出し、画像上の各画素（ｘ，ｙ）に対応する３次元位置（Ｘ，Ｙ，Ｚ）を、以下の式（９）のように算出する。

このようにして、図１１に示すような３次元形状としての表面モデルが生成される。図１１に示す３次元の表面モデルの内面上の各位置Ｐは、図１０に示したように撮像面４２の２次元の画像上の位置（ｘ、ｙ）を通ると共に、この画像上の各位置（ｘ，ｙ）のデータを用いて生成される。このため、各位置Ｐにおける小領域のボクセルＢ内に含まれるこの部分を生成（構成）するために用いられた２次元の画像中のデータ点数は、視点Ｏ或いは撮像面４２からの距離が大きくなるほど少なくなる。

また、このデータ点数は、各位置Ｐの面が撮像面４２と成す角度などにより、変化することになる。この場合のデータ点数がそのボクセルＢの３次元位置の信頼度を表す情報量に密接に関係すると考えられる。

このため本実施例においては、以下に説明するように生成された３次元形状の内面上に設定したボクセルＢに対して、その信頼度を表すボクセル信頼度を算出する場合、このデータ点数を考慮する。このようにすることにより、生成された３次元の表面モデルを用いて、病変候補を検出或いは病変候補判定を行う場合、その検出結果或いは判定結果の信頼度の情報を提供して、検出結果等に対する信頼性の確認若しくは向上ができるようにしている。

また、図１１に示す３次元の表面モデルの内面は、その内面部分が内側に凸となっている部分（図１１でＧ１，Ｇ２で示す）がある場合には、視点Ｏ側から見た場合におけるその部分より後方側となる背後の内面部分を隠す状態となり、この背後の部分は陰となって隠れた状態、いわゆるオクルージョンとなり、オクルージョン部分Ｈ１，Ｈ２はデータが欠落した部分となる。

そして、ＣＰＵ２２は、図６のステップＳ３により生成した３次元形状のデータをスキャンして、ステップＳ４に示すようにオクルージョン部分Ｈ１，Ｈ２などに対する補間処理を行う。この場合、補間処理により生成された表面位置のデータ点に対しては１より小さい係数ｗを、その表面データと関連付けて格納する。

このようにして欠落部分が補間されて図４に示すような表面モデルが生成され、この表面モデルのデータ（表面モデルデータと言う）は、例えば図１の情報記憶部２５に格納される。

そして、ＣＰＵ２２は図１２に示すボクセル信頼度マップ生成の処理を行う。この処理が開始すると、ＣＰＵ２２はステップＳ１１において初期設定（以下の位置パラメータｓを初期値ｓiniに設定）を行った後、次のステップＳ１２において情報記憶部２５の表面モデルデータ記憶部２５ａに格納された表面モデルデータを用いて、図１３に示すように表面モデル上に各ボクセルＢxyz（Ｂｓと略記）を設定して、そのボクセルＢｓの中心位置と観察位置（つまり視点Ｏ）との距離Ｌｓを算出する。

この距離Ｌｓは、撮像された内視鏡画像の管腔形状部分の直径を実際に撮像された大腸３１の平均的な直径の値を当てはめることにより客観的な数値として算出できる。また、ここでは、ボクセルＢｓの中心位置と観察位置（或いは視点Ｏ）との距離Ｌｓを算出しているが、図８（Ｂ）に示すように、ＯＱのベクトルｄの値を用いてボクセルＢｓの中心位置と光源Ｑ（照明窓）との距離（Ｌｓｑとする）を算出するようにしても良い。また、ベクトルｄの大きさは、距離Ｌｓｑに比較して小さいとして、Ｌｓ≒Ｌｓｑとしても良いし、この距離Ｌｓとして内視鏡先端面からボクセルＢｓの中心位置までの距離と見なしても良い。

観察位置を視点Ｏとして表面モデル生成の原点（０，０，０）に設定した場合、ボクセルＢｓは、その中心の座標位置を（Ｖx＋ｌ/２，Ｖy＋ｌ/２，Ｖz＋ｌ/２）で表すと、Ｖx≦Ｘ<Ｖx＋ｌ,Ｖy≦Ｙ<Ｖy＋ｌ、Ｖz≦Ｚ<Ｖz＋ｌの一辺の長さがｌの小領域となる。この小領域について、以下の処理が行われる（添え字ｓは３次元の座標位置（Ｖｘ＋ｌ/２，Ｖy＋ｌ/２，Ｖz＋ｌ/２）が異なる表面モデル上のボクセルＢｓの位置を簡略化して示している）。
そして、ＣＰＵ２２は次のステップＳ１３において、各ボクセルＢｓに対して表面モデルデータを構成する構成データ点数（データ点数と略記）Ｎｓを取得する。この場合、補間処理により構成されているデータ点数Ｎｓｈに対しては、１より小さい係数ｗを乗じてデータ点数Ｎｓを算出する。

次のステップＳ１４においてＣＰＵ２２は、ボクセルＢｓに対するボクセル信頼度ρｓを算出する。
このρｓは、例えば
ρｓ＝（１／Ｌｓ）（Ｎｓ／ｌ・ｌ・ｌ）α （１０）
である。ここで、αは正規化する因子を表し、また、データ点数Ｎｓは、補間処理を用いていない真性のデータ点数Ｎｓｉと、補間処理により生成されたデータ点数Ｎｓｈに（１よりも小さい）係数ｗが乗算されたものとの和となる。
つまり
Ｎｓ＝Ｎｓｉ＋ｗ・Ｎｓｈ （１１）
となる。そして、ＣＰＵ２２は、算出したボクセル信頼度ρｓの値を情報記憶部２５に設けたボクセル信頼度マップ記憶部２５ｂに、ボクセルＢｓの位置データと関連付けて格納する。

上記ボクセル信頼度ρｓは、光源Ｑ若しくは観察位置（観察窓）からの距離Ｌｓが大きくなると、その値が小さくなり、かつそのボクセルＢｓ内のデータ点数が少ない程、その値が小さくなる。従って、生成された表面モデル上の各部の点（小領域）における信頼度を適切に評価する評価手段となっている。
そして、次のステップＳ１５においてＣＰＵ２２は、表面モデルデータの全てに対してボクセルＢｓの設定を行ったか否かの条件判定を行う（換言すると最終のパラメータ値ｓfinまで行ったかの条件判定を行う）。この条件に該当しない場合にはステップＳ１６に示すようにパラメータｓの値を１つ変更してステップＳ１２に戻る。
このようにして全ての表面モデルデータに対してボクセル信頼度ρｓを算出する処理を終了すると、ボクセル信頼度マップ記憶部２５ｂには表面モデル上の各点（小領域としてのボクセル）における信頼度が算出されたボクセル信頼度マップが生成される。

このようにして、生成されたボクセル信頼度マップによる利用方法として、大きく分けて主に２つある。
その１つは、生成された表面モデルの表面形状を、例えば算出されたボクセル信頼度マップのボクセル信頼度ρｓで擬似カラー化して表示する。
例えば、通常の表面モデルの表示画像と、ボクセル信頼度ρｓで擬似カラー化した表面モデルとを並べて表示する。この場合、同じサイズで表示しても良い。
その変形例として、術者等のユーザが、表面モデル上における病変候補として注目する部位や領域を図示しないマウス等の指示手段で指示した場合、ＣＰＵ２２は指示された領域部分に該当するボクセル信頼度をボクセル信頼度マップから読み出して表示するようにしても良い。

このように表面モデル上における各領域の信頼度を提示することができるので、術者が表面モデルを用いて病変診断等を行う場合、その信頼性の情報を提供でき、信頼性の確認を可能にすると共に信頼性を向上することができる。
次に２つ目の利用方法として、画像処理により、表面モデルを用いて病変候補の検出或いは病変候補の病変判断を行う場合、その検出結果或いは判断結果に対する信頼度の情報を提供する。
この場合の例として以下にボクセル信頼度マップを使用して大腸内のポリープ候補を抽出し、さらに検出（判定）する場合で説明する。
図１４は本実施例におけるポリープ候補抽出判定処理プログラムと、これに使用されるデータを示すブロック図である。

この処理が開始すると、ＣＰＵ２２は、図１の処理プログラム記憶部２３に格納されたポリープ候補抽出判定処理プログラムを読み出し、このプログラムに従って図５に示すポリープ候補判定処理２２ｃを開始する。
図１４に示すように最初のステップＳ２１においてＣＰＵ２２は、画像処理装置３内にの画像記憶部２４（図１参照）に格納された原画像５１の例えばＲ信号成分を取り込み、エッジ抽出処理を行う。この場合、例えばＲ信号成分に対してバンドパスフィルタを適用することによりエッジ画像５２を生成する。バンドパスフィルタによるエッジ抽出手法は公知の技術である。また、Ｒ信号成分の代わりに、原画像５１の輝度成分を用いてエッジ画像５２を生成しても良い。

次のステップＳ２２においてＣＰＵ２２は、エッジ画像５２に対して２値化処理を行う。そして、この２値化処理により、２値化画像５３を生成する。本実施例における２値化処理は、エッジ画像５２の各画素の画素値と、規定の或いは所定の閾値との大小比較結果により、２値化画像５３の各画素を０または１に決定する。
次のステップＳ２３においてＣＰＵ２２は、２値化画像５３に対して公知の細線化手法を適用して、細線化画像５４を生成する。
次のステップＳ２４においてＣＰＵ２２は、２次元画像としての細線化画像５４から例えば隆起性病変としてのポリープの候補など屈曲したエッジ形状等、所定の特徴量を有する候補点を抽出する抽出処理を行う。この場合、ＣＰＵ２２は、細線化画像５４から注目するエッジの端の２点とその中点、エッジ上の端２点を結ぶ直線上の中点を抽出して２次元画像の病変の候補点の情報５５として保存する処理を行う。

この処理を図１５を参照して説明する。図１５（Ａ）は細線化画像５４を示し、ＣＰＵ２２は、この細線化画像５４から判定処理を行おうとするエッジ部分を取得し、次に図１５（Ｂ）に示すように、エッジの端２点ｔ１とｔ２の抽出を行う。次にＣＰＵ２２は、エッジの画素数を線分長Ｄ１（図示せず）として算出し、さらに１/２×Ｄ１となる中点ｔ(図１５（Ｃ）を算出する。
次にＣＰＵ２２は、ｔ１とｔ２を結ぶ直線を抽出し、その線分長Ｄ２（図示せず）を算出し、その後１/２×Ｄ２となる中点ｐ(図１５（Ｄ）を算出する。
次にＣＰＵ２２は、算出した２次元画像の候補点の情報（エッジの端の２点ｔ１、ｔ２、その中点ｔ、エッジ上の端２点ｔ１，ｔ２を結ぶ直線上の中点ｐ）を保存する。
次に図１４に示すステップＳ２５においてＣＰＵ２２は、２次元画像上の候補点に対応する３次元画像（表面モデル）上での候補点のデータを抽出する処理を行う。

つまり３次元表面モデル上における２次元画像上の候補点（エッジの端２点ｔ１、ｔ２、その中点ｔ、エッジ上の端２点を結ぶ直線上の中点p）の座標を取得し、その候補点の座標の情報（３次元）５６を保存する。
そして次のステップＳ２６においてＣＰＵ２２は、候補点の情報５６を用いて（画像処理による）隆起性病変としてのポリープ候補の可能性の判定、つまりポリープ候補判定処理を行う。
このポリープ候補判定処理を図１６に示す。なお、以下の説明では、２次元画像上における２点ｔ１及びｔ２を結ぶ直線がｘ軸と平行となっている場合で説明する。

最初のステップＳ３１においてＣＰＵ２２は、上述の３次元の表面モデル上の候補点５６の座標の情報を取得し、次のステップＳ３２においてエッジの端２点ｔ１，ｔ２を結ぶ直線上の中点ｐのｙ座標ｐyを算出し、このｐyと２点ｔ１、ｔ２を含むｘｚ平面を算出する。中点ｐはエッジの端２点ｔ１，ｔ２を結ぶ直線上のｙ座標と同じ値であると近似する。
この場合の表面モデル上における候補点５６付近を図１７に示す。なお、この部分は例えば図１３の符号Ｇ１で示す部分に該当する。
次のステップＳ３３においてＣＰＵ２２は、点ｔから点ｔ１、ｔ２、ｐyで決定されるｘｚ平面に垂線を引き、この垂線の高さｈを算出する。そして図１７に示すように次のステップＳ３４においてＣＰＵ２２は、高さｈと所定の閾値Ｔthとの大小を判定する。ｈ>Ｔthであれば、ステップＳ３５に進み、これ以外、つまりh≦Ｔｔhであれば、そのエッジ部分はポリープ候補ではないと判定して、この処理を終了する。

なお、ステップＳ３３における点ｔは２次元画像上で点ｔ１とｔ２との中点に設定された点（位置）であり、３次元の表面モデル上での点ｔの周辺部においても垂線の値を求め、その最大値を高さｈとして算出するようにしても良い。
ステップＳ３５においてＣＰＵ２２は、図１４のステップＳ２４の処理において取得したエッジ部分をポリープ候補であると判定する。
なお、上記２点ｔ１，ｔ２がｘ軸と平行でない場合には、上記高さｈの他に、点ｔからｙｚ平面に至る高さ（ｈｙとする）を算出して、これら２つの２乗した値の平方根を算出し、この算出値を閾値Ｔthと大小比較すれば良い。
次のステップＳ３６においてＣＰＵ２２は、例えば上記ポリープ候補であると判定に用いられたエッジ部分（点ｔ１，ｔ２，ｔ、ｐ（ｐｙ）など）に対応する（ボクセルの）ボクセル信頼度をボクセル信頼度マップから抽出して、それらの平均値ρａを算出する。

そして、次のステップＳ３７においてＣＰＵ２２は、ポリープ候補と判定した部分を例えば他の部分とは異なる色等でユーザに分かるように表示モニタ４等で提示すると共に、その判定に対する信頼度を示す情報として、この平均値ρａを提示する。
そして、細線化画像に別のエッジがあれば同様の処理を行う。そして、全てのエッジに対して同様の処理を行った後、ポリープ候補判定の処理を終了する。
このように画像処理装置３により、例えば大腸検査による隆起性病変としての大腸ポリープ候補を提示する際に、同時にその判定結果に対する信頼度を示す情報を、例えば上記平均値ρａで提示する。
この平均値ρａは、ポリープ候補と判定する場合に用いられた部分のボクセル信頼度ρｓを用いて算出されているため、ポリープ候補の判定結果を適切に評価する評価手段の１つとなる。

従って、術者は、該当する大腸ポリープ候補の信頼性を定量的に判断することが可能となる。このように、大腸ポリープ候補の判定機能の信頼度を定量的に判断することが可能になるため、術者による病変判定を補助する場合に有効な資料或いは情報となる。
なお、上述の説明において、例えばボクセル信頼度ρｓを算出する場合、２次元画像上における輝度値の情報も含めるようにしても良い。
例えば、暗部とハレーションに該当する値（輝度値）を除外し、その場合における輝度値が大きいもの程大きな重み付け係数でボクセル信頼度に反映させるようにしても良い。つまり、輝度値が大きい部分は、輝度値が低い部分よりもノイズなどによる影響が少ないため、より信頼性が高い部分となる。このため、輝度値の情報をボクセル信頼度に反映させるようにしても良い。

なお、上述した実施例における変形例として、ボクセル信頼度マップとして、表面モデル上の全ての部分に対して（ボクセル信頼度の）マップを算出する場合に限らず、代表的な点のみで算出したものでも良い。或いは、病変の検出（判定）に用いる部分のボクセル信頼度のみを算出するようにしても良い。
なお、上述した例では、隆起性病変としてのポリープの候補を判定する場合で説明したが、本実施例は陥凹性病変の候補に対しても同様に適用することができる。この場合には高さｈの代わりに深さｈ′を算出する。そして、この深さｈ′が閾値Ｔth′より大きい場合には、陥凹性病変の候補の判定を行い、これ以外の場合には候補でないと判定するようにすれば良い。
また、上述した実施例においては、例えばポリープ候補判定処理として、高さの閾値Ｔthの情報を用いて判定を行うようにしているが、この他に曲面形状を表す特徴量であるＳｈａｐｅ Ｉｎｄｅｘ及びＣｕｒｖｅｄｎｅｓｓを用いて、判定（検出）するようにしても良い。

この場合にも隆起性病変の場合に限らず、陥凹性病変の候補の判定を行うようにしても良い。また、高さの閾値Ｔthのみで判定する場合に限らず、その領域の大きさを表す例えばＣｕｒｖｅｄｎｅｓｓの閾値を用いて、判定（検出）するようにしても良い。
また、上述した実施例の内容をその要旨を変更することなく組み合わせる等して変形した場合も本発明に属する。

［付記］
１．請求項７において、前記候補検出ステップは、前記所定の特徴量を有する候補として、隆起性若しくは陥凹性の特徴量を有する候補部位を検出（判定）する。
２．請求項４において、前記候補検出手段は、隆起性若しくは陥凹性の特徴量を有する部分を候補として抽出し、抽出した部分の高さ若しくは深さが閾値以上の場合に隆起性病変若しくは陥凹性病変として検出（判定）する。

画像処理により、２次元の内視鏡画像等の医療用画像から３次元の表面モデルを生成し、生成した表面モデルのデータを用いてポリープ等の病変候補の検出若しくは病変の可能性を判定する場合、その検出結果若しくは判定結果に用いた表面モデル各部のデータの信頼度を考慮して、検出結果等に対する信頼度の情報を提示する。これにより、術者は、より診断を適切に行い易くなる。

本発明の実施例１を備えた内視鏡システムの構成を示すブロック図。 大腸のような管状部位内に挿入された内視鏡により撮像する様子を示す図。 図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示す図。 図３の内視鏡画像から生成される表面モデルを示す図。 ＣＰＵによる画像解析処理機能を示すブロック図。 表面モデルを生成する為の処理手順を示すフローチャート図。 撮像された画像の各画素に対応する物体上の対応点と光源等との位置関係を示す図。 光源からの光を物体の面で反射する様子などを示す図。 対応点の周囲に設定される複数の法線ベクトルを示す図。 図８（Ｂ）のベクトルｍが２次元画像上の位置を通ることを示す図。 図６のステップＳ２で生成される表面モデルを示す図。 ボクセル信頼度マップを生成する処理内容及び使用されるデータ等を示す図。 図１２のステップＳ１２による距離算出の説明図。 ポリープ候補抽出判定を行う処理内容及び生成／使用される画像等を示す図。 図１４のステップＳ２４の動作説明図。 図１４のステップＳ２６のポリープ候補判定の処理内容を示すフローチャート図。 図１６の処理の説明図。

符号の説明

１…内視鏡システム
２…内視鏡観察装置
３…（医療用）画像処理装置
４…表示モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１５…対物レンズ
１６…ＣＣＤ
１７…撮像装置
２１…画像入力部
２２…ＣＰＵ
２２ａ…表面モデル生成機能
２２ｂ…ボクセル信頼度マップ生成機能
２２ｃ…ポリープ候補判定機能（ポリープ候補検出機能）
２３…処理プログラム記憶部
２４…画像記憶部
２５…情報記憶部
２５ａ…表面モデルデータ記憶部
２５ｂ…ボクセル信頼度マップ記憶部
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３１…大腸
４２…撮像面

Claims (7)

1. ２次元の医療用画像から３次元の表面モデルの生成処理を行う表面モデル生成手段と、
   前記表面モデルを複数の領域に区分けして、複数の各領域におけるデータの信頼度を算出する領域信頼度算出手段と、
   を具備したことを特徴とする医療用画像処理装置。
2. 前記２次元の医療用画像は、内視鏡により撮像された内視鏡画像であり、前記領域信頼度算出手段は、前記各領域と前記内視鏡の照明窓若しくは撮像窓との間の距離の情報、及び前記領域内に含まれる前記表面モデルを構成する構成データ点数の情報との少なくとも一方の情報を用いて前記領域信頼度を算出することを特徴とする請求項１に記載の医療用画像処理装置。
3. さらに前記２次元の医療用画像若しくは前記表面モデルから、所定の特徴量を有する候補を検出する候補検出手段を有し、前記候補検出手段により検出された候補に対して、前記候補の検出に利用された前記表面モデルにおける前記各領域の領域信頼度を用いて、前記候補の検出結果に対する信頼度を算出することを特徴とする請求項１に記載の医療用画像処理装置。
4. 前記候補検出手段は、前記所定の特徴量を有する候補として、隆起性若しくは陥凹性の特徴量を有する候補部位を検出することを特徴とする請求項３に記載の医療用画像処理装置。
5. ２次元の医療用画像から３次元の表面モデルの生成処理を行う表面モデル生成ステップと、
   前記表面モデルを複数の領域に区分けして、複数の各領域におけるデータの信頼度を算出する領域信頼度算出ステップと、
   を具備したことを特徴とする医療用画像処理方法。
6. 前記２次元の医療用画像は、内視鏡により撮像された内視鏡画像であり、前記領域信頼度算出ステップは、前記各領域と前記内視鏡の照明窓若しくは撮像窓との間の距離の情報、及び前記領域内に含まれる前記表面モデルの構成に利用された構成データ点数の情報との少なくとも一方の情報を用いて前記領域信頼度を算出することを特徴とする請求項５に記載の医療用画像処理方法。
7. さらに前記２次元の医療用画像若しくは前記表面モデルから、所定の特徴量を有する候補を検出する候補検出ステップを有し、前記候補検出ステップにより検出された候補に対して、前記候補の検出に利用された前記表面モデルにおける前記各領域の領域信頼度を用いて、前記候補の検出結果に対する信頼度を算出することを特徴とする請求項５に記載の医療用画像処理方法。

Images