JP4902735B2 - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

Description

本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する医療用画像処理装置及び医療用画像処理方法に関するものである。

従来、医療分野において、Ｘ線診断装置、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。

内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。そして、近年においては、撮像された体腔内の像に応じた二次元画像のデータに基づき、該体腔内の像の三次元モデルを推定可能な内視鏡装置が提案されている。

さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、日本国特開２００５−１９２８８０号公報に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。

ところで、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にオクルージョンと呼ばれている。

日本国特開２００５−１９２８８０号公報の画像処理方法は、例えば、内視鏡により取得された二次元画像に基づいて三次元モデルを推定する際の処理として用いられた場合、前述したオクルージョンに存在する、信頼性の低い三次元データに基づく推定が行われることにより、隆起形状の検出効率が低下してしまう、という課題を有している。

本発明は、前述した点に鑑みてなされたものであり、内視鏡により取得された二次元画像に基づいて三次元モデルが推定される際に、隆起形状の検出効率を従来に比べて向上させることができる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。

本発明における第１の態様の医療用画像処理装置は、医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、 前記二次元画像において、注目画素を中心とした局所領域を設定する局所領域設定部と、 前記エッジ抽出部において抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定する判定部と、前記判定部の判定結果に基づき、前記局所領域のうち、前記エッジ抽出部において抽出されたエッジにより分割されない領域であり、かつ、前記注目画素が存在する領域に対応する三次元座標データを用いつつ、前記注目画素の形状特徴量を算出する形状特徴量算出部と、前記形状特徴量算出部の算出結果に基づいて隆起形状を検出する隆起形状検出部と、を有することを特徴とする。

本発明における第２の態様の医療用画像処理装置は、前記第１の態様の医療用画像処理装置において、前記判定部は、前記エッジ抽出部において抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定するための処理として、前記局所領域内に存在するエッジの各端部が前記局所領域の端部のうちのいずれかに接しているか否かを検出する処理を行うことを特徴とする。

本発明における第３の態様の医療用画像処理装置は、医療用撮像装置から入力される生体組織の像の二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルにおいて、注目ボクセルを中心とした局所領域を設定する局所領域設定部と、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多いか否かを判定する判定部と、前記判定部の判定結果に基づき、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多い場合に、前記局所領域に含まれる三次元座標データを用いつつ、前記注目ボクセルにおける形状特徴量を算出する形状特徴量算出部と、前記形状特徴量算出部の算出結果に基づいて隆起形状を検出する隆起形状検出部と、前記二次元画像のエッジを抽出するエッジ抽出部を有し、前記局所領域設定部は、前記エッジ抽出部のエッジの抽出結果に基づき、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルであるか否かを判定するとともに、該判定した結果に応じて前記局所領域のサイズを変更することを特徴とする。

本発明における第４の態様の医療用画像処理装置は、前記第３の態様の医療用画像処理装置において、前記局所領域設定部は、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルでない場合に、前記局所領域のサイズを第１のサイズに設定するとともに、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルである場合に、前記局所領域のサイズを、該第１のサイズよりも小さい第２のサイズに設定することを特徴とする。

本発明における第１の態様の医療用画像処理方法は、医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記二次元画像において、注目画素を中心とした局所領域を設定する局所領域設定ステップと、前記エッジ抽出ステップにおいて抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定する判定ステップと、前記判定ステップの判定結果に基づき、前記局所領域のうち、前記エッジ抽出ステップにおいて抽出されたエッジにより分割されない領域であり、かつ、前記注目画素が存在する領域に対応する三次元座標データを用いつつ、前記注目画素の形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量算出ステップの算出結果に基づいて隆起形状を検出する隆起形状検出ステップと、を有することを特徴とする。

本発明における第２の態様の医療用画像処理方法は、前記第１の態様の医療用画像処理方法において、前記判定ステップは、前記エッジ抽出ステップにおいて抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定するための処理として、前記局所領域内に存在するエッジの各端部が前記局所領域の端部のうちのいずれかに接しているか否かを検出する処理を行うことを特徴とする。

本発明における第３の態様の医療用画像処理方法は、医療用撮像装置から入力される生体組織の像の二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルにおいて、注目ボクセルを中心とした局所領域を設定する局所領域設定ステップと、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多いか否かを判定する判定ステップと、前記判定ステップの判定結果に基づき、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多い場合に、前記局所領域に含まれる三次元座標データを用いつつ、前記注目ボクセルにおける形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量算出ステップの算出結果に基づいて隆起形状を検出する隆起形状検出ステップと、前記二次元画像のエッジを抽出するエッジ抽出ステップを有し、前記局所領域設定ステップは、前記エッジ抽出ステップのエッジの抽出結果に基づき、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルであるか否かを判定するとともに、該判定した結果に応じて前記局所領域のサイズを変更することを特徴とする。

本発明における第４の態様の医療用画像処理方法は、前記第３の態様の医療用画像処理方法において、前記局所領域設定ステップは、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルでない場合に、前記局所領域のサイズを第１のサイズに設定するとともに、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルである場合に、前記局所領域のサイズを、該第１のサイズよりも小さい第２のサイズに設定することを特徴とする。

本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。 図１の医療用画像処理装置が第１の実施形態において行う処理の手順の一例を示すフローチャート。 図１の医療用画像処理装置により取得されるエッジ画像の一例を示す図。 図３のエッジ画像における一の局所領域の拡大図。 図４の一の局所領域に対してラベリングが施された場合の状態を示す模式図。 図５のようにラベリングが施された各領域と、三次元モデルにおいて該各領域の三次元座標データが存在する部分と、の対応関係を示す図。 図１の医療用画像処理装置が第２の実施形態において行う処理の手順の一例を示すフローチャート。 図１の医療用画像処理装置が第２の実施形態において行う処理の手順の、図７とは異なる例を示すフローチャート。 図１の医療用画像処理装置が第３の実施形態において行う処理の手順の一例を示すフローチャート。

（第１の実施形態）
図１から図６は、本発明の第１の実施形態に係るものである。図１は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の医療用画像処理装置が第１の実施形態において行う処理の手順の一例を示すフローチャートである。図３は、図１の医療用画像処理装置により取得されるエッジ画像の一例を示す図である。図４は、図３のエッジ画像における一の局所領域の拡大図である。図５は、図４の一の局所領域に対してラベリングが施された場合の状態を示す模式図である。図６は、図５のようにラベリングが施された各領域と、三次元モデルにおいて該各領域の三次元座標データが存在する部分と、の対応関係を示す図である。

内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。

また、医療用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。

内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対して撮像信号を出力する。

また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。

医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２の画像処理結果としての画像データ等を記憶する情報記憶部２５とを有する。

また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。

なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。

次に、内視鏡システム１の作用について説明を行う。

まず、ユーザは、体腔内に内視鏡６の挿入部１１を挿入する。そして、ユーザにより挿入部１１が体腔内に挿入されると、被写体としての生体組織の像が、先端部１４に設けられた撮像部１７により撮像される。そして、撮像部１７により撮像された生体組織の像は、撮像信号としてＣＣＵ８に対して出力される。

ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、生体組織の像を二次元の画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。

また、医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。

ＣＰＵ２２は、画像入力部２１から出力される二次元画像に対し、隣接する画素間の濃淡レベルの比に基づくエッジ抽出処理を施す（図２のステップＳ１）。この処理により、ＣＰＵ２２は、前記二次元画像に応じたエッジ画像として、例えば、図３に示すような画像を取得する。

なお、前記エッジ抽出処理は、隣接する画素間の濃淡レベルの比に基づくものに限らず、例えば、前記二次元画像の赤色成分に対応したバンドパスフィルタを用いて行うもの等であっても良い。

次に、ＣＰＵ２２は、画像入力部２１から出力される二次元画像に基づき、例えば、ＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇ法等を用い、該二次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該二次元画像の各画素に応じた三次元座標データの推定を行う（図２のステップＳ２）。

なお、本実施形態において、画像入力部２１から出力される二次元画像は、水平方向にＩＳＸ個の画素を有し、垂直方向にＩＳＹ個の画素を有する画像、すなわち、ＩＳＸ×ＩＳＹのサイズの画像であるとする。

ＣＰＵ２２は、エッジ画像内の各画素のうち、注目画素ｋを１に設定した（図２のステップＳ３）後、該エッジ画像内において、該注目画素ｋを中心とした、Ｎ×Ｎ（例えば１５×１５）のサイズの局所領域Ｒｋを設定する（図２のステップＳ４）。なお、注目画素ｋは、１≦ｋ≦ＩＳＸ×ＩＳＹにより定められる変数であるとする。また、前記Ｎの値は、二次元画像における水平方向の画素数ＩＳＸ、及び、該二次元画像における垂直方向の画素数ＩＳＹの各値をいずれも超えないものであるとする。

ＣＰＵ２２は、図２のステップＳ４の処理により、例えば図３及び図４に示すように局所領域Ｒｋを設定した後、該局所領域Ｒｋ内にエッジが存在するか否かの判定を行う（図２のステップＳ５）。そして、ＣＰＵ２２は、局所領域Ｒｋ内にエッジが存在することを検出した場合、さらに、該エッジにより該局所領域Ｒｋが分割されているか否かの判定をさらに行う（図２のステップＳ６）。

ＣＰＵ２２は、図２のステップＳ５の処理において局所領域Ｒｋ内にエッジが存在しないことを検出した場合、後述する図２のステップＳ８の処理を行う。また、ＣＰＵ２２は、図２のステップＳ６の処理において局所領域Ｒｋ内のエッジにより該局所領域Ｒｋが分割されていないことを検出した場合、後述する図２のステップＳ８の処理を行う。

ＣＰＵ２２は、図２のステップＳ６の処理において、局所領域Ｒｋ内に存在するエッジの各端部が該局所領域Ｒｋの端部のうちのいずれかに接しているか否かを検出することにより、該局所領域Ｒｋが分割されているか否かの判定を行う。

具体的には、ＣＰＵ２２は、例えば図５に示す局所領域Ｒｋにおいて、エッジＥｋの両端が該局所領域Ｒｋの端部に各々接していることを検出するとともに、該検出した結果に応じ、該局所領域Ｒｋが２つに分割されていると判定する。

ＣＰＵ２２は、図２のステップＳ６の処理において、局所領域Ｒｋ内に存在するエッジにより該局所領域Ｒｋが分割されていることを検出した場合、該エッジにより分割された（局所領域Ｒｋ内の）各領域に対してラベリングを行う（図２のステップＳ７）。

具体的には、ＣＰＵ２２は、例えば図５に示す局所領域Ｒｋにおいて、エッジＥｋを挟んで左側の領域をラベル１に設定し、また、該エッジＥｋを挟んで右側の領域をラベル２に設定する。

局所領域Ｒｋ内においてエッジＥｋにより分割された各領域は、二次元画像から三次元モデルの推定が行われる際に、該エッジＥｋを挟んで各々不連続な面上に存在する三次元座標データとして推定される。ＣＰＵ２２は、図２のステップＳ７の処理として示したラベリングを行うことにより取得される、前記不連続な面上に存在する三次元座標データに基づき、オクルージョンが三次元モデル内において発生していることを検出する。そして、ＣＰＵ２２は、例えば、図５のラベル１と設定した部分を、図６に示すように、エッジの上側がオクルージョンにかかる部分に相当する三次元座標データであるとして三次元モデルの推定を行う。また、ＣＰＵ２２は、例えば、図５のラベル２と設定した部分を、図６に示すように、エッジの左側がオクルージョンにかかる部分に相当する三次元座標データであるとして三次元モデルの推定を行う。

また、ＣＰＵ２２は、図２のステップＳ５の処理において局所領域Ｒｋ内にエッジが存在しないことを検出した場合、または、図２のステップＳ６の処理において局所領域Ｒｋ内のエッジにより該局所領域Ｒｋが分割されていないことを検出した場合のいずれかにおいて、局所領域Ｒｋ全域を１つのラベルとする（図２のステップＳ８）。

その後、ＣＰＵ２２は、局所領域Ｒｋのうち、注目画素ｋが属するラベルと同じラベルの領域内の各画素の三次元座標データを用いつつ、曲面方程式を取得する（図２のステップＳ９）。

具体的には、ＣＰＵ２２は、例えば図５に示す局所領域Ｒｋにおいて、注目画素ｋが属するラベル２の領域内の画素の三次元座標データを用いつつ、曲面方程式を取得する。また、ＣＰＵ２２は、図２のステップＳ８の処理において局所領域Ｒｋ全域を１つのラベルとした場合、局所領域Ｒｋ全域に存在する各画素の三次元座標データを用いつつ、曲面方程式を取得する。

ＣＰＵ２２は、図２のステップＳ９の処理において取得した曲面方程式に基づき、注目画素ｋにおける形状特徴量を算出する（図２のステップＳ１０）。なお、本実施形態において、ＣＰＵ２２は、前記形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値を各々算出するものであるとする。また、前述したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより、曲面方程式からの算出が可能である。そのため、本実施形態の説明においては、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関する説明を省略する。

そして、ＣＰＵ２２は、図２のステップＳ９及びステップＳ１０の処理を行うことにより、三次元モデルにおけるオクルージョンに相当する部分のデータ、すなわち、推定結果の信頼性が相対的に低い三次元座標データを用いることなく、推定結果の信頼性が相対的に高い三次元座標データを用いつつ、注目画素ｋにおける形状特徴量を精度良く算出することができる。

ＣＰＵ２２は、図２のステップＳ１０の処理において注目画素ｋの形状特徴量を算出した後、該注目画素ｋの値がＩＳＸ×ＩＳＹであるか否かの判定を行う（図２のステップＳ１１）。そして、ＣＰＵ２２は、注目画素ｋの値がＩＳＸ×ＩＳＹである場合には、後述する図２のステップＳ１３の処理を引き続き行う。また、ＣＰＵ２２は、注目画素ｋの値がＩＳＸ×ＩＳＹでない場合には、注目画素ｋの値をｋ＋１とした（図２のステップＳ１２）後、前述した、図２のステップＳ４からステップＳ１１までの一連の処理を再度行う。

ＣＰＵ２２は、図２のステップＳ１１の処理においてエッジ画像内の各画素の形状特徴量の算出を完了した後、さらに、算出した該形状特徴量各々に基づく閾値処理を行うことにより、三次元モデル内の隆起形状を検出する（図２のステップＳ１３）。

具体的には、例えば、ＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈが０．９として設定され、また、Ｃｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈが０．２として設定されている場合、ＣＰＵ２２は、該閾値Ｓｔｈより大きく、かつ、該閾値Ｃｔｈより大きい形状特徴量を有する三次元座標データ群を、（ポリープ等の病変に起因する、局所的な）隆起形状であるとして検出する。

なお、隆起形状の検出結果は、ユーザに対し、例えば、モニタ４に表示される二次元画像（または三次元モデル）の該当部分の着色により示されるものであっても良いし、また、モニタ４に表示される二次元画像（または三次元モデル）の該当部分を指す記号及び（または）文字により示されるものであっても良い。

以上に述べたように、本実施形態の医療用画像処理装置３は、図２に示す処理として前述した一連の処理において、推定結果の信頼性が相対的に高い三次元座標データのみを用いつつ形状特徴量の算出を行う。その結果、本実施形態の医療用画像処理装置３は、内視鏡により取得された二次元画像に基づいて三次元モデルが推定される際に、隆起形状の検出効率を従来に比べて向上させることができる。

（第２の実施形態）
図７及び図８は、本発明の第２の実施形態に係るものである。図７は、図１の医療用画像処理装置が第２の実施形態において行う処理の手順の一例を示すフローチャートである。図８は、図１の医療用画像処理装置が第２の実施形態において行う処理の手順の、図７とは異なる例を示すフローチャートである。

なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態と同様である。

次に、医療用画像処理装置３において行われる画像処理動作についての説明を行う。

ＣＰＵ２２は、画像入力部２１から出力される二次元画像に基づき、例えば、ＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇ法等を用い、該二次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該二次元画像の各画素に応じた三次元座標データの推定を行う（図７のステップＳ１０１）。

その後、ＣＰＵ２２は、図７のステップＳ１０１の処理において推定した各三次元座標データに基づき、例えば、ｘ座標の最大値と最小値との差、ｙ座標の最大値と最小値との差、及び、ｚ座標の最大値と最小値との差をそれぞれ算出することにより、三次元モデルのサイズを取得する（図７のステップＳ１０２）。

なお、本実施形態のＣＰＵ２２は、図７のステップＳ１０２の処理において、ｘ軸方向（水平方向）にＴＤＸ個のボクセルが存在し、ｙ軸方向（奥行き方向）にＴＤＹ個のボクセルが存在し、ｚ軸方向（高さ方向）にＴＤＺ個のボクセルが存在することを各々検出することにより、ＴＤＸ×ＴＤＹ×ＴＤＺを三次元モデルのサイズとして取得するものとする。

ＣＰＵ２２は、三次元モデル内の各ボクセルのうち、注目ボクセルｂを１に設定した（図７のステップＳ１０３）後、該三次元モデル内において、該注目ボクセルｂを中心とした、Ｐ×Ｐ×Ｐ（例えば１５×１５×１５）のサイズの局所立体領域Ｄｂを設定する（図７のステップＳ１０４）。なお、注目ボクセルｂは、１≦ｂ≦ＴＤＸ×ＴＤＹ×ＴＤＺにより定められる変数であるとする。また、前記Ｐの値は、三次元モデルにおけるｘ軸方向のボクセルの数ＴＤＸ、該三次元モデルにおけるｙ軸方向のボクセルの数ＴＤＹ、及び、該三次元モデルにおけるｚ軸方向のボクセルの数ＴＤＺの各値をいずれも超えないものであるとする。

そして、ＣＰＵ２２は、局所立体領域Ｄｂ内に存在するボクセルの個数Ｑを検出した（図７のステップＳ１０５）後、該ボクセルの個数Ｑの値と、（Ｐ×Ｐ）／２の演算により算出した値との比較を行う（図７のステップＳ１０６）。

ＣＰＵ２２は、ボクセルの個数Ｑの値が（Ｐ×Ｐ）／２の演算により算出した値に比べて大きいことを検出した場合、さらに、局所立体領域Ｄｂ内に存在する各ボクセルの三次元座標データを用いつつ、曲面方程式を取得する処理を行う（図７のステップＳ１０７）。また、ＣＰＵ２２は、ボクセルの個数Ｑの値が（Ｐ×Ｐ）／２の演算により算出した値以下であることを検出した場合、後述する図７のステップＳ１０９の処理を行う。

なお、前述したボクセルの個数Ｑの値は、ＣＰＵ２２により（比較的信頼性の高い）三次元座標データが推定されたボクセルの個数を示す値である。また、前述した（Ｐ×Ｐ）／２の値は、ＣＰＵ２２が曲面方程式を取得する際に必要なボクセルの個数の下限を示す値である。すなわち、ＣＰＵ２２は、前述した図７のステップＳ１０６の処理により、局所立体領域Ｄｂが曲面方程式を取得可能な領域であるか否かの判断を行っている。

ＣＰＵ２２は、図７のステップＳ１０７の処理において取得した曲面方程式に基づき、注目ボクセルｂにおける形状特徴量を算出する（図７のステップＳ１０８）。なお、本実施形態において、ＣＰＵ２２は、前記形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値を各々算出するものであるとする。また、前述したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより、曲面方程式からの算出が可能である。そのため、本実施形態の説明においては、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関する説明を省略する。

そして、ＣＰＵ２２は、図７のステップＳ１０６乃至ステップＳ１０８の処理を行うことにより、三次元モデルにおけるオクルージョンに相当する部分のデータ、すなわち、推定結果の信頼性が相対的に低い三次元座標データを多く含む領域を処理対象から除外するとともに、推定結果の信頼性が相対的に高い三次元座標データを多く含む領域を処理対象としつつ、注目ボクセルｂにおける形状特徴量を精度良く算出することができる。

ＣＰＵ２２は、図７のステップＳ１０８の処理において注目ボクセルｂの形状特徴量を算出した後、該注目ボクセルｂの値がＴＤＸ×ＴＤＹ×ＴＤＺであるか否かの判定を行う（図７のステップＳ１０９）。そして、ＣＰＵ２２は、注目ボクセルｂの値がＴＤＸ×ＴＤＹ×ＴＤＺである場合には、後述する図７のステップＳ１１１の処理を引き続き行う。また、ＣＰＵ２２は、注目ボクセルｂの値がＴＤＸ×ＴＤＹ×ＴＤＺでない場合には、注目ボクセルｂの値をｂ＋１とした（図７のステップＳ１１０）後、前述した、図７のステップＳ１０４からステップＳ１０９までの一連の処理を再度行う。

ＣＰＵ２２は、図７のステップＳ１１０の処理において三次元モデル内の各ボクセルの形状特徴量の算出を完了した後、さらに、算出した該形状特徴量各々に基づく閾値処理を行うことにより、該三次元モデル内の隆起形状を検出する（図７のステップＳ１１１）。

具体的には、例えば、ＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈ１が０．９として設定され、また、Ｃｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈ１が０．２として設定されている場合、ＣＰＵ２２は、該閾値Ｓｔｈ１より大きく、かつ、該閾値Ｃｔｈ１より大きい形状特徴量を有する三次元座標データ群を、（ポリープ等の病変に起因する、局所的な）隆起形状であるとして検出する。

なお、隆起形状の検出結果は、ユーザに対し、例えば、モニタ４に表示される二次元画像（または三次元モデル）の該当部分の着色により示されるものであっても良いし、また、モニタ４に表示される二次元画像（または三次元モデル）の該当部分を指す記号及び（または）文字により示されるものであっても良い。

以上に述べたように、本実施形態の医療用画像処理装置３は、図７に示す処理として前述した一連の処理において、推定結果の信頼性が相対的に高い三次元座標データを多く含む領域においてのみ形状特徴量の算出を行う。その結果、本実施形態の医療用画像処理装置３は、内視鏡により取得された二次元画像に基づいて三次元モデルが推定される際に、隆起形状の検出効率を従来に比べて向上させることができる。

なお、本実施形態において、ＣＰＵ２２は、固定のサイズの局所立体領域を用いて曲面方程式の取得対象となる領域を検出する、という処理を行うものに限らず、例えば、注目ボクセルがエッジ上に存在するか否かに応じて局所立体領域のサイズを変更しつつ曲面方程式の取得対象となる領域を検出する、という処理を行うものであっても良い。

その場合、まず、ＣＰＵ２２は、第１の実施形態の説明において既述である、図２のステップＳ１と同様のエッジ抽出処理を二次元画像に対して施す（図８のステップＳ２０１）。この処理により、ＣＰＵ２２は、前記二次元画像内においてエッジが存在する部分を検出する。

また、ＣＰＵ２２は、図７のステップＳ１０１及びステップＳ１０２の処理と同様の処理により、二次元画像の各画素に応じた三次元座標データの推定を行うとともに、該三次元座標データ各々に基づいて三次元モデルのサイズを取得する（図８のステップＳ２０２及びステップＳ２０３）。

ＣＰＵ２２は、三次元モデル内の各ボクセルのうち、注目ボクセルｅを１に設定した（図８のステップＳ２０４）後、該注目ボクセルｅの三次元座標データに基づき、該注目ボクセルｅが二次元画像内のエッジを形成する画素から推定されたものであるか否かを判定する（図８のステップＳ２０５）。

ＣＰＵ２２は、注目ボクセルｅが二次元画像内のエッジを形成する画素から推定されたものである場合には、変数Ｐ１をＲに設定した（図８のステップＳ２０６）後、後述する図８のステップＳ２０８の処理を引き続き行う。また、ＣＰＵ２２は、注目ボクセルｅが二次元画像内のエッジを形成する画素から推定されたものでない場合には、変数Ｐ１をＴに設定した（図８のステップＳ２０７）後、後述する図８のステップＳ２０８の処理を引き続き行う。

なお、図８のステップＳ２０６の処理において設定される値Ｒは、図８のステップＳ２０７の処理において設定される値Ｔに比べて小さい値（例えばＲ＝Ｔ／２）として設定されている。すなわち、ＣＰＵ２２は、図８のステップＳ２０５乃至ステップＳ２０７の処理において、注目ボクセルがエッジ上に存在するか否かに応じて局所立体領域のサイズを変更することにより、図７に示す一連の処理を行った場合に比べ、曲面方程式の取得対象となる領域を多く取得することができる。

そして、ＣＰＵ２２は、図７のステップＳ１０４及びステップＳ１０５の処理と同様の処理により、注目ボクセルｅを中心とした、Ｐ１×Ｐ１×Ｐ１のサイズの局所立体領域Ｄｅを設定するとともに、該局所立体領域Ｄｅ内に存在するボクセルの個数Ｑ１を検出する（図８のステップＳ２０８及びステップＳ２０９）。

その後、ＣＰＵ２２は、前記ボクセルの個数Ｑ１の値と、（Ｐ１×Ｐ１）／２の演算により算出した値との比較を行う（図８のステップＳ２１０）。

ＣＰＵ２２は、ボクセルの個数Ｑ１の値が（Ｐ１×Ｐ１）／２の演算により算出した値に比べて大きいことを検出した場合、さらに、局所立体領域Ｄｅ内に存在する各ボクセルの三次元座標データを用いつつ、曲面方程式を取得する処理を行う（図８のステップＳ２１１）。また、ＣＰＵ２２は、ボクセルの個数Ｑ１の値が（Ｐ１×Ｐ１）／２の演算により算出した値以下であることを検出した場合、後述する図８のステップＳ２１３の処理を行う。

なお、前述したボクセルの個数Ｑ１の値は、ＣＰＵ２２により（比較的信頼性の高い）三次元座標データが推定されたボクセルの個数を示す値である。また、前述した（Ｐ１×Ｐ１）／２の値は、ＣＰＵ２２が曲面方程式を取得する際に必要なボクセルの個数の下限を示す値である。すなわち、ＣＰＵ２２は、前述した図８のステップＳ２１０の処理により、局所立体領域Ｄｅが曲面方程式を取得可能な領域であるか否かの判断を行っている。

ＣＰＵ２２は、図８のステップＳ２１１の処理において取得した曲面方程式に基づき、注目ボクセルｅにおける形状特徴量（として、例えばＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値）を算出する（図８のステップＳ２１２）。

その後、ＣＰＵ２２は、注目ボクセルｅの値がＴＤＸ×ＴＤＹ×ＴＤＺであるか否かの判定を行う（図８のステップＳ２１３）。そして、ＣＰＵ２２は、注目ボクセルｅの値がＴＤＸ×ＴＤＹ×ＴＤＺである場合には、後述する図８のステップＳ２１５の処理を引き続き行う。また、ＣＰＵ２２は、注目ボクセルｅの値がＴＤＸ×ＴＤＹ×ＴＤＺでない場合には、注目ボクセルｅの値をｅ＋１とした（図８のステップＳ２１４）後、前述した、図８のステップＳ２０５からステップＳ２１３までの一連の処理を再度行う。

ＣＰＵ２２は、図８のステップＳ２１３の処理において三次元モデル内の各ボクセルの形状特徴量の算出を完了した後、さらに、算出した該形状特徴量各々に基づく閾値処理を行うことにより、該三次元モデル内の隆起形状を検出する（図８のステップＳ２１５）。

具体的には、例えば、ＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈ２が０．９として設定され、また、Ｃｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈ２が０．２として設定されている場合、ＣＰＵ２２は、該閾値Ｓｔｈ２より大きく、かつ、該閾値Ｃｔｈ２より大きい形状特徴量を有する三次元座標データ群を、（ポリープ等の病変に起因する、局所的な）隆起形状であるとして検出する。

なお、隆起形状の検出結果は、ユーザに対し、例えば、モニタ４に表示される二次元画像（または三次元モデル）の該当部分の着色により示されるものであっても良いし、また、モニタ４に表示される二次元画像（または三次元モデル）の該当部分を指す記号及び（または）文字により示されるものであっても良い。

以上に述べたように、本実施形態の医療用画像処理装置３は、図８に示す一連の処理を行うことにより、図７に示す一連の処理を行った場合に比べ、隆起形状をさらに効率良く検出することができる。

（第３の実施形態）
図９は、本発明の第３の実施形態に係るものである。図９は、図１の医療用画像処理装置が第３の実施形態において行う処理の手順の一例を示すフローチャートである。

なお、第１の実施形態及び第２の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態及び第２の実施形態と同様である。

次に、医療用画像処理装置３において行われる画像処理動作についての説明を行う。

まず、ＣＰＵ２２は、第１の実施形態の説明において既述である、図２のステップＳ１と同様のエッジ抽出処理を二次元画像に対して施すとともに、抽出した各エッジに対してラベリングを行う（図９のステップＳ３０１及びＳ３０２）。

なお、本実施形態において、ＣＰＵ２２は、図９のステップＳ３０１及びＳ３０２の処理を行うことにより、二次元画像からＡ個のエッジを抽出するとともに、抽出した各エッジに１からＡまでの番号のラベルを付与するものとする。

その後、ＣＰＵ２２は、図７のステップＳ１０１の処理と同様の処理により、二次元画像の各画素に応じた三次元座標データの推定を行う（図９のステップＳ３０３）。

ＣＰＵ２２は、エッジ番号ｆを１に設定した（図９のステップＳ３０４）後、エッジ番号ｆのエッジを形成する各ボクセルの三次元座標データに基づき、該エッジの中点となるボクセルＧｆを検出する（図９のステップＳ３０５）。

そして、ＣＰＵ２２は、図９のステップＳ３０５の処理により検出したボクセルＧｆにおける、エッジ番号ｆのエッジの曲率ＣＶｆを形状特徴量として算出する（図９のステップＳ３０６）。

ＣＰＵ２２は、エッジ番号ｆの値がＡであるか否かの判定を行う（図９のステップＳ３０７）。そして、ＣＰＵ２２は、エッジ番号ｆの値がＡである場合には、後述する図９のステップＳ３０９の処理を引き続き行う。また、ＣＰＵ２２は、エッジ番号ｆの値がＡでない場合には、エッジ番号ｆの値をｆ＋１とした（図９のステップＳ３０８）後、前述した、図９のステップＳ３０５からステップＳ３０７までの一連の処理を再度行う。

ＣＰＵ２２は、図９のステップＳ３０８の処理において、三次元モデル内の各エッジの曲率ＣＶｆの算出を完了した後、さらに、算出した該曲率ＣＶｆ各々に基づく閾値処理を行うことにより、該三次元モデル内の隆起形状を検出する（図９のステップＳ３０９）。

具体的には、例えば、曲率の閾値ＣＶｔｈが０．２として設定されている場合、ＣＰＵ２２は、該閾値ＣＶｔｈより大きいエッジを形成する三次元座標データ群を、隆起形状に起因するエッジであるとして検出する。

なお、隆起形状の検出結果は、ユーザに対し、例えば、モニタ４に表示される二次元画像（または三次元モデル）の該当部分の着色により示されるものであっても良いし、また、モニタ４に表示される二次元画像（または三次元モデル）の該当部分を指す記号及び（または）文字により示されるものであっても良い。

以上に述べたように、本実施形態の医療用画像処理装置３は、図９に示す処理として前述した一連の処理において、エッジの形状を示す形状特徴量に基づいて隆起形状の検出を行う。

その結果、本実施形態の医療用画像処理装置３は、内視鏡により取得された二次元画像に基づいて三次元モデルが推定される際に、従来に比べて高速かつ効率良く隆起形状を検出することができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (8)

1. 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、
   前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
   前記二次元画像において、注目画素を中心とした局所領域を設定する局所領域設定部と、
   前記エッジ抽出部において抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定する判定部と、
   前記判定部の判定結果に基づき、前記局所領域のうち、前記エッジ抽出部において抽出されたエッジにより分割されない領域であり、かつ、前記注目画素が存在する領域に対応する三次元座標データを用いつつ、前記注目画素の形状特徴量を算出する形状特徴量算出部と、
   前記形状特徴量算出部の算出結果に基づいて隆起形状を検出する隆起形状検出部と、
   を有することを特徴とする医療用画像処理装置。
2. 前記判定部は、前記エッジ抽出部において抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定するための処理として、前記局所領域内に存在するエッジの各端部が前記局所領域の端部のうちのいずれかに接しているか否かを検出する処理を行うことを特徴とする請求項１に記載の医療用画像処理装置。
3. 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
   前記三次元モデルにおいて、注目ボクセルを中心とした局所領域を設定する局所領域設定部と、
   前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多いか否かを判定する判定部と、
   前記判定部の判定結果に基づき、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多い場合に、前記局所領域に含まれる三次元座標データを用いつつ、前記注目ボクセルにおける形状特徴量を算出する形状特徴量算出部と、
   前記形状特徴量算出部の算出結果に基づいて隆起形状を検出する隆起形状検出部と、
   前記二次元画像のエッジを抽出するエッジ抽出部を有し、
   前記局所領域設定部は、前記エッジ抽出部のエッジの抽出結果に基づき、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルであるか否かを判定するとともに、該判定した結果に応じて前記局所領域のサイズを変更することを特徴とする医療用画像処理装置。
4. 前記局所領域設定部は、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルでない場合に、前記局所領域のサイズを第１のサイズに設定するとともに、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルである場合に、前記局所領域のサイズを、該第１のサイズよりも小さい第２のサイズに設定することを特徴とする請求項３に記載の医療用画像処理装置。
5. 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、
   前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
   前記二次元画像において、注目画素を中心とした局所領域を設定する局所領域設定ステップと、
   前記エッジ抽出ステップにおいて抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定する判定ステップと、
   前記判定ステップの判定結果に基づき、前記局所領域のうち、前記エッジ抽出ステップにおいて抽出されたエッジにより分割されない領域であり、かつ、前記注目画素が存在する領域に対応する三次元座標データを用いつつ、前記注目画素の形状特徴量を算出する形状特徴量算出ステップと、
   前記形状特徴量算出ステップの算出結果に基づいて隆起形状を検出する隆起形状検出ステップと、
   を有することを特徴とする医療用画像処理方法。
6. 前記判定ステップは、前記エッジ抽出ステップにおいて抽出されたエッジの少なくとも一部により、前記局所領域が分割されているか否かを判定するための処理として、前記局所領域内に存在するエッジの各端部が前記局所領域の端部のうちのいずれかに接しているか否かを検出する処理を行うことを特徴とする請求項５に記載の医療用画像処理方法。
7. 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
   前記三次元モデルにおいて、注目ボクセルを中心とした局所領域を設定する局所領域設定ステップと、
   前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多いか否かを判定する判定ステップと、
   前記判定ステップの判定結果に基づき、前記局所領域に含まれる三次元座標データの数が所定の閾値よりも多い場合に、前記局所領域に含まれる三次元座標データを用いつつ、前記注目ボクセルにおける形状特徴量を算出する形状特徴量算出ステップと、
   前記形状特徴量算出ステップの算出結果に基づいて隆起形状を検出する隆起形状検出ステップと、
   前記二次元画像のエッジを抽出するエッジ抽出ステップを有し、
   前記局所領域設定ステップは、前記エッジ抽出ステップのエッジの抽出結果に基づき、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルであるか否かを判定するとともに、該判定した結果に応じて前記局所領域のサイズを変更することを特徴とする医療用画像処理方法。
8. 前記局所領域設定ステップは、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルでない場合に、前記局所領域のサイズを第１のサイズに設定するとともに、前記注目ボクセルが前記二次元画像のエッジに対応するボクセルである場合に、前記局所領域のサイズを、該第１のサイズよりも小さい第２のサイズに設定することを特徴とする請求項７に記載の医療用画像処理方法。

Images