JP4981335B2

JP4981335B2 - 医療用画像処理装置及び医療用画像処理方法

Info

Publication number: JP4981335B2
Application number: JP2006063233A
Authority: JP
Inventors: 涼子井上; 博一西村; 秀樹田中; 健次中村; 美穂沢
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2006-03-08
Filing date: 2006-03-08
Publication date: 2012-07-18
Anticipated expiration: 2026-03-08
Also published as: CN101378692B; JP2007236629A; EP1992273B1; WO2007102295A1; EP1992273A1; CN101378692A; EP1992273A4

Description

本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、体腔内の生体組織の三次元モデルにおける隆起形状を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。

内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該挿入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行う。

また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを生成することが可能である、例えば、特許文献１に記載されているような内視鏡装置が提案されている。

一方、三次元モデルにおいてポリープ等の病変部位を検出するための方法として、例えば、ＳｈａｐｅＩｎｄｅｘ及びＣｕｒｖｅｄｎｅｓｓといった、曲率に基づく形状特徴量を用いつつ該三次元モデルの形状の評価を行うことにより、該三次元モデルにおける病変部位を検出可能である、特許文献２に記載されている方法が提案されている。
特開平１１−３３７８４５号公報ＵＳＰａｔｅｎｔＡｐｐｌｉｃａｔｉｏｎＮｏ．２００３０２２３６２７

特に、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にオクルージョンと呼ばれており、正確な三次元モデルの推定が困難な領域である。そのため、二次元画像のオクルージョンが発生している部分においては、例えば、該二次元画像に基づく三次元モデルの対応する位置に推定結果が存在しない、または、該二次元画像に基づく三次元モデルの対応する位置に信頼性の低い推定結果が算出されるといったことが起こり得る。

その結果、従来の画像処理としての、例えば、特許文献１の内視鏡装置において行われている画像処理により推定された被写体の三次元モデルが用いられつつ該被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。

また、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｙ）を用いた観察により得られる、オクルージョンとなる部分が発生しない三次元モデルに対する適用を想定した方法である。そのため、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、内視鏡を用いた観察により得られる、オクルージョンとなる部分を有する二次元画像に基づいて推定された三次元モデルに対して適用された場合に、ポリープ等の病変部位の検出精度が低下してしまう。その結果、特許文献２において提案されている方法が採用された内視鏡システムが用いられつつ被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。

本発明は、前述した点に鑑みてなされたものであり、オクルージョンを有する二次元画像に基づいて推定された三次元モデルを用いて観察が行われる場合に、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。

本発明における第１の医療用画像処理装置は、入力される体腔内の生体組織の像の二次元画像に基づき、前記二次元画像の輝度情報から前記二次元画像における各ピクセルに対応するボクセルを生成する幾何学的な変換処理により、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記生体組織の三次元モデルが有する各ボクセルの形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、前記生体組織の三次元モデルが有する各ボクセルのうち、三次元モデルが凸型形状または尾根型形状のうちの少なくとも１つとして推定された第１のボクセル群を抽出する三次元形状抽出部と、前記第１のボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出部と、を有する。

本発明における第２の医療用画像処理装置は、前記第１の医療用画像処理装置において、さらに、入力される前記二次元画像における可視領域と不可視領域とを検出する領域検出部を有し、前記三次元モデル推定部は、さらに前記不可視領域内の前記可視領域と前記不可視領域の境界に対して対称な位置に、前記可視領域において推定した各ボクセルを添加する。

本発明における第３の医療用画像処理装置は、前記第２の医療用画像処理装置において、前記領域検出部は、入力される前記二次元画像における線構造の情報を取得するとともに、前記線構造の情報に基づいて境界部を検出することにより、該境界部を境に前記可視領域と前記不可視領域とが分かれているとする。

本発明における第４の医療用画像処理装置は、前記第１の医療用画像処理装置において、さらに、前記三次元形状抽出部は、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、該第２のボクセル群と該第３のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出する。

本発明における第５の医療用画像処理装置は、前記第２の医療用画像処理装置において、さらに、前記三次元形状抽出部は、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出する。

本発明における第６の医療用画像処理装置は、前記第４または第５の医療用画像処理装置において、さらに、前記三次元形状抽出部は、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在するか否かを、前記第２のボクセル群の平均座標と、前記第３のボクセル群の平均座標との間の距離に基づいて判定する。

本発明における第７の医療用画像処理装置は、前記第２または第３の医療用画像処理装置において、さらに、前記形状特徴量算出部は、前記可視領域における各ボクセルにおいてのみ、前記形状特徴量を算出する。

本発明における第８の医療用画像処理装置は、前記第３の医療用画像処理装置において、前記形状特徴量算出部は、一のボクセルの周辺領域に存在するボクセルに関する情報である周辺領域ボクセル情報に基づいて該一のボクセルの形状特徴量を算出するとともに、前記境界部を含むボクセルが該周辺領域内に存在することを検知した場合、該一のボクセルの形状特徴量を算出する際に用いる周辺ボクセル情報を減らす。

本発明における第１の医療用画像処理方法は、入力される体腔内の生体組織の像の二次元画像に基づき、前記二次元画像の輝度情報から前記二次元画像における各ピクセルに対応するボクセルを生成する幾何学的な変換処理により、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記生体組織の三次元モデルが有する各ボクセルの形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量に基づき、前記生体組織の三次元モデルが有する各ボクセルのうち、三次元モデルが凸型形状または尾根型形状のうちの少なくとも１つとして推定された第１のボクセル群を抽出する三次元形状抽出ステップと、前記第１のボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出ステップと、を有する。

本発明における第２の医療用画像処理方法は、前記第１の医療用画像処理方法において、さらに、入力される前記二次元画像における可視領域と不可視領域とを検出する領域検出ステップを有し、前記三次元モデル推定ステップは、さらに前記不可視領域内の前記可視領域と前記不可視領域の境界に対して対称な位置に、前記可視領域において推定した各ボクセルを添加する。

本発明における第３の医療用画像処理方法は、前記第２の医療用画像処理方法において、前記領域検出ステップは、入力される前記二次元画像における線構造の情報を取得するとともに、前記線構造の情報に基づいて境界部を検出することにより、該境界部を境に前記可視領域と前記不可視領域とが分かれているとする。

本発明における第４の医療用画像処理方法は、前記第１の医療用画像処理方法において、さらに、前記三次元形状抽出ステップは、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、該第２のボクセル群と該第３のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出する。

本発明における第５の医療用画像処理方法は、前記第２の医療用画像処理方法において、さらに、前記三次元形状抽出ステップは、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出する。

本発明における第６の医療用画像処理方法は、前記第４または第５の医療用画像処理方法において、さらに、前記三次元形状抽出ステップは、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在するか否かを、前記第２のボクセル群の平均座標と、前記第３のボクセル群の平均座標との間の距離に基づいて判定する。

本発明における第７の医療用画像処理方法は、前記第２または第３の医療用画像処理方法において、さらに、前記形状特徴量算出ステップは、前記可視領域における各ボクセルにおいてのみ、前記形状特徴量を算出する。

本発明における第８の医療用画像処理方法は、前記第３の医療用画像処理方法において、前記形状特徴量算出ステップは、一のボクセルの周辺領域に存在するボクセルに関する情報である周辺領域ボクセル情報に基づいて該一のボクセルの形状特徴量を算出するとともに、前記境界部を含むボクセルが該周辺領域内に存在することを検知した場合、該一のボクセルの形状特徴量を算出する際に用いる周辺ボクセル情報を減らす。

本発明における医療用画像処理装置及び医療用画像処理方法によると、オクルージョンを有する二次元画像に基づいて推定された三次元モデルを用いて観察が行われる場合に、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施形態）
図１から図１０は、本発明の第１の実施形態に係るものである。図１は、本実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図である。図３は、図２の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図である。図４は、第１の実施形態において、生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図５は、第１の実施形態において、生体組織の像の二次元画像における表面部を抽出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図６は、第１の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図７は、図１の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図である。図８は、図７の生体組織の三次元モデルを他の方向から見た場合の図である。図９は、図７及び図８の生体組織の三次元モデルにおける境界近似平面を示す図である。図１０は、図７及び図８の生体組織の三次元モデルにおいて、図９に示す境界近似平面に基づく鏡像が添加された場合の一例を示す図である。

内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。

また、医療用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。

内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対し、撮像した被写体の像に応じた撮像信号を出力する。

また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。

医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２が行う画像処理における演算結果等を記憶する情報記憶部２５とを有する。

また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。

なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。

次に、内視鏡システム１の作用について説明を行う。

まず、ユーザは、図２に示すように、例えば、大腸等である管状器官３１内に内視鏡６の挿入部１１を挿入する。そして、ユーザにより挿入部１１が管状器官３１に挿入されると、例えば、管状器官３１の内壁に存在する病変部位である生体組織３１Ａの像が、先端部１４に設けられた撮像部１７により、図３に示すような像として撮像される。そして、図３に示すような像として撮像部１７により撮像された、管状器官３１及び生体組織３１Ａの像は、撮像信号としてＣＣＵ８に対して出力される。

ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、管状器官３１及び生体組織３１Ａの像を、例えば、図３に示すような二次元の画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。

医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。

ＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号と、処理プログラム記憶部２３に書き込まれた処理プログラムとに基づき、例えば、以降に述べるような処理を行うことにより、該二次元画像における生体組織３１Ａのエッジ部を抽出する。

まず、ＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する（図４のステップＳ１）。

その後、領域検出部としての機能を有するＣＰＵ２２は、抽出した全てのエッジ部を細線化する（図４のステップＳ２）とともに、細線化した該全てのエッジ部のうち、一のエッジ部Ｅの長さＬを算出する（図４のステップＳ３）。さらに、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いか否かの判断を行う。

そして、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、所定の閾値ｔｈＬ１以下の長さであること、または、閾値ｔｈＬ２以上であることを検出した場合（図４のステップＳ４）、後述する図４のステップＳ１１に示す処理を行う。また、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いことを検出した場合（図４のステップＳ４）、該一のエッジ部Ｅを制御点Ｃｎ（ｎ＝１，２，…，Ｎ）によりＮ等分する（図４のステップＳ５）。

さらに、ＣＰＵ２２は、一のエッジ部Ｅの中点Ｃｃから引いた法線ＮＣｃを取得するとともに、各制御点Ｃｎから引いたＮ本の法線ＮＣｎを取得する（図４のステップＳ６）。その後、ＣＰＵ２２は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａを検出する（図４のステップＳ７）。

また、ＣＰＵ２２は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａが、閾値ｔｈａより多いか否かの判断を行う。そして、領域検出部としての機能を有するＣＰＵ２２は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａより多いことを検出した場合（図４のステップＳ８）、一のエッジ部Ｅに含まれるピクセル群ｉｐを生体組織３１Ａのエッジ部に含まれるピクセル群であると判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＮとする（図４のステップＳ９）。さらに、そして、ＣＰＵ２２は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａ以下であることを検出した場合（図４のステップＳ８）、一のエッジ部Ｅに含まれるピクセル群ｉｐを生体組織３１Ａのエッジ部に含まれるピクセル群ではないと判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＦＦとする（図４のステップＳ１０）。

換言すると、領域検出部としての機能を有するＣＰＵ２２は、前述した処理を行うことにより、変数ｅｄｇｅ（ｉ）の値がＯＮであるピクセル群を境に、二次元画像における可視領域と不可視領域とが分かれていると判断する。

ＣＰＵ２２は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図４のステップＳ１１）、他の一のエッジ部に対し、前述した、図４のステップＳ３から図４のステップＳ１０までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図４のステップＳ１１）、二次元画像における生体組織３１Ａのエッジ部を抽出するための一連の処理を終了する。

その後、ＣＰＵ２２は、前述した、二次元画像における生体組織３１Ａのエッジ部を抽出するための一連の処理を行うことにより得た処理結果としての、二次元画像の各エッジ部に含まれるピクセル群ｉｐにおける変数ｅｄｇｅ（ｉ）の値を、情報記憶部２５に一時的に記憶させる。

ＣＰＵ２２は、情報記憶部２５に記憶された変数ｅｄｇｅ（ｉ）の値と、処理プログラム記憶部２３に書き込まれた処理プログラムとに基づき、例えば、前述した図４に示す処理を行った後、さらに以降に述べるような処理を行うことにより、該二次元画像における生体組織３１Ａの表面部を抽出する。

まず、ＣＰＵ２２は、情報記憶部２５に記憶された変数ｅｄｇｅ（ｉ）の値に基づき、変数ｅｄｇｅ（ｉ）がＯＮである一のエッジ部Ｅの細線を取得する（図５のステップＳ２１）。その後、ＣＰＵ２２は、変数ｅｄｇｅ（ｉ）がＯＮである一のエッジ部Ｅの細線における両端の点を取得する（図５のステップＳ２２）。

そして、ＣＰＵ２２は、変数ｅｄｇｅ（ｉ）がＯＮである一のエッジ部Ｅの細線と、前述した図５のステップＳ２２において取得した該細線の両端の点を結んだ線とに囲まれるピクセル群ｊｐを、生体組織３１Ａの二次元画像における可視領域、すなわち、生体組織３１Ａの表面部に含まれるピクセル群であるとし、該ピクセル群ｊｐが有する各ピクセルにおける変数ｏｍｏｔｅ（ｊ）をＯＮとする（図５のステップＳ２３）。

ＣＰＵ２２は、変数ｅｄｇｅ（ｉ）がＯＮである全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、変数ｅｄｇｅ（ｉ）がＯＮである全てのエッジ部に対しての処理が完了していないことを検出した場合（図５のステップＳ２４）、他の一のエッジ部に対し、前述した、図５のステップＳ２１から図５のステップＳ２３までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図５のステップＳ２４）、二次元画像における生体組織３１Ａの表面部を抽出するための一連の処理を終了する。

その後、ＣＰＵ２２は、前述した、二次元画像における生体組織３１Ａの表面部を抽出するための一連の処理を行うことにより得た処理結果としての、二次元画像の各表面部に含まれるピクセル群ｊｐにおける変数ｏｍｏｔｅ（ｊ）の値を、情報記憶部２５に一時的に記憶させる。

そして、三次元モデル推定部としての機能を有するＣＰＵ２２は、例えば、幾何学的な変換等の処理により、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官３１及び生体組織３１Ａの三次元モデルを推定する際に必要となる画像データを取得するための画像処理を行う。換言すると、ＣＰＵ２２は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。すなわち、ピクセル群ｉｐ及びピクセル群ｊｐは、前述した処理により、ボクセル群ｉｂ及びボクセル群ｊｂとして変換される。

ＣＰＵ２２は、前述した処理により、図３に示した生体組織３１Ａの三次元モデルを推定するための画像データとして、変数ｏｍｏｔｅ（ｊ）がＯＮであるボクセル群ｊｂを含む平面である生体組織表面部３１ａのデータと、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂを含む平面である生体組織境界部３１ｂのデータとを得る。これにより、生体組織３１Ａは、例えば、ｚ軸方向を内視鏡６による観察時の視野方向とした場合、図７に示すような形状を有する三次元モデルとして推定される。

ところで、以上までの処理が行われることにより、図７に示すような形状を有する三次元モデルとして推定された生体組織３１Ａは、ｘ軸方向から見た場合、例えば、図８に示すような領域に不可視領域３１ｃを有する。ＣＰＵ２２は、生体組織表面部３１ａのデータと、生体組織境界部３１ｂのデータとに基づき、さらに、以降に述べるような処理を行うことにより、生体組織３１Ａの不可視領域３１ｃの三次元モデルを推定するとともに、推定した生体組織３１Ａの三次元モデルにおける隆起形状を検出する。

まず、ＣＰＵ２２は、処理プログラム記憶部２３に書き込まれた処理プログラムと、生体組織境界部３１ｂのデータとに基づき、生体組織境界部３１ｂのボクセル群ｉｂが有する各ボクセルを最も多く含む平面である、例えば、図９に示すような平面である、近似平面３１ｄを算出する（図６のステップＳ３１）。

次に、ＣＰＵ２２は、生体組織表面部３１ａのデータに基づき、不可視領域３１ｃの所定の位置に新しいボクセルを添加する。具体的には、ＣＰＵ２２は、生体組織表面部３１ａのデータに基づき、前記所定の位置として、生体組織表面部３１ａが有する各ボクセルから、近似平面３１ｄに対して対称となる位置に新しいボクセルを添加する（図６のステップＳ３２）。ＣＰＵ２２が前述した処理を行うことにより、生体組織３１Ａは、例えば、図１０に示すような、生体組織表面部３１ａと、該生体組織表面部３１ａの鏡像として生成された生体組織裏面部３１ｅとを有する三次元モデルとして推定される。すなわち、前述した、生体組織３１Ａの不可視領域３１ｃの三次元モデルは、生体組織裏面部３１ｅとして推定される。

その後、ＣＰＵ２２は、管状器官３１及び生体組織３１Ａの三次元モデルを推定するための画像データとして得た全てのボクセルである、Ｐ個のボクセル各々に対し、以降に述べるような処理をさらに行う。

形状特徴量算出部としての機能を有するＣＰＵ２２は、変数ｉを１に設定した（図６のステップＳ３３）後、Ｐ個のボクセルのうち、一のボクセルであるＢｉ（ｉ＝１，２，…，Ｐ−１，Ｐ）を抽出するとともに（図６のステップＳ３４）、該一のボクセルＢｉにおける形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値ＳＢｉ及びＣｕｒｖｅｄｎｅｓｓ値ＣＢｉを算出する（図６のステップＳ３５）。

なお、前述したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳＰａｔｅｎｔＡｐｐｌｉｃａｔｉｏｎＮｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセルＢｉにおけるＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関しては、説明を省略する。

さらに、三次元形状抽出部としての機能を有するＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢｉと、予め設定されたＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈとの比較を行うとともに、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢｉと、予め設定されたＣｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈとの比較を行う。換言すると、ＣＰＵ２２は、前述した処理を行うことにより、生体組織３１Ａが隆起形状であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボクセル群を抽出する処理を行う。なお、図６に示す一連の処理においては、隆起形状として凸型形状を有する生体組織３１Ａを検出するために、例えば、閾値Ｓｔｈは０．９として設定されているとし、また、閾値Ｃｔｈは０．２として設定されているとする。

そして、隆起形状検出部としての機能を有するＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢｉが閾値Ｓｔｈより大きく、かつ、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢｉが閾値Ｃｔｈより大きいことを検出した場合（図６のステップＳ３６）、一のボクセルＢｉを隆起形状の一部を構成するボクセルであると判断し、該一のボクセルＢｉにおける変数ｒｙｕｕｋｉ（Ｂｉ）の値をＯＮとする（図６のステップＳ３７）。

また、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢｉが閾値Ｓｔｈ以下であること、または、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢｉが閾値Ｃｔｈ以下であることを検出した場合（図６のステップＳ３６）、一のボクセルＢｉを隆起形状の一部を構成するボクセルではないと判断し、該一のボクセルＢｉにおける変数ｒｙｕｕｋｉ（Ｂｉ）の値をＯＦＦとする（図６のステップＳ３８）。

その後、ＣＰＵ２２は、Ｐ個のボクセル全てにおいて、前述した処理が行われたかどうか、すなわち、変数ｉ＝Ｐであるか否かの判定を行う。

そして、ＣＰＵ２２は、ｉ＝Ｐではないことを検知した場合（図６のステップＳ３９）、変数ｉに１を加える処理を行った（図６のステップＳ４０）後、前述した、図６のステップＳ３４からステップＳ３９に示す処理を再度行う。

また、ＣＰＵ２２は、ｉ＝Ｐであることを検知した場合（図６のステップＳ３９）、生体組織３１Ａの三次元モデルにおける隆起形状を検出するための一連の処理を完了する。

そして、ＣＰＵ２２は、例えば、ｒｙｕｕｋｉ（Ｂｉ）の値がＯＮであるボクセルを有する三次元モデルにおいて、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部２８に対して行う。これにより、モニタ４には、隆起形状を有する生体組織３１Ａをユーザが容易に発見可能であるような、管状器官３１及び生体組織３１Ａの三次元モデルが画像表示される。

また、ＣＰＵ２２は、ｒｙｕｕｋｉ（Ｂｉ）の値がＯＮである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部２８に対して行うものであっても良い。

本実施形態の医療用画像処理装置３は、以上に述べた一連の処理を行うことにより、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。

（第２の実施形態）
図１１及び図１２は、本発明の第２の実施形態に係るものである。なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態と同様である。

図１１は、第２の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の概要の一例を示す図である。図１２は、第２の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の概要の、図１１とは異なる例を示す図である。

第１の実施形態の説明において述べた一連の処理の際に算出される、形状特徴量としてのＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、ガウス曲率及び平均曲率の２つの値に基づいて算出される値である。そのため、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の２つの値の代わりに、ガウス曲率及び平均曲率の２つの値を形状特徴量として算出して処理を行うものであっても良い。そして、その場合、ＣＰＵ２２は、第１の実施形態において述べた、図６のステップＳ３５に示す処理に相当する処理として、以降に記す内容の処理を行う。

形状特徴量算出部としての機能を有するＣＰＵ２２は、一のボクセルの周辺領域に存在するボクセルに関する情報である周辺ボクセル情報として、例えば、第１のボクセルを含むＭ×Ｍ×Ｍ個のボクセル群からなる局所領域の局所平面方程式を算出する。そして、形状特徴量算出部としての機能を有するＣＰＵ２２は、前記周辺ボクセル情報に基づき、前記Ｍ×Ｍ×Ｍ個のボクセル群に含まれる前記第１のボクセルのガウス曲率及び平均曲率を算出する。

具体的には、ＣＰＵ２２は、例えば、図１１に示すように、所望の第１のボクセルを含む５×５×５個のボクセル群からなる前記局所領域の局所平面方程式を周辺ボクセル情報として算出するとともに、該周辺ボクセル情報に基づき、該所望の第１のボクセルのガウス曲率及び平均曲率を算出する。

また、形状特徴量算出部としての機能を有するＣＰＵ２２は、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂに含まれる各ボクセルのうち、少なくとも１個のボクセルが前記局所領域内に含まれていることを検知した場合、さらに、周辺ボクセル情報として、例えば、第２のボクセルを含むＫ×Ｋ×Ｋ個（Ｋ＜Ｍ）のボクセル群からなる前記局所領域の局所平面方程式を算出する。そして、形状特徴量算出部としての機能を有するＣＰＵ２２は、前記周辺ボクセル情報に基づき、前記Ｋ×Ｋ×Ｋ個のボクセル群に含まれる前記第２のボクセルのガウス曲率及び平均曲率を算出する。

具体的には、ＣＰＵ２２は、例えば、図１２に示すように、所望の第２のボクセルを含む３×３×３個のボクセル群からなる前記局所領域の局所平面方程式を周辺ボクセル情報として算出するとともに、該周辺ボクセル情報に基づき、該所望の第２のボクセルのガウス曲率及び平均曲率を算出する。

ＣＰＵ２２は、前述した処理を行うことにより、隆起形状の一部を構成するボクセルをより多く抽出することができる。その結果、本実施形態の医療用画像処理装置３は、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させるとともに、該病変部位の検出精度を向上させることができる。

なお、ＣＰＵ２２は、前述した、生体組織３１Ａの三次元モデルに対する処理において、推定結果の信頼性が比較的低い不可視領域３１ｃの形状特徴量を算出することなく、かつ、推定結果の信頼性が比較的高い、可視領域である生体組織表面部３１ａ及び生体組織境界部３１ｂ近傍の形状特徴量のみを算出する処理を行うものであっても良い。その場合、本実施形態の医療用画像処理装置３は、ポリープ等の病変部位をより精度良く検出することができる。

（第３の実施形態）
図１３、図１４及び図１５は、本発明の第３の実施形態に係るものである。なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態と同様である。

図１３は、図１の医療用画像処理装置により推定された生体組織の三次元モデルの、図７及び図８とは異なる例を示す図である。図１４は、第３の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図１５は、図１３の生体組織の三次元モデルにおいて、凸型形状と推定されたボクセル群の平均座標Ａ及び尾根型形状と推定されたボクセル群の平均座標Ｂの位置関係の一例を示す図である。

第１の実施形態の説明において述べた一連の処理において、ＣＰＵ２２は、生体組織３１Ａの不可視領域３１ｃの三次元モデルとしての生体組織裏面部３１ｅを推定するための処理（図６のステップＳ３２に示す処理）を行うことなく、例えば、生体組織表面部３１ａが有する各ボクセルから、近似平面３１ｄに対称となる位置に仮想的に存在する各ボクセルの形状特徴量を算出するとともに、算出した該形状特徴量に基づき、該位置に隆起形状が存在するか否かの判定を行うものであっても良い。

ところで、ＣＰＵ２２が生体組織３１Ａの二次元画像から三次元モデルを推定する際には、第１の実施形態の説明において述べたように、例えば、輝度情報に基づく処理が行われる。そのため、生体組織３１Ａの二次元画像における可視領域と不可視領域との境界部分（エッジ部）が通常に比べて暗めの輝度情報を有している場合、生体組織３１Ａは、実際の形状が凸型形状であったとしても、内視鏡６による観察時の視野方向（または管腔中心方向）としてのｚ軸方向に存在する不可視領域に尾根型形状を有する、例えば、図１３に示すような形状の三次元モデルとして推定される可能性がある。

そのような場合、ＣＰＵ２２が以降に記す処理を行うことにより、三次元モデルとして推定された生体組織３１Ａが隆起形状であるか否かが検出される。

まず、ＣＰＵ２２は、変数ｊを１に設定した（図１４のステップＳ４１）後、三次元モデルにおける一の曲平面が有するＱ個のボクセルのうち、一のボクセルであるＢｊ（ｊ＝１，２，…，Ｑ−１，Ｑ）を抽出するとともに（図１４のステップＳ４２）、該一のボクセルＢｊにおける形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値ＳＢｊ及びＣｕｒｖｅｄｎｅｓｓ値ＣＢｊを算出する（図１４のステップＳ４３）。

さらに、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢｊと、予め設定されたＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈ１との比較を行うとともに、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢｊと、予め設定されたＣｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈ１との比較を行う。換言すると、ＣＰＵ２２は、前述した処理を行うことにより、生体組織３１Ａが隆起形状であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボクセル群を抽出する処理を行う。なお、図１４に示す一連の処理においては、隆起形状として凸型形状を有する生体組織３１Ａを検出するために、例えば、閾値Ｓｔｈ１は０．９として設定されているとし、また、閾値Ｃｔｈ１は０．２として設定されているとする。

そして、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢｊが閾値Ｓｔｈ１より大きく、かつ、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢｊが閾値Ｃｔｈ１より大きいことを検出した場合（図１４のステップＳ４４）、一のボクセルＢｊを隆起形状の一部を構成するボクセルの候補であると判断し、該一のボクセルＢｉにおける変数ｒｙｕｕｋｉ１（Ｂｊ）の値をＯＮとする（図１４のステップＳ４５）。

また、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢｊが閾値Ｓｔｈ１以下であるか、または、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢｊが閾値Ｃｔｈ１以下であることを検出した場合（図１４のステップＳ４４）、さらに、ＳｈａｐｅＩｎｄｅｘ値ＳＢｊと、予め設定されたＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈ２との比較を行う。なお、図１４に示す一連の処理においては、隆起形状として尾根型形状を有する生体組織３１Ａを検出するために、例えば、閾値Ｓｔｈ２は０．７５として設定されているとする。

ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢｊが閾値Ｓｔｈ２より大きいことを検出した場合（図１４のステップＳ４６）、該一のボクセルＢｉにおける変数ｒｙｕｕｋｉ２（Ｂｊ）の値をＯＮとする（図１４のステップＳ４７）。

その後、ＣＰＵ２２は、三次元モデルにおける一の曲平面が有する一の曲平面Ｑ個のボクセル全てにおいて、前述した処理が行われたかどうか、すなわち、変数ｊ＝Ｑであるか否かの判定を行う。

そして、ＣＰＵ２２は、ｊ＝Ｑではないことを検知した場合（図１４のステップＳ４８）、変数ｊに１を加える処理を行った（図１４のステップＳ４９）後、前述した、図１４のステップＳ４２からステップＳ４８に示す処理を再度行う。

また、ＣＰＵ２２は、ｊ＝Ｑであることを検知した場合（図１４のステップＳ４８）、例えば、図１５に示すような、変数ｒｙｕｕｋｉ１（Ｂｊ）がＯＮであるボクセル群の平均座標Ａ（Ｘ１，Ｙ１，Ｚ１）と、変数ｒｙｕｕｋｉ２（Ｂｊ）がＯＮであるボクセル群の平均座標Ｂ（Ｘ２，Ｙ２，Ｚ２）との間の距離Ｌを算出する（図１４のステップＳ５０）。その後、ＣＰＵ２２は、変数ｒｙｕｕｋｉ１（Ｂｊ）がＯＮであるボクセル群と、変数ｒｙｕｕｋｉ２（Ｂｊ）がＯＮであるボクセル群とが所定の範囲内に存在するか否かを、距離Ｌと、ＡＢ間の距離の閾値ｔｈＬとの比較を行うことにより判定する。

ＣＰＵ２２は、距離Ｌが閾値ｔｈＬ以上であることを検知した場合（図１４のステップＳ５１）、変数ｒｙｕｕｋｉ１（Ｂｊ）がＯＮであるボクセル群及び変数ｒｙｕｕｋｉ２（Ｂｊ）がＯＮであるボクセル群を有する一の曲平面を、隆起形状を構成するボクセルではないと判断し、Ｑ個のボクセル各々における変数ｒｙｕｕｋｉ１（Ｂｊ）または変数ｒｙｕｕｋｉ２（Ｂｊ）の値をＯＦＦとする処理を行った（図１４のステップＳ５２）後、一連の処理を終了する。また、ＣＰＵ２２は、距離Ｌが閾値ｔｈＬより小さいことを検知した場合（図１４のステップＳ５１）、変数ｒｙｕｕｋｉ１（Ｂｊ）がＯＮであるボクセル群及び変数ｒｙｕｕｋｉ２（Ｂｊ）がＯＮであるボクセル群を有する一の曲平面を、隆起形状を構成するボクセルであると判断し、Ｑ個のボクセル各々における変数ｒｙｕｕｋｉ１（Ｂｊ）または変数ｒｙｕｕｋｉ２（Ｂｊ）の値をＯＮとしたまま一連の処理を終了する。これにより、ＣＰＵ２２は、隆起形状を有する病変部位である、ポリープ等をより精度良く検出することができる。特に、ＣＰＵ２２は、本実施形態の一連の処理を行うことにより、略半球状に隆起した病変部位（ポリープ等）に加え、ユーザによる見落としが比較的生じやすい、例えば、略半円柱状の部位を有して隆起した病変部位（ポリープ等）の検出もまた行うことができる。その結果、本実施形態の医療用画像処理装置３は、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図。図２の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図。第１の実施形態において、生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャート。第１の実施形態において、生体組織の像の二次元画像における表面部を抽出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャート。第１の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャート。図１の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図。図７の生体組織の三次元モデルを他の方向から見た場合の図。図７及び図８の生体組織の三次元モデルにおける境界近似平面を示す図。図７及び図８の生体組織の三次元モデルにおいて、図９に示す境界近似平面に基づく鏡像が添加された場合の一例を示す図。第２の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の概要の一例を示す図。第２の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の概要の、図１１とは異なる例を示す図。図１の医療用画像処理装置により推定された生体組織の三次元モデルの、図７及び図８とは異なる例を示す図。第３の実施形態において、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャート。図１３の生体組織の三次元モデルにおいて、凸型形状と推定されたボクセル群の平均座標Ａ及び尾根型形状と推定されたボクセル群の平均座標Ｂの位置関係の一例を示す図。

符号の説明

１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４，９・・・モニタ、６・・・内視鏡、７・・・光源装置、８・・・ＣＣＵ、１１・・・挿入部、１２・・・操作部、１３・・・ライトガイド、１４・・・先端部、１５・・・対物光学系、１６・・・撮像素子、１７・・・撮像部、２１・・・画像入力部、２２・・・ＣＰＵ、２３・・・処理プログラム記憶部、２４・・・画像記憶部、２５・・・情報記憶部、２６・・・記憶装置インターフェース、２７・・・ハードディスク、２８・・・表示処理部、２９・・・入力操作部、３０・・・データバス、３１・・・管状器官、３１Ａ・・・生体組織、３１ａ・・・生体組織表面部、３１ｂ・・・生体組織境界部、３１ｃ・・・不可視領域、３１ｄ・・・近似平面、３１ｅ・・・生体組織裏面部

Claims

入力される体腔内の生体組織の像の二次元画像に基づき、前記二次元画像の輝度情報から前記二次元画像における各ピクセルに対応するボクセルを生成する幾何学的な変換処理により、該生体組織の三次元モデルを推定する三次元モデル推定部と、
前記生体組織の三次元モデルが有する各ボクセルの形状特徴量を算出する形状特徴量算出部と、
前記形状特徴量に基づき、前記生体組織の三次元モデルが有する各ボクセルのうち、三次元モデルが凸型形状または尾根型形状のうちの少なくとも１つとして推定された第１のボクセル群を抽出する三次元形状抽出部と、
前記第１のボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出部と、
を有することを特徴とする医療用画像処理装置。
さらに、入力される前記二次元画像における可視領域と不可視領域とを検出する領域検出部を有し、
前記三次元モデル推定部は、さらに前記不可視領域内の前記可視領域と前記不可視領域の境界に対して対称な位置に、前記可視領域において推定した各ボクセルを添加することを特徴とする請求項１に記載の医療用画像処理装置。
前記領域検出部は、入力される前記二次元画像における線構造の情報を取得するとともに、前記線構造の情報に基づいて境界部を検出することにより、該境界部を境に前記可視領域と前記不可視領域とが分かれているとすることを特徴とする請求項２に記載の医療用画像処理装置。
さらに、前記三次元形状抽出部は、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、該第２のボクセル群と該第３のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出することを特徴とする請求項１に記載の医療用画像処理装置。
さらに、前記三次元形状抽出部は、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出することを特徴とする請求項２に記載の医療用画像処理装置。
さらに、前記三次元形状抽出部は、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在するか否かを、前記第２のボクセル群の平均座標と、前記第３のボクセル群の平均座標との間の距離に基づいて判定することを特徴とする請求項４または請求項５に記載の医療用画像処理装置。
さらに、前記形状特徴量算出部は、前記可視領域における各ボクセルにおいてのみ、前記形状特徴量を算出することを特徴とする請求項２または請求項３に記載の医療用画像処理装置。
前記形状特徴量算出部は、一のボクセルの周辺領域に存在するボクセルに関する情報である周辺領域ボクセル情報に基づいて該一のボクセルの形状特徴量を算出するとともに、前記境界部を含むボクセルが該周辺領域内に存在することを検知した場合、該一のボクセルの形状特徴量を算出する際に用いる周辺ボクセル情報を減らすことを特徴とする請求項３に記載の医療用画像処理装置。
入力される体腔内の生体組織の像の二次元画像に基づき、前記二次元画像の輝度情報から前記二次元画像における各ピクセルに対応するボクセルを生成する幾何学的な変換処理により、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記生体組織の三次元モデルが有する各ボクセルの形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記生体組織の三次元モデルが有する各ボクセルのうち、三次元モデルが凸型形状または尾根型形状のうちの少なくとも１つとして推定された第１のボクセル群を抽出する三次元形状抽出ステップと、
前記第１のボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出ステップと、
を有することを特徴とする医療用画像処理方法。
さらに、入力される前記二次元画像における可視領域と不可視領域とを検出する領域検出ステップを有し、
前記三次元モデル推定ステップは、さらに前記不可視領域内の前記可視領域と前記不可視領域の境界に対して対称な位置に、前記可視領域において推定した各ボクセルを添加することを特徴とする請求項９に記載の医療用画像処理方法。
前記領域検出ステップは、入力される前記二次元画像における線構造の情報を取得するとともに、前記線構造の情報に基づいて境界部を検出することにより、該境界部を境に前記可視領域と前記不可視領域とが分かれているとすることを特徴とする請求項１０に記載の医療用画像処理方法。
さらに、前記三次元形状抽出ステップは、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、該第２のボクセル群と該第３のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出することを特徴とする請求項９に記載の医療用画像処理方法。
さらに、前記三次元形状抽出ステップは、前記生体組織の三次元モデルにおける一の曲平面が有するボクセル群のうち、三次元モデルが凸型形状として推定されたボクセル群である第２のボクセル群と、三次元モデルが尾根型形状として推定されたボクセル群である第３のボクセル群とを検出するとともに、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在する場合に、該第２のボクセル群と該第３のボクセル群とを前記第１のボクセル群として抽出することを特徴とする請求項１０に記載の医療用画像処理方法。
さらに、前記三次元形状抽出ステップは、前記不可視領域に存在する該第３のボクセル群と前記可視領域に存在する該第２のボクセル群とが所定の範囲内に存在するか否かを、前記第２のボクセル群の平均座標と、前記第３のボクセル群の平均座標との間の距離に基づいて判定することを特徴とする請求項１２または請求項１３に記載の医療用画像処理方法。
さらに、前記形状特徴量算出ステップは、前記可視領域における各ボクセルにおいてのみ、前記形状特徴量を算出することを特徴とする請求項１０または請求項１１に記載の医療用画像処理方法。
前記形状特徴量算出ステップは、一のボクセルの周辺領域に存在するボクセルに関する情報である周辺領域ボクセル情報に基づいて該一のボクセルの形状特徴量を算出するとともに、前記境界部を含むボクセルが該周辺領域内に存在することを検知した場合、該一のボクセルの形状特徴量を算出する際に用いる周辺ボクセル情報を減らすことを特徴とする請求項１１に記載の医療用画像処理方法。