JP5148096B2 - 医療用画像処理装置及び医療用画像処理装置の作動方法 - Google Patents

Description

本発明は、医療用画像処理装置及び医療用画像処理装置の作動方法に関し、特に、二次元画像に応じた三次元モデルを推定することが可能な医療用画像処理装置及び医療用画像処理装置の作動方法に関するものである。

内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該挿入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行う。

また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを推定することが可能である、例えば、特許文献１に記載されているような内視鏡装置が提案されている。
特開平１１−３３７８４５号公報

特に、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にオクルージョンと呼ばれており、正確な三次元モデルの推定が困難な領域である。そのため、二次元画像のオクルージョンが発生している部分においては、例えば、該二次元画像に基づく三次元モデルの対応する位置に推定結果が存在しない、または、該二次元画像に基づく三次元モデルの対応する位置に信頼性の低い推定結果が算出されるという課題が生じている。そして、信頼性の低い推定結果に基づいて生成された三次元モデルにおいては、ポリープ等の病変部位を発見することが困難となってしまう場合がある。

本発明は、前述した点に鑑みてなされたものであり、二次元画像に基づいて三次元モデルが推定される際に、データの欠落箇所及び信頼性の低いデータが存在する箇所を従来に比べて減少させることにより高精度な三次元モデルの推定を可能とし、その結果、ポリープ等の病変部位を見つけ易くすることのできる医療用画像処理装置及び医療用画像処理装置の作動方法を提供することを目的としている。

本発明の一態様の医療用画像処理装置は、医療用撮像装置から入力される生体組織の画像のうち、対象画像のオクルージョン領域を検出するオクルージョン領域検出部と、前記対象画像とは異なる画像であり、かつ、前記対象画像の前記オクルージョン領域に相当する領域のうちの少なくとも一部が存在する画像である、１または複数の非対象画像から得られる情報を用い、前記対象画像の前記オクルージョン領域を補完するオクルージョン補完部と、二次元画像としての前記対象画像に基づき、前記生体組織の三次元モデルを推定する第１の三次元モデル推定部と、前記１または複数の非対象画像の三次元モデルを各々推定する第２の三次元モデル推定部と、を有し、前記オクルージョン領域検出部は、二次元画像としての前記対象画像のオクルージョン領域を検出する第１のオクルージョン領域検出部と、前記対象画像の三次元モデルにおいて前記オクルージョン領域に相当する各ボクセルを検出する第２のオクルージョン領域検出部と、を有し、前記オクルージョン補完部は、前記第２の三次元モデル推定部により推定された三次元モデルのデータに基づき、前記第２のオクルージョン領域検出部により検出された前記各ボクセルのデータを補完する。

本発明の一態様の医療用画像処理装置の作動方法は、医療用撮像装置から入力される生体組織の画像に対して処理を行う医療用画像処理装置の作動方法であって、前記医療用撮像装置から入力される前記生体組織の画像のうち、対象画像のオクルージョン領域を前記医療用画像処理装置が検出するオクルージョン領域検出ステップと、前記対象画像とは異なる画像であり、かつ、前記対象画像の前記オクルージョン領域に相当する領域のうちの少なくとも一部が存在する画像である、１または複数の非対象画像から得られる情報を用い、前記対象画像の前記オクルージョン領域を前記医療用画像処理装置が補完するオクルージョン補完ステップと、二次元画像としての前記対象画像に基づき、前記生体組織の三次元モデルを前記医療用画像処理装置が推定する第１の三次元モデル推定ステップと、前記１または複数の非対象画像の三次元モデルを前記医療用画像処理装置が各々推定する第２の三次元モデル推定ステップと、を有し、前記オクルージョン領域検出ステップは、二次元画像としての前記対象画像のオクルージョン領域を前記医療用画像処理装置が検出する第１のオクルージョン領域検出ステップと、前記対象画像の三次元モデルにおいて前記オクルージョン領域に相当する各ボクセルを前記医療用画像処理装置が検出する第２のオクルージョン領域検出ステップと、を有し、前記オクルージョン補完ステップは、前記第２の三次元モデル推定ステップにより推定された三次元モデルのデータに基づき、前記第２のオクルージョン領域検出ステップにより検出された前記各ボクセルのデータを前記医療用画像処理装置が補完する。

本発明における医療用画像処理装置及び医療用画像処理装置の作動方法によると、二次元画像に基づいて三次元モデルが推定される際に、データの欠落箇所及び信頼性の低いデータが存在する箇所を従来に比べて減少させることにより高精度な三次元モデルの推定を可能とし、その結果、ポリープ等の病変部位を見つけ易くすることができる。

以下、図面を参照して本発明の実施の形態を説明する。

図１から図９は、本発明の実施形態に係るものである。図１は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の内視鏡により撮像される管状器官及び生体組織の像を示す模式図である。図３は、図１の医療用画像処理装置が行う処理である、第１の二次元画像から推定される三次元モデルにおけるオクルージョン領域を検出するための処理の一例を示すフローチャートである。図４は、図１の内視鏡により撮像され得る隆起性の病変部位の一例を示す模式図である。図５は、図１の内視鏡により撮像され得る隆起性の病変部位の、図４とは異なる例を示す模式図である。図６は、図１の医療用画像処理装置が取得した第１の二次元画像における、一のエッジ、重心座標Ｇ１、及び、一のオクルージョン終了座標Ｏ１各々の位置関係を示す図である。図７は、図１の医療用画像処理装置が行う処理である、第１の二次元画像から推定された三次元モデルにおけるオクルージョン領域を補完するための処理の一例を示すフローチャートである。図８は、第１の二次元画像に基づく三次元モデルを、図１の内視鏡の視野方向に対して側面から見た場合の一例を示す模式図である。図９は、図１の内視鏡の挿入部が、図８に示す位置からオクルージョンの存在する方向へ操作された場合の一例を示す模式図である。

内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４と、を有して要部が構成されている。

また、医療用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９と、を有して要部が構成されている。

医療用撮像装置としての内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対して撮像信号を出力する。

また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。

医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２の画像処理結果としての画像データ等を記憶する情報記憶部２５と、を有する。

また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９と、を有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。

なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。

次に、内視鏡システム１の作用について説明を行う。

まず、ユーザは、体腔内に内視鏡６の挿入部１１を挿入する。そして、ユーザにより挿入部１１が体腔内に挿入されると、例えば、該体腔内の管状器官３１の内壁に存在する、隆起性の（隆起形状を有する）病変部位である生体組織３１Ａの像が、先端部１４に設けられた撮像部１７により、図２に示すような像として撮像される。そして、図２に示すような像として撮像部１７により撮像された、管状器官３１及び生体組織３１Ａの像は、撮像信号としてＣＣＵ８に対して出力される。

ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、管状器官３１及び生体組織３１Ａの像を、例えば、図２に示すような二次元の画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。

医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。

ＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号に基づき、例えば、図３に示す各処理として以降に説明する処理を行うことにより、対象画像としての第１の二次元画像から推定される三次元モデルにおけるオクルージョン領域を検出する。

まず、エッジ抽出部としてのＣＰＵ２２は、画像入力部２１から出力された第１の二次元画像の映像信号に基づき、例えば、該第１の二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該第１の二次元画像に含まれる全てのエッジを抽出する（図３のステップＳ１）。

次に、ＣＰＵ２２は、第１の二次元画像において抽出した各エッジのうち、所定の条件に合致するエッジの両端点を接続して閉曲線とする（図３のステップＳ２）。具体的には、ＣＰＵ２２は、第１の二次元画像において抽出した各エッジのうち、例えば、一のエッジの両端点間の距離が該一のエッジの線分長に対して６５％未満である場合に、直線により該一のエッジの両端点間を接続し、該一のエッジを閉曲線とする。

ＣＰＵ２２は、図３のステップＳ２の処理が行われた後の第１の二次元画像において、閉曲線が存在するか否かを検出する。そして、ＣＰＵ２２は、図３のステップＳ２の処理が行われた後の第１の二次元画像において、閉曲線が存在しないことを検出した場合（図３のステップＳ３）、該第１の二次元画像にはオクルージョン発生の原因となる隆起性の病変が存在しないと判断し、図３に示す一連の処理を終了する。また、ＣＰＵ２２は、図３のステップＳ２の処理が行われた後の第１の二次元画像において、閉曲線が存在することを検出した場合（図３のステップＳ３）、該第１の二次元画像にオクルージョン発生の原因となる隆起性の病変が存在すると判断し、後述する図３のステップＳ４に示す処理を引き続き行う。

その後、画像領域検出部としてのＣＰＵ２２は、第１の二次元画像に存在する、閉曲線に囲まれた領域内部における重心座標Ｇ１（ｘ，ｙ）を検出するとともに、該閉曲線の周囲長Ｌ１とを算出する（図３のステップＳ４）。そして、ＣＰＵ２２は、前記周囲長Ｌ１の値が所定の値以下であるか否かを判定する。

そして、ＣＰＵ２２は、第１の二次元画像に存在する各閉曲線のうち、周囲長Ｌ１が所定の第１の値以下である閉曲線を（ノイズ等により発生した可能性が高いと判断して）以降の処理の対象から外す（図３のステップＳ５）。

ＣＰＵ２２は、閉曲線の一部としてのエッジを挟んで対向する両側の位置に存在し、かつ、該エッジに隣接する画素各々において、明るさ成分（例えばＲの輝度値）を算出する（図３のステップＳ６）。さらに、ＣＰＵ２２は、エッジを挟んで両側に存在する画素同士の明るさ成分の比較を行う。

これにより、ＣＰＵ２２は、閉曲線の一部としてのエッジを挟んで対向する両側の位置に存在する画素同士の明るさ成分の差が所定の閾値よりも小さいものを、（オクルージョンの原因とはならないとして、）以降の処理の対象から外す（図３のステップＳ７）。

オクルージョン領域検出部としてのＣＰＵ２２は、閉曲線の一部としてのエッジを挟んで対向する両側の位置に存在する画素同士の明るさ成分の差が所定の閾値以上である領域を、オクルージョン領域として検出した後、さらに、オクルージョン領域が検出された各閉曲線内に別の閉曲線（またはエッジ）が存在しているか否かを判定する。

ＣＰＵ２２は、一の閉曲線内に別の閉曲線（またはエッジ）が存在していることを検出した場合（図３のステップＳ８）、該別の閉曲線（またはエッジ）に対し、前述した図３のステップＳ６及びステップＳ７の処理を再度行う。また、ＣＰＵ２２は、一の閉曲線内に別の閉曲線（またはエッジ）が存在していないことを検出した場合（図３のステップＳ８）、後述する図３のステップＳ９に示す処理を引き続き行う。

ここで、図３のステップＳ８に関する説明を行う。

例えば、隆起性の病変部位３１Ｂが、図４に示すような状態により撮像された場合の二次元画像においては、ハレーション等のアーティファクトによってのみ、一の閉曲線内に別の閉曲線またはエッジが発生し得る。しかし、隆起性及び潰瘍性の両方を有する特殊な形状の病変部位３１Ｃが、図５に示すような状態により撮像された場合の二次元画像においては、ハレーション等のアーティファクトによらずとも、一の閉曲線内に別の閉曲線またはエッジが存在し得るとともに、例えば、図５に示すような窪んだ部分にオクルージョンが発生し得る。すなわち、ＣＰＵ２２は、図３のステップＳ８の処理結果に応じて図３のステップＳ６及びステップＳ７の処理を再度行うことにより、図５に示すような窪んだ部分に発生し得るオクルージョンの検出を行っている。

なお、以降においては、説明の簡単のため、第１の二次元画像に存在する各閉曲線のうち、一の閉曲線、及び、該一の閉曲線の一部としての一のエッジについて主に述べるものとする。また、以降において、前記一のエッジを挟んで対向する両側の位置に存在し、かつ、該一のエッジに隣接する画素各々のうち、明るさ成分が相対的に大きい画素（または該エッジの内側の画素）をオクルージョン開始座標と表し、明るさ成分が相対的に小さい画素（または該エッジの外側の画素）をオクルージョン終了座標と表すものとする。さらに、以降においては、説明の簡単のため、前記一の閉曲線を構成する前記一のエッジが有する各オクルージョン終了座標のうち、一のオクルージョン終了座標Ｏ１（ｘ０，ｙ０）について主に述べるものとする。そして、一の閉曲線の一部としての一のエッジ、重心座標Ｇ１（ｘ，ｙ）、及び、一のオクルージョン終了座標Ｏ１（ｘ０，ｙ０）各々の位置関係は、例えば、図６に示されるようなものとなる。

ＣＰＵ２２は、重心座標Ｇ１（ｘ，ｙ）に対し、一のオクルージョン終了座標Ｏ１（ｘ０，ｙ０）が第１の二次元画像においてどの方向に存在しているかを検出するとともに、該方向をオクルージョン方向として保持する（図３のステップＳ９）。

三次元モデル推定部としてのＣＰＵ２２は、画像入力部２１から出力された第１の二次元画像の映像信号の輝度情報等に基づき、例えば、幾何学的な変換等の処理を用い、管状器官３１及び生体組織３１Ａの三次元モデルを推定する（図３のステップＳ１０）。この処理により、オクルージョン領域検出部としてのＣＰＵ２２は、第１の二次元画像におけるオクルージョン開始座標に相当する三次元モデルのボクセルであるオクルージョン開始ボクセルと、第１の二次元画像におけるオクルージョン終了座標に相当する三次元モデルのボクセルであるオクルージョン終了ボクセルとのデータを取得する。そして、ＣＰＵ２２は、オクルージョン開始ボクセル及びオクルージョン終了ボクセルの２つのボクセル、及び、該２つのボクセルの間の領域に存在する各ボクセルを、第１の二次元画像から推定された三次元モデルにおけるオクルージョン領域として検出する（図３のステップＳ１１）。

以上に述べた、図３に示す各処理を行うことにより、ＣＰＵ２２は、第１の二次元画像から推定される三次元モデルにおけるオクルージョン領域を検出する。

なお、図３の処理における重心座標Ｇ１、オクルージョン開始座標及びオクルージョン終了座標は、個々の画素に応じて定められるものに限らず、例えば、（Ｎ×Ｎ）個の複数の画素を有して構成される領域各々に応じて定められるものであっても良い。

ＣＰＵ２２は、図３に示す各処理に引き続き、例えば、図７に示す各処理として以降に説明する処理を行うことにより、第１の二次元画像から時系列的に後に位置するフレームの画像である、非対象画像としての第２の二次元画像から推定される三次元モデルを用いつつ、第１の二次元画像から推定した三次元モデルにおけるオクルージョン領域を補完する処理を行う。

まず、ＣＰＵ２２は、画像入力部２１から出力された、第１の二次元画像の後のフレームの画像である第２の二次元画像の映像信号に基づき、例えば、該第２の二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該第２の二次元画像に含まれる全てのエッジを抽出する（図７のステップＳ２１）。

そして、ＣＰＵ２２は、第２の二次元画像において抽出した各エッジのうち、所定の条件に合致するエッジの両端点を接続して閉曲線とする（図７のステップＳ２２）。具体的には、ＣＰＵ２２は、第２の二次元画像において抽出した各エッジのうち、例えば、一のエッジの両端点間の距離が該一のエッジの線分長に対して６５％未満である場合に、直線により該一のエッジの両端点間を接続し、該一のエッジを閉曲線とする。

ＣＰＵ２２は、図３のステップＳ２の処理が行われた後の第２の二次元画像において、閉曲線が存在するか否かを検出する。そして、ＣＰＵ２２は、図３のステップＳ２の処理が行われた後の第２の二次元画像において、閉曲線が存在しないことを検出した場合（図７のステップＳ２３）、該第２の二次元画像が最終フレームの画像でなければ、次のフレームの画像に対して図７のステップＳ２１以降の処理を施し、また、該第２の二次元画像が最終フレームの画像であれば、図７に示す一連の処理を終了する（図７のステップＳ２４及びステップＳ２５）。

また、ＣＰＵ２２は、図３のステップＳ２の処理が行われた後の第２の二次元画像において、閉曲線が存在することを検出した場合（図７のステップＳ２３）、図３のステップＳ４に示す処理と同様の処理により、該閉曲線の重心座標Ｇ２（Ｘ，Ｙ）を検出するとともに、該閉曲線の周囲長Ｌ２とを算出する（図７のステップＳ２６）。

その後、画像領域移動検出部としてのＣＰＵ２２は、第１の二次元画像における重心座標Ｇ１（ｘ，ｙ）から、第２の二次元画像における重心座標Ｇ２（Ｘ，Ｙ）までの距離が所定の距離より短く、かつ、周囲長Ｌ１と周囲長Ｌ２とが略同一の値であるか否かを検出することにより、一のオクルージョン終了座標Ｏ１（ｘ０，ｙ０）を有する閉曲線である、第１の二次元画像内の一の閉曲線が、第２の二次元画像内においても存在しているか否かを判定する。

ＣＰＵ２２は、重心座標Ｇ１（ｘ，ｙ）から重心座標Ｇ２（Ｘ，Ｙ）までの距離が所定の距離より長いこと、または、周囲長Ｌ１と周囲長Ｌ２とが略同一の値でないことのいずれかを検出した場合（図７のステップＳ２７）、一のオクルージョン終了座標Ｏ１（ｘ０，ｙ０）を有する閉曲線が第２の二次元画像内には存在しないと判定する。その後、ＣＰＵ２２は、重心座標Ｇ２（Ｘ，Ｙ）を有する第２の二次元画像が最終フレームの画像でなければ、次のフレームの画像に対して図７のステップＳ２１以降の処理を施し、また、該第２の二次元画像が最終フレームの画像であれば、図７に示す一連の処理を終了する（図７のステップＳ２４及びステップＳ２５）。

また、ＣＰＵ２２は、第１の二次元画像における重心座標Ｇ１（ｘ，ｙ）から、第２の二次元画像における重心座標Ｇ２（Ｘ，Ｙ）までの距離が所定の距離より短く、かつ、周囲長Ｌ１と周囲長Ｌ２とが略同一の値であることを検出した場合（図７のステップＳ２７）、重心座標Ｇ２（Ｘ，Ｙ）及び周囲長Ｌ２を有する閉曲線が、一のオクルージョン終了座標Ｏ１（ｘ０，ｙ０）の存在を示唆する閉曲線であると判定する。

その後、画像領域移動検出部としてのＣＰＵ２２は、重心座標Ｇ１（ｘ，ｙ）から重心座標Ｇ２（Ｘ，Ｙ）への移動方向が、図３のステップＳ９の処理において算出したオクルージョン方向と反対方向であるか否かを判定する。具体的には、ＣＰＵ２２は、一のオクルージョン終了座標Ｏ１（ｘ０，ｙ０）を重心座標Ｇ１（ｘ，ｙ）に対称な位置に移動した座標をＯ２（Ｘ０，Ｙ０）とした場合に、重心座標Ｇ２、重心座標Ｇ１及び座標Ｏ２がなす角の角度θが所定の角度（例えば６０度）以内であれば、重心座標Ｇ１（ｘ，ｙ）から重心座標Ｇ２（Ｘ，Ｙ）への移動方向が、図３のステップＳ９の処理において算出したオクルージョン方向と反対方向であると検出する。

そして、ＣＰＵ２２は、重心座標Ｇ１から重心座標Ｇ２への移動方向が、図３のステップＳ９の処理において算出したオクルージョン方向と反対方向ではないことを検出した場合（図７のステップＳ２８）、第１の二次元画像から推定した三次元モデルにおけるオクルージョン領域を補完するためのデータが、第２の二次元画像からは得られないと判定するとともに、重心座標Ｇ２（Ｘ，Ｙ）を有する第２の二次元画像が最終フレームの画像でなければ、次のフレームの画像に対して図７のステップＳ２１以降の処理を施し、また、該第２の二次元画像が最終フレームの画像であれば、図７に示す一連の処理を終了する（図７のステップＳ２４及びステップＳ２５）。

また、ＣＰＵ２２は、重心座標Ｇ１から重心座標Ｇ２への移動方向が、図３のステップＳ９の処理において算出したオクルージョン方向と反対方向であることを検出した場合（図７のステップＳ２８）、第１の二次元画像から推定した三次元モデルにおけるオクルージョン領域を補完するためのデータが、第２の二次元画像から得られると判定する。その後、三次元モデル推定部としてのＣＰＵ２２は、画像入力部２１から出力された第２の二次元画像の映像信号の輝度情報等に基づき、例えば、幾何学的な変換等の処理を用い、管状器官３１及び生体組織３１Ａの三次元モデルを推定する（図７のステップＳ２９）。

オクルージョン補完対応領域検出部としてのＣＰＵ２２は、第２の二次元画像から推定した三次元モデルに基づき、第１の二次元画像から推定した三次元モデルにおけるオクルージョン領域が有する各ボクセルのデータのうち、第２の二次元画像から推定した三次元モデルのデータにより補完可能なボクセルのデータが存在する領域である、オクルージョン補完対応領域に含まれるボクセルを検出する（図７のステップＳ３０）。

ここで、図７のステップＳ３０に示す処理の詳細を説明する。

第１の二次元画像に基づく生体組織３１Ａの三次元モデルは、内視鏡６の視野方向に対して側面から見た場合、例えば、図８のような状態のものとして推定される。図８に示すように、オクルージョン開始ボクセル及びオクルージョン終了ボクセルに挟まれた一のエッジ上に存在する一のボクセルをボクセルＥ、オクルージョン終了ボクセルをボクセルＯＥ、及び、生体組織３１Ａの三次元モデルにおいて、オクルージョン側かつボクセルＯＥと同一平面上に存在する一のボクセルをボクセルＢ１とした場合、第１の二次元画像に基づく生体組織３１Ａの三次元モデルのオクルージョン領域は、ボクセルＥからボクセルＢ１までに含まれる各ボクセルと、ボクセルＢ１からボクセルＯＥまでに含まれる各ボクセルと、により構成される。

その後、第１の二次元画像を取得した際に位置Ｃ１にあった撮像素子１６（の撮像面）は、図９に示すように、内視鏡６の挿入部１１が操作されることにより、第２の二次元画像を取得する際に、位置Ｃ２に移動される。また、図９に示すように、位置Ｃ２から、ボクセルＥを経由して、オクルージョン領域に向かって直線を引いた場合、該直線は、該オクルージョン領域に含まれるボクセルＯＣにおいて、ボクセルＯＥが存在する平面と交わる。

内視鏡６により、例えば、１秒間に６０フレーム分の画像が取得される場合、第１の二次元画像及び第２の二次元画像間の差が僅かであることから、第１の二次元画像取得時から第２の二次元画像取得時までに撮像素子１６（の撮像面）が移動した距離（位置Ｃ１から位置Ｃ２までの距離）と、重心座標Ｇ１から重心座標Ｇ２への移動距離とが等しいという仮定が成り立つ。また、内視鏡６により、例えば、１秒間に６０フレーム分の画像が取得される場合、第１の二次元画像及び第２の二次元画像間の差が僅かであることから、第１の二次元画像取得時から第２の二次元画像取得時までに撮像素子１６（の撮像面）が移動した距離（位置Ｃ１から位置Ｃ２までの距離）と、オクルージョン補完対応領域にあたる部分の距離とが等しいという仮定が成り立つ。さらに、内視鏡６により、例えば、１秒間に６０フレーム分の画像が取得される場合、第１の二次元画像及び第２の二次元画像間の差が僅かであることから、位置Ｃ１と位置Ｃ２とが同一平面上に存在するという仮定が成り立つ。

なお、以上の各仮定が成り立つことは、幾何的には、図９に示す各部のうち、位置Ｃ１、位置Ｃ２及びボクセルＥの３点を直線により結んだ三角形と、ボクセルＯＥ、ボクセルＯＣ及びボクセルＥを直線により結んだ三角形とが、位置Ｃ１、位置Ｃ２、ボクセルＯＥ及びボクセルＯＣを直線により結んだ平行四辺形の対角線により各々形成される、互いに合同な三角形であることにより示される。

以上に述べた各仮定が成り立つことにより、重心座標Ｇ１から重心座標Ｇ２への移動距離と、ボクセルＯＥからボクセルＯＣまでの距離とが等しくなるため、ＣＰＵ２２は、ボクセルＯＥ及びボクセルＯＣの２つのボクセルと、該２つのボクセル間に含まれる各ボクセルとを、オクルージョン補完対応領域に含まれるボクセルとして検出する。

そして、オクルージョン補完部としてのＣＰＵ２２は、図７のステップＳ３０に示す処理により検出したオクルージョン補完対応領域に含まれる各ボクセルのデータを用い、第１の二次元画像に基づく生体組織３１Ａの三次元モデルにおけるオクルージョン領域のデータを補完する（図７のステップＳ３１）。具体的には、ＣＰＵ２２は、第１の二次元画像に基づく生体組織３１Ａの三次元モデルにおけるオクルージョン領域のデータを補完する処理として、該オクルージョン領域に含まれる各ボクセルのデータのうち、オクルージョン補完対応領域に含まれる各ボクセルのデータを、第２の二次元画像に基づく生体組織３１Ａの三次元モデルが有するボクセルのデータに置換する処理を行う。

ＣＰＵ２２は、図７のステップＳ３１に示す処理により、第１の二次元画像に基づく生体組織３１Ａの三次元モデルにおけるオクルージョン領域のボクセルのデータを、第２の二次元画像に基づく生体組織３１Ａの三次元モデルが有するボクセルのデータに基づいて補完した後、さらに、該オクルージョン領域が残っているか否かを判定する。そして、ＣＰＵ２２は、第１の二次元画像に基づく生体組織３１Ａの三次元モデルにおけるオクルージョン領域が残っており（図７のステップＳ３２）、かつ、前述したオクルージョン補完対応領域の検出に用いられた第２の二次元画像が最終フレームの画像でなければ、該第２の二次元画像の次のフレームの画像に対して図７のステップＳ２１以降の処理を施すことにより、残りのオクルージョン領域を補完するための処理を行う（図７のステップＳ２４及びステップＳ２５）。さらに、ＣＰＵ２２は、第１の二次元画像に基づく生体組織３１Ａの三次元モデルにおけるオクルージョン領域が残っており（図７のステップＳ３２）、かつ、前述したオクルージョン補完対応領域の検出に用いられた第２の二次元画像が最終フレームの画像であれば、図７に示す一連の処理を終了する。

また、ＣＰＵ２２は、第１の二次元画像に基づく生体組織３１Ａの三次元モデルにおけるオクルージョン領域が残っていないことを検出した場合（図７のステップＳ３２）、図７に示す一連の処理を終了する。

なお、図７の処理における重心座標Ｇ２及びオクルージョン終了座標は、個々の画素に応じて定められるものに限らず、例えば、（Ｎ×Ｎ）個の複数の画素を有して構成される領域各々に応じて定められるものであっても良い。

また、ＣＰＵ２２は、図７のステップＳ３２に示す処理において、第１の二次元画像に基づく生体組織３１Ａの三次元モデルにおけるオクルージョン領域が完全に補完されるまで図７のステップＳ２１以降の各処理を繰り返すものでなくとも良く、例えば、図３の各処理において検出された元のオクルージョン領域が所定の割合以上補完されたことを検出した場合に処理を終了するものであっても良い。これにより、医療用画像処理装置３は、オクルージョン領域を補完するための処理をより高速に行うことができる。

さらに、ＣＰＵ２２は、第１のフレームの二次元画像から推定される三次元モデルが有する第１のオクルージョン領域と、該第１のフレームに時間的に連続するフレームである、第２のフレームの二次元画像から推定される三次元モデルが有する第２のオクルージョン領域とを比較する処理を図３の処理に加えて行いつつ、該第１のオクルージョン領域が該第２のオクルージョン領域よりも小さくなる場合にのみ、該第２のフレームの二次元画像から推定される三次元モデルに対して図７に示す処理を施すものであっても良い。これにより、医療用画像処理装置３は、オクルージョン領域を補完するための処理をより高速かつ高精度に行うことができる。

また、本実施形態におけるオクルージョン領域を補完するための処理は、図７に示す一連の処理の説明として述べたような、対象画像から時系列的に後に位置する非対象画像に基づいてオクルージョン領域を補完するものに限らず、補完対象となるオクルージョン領域の少なくとも一部が存在している画像であれば、例えば、該対象画像から時系列的に前に位置する非対象画像を用いつつオクルージョン領域を補完するものであっても良い。

以上に述べたように、本実施形態の医療用画像処理装置３は、二次元画像に基づいて三次元モデルが推定される際に、データの欠落箇所及び信頼性の低いデータが存在する箇所を従来に比べて減少させることにより高精度な三次元モデルの推定を可能とし、その結果、ポリープ等の病変部位を見つけ易くすることができる。

なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。 図１の内視鏡により撮像される管状器官及び生体組織の像を示す模式図。 図１の医療用画像処理装置が行う処理である、第１の二次元画像から推定される三次元モデルにおけるオクルージョン領域を検出するための処理の一例を示すフローチャート。 図１の内視鏡により撮像され得る隆起性の病変部位の一例を示す模式図。 図１の内視鏡により撮像され得る隆起性の病変部位の、図４とは異なる例を示す模式図。 図１の医療用画像処理装置が取得した第１の二次元画像における、一のエッジ、重心座標Ｇ１、及び、一のオクルージョン終了座標Ｏ１各々の位置関係を示す図。 図１の医療用画像処理装置が行う処理である、第１の二次元画像から推定された三次元モデルにおけるオクルージョン領域を補完するための処理の一例を示すフローチャート。 第１の二次元画像に基づく三次元モデルを、図１の内視鏡の視野方向に対して側面から見た場合の一例を示す模式図。 図１の内視鏡の挿入部が、図８に示す位置からオクルージョンの存在する方向へ操作された場合の一例を示す模式図。

符号の説明

１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４，９・・・モニタ、６・・・内視鏡、７・・・光源装置、８・・・ＣＣＵ、１１・・・挿入部、１２・・・操作部、１３・・・ライトガイド、１４・・・先端部、１５・・・対物光学系、１６・・・撮像素子、１７・・・撮像部、２１・・・画像入力部、２２・・・ＣＰＵ、２３・・・処理プログラム記憶部、２４・・・画像記憶部、２５・・・情報記憶部、２６・・・記憶装置インターフェース、２７・・・ハードディスク、２８・・・表示処理部、２９・・・入力操作部、３０・・・データバス、３１・・・管状器官、３１Ａ・・・生体組織、３１Ｂ，３１Ｃ・・・病変部位

Claims (10)

1. 医療用撮像装置から入力される生体組織の画像のうち、対象画像のオクルージョン領域を検出するオクルージョン領域検出部と、
   前記対象画像とは異なる画像であり、かつ、前記対象画像の前記オクルージョン領域に相当する領域のうちの少なくとも一部が存在する画像である、１または複数の非対象画像から得られる情報を用い、前記対象画像の前記オクルージョン領域を補完するオクルージョン補完部と、
   二次元画像としての前記対象画像に基づき、前記生体組織の三次元モデルを推定する第１の三次元モデル推定部と、
   前記１または複数の非対象画像の三次元モデルを各々推定する第２の三次元モデル推定部と、を有し、
   前記オクルージョン領域検出部は、二次元画像としての前記対象画像のオクルージョン領域を検出する第１のオクルージョン領域検出部と、前記対象画像の三次元モデルにおいて前記オクルージョン領域に相当する各ボクセルを検出する第２のオクルージョン領域検出部と、を有し、
   前記オクルージョン補完部は、前記第２の三次元モデル推定部により推定された三次元モデルのデータに基づき、前記第２のオクルージョン領域検出部により検出された前記各ボクセルのデータを補完する
   ことを特徴とする医療用画像処理装置。
2. 前記１または複数の非対象画像各々は、二次元画像または該二次元画像に基づいて生成される三次元モデルであることを特徴とする請求項１に記載の医療用画像処理装置。
3. 前記１または複数の非対象画像各々は、前記対象画像から時系列的に前または後に位置するフレームの画像であることを特徴とする請求項１または請求項２に記載の医療用画像処理装置。
4. さらに、前記対象画像のエッジを抽出するエッジ抽出部を有し、
   前記第１のオクルージョン領域検出部は、前記エッジを挟んで両側に存在する領域同士の明るさ成分の差に基づき、前記オクルージョン領域を検出することを特徴とする請求項１に記載の医療用画像処理装置。
5. さらに、前記対象画像において、前記オクルージョン領域に対応する位置に存在する所定の領域を検出する画像領域検出部と、
   前記対象画像において前記所定の領域が存在する位置と、前記１または複数の非対象画像のうち、１枚の非対象画像において前記所定の領域が存在する位置とに基づき、前記所定の領域が二次元画像内を移動した距離及び方向を検出する画像領域移動検出部と、
   前記所定の領域が二次元画像内を移動した距離及び方向に基づき、前記第２のオクルージョン領域検出部により検出された前記各ボクセルのデータのうち、補完可能なボクセルのデータが存在する領域をオクルージョン補完対応領域として検出するオクルージョン補完対応領域検出部と、を有し、
   前記オクルージョン補完部は、前記第２の三次元モデル推定部により推定された前記非対象画像の三次元モデルに基づき、前記第２のオクルージョン領域検出部により検出された前記各ボクセルのデータのうち、前記オクルージョン補完対応領域に存在するボクセルのデータを補完することを特徴とする請求項１または請求項４に記載の医療用画像処理装置。
6. 医療用撮像装置から入力される生体組織の画像に対して処理を行う医療用画像処理装置の作動方法であって、
   前記医療用撮像装置から入力される前記生体組織の画像のうち、対象画像のオクルージョン領域を前記医療用画像処理装置が検出するオクルージョン領域検出ステップと、
   前記対象画像とは異なる画像であり、かつ、前記対象画像の前記オクルージョン領域に相当する領域のうちの少なくとも一部が存在する画像である、１または複数の非対象画像から得られる情報を用い、前記対象画像の前記オクルージョン領域を前記医療用画像処理装置が補完するオクルージョン補完ステップと、
   二次元画像としての前記対象画像に基づき、前記生体組織の三次元モデルを前記医療用画像処理装置が推定する第１の三次元モデル推定ステップと、
   前記１または複数の非対象画像の三次元モデルを前記医療用画像処理装置が各々推定する第２の三次元モデル推定ステップと、を有し、
   前記オクルージョン領域検出ステップは、二次元画像としての前記対象画像のオクルージョン領域を前記医療用画像処理装置が検出する第１のオクルージョン領域検出ステップと、前記対象画像の三次元モデルにおいて前記オクルージョン領域に相当する各ボクセルを前記医療用画像処理装置が検出する第２のオクルージョン領域検出ステップと、を有し、
   前記オクルージョン補完ステップは、前記第２の三次元モデル推定ステップにより推定された三次元モデルのデータに基づき、前記第２のオクルージョン領域検出ステップにより検出された前記各ボクセルのデータを前記医療用画像処理装置が補完する
   ことを特徴とする医療用画像処理装置の作動方法。
7. 前記１または複数の非対象画像各々は、二次元画像または該二次元画像に基づいて生成される三次元モデルであることを特徴とする請求項６に記載の医療用画像処理装置の作動方法。
8. 前記１または複数の非対象画像各々は、前記対象画像から時系列的に前または後に位置するフレームの画像であることを特徴とする請求項６または請求項７に記載の医療用画像処理装置の作動方法。
9. さらに、前記対象画像のエッジを前記医療用画像処理装置が抽出するエッジ抽出ステップを有し、
   前記第１のオクルージョン領域検出ステップは、前記エッジを挟んで両側に存在する領域同士の明るさ成分の差に基づき、前記オクルージョン領域を前記医療用画像処理装置が検出することを特徴とする請求項６に記載の医療用画像処理装置の作動方法。
10. さらに、前記対象画像において、前記オクルージョン領域に対応する位置に存在する所定の領域を前記医療用画像処理装置が検出する画像領域検出ステップと、
    前記対象画像において前記所定の領域が存在する位置と、前記１または複数の非対象画像のうち、１枚の非対象画像において前記所定の領域が存在する位置とに基づき、前記所定の領域が二次元画像内を移動した距離及び方向を前記医療用画像処理装置が検出する画像領域移動検出ステップと、
    前記所定の領域が二次元画像内を移動した距離及び方向に基づき、前記第２のオクルー
    ジョン領域検出部により検出された前記各ボクセルのデータのうち、補完可能なボクセルのデータが存在する領域をオクルージョン補完対応領域として前記医療用画像処理装置が検出するオクルージョン補完対応領域検出ステップと、を有し、
    前記オクルージョン補完ステップは、前記第２の三次元モデル推定ステップにより推定された前記非対象画像の三次元モデルに基づき、前記第２のオクルージョン領域検出ステップにより検出された前記各ボクセルのデータのうち、前記オクルージョン補完対応領域に存在するボクセルのデータを前記医療用画像処理装置が補完することを特徴とする請求項６または請求項９に記載の医療用画像処理装置の作動方法。

Images