WO2007111050A1

WO2007111050A1 - 医療用画像処理装置及び医療用画像処理方法

Info

Publication number: WO2007111050A1
Application number: PCT/JP2007/052348
Authority: WO
Inventors: Ryoko Inoue; Hirokazu Nishimura; Hideki Tanaka; Kenji Nakamura; Miho Sawa
Original assignee: Olympus Medical Systems Corp.
Priority date: 2006-03-28
Filing date: 2007-02-09
Publication date: 2007-10-04
Also published as: EP2000075A4; US20090079737A1; US7830378B2; CN101404924A; CN101404924B; JP2007260144A; EP2000075A1

Abstract

　本発明の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルが有するボクセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボクセルを検出するボクセル検出部と、前記一のボクセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出部と、を有する。

Description

明細書

医療用画像処理装置及び医療用画像処理方法

技術分野

[0001] 本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、体腔内の生体組織の三次元モデルにおける隆起形状を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。

背景技術

[0002] 内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該揷入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行

[0003] また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

[0004] さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを生成することが可能である、例えば、日本国特開平 11— 337845号公報に記載されているような内視鏡装置が提案されている。

[0005] 一方、三次元モデルにおいてポリープ等の病変部位を検出するための方法として、例えば、 Shapelndex及び Curvednessといった、曲率に基づく形状特徴量を用いつつ該三次元モデルの形状の評価を行うことにより、該三次元モデルにおける病変部位を検出可能である、 US Patent Application No. 20030223627に記載されてヽる方法が提案されて、る。

[0006] 特に、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にォクルージョンと呼ばれており、正確な三次元モデルの推定が困難な領域である。そのため、二次元画像のォクルージョンが発生している部分においては、例えば、該二次元画像に基づく三次元モデルの対応する位置に推定結果が存在しない、または、該二次元画像に基づく三次元モデルの対応する位置に信頼性の低い推定結果が算出されるといったことが起こり得る。

[0007] その結果、従来の画像処理としての、例えば、日本国特開平 11— 337845号公報の内視鏡装置において行われている画像処理により推定された被写体の三次元モデルが用いられつつ該被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなつてしまうと、う課題が生じて、る。

[0008] また、 US Patent Application No. 20030223627【こお!ヽて提案されて!ヽるポリープ等の病変部位を検出するための方法は、例えば、 CT (Computed Tomog rapy)を用いた観察により得られる、ォクルージョンとなる部分が発生しない三次元モデルに対する適用を想定した方法である。そのため、 US Patent Application No. 20030223627において提案されているポリープ等の病変部位を検出するための方法は、例えば、内視鏡を用いた観察により得られる、ォクルージョンとなる部分を有する二次元画像に基づいて推定された三次元モデルに対して適用された場合に、ポリープ等の病変部位の検出精度が低下してしまう。その結果、 US Patent A pplication No. 20030223627において提案されている方法力採用された内視鏡システムが用いられつつ被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなつてしまうという課題が生じている。

[0009] 本発明は、前述した点に鑑みてなされたものであり、被写体の三次元モデルを用いた観察において、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的として!ヽる。

発明の開示

課題を解決するための手段

[0010] 本発明における第 1の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルが有するボタセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボタセルを検出するボタセル検出部と、前記一のボタセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出部と、を有することを特徴とする。

[0011] 本発明における第 2の医療用画像処理装置は、前記第 1の医療用画像処理装置において、前記隆起形状検出部は、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が 1以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする。

[0012] 本発明における第 3の医療用画像処理装置は、前記第 2の医療用画像処理装置において、前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする。

[0013] 本発明における第 4の医療用画像処理装置は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された、前記エッジを有する一のボタセル群を検出するとともに、該一のボタセル群のうち、所定の間隔毎に存在する各ボタセルにおいて、法線ベクトルと、該法線ベクトルの向きを 180° 反転させたベクトルである逆法線ベクトルとを算出するベクトル算出部と、前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第 1のボクセルと、隆起終了位置となる第 2のボタセルとを検出することにより、前記一のボタセル群として推定された生体組織が、局所的な隆起形状を有する生体組織であるカゝ否かを判定する隆起形状判定部と、前記第 1のボタセルと前記第 2のボタセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボタセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体組織であると判定する病変判定部と、を有することを特徴とする。

[0014] 本発明における第 5の医療用画像処理装置は、前記第 4の医療用画像処理装置において、前記隆起形状判定部は、所定のベクトルの大きさ以内において法線べクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線べクトルの交差本数が第 1の閾値以上となる最初のボタセルを前記第 1のボクセルとすることを特徴とする。

[0015] 本発明における第 6の医療用画像処理装置は、前記第 5の医療用画像処理装置において、前記隆起形状判定部は、所定のベクトルの大きさ以内において法線べクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線べタトルの交差本数が第 2の閾値より小さくなる最初のボタセルを前記第 2のボタセルとすることを特徴とする。

[0016] 本発明における第 7の医療用画像処理装置は、前記第 6の医療用画像処理装置において、前記第 1の閾値は、前記第 2の閾値と等しい値であることを特徴とする。

[0017] 本発明における第 1の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルが有するボタセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボタセルを検出するボタセル検出ステップと、前記一のボタセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出ステップと、を有することを特徴とする。

[0018] 本発明における第 2の医療用画像処理方法は、前記第 1の医療用画像処理方法において、前記隆起形状検出ステップは、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が 1以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする。

[0019] 本発明における第 3の医療用画像処理方法は、前記第 2の医療用画像処理方法において、前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする。

[0020] 本発明における第 4の医療用画像処理方法は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルの一部として推定された、前記エッジを有する一のボタセル群を検出するとともに、該一のボタセル群のうち、所定の間隔毎に存在する各ボタセルにおいて、法線ベクトルと、該法線ベクトルの向きを 180° 反転させたベタトルである逆法線ベクトルとを算出するベクトル算出ステップと、前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第 1のボタセルと、隆起終了位置となる第 2のボタセルとを検出することにより、前記一のボタセル群として推定された生体組織が、局所的な隆起形状を有する生体組織であるか否かを判定する隆起形状判定ステップと、前記第 1のボタセルと前記第 2 のボタセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボタセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体糸且織であると判定する病変判定ステップと、を有することを特徴とする。

[0021] 本発明における第 5の医療用画像処理方法は、前記第 4の医療用画像処理方法において、前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第 1の閾値以上となる最初のボタセルを前記第 1 のボタセルとすることを特徴とする。 [0022] 本発明における第 6の医療用画像処理方法は、前記第 5の医療用画像処理方法において、前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第 2の閾値より小さくなる最初のボタセルを前記第 2のボタセルとすることを特徴とする。

[0023] 本発明における第 7の医療用画像処理方法は、前記第 6の医療用画像処理方法において、前記第 1の閾値は、前記第 2の閾値と等しい値であることを特徴とする。図面の簡単な説明

[0024] [図 1]本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。

[図 2]図 1の内視鏡が管状器官内に挿入された場合の状態を示す模式図。

[図 3]図 1の医療用画像処理装置が第 1の実施形態において行う処理の手順を示すフローチャート。

[図 4]図 1の医療用画像処理装置により推定された生体組織の三次元モデルの一例を示す図。

[図 5]図 1の医療用画像処理装置により推定された生体組織の三次元モデルの、図 4 とは異なる例を示す図。

[図 6]図 4の三次元モデルにおける、各トレースラインのグラディエントの変動を示す図。

[図 7]図 5の三次元モデルにおける、各トレースラインのグラディエントの変動を示す図。

[図 8]図 1の医療用画像処理装置が第 2の実施形態において行う処理の手順を示すフローチャート。

[図 9]図 1の医療用画像処理装置により推定された一の生体組織の三次元モデルを模式化した断面図。

[図 10]図 9における法線ベクトル及び逆法線ベクトルを示す図。

発明を実施するための最良の形態

[0025] 以下、図面を参照して本発明の実施形態を説明する。 [0026] (第 1の実施形態）

図 1から図 7は、本発明の第 1の実施形態に係るものである。図 1は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図 2は、図 1の内視鏡が管状器官内に挿入された場合の状態を示す模式図である。図 3は、図 1の医療用画像処理装置が第 1の実施形態において行う処理の手順を示すフローチャートである。図 4は、図 1の医療用画像処理装置により推定された生体組織の三次元モデルの一例を示す図である。図 5は、図 1の医療用画像処理装置により推定された生体組織の三次元モデルの、図 4とは異なる例を示す図である。図 6は、図 4の三次元モデルにおける、各トレースラインのグラディエントの変動を示す図である。図 7は、図 5の三次元モデルにおける、各トレースラインのグラデイエントの変動を示す図である。

[0027] 内視鏡システム 1は、図 1に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置 2と、パーソナルコンピュータ等により構成され、医療用観察装置 2から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置 3と、医療用画像処理装置 3から出力される画像信号に基づく画像を表示するモニタ 4とを有して要部が構成されて、る。

[0028] また、医療用観察装置 2は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡 6と、内視鏡 6により撮像される被写体を照明するための照明光を供給する光源装置 7と、内視鏡 6に対する各種制御を行うとともに、内視鏡 6から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、 CCUと略記する） 8と、 CCU8 力も出力される二次元画像の映像信号に基づき、内視鏡 6により撮像された被写体の像を画像表示するモニタ 9とを有して要部が構成されている。

[0029] 内視鏡 6は、体腔内に挿入される挿入部 11と、挿入部 11の基端側に設けられた操作部 12とを有して構成されている。また、挿入部 11内の基端側から、挿入部 11内の先端側の先端部 14にかけての部分には、光源装置 7から供給される照明光を伝送するためのライトガイド 13が揷通されている。 [0030] ライトガイド 13は、先端側が内視鏡 6の先端部 14に配置されるとともに、後端側が光源装置 7に接続される。ライトガイド 13がこのような構成を有することにより、光源装置 7から供給される照明光は、ライトガイド 13により伝送された後、挿入部 11の先端部 14の先端面に設けられた、図示しない照明窓力も出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される

[0031] 内視鏡 6の先端部 14には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系 15と、対物光学系 15の結像位置に配置され、例えば、 CCD (電荷結合素子)等により構成される撮像素子 16とを有する撮像部 17が設けられている。このような構成により、対物光学系 15により結像された被写体の像は、撮像素子 16により撮像された後、撮像信号として出力される。

[0032] 撮像素子 16は、信号線を介して CCU8に接続されている。そして、撮像素子 16は、 CCU8から出力される駆動信号に基づいて駆動するとともに、 CCU8に対して撮像信号を出力する。

[0033] また、 CCU8に入力された撮像信号は、 CCU8の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。 CCU8から出力された二次元画像の映像信号は、モニタ 9及び医療用画像処理装置 3に対して出力される。これにより、モニタ 9には、 CCU8から出力される映像信号に基づく被写体の像が二次元の画像として表示される。

[0034] 医療用画像処理装置 3は、医療用観察装置 2から出力される二次元画像の映像信号に対し、 AZD変換を行って出力する画像入力部 21と、画像入力部 21から出力される映像信号に対して画像処理を行う、中央演算処理装置としての CPU22と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部 23と、画像入力部 21から出力される映像信号等を記憶する画像記憶部 24と、 CPU22の画像処理結果としての画像データ等を記憶する情報記憶部 25とを有する。

[0035] また、医療用画像処理装置 3は、記憶装置インターフェース 26と、記憶装置インタ一フェース 26を介して CPU22の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク 27と、 CPU22の画像処理結果としての画像データに基づき、該画像データをモニタ 4に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部 28と、 C PU22が行う画像処理におけるパラメータ及び医療用画像処理装置 3に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部 29とを有する。そして、モニタ 4は、表示処理部 28から出力される画像信号に基づく画像を表示する。

[0036] なお、医療用画像処理装置 3の画像入力部 21、 CPU22、処理プログラム記憶部 2 3、画像記憶部 24、情報記憶部 25、記憶装置インターフェース 26、表示処理部 28 及び入力操作部 29は、データバス 30を介して相互に接続されている。

[0037] 次に、内視鏡システム 1の作用について説明を行う。

[0038] まず、ユーザは、図 2に示すように、例えば、大腸等である管状器官 31内に内視鏡 6の挿入部 11を挿入する。そして、ユーザにより挿入部 11が管状器官 31に挿入されると、例えば、管状器官 31の内壁に存在する生体組織 31A及び 31Bの像が、先端部 14に設けられた撮像部 17により撮像される。そして、撮像部 17により撮像された、生体組織 31 A及び 31Bの像は、撮像信号として CCU8に対して出力される。

[0039] CCU8は、図示しない信号処理回路において、撮像部 17の撮像素子 16から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ 9は、 CCU8から出力される映像信号に基づき、生体組織 31 A及び 31Bの像を二次元の画像として表示する。また、 CCU8 は、撮像部 17の撮像素子 16から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置 3に対して出力する。

[0040] 医療用画像処理装置 3に対して出力された二次元画像の映像信号は、画像入力部 21において AZD変換された後、 CPU22に入力される。

[0041] そして、三次元モデル推定部としての CPU22は、例えば、幾何学的な変換等の処理により、画像入力部 21から出力された二次元画像の映像信号の輝度情報等に基づき、生体組織 31 A及び 31Bを有する管状器官 31の三次元モデルを推定する。

[0042] さらに、 CPU22は、生体組織 31A及び 31Bを有する管状器官 31の三次元モデルに基づき、以降に述べるような処理を行うことにより、生体組織 31 A及び 31Bの隆起形状を検出するとともに、検出した該隆起形状がどのような種類の生体組織によるものであるかの判定を行う。

[0043] まず、 CPU22は、推定した三次元モデルに基づき、管状器官 31の三次元モデルにおける管腔の中心軸 Lcを取得する（図 3のステップ S 1 )。

[0044] 次に、ボタセル検出部及び隆起形状検出部としての CPU22は、推定した三次元モデルに存在するボタセルのうち、内視鏡 6の視野方向に対して最も手前側に存在する一のボタセルとしての、内視鏡 6の視野方向と略平行な軸である z軸座標が最小値 Minzとなる一のボタセル Psを検出するとともに、該一のボタセル Psが有する z軸座標 Minzを含む一の曲平面及び該一の曲平面の基準線 Lを取得する（図 3のステップ S2)。

[0045] その後、 CPU22は、基準線 Lを N等分した、 N個の座標各々を基準点として設定する（図 3のステップ S3)とともに、取得した基準線 Lが閉曲線であるか否かを判定する。

[0046] そして、 CPU22は、取得した基準線 Lが閉曲線である場合（図 3のステップ S4)、例えば、図 4に示すように設定された基準線 Lの N個の基準点各々から、管腔の中心軸 Lcに対して平行な直線を、一のボタセル Psを含む一の曲平面におけるトレースラインとして設定する（図 3のステップ S5)。

[0047] また、 CPU22は、取得した基準線 Lが閉曲線ではな、場合（図 3のステップ S4)、例えば、図 5に示すように設定された基準線 Lの N個の基準点各々から、放射線状（または管腔の中心軸 Lcに対して平行）に伸びる直線を、一のボタセル Psを含む一の曲平面におけるトレースラインとして設定する（図 3のステップ S6)。

[0048] 隆起形状検出部としての CPU22は、前述した、図 3のステップ S5またはステップ S 6の処理を行うことにより設定した各トレースラインに基づき、一のボタセル Psを含む一の曲平面における該各トレースライン上に存在する各ボタセルをトレースしてゆくとともに、該各ボタセルが有する輝度情報に基づき、トレース方向におけるダラディエント (輝度勾配)を順次算出する（図 3のステップ S7)。

[0049] そして、管腔の中心軸 Lcを V軸とした場合、 CPU22は、管腔の中心軸 Lc方向の座標である v=kにおいてグラディエントの変動が生じているトレースラインの本数 M (k) (0≤M (k)≤Nである整数値）を取得する（図 3のステップ S8)。換言すると、このような処理を行うことにより、 CPU22は、一のボタセル Psを含む一の曲平面において、勾配の変動が生じている位置を検出する。

[0050] 例えば、図 4に示すような 8個の基準点各々に対してトレースラインが設定される（図 4において N = 8である）とともに、トレース方向を視野方向手前側から奥側の方向とした場合、 CPU22は、一のボタセル Psを含む一の曲平面における該トレースライン各々の V軸方向におけるグラディエントの変動を、図 6に示すような変動として検出する。また、異なる例として、図 5に示すような 8個の基準点各々に対してトレースラインが設定される（図 5において N = 8である）とともに、トレース方向を視野方向手前側から奥側の方向とした場合、 CPU22は、一のボタセル Psを含む一の曲平面における該トレースライン各々の V軸方向におけるグラディエントの変動を、図 7に示すような変動として検出する。

[0051] そして、 CPU22は、 M (k)の値が 0である v=kの位置には隆起形状が存在しないと判定する（図 3のステップ S9及びステップ S 10)。

[0052] さらに、 CPU22は、 M (k)の値が 1以上である v=kの位置各々において、該 M (k) の値と、閾値 thpとの比較を行う（図 3のステップ S9及びステップ S 11)。

[0053] その後、隆起形状検出部としての CPU22は、 M (k)の値が閾値 thp以下であることを検出する（図 3のステップ S11)と、管状器官 31の内壁において局所的な隆起形状を有する生体組織としての病変部位力該 M (k)の値を与える v=kの位置に存在すると判定する（図 3のステップ S 12)。

[0054] 一例として図 4及び図 6を用いつつ具体的に換言すると、 CPU22は、図 4に示す生体組織 31Aのような、管状器官 31の内壁において局所的な隆起形状を有する生体組織としての病変部位力 M (c) = 2である v=cの位置に存在すると判定する。また、異なる例として図 5及び図 7を用いつつ具体的に換言すると、 CPU22は、図 5に示す生体組織 31Aのような、管状器官 31の内壁において局所的な隆起形状を有する生体組織としての病変部位力 M (d) = 2である v= dの位置に存在すると判定する。

[0055] また、 CPU22は、 M (k)の値が閾値 thpより大きいことを検出する（図 3のステップ S 11)と、管状器官 31の内壁の全周にわたって隆起形状を有する生体組織としての大腸等のひだが、該 M (k)の値を与える v=kの位置に存在すると判定する（図 3のステップ S13)。

[0056] 一例として図 4及び図 6を用いつつ具体的に換言すると、 CPU22は、図 4に示す生体組織 31Bのような、管状器官 31の内壁の全周にわたって隆起形状を有する生体組織としての大腸等のひだ力 M (a) =8である v=a及び M (b) =8である v = bの位置に存在すると判定する。また、異なる例として図 5及び図 7を用いつつ具体的に換言すると、 CPU22は、図 5に示す生体組織 31Bのような、管状器官 31の内壁の全周にわたつて隆起形状を有する生体組織としての大腸等のひだ力 M (e) =8である V =eの位置に存在すると判定する。

[0057] そして、 CPU22は、前述した処理に加え、例えば、図 4または図 5に示す生体組織 31Aのような、管状器官 31の内壁において局所的な隆起形状を有する生体組織が存在する位置を示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部 28に対して行う。これにより、モニタ 4には、生体組織 31Aのような、管状器官 31の内壁において局所的な隆起形状を有する生体組織としての病変部位を、生体組織 31Bのような、管状器官 31の内壁の全周にわたって隆起形状を有する生体組織としての大腸等のひだと混同することなぐユーザが容易に発見可能であるような、生体組織 31A及び 31Bを有する管状器官 31の三次元モデルが画像表示される。

[0058] また、 CPU22は、局所的な隆起形状を有する生体組織が存在すると判定された各ボタセルの位置に基づき、該各ボタセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織 31 Aが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部 28に対して行うものであっても良い。

[0059] 本実施形態の医療用画像処理装置 3は、以上に述べた一連の処理を行うことにより、ユーザにより被写体の三次元モデルを用いた観察が行われる場合に、ポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。

[0060] (第 2の実施形態）図 8から図 10は、本発明の第 2の実施形態に係るものである。なお、第 1の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム 1の構成は、第 1の実施形態と同様である。

[0061] 図 8は、図 1の医療用画像処理装置が第 2の実施形態において行う処理の手順を示すフローチャートである。図 9は、図 1の医療用画像処理装置により推定された一の生体組織の三次元モデルを模式ィ匕した断面図である。図 10は、図 9における法線ベクトル及び逆法線ベクトルを示す図である。

[0062] まず、エッジ抽出部としての CPU22は、画像入力部 21から出力される、管状器官 31が撮像された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する。また、 CPU22は、エッジ部が抽出されたピクセル群の位置に関する情報であるエッジ情報を情報記憶部 25に一時的に記憶させる。

[0063] そして、三次元モデル推定部としての CPU22は、例えば、幾何学的な変換等の処理により、画像入力部 21から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官 31の三次元モデルを推定するとともに、情報記憶部 25に記憶されたエッジ情報に基づき、該三次元モデルにぉ、てエッジ部を有する一のボタセル群を検出する。さらに、 CPU22は、前記一のボタセル群に対して以降に述べるような処理を行うことにより、前記一のボタセル群により三次元モデルィ匕された一の生体組織が、病変に起因する隆起形状を有する力否かの判定を行う。

[0064] まず、ベクトル算出部としての CPU22は、管状器官 31の三次元モデルにおいてェッジ部を有する一のボタセル群を検出するとともに、該ボクセル群のうち、所定の間隔毎に存在する各ボタセルにおいて、法線ベクトルと、該法線ベクトルの向きを 180° 反転させたベクトルである、逆法線ベクトルとを算出する（図 8のステップ S21)。より具体的には、例えば、図 9に示すような断面形状を有する生体組織 31Cの三次元モデルが検出された場合、所定の間隔毎に存在する各ボタセルにおいて、法線ベクトルと逆法線ベクトルとが図 10に示すように算出される。

[0065] 次に、隆起形状判定部としての CPU22は、前記各ボタセルが有する法線ベクトル及び逆法線ベクトルに基づき、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線べタトルの交差本数が閾値 thvl以上となる最初のボタセルとしての、例えば、図 10に示すボタセル Sを、隆起開始位置となるボタセルとして検出する（図 8のステップ S22) 。さらに、隆起形状判定部としての CPU22は、前記各ボタセルが有する法線ベクトル及び逆法線ベクトルに基づき、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が閾値 thv2より小さくなる最初のボタセルとしての、例えば、図 10に示すボタセル Tを、隆起終了位置となるボタセルとして検出する（図 8のステップ S23)。

[0066] なお、本実施形態にぉ、て、閾値 thvl及び閾値 thv2は、各々異なる値であっても良いし、または、等しい値であっても良い。

[0067] その後、隆起形状判定部としての CPU22は、生体組織 31Cの三次元モデルにお V、て、ボタセル S及びボタセル Tの 2つのボタセルを検出できたか否かの判定を行う。そして、 CPU22は、ボタセル S及びボタセル Tの 2つのボタセルを両方とも検出できた場合（図 8のステップ S 24)、さらに、ボタセル Sとボタセル Tとの間の距離 Laを算出する（図 8のステップ S25)。また、 CPU22は、ボタセル S及びボタセル Tの 2つのボタセルのいずれか一方または両方を検出できな力つた場合（図 8のステップ S24)、エツジ部を有する一のボタセル群として三次元モデルィ匕された生体組織 31Cを、病変に起因する局所的な隆起形状を有する生体組織ではなぐ例えば、管状器官 31内に存在する段差等の形状を有する部位、または、管状器官 31の内壁の全周にわたつて隆起形状を有するひだ等の生体糸且織であると判定し（図 8のステップ S28)、一連の処理を終了する。

[0068] さらに、病変判定部としての CPU22は、算出したボクセノレ Sとボクセノレ Tとの間の距離 Laと、閾値 thLaとの比較を行う。そして、病変判定部としての CPU22は、ボタセル Sとボタセル Tとの間の距離 Laが閾値 thLa以下であることを検出した場合、エッジ部を有する一のボタセル群として三次元モデルィ匕された生体組織 31Cを、病変に起因する局所的な隆起形状を有する生体糸且織であると判定し（図 8のステップ S27)、一連の処理を終了する。また、 CPU22は、ボタセル Sとボタセル Tとの間の距離 Laが閾値 thLaより大きいことを検出した場合、エッジ部を有する一のボタセル群として三次元モデル化された生体組織 31Cを、病変に起因する局所的な隆起形状を有する生体組織ではなぐ例えば、管状器官 31内に存在する段差等の形状を有する部位、または、管状器官 31の内壁の全周にわたって隆起形状を有するひだ等の生体組織であると判定し（図 8のステップ S28)、一連の処理を終了する。

[0069] そして、 CPU22は、前述した処理に加え、例えば、病変に起因する隆起形状を有する生体組織 31Cが存在する位置を示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部 28に対して行う。これにより、モニタ 4には、病変に起因する隆起形状を、段差等の形状を有する部位またはひだ等の生体組織と混同することなぐユーザが容易に発見可能であるような、生体組織 31Cを有する管状器官 31の三次元モデルが画像表示される。

[0070] また、 CPU22は、局所的な隆起形状を有する生体組織が存在すると判定された各ボタセルの位置に基づき、該各ボタセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織 31 Aが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部 28に対して行うものであっても良い。

[0071] 本実施形態の医療用画像処理装置 3は、以上に述べた一連の処理を行うことにより、ユーザにより被写体の三次元モデルを用いた観察が行われる場合に、ポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。

[0072] なお、本実施形態において CPU22が行う一連の処理は、管状器官 31の三次元モデルに対して適用されるものに限るものではなぐ例えば、管状器官 31の二次元画像に対して適用されるものであっても良い。

[0073] なお、本発明は、上述した各実施形態に限定されるものではなぐ発明の趣旨を逸脱しな、範囲内にお、て種々の変更や応用が可能であることは勿論である。

[0074] 本出願は、 2006年 3月 28日に日本国に出願された特願 2006— 89118号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

請求の範囲

[1] 医療用撮像装置力も入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、

前記三次元モデルが有するボタセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボタセルを検出するボタセル検出部と、

前記一のボタセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出部と、を有することを特徴とする医療用画像処理装置。

[2] 前記隆起形状検出部は、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が 1以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする請求項 1〖こ記載の医療用画像処理装置。

[3] 前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする請求項 2に記載の医療用画像処理装置。

[4] 入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエツジを抽出するエッジ抽出部と、

前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、

前記三次元モデルの一部として推定された、前記エッジを有する一のボタセル群を検出するとともに、該一のボタセル群のうち、所定の間隔毎に存在する各ボタセルにおいて、法線ベクトルと、該法線ベクトルの向きを 180° 反転させたベクトルである逆法線ベクトルとを算出するベクトル算出部と、

前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第 1のボタセルと、隆起終了位置となる第 2のボタセルとを検出することにより、前記一のボタセル群として推定された生体組織が、局所的な隆起形状を有する生体組織である力否かを判定する隆起形状判定部と、前記第 1のボタセルと前記第 2のボタセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボタセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体組織であると判定する病変判定部と、

を有することを特徴とする医療用画像処理装置。

[5] 前記隆起形状判定部は、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線べクトルの交差本数が第 1の閾値以上となる最初のボタセルを前記第 1のボタセルとすることを特徴とする請求項 4に記載の医療用画像処理装置。

[6] 前記隆起形状判定部は、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第 2の閾値より小さくなる最初のボタセルを前記第 2のボタセルとすることを特徴とする請求項 5に記載の医療用画像処理装置。

[7] 前記第 1の閾値は、前記第 2の閾値と等しい値であることを特徴とする請求項 6に記載の医療用画像処理装置。

[8] 医療用撮像装置力入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、

前記三次元モデルが有するボタセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボタセルを検出するボタセル検出ステップと、前記一のボタセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出ステツプと、

を有することを特徴とする医療用画像処理方法。

[9] 前記隆起形状検出ステップは、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が 1以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする請求項 8に記載の医療用画像処理方法。

[10] 前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする請求項 9に記載の医療用画像処理方法。

[11] 入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエツジを抽出するエッジ抽出ステップと、

前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、

前記三次元モデルの一部として推定された、前記エッジを有する一のボタセル群を検出するとともに、該一のボタセル群のうち、所定の間隔毎に存在する各ボタセルにおいて、法線ベクトルと、該法線ベクトルの向きを 180° 反転させたベクトルである逆法線ベクトルとを算出するベクトル算出ステップと、

前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第 1のボタセルと、隆起終了位置となる第 2のボタセルとを検出することにより、前記一のボタセル群として推定された生体組織が、局所的な隆起形状を有する生体組織であるカゝ否かを判定する隆起形状判定ステップと、前記第 1のボタセルと前記第 2のボタセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボタセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体組織であると判定する病変判定ステツプと、

を有することを特徴とする医療用画像処理方法。

[12] 前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線ベタトルの交差本数が第 1の閾値以上となる最初のボタセルを前記第 1のボタセルとすることを特徴とする請求項 11に記載の医療用画像処理方法。

[13] 前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線べタトルの交差本数が第 2の閾値より小さくなる最初のボタセルを前記第 2のボタセルとすることを特徴とする請求項 12に記載の医療用画像処理方法。

前記第 1の閾値は、前記第 2の閾値と等しい値であることを特徴とする請求項 13に記載の医療用画像処理方法。