JP5581237B2 - 画像処理装置、電子内視鏡用プロセッサ装置、画像処理装置の作動方法および画像処理用コンピュータプログラム - Google Patents

Description

本発明は、内視鏡観察画像から病変部など異常と判断される部位を検出・表示するための画像処理装置に関する。

内視鏡画像から病変部を自動的に検出する画像処理装置として、血液の吸収帯に相当するＧチャンネル画像の対象画素に対して上下左右斜め方向にある周囲画素からの変化量を算出し、これに基づき病変部を検出するものが知られている（特許文献１）。

国際公開第２００８／０４４４６６号

しかし、上記特許文献１の方法では、表面粘膜の血管に変化のある病変は検出できるが、それ以外の病変部の特徴に基づいて危険部位を探知することはできない。例えば、病変部は表面粘膜における血管の変化の他に、血管新生、細胞の異常増殖による上皮層や腺管構造の崩れ、腫れや凹みによる構造変化などによって脳回転状の模様が現れるが、特許文献１の方法では、このような情報から病変部を見つけ出すことはできない。

本発明は、内視鏡画像の色以外の情報に基づいて、内視鏡画像の各部における病変部である可能性を評価することを課題としている。

本発明の画像処理装置は、画像信号から所定空間周波数領域の信号を抽出する画像信号抽出手段と、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価する第１病変部評価手段と備えたことを特徴としている。

画像処理装置は、各画素の評価を画像に反映させた画像生成手段を更に備えることが好ましい。また、より緻密な評価を行うには、対象画素の色情報に基づき対象画素が病変部である可能性を評価する第２病変部評価手段と、第１および第２病変部評価手段の評価結果に基づいて各画素の病変部である可能性を総合的に評価する第３病変部評価手段とを更に備えることがより好ましい。

第２病変部評価手段は、例えばＧ信号に基づいて対象画素の評価を行う。また、第１および第２病変部評価手段それぞれにおいて各画素に評価値を与え、第３病変部評価手段がこれらの評価値の合計から各画素が病変部である可能性を評価する構成とすることもできる。

また、画像信号抽出手段は、例えばバンドパスフィルタとローパスフィルタを組み合わせて所定空間周波数領域の信号を抽出する。あるいは、画像信号抽出手段は、標準偏差の異なるガウスフィルタを用いることで所定空間周波数領域の信号を抽出してもよい。また更に、画像信号抽出手段は、画像信号に対しフーリエ変換を施し、周波数空間において所定空間周波数領域に対応する信号を抽出し、これを逆変換することで画像信号から所定空間周波数領域の信号を抽出してもよい。

第１病変部評価手段は、例えば抽出された信号の対象画素周りにおける極値の数に基づいて上記評価を行う。またあるいは、第１病変部評価手段は、例えば抽出された信号の値を閾値と比較することで各画素を複数のカテゴリに分類し、所定カテゴリに属する画素の対象画素周りにおける割合から評価を行う。

本発明の電子内視鏡用プロセッサ装置は、上記画像処理装置を備えたことを特徴としている。

本発明の画像処理方法は、画像信号から所定空間周波数領域の信号を抽出し、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価することを特徴としている。

本発明のコンピュータプログラムは、画像データから所定空間周波数領域のデータを抽出する手順と、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価する手順とをコンピュータに実行させることを特徴としている。

本発明によれば、内視鏡画像の色以外の情報に基づいて、内視鏡画像の各部における病変部である可能性を評価することができる。

本発明の一実施形態である画像処理装置が搭載された電子内視鏡システムの構成を示すブロック図である。 病変部検出部における全体的な処理の流れを示すフローチャートである。 映像処理回路から入力される輝度信号の一例を示すグラフである。 図３の輝度信号にバンドパスフィルタを施したときのグラフである。 図３の輝度信号にローパスフィルタを施したときのグラフである。 図４の輝度信号から図５の輝度信号を差引き、マイナス成分がなくなるようにプラス方向に一定量シフトした信号のグラフである。 バンドパスフィルタの一例である。 ローパスフィルタの一例である。 図２のステップＳ１０４で実行される処理のフローチャートである。 図２のステップＳ１００で実行される処理のフローチャートである。 図２のステップＳ１０６で実行される処理のフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である画像処理装置が搭載された電子内視鏡システムの構成を示すブロック図である。なお、図１では、画像処理に係る構成のみが示される。

電子内視鏡システム１０は、スコープ１１、プロセッサ装置１２、モニタ装置１３を備え、スコープ１１およびモニタ装置１３は、プロセッサ装置１２に着脱自在に装着される。スコープ１１の挿入部先端に設けられた撮像素子（図示せず）からの画像信号は、プロセッサ装置１２内の映像処理回路１４に入力され、例えば増幅処理、色変換処理、ホワイトバランス処理、ガンマ補正処理などの所定の処理が施された後、デジタル画像信号（画像データ）に変換される。

本実施形態のプロセッサ装置１２は、スコープ１１で撮影された通常の内視鏡画像をそのまま出力する通常画像表示モードと、内視鏡画像の各部が病変部に対応するか否かを評価し、それを反映した画像を出力する病変危険度表示モードとを備える。本実施形態において、映像処理回路１４は、選択されたモードに応じて、映像出力部１５、あるいは画像メモリ１６および病変部検出部１７の何れかに選択的にデジタル画像信号を出力する。

すなわち、通常画像表示モードでは、映像処理回路１４はデジタル画像信号を直接映像出力部１５へ出力し、病変危険度表示モードではメモリ１６および病変部検出部１７へ出力する。病変部検出部１７では、画像メモリ１６および映像処理回路１４からの画像信号に基づき例えば各画素を危険度に応じて色分けした画像を生成し（後述）、映像出力部１５へ出力する。映像出力部１５は、映像処理回路１４または病変部検出部１７の何れかから入力されたデジタル画像信号を所定規格の映像信号に変換し、例えばモニタ装置１３へと出力する。

また、病変部検出部１７は、凹凸判定部１８、色判定部１９、および統合部２０を備える。映像処理回路１４からのデジタル画像信号は、凹凸判定部１８と色判定部１９とにそれぞれ入力される。一方、画像メモリ１６に記憶されたデジタル画像信号は、病変検出部１７に入力される。凹凸判定部１８では入力されたデジタル画像に基づいて例えば脳回転状模様の有無を判定して、各画素の危険度を評価し、色判定部１９では入力されたデジタル画像の色情報から各画素の危険度を評価する。

凹凸判定部１８での評価、および色判定部１９での評価は、それぞれ統合部２０へ出力される。統合部２０ではこれらの評価に基づき各画素の危険度が総合的に評価され、この評価を反映したデジタル画像が生成され、映像出力部１５へと出力される。

図２は、上述した病変部検出部１７における処理の全体的な流れを説明するフローチャートである。ステップＳ１００は、色判定部１９において行われる処理であり、色情報に基づき各画素の危険度が評価される。これと並行して、凹凸判定部１８ではステップＳ１０２、１０４が順次実行される。

まず、ステップＳ１０２では、入力された画像信号から所定の空間周波数領域に対応する輝度信号を抽出する。その後ステップＳ１０４では、抽出された所定空間周波数領域の輝度信号に基づいて各画素の危険度が評価される。

ステップＳ１０６は、統合部２０で実行される処理であり、ステップＳ１００、ステップＳ１０４で得られた評価に基づき、各画素の危険性を総合的に評価するとともにその評価を反映した画像を生成する。なお統合部２０でステップＳ１０６の処理が終了すると本処理終了するが、終了時、生成された画像信号は、映像出力部１５へと出力される。

次に図３〜図８を参照して、図２のステップＳ１０２における所定空間周波数領域の輝度信号の抽出方法について説明する。

図３は、映像処理回路１４から入力される輝度信号の一例を示すグラフであり、横軸は例えば画像の水平（垂直）ラインに沿った座標（例えばピクセルまたは画素ピッチを単位とする座標）、縦軸は輝度値である。図４は、図３の輝度信号に図７のバンドパスフィルタを施した輝度信号のグラフであり、腸管などの概形や粘膜表面の細かな凹凸形状を抽出するために図３の輝度信号から中域〜高域の空間周波数領域を抽出している。なお、バンドパスフィルタの適応においては、周波数空間の原点はそのまま透過させている。

一方、図５は、図３の輝度信号に図８のローパスフィルタを施した輝度信号のグラフであり、ノイズを低減し、腸管などのヒダや腫瘍などの大まかな膨らみをもつ形状を抽出するために図３の輝度信号から低周波領域を抽出している。本実施形態では、図４の中〜高周波領域の輝度信号と図５の低周波域の輝度信号の差分をとることで、粘膜表面のテクスチャ情報のみを抽出した信号（所定周波数領域の輝度信号）を生成する。なお、各フィルタは水平・垂直両方向に沿って施される。

図６に図４の中〜高周波数領域の輝度信号と図５の低周波域の輝度信号の差分をとることで粘膜表面のテクスチャ情報のみを抽出し、抽出された信号をプラス方向に一定量シフトしてマイナス成分を無くしたものが示される。

次に図９を参照して、本実施形態における抽出された所定空間周波数領域の輝度信号に基づく各画素の病変部の可能性（危険性）評価方法、すなわち図２のステップＳ１０４の処理について説明する。

本処理では、ステップＳ２００において各画素に対する前進差分および後進差分が計算され、対象画素（現在評価対象となっている画素）の周りの所定範囲に極値に対応する画素が幾つあるかがカウントされる。すなわち、前進後進差分で符号が入れ替わっている画素の数が対象画素を中心とする所定の範囲（例えば７×７画素）においてカウントされる。

ステップＳ２０２では、ステップＳ２００で算出された当該対象画素に関するカウント数が所定の閾値ｔ１以上であるか否かが判定される。カウント数が閾値ｔ１以上の場合には、対象画素周辺の粘膜表面に細かな凹凸形状（脳回転状模様など）が存在すると判断され、粘膜表面のテクスチャ情報からは対象画素は病変部に対応する可能性が高い。したがって、この場合にはステップＳ２０４において当該対象画素の危険度を示すフラグ（病変部である可能性を示すフラグ）が立てられこの処理は終了する。一方、ステップＳ２０２においてカウント数が閾値ｔ１よりも小さいと判定される場合には、テクスチャ情報から当該画素の周辺部が病変部である可能性は低いので、当該対象画素のフラグを立てることなく本処理は終了する。

次に図１０を参照して、図２のステップＳ１００の処理における色情報に基づく各画素の病変部である危険性を評価方法について説明する。

ステップＳ３００では、各画素のＲＧＢ信号における画素値Ｇと画素値Ｒの比Ｇ／Ｒが計算され、ステップＳ３０２において対象画素のＧ／Ｒの値が所定の閾値ｔ２以下であるか否かが判定される。Ｇ／Ｒが閾値ｔ２以下の場合には、血液の色味が強いと判断されるので、色情報からは病変部である可能性が高い。したがって、Ｇ／Ｒが閾値ｔ２以下と判定される場合には、ステップＳ３０４において当該対象画素の危険度を示すフラグが立てられる。一方、ステップＳ３０２において、Ｇ／Ｒの値が閾値ｔ２よりも大きいと判定される場合には、色情報からは対象画素が病変部である可能性は低いので対象画素のフラグを立てることなく本処理は終了する。なお、判定にＧ信号とＲ信号の比を用いるのは、光量が違う場合の影響を無くすためである。

次に図１１を参照して、図２のステップＳ１０６における色情報およびテクスチャ情報（輝度情報）を用いた各画素の病変部としての危険性の総合的な評価方法、および画像生成方法について説明する。

ステップＳ４００、ステップＳ４０２では、順次対象画素毎にステップＳ１００、ステップＳ１０４のフラグの内容が参照される。ステップＳ４００では、対象画素に対する両フラグが「真」であるか否かが判定され、両フラグともに「真」の場合には、ステップＳ４０４において対象画素の色が例えば赤に設定され、本処理は終了する。

一方、両フラグがともに「真」でない場合には、ステップＳ４０２において一方のフラグが「真」であるか否かが判定される。少なくとも一方のフラグが「真」のときには、ステップＳ４０６において対象画素の色が例えば黄色に設定され、本処理は終了する。また、ステップＳ４０２において両フラグともに「真」ではないと判定された場合には、対象画素の色は例えば黒に設定され本処理は終了する。

すなわち、病変危険度表示モードでは、ステップＳ４００〜Ｓ４０６を通して設定された各画素の色に基づいて画像信号が生成され映像出力部１５（図１参照）を介してモニタ装置１３に出力・表示される。

以上のように、本実施形態によれば、色情報からではなく、病変部に特徴的なテクスチャ情報（脳回転状模様）からも内視鏡画像の各画素に対応する箇所が病変部である可能性を評価でき、より正確な評価が可能になる。また、色情報とテクスチャ情報を組み合わせて各画素が病変部である可能性を総合的、段階的に評価し、これを内視鏡画像に対応する画像として表示することができる。

次に、本実施形態の第１変形例について説明する。上述した実施形態では、図２のステップＳ１０２において、ローパスフィルタ、バンドパスフィルタを用いて所定の空間周波数領域の輝度信号を取得したが、第１変形例では、例えば、図３の輝度信号に対して、分散が異なる２つのガウスフィルタを施す。すなわち、分散が相対的に小さいガウスフィルタにより図４に対応する輝度信号を生成し、分散が相対的に大きいガウスフィルタにより図５に対応する輝度信号を生成する。これらの差から図６に対応する輝度信号を生成し、実施形態と同様の方法で、各画素の危険度を評価し、画像を生成する。また、例えばステップＳ１０２において、画像信号に対し２次元フーリエ変換を施し、周波数空間において所定領域の信号を抽出し逆変換で得られた画像信号に対して、図２のステップＳ１０４以下の処理を実行してもよい。

次に、図２のステップＳ１０４のテクスチャ情報（輝度情報）に基づく各画素の病変部としての危険性の評価方法を変更した第２変形例について説明する。上記実施形態では、各画素の前進後進差分を計算し、極値の数から病変部としての可能性（危険性）の評価を行ったが、第２変形例では、所定空間周波数領域の輝度信号、例えば図６に示される一定量プラス側にシフトした輝度信号に対して複数の閾値を設定し、輝度信号と閾値との比較に基づいて危険度を評価する。

例えば、本変形例では各画素の輝度値を閾値と比較して画素を複数のカテゴリ、例えばハレーション、腸管の表面構造（粘膜表面の模様）、その他（ノイズなど）に分類し、対象画素の周辺の所定領域内に含まれる各カテゴリの画素の割合から、対象画素が病変部である可能性を評価する。本変形例では、図６の輝度信号が第１閾値よりも大きい画素をハレーションに対応する画素とし、図６の輝度値が第１閾値よりも小さく、第１閾値よりも小さい第２閾値よりも大きい画素を腸管の表面構造に対応する画素とする。また、第２閾値よりも図６の輝度値が低い画素をその他の画素とする。

例えば、ザラザラした表面や脳回転状の表面構造を有する病変部では、一般的に細かい輝度変化や細かいハレーションが多く含まれると考えられる。そのため本変形例では、対象画素を中心とする所定範囲（例えば周辺７×７画素）におけるハレーション対応画素数（面積）や表面構造対応画素数（面積）の割合を参照して各対象画素の危険度を段階的（例えば５段階）に評価する。

例えば、第２変形例では、色情報（ステップＳ１００の情報）を用いず、テクスチャ情報のみで各画素の危険度を次の（Ａ）〜（Ｅ）の５段階で評価し画像を生成する。
（Ａ）表面構造対応画素の割合が極めて高く、ハレーション対応画素も存在する場合には危険度が最大であると判断し、その画素の色を赤に設定する。
（Ｂ）表面構造対応画素の割合が相対的に高く（（Ａ）よりは低い）、ハレーション対応画素も存在する場合には危険度が大きいと判断し、その画素の色を黄色に設定する。
（Ｃ）表面構造対応画素の割合が相対的に中程度で、ハレーション対応画素も存在する場合には危険度も中程度であると判断し、その画素の色を緑に設定する。
（Ｄ）表面構造対応画素の割合が相対的に低く、ハレーション対応画素も殆ど存在しない場合には危険度は小さいと判断し、その画素の色を青に設定する。
（Ｅ）表面構造対応画素の割合が最小で、ハレーション対応画素も殆ど存在しない場合には危険度は極小と判断し、その画素の色を紫に設定する。

また、色情報（ステップＳ１００の情報）と組み合わせて評価する場合には、例えば、各評価において危険度を示すポイント（評価値）を各画素に対して与え、その合計から各画素における総合的な危険度を評価し、例えば５段階に分類して各画素の色を決定することもできる。

以上のように第１、第２変形例においても実施形態と同様の効果を得ることができる。なお、実施形態、第１、第２変形例に記載された各構成は、矛盾が生じない範囲で任意に組み合わせることができる。

また、本実施形態および変形例では、所定空間周波数領域の輝度信号をプラス側にシフトしているが、シフトせずに病変部の可能性（危険度）の評価に用いることも可能である。

また、画像データを記録して、本実施形態および変形例の処理を別途コンピュータにおいて実行することも可能である。

１０ 電子内視鏡システム
１１ スコープ
１２ プロセッサ装置
１３ モニタ装置
１４ 映像処理回路
１５ 映像出力部
１６ 画像メモリ
１７ 病変部検出部
１８ 凹凸判定部
１９ 色判定部
２０ 統合部

Claims (12)

1. 画像信号から所定空間周波数領域の信号を抽出する画像信号抽出手段と、
   前記画像信号抽出手段により抽出された信号の対象画素周りにおける輝度値の変化に基づいて前記対象画素が病変部である可能性を評価する第１病変部評価手段と、
   前記対象画素の色情報に基づき前記対象画素が病変部である可能性を評価する第２病変部評価手段と、
   前記第１および第２病変部評価手段の評価結果に基づいて各画素の病変部である可能性を総合的に評価する第３病変部評価手段と
   を備えることを特徴とする画像処理装置。
2. 各画素の前記評価を画像に反映させた画像生成手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２病変部評価手段が、Ｇ信号に基づいて前記対象画素の評価を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第１および第２病変部評価手段において各画素に評価値を与え、前記第３病変部評価手段が前記評価値の合計から各画素が病変部である可能性を評価することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記画像信号抽出手段が、バンドパスフィルタとローパスフィルタを組み合わせて前記所定空間周波数領域の信号を抽出することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記画像信号抽出手段が、標準偏差の異なるガウスフィルタを用いて前記所定空間周波数領域の信号を抽出することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
7. 前記画像信号抽出手段が、前記画像信号に対しフーリエ変換を施し、周波数空間において前記所定空間周波数領域に対応する信号を抽出し、これを逆変換することで前記画像信号から前記所定空間周波数領域の信号を抽出することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
8. 前記第１病変部評価手段が、抽出された前記信号の前記対象画素周りにおける極値の数に基づいて前記評価を行うことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記第１病変部評価手段が、抽出された前記信号の値を閾値と比較することで各画素を複数のカテゴリに分類し、所定カテゴリに属する画素の前記対象画素周りにおける割合から前記評価を行うことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
10. 請求項１〜請求項９の何れか一項に記載の画像処理装置を備えることを特徴とする電子内視鏡用プロセッサ装置。
11. 画像信号抽出手段と、第１病変部評価手段と、第２病変部評価手段と、第３病変部評価手段とを備える画像処理装置を作動する方法であって、
    前記画像信号抽出手段が画像信号から所定空間周波数領域の信号を抽出する工程と、
    前記第１病変部評価手段が前記画像信号抽出手段により抽出された信号の対象画素周りにおける輝度値の変化に基づいて前記対象画素が病変部である可能性を評価する工程と、
    前記第２病変部評価手段が前記対象画素の色情報に基づき前記対象画素が病変部である可能性を評価する工程と、
    前記第３病変部評価手段が前記第１および第２病変部評価手段の評価結果に基づいて各画素の病変部である可能性を総合的に評価する工程と
    を備えることを特徴とする画像処理装置の作動方法。
12. 画像データから所定空間周波数領域のデータを抽出する第１手順と、
    前記画像信号抽出手段により抽出された信号の対象画素周りにおける輝度値の変化に基づいて前記対象画素が病変部である可能性を評価する第２手順と、
    前記対象画素の色情報に基づき前記対象画素が病変部である可能性を評価する第３手順と、
    前記第２および第３手順における評価結果に基づいて各画素の病変部である可能性を総合的に評価する第４手順と
    をコンピュータに実行させることを特徴とする画像処理用コンピュータプログラム。

Images