JP6566395B2 - 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム - Google Patents

Description

本発明は、カラーの内視鏡画像を画像処理することで病変部位を強調する内視鏡画像処理装置等に関する。

現在、内視鏡画像を用いた早期癌の診断は、専門医の主観的な判断によるものであり、その経験や知識に大きく左右される。また、専門医は癌の有無を調べる過程で、数多くの正常な部位の画像も確認しなければならない。このことは、専門医の負担を非常に大きくする要因となっている。

早期癌の診断に用いる内視鏡画像システムには、白色光照明を用いたものと、レーザ光源を用いたものが広く知られている。特にレーザ光源を用いたものは、白色光照明の撮像では表現し難かった血管や表面構造を強調することが可能となっており、癌の早期発見に大きく寄与している。例えば、非特許文献１では、内視鏡画像に基づいて、早期食道癌の検出を行う技術が提案されている。この手法では、Ｇａｂｏｒ特徴量を用いて、ＲＧＢ色空間、ＨＳＩ色空間、ＹＣｂＣｒ色空間での検出性能を評価し、サポートベクタマシン（ＳＶＭ）を用いて、血管を基に早期癌の部位と正常部位の画像分類を行っている。

しかしながら、非特許文献１で扱っている画像は、専門的な知識がなくても明らかに異常とわかるものが多く、専門医の負担軽減という観点からは十分な技術ではない。すなわち、異常部位を明らかに判断することができるような内視鏡画像ではなく、正常部位と異常部位との区別が専門医でないと判断できないような内視鏡画像について、異常部位を強調できる技術が望まれている。

また、画像処理の技術を医療診断等に利用する技術として、例えば、特許文献１、２に示す技術が開示されている。特許文献１に示す技術は、少なくとも１つの医療映像を変換することにより、少なくとも１つの医療映像を、マルチスケールの複数方向を有する映像情報に分解する段階と、マルチスケールの映像情報において、各スケールの映像情報の係数分散を推定する段階と、推定された分散と、各スケールを含む複数個のスケールの映像情報の係数と、を利用し、各スケールの映像情報の係数値を調整する段階と、調整されたマルチスケールの複数方向を有する映像情報を逆変換することにより、少なくとも１つの医療映像の復元映像を生成する段階と、を含む医療映像処理方法である。

特許文献２に示す技術は、皮膚ゾーンにおける皮膚症状を検出して数量化する方法であって、予め決められた複数の肌の色の濃淡度の分類と複数のタイプの皮膚症状とに対して、選択された複数の波長を識別することにより、皮膚症状のタイプと肌の色の濃淡度の分類との各組み合わせに対して、上記波長の１つによって、この分類に属する肌の色の濃淡度を有する人の肌の皮膚におけるこのようなタイプの症状を、コントラストによって検出でき、白色光による画像を撮影し、この画像から肌の色の濃淡度と、対応する分類とを自動的に識別し、この肌の色の濃淡度の分類に応じて、この肌の色の濃淡度の分類と、検出しようとしているタイプの皮膚症状との組み合わせに対応する波長の画像を自動的に捕捉し、次いで、このように捕捉された画像を少なくとも処理して、前記検出しようとする上記タイプの皮膚症状を検出する方法である。

特開２０１３−１１９０４０号公報 特表２０１５−５００７２２号公報 Fons van der Sommen, Svitlana Zinger, Erik J. Schoon and Peter H. N. de With, "Computer-Aided Detection of Early Cancer in the Esophagus using HD Endoscopy Images" Proceedings of SPIE - The International Society for Optical Engineering, Vol.8670, Article number 86700V, Feb.2013

特許文献１、２に示す技術は、いずれも画像処理技術を医療分野に応用するものであるが、内視鏡のカラー画像を対象にしたものではないため、内視鏡のカラー画像に対して特許文献１、２に開示されるような処理を行ったとしても、病変部位を強調することができない。

本発明は、カラーの内視鏡画像に対して画像処理を行うことで、内視鏡で確認が可能な病変部位を強調して表示し、専門医の負担を軽減することができる内視鏡画像処理装置等を提供する。

本発明に係る内視鏡画像処理装置は、カラーの内視鏡画像を任意の色空間に変換する色空間変換手段と、変換後の画像情報に対して周波数分解の処理を行う周波数変換処理手段と、前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理手段とを備えるものである。

このように、本発明に係る内視鏡画像処理装置においては、カラーの内視鏡画像を任意の色空間に変換し、変換後の画像情報に対して周波数分解の処理を行い、前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するため、専門医の判断に依らなければ判断が難しいような内視鏡画像における病変を強調することができ、専門医の負担を軽減することができるという効果を奏する。

本発明に係る内視鏡画像処理装置は、コントラストが強調された前記画像情報を低値化又はビットプレーン分解する低値化処理手段を備えるものである。

このように、本発明に係る内視鏡画像処理装置においては、コントラストが強調された前記画像情報を低値化又はビットプレーン分解するため、内視鏡画像における病変をより明確に表示することが可能になるという効果を奏する。

本発明に係る内視鏡画像処理装置は、低値化された前記画像情報における複雑性が高い箇所を抽出する複雑性抽出手段を備えるものである。

このように、本発明に係る内視鏡画像処理装置においては、低値化された前記画像情報における複雑性が高い箇所を抽出するため、特に、複雑な直線や曲線が多く観察される傾向にある病変を容易に見極めることができるという効果を奏する。

本発明に係る内視鏡画像処理装置は、前記画像情報における複雑性が高い箇所を癌の病変箇所として出力することを特徴とする病変出力手段を備えるものである。

このように、本発明に係る内視鏡画像処理装置においては、画像情報における複雑性が高い箇所を癌の病変箇所として出力するため、特に、複雑な直線や曲線が多く観察される傾向にある早期癌を容易に発見することができるという効果を奏する。

第１の実施形態に係る内視鏡画像処理装置のハードウェア構成図である。 第１の実施形態に係る内視鏡画像処理装置の機能ブロック図である。 第１の実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。 ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間のイメージ図である。 第２の実施形態に係る内視鏡画像処理装置の機能ブロック図である。 ボックスカウント法の処理過程を示す図である。 動的閾値法と静的閾値法による２値化の結果を示す図である。 第２の実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。 第３の実施形態に係る内視鏡画像処理装置の機能ブロック図である。 第３の実施形態に係る内視鏡画像処理装置の動作を示すフローチャートである。 実施例における第１の実験結果を示す第１の図である。 実施例における第１の実験結果を示す第２の図である。 実施例における第２の実験結果を示す図である。 実施例における第３の実験結果を示す図である。 実施例における第４の実験結果を示す図である。 実施例における第５の実験結果を示す図である。 実施例における第６の実験結果を示す図である。 低値化処理後の画像を示す図である。 低値化処理後のフラクタル次元の計算結果を示す図である。 実施例における第７の実験結果を示す第１の図である。 実施例における第７の実験結果を示す第２の図である。 実施例における第７の実験結果を示す第３の図である。 実施例における第７の実験結果を示す第４の図である。 ビットプレーン処理後の画像を示す図である。 ビットプレーン処理後のフラクタル次元の計算結果を示す図である。 実施例における第８の実験結果を示す第１の図である。 実施例における第８の実験結果を示す第２の図である。 実施例における第８の実験結果を示す第３の図である。 実施例における第８の実験結果を示す第４の図である。

以下、本発明の実施の形態を説明する。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。

（本発明の第１の実施形態）
本実施形態に係る内視鏡画像処理装置について、図１ないし図４を用いて説明する。本実施形態に係る内視鏡画像処理装置は、白色光照明を用いて撮像されたカラーの内視鏡画像やレーザ光源を用いて撮像されたカラーの内視鏡画像の色空間を、撮像元の光源に応じた所定の色空間に変換し、Ｃｕｒｖｅｌｅｔ変換やＷａｖｅｌｅｔ変換を用いてコントラストが強調された画像を作成するものである。

本実施形態に係る内視鏡画像処理装置は、内視鏡システムに組み込んで一体的な装置としてもよいし、一旦内視鏡システムで撮像された画像を取り込んで画像処理を行う別体の装置としてもよい。

図１は、本実施形態に係る内視鏡画像処理装置のハードウェア構成図である。内視鏡画像処理装置１０は、少なくとも、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ハードディスク（ＨＤとする）１４、通信Ｉ／Ｆ１５、及び入出力Ｉ／Ｆ１６を備える。ＲＯＭ１３やＨＤ１４には、オペレーティングシステム、プログラム、内視鏡画像等が格納されており、必要に応じてプログラムがＲＡＭ１２に読み出され、ＣＰＵ１１により実行される。

通信Ｉ／Ｆ１５は、装置間の通信を行うためのインタフェースである。入出力Ｉ／Ｆ１６は、タッチパネル、キーボード、マウス、カメラ等の入力機器からの入力を受け付けたり、プリンタやモニタ等にデータを出力するためのインタフェースである。この入出力Ｉ／Ｆ１６は、必要に応じて光磁気ディスク、フロッピー（登録商標）ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ等のリムーバブルディスク等に対応したドライブを接続することができる。各処理部はバスを介して接続され、情報のやり取りを行う。なお、上記ハードウェアの構成はあくまで一例であり、必要に応じて変更可能である。

内視鏡画像にはいくつかのタイプがあり、ここでは、白色光照明を光源として撮像された白色光画像、並びに、レーザ光を光源として撮像されたＦＩＣＥ画像（富士フイルム株式会社製の内視鏡システム）、ＢＬＩ画像（富士フイルム株式会社製の内視鏡システム）、ＮＢＩ画像（オリンパス株式会社製の内視鏡システム）に対して、有効な画像処理技術を説明する。

図２は、本実施形態に係る内視鏡画像処理装置の機能ブロック図である。内視鏡画像処理装置１０は、内視鏡システム２０で撮像されたカラーの内視鏡画像を入力する画像入力部２１と、入力された内視鏡画像の色空間を当該入力された内視鏡画像のタイプに応じて他の色空間に変換する色空間変換部２２と、色空間が変換された変換画像に対して内視鏡画像のタイプ及び／又は変換後の色空間に応じて、例えばＣｕｒｖｅｌｅｔ変換やＷａｖｅｌｅｔ変換等の周波数変換を行う周波数変換部２３と、周波数変換により得られるエッジ情報を適正な係数を求めることで強調するコントラスト強調部２４と、コントラスト強調された画像に対して、周波数変換部２３の変換と逆の変換を行う周波数逆変換部２５と、逆変換により得られた画像を閾値処理して低値化又はビットプレーン分解する低値化処理部２６と、低値化された結果をディスプレイ２８に表示する表示制御部２７とを備える。

なお、図２において、低値化処理部２６を備えないようにしてもよい。すなわち、周波数逆変換部２５の逆変換により得られた画像を表示制御部２７がそのままディスプレイ２８に表示する構成であってもよい。また、周波数逆変換部２５についても、周波数変換部２３で行われる周波数変換の種類によっては、必ずしも必須の構成ではない。具体的には、以下に説明するＣｕｒｖｅｌｅｔ変換の場合は、周波数逆変換部２５の処理を行うが、下記の第３の実施形態において示す離散ウェーブレット変換（ＤＷＴ）による周波数変換を行う場合は、周波数逆変換部２５は必要ない。

各処理部の詳細を以下に説明する。ここでは、ＦＩＣＥ画像をＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間に変換し、周波数変換にＣｕｒｖｅｌｅｔ変換を利用した場合の処理について説明する。図３は、本実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。まず、色空間変換部２２が、画像入力部２１で入力されたＦＩＣＥ画像をＲＧＢ色空間からＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間に変換する（Ｓ１）。

ここで、ＦＩＣＥ画像とは、レーザ光源を用いた内視鏡画像システムで用いられるものであり、粘膜や血管のコントラストが強調されているため、通常の白色光光源の場合に比べて血管や表面構造の観察に適している。ＦＩＣＥ画像を撮像するモードは、ＲＧＢ色空間で表現された画像から被写体の分光反射率を推定し特定の波長情報を利用することで、白色光ではわかりにくい病変の特徴を際立たせる特殊光観察法である。

ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間は、マンセルシステムをモデルとして改良されてきたものである。このマンセル表色系は，色差が均等にできている等色差性という性質をもっている。そして、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間には、ＲＧＢ色空間やＣＭＹＫ色空間などに比べて、人間の視覚に近い設計がされているという利点がある。これは、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間が均等色空間（ＵＳＣ：Ｕｎｉｆｏｒｍ Ｃｏｌｏｒ Ｓｐａｃｅ）として考案されたためである。ＵＣＳとは、色空間内での距離が色の変化量に類似するよう設計されている空間のことである。つまり、色の値が変化したときの差分と人間の心理的な色の差分が等しいということである。例えば、ＵＣＳの変化量が大きくなれば、人間の視覚的にも色の変化が大きくなる。

Ｌ^＊ａ^＊ｂ^＊の各成分の値は、ＸＹＺ色空間の各成分の値を視覚の特性を考慮した簡単な変換式で変換することによって計算される。図４は、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間のイメージ図である。図４（Ａ）において、Ｌ^＊軸は明度を表しており、０を黒、１００を白とした無彩色の軸である。また、ａ^＊，ｂ^＊の値によって色相が変化し、原点から遠ざかるほど彩度が高くなる。図４（Ｂ）は、図４（Ａ）からａ^＊，ｂ^＊の座標を取り出したものである。図４において、ａ^＊は赤紫（＋）と青緑（−）の成分であり、ｂ^＊は黄（＋）と青（−）の成分である。ここで、線分ＯＣの長さは彩度、角度θは色相を示している。明度、色相、彩度に関するものは心理メトリック量と呼ばれている。Ｌ^＊はメトリック明度、線分ＯＣの長さはメトリック彩度、θはメトリック色相角と呼ばれている。

ＲＧＢ色空間からＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間への変換は以下の手順で行われる。まず、ＲＧＢ色空間をＸＹＺ色空間に変換する。

ここで、変換行列は３原色のＸ，Ｙ，Ｚ座標と白色点の座標Ｘｎ，Ｙｎ，Ｚｎから求められる。上記の変換行列は、（Ｘｎ，Ｙｎ，Ｚｎ）＝（０．９６４２，１，０．８２４９）として計算している。Ｘｎ，Ｙｎ，Ｚｎに関しての詳細は、参考文献１（ＪＩＳＣ 日本工業標準調査会：“色の表示方法−ＸＹＺ表色系及びＸ１０Ｙ１０Ｚ１０表色系”）に記載されている通りである。次に、Ｌ^＊ａ^＊ｂ^＊の各成分の値を求めるための関数ｆ定義する。

（１）より、Ｌ^＊ａ^＊ｂ^＊の各成分の値は次のように計算される。

また、（１）の表記は一般的なものであるが、以下のように書き直すこともできる。

（２）の場合、Ｌ^＊ａ^＊ｂ^＊の各成分の値は次の通りに計算される。

図３に戻って、得られたａ^＊成分に対して、周波数変換部２３がＣｕｒｖｅｌｅｔ変換を適用する（Ｓ２）。ここでは、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間のａ^＊成分を利用する。これは、ＦＩＣＥ画像にａ^＊成分が多く見られるためである。ａ^＊成分は色相と彩度に関する成分である。コントラスト強調部２４が、Ｓ２のＣｕｒｖｅｌｅｔ係数にコントラスト強調と適用する（Ｓ３）。

離散Ｃｕｒｖｅｌｅｔ変換に基づいたコントラスト強調は以下の手法で行う。離散Ｃｕｒｖｅｌｅｔ変換は、連続Ｃｕｒｖｅｌｅｔ変換の離散化により構成され、Ｃｕｒｖｅｌｅｔ係数は以下の式より得られる。

ここで、ｂ＝ｋ_１ｎ_１／Ｌ_１，ｊ＋ｋ_２ｎ_２／Ｌ_２，ｊ、０≦ｎ_１≦Ｌ_１、０≦ｎ_２≦Ｌ_２，ｊ、ｎ＝（ｎ_１，ｎ_２）∈Ｚ^２、ｋ＝（ｋ_１，ｋ_２）∈Ｚ^２である。Ｕ~_ｊ，ｌはｒａｄｉａｌ ｗｉｎｄｏｗ Ｗ（ｒ）とａｎｇｕｌａｒ ｗｉｎｄｏｗ Ｖ（ｔ）によって得られるｆｒｅｑｕｅｎｃｙ ｗｉｎｄｏｗ関数で、そのサポートが長さＬ_１，ｊ、幅Ｌ_２，ｊの矩形である。また、ｆ＾はｆのフーリエ変換を表す。Ｗ（ｒ）、Ｖ（ｔ）の定義は以下の通りである。

ここで、Ｗのサポートは開区間(１／２，２)に、Ｖのサポートは閉区間[−１，１]に含まれる。式（３）によって得られたＣｕｒｖｅｌｅｔ係数を用いてコントラスト強調を行う（参考文献２（Ｓｔａｒｃｋ， Ｊ．−Ｌ．， Ｍｕｒｔａｇｈ， Ｆ．， Ｃａｎｄｅｓ，Ｅ．Ｊ． ａｎｄ Ｄｏｎｏｈｏ， Ｄ．Ｌ．： Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅ Ｃｏｎｔｒａｓｔ Ｅｎｈａｎｃｅｍｅｎｔ ｂｙ ｔｈｅ Ｃｕｒｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．１２， ｉｓｓｕｅ６，ｐｐ．７０６−７１７， Ｊｕｎｅ， ２００３））。そこで、

とし、変数ｍ＝ρｃ^{Ｄ，ｍａｘ} _ｊ，ｌとして以下の式を計算する。

ここで、（ｐ，ｓ，ρ，ｃ）＝（０．５，０，０．５，３）とする。σは画像に入ったノイズの標準偏差である。

式（４）、（５）より、コントラスト強調されたＣｕｒｖｅｌｅｔ係数ｃ~^Ｄ _{ｊ，ｌ，ｋ}を得る。

周波数逆変換部２５が、コントラスト強調されたＣｕｒｖｅｌｅｔ係数にＣｕｒｖｅｌｅｔ逆変換を適用する（Ｓ４）。低値化処理部２６が、得られた成分に対して閾値処理により低値化する（Ｓ５）。閾値の決定方法として、ここでは取得していた事前データに基づいて、予め決定しておく。具体的には、ａ~^＊を専門医が病変であると判断した異常部位とそれ以外の正常部位ブロックに分割し、各ブロックの中央値をヒストグラム化し、それぞれの分布の度数が等しい値を閾値Ｔとして決定する。なお、低値化する際には、２値化でもよいし、実験結果に示すように８階調や１６階調で低値化したり、ビットプレーン分解するようにしてもよい。表示制御部２７が、低値化された画像をディスプレイ２８に表示して（Ｓ６）、処理を終了する。

なお、内視鏡画像はＦＩＣＥ画像以外にも、白色光画像、ＢＬＩ画像、ＮＢＩ画像等に対して、上記処理を適用することが可能である。また、上記各内視鏡画像のタイプに応じて、色空間変換部２２による変換対象となる色空間及び変換後の色空間をＲＧＢ（赤：Ｒｅｄ、緑：Ｇｒｅｅｎ、青：Ｂｌｕｅ）、ＨＳＶ（色相：Ｈｕｅ、彩度:Ｓａｔｕｒａｔｉon、明度（強度）：Ｖａｌｕｅ）、ＨＳＢ（色相：Ｈｕｅ、彩度：Ｓａｔｕｒａｔｉｏｎ、明度（強度）：Ｂｒｉｇｈｔｎｅｓｓ）、ＨＬＳ（色相：Ｈｕｅ、輝度：Ｌｉｍｉｎａｎｃｅ、彩度：Ｓａｔｕｒａｔｉｏｎ）、ＣＭＹ（シアン：Ｃｙａｎ、マゼンタ：Ｍａｇｅｎｔａ、イエロー：Ｙｅｌｌｏｗ）、ＹＵＶ（輝度：Ｙ、色差（輝度−青）：Ｕ、色差（輝度−赤）：Ｖ）、ＹＣｂＣｒ（輝度：Ｙ、色差：Ｃｂ、色差：Ｃｒ）、ＹＩＱ（輝度：Ｙ、色差（オレンジ−シアン）：Ｉ、色差（緑−マゼンタ）：Ｑ）、又は、ＣＩＥＬ＊ａ＊ｂ＊（Ｌ＊：明度、ａ＊：色度（赤紫）、ｂ＊：色度（青緑）のいずれかとしてもよい。

さらに、上記各内視鏡画像のタイプや、変換後の色空間に応じて、周波数変換部２３及び周波数逆変換部２４による周波数変換の処理を、連続ウェーブレット変換、整数型離散ウェーブレット変換、実数型離散ウェーブレット変換、多重解像度解析（又は多重解像度近似）、連続カーブレット変換、離散カーブレット変換、マルチウェーブレット変換、複素数（連続）ウェーブレット変換、複素数離散ウェーブレット変換、ダイアディック（２進）ウェーブレット変換、ウェーブレットパケット変換、リフティングウェーブレット変換、又は、スティショナリー（定常）ウェーブレット変換のいずれかを用いるようにしてもよい。

このように、本実施形態に係る内視鏡画像処理装置においては、カラーの内視鏡画像を任意の色空間に変換し、変換後の画像情報に対して周波数分解の処理を行い、周波数分解の処理における係数に画像情報のエッジを強調するコントラスト強調処理を適用し、コントラスト強調処理がなされた画像情報に対して周波数分解の逆変換処理を行い、コントラストが強調された前記画像情報を低値化又はビットプレーン分解して可視化するため、専門医の判断に依らなければ判断が難しいような内視鏡画像における病変を強調することができ、専門医の負担を軽減することができる。また、コントラストが強調された画像情報を低値化又はビットプレーン分解して可視化することで、内視鏡画像における病変をより明確に表示することが可能になる。

（本発明の第２の実施形態）
本実施形態に係る内視鏡画像処理装置について、図５ないし図８を用いて説明する。本実施形態に係る内視鏡画像処理装置は、上記第１の実施形態において低値化された画像情報における複雑性を視覚化し、その複雑性が高い箇所の癌の病変箇所として出力するものである。なお、本実施形態において前記第１の実施形態と重複する説明は省略する。

図５は、本実施形態に係る内視鏡画像処理装置の機能ブロック図である。図５において、前記第１の実施形態における図２と異なるのは、低値化処理部２６で低値化又はビットプレーン分解された画像の複雑性をボックスカウント法を用いて小ブロックごとにフラクタル次元を求める複雑性演算部５１と、複雑性が演算された結果、複雑性が高いと判断された箇所を癌の病変であると特定する病変特定部５２とを備えることである。

なお、図５において、前記第１の実施形態の場合と同様に、周波数逆変換部２５については、周波数変換部２３で行われる周波数変換の種類によって、必ずしも必須の構成ではない。

フラクタル次元とは、ある図形や集合がそれより小さく相似な図形によって構成されているようなフラクタル図形に対して特徴付けを行う指標である。フラクタル次元は、図形を構成する小図形がどのような尺度にしたがって変化するかを測ることができる。

Ｓを入力図形、Ｎ（ｓ）をＳを覆うために必要な直径ｓの開球の最小数とする。このときのフラクタル次元は以下の式で定義される。

このフラクタル次元はユークリット次元とは異なり非整数値をとる。フラクタル次元は、図形の複雑度を表す指標となり、簡単な例として、コッホ曲線やカントール集合などがある。ある長さの線分を折り曲げて一辺が元の図形の１／３になるように変形し、これを無限回繰り返したものがコッホ曲線である。このコッホ曲線のフラクタル次元は、初めの直線の長さを１とすると、ｎ回変形したときの図形のフラクタル次元は、式（６）を使えば、

となるので、この変形を無限回繰り返した図形のフラクタル次元も１．２６となる。より詳細は、参考文献３（Ｋｅｎｎｅｔｈ，Ｆ．： Ｆｒａｃｔａｌ ｇｅｏｍｅｔｒｙ ｍａｔｈｅｍａｔｉｃａｌ ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ ｓｅｃｏｎｄ ｅｄｉｔｉｏｎ， Ｗｉｌｅｙ， ２００３）に記述されている。デジタル画像に対して適用することができるフラクタル次元の計算法として、以降に説明するボックスカウント法を利用する。

ボックスカウント法は、フラクタル次元を求める場合に用いられる手法の一つである。式（６）では、フラクタル次元を計算するために極限操作を考慮する必要があるため、コンピュータにおける計算には適していない。ボックスカウント法では、与えられた図形を覆う開球を、図形を格子に区切ってできたブロックに置き換えて定義する。図６に示すように、格子を次第に細かくしながら反復し、各反復ごとにフラクタル次元を計算して、その平均値をフラクタル次元とする。対象を格子状に区切ることにより、画素単位で処理でき、デジタル画像に対して一意にフラクタル次元を計算することが可能となる。以上より、ボックスカウント法は式（６）の近似と考えることができる。動的閾値を用いた場合のボックスカウント法のアルゴリズムを以下に示す。

まず、（１）動的閾値を用いて、入力画像を０と１で表現される２値画像に変換する。入力画像Ｉに対する動的閾値Ｔは、以下の式から求める。

この式は、画素Ｉ（ｉ，ｊ）の閾値を、Ｉ（ｉ，ｊ）を中心とする（２Ｒ＋１）×（２Ｒ＋１）ピクセルの正方形の平均画素値とする。ここでは、仮にＲの値を入力画像のサイズの１／４とする。動的閾値Ｔを以下の式のように用いて、入力画像を２値化したＩ_ｂｉｎを得る。

（２）２値化画像Ｉ_ｂｉｎをδ_ｉ×δ_ｉ（１≦ｉ≦ｍ）ピクセルの重なりのないブロックに分割する。ここで、δ_１はブロックの一辺の長さの初期値である。

（３）ブロック内に画素値が１の画素を含むブロックの数を数えて、それをｎ_ｉとする。

（４）以下の式からフラクタル次元Ｄ_ｉを求める。

（５）ブロックサイズをδ_ｉ＋１＝δ_ｉ／２のように更新して、アルゴリズム（２）〜（４）をδ_ｉ＝１となるまで繰り返す。

（６）ここでは、病変箇所をより特定し易くするために、入力画像のフラクタル次元Ｄを各ループにおけるフラクタル次元の平均値とする処理を行う。それは以下の式で表される。

なお、上記（１）は動的閾値法のアルゴリズム、（２）〜（６）はボックスカウント法のアルゴリズムを示している。すなわち、ここでは、上記ボックスカウント法のアルゴリズムの中で、２値化のために動的閾値法を用いている。これは、上記第１の実施形態のような静的閾値法では閾値を手動で設定する必要があり、最適な閾値を決定するために試行錯誤が必要となるためである。図７は動的閾値法と静的閾値法による２値化の結果を示す図である。図７（Ａ）の動的閾値法による２値画像の方が、図７（Ｂ）の静的閾値法に比べて部位の様子が明らかに明確になっていることがわかる。また、特に、病変箇所を特定し易くするために、本実施形態においては（６）のようにフラクタル次元を平均化する処理を行っている。

図８は、本実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。ステップＳ１からステップＳ５までの処理は前記第１の実施形態における処理と同じである。ステップＳ５で低値化処理部２６により低値化処理又はビットプレーン分解が行われると、複雑性演算部５１がフラクタル次元を用いて画像を数値化して可視化する（Ｓ６）。画像が数値化された結果、病変特定部５２が、複雑性が高いと判断された箇所を癌の病変であると特定する（Ｓ７）。表示制御部２７が、病変として特定された箇所の画像及びその旨を示す情報をディスプレイ２８に表示して（Ｓ８）、処理を終了する。

このように、本実施形態に係る内視鏡画像処理装置においては、低値化された前記画像情報における複雑性が高い箇所を抽出するため、特に、複雑な直線や曲線が多く観察される傾向にある病変を容易に見極めることができる。また、画像情報における複雑性が高い箇所を癌の病変箇所として出力するため、特に、複雑な直線や曲線が多く観察される傾向にある早期癌を容易に発見することができる。

（本発明の第３の実施形態）
本実施形態に係る内視鏡画像処理装置について、図９及び図１０を用いて説明する。本実施形態に係る内視鏡画像処理装置は、上記各実施形態において、色空間変換処理にＹＣｂＣｒ色空間を用い、周波数変換処理に離散ウェーブレット変換（以下、ＤＷＴという）を用い、演算時間を短縮するための前処理を加えたものである。なお、本実施形態において前記各実施形態と重複する説明は省略する。

図９は、本実施形態に係る内視鏡画像処理装置の機能ブロック図である。図９において、前記各実施形態における図２又は図５と異なるのは、色空間変換部２２で変換された色空間の成分に対して、後段処理の演算時間を短縮するために前処理を行う前処理部９１を備え、前処理がなされた画像に対して周波数変換等の後続の処理が実施されることである。また、上述したように、本実施形態においては周波数変換処理にＤＷＴを用いることから、周波数逆変換部２５は構成として必要ない。

前処理部９１は、入力された内視鏡画像の臓器以外の領域を除去し、処理対象を臓器のみが写っている画像にする。また、ＤＷＴを用いる場合には画像サイズを２のべき乗にする必要があるため、例えば、１０２４×１０２４ピクセルとなるようにミラーリングして拡張する。その他、成分の値が平均値より小さい部分（暗い部分）には病変が写っていないとものとして、その部分を後段処理の対象から除去することで、後段処理の演算時間を短縮する。

図１０は、本実施形態に係る内視鏡画像処理装置の動作を示すフローチャートである。まず、色空間変換部２２が、画像入力部２１で入力された白色光照明で撮像された内視鏡画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換すると共に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）及びＹ（輝度）の４成分を取り出す（Ｓ１）。なお、Ｃｂ（青系統の色相と彩度）及びＣｒ（赤系統の色相と彩度）成分については、特徴量が非常に少ないので、以降の処理では利用しないものとする。前処理部９１が、臓器が写っている領域のみが残るように画像を切り取る（Ｓ２）。また、ＤＷＴ処理のために、各成分の画像サイズを所定サイズ（例えば１０２４×１０２４（２のべき乗））のピクセルとなるように、ミラーリングして拡張する（Ｓ３）。さらに、各成分に対して、重なりのない所定サイズ（例えば、１２８×１２８ピクセル）のブロックに分割し、当該ブロックの平均値が成分の平均値の所定の割合（例えば、７０％）より低い場合は、当該ブロックの画素値を全て０とし、後段の処理対象から除外する（Ｓ４）。

Ｓ４で値が０以外のブロックに対して、周波数変換部２３がＤＷＴを複数回（画像サイズに応じて２回以上）適用する（Ｓ５）。ここでは、ＤＷＴを２回行うことで、各成分の画像サイズは、２５６×２５６ピクセルとなる。なお、本実施形態においては、以降の処理で低周波成分のみを使用する。すなわち、低周波成分を使用することで、コントラストが強調された主要成分に対して以降の処理を行う。なお、上述したように、ここでは周波数逆変換部２５による周波数逆変換の処理は必要ない。低値化処理部２６及び複雑性演算部５１が、各ブロックを所定サイズ（例えば、１６×１６ピクセル）で重なりのない小ブロックに分割し、ボックスカウント法を用いて、小ブロックごとにフラクタル次元を計算する（Ｓ６）。このとき、第２の実施形態のように低値化処理又はビットプレーン分解処理において動的閾値法を用いる。Ｒ成分、Ｇ成分、Ｂ成分及びＹ成分に対してそれぞれフラクタル次元を計算し、それぞれのフラクタル次元の要素ごとの積を以下のようにして計算する（Ｓ７）。

ここで、Ｄ_ｒｅｄ、Ｄ_{ｇｒｅｅｎ}、Ｄ_ｂｌｕｅ及びＤ_{ｌｕｍｉｎａｎｃｅ}は、それぞれＲ成分、Ｇ成分、Ｂ成分及びＹ成分において計算されたフラクタル次元を示す。病変特定部５２が各画素の明暗によって病変部位を特定すると共に、表示制御部２７が、Ｄ_ａｌｌをグレースケールでディスプレイ２８に表示して（Ｓ８）、処理を終了する。

このように、本実施形態に係る内視鏡画像処理装置においては、前処理として明らかに病変ではないと判断できる箇所を処理対象から除外することで、計算時間を短縮することができる。

本発明に係る内視鏡画像処理装置について、以下の実験を行った。
（１）ＦＩＣＥ画像、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間、離散Ｃｕｅｖｅｌｅｔ変換
上記第１の実施形態で説明した手法に基づいて実験を行った。実験にはＭＡＴＬＡＢのツールボックスで、２，３次元での高速離散Ｃｕｒｖｅｌｅｔ変換できるＣｕｒｖｅＬａｂを用いた。ＣｕｒｖｅｌｅｔＬａｂを使用して、離散Ｃｕｒｖｅｌｅｔ変換及び離散Ｃｕｒｖｅｌｅｔ逆変換を適用した。内視鏡画像は早期食道癌患者のものを使用した。

図１１は、本実施例における第１の実験結果を示す第１の図である。図１１（Ａ）は、色空間変換後のａ^＊成分、図１１（Ｂ）は、コントラスト強調されたＣｕｒｖｅｌｅｔ逆変換適用後の内視鏡画像、図１１（Ｃ）は、閾値処理により２値化された内視鏡画像である。図からわかる通り、処理を行うごとに食道の表面の状態の視認性が高くなっており、専門医が病変を見つけやすくなっている。

図１２は、本実施例における第１の実験結果を示す第２の図である。左側の図はＦＩＣＥ画像を見て専門医が癌であると診断した結果の画像を示し、右側の図は上記手法を用いた場合の結果の画像を示している。左側の図は、一般の人が見た場合に一見すると癌であると気づきにくい。これに対して、右側の図は、一般の人が見た場合でも何かしらの病変があると気づくことができる画像となっており、且つ、専門医が癌であると判断した箇所が確実に表示されている。なお、図１２の左側のＦＩＣＥ画像は白黒画像となっているが、実際のＦＩＣＥ画像はカラー画像である。

以上のように、本発明の内視鏡画像処理装置の処理により、専門医でなくても病変を認識できるレベルの内視鏡画像を出力することが可能である。

（２）白色光画像、ＲＧＢ色空間＋ＹＣｂＣｒ色空間、ＤＷＴ２回
上記第３の実施形態で説明した手法に基づいて、以下の環境で実験を行った。

図１３は、本実施例における第２の実験結果を示す図である。左の画像が、専門医によりマーキング付き内視鏡画像であり、中央の画像が、実数型ＤＷＴを使用した場合のフラクタル次元の画像であり、右の画像が整数型ＤＷＴを使用した場合のフラクタル次元の画像である。フラクタル次元の画像中の１つのブロックは、左の内視鏡画像の６４×６４ピクセルに相当し、内視鏡画像とフラクタル次元の画像との位置関係は一致している。フラクタル次元が周囲に比べて低く計算された部分、すなわち図面中で黒く表示されている部分を早期食道癌の疑いがある部位として特定している。そして、点線で示す領域が処理対象から除外された部分である。

図からわかる通り、実数型ＤＷＴと整数型ＤＷＴを使用した場合で抽出結果に大きな差はなかった。特徴量の抽出時間については、Ｒ、Ｇ、Ｂ及びＹの４成分について抽出処理を行ったが、各成分につき約７秒で全体でも約３０秒の処理時間だった。これは、前処理を行わなかった場合の処理時間に比べて約１７０秒以上の削減となり、大きな効果が得られた。時間短縮の理由は、ＤＷＴを適用する際のブロック処理を最適化したためである。

（３）白色光画像（富士フイルム株式会社製）、ＨＳＶ色空間、ダイアディックウェーブレット変換
白色光で撮像された画像をＨＳＶ色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図１４は、本実施例における第３の実験結果を示す図である。図１４（Ａ）は原画像、図１４（Ｂ）は専門医によるマーキング画像、図１４（Ｃ）はダイアディックウェーブレット変換でコントラスト強調した画像、図１４（Ｄ）は閾値処理により２値化した画像、図１４（Ｅ）はフラクタル次元を求めて可視化した画像である。

図からわかる通り、コントラスト強調や２値化処理により早期食道癌の部位が鮮明に表示され、最終的にフラクタル次元が高い箇所を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。すなわち、本発明の内視鏡画像処理により、白色光の内視鏡画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。

（４）ＦＩＣＥ画像（富士フイルム株式会社製）、ＨＳＶ色空間、ダイアディックウェーブレット変換
ＦＩＣＥ画像をＨＳＶ色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図１５は、本実施例における第４の実験結果を示す図である。図１５（Ａ）は原画像、図１５（Ｂ）は専門医によるマーキング画像、図１５（Ｃ）はダイアディックウェーブレット変換でコントラスト強調した画像、図１５（Ｄ）は閾値処理により２値化した画像、図１５（Ｅ）はフラクタル次元を求めて可視化した画像である。

上記（３）第３の実験の場合と同様に、コントラスト強調や２値化処理により早期食道癌の部位が鮮明に表示され、最終的にフラクタル次元が高い箇所を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。すなわち、本発明の内視鏡画像処理により、内視鏡システムのＦＩＣＥ画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。

（５）白色光画像（オリンパス株式会社製）、ＨＳＶ色空間、ダイアディックウェーブレット変換
白色光画像をＨＳＶ色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図１６は、本実施例における第５の実験結果を示す図である。図１６（Ａ）は原画像、図１６（Ｂ）は専門医によるマーキング画像、図１６（Ｃ）はダイアディックウェーブレット変換でコントラスト強調した画像、図１６（Ｄ）は閾値処理により２値化した画像、図１６（Ｅ）はフラクタル次元を求めて可視化した画像である。

上記（３）、（４）の実験の場合と同様に、コントラスト強調や２値化処理により早期食道癌の部位が鮮明に表示され、ここでは最終的にフラクタル次元が低い箇所、すなわち画像中の黒い部分を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。したがって、本発明の内視鏡画像処理により、内視鏡システムの白色光画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。

（６）ＮＢＩ画像（オリンパス株式会社製）、ＨＳＶ色空間、ダイアディックウェーブレット変換
ＮＢＩ画像をＨＳＶ色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図１７は、本実施例における第６の実験結果を示す図である。図１７（Ａ）は原画像、図１７（Ｂ）は専門医によるマーキング画像、図１７（Ｃ）はダイアディックウェーブレット変換でコントラスト強調した画像、図１７（Ｄ）は閾値処理により２値化した画像、図１７（Ｅ）はフラクタル次元を求めて可視化した画像である。

上記（３）〜（５）の実験の場合と同様に、コントラスト強調や２値化処理により早期食道癌の部位が鮮明に表示され、ここでは最終的にフラクタル次元が低い箇所、すなわち画像中の黒い部分を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。すなわち、本発明の内視鏡画像処理により、内視鏡システムのＮＢＩ画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。

（７）低値化処理
低値化処理について、以下の実験を行った。ここでは、２５６階調の画像を所定の階調をもつ閾値画像に変換する。この変換処理について、図１８の例で説明する。例えば、２５６階調の画像を８階調の閾値画像に変換する場合、図１８（Ａ）の画像は［０，３１］→１とし、それ以外の［３２，２５５］→０とする。図１８（Ｂ）の画像も同様の手法で［３２，６３］→１とし、それ以外の［０，３１］及び［６４，２５５］→０とする。図１８（Ｃ）〜（Ｈ）も同様の手法で順次８階調の閾値画像に変換する。これらの各画像のフラクタル次元を計算すると、図１９に示すような画像（Ａ）〜（Ｈ）（図１８の（Ａ）〜（Ｈ）に対応）が得られる。計算されたフラクタル次元から下位２５％（図１９の場合は、（Ａ）と（Ｂ）の画像であり、異常部位にあたる部分が集中している）を足し合わせることで、間引きされたフラクタル次元を計算することができる。

このような手法を用いて、様々な画像（白色光画像、ＦＩＣＥ画像、ＮＢＩ画像）に対して１６階調の閾値画像を生成し、フラクタル次元を計算した。その結果を図２０〜図２３に示す。図２０は白色光画像（富士フイルム株式会社製）の処理結果、図２１はＦＩＣＥ画像（富士フイルム株式会社製）の処理結果、図２２は白色光画像（オリンパス株式会社製）の処理結果、図２３はＮＢＩ（オリンパス株式会社製）の処理結果である。なお、各図における（Ａ）は原画像、（Ｂ）は専門医による診断結果、（Ｃ）はコントラスト強調画像、（Ｄ）は低値化してフラクタル次元を可視化した画像である。

図２０〜図２３に示すように、食道の中心部分がどうしても影になるため黒く表示されているものの、それ以外の専門医が癌と特定した部分も黒く表示されており、癌の部位が特定可能であることがわかる。

このように、低値化処理により早期食道癌の部位を区別して表示することが可能となり、内視鏡システムの画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能となる。

（８）ビットプレーン分解
ビットプレーン分解処理について、以下の実験を行った。ここでは、２５６階調の画像をビットプレーン分解する。この分解処理について、図２４の例で説明する。例えば、１８０という値を持つピクセルは、１８０＝１０１１０１００となり、図２４（Ａ：第８ビットプレーン）における当該ピクセルは０、図２４（Ｂ：第７ビットプレーン）における当該ピクセルは０、図２４（Ｃ：第６ビットプレーン）における当該ピクセルは１、図２４（Ｄ：第５ビットプレーン）における当該ピクセルは０、図２４（Ｅ：第４ビットプレーン）における当該ピクセルは１、図２４（Ｆ：第３ビットプレーン）における当該ピクセルは１、図２４（Ｇ：第２ビットプレーン）における当該ピクセルは０、図２４（Ｈ：第１ビットプレーン）における当該ピクセルは１となる。このような手法で図２４（Ａ）〜（Ｇ）のようなビットプレーン分解画像（最上位ビットが第１ビットプレーン、最下位ビットが第８ビットプレーン）を作成する。

作成された各ビットプレーン分解画像のフラクタル次元を計算すると、図２５に示すような分解画像（Ａ）〜（Ｈ）（図２４の（Ａ）〜（Ｈ）に対応）が得られる。フラクタル次元が計算された各分解画像のうち、（Ａ）、（Ｂ）及び（Ｆ）〜（Ｈ）の５枚を足し合わせて、一つのビットプレーン画像を作成する。なお、（Ｃ）〜（Ｅ）のフラクタル次元は、加算してもほとんど影響がないため、上記５枚の分解画像（第４ビットプレーン〜第６ビットプレーンを除いた間引き画像）でビットプレーン画像を作成する。

このような手法を用いて、様々な画像（白色光画像、ＦＩＣＥ画像、ＮＢＩ画像）に対してビットプレーン画像を生成した。その結果を図２６〜図２９に示す。図２６は、白色光画像（富士フイルム株式会社製）の処理結果、図２７はＦＩＣＥ画像（富士フイルム株式会社製）の処理結果、図２８は白色光画像（オリンパス株式会社製）の処理結果、図２９はＮＢＩ（オリンパス株式会社製）の処理結果である。なお、各図における（Ａ）は原画像、（Ｂ）は専門医による診断結果、（Ｃ）はコントラスト強調画像、（Ｄ）は低値化してフラクタル次元を可視化した画像である。

図２６〜図２９に示すように、専門医が癌と特定した部分も黒く表示されており、癌の部位が特定可能であることがわかる。

１０ 内視鏡画像処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ ＨＤ
１５ 通信Ｉ／Ｆ
１６ 入出力Ｉ／Ｆ
２０ 内視鏡システム
２１ 画像入力部
２２ 色空間変換部
２３ 周波数変換部
２４ コントラスト強調部
２５ 周波数逆変換部
２６ 低値化処理部
２７ 表示制御部
２８ ディスプレイ
５１ 複雑性演算部
５２ 病変特定部
９１ 前処理部

Claims (3)

1. カラーの内視鏡画像を任意の色空間に変換する色空間変換手段と、
   変換後の画像情報に対して周波数分解の処理を行う周波数変換処理手段と、
   前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理手段と、
   コントラストが強調された前記画像情報を低値化又はビットプレーン分解する低値化処理手段と、
   低値化された前記画像情報における複雑性が高い箇所を抽出する複雑性抽出手段と、
   前記画像情報における複雑性が高い箇所を癌の病変箇所として出力する病変出力手段とを備えることを特徴とする内視鏡画像処理装置。
2. コンピュータが、
   カラーの内視鏡画像を任意の色空間に変換する色空間変換ステップと、
   変換後の画像情報に対して周波数分解の処理を行う周波数変換処理ステップと、
   前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理ステップと、
   コントラストが強調された前記画像情報を低値化又はビットプレーン分解する低値化処理ステップと、
   低値化された前記画像情報における複雑性が高い箇所を抽出する複雑性抽出ステップと、
   前記画像情報における複雑性が高い箇所を癌の病変箇所として出力する病変出力ステップとを実行することを特徴とする内視鏡画像処理方法。
3. カラーの内視鏡画像を任意の色空間に変換する色空間変換手段、
   変換後の画像情報に対して周波数分解の処理を行う周波数変換処理手段、
   前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理手段、
   コントラストが強調された前記画像情報を低値化又はビットプレーン分解する低値化処理手段、
   低値化された前記画像情報における複雑性が高い箇所を抽出する複雑性抽出手段、
   前記画像情報における複雑性が高い箇所を癌の病変箇所として出力する病変出力手段としてコンピュータを機能させることを特徴とする内視鏡画像処理プログラム。