JP6124518B2 - 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム - Google Patents

Description

本発明は、波長帯域が互いに異なる光を用いて管腔内を撮像することにより得られる複数の分光帯域画像間の位置合わせを行う画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、患者の管腔内を非侵襲に観察可能な医用観察装置として内視鏡が広く普及している。内視鏡による撮像方法としては、照明方法の違いにより、面順次式と同時式とが知られている。面順次式とは、波長帯域が互いに異なる光を被写体（管腔内）に順次照射して撮像を行い、複数の分光帯域画像を取得する方法である。

面順次式においては、各分光帯域画像の撮像タイミングが異なるため、管腔の収縮運動等の影響により、分光帯域画像間において位置ずれ（色ずれと呼ばれる）が生じる。この色ずれは、管腔内の観察等に影響を与えかねないため、分光帯域画像間の位置合わせを行う場合がある。

分光帯域画像間の位置合わせに関連する技術として、特許文献１には、各分光帯域画像における血管情報に基づいて位置合わせを行う技術が開示されている。より詳細には、２種類の空間フィルタによって太さが互いに異なる血管を強調し、強調された血管をそれぞれ、表層の血管及び中層の血管であると看做す。そして、表層血管の位置情報を用いて短波長の分光帯域画像と中波長の分光帯域画像との位置合わせを行い、中層血管の位置情報を用いて中波長の分光帯域画像と長波長の分光帯域画像との位置合わせを行う。

特開２０１１−１９４１５１号公報

しかしながら、上記特許文献１においては、特定の太さの血管のみを強調して位置合わせを行っているため、中波長や長波長の分光帯域画像における表層血管や微細構造のように、精度の良い位置合わせのために有用な他の情報が考慮されていない。そのため、精度の良好な位置合わせを行うことが困難である。

本発明は、上記に鑑みて為されたものであって、面順次式の内視鏡によって取得された複数の分光帯域画像間において、精度の良好な位置合わせを実行することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置において、前記複数の分光帯域画像を取得する分光帯域画像取得手段と、前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出手段と、前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出手段と、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせ手段と、を備えることを特徴とする。

本発明に係る画像処理方法は、波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理方法において、前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出ステップと、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出ステップと、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、を含むことを特徴とする。

本発明によれば、少なくとも１つの分光帯域画像内の各画素から抽出された空間周波数帯域毎の特徴量に基づいて、該分光帯域画像に与えられる空間周波数帯域毎の重みを算出するので、該重みを用いることにより、分光帯域画像の波長の影響を受け難い空間周波数帯域の特徴を生かした位置合わせを行うことができる。従って、複数の分光帯域画像間において、精度の良好な位置合わせを実行することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、テンプレート用画像から作成された空間周波数帯域別の画像を示す模式図である。 図４は、図１に示す重み算出部が実行する処理を示すフローチャートである。 図５は、画素値のプロファイルが凹になる領域の例を示すグラフである。 図６は、図１に示す位置合わせ部が実行する処理を示すフローチャートである。 図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図８は、図７に示す重み算出部が実行する処理を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。本実施の形態１に係る画像処理装置１は、面順次式の内視鏡によって管腔内を撮像することにより取得された複数の分光帯域画像間における位置合わせを実行する装置である。面順次式においては、通常、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各分光帯域画像が順次取得される。なお、分光帯域画像としては、上記Ｒ、Ｇ、Ｂの３つに限定されず、４つ以上の分光帯域画像を取得しても良い。一例として、Ｒの帯域から２つの狭帯域（以下、Ｒ１、Ｒ２と表す）を抽出し、Ｒ１、Ｒ２、Ｇ、Ｂの４つの分光帯域画像を取得しても良い。また、別の例として、さらにＢの帯域から２つの狭帯域（以下、Ｂ１、Ｂ２と表す）を抽出し、Ｒ１、Ｒ２、Ｇ、Ｂ１、Ｂ２の５つの分光帯域画像を取得しても良い。

また、本実施の形態１においては、順次取得されたＲ、Ｇ、Ｂの各分光帯域画像の内の１つをテンプレート用画像として選出し、他の分光帯域画像に対してそれぞれ位置合わせを行う。なお、テンプレート用画像として選出する分光帯域画像は１つに限定されず、２つ以上であっても良い。この場合、例えば、Ｒの分光帯域画像から作成したテンプレートを用いてＧの分光帯域画像の位置合わせを行い、Ｇの分光帯域画像から作成したテンプレートを用いてＢの分光帯域画像の位置合わせを行うといった処理も可能である。また、上述したように、分光帯域画像は４つ以上とすることも可能であるため、テンプレート用画像として選出する分光帯域画像及び位置合わせ対象の分光帯域画像としては、様々な組み合わせが考えられる。

図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部２０を、内視鏡からケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、面順次式の内視鏡により取得された複数の分光帯域画像間における位置合わせを当該画像処理装置１に実行させる画像処理プログラム５１や、このプログラムの実行中に使用される種々の情報等を格納する。

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対する画像処理を施し、面順次式の内視鏡により取得された複数の分光帯域画像間における位置合わせを実行する。

次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、複数の分光帯域画像を取得する分光帯域画像取得部１１０と、該複数の分光帯域画像のうちの少なくとも１つの分光帯域画像の各画素から空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出部１２０と、該特徴量に基づいて、上記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出部１３０と、該重みに基づいて複数の分光帯域画像間の位置合わせを行う位置合わせ部１４０とを備える。

分光帯域画像取得部１１０は、記録部５０から画像データを読み込むことにより、面順次式により順次撮像されたＲ、Ｇ、Ｂ分光帯域画像の３画像、又はこの内の連続する２画像を、処理対象の分光帯域画像として取得する。

空間周波数成分抽出部１２０は、複数の分光帯域画像のうちの少なくとも１つを、位置合わせに用いられるテンプレートを作成するための画像（以下、テンプレート用画像という）とし、該テンプレート用画像内の各画素から空間周波数帯域毎の特徴量を抽出する。

重み算出部１３０は、テンプレート用画像から複数の局所領域を抽出する領域抽出部１３１と、テンプレート用画像内の各画素の空間周波数成分から、各局所領域における空間周波数帯域毎の特徴量（以下、局所周波数特徴量という）を算出する局所周波数特徴量算出部１３２と、該局所周波数特徴量に基づいて、各局所領域に与えられる空間周波数帯域毎の重み（以下、局所重みという）を算出する局所重み算出部１３３とを備える。

このうち、局所周波数特徴量算出部１３２は、テンプレート画像から、空間周波数成分の振幅が負である画素領域（以下、負領域という）を抽出する負領域抽出部１３２ａと、各局所領域に対して空間周波数帯域毎に、負領域における振幅の絶対値の平均値を算出する平均振幅算出部１３２ｂとを備え、空間周波数帯域毎に算出された平均値を当該局所領域における局所周波数特徴量とする。

また、局所重み算出部１３３は、局所周波数特徴量が所定の閾値以上である空間周波数帯域を抽出する閾値処理部１３３ａと、該閾値処理部１３３ａにより抽出された空間周波数帯域のうち、局所周波数特徴量が最小である空間周波数帯域を抽出する最小帯域抽出部１３３ｂと、該最小帯域抽出部１３３ｂにより抽出された空間周波数帯域の局所周波数特徴量に対する、閾値処理部１３３ａにより抽出された空間周波数帯域の局所周波数特徴量の比率を算出する比率算出部１３３ｃとを備え、この比率を局所重みとして出力する。

次に、画像処理装置１の動作を説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、分光帯域画像取得部１１０は、記録部５０に記録された画像データを読み込み、処理対象とする複数の分光帯域画像を取得する。

続くステップＳ１１において、空間周波数成分抽出部１２０は、ステップＳ１０において取得した画像のうちの１つをテンプレート用画像として選択し、該テンプレート用画像内の各画素から、空間周波数帯域毎の特徴量として、空間周波数帯域毎の画素値の振幅情報（以下、空間周波数成分という）を抽出する。

本実施の形態１においては、テンプレート用画像に対してＤＯＧ（Difference of Gaussian）を施すことにより、各画素の空間周波数成分を抽出する。ここで、ＤＯＧとは、元の画像に対してスケールが互いに異なるガウシアンフィルタ処理を施して得られた画像間の差分を算出する処理であり（参考：アドコム・メディア株式会社、「コンピュータビジョン最先端ガイド２」、第８頁）、画像に対するバンドパスフィルタ処理に相当する。図３に示すように、テンプレート用画像Ｍ１に対するＤＯＧにより算出された各差分画像ｍ（ｆ_n）（ｎ＝１、２、…）が、空間周波数帯域別の画像に相当し、各差分画像ｍ（ｆ_n）内の座標（ｘ，ｙ）における画素の画素値Ｙ（ｘ，ｙ，ｆ_n）が、空間周波数帯域ｆ_nにおける空間周波数成分に相当する。以下、差分画像ｍ（ｆ_n）を帯域画像と呼ぶ。

なお、本ステップＳ１１においては、テンプレート用画像内の各画素から空間周波数成分を抽出することができれば、一般的に知られるバンドパスフィルタ処理等、他の処理を実行しても良い。

続くステップＳ１２において、重み算出部１３０は、各画素の空間周波数成分に基づいて、空間周波数帯域毎の重みを算出する。図４は、ステップＳ１２において重み算出部１３０が実行する処理の詳細を示すフローチャートである。

ステップＳ１２１において、領域抽出部１３１は、図３の破線で示すように、テンプレート用画像Ｍ１を複数の矩形領域ｒ_kに分割する。なお、符号ｋ（ｋ＝１、２、…）は、矩形領域ｒ_kの並び順を示す。各矩形領域ｒ_kのサイズは、各空間周波数帯域ｆ_nに対応する波長よりも十分に大きくなるように決定される。なお、図３においては、各矩形領域ｒ_kに対応する帯域画像ｍ（ｆ_n）内の領域を、矩形領域ｒ（ｋ，ｆ_n）で示している。

続いて、重み算出部１３０は、各矩形領域ｒ_kに対してループＡの処理を実行する。
まず、ステップＳ１２２において、局所周波数特徴量算出部１３２は、空間周波数帯域ｆ_n毎に、負領域における空間周波数成分の絶対値｜Ｙ（ｘ，ｙ，ｆ_n）｜の平均値を算出する。ここで、空間周波数帯域ｆ_nにおける負領域は、図５に示すように、周囲の領域に対して画素値のプロファイルが１／ｆ_n程度の間隔で凹となる領域に相当する。

より詳細には、負成分抽出部１３２ａは、処理対象の矩形領域内を順に探索し、空間周波数成分Ｙ（ｘ，ｙ，ｆ_n）が負である画素を抽出する。平均振幅算出部１３２ｂは、負の画素が抽出される毎に、抽出された画素の空間周波数成分Ｙ（ｘ，ｙ，ｆ_n）を加算していく。そして、矩形領域内の全画素の探索後、空間周波数成分Ｙ（ｘ，ｙ，ｆ_n）の合計値の絶対値を、抽出された画素数で除算する。以下、このようにして算出された平均値のことを、矩形領域ｒ_kにおける空間周波数帯域ｆ_nの局所周波数特徴量ｃ（ｋ，ｆ_n）とする。

ステップＳ１２３において、閾値処理部１３３ａは、ステップＳ１２２において算出された空間周波数帯域ｆ_n毎の局所周波数特徴量ｃ（ｋ，ｆ_n）に対して閾値処理を施し、局所周波数特徴量ｃ（ｋ，ｆ_n）が所定の閾値以上である空間周波数帯域ｆ_nを抽出する。

ステップＳ１２４において、最小帯域抽出部１３３ｂは、ステップＳ１２２において抽出された空間周波数帯域ｆ_nのうち、局所周波数特徴量ｃ（ｋ，ｆ_n）が最小である空間周波数帯域（以下、最小帯域という）ｆ_(min)を抽出する。

さらに、ステップＳ１２５において、比率算出部１３３ｃは、最小帯域ｆ_(min)の局所周波数特徴量ｃ（ｋ，ｆ_(min)）に対する、ステップＳ１２３において抽出された各空間周波数帯域ｆ_nの局所周波数特徴量ｃ（ｋ，ｆ_n）の比率ｃ（ｋ，ｆ_n）／ｃ（ｋ，ｆ_(min)）を算出する。局所重み算出部１３３は、このようにして算出された比率ｃ（ｋ，ｆ_n）／ｃ（ｋ，ｆ_(min)）を、空間周波数帯域ｆ_n毎の重みｗ（ｋ，ｆ_n）として設定する。なお、ステップＳ１２３において抽出されなかった空間周波数帯域ｆ_nの重みは、１に設定される。

以上の処理により、各矩形領域ｒ_kに対し、周囲よりも画素値プロファイルが凹となる特徴を示す空間周波数帯域を強調するような重みが設定される。
全ての矩形領域ｒ_kに対してループＡの処理が終了した後、処理はメインルーチンに戻る。

なお、本実施の形態１においては、テンプレート用画像を分割した複数の矩形領域ｒ_kの各々に対し、最小帯域の局所周波数特徴量を基準とする重みを算出したが、各矩形領域ｒ_kに対して、周囲よりも画素値プロファイルが凹となる特徴を示す空間周波数帯域ｆ_nを強調するような重みを算出することができれば、他の手法で重みを算出しても良い。

ステップＳ１２に続くステップＳ１３において、位置合わせ部１４０は、算出された重みに基づいて、分光帯域画像間の位置合わせを行う。図６は、ステップＳ１３において位置合わせ部１４０が実行する処理の詳細を示すフローチャートである。

ステップＳ１３１において、位置合わせ部１４０は、テンプレート用画像Ｍ１内の各矩形領域ｒ_kに対し、ステップＳ１２において算出された重みｗ（ｋ，ｆ_n）を、各画素の対応する空間周波数成分に掛け合わせる。

ステップＳ１３２において、位置合わせ部１４０は、重みが掛け合わされた周波数成分を画素毎に足し合わせる。それにより、重みに応じて空間周波数成分が強調された画像が作成される。即ち、周囲よりも画素値プロファイルが凹になった領域がより強調された画像が作成される。

ステップＳ１３３において、位置合わせ部１４０は、ステップＳ１３２において作成された画像をテンプレートとして用い、テンプレートと他の分光帯域画像との位置合わせを行う。位置合わせの手法としては、例えばＬＫ（Lucas-Kanade）法等の公知の手法が用いられる。ここで、ＬＫ法は、２つの画像間における画素座標の変化を表すパラメータベクトルをＰ（ｐ₁，ｐ₂）とするとき、これらの画像間で画素値の差分２乗和が最小となるようなパラメータベクトルＰを求める手法である。
このような処理により、テンプレート用画像として選択された分光帯域画像と他の分光帯域画像との間で、対応する画素同士の座標情報の関連付けがなされる。

ステップＳ１３に続くステップＳ１４において、演算部１００は、位置合わせ結果を出力し、記録部５０に記憶させる。また、この際に、演算部１００は、位置合わせ結果に基づいてＲ、Ｇ、Ｂの分光帯域画像を重ね合わせた合成画像を作成し、合成画像を表示部４０に表示させても良い。

以上説明したように、実施の形態１においては、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域を抽出し、この空間周波数帯域における振幅情報を強調するような重みを算出する。具体的には、これらの重みにより、表層血管や粘膜の微細構造のように、波長によらず、照射光を吸収し易い領域を表す周波数成分が強調される。このように、分光帯域画像の波長の影響を受け難い情報が強調されたテンプレートを作成するので、位置合わせの精度を向上させることが可能となる。

上記実施の形態１においては、テンプレート用画像を分割した複数の矩形領域の各々について局所周波数特徴量を算出したが、領域分割を行うことなく、各画素について局所周波数特徴量を算出しても良い。この場合、図４に示すステップＳ１２１及びステップＳ１２２を省略することができる。また、ステップＳ１２３においては、各画素に対し、空間周波数成分が負となる空間周波数帯域のうち、空間周波数成分の絶対値が所定の閾値以上となる空間周波数帯域を抽出すれば良い。

また、上記実施の形態１においては、画像を複数の領域に分割した各領域に対して空間周波数帯域毎の重みを算出した後、画像単位で位置合わせを行ったが、分割した領域毎に位置合わせを行っても良い。ここで、本実施の形態１における撮像対象は例えば管腔内（粘膜）であり、非剛体なので、領域毎に位置ずれの方向が異なっていることも考えられる。具体的には、ある領域では上方向に位置ずれが生じ、別の領域では右方向に位置ずれが生じているといった状況もあり得る。このような場合、領域毎に位置合わせを行うことにより、画像全体における位置合わせの精度を向上させることが可能となる。

或いは、領域毎に位置合わせを行う代わりに、画素単位で位置合わせを行っても良い。具体的には、空間周波数成分を算出する際の周囲の領域を画素毎に設定し、図４のステップＳ１２２〜Ｓ１２５を各画素に対して実行することにより、対象画素の周囲の領域における空間周波数帯域毎の重みを算出する。そして、算出された重みを用いて、周囲の領域と他の分光帯域画像との間で位置合わせを行う。それにより得られた結果を、各画素における位置合わせ結果（変形パラメータ）とする。

また、上記実施の形態１においては、Ｒ、Ｇ、Ｂの各分光帯域画像のうちの１つの画像をテンプレート用画像としたが、２つ以上の分光帯域画像をテンプレート用画像としても良い。例えば、Ｒ分光帯域画像から作成したテンプレートを用いて、次のタイミングで取得されたＧ分光帯域画像との位置合わせを行い、Ｇ分光帯域画像から作成したテンプレートを用いて、次のタイミングで取得されたＢ分光帯域画像との位置合わせを行い、Ｂ分光帯域画像から作成したテンプレートを用いて、次のタイミングで取得されたＲ分光帯域画像との位置合わせを行うなどしても良い。或いは、上述したように、４つ以上の分光帯域画像を取得し、そのうちの２つ以上の分光帯域画像からテンプレートを作成することにより、テンプレートと位置合わせ対象の分光帯域画像とを様々に組み合わせて位置合わせを行っても良い。

また、上記実施の形態１においては、位置合わせ対象の分光帯域画像に対する処理について特に言及していないが、位置合わせ対象の分光帯域画像に対して所定の処理を施しても良い。例えば、位置合わせ対象の分光帯域画像に対し、テンプレートと同様に重みを用いて空間周波数を強調した上で、テンプレートを用いて位置合わせを行うと、位置合わせ精度をさらに向上させることが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図７に示すように、実施の形態２に係る画像処理装置２は、図１に示す重み算出部１３０の代わりに重み算出部２１０を有する演算部２００を備える。重み算出部２１０以外の演算部２００内の各部の構成及び動作、並びに画像処理装置２の各部の構成及び動作は、実施の形態１と同様である。

図７に示すように、重み算出部２１０は、仮重み算出部２１１及び仮重み制御部２１２を備える。仮重み算出部２１１は、実施の形態１における重み算出部１３０と同様に、領域抽出部１３１、局所周波数特徴量算出部１３２、及び局所重み算出部１３３を備え、局所周波数特徴量に基づいて算出される空間周波数帯域毎の重みを仮重みとして出力する。

仮重み制御部２１２は、仮重み算出部２１１によって算出された仮重みのうち、テンプレート用画像の波長帯域に応じて選択される空間周波数帯域における仮重みを強調又は抑制することにより、局所重みを算出する。より詳細には、仮重み制御部２１２は、テンプレート用画像の波長帯域に応じて所定の空間周波数帯域を選択する空間周波数帯域選択部２１２ａと、選択された空間周波数帯域の局所周波数特徴量に対して閾値処理を行う閾値処理部２１２ｂと、局所周波数特徴量が所定の閾値以上と判別された空間周波数帯域における仮重みを強調する仮重み強調部２１２ｃとを有する。

次に、画像処理装置２の動作について説明する。画像処理装置２の動作は、全体として図２に示すものと同様であり、ステップＳ１２において重み算出部２１０が実行する詳細な処理が実施の形態１とは異なる。

図８は、ステップＳ１２において重み算出部２１０が実行する処理を示すフローチャートである。なお、図８に示すステップＳ２２１〜Ｓ２２４は、図４に示すステップＳ１２１〜Ｓ１２４と対応している。

ステップＳ２２４に続くステップＳ２２５において、局所重み算出部１３３は、最小帯域ｆ_(min)における局所周波数特徴量ｃ（ｋ，ｆ_(min)）に対する、ステップＳ２２３において抽出された空間周波数帯域ｆ_nの局所周波数特徴量ｃ（ｋ，ｆ_n）の比率ｃ（ｋ，ｆ_n）／ｃ（ｋ，ｆ_(min)）を算出し、この比率ｃ（ｋ，ｆ_n）／ｃ（ｋ，ｆ_(min)）を、空間周波数帯域ｆ_nの仮重みｗ’（ｋ，ｆ_n）として設定する。なお、ステップＳ２２３において抽出されなかった空間周波数帯域ｆ_nの仮重みは、１に設定される。

続くステップＳ２２６〜Ｓ２２８において、仮重み制御部２１２は、テンプレート用とした分光帯域画像の波長帯域に応じて仮重みを制御する。
ここで、分光帯域画像において高周波成分として表れる情報は、粘膜面の微細構造や粘膜表層の微細血管に対応する。このうち、粘膜面の微細構造は、波長帯域によらず分光帯域画像に表れる。また、血管における吸光度が低い長波長の分光帯域画像（例えば、Ｒの分光帯域画像）にも微細血管が表れていれば、他の分光帯域画像にも同様の微細血管が表れている可能性が高い。即ち、長波長の分光帯域画像における高周波成分の強度が強い場合、他の分光帯域画像においても高周波成分が強くなる傾向があり、高周波成分は位置合わせにおいて重要な情報となる。従って、テンプレート用画像が長波長の分光帯域画像であり、且つ、該分光帯域画像における高周波成分の強度が強ければ、高周波成分の重みがより大きくなるよう仮重みを強調する。

そのために、ステップＳ２２６において、空間周波数帯域選択部２１２ａは、テンプレート用画像の波長帯域に基づいて、重みを強調すべき空間周波数帯域を選択する。具体的には、テンプレート用画像がＲの分光帯域画像である場合に、空間周波数成分の強度（又は、振幅の絶対値）が所定の閾値以上であり、且つ、空間周波数帯域が所定の帯域以上である高周波帯域を選択する。

続いて、仮重み制御部２１２は、選択された各空間周波数帯域に対してループＣの処理を実行する。即ち、ステップＳ２２７において、閾値処理部２１２ｂは、ステップＳ２２２において算出された平均値（局所周波数特徴量）が所定の閾値以上であるか否かを判定する。なお、ステップＳ２２７における閾値は、ステップＳ２２３における閾値よりも大きい値が設定される。

局所周波数特徴量が閾値以上である場合（ステップＳ２２７：Ｙｅｓ）、仮重み強調部２１２ｃは、処理対象の空間周波数帯域における仮重み（ステップＳ２２５参照）に所定の係数（＞１）を掛け合わせることにより強調する（ステップＳ２２８）。一方、局所周波数特徴量が閾値よりも小さい場合（ステップＳ２２７：Ｎｏ）、当該空間周波数帯域に対する処理はそのまま終了する。

ステップＳ２２６において選択された全ての空間周波数帯域に対してループＣの処理が終了し、さらに、全ての矩形領域に対してループＢの処理が終了した後、処理はメインルーチンに戻る。

以上説明したように、実施の形態２によれば、局所周波数特徴量に基づいて算出された仮重みに対し、テンプレート用画像の波長帯域に応じて選択された空間周波数帯域における重みを強調する。従って、このような重みを用いることにより、分光帯域画像間における位置合わせの精度をより向上させることが可能となる。

（変形例１）
次に、上記実施の形態２に対し、テンプレート用画像が非常に短い波長の分光帯域画像である場合について説明する。非常に短い波長の分光帯域画像をテンプレート用画像とする場合において、他の分光帯域画像で抽出し得る高周波成分よりもさらに高い空間周波数成分が抽出されたときには、そのような空間周波数成分を抑制することとしても良い。そのような周波数成分は、他の分光帯域画像に表れにくく、位置合わせに使用することが難しいからである。

具体的な処理としては、ステップＳ２２６において、空間周波数帯域選択部２１２ａは、テンプレート用画像が非常に短い波長の分光帯域画像である場合に、空間周波数帯域が所定の帯域以上である高周波帯域を選択する。また、ステップＳ２２８において、仮重み強調部２１２ｃは、局所周波数特徴量が所定の閾値以上と判断された仮重みに対し、所定の係数（＜１）を掛け合わせる。これにより、選択された空間周波数帯域における仮重みを抑制することができる。

以上説明した変形例１によれば、位置合わせに使用することが難しい情報が低減されたテンプレートを作成することができるので、位置合わせの精度を向上させると共に、位置合わせに要する処理時間を短縮することが可能となる。

（変形例２）
上述した実施の形態１及び２においては、画像空間における空間周波数成分を用いて、各矩形領域における空間周波数帯域毎の重み又は仮重みを算出した。しかしながら、周波数空間における情報を用いて、同様の重み又は仮重みを算出しても良い。以下、周波数空間における情報を用いる具体的な処理について説明する。なお、以下においては、実施の形態１に対応する重みを算出する場合を説明するが、実施の形態２に対応する仮重みを算出する場合も、同様の処理となる。

重み算出部１３０は、図４のステップＳ１２１において分光帯域画像を複数の矩形領域に分割した後、各矩形領域に対してフーリエ変換を施すことにより、画像空間における情報を周波数空間における情報に変換する。そして、予め設定された１以上の空間周波数帯域におけるパワー（強度）スペクトルを算出する。

その後、ステップＳ１２２をスキップし、重み算出部１３０は、各矩形領域に対して算出された各空間周波数帯域の強度を局所周波数特徴量として、ステップＳ１２３〜Ｓ１２５の処理を実行する。即ち、強度が所定の閾値以上である空間周波数帯域を抽出し、抽出された空間周波数帯域のうちから強度が最小となる空間周波数帯域（最小帯域）を抽出する。そして、最小帯域における強度に対する各空間周波数帯域における強度との比率を、空間周波数帯域毎の重みとして算出する。

（変形例３）
上述した実施の形態１及び２においては、各矩形領域に対して空間周波数帯域毎に算出された重みをもとに空間周波数成分を強調したテンプレートを作成し、該テンプレートを用いた一般的な位置合わせ手法（ＬＫ法等）により他の分光帯域画像との位置合わせを行った。しかしながら、位置合わせの方法としては、上述した方法に限定されない。本変形例３においては、他の位置合わせの例を説明する。

まず、位置合わせ部１４０は、位置合わせ対象の分光帯域画像を、ＤＯＧ処理により複数の空間周波数帯域別の画像（以下、帯域画像という）に分離する。そして、各帯域画像とテンプレートとの間で位置合わせを行い、空間周波数帯域毎の変形パラメータを算出する。ここで、変形パラメータとは、例えば、２つの画像間において対応する被写体の平行移動量や拡大又は縮小のスケールのことである。さらに、位置合わせ部１４０は、重み算出部１３０により算出された空間周波数帯域毎の重みと変形パラメータとを掛け合わせ、全ての空間周波数帯域間における平均値を算出する。位置合わせ部１４０は、このように重み付け平均処理がなされた変形パラメータを、テンプレートと位置合わせ対象の分光帯域画像との間の総合的な位置合わせ結果として出力する。

以上説明した実施の形態１及び２並びにこれらの変形例１〜３に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１及び２並びにこれらの変形例１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

なお、本発明は、実施の形態１及び２並びにこれらの変形例１〜３に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１、２ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００ 演算部
１１０ 分光帯域画像取得部
１２０ 空間周波数成分抽出部
１３０、２１０ 重み算出部
１３１ 領域抽出部
１３２ 局所周波数特徴量算出部
１３２ａ 負成分抽出部
１３２ｂ 平均振幅算出部
１３３ 局所重み算出部
１３３ａ 閾値処理部
１３３ｂ 最小帯域抽出部
１３３ｃ 比率算出部
１４０ 位置合わせ部
２１１ 仮重み算出部
２１２ 仮重み制御部
２１２ａ 空間周波数帯域選択部
２１２ｂ 閾値処理部
２１２ｃ 仮重み強調部

Claims (10)

1. 波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置において、
   前記複数の分光帯域画像を取得する分光帯域画像取得手段と、
   前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出手段と、
   前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像から、空間周波数成分が負である画素領域を空間周波数帯域毎に抽出し、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域の空間周波数成分を強調する重みを前記空間周波数帯域毎に算出する重み算出手段と、
   前記空間周波数帯域毎の前記重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせ手段と、
   を備えることを特徴とする画像処理装置。
2. 前記重み算出手段は、
   前記少なくとも１つの分光帯域画像から複数の局所領域を抽出する局所領域抽出手段と、
   前記少なくとも１つの分光帯域画像内の前記各画素から抽出された前記空間周波数帯域毎の特徴量から、前記複数の局所領域の各々における空間周波数帯域毎の特徴量である局所周波数特徴量を算出する局所周波数特徴量算出手段と、
   前記局所周波数特徴量に基づいて、前記複数の局所領域の各々に与えられる前記空間周波数帯域毎の前記重みを局所重みとして算出する局所重み算出手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記局所周波数特徴量算出手段は、
   前記少なくとも１つの分光帯域画像から、空間周波数成分が負の画素領域である負領域を抽出する負領域抽出手段と、
   前記複数の局所領域の各々に対し、前記空間周波数帯域毎に、前記負領域における空間周波数成分の絶対値の平均値を算出する平均振幅算出手段と、
   を備え、前記空間周波数帯域毎に算出された前記平均値を当該局所領域における前記局所周波数特徴量とすることを特徴とする請求項２に記載の画像処理装置。
4. 前記局所重み算出手段は、
   前記局所周波数特徴量が所定の閾値以上である空間周波数帯域を抽出する閾値処理手段と、
   前記閾値処理手段により抽出された前記空間周波数帯域のうち、前記局所周波数特徴量が最小である空間周波数帯域を抽出する最小帯域抽出手段と、
   前記最小帯域抽出手段により抽出された空間周波数帯域の前記局所周波数特徴量に対する、前記閾値処理手段により抽出された空間周波数帯域の前記局所周波数特徴量の比率を算出する比率算出手段と、
   を備えることを特徴とする請求項２に記載の画像処理装置。
5. 前記局所重み算出手段は、前記局所周波数特徴量に加え、前記少なくとも１つの分光帯域画像の波長帯域に基づいて前記局所重みを算出することを特徴とする請求項２に記載の画像処理装置。
6. 前記局所重み算出手段は、前記局所周波数特徴量に基づいて算出された前記局所重みのうち、前記波長帯域に応じて選択される空間周波数帯域における局所重みを強調又は抑制することを特徴とする請求項５に記載の画像処理装置。
7. 前記局所重み算出手段は、
   前記波長帯域に応じて選択される空間周波数帯域の前記局所周波数特徴量に対して閾値処理を行う閾値処理手段と、
   前記閾値処理手段により前記局所周波数特徴量が所定の閾値以上と判別された空間周波数帯域において、前記局所周波数特徴量に基づいて算出された局所重みに所定の係数を掛け合わせる仮重み強調手段と、
   を備えることを特徴とする請求項６に記載の画像処理装置。
8. 前記位置合わせ手段は、前記空間周波数帯域毎の前記重みを用いて前記少なくとも１つの分光帯域画像内の各画素の画素値を強調することによりテンプレートを作成し、該テンプレートを用いて前記複数の分光帯域画像間の位置合わせを行うことを特徴とする請求項１に記載の画像処理装置。
9. 波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置の作動方法であって、
   演算部が、前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、
   演算部が、前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、
   演算部が、各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像から、空間周波数成分が負である画素領域を空間周波数帯域毎に抽出し、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域の空間周波数成分を強調する重みを前記空間周波数帯域毎に算出する重み算出ステップと、
   演算部が、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、
   を含むことを特徴とする画像処理装置の作動方法。
10. 波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
    前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、
    前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、
    各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像から、空間周波数成分が負である画素領域を空間周波数帯域毎に抽出し、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域の空間周波数成分を強調する重みを前記空間周波数帯域毎に算出する重み算出ステップと、
    前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、
    を含むことを特徴とする画像処理プログラム。

Images