JP6653386B2 - 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 - Google Patents

Description

本発明は、画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法等に関する。

従来、フレーム間の位置合わせを行う手法（動きベクトルの検出手法）が広く知られている。動きベクトルの検出には、ブロックマッチング等の手法が広く用いられている。フレーム間のノイズ低減（Noise Reduction，以下ＮＲとも表記）では、検出した動きベクトルを用いてフレーム間を位置合わせ（位置ずれ補正）した状態で、複数フレームを加重平均する。これによりＮＲと、解像感保持の両立が可能となる。また、動きベクトルはＮＲ以外にも種々の処理に利用可能である。

一般に、ブロックマッチング処理を初めとした動き検出処理では、ノイズ成分の影響で動きベクトルを誤検出するおそれがある。誤検出された動きベクトルを用いてフレーム間ＮＲ処理を行うと、解像感の低下や、実際には存在しない像（アーティファクト）が生成されてしまう。

これに対し、例えば特許文献１には、ＮＲ処理を施したフレームに基づき動きベクトルを検出することで、上記ノイズの影響を軽減する手法が開示されている。ここでのＮＲ処理とは、例えばＬＰＦ（Low Pass Filter）処理である。

特開２００６−２３８１２号公報

特許文献１の手法では一律の条件でＬＰＦを施す。そのため、ノイズ成分が少ない明部にもＬＰＦを施すため、エッジ成分がぼけて動きベクトルの検出精度が劣化する課題がある。さらにノイズ成分が非常に多い場合、ＬＰＦの効果が弱く、動きベクトルの誤検出を十分に抑制できない課題も存在する。

本発明の幾つかの態様によれば、ノイズによる動きベクトル誤検出を抑制しつつ、動きベクトルの検出精度を高めることが可能な画像処理装置、内視鏡システム、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、画像を時系列に取得する画像取得部と、前記画像の画素値に基づく輝度特定情報を求め、前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出する動きベクトル検出部と、を含み、前記動きベクトル検出部は、前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くする画像処理装置に関係する。

本発明の一態様では、動きベクトルの検出処理において、輝度に応じて低域周波数成分と高域周波数成分の相対的な寄与度を制御する。このようにすれば、暗部では低域周波数成分の寄与度を相対的に高くすることでノイズによる影響を低減し、明部では高域周波数成分の寄与度を相対的に高くすることで高精度での動きベクトル検出を行うこと等が可能になる。

また本発明の他の態様は、画像を時系列に撮像する撮像部と、前記画像の画素値に基づく輝度特定情報を求め、前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出する動きベクトル検出部と、を含み、前記動きベクトル検出部は、前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くする内視鏡システムに関係する。

また本発明の他の態様は、画像を時系列に取得し、前記画像の画素値に基づく輝度特定情報を求め、前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出する、ステップをコンピュータに実行させ、前記動きベクトルの検出において、前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くするプログラムに関係する。

また本発明の他の態様は、画像を時系列に取得し、前記画像の画素値に基づく輝度特定情報を求め、前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出し、前記動きベクトルの検出において、前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くする画像処理方法に関係する。

内視鏡システムの構成例。 撮像素子の構成例。 撮像素子の分光特性例。 第１の実施形態の動きベクトル検出部の構成例。 図５（Ａ）、図５（Ｂ）は減算割合と輝度信号との関係図。 評価値を補正するオフセットの設定例。 評価値を補正する係数と輝度信号との関係図。 画像からノイズに関する情報を求める際の先見情報の例。 本実施形態の処理を説明するフローチャート。 第２の実施形態の動きベクトル検出部の構成例。 図１１（Ａ）〜図１１（Ｃ）は平滑化度合いの異なる複数のフィルタ例。 第３の実施形態の動きベクトル検出部の構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

なお、以下の第１〜第３の実施形態では主として内視鏡システムの例について説明するが、本実施形態の手法は内視鏡システムに限定されない画像処理装置に適用可能である。ここでの画像処理装置は、ＰＣ（personal computer）やサーバーシステム等の汎用機器であってもよいし、ＡＳＩＣ（application specific integrated circuit，カスタムＩＣ）等を含む専用機器であってもよい。また、画像処理装置の処理対象となる画像は、内視鏡システムの撮像部で撮像される画像（例えば生体内画像）であってもよいがこれには限定されず、種々の画像を処理対象とできる。

１．第１の実施形態
１．１ システム構成例
本発明の第１の実施形態に係る内視鏡システムについて、図１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。

光源部１００は、白色光を発生する白色光源１１０と、当該白色光をライトガイドファイバ２１０に集光するためのレンズ１２０を備えている。

撮像部２００は、体腔への挿入を可能にするため細長く且つ湾曲可能に形成されている。さらに観察する部位により異なる撮像部が用いられるため、着脱可能な構造をしている。以降の説明では撮像部２００をスコープとも表記する。

撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、ライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、被写体からの反射光を集光する集光レンズ２３０と、集光レンズ２３０により集光された反射光を検出するための撮像素子２４０と、メモリ２５０を備えている。メモリ２５０は後述する制御部３９０に接続されている。

ここで撮像素子２４０は、図２に示されるようなベイヤ配列を有する撮像素子である。また図２に示した３種類の色フィルタｒ，ｇ，ｂは、図３に示されるようにｒフィルタが５８０〜７００ｎｍ、ｇフィルタが４８０〜６００ｎｍ、ｂフィルタが３９０〜５００ｎｍの光を透過させる特徴を有するものとする。

メモリ２５０には各スコープ固有の識別番号が保持されている。そのため、制御部３９０はメモリ２５０に保持されている識別番号を参照することで、接続されているスコープの種類を識別することが可能である。

画像処理部３００は、補間処理部３１０と、動きベクトル検出部３２０と、ノイズ低減部３３０と、フレームメモリ３４０と、表示画像生成部３５０と、制御部３９０を備えている。

補間処理部３１０は、動きベクトル検出部３２０とノイズ低減部３３０に接続されている。動きベクトル検出部３２０はノイズ低減部３３０に接続されている。ノイズ低減部３３０は表示画像生成部３５０に接続されている。フレームメモリ３４０は動きベクトル検出部３２０に接続されており、さらにノイズ低減部３３０と双方向に接続されている。表示画像生成部３５０は表示部４００に接続されている。制御部３９０は、補間処理部３１０、動きベクトル検出部３２０、ノイズ低減部３３０、フレームメモリ３４０、及び表示画像生成部３５０の各部と接続されており、これらを制御する。

補間処理部３１０は、撮像素子２４０で取得される画像に対し、補間処理を施す。前述したように、撮像素子２４０は図２に示すベイヤ配列を有するため、撮像素子２４０で取得される画像の各画素は、Ｒ，Ｇ，Ｂ信号のうち、何れか１つの信号値を有するのみで、他の２種類の信号が欠落した状態である。

そのため、補間処理部３１０では、前記画像の各画素に対し補間処理を施すことで、欠落している信号値を補間し、各画素でＲ，Ｇ，Ｂ信号の全ての信号値を有する画像を生成する。ここで補間処理としては、例えば公知のバイキュービック補間処理を用いればよい。ここでは、補間処理部３１０で生成された画像をＲＧＢ画像と表記する。補間処理部３１０は、生成したＲＧＢ画像を、動きベクトル検出部３２０と、ノイズ低減部３３０に出力する。

動きベクトル検出部３２０は、ＲＧＢ画像の画素毎に動きベクトル（Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ））を検出する。ここでは、画像の水平方向（横方向）をｘ軸とし、垂直方向（縦方向）をｙ軸とし、画像中の画素を、ｘ座標値とｙ座標値の組を用いて（ｘ，ｙ）のように表記する。動きベクトル（Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ））のうち、Ｖｘ（ｘ，ｙ）とは、画素（ｘ，ｙ）におけるｘ（水平）方向の動きベクトル成分を表し、Ｖｙ（ｘ，ｙ）とは画素（ｘ，ｙ）におけるｙ（垂直）方向の動きベクトル成分を表す。なお、画像左上を原点（０，０）とする。

動きベクトルの検出には、処理対象タイミングでのＲＧＢ画像（狭義には最新のタイミングで取得されたＲＧＢ画像）、及びフレームメモリ３４０に保持されている巡回ＲＧＢ画像を用いる。巡回ＲＧＢ画像は後述するように、処理対象タイミングでのＲＧＢ画像よりも前のタイミングで取得された、ノイズ低減処理後のＲＧＢ画像であり、狭義には１タイミング前（１フレーム前）に取得されたＲＧＢ画像に対してノイズ低減処理が施された画像である。以下、本明細書では、処理対象タイミングでのＲＧＢ画像を単に「ＲＧＢ画像」と表記する。

動きベクトルの検出手法は、公知のブロックマッチングをベースとする。ブロックマッチングは、基準画像（ＲＧＢ画像）の任意のブロックに対して、相関が高いブロックの位置を対象画像（巡回ＲＧＢ画像）内で探索する手法である。ブロック間の相対的なズレ量が、そのブロックの動きベクトルに対応する。ここでは、ブロック間の相関を識別する値を評価値と定義する。評価値が低いほどブロック間の相関があると判断する。動きベクトル検出部３２０における処理の詳細は後述する。

ノイズ低減部３３０は、補間処理部３１０より出力されるＲＧＢ画像、及びフレームメモリ３４０から出力される巡回ＲＧＢ画像を用いて、ＲＧＢ画像に対しＮＲ処理を施す。具体的には、下式（１）によりＮＲ処理後の画像（以下、ＮＲ画像と表記する）の座標（ｘ，ｙ）におけるＧ成分であるＧ_ＮＲ（ｘ，ｙ）を求めればよい。下式（７）におけるＧ_ｃｕｒ（ｘ，ｙ）はＲＧＢ画像の座標（ｘ，ｙ）でのＧ成分の画素値を表し、Ｇ_ｐｒｅ（ｘ，ｙ）は巡回ＲＧＢ画像の座標（ｘ，ｙ）でのＧ成分の画素値を表す。
G_NR(x,y) = we_cur×G_cur(x,y) + (1-we_cur)×G_pre{x+Vx(x,y),y+Vy(x,y)} …（１）

ここでｗｅ＿ｃｕｒは、０＜ｗｅ＿ｃｕｒ≦１の値をとる。値が小さいほど過去のタイミングの画素値の割合が高くなるため、巡回が強く掛かり、ノイズ低減の度合いが強くなる。ｗｅ＿ｃｕｒは所定値を予め設定しておいてもよいし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としてもよい。また、ここではＧ信号についての処理を示したが、Ｒ，Ｂ信号についても同一の処理が施される。

更に、ノイズ低減部３３０は、ＮＲ画像をフレームメモリ３４０に出力する。フレームメモリ３４０はＮＲ画像を保持する。ＮＲ画像は、直後に取得されるＲＧＢ画像の処理において巡回ＲＧＢ画像として用いられる。

表示画像生成部３５０は、ノイズ低減部３３０より出力されるＮＲ画像に対し、例えば既存のホワイトバランスや色変換処理、階調変換処理等を施し、表示画像を生成する。表示画像生成部３５０は、生成した表示画像を表示部４００に出力する。表示部４００は、例えば液晶表示装置等の表示装置により構成される。

外部Ｉ／Ｆ部５００は、この内視鏡システム（画像処理装置）に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、外部Ｉ／Ｆ部５００は、入力された情報を制御部３９０へ出力するようになっている。

１．２ 動きベクトル検出処理の詳細
内視鏡画像では、生体構造（血管、腺管）に基づいて相関が高いブロックを探索することになる。その際、高精度な動きベクトルを検出するためには、画像の中周波数帯域〜高周波数域に分布する微細な生体構造（毛細血管など）の情報に基づいてブロックを探索することが望ましい。しかし、ノイズが多い場合には、微細な生体構造がノイズにより消失し、動きベクトルの検出精度が低下すると共に誤検出が増加する。一方、特許文献１のように一律にノイズ低減処理（ＬＰＦ処理）を施してしまうと、ノイズが少なく微細な生体構造が残っている領域まで処理対象となるため、微細な生体構造がぼけてしまう。結果として、本来高精度での動きベクトル検出が可能であった領域において、検出精度が低下してしまう。

そこで、本実施形態では、画像の明るさに応じて評価値の算出手法を制御する。これにより、ノイズの少ない明部で高精度に動きベクトルを検出しつつ、ノイズが多い暗部では誤検出を抑制することが可能になる。

動きベクトル検出部３２０の詳細を説明する。動きベクトル検出部３２０は図４に示すように輝度画像算出部３２１と、低域画像算出部３２２と、減算割合算出部３２３と、評価値算出部３２４ａと、動きベクトル算出部３２５と、動きベクトル補正部３２６ａと、グローバル動きベクトル算出部３２１３を備える。

補間処理部３１０及びフレームメモリ３４０は、輝度画像算出部３２１に接続されている。輝度画像算出部３２１は、低域画像算出部３２２と、評価値算出部３２４ａと、グローバル動きベクトル算出部３２１３に接続されている。低域画像算出部３２２は、減算割合算出部３２３に接続されている。減算割合算出部３２３は、評価値算出部３２４ａに接続されている。評価値算出部３２４ａは、動きベクトル算出部３２５に接続されている。動きベクトル算出部３２５は、動きベクトル補正部３２６ａに接続されている。動きベクトル補正部３２６ａは、ノイズ低減部３３０に接続されている。グローバル動きベクトル算出部３２１３は、評価値算出部３２４ａに接続されている。制御部３９０は、動きベクトル検出部３２０を構成する各部に接続され、これらを制御する。

輝度画像算出部３２１は、補間処理部３１０より出力されるＲＧＢ画像、及びフレームメモリ３４０から出力される巡回ＲＧＢ画像の各画像から輝度画像を算出する。具体的には、輝度画像算出部３２１は、ＲＧＢ画像からＹ画像を算出し、巡回ＲＧＢ画像から巡回Ｙ画像を算出する。具体的には、Ｙ画像の画素値Ｙ_ｃｕｒ、及び巡回Ｙ画像の画素値Ｙ_ｐｒｅを、それぞれ下式（２）を用いて求めればよい。なお、Ｙ_ｃｕｒ（ｘ，ｙ）はＹ画像の座標（ｘ，ｙ）における信号値（輝度値）を表し、Ｙ_ｐｒｅ（ｘ，ｙ）は巡回Ｙ画像の座標（ｘ，ｙ）における信号値を表す。また、Ｒ，Ｇ、Ｂの各画素値についても同様である。輝度画像算出部３２１は、Ｙ画像と巡回Ｙ画像を低域画像算出部３２２、評価値算出部３２４ａ及びグローバル動きベクトル算出部３２１３に出力する。
Y_cur(x,y) = {R_cur(x,y) + 2×G_cur(x,y) + B_cur(x,y)}/4
Y_pre(x,y) = {R_pre(x,y) + 2×G_pre(x,y) + B_pre(x,y)}/4 …（２）

グローバル動きベクトル算出部３２１３は、例えば上述のブロックマッチングを用いて、基準画像及び対象画像間の画像全体のズレ量をグローバル動きベクトル（Ｇｘ，Ｇｙ）として算出し、評価値算出部３２４ａに出力する。なお、グローバル動きベクトルの算出では、ブロックマッチングにおけるカーネルサイズ（ブロックサイズ）を、局所的な動きベクトル（本実施形態の動きベクトル検出部３２０の出力である動きベクトル）を求める場合に比べて大きくすればよい。例えば、グローバル動きベクトルの算出では、ブロックマッチングにおけるカーネルサイズを、画像のサイズそのものとすればよい。グローバル動きベクトルは、画像全体のブロックマッチングを行って算出するため、ノイズの影響を受けにくい特徴がある。

低域画像算出部３２２は、Ｙ画像及び巡回Ｙ画像に対して平滑化処理を施し、低域画像（低域Ｙ画像及び巡回低域Ｙ画像）を算出する。具体的には、低域Ｙ画像の画素値Ｙ＿ＬＰＦ_ｃｕｒ、及び低域巡回Ｙ画像の画素値Ｙ＿ＬＰＦ_ｐｒｅを、それぞれ下式（３）を用いて求めればよい。低域画像算出部３２２は、減算割合算出部３２３に低域Ｙ画像を出力し、評価値算出部３２４ａに低域Ｙ画像及び巡回低域Ｙ画像を出力する。

減算割合算出部３２３は、低域Ｙ画像に基づいて、下式（４）により画素毎の減算割合Ｃｏｅｆ（ｘ，ｙ）を算出する。ここで、ＣｏｅｆＭｉｎは減算割合Ｃｏｅｆの最小値を表し、ＣｏｅｆＭａｘは減算割合Ｃｏｅｆ（ｘ，ｙ）の最大値を表し、１≧ＣｏｅｆＭａｘ＞ＣｏｅｆＭｉｎ≧０の関係を満たす。また、Ｙｍｉｎは所与の下側輝度閾値を表し、Ｙｍａｘは所与の上側輝度閾値を表す。例えば各画素に８ビットの情報が割り当てられる場合、輝度値は０以上２５５以下の値となるため、Ｙｍｉｎ，Ｙｍａｘは、２５５≧ＹＭａｘ＞ＹＭｉｎ≧０の関係を満たす。減算割合Ｃｏｅｆ（ｘ，ｙ）の特性は図５（Ａ）で表される。

上式（４）及び図５（Ａ）からわかるように、減算割合Ｃｏｅｆ（ｘ，ｙ）は、低域Ｙ画像の画素値（輝度値）が小さいほど小さく、大きいほど大きくなる係数である。また、減算割合Ｃｏｅｆ（ｘ，ｙ）の特性はこれに限定されない。具体的には、Ｙ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）に連動して増加する特性であればよく、例えば図５（Ｂ）のＦ１〜Ｆ３に示す特性とすることも可能である。

評価値算出部３２４ａは、下式（５）に基づいて、評価値ＳＡＤ（ｘ＋ｍ＋Ｇｘ，ｙ＋ｎ＋Ｇｙ）を算出する。なお、下式（５）におけるｍａｓｋはブロックマッチングのカーネルサイズを表す。下式（５）に示したように、変数ｐ及びｑがそれぞれ−ｍａｓｋ〜＋ｍａｓｋの範囲で変化するため、カーネルサイズは２×ｍａｓｋ＋１となる。

また、ｍ＋Ｇｘ，ｎ＋Ｇｙは、基準画像及び対象画像間の相対的なズレ量であり、ｍはｘ方向での動きベクトルの探索範囲を表し、ｎはｙ方向での動きベクトルの探索範囲を表す。例えば、ｍとｎはそれぞれ−２〜＋２の間の整数値をとる。そのため評価値は、上式（５）に基づいて複数（ここでは５×５＝２５個）算出される。

なお、本実施形態では、グローバル動きベクトル（Ｇｘ，Ｇｙ）を考慮して評価値を算出する構成とした。具体的には上式（５）に示すように、グローバル動きベクトルを中心としてｍ，ｎで表される探索範囲を対象として動きベクトル検出を行う。しかし、これを用いない構成とすることも可能である。また、ｍ，ｎの範囲（動きベクトルの探索範囲）を±２画素としたが、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としてもよい。またカーネルサイズに相当するｍａｓｋも所定値でもよいし、外部Ｉ／Ｆ部５００からユーザが設定してもよい。ＣｏｅｆＭａｘ，ＣｏｅｆＭｉｎ，ＹＭａｘ，ＹＭｉｎも同様で、予め所定値を設定しておいてもよいし、外部Ｉ／Ｆ部５００からユーザが設定してもよい。

上式（５）の第１項に示したように、本実施形態で評価値算出の対象となる画像（動き検出用画像）は、輝度画像から低域画像を減算した画像であって、その減算割合（低域輝度画像の係数）がＣｏｅｆ（ｘ，ｙ）となる。Ｃｏｅｆ（ｘ，ｙ）の特性は図５（Ａ）に示したとおりであるため、輝度が小さいほど、減算割合が小さくなる。つまり、輝度が小さいほど低域周波数成分が残り、輝度が大きいほど低域周波数成分が減算される。これにより、輝度が小さい場合には相対的に低域周波数成分を重視した処理を行い、輝度が大きい場合には相対的に高域周波数成分を重視した処理を行うことが可能になる。

また、本実施形態の評価値は、差分絶対値和を求める第１項に対して、第２項による補正が行われた値となる。第２項におけるＯｆｆｓｅｔ（ｍ，ｎ）は、前記ズレ量に応じた補正値である。Ｏｆｆｓｅｔ（ｍ，ｎ）の具体的な値を図６に示す。なお、補正値は図６に限定されるものではなく、探索原点である（ｍ，ｎ）＝（０，０）から遠ざかるにつれ増加する特性を有するものであればよい。

Ｃｏｅｆ’（ｘ，ｙ）は、Ｃｏｅｆ（ｘ，ｙ）同様にＹ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）に基づいて決定される係数である。例えばＣｏｅｆ’（ｘ，ｙ）は、図７に示す特性を有する。ただし、Ｃｏｅｆ’（ｘ，ｙ）の特性はこれに限定されず、Ｙ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）の増加に伴って減少する特性であればよい。なお、図７中の各変数は、ＣｏｅｆＭａｘ’＞ＣｏｅｆＭｉｎ’≧０、及び２５５≧ＹＭａｘ’＞ＹＭｉｎ’≧０の関係を満たす。また、ＣｏｅｆＭａｘ’，ＣｏｅｆＭｉｎ’，ＹＭａｘ’，ＹＭｉｎ’は予め所定値を設定しておいてもよいし、外部Ｉ／Ｆ部５００からユーザが設定してもよい。

図７に示したように、Ｃｏｅｆ’（ｘ，ｙ）はＹ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）の増加に伴って減少する。つまり、Ｙ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）が小さい、すなわち暗部ではＣｏｅｆ’（ｘ，ｙ）の値が大きくなり、評価値に対する第２項の寄与度が高くなる。Ｏｆｆｓｅｔ（ｍ，ｎ）は、図６のように探索原点から離れるほど値が大きくなる特性を有するため、第２項の寄与度が高い場合には、評価値は探索原点で小さく、探索原点から離れるほど大きい傾向を有することになる。評価値の算出に第２項を用いることで、暗部では動きベクトルとして探索原点に対応するベクトル、すなわちグローバル動きベクトル（Ｇｘ，Ｇｙ）が選ばれやすくなる。

動きベクトル算出部３２５は、下式（６）に示すように、評価値ＳＡＤ（ｘ＋ｍ＋Ｇｘ，ｙ＋ｎ＋Ｇｙ）が最小となるズレ量（ｍ＿ｍｉｎ，ｎ＿ｍｉｎ）を動きベクトル（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））として検出する。なお、ｍ＿ｍｉｎは、評価値を最小とするｍとグローバル動きベクトルのｘ成分Ｇｘの和を表し、ｎ＿ｍｉｎは、評価値を最小とするｎとグローバル動きベクトルのｙ成分Ｇｙの値を表す。
Vx'(x,y) = m_min
Vy'(x,y) = n_min …（６）

動きベクトル補正部３２６ａは、動きベクトル算出部３２５で算出された動きベクトル（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））に対し、補正係数Ｃ（０≦Ｃ≦１）を乗算することで、動きベクトル検出部３２０の出力である動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を求める。補正係数Ｃの特性は、図５（Ａ）、図５（Ｂ）に示したＣｏｅｆ（ｘ，ｙ）と同様に、Ｙ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）に連動して増加する特性とする。なお、輝度が所定値以下の場合に、補正係数Ｃをゼロにすることで、動きベクトルを強制的にグローバル動きベクトル（Ｇｘ，Ｇｙ）にする構成とすることも可能である。動きベクトル補正部３２６ａ補正処理は下式（７）で定義される。
Vx(x,y) = C×{Vx'(x,y) - Gx} + Gx
Vy(x,y) = C×{Vy'(x,y) - Gy} + Gy …（７）

以上、内視鏡システムを例にとって説明したように、本実施形態に係る画像処理装置は、画像を時系列に取得する画像取得部と、画像の画素値に基づく輝度特定情報を求め、画像及び輝度特定情報に基づいて、動きベクトルを検出する動きベクトル検出部３２０を含む。そして、動きベクトル検出部３２０は、輝度特定情報により特定される輝度が小さいほど、動きベクトルの検出処理における、画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くする。

本実施形態に係る画像処理装置は、例えば図１の内視鏡システムにおける画像処理部３００に相当する構成であってもよい。この場合、画像取得部とは、撮像部２００からの画像信号を取得するインターフェースとして実現されてもよく、例えば撮像部２００からのアナログ信号のＡ／Ｄ変換を行うＡ／Ｄ変換部であってもよい。

或いは、画像処理装置は、外部機器から時系列の画像を含む画像データを取得し、当該画像データを対象として動きベクトルの検出処理を行う情報処理装置であってもよい。この場合、画像取得部は、外部機器とのインターフェースとして実現され、例えば当該外部機器との通信を行う通信部（より具体的なハードウェアとしては通信アンテナ等）であってもよい。

或いは、画像処理装置自体が画像を撮像する撮像部を有する構成であってもよい。この場合、画像取得部とは撮像部により実現される。

本実施形態における輝度特定情報とは、画像の輝度、明るさを特定可能な情報であり、狭義には輝度信号である。輝度信号とは、上述したように低域Ｙ画像の画素値Ｙ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）であってもよいし、第２の実施形態で後述するようにＹ画像の画素値Ｙ_ｃｕｒ（ｘ，ｙ）であってもよい。ただし、輝度特定情報として他の情報を用いることも可能であり、詳細については変形例として後述する。

本実施形態の手法によれば、画像の輝度に応じて動きベクトル検出に利用する空間周波数の帯域を制御できる。ノイズが少ない明部では、ＲＧＢ画像の中周波数〜高周波数域の情報（微細な毛細血管など）に基づいて高精度な動きベクトルの検出が可能になる。さらに、ノイズが多い暗部では、低周波数域（太い血管、消化管の襞）の情報に基づいて動きベクトルが検出されるため、中周波数〜高周波数域の情報を用いる場合と比較し、ノイズの影響による誤検出を抑制することができる。

具体的には、上式（４）及び（５）に示したように、ＲＧＢ画像の明るさ（輝度）を表す低域Ｙ画像の信号値Ｙ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）に応じて、評価値算出における低域周波数成分の寄与率を制御する。ノイズが少ない明部では、Ｃｏｅｆ（ｘ，ｙ）を大きくすることで低域周波数成分の寄与率が低下（高域周波数成分の寄与率が増加）する。そのため、微細な毛細血管等の情報に基づく高精度な動きベクトルを検出可能となる。一方、ノイズが多い暗部では、Ｃｏｅｆ（ｘ，ｙ）を小さくするため、低域周波数成分の寄与率が増加（高周波数域成分の寄与率は低下）することでノイズ耐性が向上し、動きベクトルの誤検出を抑制できる。

以上に示した処理により、入力画像のノイズに依らず、高精度に動きベクトルを検出することが可能である。上式（１）等のノイズ低減処理では、明部での高精度な動きベクトル検出により、血管等のコントラストを維持しつつ、ノイズを低減できる。さらに、暗部でのノイズによる誤検出を抑えることで、実際の被写体に存在しない動き（アーティファクト）を抑制する効果がある。

また、動きベクトル検出部３２０は、動きベクトルの検出処理に用いる動き検出用画像を、画像に基づき生成し、輝度特定情報により特定される輝度が小さい場合は、輝度が大きい場合に比べて、動き検出用画像に含まれる低域周波数成分の割合を高くする。

ここで、動き検出用画像とは、ＲＧＢ画像、巡回ＲＧＢ画像に基づいて取得される画像であって、動きベクトル検出処理に用いられる画像を表す。より具体的には、動き検出用画像とは評価値算出処理に用いられる画像であり、上式（５）におけるＹ’_ｃｕｒ（ｘ，ｙ）及びＹ’_ｐｒｅ（ｘ，ｙ）である。

つまり動きベクトル検出部３２０は、画像に対し所定の平滑化フィルタ処理を施した平滑化画像（上述の例では低域画像であるＹ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）及びＹ＿ＬＰＦ_ｐｒｅ（ｘ，ｙ））を生成し、輝度特定情報により特定される輝度が小さい場合は、画像から第１の減算割合で平滑化画像による減算を行うことで動き検出用画像を生成し、輝度特定情報により特定される輝度が大きい場合は、画像から第１の減算割合に比べて大きい第２の減算割合で平滑化画像による減算を行うことで動き検出用画像を生成する。

図５（Ａ）や図５（Ｂ）に示したように減算割合Ｃｏｅｆ（ｘ，ｙ）は輝度が大きいほど大きくなる特性を有する。よって動き検出用画像では、輝度が小さいほど低域周波数成分の減算割合が減るため、輝度が大きい場合に比べて低域周波数成分の割合が相対的に大きくなる。

このようにすれば、動き検出用画像の周波数帯域を制御することで、輝度に応じた適切な動きベクトル検出が可能になる。具体的には、減算割合Ｃｏｅｆ（ｘ，ｙ）を輝度に応じて制御することで、動き検出用画像の周波数帯域を制御している。なお、減算割合Ｃｏｅｆ（ｘ，ｙ）を用いる場合、動き検出用画像における低域周波数成分の割合を比較的自由に変更することができる。例えば図５（Ａ）や図５（Ｂ）のように、Ｃｏｅｆ（ｘ，ｙ）が輝度に対して連続的に変化する特性であれば、Ｃｏｅｆ（ｘ，ｙ）を用いて求められる動き検出用画像の低域周波数成分の割合も、輝度に応じて連続的に（より細かい単位で）変化させることが可能になる。

後述する第２の実施形態では、動き検出用画像とはフィルタＡ〜フィルタＣのいずれかのフィルタ処理を施した画像であり、フィルタ係数自体を切り替えることで、動き検出用画像の周波数帯域を制御する。つまり第２の実施形態の手法で動き検出用画像の低域周波数成分の割合を細かく制御しようとすれば、フィルタ数を多くしなくてはならない。結果として、フィルタ回路の数が増える、或いはフィルタ回路を時分割で利用することで処理時間が増大するといったハードウェア的なデメリットが生じるおそれや、動き検出用画像として多数の（フィルタ数に対応する数の）画像を保持することでメモリ容量を圧迫するおそれがある。後述する第２の実施形態と比較した場合、本実施形態の手法は、回路構成が複雑化したり、メモリ容量が圧迫されるおそれが少ないという点で有利である。

また、動きベクトル検出部３２０（評価値算出部３２４ａ）は、時系列に取得される複数の画像間の差分を評価値として算出し、評価値に基づき動きベクトルを検出し、動きベクトル検出部は、輝度特定情報により特定される輝度が小さいほど、評価値の算出処理における、画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くする。

このようにすれば、評価値に対する低域周波数成分の相対的な寄与度を制御することで、輝度に応じた適切な動きベクトル検出処理を実現できる。これは上式（５）の第１項の演算にＹ’_ｃｕｒ（ｘ，ｙ）及びＹ’_ｐｒｅ（ｘ，ｙ）を用いることで実現される。

また、動きベクトル検出部３２０（評価値算出部３２４ａ）は、所与の基準ベクトルが検出されやすくなるように、評価値を補正してもよい。具体的には、動きベクトル検出部３２０は、輝度特定情報により特定される輝度が小さいほど、基準ベクトルが検出されやすくなるように、評価値を補正する。

ここでの基準ベクトルとは、上述したように評価値に基づき検出される動きベクトルに比べて、大域的な動きを表すグローバル動きベクトル（Ｇｘ，Ｇｙ）であってもよい。「評価値に基づき検出される動きベクトル」とは、本実施形態の手法で求める対象となる動きベクトルであり、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ、ｙ））、或いは（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））に相当する。グローバル動きベクトルは、ブロックマッチングにおけるカーネルサイズが、上式（５）の場合に比べて大きいため、画像間の大まかな動きを表す情報となる。ただし、基準ベクトルはグローバル動きベクトルに限定されるものではなく、例えばゼロベクトル（０，０）であってもよい。

基準ベクトルが検出されやすくなる評価値の補正とは、上式（５）の第２項に相当する。すなわち当該補正は、Ｃｏｅｆ’（ｘ，ｙ）及びＯｆｆｓｅｔ（ｍ，ｎ）により実現できる。輝度が小さくノイズが多い場合、動きベクトルが局所的に変動した、すなわち評価値を最小とする（ｍ，ｎ）が（０，０）とは異なる値となったとしても、当該変動はノイズ（特に局所的なノイズ）に起因する可能性が高く、求められた値の信頼性は低い。その点、本実施形態では、暗部で上式（５）に示したＣｏｅｆ’（ｘ，ｙ）を大きくすることで、基準ベクトルが選択されやすくなり、ノイズによる動きベクトルの変動を抑制できる。

また、動きベクトル検出部３２０（動きベクトル補正部３２６ａ）は、評価値に基づき求められた動きベクトルに対する補正処理を行い、動きベクトル検出部３２０は、輝度特定情報に基づいて、動きベクトルが所与の基準ベクトルに近づくように動きベクトルに対する補正処理を行ってもよい。具体的には、動きベクトル検出部３２０は、輝度特定情報により特定される輝度が小さいほど、動きベクトルが所与の基準ベクトルに近づくように補正処理を行う。

ここで、「評価値に基づき求められた動きベクトル」とは上記の例では（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））に相当し、補正処理後の動きベクトルとは（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））に相当する。補正処理は具体的には上式（７）に相当する。

このようにすれば、Ｃｏｅｆ’（ｘ，ｙ）及びＯｆｆｓｅｔ（ｍ，ｎ）による評価値の補正とは異なる処理により、暗部の動きベクトル変動をさらに抑制でき、ノイズ耐性を向上させることが可能になる。

また、図１等を用いて上述したように、本実施形態の手法は、画像を時系列に撮像する撮像部２００と、画像の画素値に基づく輝度特定情報を求め、画像及び輝度特定情報に基づいて、動きベクトルを検出する動きベクトル検出部３２０を含む内視鏡システムに適用できる。内視鏡システムの動きベクトル検出部３２０は、輝度特定情報により特定される輝度が小さいほど、動きベクトルの検出処理における、画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くする。

また、本実施形態では画像処理部３００を構成する各部をハードウェアで構成することとしたが、本発明はこれに限定されない。他の手法としては、例えばカプセル内視鏡などの撮像素子で予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ソフトウェアで実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

すなわち本実施形態の手法は、画像を時系列に取得し、画像の画素値に基づく輝度特定情報を求め、画像及び輝度特定情報に基づいて、動きベクトルを検出するステップをコンピュータに実行させ、動きベクトルの検出において、輝度特定情報により特定される輝度が小さいほど、動きベクトルの検出処理における、画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くするプログラムに適用できる。

この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、画像処理装置によって読み取り可能な種々の記録媒体を想定できる。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された画像に対して、図１の補間処理部３１０、動きベクトル検出部３２０、ノイズ低減部３３０、表示画像生成部３５０の処理をソフトウェアで実現する場合の処理手順を、図９のフローチャートを用いて説明する。

この場合、まず同時化前画像を読み込んだ後（Ｓｔｅｐ１）、現画像取得時の各種処理パラメーター等の制御情報を読み込む（Ｓｔｅｐ２）。次に同時化前画像に対し補間処理を施しＲＧＢ画像を生成する。（Ｓｔｅｐ３）。ＲＧＢ画像及び後述のメモリに保持されている巡回ＲＧＢ画像を用いて上述した手法で動きベクトルを検出する（Ｓｔｅｐ４）。次に動きベクトル、ＲＧＢ画像、及び巡回ＲＧＢ画像用いて、上述の手法でＲＧＢ画像のノイズを低減する（Ｓｔｅｐ５）。ノイズ低減後のＲＧＢ画像（ＮＲ画像）をメモリに格納する（Ｓｔｅｐ６）。さらにＮＲ画像に対してＷＢ、γ処理等を施すことで表示画像を生成する（Ｓｔｅｐ７）。最後に生成した表示画像を出力する（Ｓｔｅｐ８）。全ての画像に対して一連の処理が完了した場合は処理を終了し、未処理画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ９）。

また、本実施形態の手法は、画像を時系列に取得し、画像の画素値に基づく輝度特定情報を求め、画像及び輝度特定情報に基づいて、動きベクトルを検出し、動きベクトルの検出において、輝度特定情報により特定される輝度が小さいほど、動きベクトルの検出処理における、画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くする画像処理方法（画像処理装置の作動方法）に適用できる。

また、本実施形態の画像処理装置等は、具体的なハードウェア構成として、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る画像処理装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令である。

或いは、プロセッサはＡＳＩＣ（application specific integrated circuit）によるハードウェア回路でもよい。すなわちここでのプロセッサは、画像処理装置の各部が回路により構成されるプロセッサを含む。この場合、メモリに記憶される命令とは、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

１．３ 変形例
上述の例では、輝度特定情報として輝度信号を用いた。具体的には低域Ｙ画像の画素値であるＹ＿ＬＰＦ_ｃｕｒ（ｘ，ｙ）に基づいて、評価値の算出処理や、動きベクトルの補正処理を切り替える例を示した。しかし本実施形態における輝度特定情報とは、画像の輝度（明るさ）を特定できる情報であればよく、輝度信号そのものには限定されない。

例えば、輝度特定情報として、ＲＧＢ画像のＧ信号を用いてもよいし、Ｒ信号、Ｂ信号を用いてもよい。或いは、Ｒ信号、Ｇ信号、Ｂ信号のうちの２つ以上を上式（２）とは異なる手法により組み合わせることで輝度特定情報を求めてもよい。

また、画像信号値に基づき推定したノイズ量を輝度特定情報としてもよい。ただし、画像から直接的にノイズ量を求めることは容易ではない。よって一例としては、画像から求められる情報とノイズ量との関係を先見情報としてあらかじめ取得しておき、当該先見情報を用いてノイズ量を推定するとよい。例えば、図８に示すようなノイズ特性を予め設定しておき、輝度信号をノイズ量に変換した後、当該ノイズ量に基づいて、上述の各種係数（Ｃｏｅｆ、Ｃｏｅｆ’、Ｃ）を制御すればよい。なお、ここでのノイズ量とは、ノイズの絶対量には限定されず、図８に示したように信号成分とノイズ成分の比（Ｓ／Ｎ比）を用いてもよい。Ｓ／Ｎ比が大きければ輝度が大きい場合の処理を行い、Ｓ／Ｎ比が小さければ輝度が小さい場合の処理を行えばよい。

また上述の例では、輝度信号に基づいて低域画像（Ｙ＿ＬＰＦ_ｃｕｒ、Ｙ＿ＬＰＦ_ｐｒｅ）の減算割合を制御することで、動き検出用画像（Ｙ’_ｃｕｒ、Ｙ’_ｐｒｅ）及び評価値に占める低域周波数成分の割合を制御する構成としたが、これには限定されない。

例えば、輝度画像に対し、公知のラプラシアンフィルタ等を用いて高域画像を生成し、当該高域画像を輝度画像に加算する構成としてもよい。本実施形態と同様に、輝度信号に基づき高域画像の加算割合を制御することで同様の効果を得ることが可能である。

具体的には、動きベクトル検出部３２０は、画像に対し、高域周波数成分に対応する帯域を少なくとも通過域に含むフィルタ処理を施した高周波画像（高域画像）を生成し、輝度特定情報により特定される輝度が小さい場合は、画像に対して第１の加算割合で高周波画像を加算することで動き検出用画像を生成し、輝度特定情報により特定される輝度が大きい場合は、画像に対して第１の加算割合に比べて大きい第２の加算割合で高周波画像を加算することで動き検出用画像を生成する。

このようにすれば、明部では高域周波数成分の割合が相対的に大きくなり、暗部では低域周波数成分の割合が相対的に大きくなるため、低域画像を減算する場合と同様の効果が期待できる。

なお、高域画像に含まれる空間周波数成分を、主要被写体の帯域に合わせて最適化することも可能である。例えば、ＲＧＢ画像に対してバンドパスフィルタを施すことで高域画像を取得する場合において、バンドパスフィルタの通過域を主要被写体の帯域に合わせて最適化する。生体画像であれば、微細な生体構造（毛細血管等）に対応する空間周波数をバンドパスフィルタの通過域に含める。このようにすれば、明部では主要被写体に着目した動きベクトル検出が可能になるため、検出される動きベクトルの更なる精度向上も期待できる。

また上述の例では、動きベクトル検出部３２０で求められた動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、ノイズ低減部３３０でのＮＲ処理に用いられるものとしたが、動きベクトルの用途はこれに限定されない。例えば、動きベクトルの算出対象である複数の画像として、ステレオ画像（視差画像）を用いてもよい。この場合、動きベクトルの大きさに基づいて視差を求めることで、被写体までの距離情報を求めること等が可能になる。

或いは、撮像部２００においてオートフォーカスが行われる場合、当該オートフォーカスによる合焦動作、すなわち集光レンズ２３０（特にフォーカスレンズ）を動作させて被写体に合焦するレンズ位置を探索する動作を開始するトリガーとして、動きベクトルを用いてもよい。撮像部２００と被写体が所与の位置関係にある状態で合焦動作を行った場合、当該位置関係の変化が小さい間は、所望被写体に合焦している状態が維持されると考えられるため、再度合焦動作を行う必要性が低い。よって、撮像部２００と被写体の相対的な位置関係が変化したか否かを動きベクトルに基づいて判定し、動きベクトルが所与の閾値よりも大きい場合に合焦動作を開始することで、効率的なオートフォーカスを実現できる。

医療用の内視鏡システムでは、撮像画像にメスやカンシ等の処置具が撮像されることがある。内視鏡システムによる手技下では、主要被写体（生体、病変部）と撮像部２００との位置関係が維持されており合焦動作が不要な状況であっても、処置具が動くことで動きベクトルが大きくなってしまうことが考えられる。その点、本実施形態の手法では局所的な動きベクトルを精度よく求めることが可能である。そのため、処置具のみが動いているのか、撮像部２００と主要被写体との位置関係まで変化しているのかを精度よく判定でき、適切な状況で合焦動作を行うことが可能になる。一例としては、画像から求められた複数の動きベクトルのばらつき度合いを求めればよい。ばらつきが大きい場合とは、処置具と主要被写体とで動きが異なる状態、すなわち処置具は動いているが主要被写体は動きが少ない状態と推定できるため、合焦動作を実行しない。

２．第２の実施形態
２．１ システム構成例
本発明の第２の実施形態に係る内視鏡システムについて説明する。画像処理部３００の動きベクトル検出部３２０以外は、第１の実施形態と同一のため説明を省略する。以降の説明においても、上述の構成と同一のものについては適宜説明を省略する。

第２の実施形態における動きベクトル検出部３２０の詳細を図１０に示す。動きベクトル検出部３２０は、輝度画像算出部３２１と、フィルタ係数決定部３２７と、フィルタ処理部３２８と、評価値算出部３２４ｂと、動きベクトル算出部３２５と、グローバル動きベクトル算出部３２１３と、動きベクトル補正部３２６ｂと、合成割合算出部３２１１ａを備えている。

補間処理部３１０は輝度画像算出部３２１に接続されている。フレームメモリ３４０は輝度画像算出部３２１に接続されている。輝度画像算出部３２１は、フィルタ係数決定部３２７と、フィルタ処理部３２８と、グローバル動きベクトル算出部３２１３に接続されている。フィルタ係数決定部３２７はフィルタ処理部３２８に接続されている。フィルタ処理部３２８は評価値算出部３２４ｂに接続されている。評価値算出部３２４ｂは動きベクトル算出部３２５に接続されている。動きベクトル算出部３２５は、動きベクトル補正部３２６ｂに接続されている。動きベクトル補正部３２６ｂは、ノイズ低減部３３０に接続されている。グローバル動きベクトル算出部３２１３と合成割合算出部３２１１ａは、動きベクトル補正部３２６ｂに接続されている。制御部３９０は、動きベクトル検出部３２０を構成する各部に接続され、これらを制御する。

２．２ 動きベクトル検出処理の詳細
輝度画像算出部３２１、グローバル動きベクトル算出部３２１３、及び動きベクトル算出部３２５は第１の実施形態と同様であるため詳細な説明は省略する。

フィルタ係数決定部３２７は、輝度画像算出部３２１から出力されるＹ画像Ｙ_ｃｕｒ（ｘ，ｙ）に基づいて、フィルタ処理部３２８で用いるフィルタ係数を決定する。例えば、Ｙ_ｃｕｒ（ｘ，ｙ）と、所与の輝度閾値Ｙ１，Ｙ２（Ｙ１＜Ｙ２）に基づいて３種のフィルタ係数を切り替える。

具体的には、０≦Ｙ_ｃｕｒ（ｘ，ｙ）＜Ｙ１の場合にはフィルタＡを選択し、Ｙ１≦Ｙ_ｃｕｒ（ｘ，ｙ）＜Ｙ２の場合にはフィルタＢを選択し、Ｙ２≦Ｙ_ｃｕｒ（ｘ，ｙ）の場合にはフィルタＣを選択する。ここで、フィルタＡ，フィルタＢ，フィルタＣは図１１（Ａ）〜図１１（Ｃ）で定義される。フィルタＡは、図１１（Ａ）に示したように、処理対象画素と、周辺画素の単純平均を求めるフィルタである。フィルタＢは、図１１（Ｂ）に示したように、処理対象画素と、周辺画素の加重平均を求めるフィルタであり、フィルタＡと比較した場合、処理対象画素の比率が相対的に高いフィルタである。図１１（Ｂ）の例では、フィルタＢはガウシアンフィルタである。フィルタＣは、図１１（Ｃ）に示したように、処理対象画素の画素値をそのまま出力値とするフィルタである。

図１１（Ａ）〜図１１（Ｃ）に示したように、出力値に対する処理対象画素の寄与度はフィルタＡ＜フィルタＢ＜フィルタＣとなる。すなわち、平滑化度合いはフィルタＡ＞フィルタＢ＞フィルタＣとなり、輝度信号が小さいほど平滑化度合いが強いフィルタが選択される。なお、フィルタ係数、及び切り替え手法はこれに限定されない。Ｙ１及びＹ２は所定値を設定しておいてもよいし、外部Ｉ／Ｆ部５００でユーザが設定する構成としてもよい。

フィルタ処理部３２８は、フィルタ係数決定部３２７で決定されたフィルタ係数を用いて、輝度画像算出部３２１で算出されたＹ画像、及び巡回Ｙ画像に対して平滑化処理を施して、平滑化Ｙ画像、及び平滑化巡回Ｙ画像を取得する。

評価値算出部３２４ｂは、平滑化Ｙ画像、及び平滑化巡回Ｙ画像を用いて評価値を算出する。算出手法はブロックマッチングで広く用いられる差分絶対値（ＳＡＤ）和などを用いる。

動きベクトル補正部３２６ｂは、動きベクトル算出部３２５で算出された動きベクトル（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））に対し、補正処理を施す。具体的には下式（８）に示したように、動きベクトル（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））とグローバル動きベクトル算出部３２１３で算出されたグローバル動きベクトル（Ｇｘ，Ｇｙ）を合成し、最終的な動きベクトル（Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ））を得る。
Vx(x,y) = {1-MixCoefV(x,y)}×Gx + MixCoefV(x,y)×Vx'(x,y)
Vy(x,y) = {1-MixCoefV(x,y)}×Gy + MixCoefV(x,y)×Vy'(x,y) …（８）

ここでＭｉｘＣｏｅｆＶ（ｘ，ｙ）は、合成割合算出部３２１１ａで算出される。合成割合算出部３２１１ａは、輝度画像算出部３２１から出力される輝度信号に基づき、合成割合ＭｉｘＣｏｅｆＶ（ｘ，ｙ）を算出する。合成割合は輝度信号に連動して増加する特性を有し、例えば図５（Ａ）、図５（Ｂ）で上述したＣｏｅｆ（ｘ，ｙ）と同様の特性とすることができる。

なお、ここでは動きベクトル（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））とグローバル動きベクトル（Ｇｘ，Ｇｙ）の合成比率をそれぞれＭｉｘＣｏｅｆＶ、１−ＭｉｘＣｏｅｆとしたため、上式（８）は、上式（７）と同様の式となる。ただし輝度が小さいほど動きベクトル（Ｖｘ’（ｘ，ｙ），Ｖｙ’（ｘ，ｙ））の合成比率が相対的に小さくなればよく、合成比率は上式（８）に示したものには限定されない。

本実施形態の動きベクトル検出部３２０は、輝度特定情報により特定される輝度が小さい場合は、画像に対して第１の平滑化度合いである第１のフィルタ処理を施すことで動き検出用画像を生成し、輝度特定情報により特定される輝度が大きい場合は、画像に対して第１のフィルタ処理に比べて平滑化度合いが弱い第２のフィルタ処理を施すことで動き検出用画像を生成する。

ここで、互いに平滑化度合いが異なるフィルタの数は種々の変形実施が可能であり、フィルタ数を多くするほど、動き検出用画像に含まれる低域周波数成分の割合を細かく制御可能となる。ただし上述したように、フィルタ数を多くすることによるデメリットもあるため、具体的な数は許容される回路規模、処理時間、メモリ容量等に応じて決定するとよい。

また、平滑化度合いとは上述したように処理対象画素と周辺画素の寄与度に応じて決定される。例えば、図１１（Ａ）〜図１１（Ｃ）に示したように、各画素に適用される係数（レート）を調整することで平滑化度合いを制御できる。また、図１１（Ａ）〜図１１（Ｃ）では３×３のフィルタを示したが、フィルタサイズはこれに限定されず、フィルタサイズを変更することで平滑化度合いを制御可能である。例えば単純平均を取る平均化フィルタであっても、フィルタのサイズを大きくすれば平滑化度合いが強くなる。

以上に示した手法により、ノイズが多い暗部では強い平滑化処理が掛かり、ノイズを十分に低減した状態で動きベクトルを検出するため、ノイズによる誤検出を抑制できる。またノイズが少ない明部では、平滑化処理を弱める、若しくは平滑化しないことで動きベクトルの検出精度の劣化を抑止できる。

さらに、ノイズが多い暗部では上式（８）に示したように、基準ベクトル（グローバル動きベクトル）の寄与率を大きくすることで動きベクトルの誤検出による変動を抑え、実際の被写体に存在しない動き（アーティファクト）を抑制する効果がある。なお、第１の実施形態と同様に、基準ベクトルとしてグローバル動きベクトル以外のベクトル（例えばゼロベクトル）を用いてもよい。

２．３ 変形例
本実施形態では、評価値算出に用いる動き検出用画像を平滑化処理で生成するものとしたが、これに限定されない。例えば、任意のバンドパスフィルタを用いて生成した高域画像と、平滑化処理で生成した平滑化画像（低域画像）を合成した合成画像を用いて評価値を検出する構成も可能である。輝度信号が小さい場合に、低域画像の合成率を大きくすることでノイズ耐性を向上できる。

また第１の実施形態の変形例と同様に、高域画像を生成するバンドパスフィルタの帯域を主要被写体の帯域に合わせて最適化することで、検出される動きベクトルの更なる精度向上も期待できる。

また、本実施形態についても第１の実施形態と同様に、画像処理部３００が行う処理の一部又は全部をソフトウェアで構成してもよい。

３．第３の実施形態
３．１ システム構成例
本発明の第３の実施形態に係る内視鏡システムについて説明する。画像処理部３００の動きベクトル検出部３２０以外は、第１の実施形態と同一のため説明を省略する。

第３の実施形態における動きベクトル検出部３２０の詳細を図１２に示す。動きベクトル検出部３２０は、輝度画像算出部３２１と、低域画像生成部３２９と、高域画像生成部３２１０と、２つの評価値算出部３２４ｂ，３２４ｂ’（動作は同じ）と、２つの動きベクトル算出部３２５，３２５’（動作は同じ）と、合成割合算出部３２１１ｂと、動きベクトル合成部３２１２を備えている。

補間処理部３１０、及びフレームメモリ３４０は輝度画像算出部３２１に接続されている。輝度画像算出部３２１は、低域画像生成部３２９、高域画像生成部３２１０、合成割合算出部３２１１ｂに接続されている。低域画像生成部３２９は評価値算出部３２４ｂに接続されている。評価値算出部３２４ｂは動きベクトル算出部３２５に接続されている。高域画像生成部３２１０は評価値算出部３２４ｂ’に接続されている。評価値算出部３２４ｂ’は動きベクトル算出部３２５’に接続されている。動きベクトル算出部３２５、動きベクトル算出部３２５’、合成割合算出部３２１１ｂは動きベクトル合成部３２１２に接続されている。動きベクトル合成部３２１２はノイズ低減部３３０に接続されている。制御部３９０は、動きベクトル検出部３２０を構成する各部に接続され、これらを制御する。

３．２ 動きベクトル検出処理の詳細
低域画像生成部３２９は、例えばガウシアンフィルタ（図１１（Ｂ））を用いて輝度画像に平滑化処理を施し、生成した低域画像を評価値算出部３２４ｂに出力する。

高域画像生成部３２１０は、例えばラプラシアンフィルタ等を用いて輝度画像から高域周波数成分を抽出し、生成した高域画像を評価値算出部３２４ｂ’に出力する。

評価値算出部３２４ｂは低域画像に基づき評価値を算出し、評価値算出部３２４ｂ’は高域画像に基づき評価値を算出する。動きベクトル算出部３２５，３２５’は、評価値算出部３２４ｂ、３２４ｂ’から出力される各評価値から動きベクトルを算出する。

ここで、動きベクトル算出部３２５で算出される動きベクトルを（ＶｘＬ（ｘ，ｙ）、ＶｙＬ（ｘ，ｙ））とし、動きベクトル算出部３２５’で算出される動きベクトルを（ＶｘＨ（ｘ，ｙ）、ＶｙＨ（ｘ，ｙ））とする。（ＶｘＬ（ｘ，ｙ）、ＶｙＬ（ｘ，ｙ））は低域周波数成分に対応する動きベクトルであり、（ＶｘＨ（ｘ，ｙ）、ＶｙＨ（ｘ，ｙ））は高域周波数成分に対応する動きベクトルである。

合成割合算出部３２１１ｂは、輝度画像算出部３２１から出力される輝度信号に基づき、低域画像を基に算出した動きベクトルの合成割合ＭｉｘＣｏｅｆ（ｘ，ｙ）を算出する。合成割合は輝度信号に連動して増加する特性を有し、例えば図５（Ａ）、図５（Ｂ）で上述したＣｏｅｆ（ｘ，ｙ）と同様の特性とすることができる。

動きベクトル合成部３２１２は、合成割合ＭｉｘＣｏｅｆ（ｘ，ｙ）に基づき前記２種類の動きベクトルを合成する。具体的には、下式（９）により、動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を求める。
Vx(x,y) = {1-MixCoef(x,y)}×VxL(x,y) + MixCoef(x,y)×VxH(x,y)
Vy(x,y) = {1-MixCoef(x,y)}×VyL(x,y) + MixCoef(x,y)×VyH(x,y) …（９）

本実施形態の動きベクトル検出部３２０は、画像に基づき、周波数成分の異なる複数の動き検出用画像を生成し、複数の動き検出用画像の各々から検出された複数の動きベクトルを合成することで動きベクトルを検出する。そして動きベクトル検出部３２０は、輝度特定情報により特定される輝度が小さいほど、低域周波数成分に対応する動き検出用画像（低域画像）から検出した動きベクトルの合成率を相対的に大きくする。

以上に示した手法により、ノイズが多い暗部では、ノイズの影響が低減された低域画像を基に算出した動きベクトルが支配的となるため，誤検出を抑制できる。一方、ノイズが少ない明部では、高精度な動きベクトルを検出できる高域画像を基に算出した動きベクトルが支配的となり、高性能な動きベクトル検出が実現される。

以上、本発明を適用した３つの実施の形態、及びその変形例について説明したが、本発明は各実施の形態１〜３やその変形例にそのまま限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において、種々の変形や応用が可能である。

１００…光源部、１１０…白色光源、１２０…レンズ、２００…撮像部、
２１０…ライトガイドファイバ、２２０…照明レンズ、２３０…集光レンズ、
２４０…撮像素子、２５０…メモリ、３００…画像処理部、３１０…補間処理部、
３２０…動きベクトル検出部、３２１…輝度画像算出部、３２２…低域画像算出部、
３２３…減算割合算出部、３２４ａ，３２４ｂ，３２４ｂ’…評価値算出部、
３２５，３２５’…動きベクトル算出部、３２６ａ，３２６ｂ…動きベクトル補正部、
３２７…フィルタ係数決定部、３２８…フィルタ処理部、３２９…低域画像生成部、
３３０…ノイズ低減部、３４０…フレームメモリ、３５０…表示画像生成部、
３９０…制御部、４００…表示部、５００…外部Ｉ／Ｆ部、３２１０…高域画像生成部、
３２１１ａ，３２１１ｂ…合成割合算出部、３２１２…動きベクトル合成部、
３２１３…グローバルベクトル算出部

Claims (15)

1. 画像を時系列に取得する画像取得部と、
   前記画像の画素値に基づく輝度特定情報を求め、前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出する動きベクトル検出部と、
   を含み、
   前記動きベクトル検出部は、
   前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くすることを特徴とする画像処理装置。
2. 請求項１において、
   前記動きベクトル検出部は、
   前記動きベクトルの検出処理に用いる動き検出用画像を、前記画像に基づき生成し、
   前記輝度特定情報により特定される前記輝度が小さい場合は、前記輝度が大きい場合に比べて、前記動き検出用画像に含まれる前記低域周波数成分の割合を高くすることを特徴とする画像処理装置。
3. 請求項２において、
   前記動きベクトル検出部は、
   前記輝度特定情報により特定される前記輝度が小さい場合は、前記画像に対して第１の平滑化度合いである第１のフィルタ処理を施すことで前記動き検出用画像を生成し、
   前記輝度特定情報により特定される前記輝度が大きい場合は、前記画像に対して前記第１のフィルタ処理に比べて平滑化度合いが弱い第２のフィルタ処理を施すことで前記動き検出用画像を生成することを特徴とする画像処理装置。
4. 請求項２において、
   前記動きベクトル検出部は、
   前記画像に対し所定の平滑化フィルタ処理を施した平滑化画像を生成し、
   前記輝度特定情報により特定される前記輝度が小さい場合は、前記画像から第１の減算割合で前記平滑化画像による減算を行うことで前記動き検出用画像を生成し、
   前記輝度特定情報により特定される前記輝度が大きい場合は、前記画像から前記第１の減算割合に比べて大きい第２の減算割合で前記平滑化画像による減算を行うことで前記動き検出用画像を生成することを特徴とする画像処理装置。
5. 請求項２において、
   前記動きベクトル検出部は、
   前記画像に対し、前記高域周波数成分に対応する帯域を少なくとも通過域に含むフィルタ処理を施した高周波画像を生成し、
   前記輝度特定情報により特定される前記輝度が小さい場合は、前記画像に対して第１の加算割合で前記高周波画像を加算することで前記動き検出用画像を生成し、
   前記輝度特定情報により特定される前記輝度が大きい場合は、前記画像に対して前記第１の加算割合に比べて大きい第２の加算割合で前記高周波画像を加算することで前記動き検出用画像を生成することを特徴とする画像処理装置。
6. 請求項１において、
   前記動きベクトル検出部は、
   時系列に取得される複数の前記画像間の差分を評価値として算出し、前記評価値に基づき前記動きベクトルを検出し、
   前記動きベクトル検出部は、
   前記輝度特定情報により特定される輝度が小さいほど、前記評価値の算出処理における、前記画像の前記高域周波数成分に対する前記低域周波数成分の相対的な寄与度を高くすることを特徴とする画像処理装置。
7. 請求項６において、
   前記動きベクトル検出部は、
   所与の基準ベクトルが検出されやすくなるように、前記評価値を補正することを特徴とする画像処理装置。
8. 請求項７において、
   前記動きベクトル検出部は、
   前記輝度特定情報により特定される輝度が小さいほど、前記基準ベクトルが検出されやすくなるように、前記評価値を補正することを特徴とする画像処理装置。
9. 請求項６において、
   前記動きベクトル検出部は、
   前記評価値に基づき求められた前記動きベクトルに対する補正処理を行い、
   前記動きベクトル検出部は、
   前記輝度特定情報に基づいて、前記動きベクトルが所与の基準ベクトルに近づくように前記補正処理を行うことを特徴とする画像処理装置。
10. 請求項９において、
    前記動きベクトル検出部は、
    前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルが所与の基準ベクトルに近づくように前記補正処理を行うことを特徴とする画像処理装置。
11. 請求項７乃至１０のいずれかにおいて、
    前記基準ベクトルは、
    前記評価値に基づき検出される前記動きベクトルに比べて、大域的な動きを表すグローバル動きベクトル、又は、ゼロベクトルであることを特徴とする画像処理装置。
12. 請求項１において、
    前記動きベクトル検出部は、
    前記画像に基づき、周波数成分の異なる複数の動き検出用画像を生成し、複数の前記動き検出用画像の各々から検出された複数の動きベクトルを合成することで前記動きベクトルを検出し、
    前記動きベクトル検出部は、
    前記輝度特定情報により特定される輝度が小さいほど、前記低域周波数成分に対応する前記動き検出用画像から検出した前記動きベクトルの合成率を相対的に大きくすることを特徴とする画像処理装置。
13. 画像を時系列に撮像する撮像部と、
    前記画像の画素値に基づく輝度特定情報を求め、前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出する動きベクトル検出部と、
    を含み、
    前記動きベクトル検出部は、
    前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くすることを特徴とする内視鏡システム。
14. 画像を時系列に取得し、
    前記画像の画素値に基づく輝度特定情報を求め、
    前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出する、
    ステップをコンピュータに実行させ、
    前記動きベクトルの検出において、
    前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くすることを特徴とするプログラム。
15. 画像取得部と、動きベクトル検出部と、を含む画像処理装置の作動方法であって、
    前記画像取得部が、画像を時系列に取得し、
    前記動きベクトル検出部が、前記画像の画素値に基づく輝度特定情報を求め、前記画像及び前記輝度特定情報に基づいて、動きベクトルを検出し、
    前記動きベクトルの検出において、
    前記動きベクトル検出部が、前記輝度特定情報により特定される輝度が小さいほど、前記動きベクトルの検出処理における、前記画像の高域周波数成分に対する低域周波数成分の相対的な寄与度を高くすることを特徴とする画像処理装置の作動方法。

Images