JP5653082B2 - 電子内視鏡用の動画像強調処理システムおよび同システムの作動方法 - Google Patents

Description

本発明は、動画像に対する画像処理に関し、特に人の視覚機能に特徴的なモーションシャープニングを考慮した動画像の画像処理に関する。

画像の鮮鋭化に関しては様々な手法が提案されており、例えば動画においてエッジや色コントラストを強調する方法として、各画素において周囲の画素の平均値との差を求め、これを増幅して元の値に加算する方法が知られている（特許文献１）。また、動画の中で運動（変化）している被写体を強調する手法として、各画素において時間平均値との偏差を求め、これを増幅した上で表示する構成が提案されている（非特許文献１）。

特開２００７−３０６９７４号公報

H. Miike et al., Motion enhancement for preprocessing of optical flow detection and scientific visualization, Pattern Recognition Letters, 20(1999), pp.451-461

しかし、特許文献１のような空間的な情報のみを用いた画像の鮮鋭化では、動画中では見えていたものが静止画にすると見えなくなると言う現象が発生する。これは、人の視覚機能の１つであるモーションシャープニングにより、動画観察中では知覚されていたものが、時系列情報を失った静止画では知覚できなくなることによる。

一方、非特許文献１は、運動している被写体のみを強調して表示するものであり、元画像との統合は図られていない。そのため静止している被写体が表示されないなど、通常の動画像や静止画像としては使用できない。通常の動画像、静止画像として使用するには元画像との統合を図る必要があるが、非特許文献１の手法で得られる画像を元画像と単純に統合すると、動きの速い被写体の周り（運動境界近傍）における残像が強調されてしまい、その部分において画像は逆に不鮮明となり、モーションシャープニングの観点からは問題となる。

本発明は、モーションシャープニングを考慮した動画像強調処理を実現することを課題としている。

本発明の動画像強調処理システムは、動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶する記憶手段と、複数の画像の各画素に対して、画像データの時間軸方向の平均を算出する時間軸平均算出手段と、複数の画像の中で処理対象とする画像の画像データの平均からの偏差を算出する偏差算出手段と、偏差を増幅するとともに処理対象とする画像の画像データに加算して強調画像を得る強調画像生成手段とを備え、更に平均算出手段が、空間に関する平滑化処理を含むことを特徴としている。

平滑化処理は、複数の画像に対して施され、平均は平滑化処理後の画像データを用いて算出される。偏差の増幅は、処理対象画像のオプティカルフローに基づき重み付けられる。複数の画像の画像データは、その大小に基づきソートされるとともに、複数の画像の画像データの中で、中央値の周りの一部の画像データのみが時間軸方向の平均の算出に用いられる。

重み付けは、オプティカルフローの各画素における移動速度ベクトルの大きさに基づき調整される。あるいは重み付けは、オプティカルフローの速度場における各画素での拡散に基づき調整される。また、画像データは、Ｒ、Ｇ、Ｂ画素値の少なくとも何れかを含む。

本発明の動画像強調処理方法は、動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶し、複数の画像の各画素に対して、画像データの時間軸方向の平均を算出し、複数の画像の中で処理対象とする画像の画像データの平均からの偏差を算出し、偏差を増幅するとともに処理対象とする画像の画像データに加算して強調画像を得、更に平均算出手段が、空間に関する平滑化処理を含むことを特徴としている。

本発明によれば、モーションシャープニングを考慮した動画像強調処理を実現することができる。

本発明の一実施形態である動画像強調処理システムを備えた電子内視鏡システムの構成を示すブロック図である。 本実施形態の動画像強調処理の手順を示すフローチャートである。 本実施形態におけるソート処理の概念を模式的に示す図である。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である動画像強調処理システムの構成を示すブロック図である。

本実施形態の動画像強調処理システムは、例えば電子内視鏡システム１０である。電子内視鏡システム１０は、主にスコープ本体１１、プロセッサ装置１２、モニタ装置１３から構成される。スコープ本体１１は、体内などに挿入される可撓管からなる挿入部１４と、挿入部１４を操作する操作部１５と、操作部１５とプロセッサ装置１２を接続するユニバーサルコード１６から主に構成される。挿入部１４の先端には撮像素子が設けられ、先端から照射される光を照明として動画像が撮影される。撮像素子で得られた映像は、プロセッサ装置１２へと送られ、各種画像処理を施された後、モニタ装置１３へと出力され表示される。

また、プロセッサ装置１２は、映像処理部１７、映像出力部１８、画像メモリ１９、動画像強調処理部２０、コントローラ２１、外部メモリ２２等を備える。映像処理部１７には、例えばＤＳＰなどのプロセッサが含まれ、撮像素子から動画像信号が順次入力される。映像処理部１７では、ゲイン補正、ホワイトバランス処理など従来周知の所定の信号処理の他、後述する本実施形態の動画像強調処理の一部の実行が可能である。なお、映像処理部１７に入力される動画像信号がアナログ信号の構成では、映像処理部１７においてデジタルの画像信号に変換される。

デジタル画像信号は、映像処理部１７から画像メモリ１９へと出力され、画像メモリ１９では、フレーム画像（あるいはフィールド画像）を単位に所定のコマ数の最新画像データが順次記録・更新される。なお、画像メモリ１９に記録された画像データは、映像処理部１７において再読み出し可能である。

また、映像処理部１７の動画像信号は、内視鏡観察中の通常の状態では、映像出力部１８へ出力される。映像出力部１８では、入力された動画像信号を例えばコンポジット信号や輝度色差信号などの所定規格のアナログ映像信号に変換し、モニタ装置１３へ出力する。すなわち、モニタ装置１３の画面には、撮像素子で撮影される動画像がリアルタイムで表示される。

一方、画像強調処理部２０は、例えば操作部１５に設けられた静止画取得ボタン１５Ａの操作に対応して駆動され、このとき映像出力部１８からモニタ装置１３へ出力される映像信号は、映像処理部１７から動画像強調処理部２０へと一時的に（所定時間）切り替えられる。なお動画像強調処理部２０では、後述する動画像強調処理の一部が実行され、画像メモリ１９に記憶された画像データと、映像処理部１７において画像メモリ１９に記憶された画像データから作成された画像データを用いて本実施形態の動画像強調処理が施された静止画像が作成される。また、動画像強調処理部２０で作成された静止画像データは、例えばハードディスクやメモリカードなどの不揮発性の外部メモリ２２にも記憶され得る。

なお、コントローラ２１は、プロセッサ装置１２全体の処理を制御する回路であり、静止画取得ボタン１５Ａの操作に対応する映像出力部１８における出力信号の切替などが実行される。

図２は、映像処理部１７、動画像強調処理部２０を利用した本実施形態の動画像強調処理の手順を示すフローチャートである。以下、図１、図２を参照して本実施形態における動画像強調処理について説明する。

ステップＳ１００では、処理対象となるフレームを含む所定数のフレーム画像が画像メモリ１９に記憶される。例えば本実施形態では、処理対象フレームｎ（ｎ：整数）を中心とするＮ個（奇数）のフレーム画像のＲ、Ｇ、Ｂ画素値が記憶される。

ここでｆ（ｘ，ｙ，ｎ）は、Ｒ、Ｇ、Ｂの画素値を代表するもので、（ｘ，ｙ）は画素の位置に対応し、ｎは時間に対応する。すなわち、本実施形態では、処理対象画像の画素値をｆ（ｘ，ｙ，ｎ）とするとき、ｆ（ｘ，ｙ，ｎ−（Ｎ−１）／２）からｆ（ｘ，ｙ，ｎ＋（Ｎ＋１）／２）までの各画素値が画像メモリ１９に記憶される。

画像メモリ１９に記憶された複数のフレームのＲＧＢ画素値には、動画像強調処理で用いる画素値の時間軸平均値からの偏差を算出するため、映像処理部１７においてステップＳ１０２〜Ｓ１０８の処理が施される。また同時に、画像メモリ１９に記憶されたフレームｎの画像データと、これに隣接するフレームの画像データは動画像強調処理部２０に送られ、動画像強調処理で用いられる重み係数を算出するためのステップＳ１１２〜Ｓ１１６の処理が施される。

ステップＳ１０２では、フレームｎを除く、フレーム（ｎ−（Ｎ−１）／２）からフレーム（ｎ＋（Ｎ−１）／２）までの画像の各画素値ｆ（ｘ，ｙ，ｎ＋ｉ）、｜ｉ｜≦（Ｎ−１）／２（ｉ＝０を除く）に対して、平滑化のための例えばガウシアンフィルタが施される。以下平滑化された各画素値をｆｇ（ｘ，ｙ，ｎ±ｉ）と表す。

次にステップＳ１０４において、ソート処理が行われる。本実施形態におけるソート処理の概念を図３に示す。図３の例は、画像メモリ１９に記憶された５フレーム分の画像を用いて動画像強調処理を行う場合に対応する。すなわち、図３では、フレームｎを中心に前後フレームｎ±１、フレームｎ±２の画像が利用される。

ソート処理では、この５フレームの画像の各画素においてＲＧＢ毎に画素値が比較され、その大きさ順に並べ替えられる。例えば、画素（ｘ，ｙ）におけるフレームｎを中心とする５フレームの画素値をそれぞれｆｇ_−２、ｆｇ_−１、ｆｇ_０、ｆｇ_＋１、ｆｇ_＋２とすると、これらの大小関係が比較される。図３では、ｆｇ_−２＜ｆｇ_＋２＜ｆｇ_０＜ｆｇ_＋１＜ｆｇ_−１の場合が例示される。

次にステップＳ１０６で、平滑化された画像の各画素においてＲＧＢ毎に画素値の時間平均が求められる。本実施形態では、ステップＳ１０４のソート処理で並べ替えられた画素値の内、中央の所定数Ｍ（奇数）の画素値を用いて平均値が求められる。すなわち、並べ替えられた画素値を、中央の値の画素値の添え字が０となるようにｆｇ_ｊと付番し直すとき、ｆ（ｘ，ｙ，ｎ）を対象とした平均値ｆ_ａｖ（ｘ，ｙ，ｎ）は（１）式として求められる。

なお、並べ替えられた画素値の内、所定数Ｍの画素値のみを平均値の算出に用いるのは、ノイズなどにより画素値が他の画素値から大きく異なる場合に、その画素値が平均値に影響するのを防止するため（ノイズ対策）、および物体運動境界での動画像強調処理エラーの低減のためである。また、本実施形態では処理対象画素の値を平均値の算出に用いていないが、これを平均値の計算に参入することも考えられる。

次にステップＳ１０８では、時間軸方向の平均値ｆ_ａｖ（ｘ，ｙ，ｎ）を用いて、各画素（ｘ，ｙ）におけるＲＧＢ毎の画素値ｆ（ｘ，ｙ，ｎ）の偏差ｆ_ｄｅ（ｘ，ｙ，ｎ）が、ｆ（ｘ，ｙ，ｎ）−ｆ_ａｖ（ｘ，ｙ，ｎ）として求められる。ステップＳ１１０では、ステップＳ１０８で求められた画素値偏差ｆ_ｄｅ（ｘ，ｙ，ｎ）を用いて、本実施形態における動画像強調処理による画素値Ｆ（ｘ，ｙ，ｎ）が各画素（ｘ，ｙ）のＲＧＢに対して求められる。すなわち、ステップＳ１１０において、画素値Ｆ（ｘ，ｙ，ｎ）は、画素値時間軸平均ｆ_ａｖ（ｘ，ｙ，ｎ）と重み付けを行った画素値偏差ｆ_ｄｅ（ｘ，ｙ，ｎ）との和：ｆ_ａｖ（ｘ，ｙ，ｎ）＋α・ｆ_ｄｅ（ｘ，ｙ，ｎ）として求められ、この処理は終了する。

ここで、αは重み係数であり、本実施形態では、ステップＳ１１２〜ステップＳ１１６において、ステップＳ１１２で求められるオプティカルフローの移動速度（ベクトル）ｕ＝（ｕ_ｘ，ｕ_ｙ）に基づいて、各画素に対して求められる。重み係数αは、残像の影響が大きいと考えられる領域での画素値偏差ｆ_ｄｅ（ｘ，ｙ，ｎ）による強調を抑制するもので、例えば移動速度ベクトルｕの関数ｇ（ｕ）として与えられる。なお、ステップＳ１１２で求められるオプティカルフローは、例えばフレームｎの前後フレームの画像を利用して、従来周知のブロックマッチング法、勾配法、フィルタリング法などを用いて算出される。

本実施形態では、オプティカルフローにおける移動速度ベクトルｕの発散（ｄｉｖ）の絶対値が、運動境界付近で大きくなり、プラスの領域で残像が発生することを考慮して、ステップＳ１１４において各画素におけるｄｉｖ（ｕ）＝∂ｕ_ｘ／∂ｘ＋∂ｕ_ｙ／∂ｙの値を算出し、ステップＳ１１６において、発散の値が０以下となる画素ではαの値を一定値とし、０よりも大きいときには、αの値がｄｉｖ（ｕ）の値に反比例するように関数ｇ（ｕ）を設定する。

以上のように本実施形態によれば、静止している被写体の画像を残しながらも、オプティカルフローに応じて時間軸平均に対する処理対象画素値の偏差を強調することで、モーションシャープニングに対応する動画像強調処理を実現することができる。

また、本実施形態では、時間軸平均を代表する画像に空間的な平滑化処理を施しているので、空間的なエッジ強調を同時に行うことができる。更に、本実施形態では平滑化処理を、平均値を求める前の各フレーム画像に対して施したので、各フレーム毎に平滑化処理を異ならせることが可能であり、例えば、過去の画像ほど平滑化を強めるなどすることで、より視覚印象に近い静止画像を作成することができる。しかし、平均値を求めて得られた画像に対して平滑化処理を施しても同様に一定の効果が得られる。

また本実施形態を動画像の表示に応用すると、運動境界領域での残像が強調されることなく、動画における残像の影響が抑制される。また同時に、遠景と近景がメリハリを付けて強調され、奥行き感、立体感が保存され、より視覚印象に近い動画再生を実現できる。

なお、重み係数αの関数ｇ（ｕ）に、例えば移動速度ベクトルｕの大きさ｜ｕ｜の関数ｇ（｜ｕ｜）を用いてもよい。例では、関数ｇ（｜ｕ｜）は、｜ｕ｜の値が所定値以下の画素ではｇ（｜ｕ｜）＝α_Ｃ（一定値）とされ、｜ｕ｜の値が所定値よりも大きい画素では、｜ｕ｜の増大にともない単調に減少する関数が採用される。なお、単調減少領域は、α＝０に漸近する関数などが好ましく、原点側に凹んだグラフであることが好ましい。例えば｜ｕ｜^−１に比例する。

また、本実施形態の動画像強調処理システムは、電子内視鏡装置の一部として説明されたが、独立した動画像処理装置や静止画作成装置として構成することもでき、またビデオカメラの一部として構成することも可能である。また、本実施形態では、Ｒ、Ｇ、Ｂの各画素値に対して動画像強調処理を施したが、一部の色の信号に対して処理を施すことも可能であり、また、輝度色差信号の、輝度信号のみ、色差信号のみ、あるいは両者に施すことも可能である。またあるいは、Ｌａｂ空間の明度や彩度の一方または双方に同様の処理を施すことも可能である。画素値以外が用いられる場合には、メモリには、複数の画像(フレーム)の各画素に対応する必要な情報（データ）のみが記憶される。

また、本実施形態では、処理対象画像(フレーム)を中心として時間軸方向に前後複数の画像が画像処理に利用されたが、最も新しい画像（フレーム）を処理対象としてもよいし、最も古い画像(フレーム)を処理対象としてもよい。

１０ 電子内視鏡システム
１７ 映像処理部
１９ 画像メモリ
２０ 動画像強調処理部

Claims (9)

1. 動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶する記憶手段と、
   前記複数の画像の各画素に対して、前記画像データの時間軸方向の平均を算出する時間軸平均算出手段と、
   前記複数の画像の中で処理対象とする画像の前記画像データの前記平均からの偏差を算出する偏差算出手段と、
   前記偏差を増幅するとともに前記画像データの時間軸方向の平均に加算して強調画像を得る強調画像生成手段とを備え、
   更に前記平均算出手段が、空間に関する平滑化処理を含むことを特徴とする電子内視鏡用の動画像強調処理システム。
2. 前記平滑化処理が前記複数の画像に対して施され、前記平均が前記平滑化処理後の画像データを用いて算出されることを特徴とする請求項１に記載の動画像強調処理システム。
3. 前記偏差の増幅が、処理対象画像のオプティカルフローに基づき重み付けられることを特徴とする請求項２に記載の動画像強調処理システム。
4. 前記複数の画像の画像データが、その大小に基づきソートされるとともに、前記複数の画像の画像データの中で、中央値の周りの一部の画像データのみが、前記時間軸方向の平均の算出に用いられることを特徴とする請求項３に記載の動画像強調処理システム。
5. 前記重み付けが、前記オプティカルフローの速度場における各画素での拡散に基づき調整されることを特徴とする請求項３に記載の動画強調処理システム。
6. 前記重み付けが、前記オプティカルフローの各画素における移動速度ベクトルの大きさに基づき調整されることを特徴とする請求項３に記載の動画像強調処理システム。
7. 前記画像データが、Ｒ、Ｇ、Ｂ画素値の少なくとも何れかを含むことを特徴とする請求項３に記載の動画像強調処理システム。
8. 前記平滑化処理は、過去の画像ほど平滑化が強められることを特徴とする請求項２に記載の動画像強調処理システム。
9. 動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶する記憶手段と、前記画像データを処理する画像データ処理手段とを備えた電子内視鏡用動画像強調処理システムの作動方法であって、
   前記画像データ処理手段が、前記複数の画像の各画素に対して、前記画像データの時間軸方向の平均を算出し、
   前記複数の画像の中で処理対象とする画像の前記画像データの前記平均からの偏差を算出し、
   前記偏差を増幅するとともに前記画像データの時間軸方向の平均に加算して強調画像を得、
   更に前記平均算出手段が、空間に関する平滑化処理を含むことを特徴とする電子内視鏡用動画像強調処理システムの作動方法。