JP5816511B2 - 画像処理装置、内視鏡装置及び画像処理装置の作動方法 - Google Patents

Description

本発明は、画像処理装置、内視鏡装置及び画像処理装置の作動方法等に関する。

ノイズ低減処理（以下ではＮＲ処理と呼ぶ）には、大別すると、処理フレーム内でＮＲ処理を行う空間方向ＮＲ処理と、処理フレームと過去フレームを用いてＮＲ処理を行う時間方向ＮＲ処理の２つが存在する。

特開平６−４７０３６号公報

空間方向ＮＲ処理では、画像の高周波成分が減衰する傾向にあり、時間方向ＮＲ処理では、被写体が動体である場合に残像が残りやすい。そのため、画像が静止状態である場合に適応的に空間方向ＮＲ処理を選択することにより、高性能なＮＲ処理を実現したいという要求がある。

しかしながら、画像が静止状態であるか否かの判定を高精度に行う必要があるという課題がある。

例えば特許文献１には、画像の静止状態と動作状態を判別し、その判別結果に応じて時間方向ＮＲ処理と空間方向ＮＲ処理を切り替える手法が開示されている。静止状態と動作状態の判別には、フレーム間で算出した差分値を用い、その差分値が閾値より小さい場合には静止状態と判別し、大きい場合には動作状態と判別する。

しかしながら、フレーム間で算出した差分値は、画像に含まれるノイズ量に依存して変化する特徴がある。特許文献１では、閾値は固定値であり、ノイズ量に依存する差分値に対して固定値で判別を行うため、静止状態と動作状態を高精度に判別することは困難である。また、特許文献１には、ノイズ量に依存する差分値に対して適切な閾値について記載されていない。

本発明の幾つかの態様によれば、画像が静止状態であるか否を高精度に判定可能な画像処理装置、内視鏡装置及び画像処理方法等を提供できる。

本発明の一態様は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、を含む画像処理装置に関係する。

本発明の一態様によれば、撮像画像の推定ノイズ量が取得され、評価値と推定ノイズ量に基づいて、撮像画像上の被写体がフレーム間において静止状態であるか否かの判定が行われる。判定結果に応じて、第１のノイズ低減処理又は第２のノイズ低減処理が撮像画像に対して行われる。これにより、画像が静止状態であるか否を高精度に判定することが可能になる。

本発明の他の態様は、撮像画像を撮像する撮像部と、前記撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、を含む内視鏡装置に関係する。

本発明の更に他の態様は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出し、前記撮像画像の推定ノイズ量を取得し、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行い、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行う画像処理方法に関係する。

第１の実施形態における内視鏡システムの構成例。 撮像素子の色フィルタの配列構成例。 撮像素子の色フィルタの透過率特性例。 第１の実施形態におけるノイズ低減部の詳細な構成例。 第１の実施形態におけるノイズ低減処理のフローチャート。 図６（Ａ）は、画像信号に含まれる構造成分の例。図６（Ｂ）は、画像信号に含まれるノイズ成分の例。 図７（Ａ）〜図７（Ｃ）は、フレーム間差分値ｍＳＡＤについての説明図。 図８（Ａ）〜図８（Ｃ）は、フレーム間差分値ｍＳＡＤについての説明図。 画像におけるノイズ量の特性例。 第１の実施形態におけるノイズ低減処理の第２のフローチャート。 第２の実施形態における内視鏡システムの構成例。 前方視野領域、側方視野領域についての説明図。 領域判定処理についての説明図。 第２の実施形態におけるノイズ低減部の詳細な構成例。 第２の実施形態におけるノイズ低減処理のフローチャート。 第３の実施形態における内視鏡システムの構成例。 狭帯域フィルタの透過率特性例。 第３の実施形態におけるノイズ低減部の詳細な構成例。 第３の実施形態におけるノイズ低減処理のフローチャート。 第４の実施形態における内視鏡システムの構成例。 第４の実施形態におけるノイズ低減部の詳細な構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の概要
まず、本実施形態が行うＮＲ処理（ノイズ低減処理）の概要について説明する。なお以下では、静止状態とは、撮像部と被写体の相対的な位置関係が時間的に変化しない状態を表す。また、動作状態とは、撮像部と被写体の相対的な位置関係が時間的に変化する状態を表す。

上述のように、ＮＲ処理には、空間方向ＮＲ処理と時間方向ＮＲ処理がある。空間方向ＮＲ処理では、ＮＲ処理の対象となる画素（処理対象画素）と、その周辺の画素を用いた加重平均処理によりノイズを低減する。空間方向ＮＲ処理では、周辺画素との加重平均処理を行うため、元画像の高周波成分が減衰するという副作用がある。

時間方向ＮＲ処理では、ＮＲ処理の対象となるフレーム（処理フレーム）と、その処理フレームとは異なる時間に取得されたフレーム（過去フレーム）を用いた加重平均処理によりノイズを低減する。加重平均処理には、処理フレームの処理対象画素、及び過去フレームにおいて処理対象画素と同一座標の画素のみが用いられる。そのため、静止状態においては、元画像の高周波成分を保持可能であるという利点がある。一方、画像において被写体が動いている動作状態では、残像を生じるという副作用がある。

以上の特性から、適応的にＮＲ処理を選択することで、高性能なＮＲ処理を実現可能である。具体的には、静止状態においては時間方向ＮＲ処理、動作状態においては空間方向ＮＲ処理を選択することで、静止状態においては高周波成分を保持した状態でノイズ成分のみを低減可能なＮＲ処理を実現可能である。

しかしながら、上述のように、画像のノイズの影響があるため、静止状態と動作状態の判別を高精度に行うことが困難という課題がある。

そこで本実施形態では、図５等で後述するように、画素値に応じた推定ノイズ量Ｎを取得し、画像のフレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下である場合には静止状態であると判定し、時間方向のＮＲ処理である第１のＮＲ処理を行う。これにより、画像において被写体が静止しているか否かを高精度に判定でき、静止状態である場合には高精細な画像を得ることが可能である。静止状態でない場合には、少なくとも空間方向のＮＲ処理を含む第２のＮＲ処理を行うことにより、残像を抑制できる。

２．第１の実施形態
２．１．内視鏡システム
次に、本実施形態の詳細について説明する。図１に、第１の実施形態における内視鏡システムの構成例を示す。内視鏡システム（内視鏡装置）は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、制御部３９０を含む。

光源部１００は、白色光を発生する白色光源１１０と、その白色光をライトガイドファイバ２１０に集光するためのレンズ１２０と、を含む。

撮像部２００は、体腔への挿入を可能にするため、例えば細長く且つ湾曲可能に形成されている。また、観察する部位により異なる撮像部が用いられるため、撮像部２００は制御装置３００に対して着脱可能な構造をしている。なお以下の説明では適宜、撮像部２００をスコープと呼ぶ。

撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、を含む。また撮像部２００は、被写体からの反射光を集光する集光レンズ２３０と、集光レンズ２３０により集光された反射光を検出するための撮像素子２４０と、メモリ２５０と、集光レンズ２３０のズームレンズを駆動するレンズ駆動部２６０と、を含む。

メモリ２５０は制御部３９０に接続されている。レンズ駆動部２６０は制御部３９０と双方向に接続されている。

撮像素子２４０は、図２に示すようにベイヤ配列の色フィルタを有する撮像素子である。色フィルタは、ｒフィルタ、ｇフィルタ、ｂフィルタの３種類である。図３に示すように、ｒフィルタは５８０〜７００ｎｍの光を透過させ、ｇフィルタは４８０〜６００ｎｍの光を透過させ、ｂフィルタは３９０〜５００ｎｍの光を透過させる特徴を有する。

メモリ２５０には、スコープ固有の識別番号が保持されている。制御部３９０は、メモリ２５０に保持されている識別番号を参照することで、接続されているスコープの種類を識別することが可能である。

集光レンズ２３０は、画角θをθ_ＭＩＮ〜θ_ＭＡＸ［ｄｅｇ］の範囲で設定できるようになっている。本実施形態では、画角θ＝θ_ＭＡＸの状態を通常観察状態とし、画角θがθ_ＭＡＸよりも小さい状態を拡大観察状態とする。この画角θは、外部Ｉ／Ｆ部５００よりユーザーが任意の値を設定することにより、設定される。即ち、ユーザーから画角θが設定された場合、設定された画角θが制御部３９０に入力され、制御部３９０（狭義には画角制御部）が画角θをレンズ駆動部２６０に送信する。そして、レンズ駆動部２６０が、集光レンズ２３０の中のズームレンズを駆動することにより、撮像部２００の画角が所望の画角θに設定される。また、制御部３９０は、設定された画角θをノイズ低減部３２０へ出力する。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。外部Ｉ／Ｆ部５００は、入力された情報を制御部３９０へ出力する。

制御装置３００は、内視鏡装置の各部の制御や、撮像画像に対する画像処理等を行う。補間処理部３１０は、ノイズ低減部３２０に接続されている。ノイズ低減部３２０は表示画像生成部３４０に接続されている。また、ノイズ低減部３２０は、フレームメモリ３３０と双方向に接続されている。表示画像生成部３４０は表示部４００に接続されている。制御部３９０は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０に接続されており、これらの制御を行う。

補間処理部３１０は、撮像素子２４０により取得される画像に対して補間処理を行う。上述のように撮像素子２４０はベイヤ配列を有するため、撮像素子２４０により取得される画像の各画素は、Ｒ、Ｇ、Ｂ信号のうちの何れか１色の信号値を有し、他の２色の信号値が欠落した状態である。補間処理部３１０は、この画像の各画素に対して補間処理を行うとで、欠落している信号値を補間し、各画素においてＲ、Ｇ、Ｂ信号の全ての信号値を有する画像を生成する。補間処理として、例えば公知のバイキュービック補間処理を用いればよい。なお以下では、補間処理後の画像をＲＧＢ画像と呼ぶ。補間処理部３１０は、生成したＲＧＢ画像をノイズ低減部３２０へ出力する。

ノイズ低減部３２０は、補間処理部３１０より出力されるＲＧＢ画像に対して、ＮＲ処理を行う。具体的には、ノイズ低減部３２０は、ＲＧＢ画像の各画素において静止状態と動作状態を判別し、その判別結果に応じて適応的にＮＲ処理を切り替える。即ち、ノイズ低減部３２０は、静止状態と判別された場合には、高周波成分を保持可能な時間方向ＮＲ処理を選択し、動作状態と判別された場合には、空間方向ＮＲ処理を選択する。これにより、静止状態には高周波成分を保持した状態でノイズのみを低減することが可能となり、高性能なＮＲ処理を実現できる。ノイズ低減部３２０については、詳細に後述する。なお以下では、ＮＲ処理後の画像をＮＲ画像（ノイズ低減画像）と呼ぶ。

表示画像生成部３４０は、ノイズ低減部３２０より出力されるＮＲ画像に対し、例えば既存のホワイトバランスや色変換処理、階調変換処理等を施し、表示画像を生成する。表示画像生成部３４０は、生成した表示画像を表示部４００に出力する。表示部４００は、例えば液晶表示装置等の表示装置により構成される。

２．２．ノイズ低減処理
次に、ノイズ低減部３２０について詳細に説明する。図４に、第１の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５、画角情報取得部３２６を含む。

図５に、第１の実施形態におけるノイズ低減処理のフローチャートを示す。この処理が開始されると、ステップＳ１に示すように、評価値算出部３２１は、補間処理部３１０から出力されるＲＧＢ画像と、フレームメモリ３３０に保持されている過去画像とを用いて、差分平均値ｍＳＡＤを算出する。過去画像とは、ＲＧＢ画像よりも１フレーム前の時点において、ノイズ低減部３２０から出力されたＮＲ画像である。

ＮＲ処理の対象となる画素である注目画素の座標を（ｘ，ｙ）とすると、差分平均値ｍＳＡＤ（フレーム間差分値）は、下式（１）を用いて算出される。評価値算出部３２１は、下式（１）のＳＡＤ（ｍ，ｎ）が最小となる（ｍ，ｎ）の値を、ノイズ低減処理部３２５へ出力する。なお、以下ではＧ信号についての処理を説明するが、Ｒ信号、Ｂ信号についても同一の処理が施される。

ここで、上式（１）において、ｍｉｎ（）は、括弧内の値の最小値を取得する処理を表す。また、ｍ＝−１、０、１、ｎ＝−１、０、１である。また、Ｆ_{Ｇ＿ｃｕｒ}（ｘ，ｙ）はＲＧＢ画像の座標（ｘ，ｙ）におけるＧ信号値であり、ＦＧ_＿ｐｒｅ（ｘ，ｙ）は過去画像の座標（ｘ，ｙ）におけるＧ信号値である。また、ｋは自然数であり、（２ｋ＋１）は差分平均値ｍＳＡＤを算出する際のカーネルサイズに相当する。ｋは、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００より、ユーザーが任意の値を設定する構成としてもよい。また、‖Ａ‖は、実数Ａの絶対値を取得する処理を表す。

静止状態と動作状態のそれぞれにおける、上記差分平均値ｍＳＡＤの特徴について説明する。以下では説明を簡単にするために、画像を１次元の信号として扱う。また、画像信号の成分は、図６（Ａ）に示す構造成分と、図６（Ｂ）に示すノイズ成分で構成されているものとする。

ある時刻ｔにおいて図７（Ａ）に示す画像が取得され、その直前の時刻ｔ−１において図７（Ｂ）に示す画像が取得された場合を考える。この場合、時刻ｔと時刻ｔ−１において、構造成分の位置は変化していない（静止状態に相当）。そのため、時刻ｔにおける画像と、時刻ｔ−１における画像との差分値（差分値の絶対値）を求めると、図７（Ｃ）に示すように、差分値にはノイズ成分のみが含まれることになる。

一方、ある時刻ｔにおいて図８（Ａ）に示す画像が取得され、その直前の時刻ｔ−１において図８（Ｂ）に示す画像が取得された場合を考える。図８（Ｂ）に示すｄは、フレーム間における被写体の動き量に相当する（動作状態に相当）。この場合、時刻ｔにおける画像と、時刻ｔ−１における画像の差分値を求めると、図８（Ｃ）に示すように、差分値にはノイズ成分と構造成分の両方が含まれることになる。

従って、動作状態における差分平均値ｍＳＡＤは、静止状態における差分平均値ｍＳＡＤよりも大きくなる特徴がある。そのため、静止状態における差分平均値ｍＳＡＤ（＝ノイズ量）を閾値とすることで、静止状態と動作状態の判別が可能となる。

しかしながら、図９に示すように、一般にノイズ量は画像信号値に依存して変化する。即ち、画像信号値が大きいほどノイズ量が増加する。そのため、図７（Ｃ）に示す静止状態における差分平均値ｍＳＡＤも画像信号値に依存して変化する。静止状態と動作状態を判別するための閾値を固定値とした場合、このｍＳＡＤのノイズ依存性により、静止状態と動作状態を精度よく判別することが困難となる。

そこで、本実施形態では、図９に示すノイズ量の特性をテーブル（ノイズ量テーブル）として保持しておき、各画素の信号値に対応するノイズ量Ｎを、テーブルを参照することにより取得する。そして、そのノイズ量Ｎに基づいて、静止状態と動作状態を判別する。このようにして、高精度な判別が可能となる。

ここで、上式（１）で説明した（ｍ，ｎ）は、フレーム間の動きベクトルに相当し、この動きベクトルの探索範囲は±１画素である。上式（１）では、探索範囲の中で最も小さいＳＡＤをｍＳＡＤとして選択する。そのため、ＲＧＢ画像と過去画像がフレーム間において厳密に静止しておらず、±１画素程度動く場合であっても、ステップＳ３で後述するように時間方向ＮＲ処理が選択される。一方、動き量ｍ、ｎが１画素より大きい場合には、正しい動きベクトル（ｍ，ｎ）を算出できないため、この場合にはステップＳ３で説明するように、空間方向ＮＲ処理が選択される。

画像において被写体が静止していても微小な動きは存在しているため、厳密に静止状態を判定すると、事実上の静止状態であっても空間方向のＮＲ処理が選択され、画像の構造成分が減少してしまう。この点、上式（１）を用いることで、±１画素の動きであれば静止状態と判定できるため、時間方向ＮＲ処理により高解像の画像を得ることができる。

次に、図５のステップＳ２に示すように、推定ノイズ量取得部３２２がノイズ量Ｎを取得する。即ち、ルックアップテーブル３２３には、図９で説明したノイズ量Ｎの特性をノイズ量テーブルとして記憶されている。推定ノイズ量取得部３２２は、ＲＧＢ画像の注目画素（処理対象の画素）の信号値に対応するノイズ量Ｎを、ルックアップテーブル３２３を参照することにより取得する。

なお、ノイズ量テーブルは、接続されるスコープにより異なる。上述のように、撮像部２００のメモリ２５０には、各スコープ固有の識別番号が保持されているため、接続されているスコープを識別可能である。具体的には、制御部３９０がメモリ２５０に保持されている識別番号を取得し、接続されているスコープを識別し、その識別結果をノイズ低減部３２０に出力する。そして、推定ノイズ量取得部３２２は、スコープに対応するノイズ量テーブルを参照してノイズ量Ｎを取得する。

次に、図５のステップＳ３に示すように、判定部３２４は、ステップＳ１で出力された差分平均値ｍＳＡＤ、及びステップＳ２で出力されたノイズ量Ｎを用いて、静止状態か動作状態かの判別処理を行う。具体的には、判定部３２４は、下式（２）により判別処理を行う。

次に、ステップＳ４に示すように、ノイズ低減処理部３２５は、ステップＳ３において静止状態と判別された場合には時間方向のＮＲ処理（広義には第１のノイズ低減処理）を実行する。一方、ステップＳ５に示すように、ノイズ低減処理部３２５は、ステップＳ３において動作状態と判別された場合には空間方向のＮＲ処理（広義には第２のノイズ低減処理）を実行する。なお、時間方向ＮＲ処理と空間方向ＮＲ処理の詳細は後述する。

次に、ステップＳ６に示すように、ＲＧＢ画像の全画素についてＮＲ処理が実行されたか否かをチェックする。全画素についてＮＲ処理が実行された場合には、ステップＳ７に示すように、ノイズ低減部３２０はＮＲ画像をフレームメモリ３３０及び表示画像生成部３４０に出力し、処理を終了する。フレームメモリ３３０は、ノイズ低減部３２０より出力されたＮＲ画像を過去画像として保持する。全画素についてＮＲ処理が実行されていない場合には、ステップＳ１〜ステップＳ６を実行する。

２．３．観察状態に応じたノイズ低減処理
次に、拡大観察状態か否かに応じて、静止状態と動作状態を判別するための閾値を変更する手法について説明する。

図１０に、第１の実施形態におけるノイズ低減処理の第２のフローチャートを示す。なお、ステップＳ２２、Ｓ２４以外は図５のステップＳ１〜Ｓ７と同様であるため、適宜説明を省略する。ステップＳ２２に示すように、画角情報取得部３２６は、撮像部２００の画角θの情報を制御部３９０から取得する。そして、判定部３２４は、画角θがθ_ＭＡＸより小さいか否かを判定する。

画角θ＝θ_ＭＡＸ、即ち通常観察状態である場合には、ステップＳ２３に示すように、上式（２）を用いて静止状態と動作状態の判別処理が行われる。一方、画角θ＜θＭＡＸ（θ≠θＭＡＸ）、即ち拡大観察状態である場合には、ステップＳ２４に示すように、下式（３）を用いて静止状態と動作状態の判別処理が行われる。

ここで、上式（３）において、係数Ｃａは１よりも大きい実数とする。係数Ｃａは、予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００よりユーザーが任意の値を設定する構成としてもよい。

ステップＳ２３、Ｓ２４において静止状態と判別された場合には、ステップＳ２５に示すように、時間方向のＮＲ処理が実行される。一方、動作状態と判別された場合には、ステップＳ２６に示すように、空間方向のＮＲ処理が実行される。

本実施形態と観察状態の関係について詳細に説明する。内視鏡診断においては、大別すると病変と疑われる箇所を探索するスクリーニングと、スクリーニングにより発見された箇所が病変であるか否かを診断する精査の、２つの診断が存在する。

スクリーニング時には、ドクターがスコープを操作（挿入・抜去）しながら診断を行うため、画像上において被写体が大きく動く（動作状態）という特徴がある。そのため、時間方向ＮＲ処理が有効に機能しない。また、スクリーニング時には、発赤調や褪色調を有する領域を探索するため、比較的低周波成分が診断に重要な情報となるという特徴がある。そのため、スクリーニング時にはノイズ低減処理により、高周波成分が多少減衰しても診断に与える影響は少ない。以上より、スクリーニング処理時には、空間方向ＮＲ処理によりノイズを低減することが望ましい。

一方、精査時には、ドクターがスコープを停止させた状態で診断を行うため、画像上における被写体の動き量は小さい（静止状態）という特徴がある。また、精査時には、微細血管や粘膜構造など、比較的高周波成分が診断に重要な情報となる。従って、動き量の小さい精査時には、高周波成分を保持可能な時間方向ＮＲ処理を機能させることが望ましい。このような精査は、拡大観察の状態で行われることが多い。

本実施形態では、図５等で説明したように、精査に対応する静止状態とスクリーニングに対応する動作状態を高精度に判別する。そして、精査時においては、時間方向ＮＲ処理を選択することで診断に重要となる微細血管や粘膜構造を保持した状態でノイズのみを低減することが可能である。また、図１０等で説明したように、画角θに応じて判別処理の閾値を変更することにより、精査に用いる拡大観察時においては、時間方向ＮＲ処理がより選択されやすく（支配的に）なるという利点がある。

以上の実施形態によれば、内視鏡画像のノイズを適応的に低減することが可能であり、診断により適した画像を提供することが可能となる。具体的には、精査時のように動き量が小さい場合においては、時間方向ＮＲ処理が選択されやすくなるため、精査の際に重要となる高周波成分を保持しつつ、ノイズのみを低減することができる。

一方、スクリーニング時においては、空間方向ＮＲ処理が選択される。この場合、高コントラストのエッジ部の高周波成分は保持可能であるが、低コントラストのエッジ部の高周波成分は減衰してしまう。しかし、スクリーニング時においては、発赤調や褪色調領域などの比較的低周波な情報が重要になるため、診断に与える影響は少ない。

２．４．時間方向ＮＲ処理、空間方向ＮＲ処理
次に、時間方向ＮＲ処理の詳細について説明する。時間方向ＮＲ処理には、下式（４）が用いられる。

ここで、上式（４）において、Ｆ_Ｇ＿ＮＲ（ｘ，ｙ）はＮＲ画像の座標（ｘ，ｙ）におけるＧ信号値である。また、ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは加重平均処理時の重み係数である。ｗｅ＿ｐｒｅを（ｗｅ＿ｃｕｒと比較して）大きくすることにより、ノイズ低減量が大きくなる。ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００より、ユーザーが任意の値を設定する構成としてもよい。

次に、空間方向ＮＲ処理の詳細について説明する。本実施形態において、空間方向ＮＲ処理は、ＮＲ処理の対象となる画素（注目画素）とその周辺の画素を用いた加重平均処理である。具体的には、下式（５）を用いてノイズを低減する。

ここで、上式（５）において、ｗｅ＿ｄｉｆｆ＿ｃｕｒ（ｘ＋ｉ，ｙ＋ｊ）、ｗｅ＿ｄｉｆｆ＿ｐｒｅ（ｘ＋ｉ，ｙ＋ｊ）は加重平均処理時の重み係数に相当する。この係数は、下式（６）に示すように、ガウス分布で与えられる。また、Ｉは自然数である。また、ｍ、ｎは、上式（１）においてｍＳＡＤとして選択されたＳＡＤ（ｍ，ｎ）のｍ、ｎである。

上式（６）に示すように、本実施形態で用いられる空間方向ＮＲ処理では、注目画素の信号値と周辺画素の信号値との差分の大きさに応じて、適応的に重み係数が設定される。具体的には、差分が大きい場合には、加重平均処理時の重みが小さくなる。従って、エッジ部など信号値が急に変化する領域の画素は加重平均処理に寄与しなくなるため、エッジ部を保持してノイズ成分のみを低減できる利点がある。

しかしながら、この空間方向ＮＲ処理では、注目画素と周辺画素の信号値の差分に応じて重み係数が制御されるため、ノイズ低減の程度（平滑化の強度）が、画像に含まれるノイズ量に依存するという特徴がある。具体的には、ノイズが大きいほど差分が大きくなるため、重み係数が小さくなり、上式（５）の加重平均における寄与が小さくなる。そのため、ノイズが大きいほどノイズ低減の程度は弱くなり、ノイズが低減されなくなってしまう。

そこで、本実施形態では、上式（６）のガウス分布の標準偏差σを、図５のステップＳ２（又は図１０のステップＳ２１）で出力されるノイズ量Ｎに基づいて算出する。具体的には、下式（７）を用いて標準偏差σを算出する。

ここで、上式（７）において、係数Ｃｂは正の実数である。係数Ｃｂは、予め一定の値を設定してもよいし、外部Ｉ／Ｆ部５００よりユーザーが任意の値を設定する構成としてもよい。

このように、ノイズ量Ｎに基づいてガウス分布の標準偏差σを算出することにより、ノイズ量に対して適応的なノイズ低減処理を実現することが可能である。即ち、ノイズ量Ｎが大きいほど標準偏差σが大きくなるため、上式（６）において差分（例えばＦ_{Ｇ＿ｃｕｒ}（ｘ＋ｉ，ｙ＋ｊ）−Ｆ_{Ｇ＿ｃｕｒ}（ｘ，ｙ））がノイズにより大きくなった場合でも、標準偏差σがノイズ量Ｎに依存しない場合に比べて、重み係数を大きくできる。そのため、ノイズが大きい場合でも平滑化の強度を維持できる。

なお、以上の実施形態では、補間処理部３１０より出力されるＲＧＢ画像に対してＮＲ処理を施す場合を例に説明したが、本実施形態はこれに限定されない。例えば、撮像素子２４０より出力される画像に対してＮＲ処理を施してもよい。この場合、撮像素子２４０はベイヤ配列を有するため、撮像素子２４０が出力する画像は、各画素がＲ、Ｇ、Ｂのうち何れか１種類の信号値のみを有するベイヤ画像となる。そのため、同色の信号値を有する画素のみを用いて、ＮＲ処理が施される。例えば注目画素がＧ画素の場合には、注目画素と周辺のＧ画素を用いてＮＲ処理が施される。

また、以上の実施形態では、ノイズ量Ｎを取得する際のＲＧＢ画像の信号値として、ＲＧＢ画像の注目画素の信号値を用いたが、本実施形態はこれに限定されない。例えば、ＲＧＢ画像の注目画素及びその周辺画素の平均値を信号値として、その信号値に対応するノイズ量Ｎをノイズ量テーブルから取得してもよい。

また、以上の実施形態では、推定ノイズ量取得部３２２がルックアップテーブル３２３からノイズ量Ｎを取得する場合を例に説明したが、本実施形態はこれに限定されない。例えば、推定ノイズ量取得部３２２が、補間処理部３１０からのＲＧＢ画像に基づいてノイズ量Ｎを推定（算出）してもよい。

以上の実施形態によれば、図４に示すように、画像処理装置は、評価値算出部３２１と推定ノイズ量取得部３２２と判定部３２４とノイズ低減処理部３２５を含む。図５のＳ１で説明したように、評価値算出部３２１は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する。Ｓ２で説明したように、推定ノイズ量取得部３２２は、撮像画像の推定ノイズ量Ｎを取得する。Ｓ３で説明したように、判定部３２４は、評価値と推定ノイズ量Ｎに基づいて、静止状態であるか否かの判定を行う。Ｓ４で説明したように、ノイズ低減処理部３２５は、静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を撮像画像に対して行う。Ｓ５で説明したように、静止状態でない（動作状態）と判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を撮像画像に対して行う。

具体的には、判定部３２４は、推定ノイズ量Ｎを閾値とし、フレーム間差分値ｍＳＡＤが閾値以下である場合に静止状態であると判定する。

このようにすれば、画像が静止状態であるか否を高精度に判定することが可能になる。即ち、図７（Ａ）〜図８（Ｃ）で説明したように、フレーム間差分値ｍＳＡＤはノイズ量に依存して変化する。本実施形態では、推定ノイズ量Ｎを用いて、フレーム間差分値ｍＳＡＤが静止状態に該当するか否かの判定を行うため、ノイズ量に影響されず高精度に判定できる。

例えば本実施形態では、画像処理装置は、補間処理部３１０、ノイズ低減部３２０、フレームメモリ３３０に対応する。また撮像画像は、補間処理部３１０からのＲＧＢ画像に対応する。また評価値は、フレーム間差分値ｍＳＡＤに対応する。なお、本実施形態はこれに限定されず、評価値とは、複数フレームの画像を用いて算出され、画像上において被写体が静止した状態と静止していない状態とで値が異なるものであればよい。

ここで、時間方向のノイズ低減処理とは、撮像画像の時間方向におけるノイズを低減する処理である。具体的には、第１フレームの画像における処理対象画素と、第１フレームよりも後の第２フレームの画像における処理対象画素を時系列の画素とし、その時系列の画素に対して平滑化を行う処理である。例えば上式（４）において、第１フレームの画像における処理対象画素はＦ_{Ｇ＿ｐｒｅ}（ｘ＋ｍ，ｙ＋ｎ）であり、第２フレームの画像における処理対象画素はＦ_{Ｇ＿ｃｕｒ}（ｘ，ｙ）である。

また、空間方向のノイズ低減処理とは、撮像画像の空間方向におけるノイズを低減する処理である。具体的には、１つのフレームの画像において、処理対象画素と処理対象画素の近傍の画素とを用いて、処理対象画素に対して平滑化を行う処理である。例えば上式（５）において、１つのフレームの画像はＦ_{Ｇ＿ｃｕｒ}であり、処理対象画素は（ｘ，ｙ）であり、処理対象画素の近傍の画素は、−Ｉ≦ｉ≦Ｉ、−Ｉ≦ｊ≦Ｉにおける（ｘ＋ｉ，ｙ＋ｊ）である。

なお、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理は、１つのフレームの画像のみに対する空間方向のノイズ低減処理を、少なくとも含んでいればよい。例えば、上式（５）に示すように、複数フレームの画像を用いたノイズ低減処理であってもよい。

また本実施形態では、上式（１）で説明したように、撮像画像の第１フレームＦ_{Ｇ＿ｃｕｒ}において処理対象画素（ｘ，ｙ）を中心とする所定サイズ（（２ｋ＋１）^２画素）の領域を第１領域とし、撮像画像の第２フレームＦ_{Ｇ＿ｐｒｅ}において処理対象画素（ｘ，ｙ）を中心とする所定サイズ（（２ｋ＋１）^２画素）の領域を第２領域とする。この場合に、評価値算出部３２１は、第１領域の画素値と第２領域の画素値との差分値ＳＡＤ（ｍ，ｎ）を、第１領域に対して第２領域を水平（ｘ軸に沿った方向）及び垂直（ｙ軸に沿った方向）に１画素ずつ順次シフト（ｍ，ｎ＝−１，０，１）しながら複数求める。評価値算出部３２１は、求めた複数の差分値ＳＡＤ（ｍ，ｎ）のうちの最小値ｍｉｎ（ＳＡＤ（ｍ，ｎ））をフレーム間差分値ｍＳＡＤとして出力する。判定部３２４は、その最小値が閾値Ｎ以下である場合に静止状態であると判定する。

このようにすれば、フレーム間において１画素程度、被写体が動く場合であっても、時間方向ＮＲ処理を選択できる。即ち、静止状態とはいえ画像上において被写体が全く動かないわけではないため、静止状態と見なせる範囲の動きであれば時間方向ＮＲ処理を選択し、構造情報を失わずにノイズ低減処理できる。

また本実施形態では、図４に示すように、画像処理装置は、撮像画像を撮像する撮像部２００の画角情報を取得する画角情報取得部３２６を含む。判定部３２４は、画角情報が表す画角θに応じて、静止状態であるか否かの判定条件を設定する。

より具体的には、図１０のＳ２０に示すように、評価値算出部３２１は、撮像画像のフレーム間差分値ｍＳＡＤを評価値として算出する。Ｓ２２、Ｓ２３に示すように、判定部３２４は、画角θが閾値θ_ＭＡＸ以上である場合、フレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下である場合に静止状態であると判定する。Ｓ２２、Ｓ２４に示すように、判定部３２４は、画角θが閾値θ_ＭＡＸよりも小さい場合、フレーム間差分値ｍＳＡＤが、１よりも大きい係数Ｃａを推定ノイズ量Ｎに対して乗じた値以下である場合に、静止状態であると判定する。

なお、上記の実施形態では画角判定の閾値を、画角調整範囲θ_ＭＩＮ〜θ_ＭＡＸの上限θ_ＭＡＸとしたが、本実施形態はこれに限定されない。例えば、画角調整範囲θ_ＭＩＮ〜θ_ＭＡＸ内の所定画角を閾値としてもよい。

このようにすれば、撮像部２００の画角θが閾値より小さい場合に拡大観察状態であると判定できる。拡大観察状態であると判定された場合、閾値を推定ノイズ量Ｎより大きいＣａＮに設定することで、通常観察状態の場合よりも時間方向ＮＲ処理を選択されやすくできる。これにより、拡大観察状態において病変部等の微細な構造の視認性を向上できる。

３．第２の実施形態
３．１．内視鏡システム
撮像部２００の前方視野と側方視野とで異なる閾値により、静止状態と動作状態の判別処理を行う第２の実施形態について説明する。

図１１に、第２の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、第１の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。撮像部２００と制御装置３００以外は、第１の実施形態と同一であるため、説明を省略する。

撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２７０と、撮像素子２４０と、メモリ２５０を含む。ライトガイドファイバ２１０と、照明レンズ２２０と、撮像素子２４０と、メモリ２５０については、第１の実施形態と同一であるため、説明を省略する。集光レンズ２７０は、撮像部２００の先端から突出しており、前方視野及び側方視野を観察可能である。集光レンズ２７０は、例えば視野角が２３０°の対物レンズにより構成される。

図１２に示すように、補間処理部３１０は、前方視野の被写体が撮像された前方視野領域と、側方視野の被写体が撮像された側方視野領域とを含むＲＧＢ画像を出力する。ＲＧＢ画像の中央部は前方視野に対応し、ＲＧＢ画像の周辺部は側方視野に対応する。図１３に示すように、このＲＧＢ画像の中心座標を（ｘｏ，ｙｏ）とする。中心座標（ｘｏ，ｙｏ）を基準として、半径Ｒの範囲内にある領域を前方視野領域とし、半径Ｒの範囲外にある領域を側方視野領域とする。

制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、制御部３９０を含む。ノイズ低減部３２０以外の処理は、第１の実施形態と同一であるため、説明を省略する。

３．２．ノイズ低減処理
図１４に、第２の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５、領域判定部３２７を含む。

図１５に、第２の実施形態におけるノイズ低減処理のフローチャートを示す。なお、ステップＳ４２以外は図５や図１０で説明したステップと同様であるため、適宜説明を省略する。

ステップＳ４２に示すように、領域判定部３２７は、注目画素が属する領域の判別処理を行う。即ち、領域判定部３２７は、注目画素が前方視野領域に属するか、側方視野領域に属するかを、下式（８）により判定する。下式（８）のｒは、下式（９）により求められる。下式（９）において（ｘ，ｙ）は注目画素の座標である。

ステップＳ４３、Ｓ４４に示すように、判定部３２４は、ステップＳ４０で出力される差分平均値ｍＳＡＤと、ステップＳ４１で出力されるノイズ量Ｎと、ステップＳ４２より出力される注目画素の属する領域の情報と、に基づいて判別処理を行う。具体的には、注目画素が側方視野領域に属すると判定された場合には、ステップＳ４４に示すように上式（２）を用いて静止状態か否かの判定を行う。注目画素が前方視野領域に属すると判定された場合には、ステップＳ４３に示すように上式（３）を用いて静止状態か否かの判定を行う。

一般に、視野角の広いレンズを用いて取得された画像では、周辺部において画像が大きく歪むため、周辺部の高周波成分が失われる特徴がある。そのため、本実施形態において取得される画像の側方視野領域は、スクリーニングには適しているが、歪みの少ない前方視野領域に比べると精査には適さない。

本実施形態では、側方視野領域における閾値よりも前方視野領域における閾値を大きくして判別処理を行う。これにより、側方領域については空間方向ＮＲを支配的にし、前方領域については時間方向ＮＲを支配的にでき、適応的なＮＲ処理を実現することが可能である。即ち、精査に用いられると考えられる前方領域については、閾値をＣａＮ（Ｃａ＞１）として時間方向ＮＲが選択されやすくすることで、高周波成分を保持した状態でノイズのみを低減する。一方、スクリーニングに用いられると考えられる側方領域については、閾値をＮとし、空間方向ＮＲが選択されやすくすることで、残像を抑制する。このようにして、より診断に適した画像をドクターに提示することが可能となる。

上記の実施形態によれば、判定部３２４は、撮像画像においてノイズ低減処理の対象領域が属する領域に応じて、静止状態であるか否かの判定条件を設定する。

このようにすれば、微細構造の観察に用いる領域において、時間方向ＮＲ処理を選択されやすくすることが可能になる。これにより、その領域において病変部等の微細な構造の視認性を向上できる。

具体的には、図１４に示すように、画像処理装置は領域判定部３２７を含む。図１１、図１２で説明したように、撮像部２００は、撮像部２００の前方視野及び側方視野を撮像可能である。図１３で説明したように、領域判定部３２７は、対象領域が、撮像画像において前方視野に対応する領域である前方視野領域、及び前記撮像画像において前記側方視野に対応する領域である側方視野領域のいずれに属するかの判定を行う。判定部３２４は、前方視野領域に属すると判定された場合と、側方視野領域に属すると判定された場合とで、異なる判定条件を設定する。

より具体的には、図１５のＳ４２、Ｓ４３に示すように、判定部３２４は、対象領域が側方視野領域に属すると判定された場合、フレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下である場合に静止状態であると判定する。Ｓ４２、Ｓ４４に示すように、判定部３２４は、対象領域が前方視野領域に属すると判定された場合、フレーム間差分値ｍＳＡＤが、１よりも大きい係数Ｃａを推定ノイズ量Ｎに対して乗じた値以下である場合に静止状態であると判定する。

例えば、図１３で説明したように、領域判定部３２７は、撮像画像における対象領域の位置（ｘ，ｙ）に基づいて、対象領域が属する領域を判定する。

このようにすれば、前方視野領域であると判定された場合、閾値を推定ノイズ量Ｎより大きいＣａＮに設定することで、側方視野領域よりも時間方向ＮＲ処理を選択されやすくできる。

ここで、ノイズ低減処理の対象領域とは、１画素により構成されてもよいし、複数画素により構成されてもよい。例えば、上式（４）に示す第１のノイズ低減処理や、上式（５）に示す第２のノイズ低減処理では、画素（ｘ，ｙ）が対象領域である。

また、前方視野とは、撮像部２００の光軸方向を含む視野範囲であり、例えば光軸に対して０度〜７０度の範囲である。側方視野とは、光軸に直交する方向を含む視野範囲である。例えば、撮像部２００の視野範囲が、光軸に対して０度〜１１５度である場合、側方視野は、光軸に対して７０度〜１１５度の範囲である。

４．第３の実施形態
４．１．内視鏡システム
白色光画像と特殊光画像とで異なる閾値により、静止状態と動作状態の判別処理を行う第３の実施形態について説明する。

図１６に、第３の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、第１の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。撮像部２００と制御装置３００以外は、第１の実施形態と同一であるため、説明を省略する。

撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２３１と、撮像素子２４０と、メモリ２５０と、狭帯域フィルタ２９０と、フィルタ駆動部２８０を含む。ライトガイドファイバ２１０と、照明レンズ２２０と、撮像素子２４０と、メモリ２５０は第１の実施形態と同一であるため、説明を省略する。フィルタ駆動部２８０は狭帯域フィルタ２９０に接続されており、さらに制御部３９０と双方向に接続されている。

図１７に示すように、狭帯域フィルタ２９０は、３８０〜４５０ｎｍ、及び５３０〜５５０ｎｍの光を透過する。また、狭帯域フィルタ２９０は、集光レンズ２３１及び撮像素子２４０の間の光路に挿入できるようになっている。狭帯域フィルタ２９０の挿入・非挿入は、例えば外部Ｉ／Ｆ部５００よりユーザーが制御する。この場合、ユーザーの指示が、外部Ｉ／Ｆ部５００より制御部３９０を介してフィルタ駆動部２８０に送られ、フィルタ駆動部２８０が狭帯域フィルタ２９０を駆動する。狭帯域フィルタ２９０が光路中に挿入されている場合、制御部３９０は、補間処理部３１０及びノイズ低減部３２０へトリガ信号を出力する。

制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、制御部３９０を含む。

補間処理部３１０は、撮像素子２４０により撮像される画像に対して補間処理を行う。補間処理部３１０は、上述のトリガ信号が制御部３９０から出力されていない場合（狭帯域フィルタ２９０が挿入されていない場合）には、第１の実施形態と同一の手法によりＲＧＢ画像を生成する。以下では、狭帯域フィルタ２９０が挿入されていない場合に取得されるＲＧＢ画像を、白色光画像（広義には通常光画像）と呼ぶ。

一方、上述のトリガ信号が制御部３９０から出力されている場合（狭帯域フィルタ２９０が挿入されている場合）には、補間処理部３１０は、Ｇ信号及びＢ信号に対してのみ補間処理を行う。補間処理は、例えば公知のバイキュービック補間処理である。この場合、補間処理部３１０は、全画素においてＧ信号を有するＧ画像と、全画素においてＢ信号を有するＢ画像とを、補間処理により生成する。そして、ＲＧＢ画像のＲ信号にＧ画像を入力し、ＲＧＢ画像のＧ信号とＢ信号にＢ画像を入力することで、ＲＧＢ画像を生成する。以下では、狭帯域フィルタ２９０が挿入されている場合に取得されるＲＧＢ画像を、狭帯域光画像（広義には特殊光画像）と呼ぶ。

４．２．ノイズ低減処理
図１８に、第３の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５を含む。

図１９に、第３の実施形態におけるノイズ低減処理のフローチャートを示す。なお、ステップＳ６２、Ｓ６４以外は図５や図１０で説明したステップと同様であるため、適宜説明を省略する。

ステップＳ６２〜Ｓ６４に示すように、判定部３２４は、ステップＳ６０で出力される差分平均値ｍＳＡＤと、ステップＳ６１で出力されるノイズ量Ｎと、制御部３９０から出力されるトリガ信号と、に基づいて判別処理を行う。具体的には、制御部３９０からトリガ信号が出力されている場合には、判定部３２４は、下式（１０）を用いて判別処理を行う。下式（１０）において、係数Ｃｃは１より小さい正の実数である。制御部３９０からトリガ信号が出力されていない場合には、判定部３２４は、上式（２）を用いて判別処理を行う。

一般に、狭帯域光画像では光量が不足するため、白色光画像に比べてノイズが増加（Ｓ／Ｎが悪化）する特徴がある。そのため、図６（Ａ）で説明した構造成分が、図６（Ｂ）で説明したノイズ成分に埋もれてしまい、静止状態と動作状態の判別処理の精度が劣化する。即ち、静止状態か否かの判別処理において、動作状態にも関わらず静止状態と判別され、時間方向ＮＲ処理が選択されてしまう。この場合、時間方向ＮＲ処理の副作用である残像を生じるという課題がある。

この点、本実施形態によれば、狭帯域光画像が取得されている場合には、上式（１０）を用いて静止状態か否かの判別処理を行う。Ｃｃ＜１であるため、白色光画像の場合よりも閾値が小さくなり、空間方向ＮＲ処理を支配的にできる。これにより、動作状態にも関わらず静止状態と判別される可能性を低くでき、残像を生じる問題を改善可能である。このようにして、内視鏡の観察モード（白色光画像観察または狭帯域光画像観察）に応じて、動き判別処理時の閾値を制御することで、適応的なＮＲ処理を実現することができる。

上記の実施形態によれば、判定部３２４は、撮像画像の種類に応じて、静止状態であるか否かの判定条件を設定する。

このようにすれば、撮像画像の種類がもつ特性に合わせて、第１のノイズ低減処理又は第２のノイズ低減処理を選択されやすくすることができる。例えば、微細構造の視認性向上が可能になり、又は、静止状態の誤判定を抑制することが可能になる。

ここで、撮像画像の種類とは、例えば撮像画像の画素数や解像度、露出時間、フレームレート、装着された撮像部２００の種類、照明光の特性、撮像に使用する光学フィルタの特性等によって決まる。

また本実施形態では、図１６で説明したように、撮像画像は、白色の波長帯域における情報を有した白色光画像、又は特定の波長帯域における情報を有した特殊光画像（狭義には狭帯域光画像）である。判定部３２４は、撮像画像が白色光画像である場合と、撮像画像が特殊光画像である場合とで、異なる判定条件を設定する。

具体的には、図１９のＳ６２、Ｓ６３に示すように、判定部３２４は、撮像画像が白色光画像である場合、フレーム間差分値ｍＳＡＤが推定ノイズ量Ｎ以下である場合に静止状態であると判定する。Ｓ６２、Ｓ６４に示すように、判定部３２４は、撮像画像が特殊光画像である場合、フレーム間差分値ｍＳＡＤが、１よりも小さい係数Ｃｃを推定ノイズ量Ｎに対して乗じた値以下である場合に、静止状態であると判定する。

このようにすれば、特殊光画像であると判定された場合、閾値を推定ノイズ量Ｎより小さいＣｃＮに設定することで、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を、白色光画像の場合よりも選択されやすくできる。これにより、白色光画像よりもＳ／Ｎが低い特殊光画像において、静止状態の誤判定を抑制できる。

なお、上記の実施形態では、狭帯域フィルタ２９０を光路に挿入することにより特殊光画像を撮像する場合を例に説明したが、本実施形態はこれに限定されない。例えば、光源部１００が、特殊光（狭義には狭帯域光）を出射することにより特殊光画像を撮像してもよい。あるいは、撮像部２００が、特殊光を透過する色フィルタを有する撮像素子を更に含み、その撮像素子により特殊光画像を撮像してもよい。あるいは、画像処理により白色光画像から特殊光画像を生成してもよい。

また本実施形態では、特定の波長帯域は、白色の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、３９０ｎｍ〜４４５ｎｍ（第１の狭帯域光、狭帯域光のＢ２成分）、または５３０ｎｍ〜５５０ｎｍ（第２の狭帯域光、狭帯域光のＧ２成分）である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

５．第４の実施形態
５．１．内視鏡システム
フレーム間における被写体の動きベクトルを検出し、その動きベクトルの分だけ位置をずらしたフレーム間において静止状態と動作状態の判別処理を行う第４の実施形態について説明する。

図２０に、第４の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、第１の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。制御装置３００以外は、第１の実施形態と同一であるため、説明を省略する。

制御装置３００は、補間処理部３１０と、ノイズ低減部３２０と、フレームメモリ３３０と、表示画像生成部３４０と、動きベクトル検出部３５０と、制御部３９０を含む。制御装置３００の構成は、動きベクトル検出部３５０が追加された以外は、第１の実施形態と同一である。

動きベクトル検出部３５０は、補間処理部３１０から出力されるＲＧＢ画像、及びフレームメモリ３３０に保持されている過去画像に基づいて、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を検出する。動きベクトルの検出には、例えば公知のブロックマッチング処理を用いればよい。動きベクトルは、例えば各画素について求める。

５．２．ノイズ低減処理
図２１に、第４の実施形態におけるノイズ低減部３２０の詳細な構成例を示す。ノイズ低減部３２０は、評価値算出部３２１、推定ノイズ量取得部３２２、ルックアップテーブル３２３、判定部３２４、ノイズ低減処理部３２５を含む。

第４の実施形態におけるノイズ低減処理のフローチャートは、図１０で説明した第１の実施形態と同様である。図１０のステップＳ２０、Ｓ２５、Ｓ２６以外の処理は、第１の実施形態と同様であるため、適宜説明を省略する。

ステップＳ２０では、評価値算出部３２１が、下式（１１）を用いて差分平均値ｍＳＡＤを算出する。具体的には、動きベクトル検出部３５０が動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を検出し、評価値算出部３２１が動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を考慮して差分平均値ｍＳＡＤを算出する。

ステップＳ２５では、下式（１２）に示すように、ノイズ低減処理部３２５は、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を考慮した時間方向ＮＲ処理を行う。

ステップＳ２６では、下式（１３）に示すように、ノイズ低減処理部３２５は、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を考慮した空間方向ＮＲ処理を行う。

上式（１３）において、重み係数ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは下式（１４）で表される。

本実施形態によれば、動きベクトルを考慮することで、スクリーニング時のように動き量が大きい場合にも、時間方向ＮＲ処理が機能するようになる。即ち、上式（１１）において過去画像Ｆ_{Ｇ＿ｐｒｅ}の画素位置が動き補償されているため、動きベクトルの検出処理が被写体の動きに追従できる場合には静止状態と判別され、時間方向ＮＲ処理が選択される。これにより、被写体に動きがある場合であっても、高周波成分を保持した状態でノイズのみを減衰することが可能になる。

上記の実施形態によれば、図２０に示すように、画像処理装置は、撮像画像の第１フレームと第２フレームの間における被写体の動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）を検出する動きベクトル検出部３５０を含む。上式（１１）で説明したように、評価値算出部３２１は、第１フレームと、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）により動き補償される第２フレームとの間において、静止状態であるか否かを判定するための評価値（フレーム間差分値ｍＳＡＤ）を算出する。上式（１２）〜（１４）で説明したように、ノイズ低減処理部３２５は、第１フレームと、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）により動き補償される第２フレームとに基づいて、第１のノイズ低減処理と第２のノイズ低減処理を行う。

ここで、動きベクトルにより動き補償されるとは、判定処理やノイズ低減処理において、第２フレームの画素位置が動きベクトルにより補償されていることである。例えば、上式（１１）において、ＳＡＤを求める際に第２フレームＦ_{Ｇ＿ｐｒｅ}の画素位置は、第１フレームＦ_{Ｇ＿ｃｕｒ}の画素位置に対して、動きベクトル（Ｖｅｃ＿ｘ，Ｖｅｃ＿ｙ）の分だけずれた位置である。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。なお、本実施形態は内視鏡システムに限定されず、デジタルビデオカメラ等の種々の撮像システムに適用可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 光源部、１１０ 白色光源、１２０ レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 集光レンズ、
２３１ 集光レンズ、２４０ 撮像素子、２５０ メモリ、２６０ レンズ駆動部、
２７０ 集光レンズ、２８０ フィルタ駆動部、２９０ 狭帯域フィルタ、
３００ 制御装置、３１０ 補間処理部、３２０ ノイズ低減部、
３２１ 評価値算出部、３２２ 推定ノイズ量取得部、３２２ ノイズ低減処理部、
３２３ ルックアップテーブル、３２４ 判定部、３２５ ノイズ低減処理部、
３２６ 画角情報取得部、３２７ 領域判定部、３３０ フレームメモリ、
３４０ 表示画像生成部、３５０ 動きベクトル検出部、３９０ 制御部、
４００ 表示部、５００ 外部Ｉ／Ｆ部、
Ｃａ，Ｃｃ 係数、ｍＳＡＤ フレーム間差分値、Ｎ 推定ノイズ量、
Ｒ 半径、ｘ，ｙ 画素位置、ｘｏ，ｙｏ 中心位置、θ 画角

Claims (14)

1. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
   前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
   前記撮像画像を撮像する撮像部の画角情報を取得する画角情報取得部と、
   前記評価値と前記推定ノイズ量と前記画角情報が表す画角とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
   前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記評価値算出部は、
   前記撮像画像のフレーム間差分値を前記評価値として算出し、
   前記判定部は、
   前記画角が閾値以上である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
   前記画角が前記閾値よりも小さい場合、前記フレーム間差分値が、１よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
3. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
   前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
   前記評価値と前記推定ノイズ量と、前記撮像画像においてノイズ低減処理の対象領域が属する領域とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
   前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
   領域判定部と、
   を含み、
   前記撮像画像を撮像する撮像部は、前記撮像部の前方視野及び側方視野を撮像可能であり、
   前記領域判定部は、
   前記対象領域が、前記撮像画像において前記前方視野に対応する領域である前方視野領域、及び前記撮像画像において前記側方視野に対応する領域である側方視野領域のいずれに属するかの判定を行い、
   前記判定部は、
   前記前方視野領域に属すると判定された場合と、前記側方視野領域に属すると判定された場合とで、異なる判定条件を、前記静止状態であるか否かの判定条件として設定することを特徴とする画像処理装置。
4. 請求項３において、
   前記評価値算出部は、
   前記撮像画像のフレーム間差分値を前記評価値として算出し、
   前記判定部は、
   前記対象領域が前記側方視野領域に属すると判定された場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
   前記対象領域が前記前方視野領域に属すると判定された場合、前記フレーム間差分値が、１よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
5. 請求項３において、
   前記領域判定部は、
   前記撮像画像における前記対象領域の位置に基づいて、前記対象領域が属する領域を判定することを特徴とする画像処理装置。
6. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
   前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
   前記評価値と前記推定ノイズ量と前記撮像画像の種類とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
   前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
   を含み、
   前記撮像画像は、
   白色の波長帯域における情報を有した白色光画像、又は特定の波長帯域における情報を有した特殊光画像であり、
   前記判定部は、
   前記撮像画像が前記白色光画像である場合と、前記撮像画像が前記特殊光画像である場合とで、異なる判定条件を、前記静止状態であるか否かの判定条件として設定することを特徴とする画像処理装置。
7. 請求項６において、
   前記評価値算出部は、
   前記撮像画像のフレーム間差分値を前記評価値として算出し、
   前記判定部は、
   前記撮像画像が前記白色光画像である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
   前記撮像画像が前記特殊光画像である場合、前記フレーム間差分値が、前記推定ノイズ量に対して１よりも小さい係数を乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
8. 請求項６において、
   前記特定の波長帯域は、
   前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
9. 請求項８において、
   前記白色光画像および前記特殊光画像は生体内を写した生体内画像であり、
   前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
10. 請求項９において、
    前記特定の波長帯域は、３９０ｎｍ〜４４５ｎｍ、または５３０ｎｍ〜５５０ｎｍであることを特徴とする画像処理装置。
11. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
    前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
    前記評価値と前記推定ノイズ量と所定条件とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
    前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
    前記撮像画像の第１フレームと第２フレームの間における前記被写体の動きベクトルを検出する動きベクトル検出部と、
    を含み、
    前記所定条件は、前記被写体の観察状態又は、ノイズ低減処理の対象領域が前方視野領域及び側方視野領域のいずれに属するか又は、前記撮像画像の種類、であり、
    前記評価値算出部は、
    前記第１フレームと、前記動きベクトルにより動き補償される前記第２フレームとの間において、前記静止状態であるか否かを判定するための前記評価値を算出し、
    前記ノイズ低減処理部は、
    前記第１フレームと、前記動きベクトルにより動き補償される前記第２フレームとに基づいて、前記第１のノイズ低減処理と前記第２のノイズ低減処理を行うことを特徴とする画像処理装置。
12. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
    前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
    前記評価値と前記推定ノイズ量と所定条件とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
    前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
    を含み、
    前記所定条件は、前記被写体の観察状態又は、ノイズ低減処理の対象領域が前方視野領域及び側方視野領域のいずれに属するか又は、前記撮像画像の種類、であり、
    前記撮像画像の第１フレームにおいて処理対象画素を中心とする所定サイズの領域を第１領域とし、前記撮像画像の第２フレームにおいて処理対象画素を中心とする所定サイズの領域を第２領域とする場合に、
    前記評価値算出部は、
    前記第１領域の画素値と前記第２領域の画素値との差分値を、前記第１領域に対して前記第２領域を水平及び垂直に１画素ずつ順次シフトしながら複数求め、求めた前記複数の差分値のうちの最小値であるフレーム間差分値を前記評価値として算出し、
    前記判定部は、
    前記推定ノイズ量を閾値とし、前記フレーム間差分値が前記閾値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
13. 撮像画像を撮像する撮像部と、
    前記撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
    前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
    前記撮像画像を撮像する撮像部の画角情報を取得する画角情報取得部と、
    前記評価値と前記推定ノイズ量と前記画角情報が表す画角とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
    前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
    を含むことを特徴とする内視鏡装置。
14. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出し、
    前記撮像画像の推定ノイズ量を取得し、
    前記撮像画像を撮像する撮像部の画角情報を取得し、
    前記評価値と、前記推定ノイズ量と、前記画角情報が表す画角と、に基づいて、前記静止状態であるか否かの判定を行い、
    前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第１のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第２のノイズ低減処理を前記撮像画像に対して行うことを特徴とする画像処理装置の作動方法。

Images