JP5038027B2 - 画像処理装置およびこれを備えた内視鏡装置 - Google Patents

Description

本発明は、面順次の撮像方式におけるノイズ成分を効果的に低減する画像処理装置およびこれを備えた内視鏡装置に関するものである。

被写体をカラーで表示する撮像装置、特に電子内視鏡装置の撮像方式として、面順次方式と同時方式がある。面順次方式の撮像方式を用いた場合、画素数が少ない場合にも解像度が比較的高くて色再現性に優れているため、微妙な色の変化を観察する必要がある医療分野では、面順次方式の電子内視鏡装置が広く用いられている。また、最近においては、狭帯域の照明光を用いて狭帯域光観察像を得ることができる面順次方式の電子内視鏡装置も知られている。

面順次方式の電子内視鏡装置では、光源装置内のランプから射出された照明光の光路上に、例えば赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）と、それぞれ異なる色波長域の光を透過させる三つの色透過フィルタが配置されている開口部を有し、開口部以外は遮光部となっている回転フィルタが挿入されており、回転フィルタが回転されることで、照明光が間欠的に遮断されて各色光が順次被写体に照射される。そして、電子内視鏡先端に配置されたＣＣＤで、色毎に得られた被写体の像が時系列的に撮像される。

このときＣＣＤでは、回転フィルタの回転タイミングにあわせて露光と遮光とが行われる。露光期間中にはＣＣＤの全ての画素に新たな電荷が蓄えられ、照明光の遮断時である遮光期間中には、蓄えられた全ての電荷が読み出される。この電荷の蓄積と読み出しの動作が繰り返されて、ＣＣＤで撮像されて生成された画像信号が画像信号処理部に入力される。

一般に、これら動画像信号にはノイズ成分が含まれ、そのノイズ成分を低減させる手法としては、フレーム巡回型ノイズ低減処理が知られている。ここで、フレーム巡回型ノイズ低減処理とは、１フレーム前の出力画像と現在の入力画像から、画像信号の動きを検出し、動き量に応じて時間平均の程度を制御するものである。

このフレーム巡回型ノイズ低減装置の性能は、上述の動き検出の精度によって大きく左右される。ここで、一般的な動き検出アルゴリズムとしては、画像フレーム信号の輝度の差分絶対値を算出し、この差分絶対値と、動き判定閾値とを比較することが知られている。特許文献１においては、差分絶対値が動き判定閾値よりも大きい場合には動きと判定し、小さい場合には静止と判定する方法が開示されている。
特開２００５−１５０９０３号公報

しかしながら、上述のように面順次の撮像方式においては、例えばＲ、Ｇ、及びＢの三つの色透過フィルタが配置された回転フィルタを回転させて、色毎の被写体の像をＣＣＤにおいて時系列に撮像している。このため、被写体と撮像側とのいずれか一方、又は双方が撮影中に動くと、フレーム信号内に各色のフィールド信号の位置ずれが発生してしまう。このため、動画像信号における輝度の空間周波数が低下し、動き検出の精度が低下し、効率的なノイズ低減が行えないという問題があった。

本発明は、上記問題に鑑みてなされたもので、面順次の撮像方式において、動き検出の結果を考慮して、効果的なノイズ低減処理を行う画像処理装置およびこれを備えた内視鏡装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係る画像処理装置は、面順次方式によって順次入力される各色の第１画像フィールド信号に対し、ノイズ低減処理を行うことによって各色の第２画像フィールド信号を作成するノイズ低減手段と、各色の前記第２画像フィールド信号を記憶する画像記憶手段と、前記第１画像フィールド信号と、過去の第１画像フィールド信号に対するノイズ低減処理によって作成され、前記画像記憶手段に記憶された、第１画像フィールド信号と同色の第２画像フィールド信号とを用いて、被写体の動きを検出する動き検出手段と、前記被写体の動きと前記過去の第２画像フィールド信号とを用いて、第１画像フィールド信号と同色の予測画像フィールド信号を作成する予測画像作成手段と、を備え、前記ノイズ低減手段は、前記処理対象となる時点で入力された第１画像フィールド信号と前記予測画像フィールド信号とを合成して、前記処理対象となる時点で入力された第１画像フィールド信号に対し、前記ノイズ低減処理を行うことを特徴とする。

本発明に係る画像処理装置によれば、各色について、第１画像フィールド信号と記憶された第１画像フィールド信号と同色の過去の第２画像フィールド信号とを用いて被写体の動きが検出され、この被写体の動きと第１画像フィールド信号と同色の過去の第２画像フィールド信号とを用いて予測画像フィールド信号が生成される。そして、現画像である第１画像フィールド信号と被写体の動きを考慮した同色の予測画像フィールド信号との画像合成を行うことにより、面順次方式によって撮像された各色の第１画像フィールド信号に対してもノイズを低減することが可能となる。

本発明に係る画像処理装置は、前記動き検出手段によって検出された被写体の動き情報を記憶する動き記憶手段と、処理対象となる色についての前記動き情報を、前記動き記憶手段に記憶されている別の色の前記動き情報を用いて補正する動き補正手段と、を有することを特徴とする。

例えば、体腔内を撮影する内視鏡においては、赤色（Ｒ）や緑色（Ｇ）フィールドの画像信号に比べて、青色（Ｂ）フィールドの画像信号は、信号レベルが小さくコントラストが低いため、動き情報の検知精度が低くなる。その結果、Ｂフィールドの予測画像信号を精度良く作成することができないため、ノイズ低減を効果的に行うことができないという問題がある。本発明に係る画像処理装置によれば、ＲやＧフィールドの画像信号の動き情報を用いてＢフィールドの画像信号の動き情報を補正することができる。これにより、Ｂフィールドの予測画像信号を高精度に作成することができ、ノイズ低減効果を向上させることが可能となる。

前記動き補正手段は、空間周波数帯域の低い色の前記動き情報を、空間周波数帯域の高い色の前記被写体の前記動き情報を用いて補正することを特徴とする。

空間周波数帯域の低い色については、被写体の動き情報の精度が低くなる。
本発明に係る画像処理装置によれば、空間周波数帯域の低い色の被写体の動きを、空間周波数帯域の高い色の被写体の動き情報を用いて補正することにより、空間周波数帯域の低い色の被写体の動き検出についても高精度に行うことができる。

本発明に係る画像処理装置は、前記被写体の動きに応じて、前記第１画像フィールド信号と前記予測画像フィールド信号との合成比を決定する合成比決定手段を有し、前記合成比決定手段によって決定された合成比で前記第１画像フィールド信号と前記予測画像フィールド信号とを合成することにより、前記第１画像フィールド信号のノイズ低減処理を行うことを特徴とする。

本発明に係る画像処理装置によれば、被写体の動きに基づいて、現画像である第１画像フィールド信号と予測画像フィールド信号との合成比が決定され、この合成比に従って画像合成が行われる。これにより、被写体の動きに応じたノイズ低減処理を行うことが可能となる。

前記合成比決定手段は、前記被写体の動きが大きい領域は前記第１画像フィールド信号の比率を大きくし、前記被写体の動きが小さい領域は前記予測画像フィールド信号の比率を大きくなるように合成比を決定することを特徴とする。

本発明に係る画像処理装置によれば、被写体の動きが小さい部分については、予測画像フィールド信号の比率を高めるようにすることによって、ノイズを効果的に低減することが可能となる。一方、被写体の動きが大きい部分については、現画像である第１画像フィールド信号の比率を高めるようにすることにより、残像の発生を抑制することができる。

本発明に係る画像処理装置は、前記第１画像フィールド信号と前記予測画像フィールド信号との間の画像誤差を算出する画像誤差算出手段と、前記画像誤差に応じて、前記第１画像フィールド信号と前記予測画像フィールド信号との合成比を決定する合成比決定手段と、を有し、前記合成比決定手段によって決定された合成比で前記第１画像フィールド信号と前記予測画像フィールド信号とを合成することにより、前記第１画像フィールド信号のノイズ低減処理を行うことを特徴とする。

本発明に係る画像処理装置によれば、画像誤差算出手段により算出された画像誤差に基づいて合成比が決定され、この合成比に従って画像合成が行われる。これにより、画像誤差に応じたノイズ低減処理を行うことが可能となる。

本発明に係る画像処理装置は、前記合成比決定手段は、前記画像誤差が大きい領域は前記第１画像フィールド信号の比率を大きくし、前記画像誤差が小さい領域は前記予測画像フィールド信号の比率を大きくなるように合成比を決定することを特徴とする。

本発明に係る画像処理装置によれば、画像誤差が小さい部分については、予測画像フィールド信号の比率を高めるようにすることによって、ノイズを効果的に低減することが可能となる。一方、画像誤差が大きい部分については、現画像である第１画像フィールド信号の比率を高めるようにすることにより、残像の発生を抑制することができる。

本発明に係る内視鏡装置は、上記のいずれかに記載の画像処理装置を備えることを特徴とする。

本発明に係る内視鏡装置によれば、各フィールドの画像信号のノイズを低減させることができるので、被写体の微妙な色の変化を観察することが可能となる。

本発明によれば、現画像である第１画像フィールド信号と被写体の動きを考慮した同色の予測画像フィールド信号との画像合成を行うことにより、面順次方式によって撮像された第１画像フィールド信号に対して好適なノイズを低減を行うことが可能となる。

［第１の実施形態］
以下に、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。
図１は、本発明に係る画像処理装置を適用した内視鏡装置の概略構成図である。
図１に示すように、本発明に係る内視鏡装置は、撮像素子を備えた電子内視鏡１１と、撮像素子の出力信号に対する信号処理を行う画像処理装置１２と、電子内視鏡１１に照明光を供給する光源装置１３と、画像処理装置１２からの画像信号が入力され、撮像した内視鏡画像を表示するモニタ１４とを備えている。

電子内視鏡１１の本体は、操作部１５と、操作部１５の先端側に設けられた細長の挿入部１６と、操作部１５の側部に接続され操作部１５とは反対側が２股に分岐したケーブル１７とを備えている。
ケーブル１７の分岐側の先端部にはそれぞれコネクタ１８、１９が設けられている。また、ケーブル１７は、コネクタ１８を介して画像処理装置１２と、コネクタ１９を介して光源装置１３と接続されている。
挿入部１６の先端には、対物レンズ２０と、固体撮像素子としてのＣＣＤ２１とが取り付けられており、ＣＣＤ２１は対物レンズ２０の結像位置に配置されている。ＣＣＤ２１には駆動信号線２２と出力信号線２３と接続され、駆動信号線２２および出力信号線２３はコネクタ１８を介して画像処理装置１２に接続されている。
また、電子内視鏡１１には、挿入部１６の先端まで照明光を伝達するガラスファイバ束であるライトガイド２４が配置され、このライトガイド２４は、コネクタ１９を介して光源装置１３に接続されている。これにより、光源装置１３から出射される照明光が、ライトガイド２４の入射端に入射されるようになっている。

画像処理装置１２は、面順次方式の撮像とノイズ低減処理、同時化処理を行うためのものであり、前処理回路３０と、ＣＣＤ駆動回路３１と、制御回路３２と、Ａ／Ｄコンバータ３３と、ノイズ低減回路３４と、同時化回路３５と、同時化回路３５と、Ｄ／Ａコンバータ３６と、後処理回路３７とを備えている。
前処理回路３０およびＣＣＤ駆動回路３１は、コネクタ１８を介してＣＣＤ２１に接続されている。また、前処理回路３０は、Ａ／Ｄコンバータ３３、ノイズ低減回路３４、同時化回路３５、同時化回路３５、Ｄ／Ａコンバータ３６、後処理回路３７、モニタ１４の順にて接続されている。さらに、制御回路３２からは制御線が各回路に接続されていて、発生するタイミング信号を制御し、各回路部にその信号を供給するようになっている。

光源装置１３は、白色光を発生する光源ランプ２５と、モータ２６と、モータ２６によって駆動され、Ｒ、Ｇ、Ｂの三原色の色透過フィルタを有する回転フィルタ２７と、集光レンズ２８と、モータ２６を制御する駆動回路２９とを備えている。

上記構成を有する内視鏡装置における画像信号の流れについて以下に説明する。
光源ランプ２５から射出された白色光は、その光路中に配置された回転フィルタ２７を透過して、順次、Ｒ、Ｇ、Ｂの各波長の照明光になされた後、集光レンズ２８によって集光され、ライトガイド２４の入射端に入射される。ライトガイド２４の先端より出射されたＲ、Ｇ、Ｂの各照明光により被写体から反射した光は、対物レンズ２０を透過してＣＣＤ２１の撮像面に結像され、光電変換されて光学像から撮像信号へ変換される。なお、回転フィルタ２７は、駆動回路２９により制御されたモータ２６によって駆動され、通常は２０Ｈｚで回転している。また、ＣＣＤ２１での露光と遮光とは回転フィルタ２７の回転に合わせて行われるよう制御されており、例えば上述のように、回転フィルタ２７が２０Ｈｚで回転している場合、色毎に１／６０Ｈｚのタイミングで露光と遮光とが繰り返されている。

画像処理装置１２では、制御回路３２に接続された図示しないキーボード等の入力手段からの操作によって、文字・画像マスク信号の重畳、メニュー画面・テスト画面の切り替え（カラーバーなど）が行われる。
ＣＣＤ駆動回路３１は、制御回路３２からの信号によりＣＣＤ２１を駆動するための駆動信号を発生させる。このように駆動されたＣＣＤ２１からの画像信号は、前処理回路３０に入力される。前処理回路３０に入力された画像信号は、増幅、波形整形等の所定の処理が行われた後、Ａ／Ｄコンバータ３３でデジタルデータ化される。デジタルデータ化された画像信号は、ノイズ低減回路３４でノイズ低減処理が行われた後、同時化回路３５に入力される。同時化回路３５では面順次信号の同時化処理が行われ、Ｄ／Ａコンバータ３６に入力される。Ｄ／Ａコンバータ３６に入力された画像信号は、アナログ信号に変換される。アナログ化された画像信号は、後処理回路３７に入力されてゲイン調整等の所定の処理が行われた後、モニタ１４に入力される。モニタ１４では上記処理が行われた画像信号に基づいて被検体の画像が表示される。

上記の処理において、ノイズ低減回路３４における処理の詳細について以下に説明する。
図２は、ノイズ低減回路３４が備える機能を展開して示した機能ブロック図である。
ノイズ低減回路３４は、画像入力部４１と、画像記憶部（画像記憶手段）４２と、セレクタ５２と、動き検出部（動き検出手段）４３と、動き記憶部（動き記憶手段）４４と、動き補正部（動き補正手段）４５と、予測画像作成部（予測画像作成手段）４６と、ノイズ低減部（ノイズ低減手段）４７と、画像合成比決定部（合成比決定手段）４８と、セレクタ５１と、画像出力部４９とを備えている。

上記構成を有するノイズ低減回路３４における画像信号の流れについて以下に説明する。
画像入力部４１には、Ａ／Ｄコンバータ３３でデジタルデータ化されたＲ、Ｇ、及びＢフィールド信号が、順次所定の時間間隔で連続的に入力される。

画像記憶部４２は、後述するノイズ低減部４７から出力されたノイズ低減済み画像フィールド信号（第２画像フィールド信号）を色別に蓄積する。具体的には、画像記憶部４２は、Ｒ、Ｇ、及びＢフィールド信号メモリを有し、ノイズ低減部４７から出力された第２画像フィールド信号を、セレクタ５１を切り替えることにより、各フィールド信号の色に応じたメモリへ蓄積する。
また、画像記憶部４２に蓄積された第２画像フィールド信号は、セレクタ５２を切り替えることにより、画像入力部４１から入力された現画像フィールド信号と同色のフィールド信号を動き検出部４３、及び予測画像作成部４６へ出力される。

動き検出部４３は、現画像フィールド信号と画像記憶部４２に記憶された同色の第２画像フィールド信号との間における被写体の動きを検出する。具体的には、まず、画像入力部４１にデジタルデータ化されたＲ、Ｇ、及びＢフィールド信号が順次入力される。入力された画像フィールド信号は、現画像フィールド信号として、動き検出部４３に読み込まれる。また、現画像フィールド信号が動き検出部４３に読み出されるタイミングで、画像記憶部４２に蓄積された現画像フィールド信号と同色の現画像に対して１フレーム前の第２画像フィールド信号が、セレクタ５２を介して動き検出部４３に読み込まれる。この画像記憶部４２に蓄積された１フレーム前の第２画像フィールド信号を、現画像フィールド信号と比較することにより、被写体の動きが算出される。

動き検出には、例えば、現画像をブロックに分割し、ブロックごとに１フレーム前の画像（参照画像）からの動きを検出する手法が用いられる。この手法では、現画像の分割されたブロックの中の注目ブロックに対して、参照画像の探索範囲内で、この注目ブロックとの差異が最も小さい位置を特定する。この特定された位置によって、注目ブロックに対する、ブロックを単位とした被写体の移動方向および移動量を表すベクトル（以下、「動きベクトル」とする。）が定まる。つまり、探索範囲内の全ベクトルに対してブロック単位の差分絶対値またはその差分絶対値に相応する類似度評価値を計算し、計算された差分絶対値または類似度評価値に基づいて、注目ブロックとの差異が最も小さい位置が決定され、注目ブロックの動きベクトルが定まる。

ブロックサイズには、例えば、１６×１６、１６×８、８×１６、８×８画素のサイズが規定される。また、動き検出部４３は、前述した動き検出の手法により、１フレーム前の第２画像フィールド信号と現画像フィールド信号との間における被写体の動きの検出を全ブロックにおいて終了すると、被写体の動きの有無、量、方向などを、被写体の動き情報として、動き記憶部４４、及び動き補正部４５へ出力する。
なお、動き記憶部４４は、動き検出部４３からの被写体の動き情報を蓄積する。

動き補正部４５は、動き検出部４３より検出された被写体の動き情報を、動き検出の精度に応じて、動き記憶部４４に蓄積された別の色の画像フィールド信号における動き情報を用いて補正を行う。動き補正部４５に入力された動き情報は、画像のブロック毎に動き検出の精度を算出する。

動き検出の精度を算出する工程は、例えば、注目ブロックの動き情報を４近傍又は８近傍のブロックにおける動き情報と比較することにより行われる。具体的には、注目ブロックの動きベクトルと各近傍ブロックの動きベクトルの大きさ、角度に基づいた相関値を用い、動きの検出精度を算出する。または、注目ブロックの動き情報を検出した探索範囲の空間周波数帯域を用いてもよい。さらに、前述の相関値と空間周波数帯域の両方を用いてもよい。ここで、探索範囲の空間周波数が低い場合は、画像の動き検出精度が低くなるため、参照画像の探索範囲における空間周波数を用いて検出精度を算出する。

次に、このようにして求めた動き検出の精度に応じて、動き記憶部４４に蓄積された別の色の画像フィールド信号の動き情報を読み出し、動き情報の補正を行う。動き情報の補正は、例えば、動き検出の精度が精度判定閾値よりも低い場合は、動き記憶部４４に蓄積された、検出精度が高い別の色のフィールド信号における同一位置の動き情報に置き換えを行う。または、動き記憶部４４に蓄積された２つの画像フィールド信号の動き情報から外挿した値を用いてもよい。特に、体腔内を撮影する内視鏡においては、Ｒ及びＧフィールドがＢフィールドに比べて、信号レベルが高く、空間周波数帯域が高いことから、動き検出が高精度に行えるため、動き記憶部４４に蓄積されたＲ及びＧフィールドの動き情報を用いて、Ｂフィールドの動き情報の補正を行ってもよい。
このようにして、動き補正部４５により補正された動き情報は、予測画像作成部４６と画像合成比決定部４８に出力される。

予測画像作成部４６は、画像記憶部４２から読み込んだ、現画像と同色の第２画像フィールド信号と、動き補正部４５により提供された動き情報とを基に、予測画像フィールド信号を作成する。具体的には、画像記憶部４２から読み込んだ第２画像フィールド信号を参照画像とし、動き情報の分ずれた位置の参照画像のブロックにより、予測画像データを作成する。また、予測画像作成部４６は、予測画像フィールド信号をノイズ低減部４７へ出力する。

画像合成比決定部４８は、被写体の動き情報に基づいて、現画像フィールド信号と予測画像フィールド信号との合成比を決定する。具体的には、画像合成比決定部４８では、入力した画素毎の動き情報に基づいて、現画像フィールド信号における動きの量が小さい部分（静止部分及び静止に近い部分）の画素については、予測画像フィールド信号の画素における画素値の比率が高くなるように合成比を決定する。一方、現画像フィールド信号における動きの量が大きい部分（動き部分及び動きに近い部分）の画素については、現画像における画素の画素値の比率が高くなるように合成比を決定する。例えば、予測画像と現画像との間における被写体の動きの量が大きいときには、現画像の比率は１または１に近い値になる。

なお、同じ画像合成比であっても、撮像装置の特性、動き情報の特性等の要因によって画質が異なるため、最終的には操作者が実際に画像を見て画像合成比を調整するようにしてもよい。例えば、画像合成比決定部４８では、操作者によりノイズ低減強度を設定し、ノイズ低減強度に応じて合成比を調整する。ノイズ低減強度を強く設定した場合は、予測画像フィールド信号の画素における画素値の比率が高くなるように合成比を調整する。一方、ノイズ低減強度を弱く設定した場合は、現画像における画素の画素値の比率が高くなるように合成比を調整する。また、画像合成比決定部４８は、このようにして決定した画像合成比をノイズ低減部４７へ出力する。

ノイズ低減部４７は、画像合成比決定部４８から提供された合成比情報を用いて現画像フィールド信号のノイズ低減処理を行う。具体的には、ノイズ低減部４７では、画像合成比決定部４８からの画像合成比を入力するとともに、画像入力部４１からの現画像フィールド信号、及び予測画像作成部４６からの予測画像フィールド信号を入力し、画像合成比に基づいて、現画像フィールド信号について、フィールド間のノイズを低減する。フィールド間ノイズ低減の手法は、現画像フィールド信号と予測画像フィールド信号とのそれぞれでのフィールド内位置が同一の画素における画素値と、その画素に対応する画像合成比とを用いて、以下の（１）式により、ノイズ低減済み画像の画素値を算出する。

このようにして合成した後の画像フィールド信号を、ノイズ低減済みの第２画像フィールド信号として画像記憶部４２、及び画像出力部４９へ出力する。
画像記憶部４２に蓄積された第２画像フィールド信号は、１フレーム前の画像フィールド信号として、その後の第１画像フィールド信号のノイズ低減のために用いられる。また、画像出力部４９は、ノイズ低減部４７から出力されたノイズ低減済みの第２画像フィールド信号を同時化回路３５に順次出力する。

なお、上記の実施形態において、画像入力部４１とノイズ低減部４７との間に、フィールド内ノイズ低減部を配置し、現画像フィールド信号内のノイズを低減するように構成すれば、画像合成比決定部４８において、現画像の合成比が大きく設定された場合でも、ノイズ低減効果のある画像を得ることができる。フィールド内ノイズ低減の手法は、例えば、メディアンフィルタにより特異点を平滑化する手法や、バイラテラルフィルタのような非線形フィルタによりエッジ成分を保存しつつランダムノイズを平滑化する手法や、暗黒状態において撮影素子から出力される固定パターンノイズを画素単位に減算する手法等がある。このように、フィールド内ノイズ低減の手法に従って、ノイズを低減した画像フィールド信号は、ノイズ低減部４７へ出力する。

以上のように、本実施形態に係る画像処理装置によれば、第１画像フィールド信号および記憶された第２画像フィールド信号を用いて被写体の動きが検出され、この被写体の動きと第２画像フィールド信号とを用いて予測画像フィールド信号が生成される。ここで、第２画像フィールド信号は被写体の動きを考慮した同色の信号であるため、現画像である第１画像フィールド信号と被写体の動きを考慮した同色の予測画像フィールド信号との画像合成を行うことにより、面順次方式によって撮像された第１画像フィールド信号に対して好適なノイズ低減を行うことが可能となる。

また、例えば、体腔内を撮影する内視鏡においては、赤色（Ｒ）や緑色（Ｇ）フィールドの画像信号に比べて、青色（Ｂ）フィールドの画像信号は、信号レベルが小さくコントラストが低いため、動き情報の検知精度が低くなる。その結果、Ｂフィールドの予測画像信号を精度良く作成することができないため、ノイズ低減を効果的に行うことができないという問題がある。本実施形態に係る画像処理装置によれば、ＲやＧフィールドの画像信号の動き情報を用いてＢフィールドの画像信号の動き情報を補正することができる。これにより、Ｂフィールドの予測画像信号を高精度に作成することができ、ノイズ低減効果を向上させることが可能となる。

また、空間周波数帯域の低い色については、被写体の動き情報の精度が低くなる。
本発明に係る画像処理装置によれば、空間周波数帯域の低い色の被写体の動きを、空間周波数帯域の高い色の被写体の動き情報を用いて補正することにより、空間周波数帯域の低い色の被写体の動き検出についても高精度に行うことができる。

また、被写体の動きに基づいて、現画像である第１画像フィールド信号と予測画像フィールド信号との合成比が決定され、この合成比に従って画像合成が行われる。これにより、被写体の動きに応じたノイズ低減処理を行うことが可能となる。

さらに、被写体の動きが小さい部分については、予測画像フィールド信号の比率を高めるようにすることによって、ノイズを効果的に低減することが可能となる。一方、被写体の動きが大きい部分については、現画像である第１画像フィールド信号の比率を高めるようにすることにより、残像の発生を抑制することができる。
また、撮影時の条件や、ユーザの設定によって合成比を設定することも可能である。

また、本実施形態に係る内視鏡装置によれば、上述の画像処理装置を備えることにより、各フィールドの画像信号のノイズを低減させることができるので、被写体の微妙な色の変化を観察することが可能となる。

なお、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ２１からの信号を未処理のままＲＡＷデータとして、制御回路３２からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。

本実施形態におけるノイズ低減処理をソフトウェアにて行った場合において、まず、全体の処理について図３を参照して以下に説明する。
Ｓｔｅｐ１にて、第１画像フィールド信号および第２画像フィールド信号を読み込む。Ｓｔｅｐ２にて、読み込んだ各画像フィールド信号より画像の動き情報を検出する。Ｓｔｅｐ３にて、検出された動き情報を別の色の動き情報を用いて補正する。Ｓｔｅｐ４にて、１フレーム前の画像フィールド信号（第２画像フィールド信号）から予測画像を作成する。Ｓｔｅｐ５にて、被写体の動き情報に基づき、第１画像フィールド信号と予測画像フィールド信号との画像合成比を決定する。Ｓｔｅｐ６にて、第１画像フィールド信号と予測画像フィールド信号とを合成することにより、第１画像フィールド信号のフィールド間ノイズを低減する。Ｓｔｅｐ７にて、ノイズ低減済み画像（第２画像フィールド信号）を画像記憶部に蓄積する。Ｓｔｅｐ８にて、ノイズ低減済み画像（第２画像フィールド信号）を出力して終了する。
次に、上記の各Ｓｔｅｐにおける詳細な処理について以下に説明する。

図４は、上記Ｓｔｅｐ２における動き検出処理に関するフローである。
Ｓｔｅｐ１１にて、第１画像フィールド信号を現画像フィールド信号として読み込む。Ｓｔｅｐ１２にて、画像記憶部に蓄積された、現画像フィールド信号と同色の、１フレーム前の第２画像フィールド信号を読み込む。Ｓｔｅｐ１３にて、現画像フィールド信号を複数のブロックに分割し、注目ブロックを抽出する。Ｓｔｅｐ１４にて、１フレーム前の第２画像フィールド信号の探索範囲内で、この注目ブロックとの類似度評価値を算出する。Ｓｔｅｐ１５にて、１フレーム前の第２画像フィールド信号の全探索範囲で類似度評価値の算出が完了したかを判断し、完了していない場合はＳｔｅｐ１４へ分岐し、完了した場合はＳｔｅｐ１６に分岐する。Ｓｔｅｐ１６にて、現画像の全ブロックで画像の動き検出が完了したかを判断し、完了していない場合はＳｔｅｐ１３に分岐し、完了した場合はＳｔｅｐ１７に分岐する。Ｓｔｅｐ１７にて、検出された画像の動き情報を動き蓄積部に蓄積する。Ｓｔｅｐ１８にて、検出した画像の動き情報を出力して終了する。

図５は、上記Ｓｔｅｐ３における動き補正処理に関するフローである。
Ｓｔｅｐ２１にて、現画像フィールド信号の動き情報を読み込む。Ｓｔｅｐ２２にて、画像のブロック毎に動き検出の精度を算出する。Ｓｔｅｐ２３にて、動き検出の精度が判定閾値より小さいかを判断し、検出精度が閾値より小さい場合はＳｔｅｐ２４へ分岐し、検出精度が閾値より大きい場合はＳｔｅｐ２６へ分岐する。Ｓｔｅｐ２４にて、動き記憶部に蓄積された別の色の画像フィールド信号の動き情報を読み出す。Ｓｔｅｐ２５にて、別の色の画像フィールド信号の動き情報を基に、現画像フィールド信号の動き情報を補正する。Ｓｔｅｐ２６にて、補正された被写体の動き情報を出力して終了する。

図６は、上記Ｓｔｅｐ４における予測画像作成処理に関するフローである。
Ｓｔｅｐ３１にて、現画像フィールド信号と同色の、１フレーム前に第２画像フィールド信号を読み出す。Ｓｔｅｐ３２にて、補正された被写体の動き情報を読み出す。Ｓｔｅｐ３３にて、被写体の動き情報を基に、１フレーム前の第２画像フィールド信号をずらすことにより、予測画像フィールド信号を作成する。Ｓｔｅｐ３４にて、作成された予測画像フィールド信号を出力して終了する。

図７は、上記Ｓｔｅｐ５における画像合成比決定処理に関するフローである。
Ｓｔｅｐ４１にて、現画像フィールド信号の動き情報を読み込む。Ｓｔｅｐ４２にて、現画像フィールド信号における動きの量が小さい部分の画素については、予測画像フィールド信号の画素における画素値の比率が高くなるように、一方、現画像フィールド信号における動きの量が大きい部分の画素については、現画像における画素の画素値の比率が高くなるように合成比を決定する。Ｓｔｅｐ４３にて、このようにして決定した画像合成比を出力して終了する。

図８は、上記Ｓｔｅｐ６におけるノイズ低減処理に関するフローである。
Ｓｔｅｐ５１にて、画像合成比を読み込む。Ｓｔｅｐ５２にて、現画像フィールド信号を読み込む。Ｓｔｅｐ５３にて、予測画像フィールド信号を読み込む。Ｓｔｅｐ５４にて、現画像フィールド信号と予測画像フィールド信号とのそれぞれでのフィールド内位置が同一の画素における画素値と、その画素に対応する画像合成比とを用いて、ノイズ低減済み画像の画素値を算出する。

Ｓｔｅｐ７にて、このようにして合成した後の画像フィールド信号を、ノイズ低減済みの第２画像フィールド信号として、出力して終了する。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図９を用いて説明する。
本実施形態に係る画像処理装置が第１の実施形態と異なる点は、第１画像フィールド信号と予測画像フィールド信号との合成比を、各画像フィールド信号の画像誤差によって決定する点である。以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図９は、前述の第１の実施形態において、現画像フィールド信号と予測画像フィールド信号から画像誤差を算出する画像誤差算出部（画像誤差算出手段）５０を追加した構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。

動き補正部４５により補正された画像の動き情報は、予測画像作成部４６に出力される。予測画像部４６により作成された予測画像フィールド信号は、ノイズ低減部４７及び、画像誤差算出部５０へ出力される。

画像誤差算出部５０は、現画像フィールド信号と予測画像フィールド信号の間の画像誤差を算出する。具体的には、画像入力部４１より入力された現画像フィールド信号と、予測画像作成部４６より入力された予測画像フィールド信号とについて、それぞれの画像を複数のブロックに分割する。まず、注目ブロックを抽出し、フィールド内位置が同一のブロックにおける画素値を用いて、ブロック毎に画像誤差値を算出する。画像誤差値は、ブロック単位の差分絶対値、差分二乗値、またはそれに相応する評価値により決定される。相応する評価値として、例えば、ＳＮＲ（Signal to Noise Ratio）における，信号を画像の最大値，雑音を予測画像と現画像の誤差とした、以下の（２）式に示すＰＳＮＲ（Peak Signal to Noise Ratio）を用いてもよい。

また、画像誤差値の算出には、ルックアップテーブルを用いてもよい。また、画像誤差算出部５０は、このようにして決定した画像誤差値を画像合成比決定部４８へ出力する。
画像合成比決定部４８は、画像誤差算出部５０から提供された画像誤差値に基づいて、現画像フィールド信号と予測画像フィールド信号との合成比を決定する。具体的には、画像合成比決定部４８では、入力したブロック毎の画像誤差値に基づいて、現画像フィールド信号における画像誤差量が小さい部分の画素については、予測画像フィールド信号の画素における画素値の比率が高くなるように合成比を決定する。一方、現画像フィールド信号における画像誤差の量が大きい部分の画素については、現画像における画素の画素値の比率が高くなるように合成比を決定する。例えば、予測画像と現画像との間における画像誤差の量が大きいときには、現画像の比率は１または１に近い値になる。

なお、本実施形態において、ノイズ低減部４７の手前に、フィールド内ノイズ低減部を配置し、現画像フィールド信号内のノイズを低減するように構成すれば、画像合成比決定部４８において、現画像の合成比が大きく設定された場合でも、ノイズ低減効果のある画像を得ることができる。フィールド内ノイズを低減した画像フィールド信号は、ノイズ低減部４７へ出力する。

以上のように、本実施形態に係る画像処理装置によれば、画像誤差算出部５０により算出された画像誤差に基づいて合成比が決定され、この合成比に従って画像合成が行われる。これにより、画像誤差に応じたノイズ低減処理を行うことが可能となる。

また、画像誤差が小さい部分については、予測画像フィールド信号の比率を高めるようにすることによって、ノイズを効果的に低減することが可能となる。一方、画像誤差が大きい部分については、現画像である第１画像フィールド信号の比率を高めるようにすることにより、残像の発生を抑制することができる。
また、撮影時の条件や、ユーザの設定によって合成比を設定することも可能である。

なお、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ２１からの信号を未処理のままＲＡＷデータとして、制御回路３２からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

本実施形態におけるノイズ低減処理をソフトウェアにて行った場合において、まず、全体の処理について図１０を参照して以下に説明する。なお、図３に示す第１の実施形態におけるノイズ低減処理のソフトウェアフローと同一な処理Ｓｔｅｐに関しては、同一なＳｔｅｐ数を割り当てている。
Ｓｔｅｐ１にて、画像フィールド信号を読み込む。Ｓｔｅｐ２にて、画像の動き情報を検出する。Ｓｔｅｐ３にて、検出された動き情報を別の色の動き情報を用いて補正する。Ｓｔｅｐ４にて、１フレーム前の画像フィールド信号から予測画像を作成する。Ｓｔｅｐ６１にて、現画像フィールド信号と予測画像フィールド信号の間の、画像誤差値を算出する。Ｓｔｅｐ６２にて、画像誤差値に基づき画像合成比を決定する。Ｓｔｅｐ６にて、フィールド間ノイズを低減する。Ｓｔｅｐ７にて、ノイズ低減済み画像を画像記憶部に蓄積する。Ｓｔｅｐ８にて、ノイズ低減済み画像を出力して終了する。
次に、上記の各Ｓｔｅｐにおける詳細な処理について以下に説明する。

図１１は、上記Ｓｔｅｐ２における動き検出処理に関するフローである。
Ｓｔｅｐ１１にて、第１画像フィールド信号を現画像フィールド信号として読み込む。Ｓｔｅｐ１２にて、画像記憶部に蓄積された、現画像フィールド信号と同色の、１フレーム前の第２画像フィールド信号を読み込む。Ｓｔｅｐ１３にて、現画像フィールド信号を複数のブロックに分割し、注目ブロックを抽出する。Ｓｔｅｐ１４にて、１フレーム前の第２画像フィールド信号の探索範囲内で、この注目ブロックとの類似度評価値を算出する。Ｓｔｅｐ１５にて、１フレーム前の画像フィールド信号の全探索範囲で類似度評価値の算出が完了したかを判断し、完了していない場合はＳｔｅｐ１４へ分岐し、完了した場合はＳｔｅｐ１６に分岐する。Ｓｔｅｐ１６にて、現画像の全ブロックで画像の動き検出が完了したかを判断し、完了していない場合はＳｔｅｐ１３に分岐し、完了した場合はＳｔｅｐ１７に分岐する。Ｓｔｅｐ１７にて、検出された画像の動き情報を動き蓄積部に蓄積する。Ｓｔｅｐ１８にて、検出した画像の動き情報を出力して終了する。

図１２は、上記Ｓｔｅｐ３における動き補正処理に関するフローである。
Ｓｔｅｐ２１にて、現画像フィールド信号の動き情報を読み込む。Ｓｔｅｐ２２にて、画像のブロック毎に動き検出の精度を算出する。Ｓｔｅｐ２３にて、動き検出の精度が判定閾値より小さいかを判断し、検出精度が閾値より小さい場合はＳｔｅｐ２４へ分岐し、検出精度が閾値より大きい場合はＳｔｅｐ２６へ分岐する。Ｓｔｅｐ２４にて、動き記憶部に蓄積された別の色の画像フィールド信号の動き情報を読み出す。Ｓｔｅｐ２５にて、別の色の画像フィールド信号の動き情報を基に、現画像フィールド信号の動き情報を補正する。Ｓｔｅｐ２６にて、補正された画像の動き情報を出力して終了する。

図１３は、上記Ｓｔｅｐ４における予測画像作成処理に関するフローである。
Ｓｔｅｐ３１にて、現画像フィールド信号と同色の、１フレーム前の第２画像フィールド信号を読み出す。Ｓｔｅｐ３２にて、補正された画像動き情報を読み出す。Ｓｔｅｐ３３にて、画像の動き情報を基に、１フレーム前の第２画像フィールド信号をずらした画像を作成し、予測画像フィールド信号とする。Ｓｔｅｐ３４にて、作成された予測画像フィールド信号を出力して終了する。

図１４は、上記Ｓｔｅｐ６１における画像誤差算出処理に関するフローである。
Ｓｔｅｐ７１にて、現画像フィールド信号を読み込む。Ｓｔｅｐ７２にて、予測画像フィールド信号を読み込む。Ｓｔｅｐ７３にて、現画像フィールド信号を複数のブロックに分割し、注目ブロックを抽出する。Ｓｔｅｐ７４にて、現画像フィールド信号における注目ブロックと同一位置の、予測画像フィールド信号のブロックとの間で画像誤差値を算出する。Ｓｔｅｐ７５にて、現画像フィールド信号の全ブロックにおいて画像誤差値の算出が完了したかを判断し、完了していない場合はＳｔｅｐ７３へ分岐し、完了した場合はＳｔｅｐ７６へ分岐する。Ｓｔｅｐ７６にて、画像誤差値を出力して終了する。

図１５は、上記Ｓｔｅｐ６２における画像合成比決定処理に関するフローである。
Ｓｔｅｐ８１にて、現画像フィールド信号と、予測画像フィールド信号の間における、画像誤差値を読み込む。Ｓｔｅｐ８２にて、画像誤差値が小さい部分の画素については、予測画像フィールド信号の画素における画素値の比率が高くなるように、一方、画像誤差値が大きい部分の画素については、現画像における画素の画素値の比率が高くなるように合成比を決定する。Ｓｔｅｐ４３にて、このようにして決定した画像合成比を出力して終了する。

図１６は、上記Ｓｔｅｐ６におけるノイズ低減処理に関するフローである。
Ｓｔｅｐ５１にて、画像合成比を読み込む。Ｓｔｅｐ５２にて、現画像フィールド信号を読み込む。Ｓｔｅｐ５３にて、予測画像フィールド信号を読み込む。Ｓｔｅｐ５４にて、現画像フィールド信号と予測画像フィールド信号とのそれぞれでのフィールド内位置が同一の画素における画素値と、その画素に対応する画像合成比とを用いて、ノイズ低減済み画像の画素値を算出する。

Ｓｔｅｐ７にて、このようにして合成した後の画像フィールド信号を、フィールド間ノイズ低減済みの第２画像フィールド信号として、出力して終了する。

本発明に係る内視鏡装置の概略構成図である。 第１の実施形態に係る画像処理装置のノイズ低減回路が備える機能を展開して示した機能ブロック図である。 第１の実施形態に係るノイズ低減処理のフローチャートである。 図３に示す処理における動き検出処理のフローチャートである。 図３に示す処理における動き補正処理のフローチャートである。 図３に示す処理における予測画像作成処理のフローチャートである。 図３に示す処理における画像合成比決定処理のフローチャートである。 図３に示す処理におけるノイズ低減処理のフローチャートである。 第２の実施形態に係る画像処理装置のノイズ低減回路が備える機能を展開して示した機能ブロック図である。 第２の実施形態に係るノイズ低減処理のフローチャートである。 図１０に示す処理における動き検出処理のフローチャートである。 図１０に示す処理における動き補正処理のフローチャートである。 図１０に示す処理における予測画像作成処理のフローチャートである。 図１０に示す処理における画像誤差算出処理のフローチャートである。 図１０に示す処理における画像合成比決定処理のフローチャートである。 図１０に示す処理におけるノイズ低減処理のフローチャートである。

符号の説明

１ 内視鏡装置
１２ 画像処理装置
４２ 画像記憶部
４３ 動き検出部
４４ 動き記憶部
４５ 動き補正部
４６ 予測画像作成部
４７ ノイズ低減部
４８ 合成比決定部
５０ 画像誤差算出部

Claims (8)

1. 面順次方式によって順次入力される各色の第１画像フィールド信号に対し、ノイズ低減処理を行うことによって各色の第２画像フィールド信号を作成するノイズ低減手段と、
   各色の前記第２画像フィールド信号を記憶する画像記憶手段と、
   前記第１画像フィールド信号と、過去の第１画像フィールド信号に対するノイズ低減処理によって作成され、前記画像記憶手段に記憶された、前記第１画像フィールド信号と同色の第２画像フィールド信号とを用いて、被写体の動きを検出する動き検出手段と、
   前記被写体の動きと前記過去の第２画像フィールド信号とを用いて、前記第１画像フィールド信号と同色の予測画像フィールド信号を作成する予測画像作成手段と、
   を備え、
   前記ノイズ低減手段は、前記処理対象となる時点で入力された第１画像フィールド信号と前記予測画像フィールド信号とを合成して、前記処理対象となる時点で入力された第１画像フィールド信号に対し、前記ノイズ低減処理を行う画像処理装置。
2. 前記動き検出手段によって検出された被写体の動き情報を記憶する動き記憶手段と、
   処理対象となる色についての前記動き情報を、前記動き記憶手段に記憶されている別の色の前記動き情報を用いて補正する動き補正手段と、
   を有する請求項１に記載の画像処理装置。
3. 前記動き補正手段は、空間周波数帯域の低い色の前記動き情報を、空間周波数帯域の高い色の前記動き情報を用いて補正する請求項２に記載の画像処理装置。
4. 前記被写体の動きに応じて、前記第１画像フィールド信号と前記予測画像フィールド信号との合成比を決定する合成比決定手段を有し、
   前記合成比決定手段によって決定された合成比で前記第１画像フィールド信号と前記予測画像フィールド信号とを合成することにより、前記第１画像フィールド信号のノイズ低減処理を行う請求項１から３のいずれかに記載の画像処理装置。
5. 前記合成比決定手段は、前記被写体の動きが大きい領域は前記第１画像フィールド信号の比率を大きくし、前記被写体の動きが小さい領域は前記予測画像フィールド信号の比率を大きくなるように合成比を決定する請求項４に記載の画像処理装置。
6. 前記第１画像フィールド信号と前記予測画像フィールド信号との間の画像誤差を算出する画像誤差算出手段と、
   前記画像誤差に応じて、前記第１画像フィールド信号と前記予測画像フィールド信号との合成比を決定する合成比決定手段と、
   を有し、
   前記合成比決定手段によって決定された合成比で前記第１画像フィールド信号と前記予測画像フィールド信号とを合成することにより、前記第１画像フィールド信号のノイズ低減処理を行う請求項１から３のいずれかに記載の画像処理装置。
7. 前記合成比決定手段は、前記画像誤差が大きい領域は前記第１画像フィールド信号の比率を大きくし、前記画像誤差が小さい領域は前記予測画像フィールド信号の比率を大きくなるように合成比を決定する請求項６に記載の画像処理装置。
8. 請求項１から７のいずれかに記載の画像処理装置を備える内視鏡装置。

Images