JP4559844B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、動画像に含まれるノイズを検出することが可能な画像処理装置及び画像処理方法に関する。

デジタルテレビ受像機などの機器において、動画像に含まれるノイズを検出する手法には、様々なものがある。

例えば、特許文献１には、ビデオ信号中の連続したフィールド又はフレームの同一信号部分の２つの対応する値間の差の絶対値（即ち、絶対差）を各々計算し、計算した絶対差を所定の個数だけ累積することにより、ノイズに対応する値を抽出する技術が開示されている。

また、特許文献２には、映像信号の差を求め、その差の値を二乗し、平均して平方根を求めることにより、固定パターンノイズを含まないランダムノイズだけを求める技術が開示されている。
特開２００１−３４６２２８公報 特開平２−２３３０８９号公報

しかしながら、従来の技術によるノイズ検出においては、フレーム間における画像の変化（絵柄の変化）などの影響をも受けてしまうため、ノイズを精度良く検出することができないという問題がある。

本発明は上記実情に鑑みてなされたものであり、動画像に含まれるノイズを精度良く検出することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、複数のフレームが連続する動画像の現信号と、当該現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号とに基づき、フレーム間の画像の差分を画素単位で生成する差分生成手段と、前記差分生成手段により生成された個々の差分のうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態で、個々の差分のレベル分布を示すヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されたヒストグラムに基づき、ノイズの量を判定するノイズ量判定手段とを具備することを特徴とする。

また、本発明に係る画像処理装置は、複数のフレームが連続する動画像の現信号と、当該現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号とに基づき、フレーム間の画像の差分を画素単位で生成する差分生成手段と、前記差分生成手段により生成された個々の差分のうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態の、個々の差分のレベル分布に基づき、ノイズの量を判定するノイズ量判定手段とを具備することを特徴とする。

また、本発明に係る画像処理方法は、複数のフレームが連続する動画像の現信号と、当該現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号とに基づき、フレーム間の画像の差分を画素単位で生成し、前記生成した個々の差分のうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態で、個々の差分のレベル分布を示すヒストグラムを生成し、前記生成したヒストグラムに基づき、ノイズの量を判定することを特徴とする。

本発明によれば、動画像に含まれるノイズを精度良く検出することができる。

以下、図面を参照して、本発明の実施形態について説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
当該画像処理装置は、例えばデジタルテレビ受像機や記録再生機などに搭載され、ＬＳＩなどの形で実現できるものとなっている。また、この画像処理装置は、伝送されるデジタル動画像データの有効画像範囲（ユーザが見るための映像コンテンツなどを表示する範囲）の信号に含まれるノイズを検出する機能を有する。

この第１の実施形態に係る画像処理装置においては、複数のフレームが連続する動画像の現信号と、当該現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号とに基づき、フレーム間の画像の差分を画素単位で生成する。そして、生成された個々の差分のうち、一定以上の画像変化（絵柄の変化）が生じた画素に対応する差分を除いた上で、個々の差分のレベル分布を示すヒストグラムを生成し、生成されたヒストグラムに基づき、ノイズの量を判定するものとなっている。

上記画像処理装置は、ノイズ除去回路１１、フレームメモリ１２、フレーム間差分生成回路１３、バンドパスフィルタ１４、セレクタ１５、絶対値生成回路１６、リミッタ１７、スイッチ１８、ヒストグラム生成回路１９、動き検出回路２０、エッジ検出回路２１、検出領域指定回路２２、カウントＳＷ制御回路２３、ヒストグラムカウンタリセット回路２４、及びノイズ量判定部２５を備えている。

ノイズ除去回路１１は、フレーム巡回型と呼ばれる形式を採用したノイズ除去回路であり、後述するノイズ除去済みフレーム遅延信号を入力しつつ、動画像の現信号に対してノイズ除去処理を行い、ノイズ除去済み現信号を生成するものである。生成されたノイズ除去済み現信号は、フレームメモリ１２へ送られる。

フレームメモリ１２は、ノイズ除去回路１１により生成されたノイズ除去済み現信号を入力して一時的に記憶するものであり、１フレーム分の遅延時間後に、ノイズ除去済みフレーム遅延信号として出力する。このノイズ除去済みフレーム遅延信号は、フレーム間差分生成回路１３、動き検出回路２０、及びエッジ検出回路２１へ送られる。

フレーム間差分生成回路１３は、動画像の現信号とノイズ除去済みフレーム遅延信号とに基づき、フレーム間の画像の差分（画素毎の差分信号レベル）を示すフレーム間差分信号を生成するものである。例えば、フレーム間で絵柄に一定以上の変化（信号レベルの変化）が生じた画素においては、上記フレーム間差分信号は、ノイズ成分のほかに、絵柄の変化に起因する成分をも含んでいることになる。生成されたフレーム間差分信号は、ノイズ除去回路１１、バンドパスフィルタ１４、及びセレクタ１５へ送られる。

バンドパスフィルタ１４は、フレーム間差分生成回路１３により生成されたフレーム間差分信号に対してＤＣ成分を除去するものである。ＤＣ成分を除去することにより、後述する動き検出でも検出できない微小な絵柄の変化に起因する成分を排除することができる。

セレクタ１５は、フレーム間差分信号をバンドパスフィルタ１４に処理させる場合と、させない場合とに切り替えて、絶対値生成回路１５へ送り出すものである。なお、このセレクタ１５を設けずに、常にバンドパスフィルタ１４を使用する形態としてもよいし、セレクタ１５もバンドパスフィルタ１４も設けない形態としてもよい。

絶対値生成回路１６は、フレーム間差分信号に示される差分の絶対値（差分の大きさ）を示すフレーム間差分絶対値信号を生成するものである。

リミッタ１７は、絶対値生成回路１６により生成されたフレーム間差分絶対値信号に対して、後述するヒストグラムの生成に必要のない一定以上のレベルの信号の通過を制限し、フレーム間差分ヒストグラム入力信号を生成するものである。このフレーム間差分ヒストグラム入力信号には、画素毎の差分信号レベルが示されている。なお、上記リミッタ１７は必ずしも必要とされるものではない。

スイッチ１８は、カウントＳＷ制御回路２３により制御され、フレーム間差分ヒストグラム入力信号のヒストグラム生成回路１９への入力を画素単位でオン／オフする切り替え処理を行うものである。

ヒストグラム生成回路１９は、差分信号レベル別に画素の数をそれぞれカウントするための複数のカウンタを備えている。このヒストグラム生成回路１９は、スイッチ１８がオンとなっているときにフレーム間差分ヒストグラム入力信号を入力して、当該信号に示されている各画素に対応する個々の差分信号レベルを取得し、差分信号レベル別に画素の数をそれぞれカウントすることにより、差分のレベル分布を示すヒストグラムを生成するものである。なお、１つのカウンタで複数個のレベルを包含する所定のレベル範囲に対応した画素の数をカウントする構成とすることも可能である。各カウンタにおけるカウント結果は、ノイズ量判定部２５へ送られる。この際、カウント結果の情報を圧縮もしくは減少させる処理を行ってからノイズ量判定部２５へ送るようにしてもよい。

動き検出回路２０は、フレーム間の信号レベルの変化が一定以上（閾値以上）となる画素を検出し、検出結果を動き検出信号として出力するものである。

エッジ検出回路２１は、隣接する画素との信号レベルの差が一定以上（閾値以上）となる画素を検出し、検出結果をエッジ検出信号として出力するものである。

検出領域指定回路２２は、垂直同期信号及び水平同期信号を入力し、ヒストグラム生成の対象となる範囲（例えば有効画像範囲）を指定する範囲指定信号を出力するものである。なお、この検出領域指定回路２２により、ヒストグラム生成の対象となる画素を空間的に間引くこともできる。

カウントＳＷ制御回路２３は、ヒストグラム生成の対象となる範囲を検出領域指定回路２２により指定された範囲に設定し、動き検出回路２０により検出された画素に対応する差分、及びエッジ検出回路２１により検出された画素に対応する差分がヒストグラム生成の対象から外れるようにスイッチ１８を制御する。すなわち、カウントＳＷ制御回路２３は、検出領域指定回路２２により指定された範囲のうち動き検出信号もエッジ検出信号も入力していない間は、スイッチ１８をオンの状態にしているが、動き検出信号とエッジ検出信号の少なくとも一方の信号を入力している間は、スイッチ１８をオフの状態にし、該当する画素についてのカウントが行われないようにする。この結果、フレーム間での絵柄の変化が少なく、フレーム内での絵柄が平坦な領域の画素に関する差分情報が得られることになる。

ヒストグラムカウンタリセット回路２４は、垂直同期信号及び水平同期信号を入力し、ヒストグラム生成回路１９の各カウンタからヒストグラムを示す信号が出力されるタイミングで、ヒストグラム生成回路１９の各カウンタの値をリセットするものである。ここでは１フレーム毎にリセットを行うようにしているが、複数フレーム毎にリセットを行うようにしてもよい。この場合、ヒストグラム生成回路１９の各カウンタは、複数のフレーム間にわたってカウントを行うため、複数のフレーム間にわたって積分されたヒストグラムが生成されることになる。

ノイズ量判定部２５は、ヒストグラム生成回路１９により生成されたヒストグラムに基づき、動画像におけるノイズの量を判定するものである。ノイズの量は、ヒストグラムに示されるレベル分布の標準偏差、分散、及び平均値の少なくとも一つを用いて判定することができる。この判定結果は、動画像の制御に関わる各種のパラメータ（画像の輪郭強調の度合いを決めるパラメータなど）の調整に利用することができる。なお、上記ヒストグラムの積分処理を当該ノイズ量判定部２５の側で行ってからノイズ量の判定を行うようにしてもよい。

このように構成された画像処理装置においては、動画像の現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号が生成され、現信号とこのノイズ除去済みフレーム遅延信号とに基づいてフレーム間差分信号が生成される。このフレーム間差分信号は、各種の必要な処理が施された後、フレーム間差分ヒストグラム入力信号としてヒストグラム生成回路１９へ供給される。一方、現信号とノイズ除去済みフレーム遅延信号とに基づいて、動き検出やエッジ検出が行われ、検出された画像に対応する信号の上記ヒストグラム生成回路１９への供給が阻止される。これにより、フレーム間や画素間での絵柄の変化などに起因する不要な成分が除去された状態でヒストグラムが生成されるため、動画像におけるノイズの量が精度良く判定されることになる。

図２は、図１中に示される動き検出回路２０の構成を示すブロック図である。
動き検出回路２０は、例えば、フレーム間差分生成回路３１、ローパスフィルタ３２、絶対値生成回路３３、レベル比較回路３４、及び動き検出信号エリアフィルタ３５を備えている。

フレーム間差分生成回路３１は、動画像の現信号とノイズ除去済みフレーム遅延信号とに基づき、フレーム間の画像の差分（画素毎の差分信号レベル）を示すフレーム間差分信号を生成するものである。なお、このフレーム間差分生成回路３１を設けず、代わりに、同じ機能を有する前述の図１中のフレーム間差分生成回路１３の出力信号を後述するローパスフィルタ３２へ供給する構成としてもよい。

ローパスフィルタ３２は、フレーム間差分生成回路３１により生成されたフレーム間差分信号に対してノイズ成分を除去し、低帯域フレーム間差分信号を生成するものである。ノイズ成分を除去することにより、フレーム間の絵柄の変化に相当する信号を得ることができる。

絶対値生成回路３３は、ローパスフィルタ３２により生成された低帯域フレーム間差分信号に示される差分の絶対値（差分の大きさ）を示す低帯域フレーム間差分絶対値信号を生成するものである。

レベル比較回路３４は、絶対値生成回路３３により生成された低帯域フレーム間差分絶対値信号のレベルが動き検出レベル閾値以上となる画素を検出し、検出結果を示す信号を生成するものである。

動き検出信号エリアフィルタ３５は、レベル比較回路３４により生成された信号に対し、動き検出レベル閾値以上となる画素に関する情報を拡大し、動き検出信号として出力するものである。ここでの拡大処理は、水平方向のみに対して行うようにしてもよいし、水平方向及び垂直方向の両方に対して行うようにしてもよい。

このような構成により、フレーム間の信号レベルの変化が一定以上（閾値以上）となる画素に対応する検出結果を動き検出信号として得ることができる。

図３は、図１中に示されるエッジ検出回路２１の構成を示すブロック図である。
エッジ検出回路２１は、例えば、フレーム間差分生成回路４１、バンドパスフィルタ４２、絶対値生成回路４３、レベル比較回路４４、及びエッジ検出信号エリアフィルタ４５を備えている。

フレーム間差分生成回路４１は、動画像の現信号とノイズ除去済みフレーム遅延信号とに基づき、フレーム間の画像の差分を示すフレーム間差分信号を生成することができるものである。なお、このフレーム間差分生成回路３１は必ずしも設ける必要はない。

バンドパスフィルタ４２は、動画像の現信号もしくはフレーム間差分生成回路４１により生成された差分信号に基づき、隣接する画素間の信号レベルの差を示す画素間差分信号を生成するものである。このフィルタリングにより、絵柄のエッジ部分に相当する信号を得ることができる。なお、ここでの処理は、水平方向のみに対して行うようにしてもよいし、水平方向及び垂直方向の両方に対して行うようにしてもよい。

絶対値生成回路４３は、バンドパスフィルタ４２により生成された画素間差分信号に示される差分の絶対値（差分の大きさ）を示す画素間差分絶対値信号を生成するものである。

レベル比較回路４４は、絶対値生成回路４３により生成された画素間差分絶対値信号のレベルがエッジ検出レベル閾値以上となる画素を検出し、検出結果を示す信号を生成するものである。

エッジ検出信号エリアフィルタ４５は、レベル比較回路４４により生成された信号に対し、エッジ検出レベル閾値以上となる画素に関する情報を拡大し、エッジ検出信号として出力するものである。ここでの拡大処理は、水平方向のみに対して行うようにしてもよいし、水平方向及び垂直方向の両方に対して行うようにしてもよい。

こうした構成により、隣接する画素との信号レベルの差が一定以上（閾値以上）となる画素に対応する検出結果をエッジ検出信号として得ることができる。

図４〜図６は、図１中に示されるヒストグラム生成回路１９により生成されるヒストグラムの例を示す図である。図４〜図６のヒストグラムの例においては、横軸がフレーム差分レベルを示し、縦軸は正規化したカウント値（即ち、カウント数／全カウント数（％））を示している。図４はノイズが大きい場合の一例を示しており、図５はノイズが中程度の場合の一例を示しており、図６はノイズが小さい場合の一例を示している。

図４のヒストグラム（ノイズ大）は、図５のヒストグラム（ノイズ中）に比べ、レベル分布の標準偏差、分散、もしくは平均値が比較的大きいものとなっている。一方、図６のヒストグラム（ノイズ小）は、図５のヒストグラム（ノイズ中）に比べ、レベル分布の標準偏差、分散、もしくは平均値が比較的小さいものとなっている。

例えば、前述のノイズ量判定部２５は、ヒストグラムに示されるレベル分布の標準偏差、分散、もしくは平均値が大きいほど、ノイズの量が多いものと判定する。あるいは、各フレーム差分における個々のカウント値のうち、閾値を超えるものを総計して得られた値が大きいほど、ノイズの量が多いものと判定する。

図７は、図１の構成で得られたノイズ量に基づいてノイズ除去回路１１のパラメータを調整できるようにした構成例を示すブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。

図７の構成は、図１の構成に対し、パラメータ決定部２６及びパラメータ設定部２７を更に加えたものとなっている。

パラメータ決定部２６は、ノイズ量判定部２５により判定されたノイズ量に基づき、ノイズ除去回路１１における所定のパラメータ（フレーム巡回係数など）の値を決定するものである。

パラメータ設定部２７は、ノイズ除去回路１１に対し、当該ノイズ除去回路１１で使用される上記パラメータの値がパラメータ決定部２６により決定された値となるよう設定するものである。

こうした構成により、ノイズ除去回路１１におけるパラメータの値が、ノイズ量判定部２５により判定されたノイズ量に応じて適切に調整されることになる。

このように第１の実施形態によれば、デジタル動画像信号の有効画像範囲に対するノイズ検出において、絵柄の変化よる影響を極力抑えた検出結果を得ることができる。また、この検出結果を用いてノイズ除去回路のパラメータを調整することにより、より最適なノイズ除去を行うことができる。

図８は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。以下、図１の画像処理装置と異なる部分について説明する。

前述の第１の実施形態に係る画像処理装置（図１）においては、フレームメモリ１２は、ノイズ除去回路１１により生成されたノイズ除去済み現信号を入力して一時的に記憶し、１フレーム分の遅延時間後に、ノイズ除去済みフレーム遅延信号を出力する構成であった。

これに対し、第２の実施形態に係る画像処理装置（図８）においては、フレームメモリ１２は、上記ノイズ除去済み現信号を入力するのではなく、現信号を入力して一時的に記憶し、１フレーム分の遅延時間後に、フレーム遅延信号を出力する構成となっている。このため、フレーム間差分生成回路１３は、動画像の現信号とフレーム遅延信号とに基づき、フレーム間の画像の差分（画素毎の差分信号レベル）を示すフレーム間差分信号を生成することになる。なお、図１と同様に、ノイズ除去回路１１が設けられていてもよい。その他の構成については、図１と同じである。

このように構成された画像処理装置においては、動画像の現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号が生成され、現信号とこのフレーム遅延信号とに基づいてフレーム間差分信号が生成される。このフレーム間差分信号は、各種の必要な処理が施された後、フレーム間差分ヒストグラム入力信号としてヒストグラム生成回路１９へ供給される。一方、現信号とフレーム遅延信号とに基づいて、動き検出やエッジ検出が行われ、検出された画像に対応する信号の上記ヒストグラム生成回路１９への供給が阻止される。これにより、フレーム間や画素間での絵柄の変化などに起因する不要な成分が除去された状態でヒストグラムが生成されるため、動画像におけるノイズの量が精度良く判定されることになる。

なお、図８の構成に対し、図７にて説明したパラメータ決定部２６、パラメータ設定部２７を更に加えてもよい。
この第２の実施形態によれば、前述の第１の実施形態と同様な効果を得ることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図。 図１中に示される動き検出回路の構成を示すブロック図。 図１中に示されるエッジ検出回路の構成を示すブロック図。 ノイズが大きい場合のヒストグラムの例を示す図。 ノイズが中程度の場合のヒストグラムの例を示す図。 ノイズが小さい場合のヒストグラムの例を示す図。 図１の構成で得られたノイズ量に基づいてノイズ除去回路のパラメータを調整できるようにした構成例を示すブロック図。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図。

符号の説明

１１…ノイズ除去回路、１２…フレームメモリ、１３…フレーム間差分生成回路、１４…バンドパスフィルタ、１５…セレクタ、１６…絶対値生成回路、１７…リミッタ、１８…スイッチ、１９…ヒストグラム生成回路、２０…動き検出回路、２１…エッジ検出回路、２２…検出領域指定回路、２３…カウントＳＷ制御回路、２４…ヒストグラムカウンタリセット回路、２５…ノイズ量判定部、２６…パラメータ決定部、２７…パラメータ設定部。

Claims (8)

1. 複数のフレームが連続する動画像の現信号と、当該現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号とに基づき、フレーム間の画像の差分を画素単位で生成する差分生成手段と、
   前記差分生成手段により生成された個々の差分のうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態で、個々の差分のレベル分布を示すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成されたヒストグラムに基づき、ノイズの量を判定するノイズ量判定手段と
   を具備することを特徴とする画像処理装置。
2. 前記フレーム遅延信号は、前記現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号であることを特徴とする請求項１記載の画像処理装置。
3. フレーム間の信号レベルの変化が一定以上となる画素を検出する動き検出手段と、
   前記差分生成手段により生成された個々の差分のうち、前記動き検出手段により検出された画素に対応する差分が除かれるように制御する制御手段と
   を更に具備することを特徴とする請求項１記載の画像処理装置。
4. 隣接する画素との信号レベルの差が一定以上となる画素を検出するエッジ検出手段と、
   前記差分生成手段により生成された個々の差分のうち、前記エッジ検出手段により検出された画素に対応する差分が除かれるように制御する制御手段と
   を更に具備することを特徴とする請求項１記載の画像処理装置。
5. 前記ノイズ量判定手段は、前記ヒストグラムに示されるレベル分布の標準偏差、分散、及び平均値の少なくとも一つを用いて前記ノイズの量を判定することを特徴とする請求項１記載の画像処理装置。
6. 前記ノイズ量判定手段により判定されたノイズの量に基づき、前記ノイズ除去処理に使用するパラメータを設定する手段を更に具備することを特徴とする請求項１記載の画像処理装置。
7. 複数のフレームが連続する動画像の現信号と、当該現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号とに基づき、フレーム間の画像の差分を画素単位で生成する差分生成手段と、
   前記差分生成手段により生成された個々の差分のうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態の、個々の差分のレベル分布に基づき、ノイズの量を判定するノイズ量判定手段と
   を具備することを特徴とする画像処理装置。
8. 複数のフレームが連続する動画像の現信号と、当該現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号とに基づき、フレーム間の画像の差分を画素単位で生成し、
   前記生成した個々の差分のうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態で、個々の差分のレベル分布を示すヒストグラムを生成し、
   前記生成したヒストグラムに基づき、ノイズの量を判定する
   ことを特徴とする画像処理方法。

Images