JP5520180B2 - ノイズ検知装置、再生装置、およびノイズ検知プログラム - Google Patents

Description

本発明は、ノイズ検知装置、再生装置、およびノイズ検知プログラムに関する。

動画像においては、特定の要因に起因する固有のノイズが発生することが知られている。このような要因としては、動画像の撮影の際や、動画像を複数の機材間で複製する際の機械的な要因、ソフトウェア上の要因などが考えられる。何れの場合であっても、このようなノイズは、目視により検知せざるを得ず、検知に時間や手間を要するという問題がある。また、上述したノイズは瞬間的に（例えば数フレームのみ）発生する場合も多く、慎重に確認を行わないと見逃しが発生する場合もある。

そこで、このようなノイズの検知を自動化することが考えられている。例えば、特許文献１の発明では、映像信号自身より映像情報成分の異常を自動的に検知する技術が開示されている。

特開平９−４６７３３号公報

しかし、特許文献１の発明は、映像のフリーズ状態およびシーンチェンジを検出するものに過ぎず、上述したノイズの検知のような細かい検出を行うことはできない。

本発明の目的は、動画像に含まれる固有のノイズを、的確に自動で検知するための手段を提供することにある。

一の態様のノイズ検知装置は、処理の対象となる対象動画像の情報を取得する取得部と、前記対象動画像のフレームから、検知対象のノイズの形状に対応する領域に関する特徴量を算出する算出部と、前記対象動画像の少なくとも２フレームから算出された前記検知対象のノイズの形状に対応する領域に関する前記特徴量の変化が大きい場合に、前記対象動画像に前記検知対象のノイズが含まれると判定する判定部とを備える。

また、前記判定部は、前記検知対象のノイズの形状に対応する領域に関する前記特徴量が所定の閾値を超えた数をカウントし、カウント数に基づいて前記判定を行っても良い。

また、前記算出部は前記検知対象のノイズの形状に対応する領域に対してノイズ成分を強調するフィルタ処理を行って前記特徴量を算出しても良い。
また、前記算出部は、前記検知対象のノイズの形状に対応する領域を複数の部分領域に分割し、分割された前記部分領域の画素値に基づいてノイズ成分を強調する演算処理を行って前記特徴量を算出しても良い。
また、前記算出部は、輪郭抽出処理を施した前記フレームの画像のうち、前記検知対象のノイズの形状に対応する領域の画素値に基づいて前記特徴量を算出しても良い。

また、前記算出部は、水平方向における輪郭抽出処理を施した前記フレームの画像から前記特徴量を算出しても良い。
また、前記算出部は、前記輪郭抽出処理と、上下限値の少なくとも一方を制限するクリッピング処理とを施した前記フレームの画像から前記特徴量を算出しても良い。

また、別の態様のノイズ検知装置は、動画像のフレームから、検知対象のノイズの形状に対応する領域に関する特徴量を算出する算出部と、前記動画像の複数のフレームからそれぞれ算出された前記特徴量が所定の閾値を超えた数をカウントし、前記複数のフレーム間のカウント数の変化が大きいフレームに、前記検知対象のノイズが含まれると判定する判定部とを備える。

一の態様の再生装置は、動画像を記録する記録部と、前記動画像を再生する再生部と、上述した何れかのノイズ検知装置とを備え、前記取得部は、前記記録部から前記対象動画像の情報を取得する。

一の態様のノイズ検知プログラムは、処理の対象となる対象動画像の情報を取得する取得処理と、前記対象動画像のフレームから、検知対象のノイズの形状に対応する領域に関する特徴量を算出する算出処理と、前記対象動画像の少なくとも２フレームから算出された前記検知対象のノイズの形状に対応する領域に関する前記特徴量の変化が大きい場合に、前記対象動画像に前記検知対象のノイズが含まれると判定する判定処理とをコンピュータに実行させる。

本発明によれば、動画像に含まれる固有のノイズを、的確に自動で検知するための手段を提供することができる。

ノイズ検知装置の構成例を示すブロック図 検知対象となるノイズについて説明する図 ノイズα検知時のノイズ検知装置の動作例を示す流れ図 ノイズαの検知について説明する図 ノイズβ検知時のノイズ検知装置の動作例を示す流れ図 ノイズβの検知について説明する図 ノイズγ検知時のノイズ検知装置の動作例を示す流れ図 ノイズγの検知について説明する図 ノイズδ検知時のノイズ検知装置の動作例を示す流れ図

図１は、実施形態でのノイズ検知装置の構成例を示すブロック図である。ノイズ検知装置には、処理の対象となる動画像（対象動画像）について、ノイズを検知するためのノイズ検知プログラムが予めインストールされる。

なお、対象動画像はどのようなものであっても良い。例えば、デジタル画像を生成可能な撮像装置により生成されたものであっても良いし、アナログの動画像の画像データをデジタルデータに変換したものであっても良いし、ビデオテープなどに記録された動画像をデジタルデータに変換したものであっても良い。また、コンピュータなどにより作成された動画像であっても良い。

また、以下では、対象動画像の全フレームをノイズ検知の対象として処理を行う例を示すが、対象動画像の一部のフレームのみをノイズ検知の対象として処理を行っても良い。この場合、ノイズ検知の対象となるフレームは、ユーザ操作に基づいて指定されても良いし、対象動画像の情報などに基づいて自動で指定されても良い。

図１に示すノイズ検知装置１１は、バッファメモリ１２、メモリコントローラ１３、ノイズ検知部１４、ＣＰＵ１５、アラーム出力部１６および入出力Ｉ／Ｆ１７、バス１８を有している。ＣＰＵ１５は、メモリコントローラ１３とバス１８を介して相互に接続されるとともに、入出力Ｉ／Ｆ１７と相互に接続される。また、ノイズ検知部１４の出力は、バス１８を介してＣＰＵ１５に接続される。さらに、アラーム出力部１６は、ＣＰＵ１５により制御される。

ノイズ検知装置１１に入力された対象動画像の画像データは、メモリコントローラ１３に入力されるとともに、ノイズ検知部１４にも入力される。メモリコントローラ１３に入力された画像データは、バッファメモリ１２に書き込まれる。バッファメモリ１２は、リングバッファ構成により複数フレームの画像データを残しておくことができる。さらに、バッファメモリ１２とメモリコントローラ１３は、１フレーム遅延の信号を作成することが可能であり、この遅延された１フレームの画像データは、ノイズ検知部１４のうち、後述するノイズδ検知部のみに入力される。

さらに、ノイズ検知装置１１には、入出力Ｉ／Ｆ１７を介して、不図示の入力デバイス（キーボード、ポインティングデバイスなど）やモニタ、ＬＡＮ接続のためのネットワークケーブルなどが接続されている。

また、ノイズ検知装置１１は、不図示の記憶装置（例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される）を備える。この記憶装置には、画像処理プログラムや、プログラムの実行に必要となる各種のデータが記録されている。

ＣＰＵ１５は、ノイズ検知装置１１の各部を統括的に制御するプロセッサである。また、アラーム出力部１６は、スピーカ、モニタ、ランプなどの報知部材を備え、ノイズ検知部１４による検知結果をユーザに報知する。

以上説明した構成のノイズ検知装置１１は、予め定められた固有のノイズを検知する。検知の対象となるノイズはどのようなものであっても良いが、以下では、４種類のノイズ（ノイズα〜ノイズδ）を例に挙げて説明する。

図２は、上述した４種類のノイズを説明する図である。

ノイズαは、図２に示すように、横長のブロック状に発生するノイズである。ただし、ノイズαは、拡大図Ｅ１に示すように、縦長の矩形の集合体が上述した横長のブロックを形成しているノイズである。以下では、一例として、拡大図Ｅ１中の１つの縦長の矩形が、縦４ピクセル、横１ピクセルのサイズであり、それぞれの矩形の間隔が２ピクセルである場合を例にあげて説明を行う。

ノイズβは、図２に示すように、縦方向において、本来つながっているべきラインが途切れ途切れになるような形状に発生するノイズである。以下では、一例として、拡大図Ｅ２に示すように、縦方向に４ピクセル分の欠損が、縦方向に繰り返し発生するノイズであるノイズβａと、拡大図Ｅ３に示すように、縦方向に１ピクセル分の欠損が２か所、縦方向に２ピクセル分の間隔で、縦方向に繰り返し発生するノイズであるノイズβｂとを例にあげて説明を行う。

ノイズγは、図２に示すように、横長のブロック状に発生するノイズである。ただし、ノイズγは、上述したノイズαとは異なり、拡大図Ｅ４に示すように、横長の矩形からなるノイズである。以下では、一例として、拡大図Ｅ４の横長の矩形が、縦４ピクセル、横１０〜２０ピクセル程度のサイズである場合を例にあげて説明を行う。

ノイズδは、図２に示すように、固定ライン（例えば下から２ライン目）に発生するノイズである。以下では、一例として、拡大図Ｅ５に示すように、縦方向に1ピクセル、横方向に２０ピクセル程度の点線状である場合を例にあげて説明を行う。

なお、上述した４種類のノイズのうち、ノイズα、ノイズβ、ノイズγは、数フレームにわたって連続的に発生する場合が多い。一方、ノイズδは、１フレームのみに突発的に発生する場合が多い。

ノイズ検知部１４は、図１に示すように、上述したノイズαを検知するノイズα検知部２１、ノイズβを検知するノイズβ検知部２２、ノイズγを検知するノイズγ検知部２３、ノイズδを検知するノイズδ検知部２４を有する。そして、ノイズα検知部２１は、α特徴量検出部３１、α特徴量蓄積部３２、ノイズα判定部３３の各部を備え、ノイズβ検知部２２は、β特徴量検出部３４、β特徴量蓄積部３５、ノイズβ判定部３６の各部を備え、ノイズγ検知部２３は、γ特徴量検出部３７、γ特徴量蓄積部３８、ノイズγ判定部３９の各部を備え、ノイズδ検知部２４は、δ特徴量検出部４０、δ特徴量蓄積部４１、ノイズδ判定部４２の各部を備える。

次に、各部におけるノイズの検知の詳細について説明する。

まず、図３の流れ図を参照しつつ、ノイズα検知部２１におけるノイズαの検知の動作例を説明する。なお、図３の流れ図の処理は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。

（ステップＳ１０１）
ノイズ検知部１４は、ユーザにより指定された対象動画像の１フレームの画像データを取得する。取得した１フレームの画像データは、図１に示すように、ノイズα検知部２１のα特徴量検出部３１に入力される。

（ステップＳ１０２）
α特徴量検出部３１は、ステップＳ１０１で取得した画像データに対して輪郭強調処理を行う。輪郭強調処理は、検知対象のノイズを強調するための処理であり、どのような方法で行われても良い。例えば、各々の画素値から、近傍画素の平均画素値を減算することにより、輪郭強調処理を行う。

（ステップＳ１０３）
α特徴量検出部３１は、ステップＳ１０２で輪郭強調処理を施した画像データに対してクリッピング処理を行う。クリッピング処理は、上限値および下限値を制限する処理であり、例えば、対象動画像が８ｂｉｔである場合に、輪郭強調処理後の画素値を±１０程度の範囲に制限する。このクリッピング処理により、１画素あたりの輝度変化の影響を抑えることができる。そのため、後述するフィルタ処理や判定処理におけるノイズαの検知の正確性を向上させることが期待できる。

（ステップＳ１０４）
α特徴量検出部３１は、ステップＳ１０３でクリッピング処理を施した画像データに対してフィルタ処理を行う。フィルタ処理は、図４Ａに示すように、画像データの全面に対して順次フィルタを適用した画素加算処理を施すことにより行う。図４ＡにおけるフィルタＦ１は、例えば、図４Ｂに示すように、縦６×横９のフィルタである。図４Ｂに示すフィルタＦ１には具体的な数字を示していないが、このフィルタは、図２を参照して説明したノイズαの形状に応じて設計されたフィルタである。そして、このフィルタは、縦１ライン目および６ライン目の画像のパターンに応じて係数の変化する適応型フィルタであり、図４Ｂの斜線で示した部分の値を相対的に大きく設定することにより、ノイズαを強調することが可能となる。

（ステップＳ１０５）
α特徴量検出部３１は、ステップＳ１０４でフィルタ処理を施した画像データの画素値と所定の閾値と比較し、カウントする。このとき、α特徴量検出部３１は、予め定められた５種類の閾値（閾値１〜閾値５、ただし、閾値１＜閾値２＜閾値３＜閾値４＜閾値５）と、ステップＳ１０４でフィルタ処理を施した画像データの各画素値とを比較し、それぞれの閾値を超える画素値の数をカウントする。例えば、閾値５に関するカウンタは、画素値＞閾値５である画素の数をカウントし、閾値４に関するカウンタは、画素値＞閾値５である画素を含む画素値＞閾値４の画素数をカウントする。

なお、各カウンタは、任意のフレームに関する処理の開始の時点（例えば、ステップＳ１０２の開始の時点）でクリアされる。また、各カウンタがクリアされるタイミングで、各カウンタの値は、α特徴量蓄積部３２に蓄積される。ただし、α特徴量蓄積部３２に蓄積される値は、適宜更新され、常に最新のＮフレーム分の各カウンタの値が蓄積される。このＮは、後述する判定処理の内容によって決まる。後述する判定処理では、５フレームをひとまとまりとして判定処理を行う（詳細は後述する）ため、ここでは、Ｎ＝５とする。

図４Ｃは、ステップＳ１０４でフィルタ処理を施した画像データの画素値の分布を示すヒストグラムであり、横軸は画素値を示し、縦軸は画素数を示す。また、図４Ｃ中の閾値１〜閾値５は、上述した閾値１〜閾値５に対応する。

図４Ｃに示すように、画素値が大きくなる程、画素数は減少する。また、画素値が大きい部分に相当する画素は、ノイズと推測できる画素である。なお、図４Ｃにおける各画素値は、対象動画像に含まれる被写体などによって、全体的に大きくなったり小さくなったりすることがある。これは、図４Ｃに示すヒストグラムが、横軸の方向において広がったり、縮まったりすることに対応する。このような場合であっても、上述した複数の閾値を設定することによって、後述する判定処理におけるノイズαの検知の正確性を向上させることが期待できる。

（ステップＳ１０６）
α特徴量検出部３１は、ステップＳ１０２からステップＳ１０５の処理を、Ｎフレーム分行ったか否かを判定する。α特徴量検出部３１は、Ｎフレーム分終了したと判定するとステップＳ１０７に進み、Ｎフレーム分終了していないと判定すると、後述するステップＳ１１４に進む。なお、Ｎは、予め定められた所定のフレーム数である。このＮは、ステップＳ１０５で説明したＮに対応し、ここでは、Ｎ＝５である。なお、６回目のステップＳ１０６の判定からは常にＮフレーム分終了していることになる。したがって、６回目以降は、ステップＳ１０２からステップＳ１０５の処理を、１フレーム分のみ行い、ステップＳ１０７に進むことになる。

（ステップＳ１０７）
ノイズα判定部３３は、α特徴量蓄積部３２に蓄積したＮフレーム分のα特徴量に基づいて、１枚ノイズが存在するか否かを判定する。

１枚ノイズとは、１フレームのみに発生するノイズαである。したがって、任意の第ｎフレームについては、第（ｎ−１）フレーム〜第（ｎ＋１）フレームの３フレーム分のカウンタの値の変化を分析することにより、第ｎフレームに１枚ノイズが存在するか否かを判定することができる。

ステップＳ１０６においては、Ｎ（＝５）フレーム分のカウンタの値が蓄積されている。そこで、これらのフレームを、古い順に第１フレーム、第２フレーム、第３フレーム、第４フレーム、第５フレームとすると、第２フレームについては、第１フレーム〜第３フレームに関するカウンタの値の変化に基づいて、１枚ノイズが存在するか否かを判定することができる。同様に、第３フレームについては、第２フレーム〜第４フレームに関するカウンタの値の変化に基づいて、１枚ノイズが存在するか否かを判定することができ、第４フレームについては、第３フレーム〜第５フレームに関するカウンタの値の変化に基づいて、１枚ノイズが存在するか否かを判定することができる。

具体的には、任意の第ｎフレームについて、第（ｎ−１）フレームと第ｎフレームとでカウンタの値が大きく変化し、かつ、第ｎフレームと第（ｎ＋１）フレームとでカウンタの値が大きく変化する場合には、第ｎフレームに１枚ノイズが存在すると判定することができる。

ただし、各フレームについて、閾値１〜閾値５のそれぞれに対応するカウンタの値が蓄積されている。そこで、ノイズα判定部３３は、まず、閾値５のカウンタの値に関して、その変化を分析する。変化の分析においては、変化量と変化の割合とを求め、所定の閾値と比較することにより分析を行うと良い。そして、閾値５において１枚ノイズが存在しないと判定した場合には、ノイズα判定部３３は、次に、閾値４のカウンタの値に関して、その変化を分析する。さらに、１枚ノイズが存在しないと判定した場合には、ノイズα判定部３３は、順次、閾値３、閾値２、閾値１と閾値を下げて同様の判定を行う。

ここで、閾値が小さくなるほど、誤検出の可能性が高くなる。そこで、閾値が小さくなる程、判定の条件を厳しく設定することにより、誤検出を抑えることができる。判定の条件を厳しくする際には、上述した変化量および変化の割合と比較する閾値を厳しく（小さく）しても良いし、カウンタの値に下限の閾値を設け、その閾値を上回るカウンタの値についてのみ、１枚ノイズが存在するか否かの判定を行っても良い。

さらに、非常に弱いノイズαが存在する場合にも確実にノイズαを検知する場合には、フレーム間で、画素値の有無が変化するか否かを分析しても良い。例えば、第２フレームの全ての閾値のカウンタの値が「正の値」であり、第１フレームおよび第３フレームの全ての閾値のカウンタの値が「０」である場合、第２フレームには、ノイズが存在すると判定することができる。ただし、このような判定を行う場合には、第１フレームおよび第３フレームの画素値に対して、第２フレームの画素値が所定量以上または所定の割合以上変化していることを前提とするのが好ましい。

ノイズα判定部３３は、上述した判定を行い、１枚ノイズが１フレームでも存在すると判定するとステップＳ１０８に進み、１枚ノイズが存在しないと判定すると、後述するステップＳ１０９に進む。

なお、２回目以降のステップＳ１０７においては、重複する組み合わせについての判定は行わず、最も新しく取得したフレームを含む組み合わせについてのみ判定を行う。

（ステップＳ１０８）
ノイズα判定部３３は、判別内容として、１枚ノイズが存在することを示す情報を、バス１８を介してＣＰＵ１５に出力する。

（ステップＳ１０９）
ノイズα判定部３３は、α特徴量蓄積部３２に蓄積したＮフレーム分のα特徴量に基づいて、２枚ノイズが存在するか否かを判定する。

２枚ノイズとは、２フレーム連続して発生するノイズαである。したがって、任意の第ｎフレームおよび第（ｎ＋１）フレームについて、２枚ノイズが存在するか否かは、第（ｎ−１）フレーム〜第（ｎ＋２）フレームの４フレーム分のカウンタの値の変化を分析することにより、第ｎフレームおよび第（ｎ＋１）フレームに連続して発生する２枚ノイズが存在するか否かを判定することができる。

ステップＳ１０６においては、Ｎ（＝５）フレーム分のカウンタの値が蓄積されている。そこで、これらのフレームを、古い順に第１フレーム、第２フレーム、第３フレーム、第４フレーム、第５フレームとすると、第２フレームについては、第１フレーム、第２フレーム、第４フレームに関するカウンタの値の変化に基づいて、ノイズが存在するか否かを判定し、第３フレームについては、第１フレーム、第３フレーム、第４フレームに関するカウンタの値の変化に基づいて、ノイズが存在するか否かを判定することにより、第２フレームおよび第３フレームに連続して発生する２枚ノイズが存在するか否かを判定することができる。同様に、第３フレームおよび第４フレームの２枚ノイズについては、第２フレーム〜第５フレームに関するカウンタの値の変化に基づいて、２枚ノイズが存在するか否かを判定することができる。

具体的には、任意の第ｎフレームおよび第（ｎ＋１）フレームの２枚ノイズについて、第（ｎ−１）フレームおよび第（ｎ＋２）フレームに対して第ｎフレームのカウンタの値が大きく変化し、かつ、第（ｎ−１）フレームおよび第（ｎ＋２）フレームに対して第（ｎ＋１）フレームのカウンタの値が大きく変化する場合には、第ｎフレームおよび第（ｎ＋１）フレームに２枚ノイズが存在すると判定することができる。

ただし、２枚ノイズの判定においても、上述した１枚ノイズの場合と同様に、ノイズα判定部３３は、まず、閾値５のカウンタの値に関して、その変化（変化量および変化の割合）を分析し、閾値５において２枚ノイズが存在しないと判定した場合には、順次、閾値４、閾値３、閾値２、閾値１と閾値を下げて同様の判定を行う。

なお、閾値が小さくなるほど、上述した１枚ノイズの場合と同様に、判定の条件を厳しく設定すると良い。また、２枚ノイズの判定においては、上述した変化量および変化の割合に加えて、閾値ごとのカウンタの値が大きく異なる場合の誤検出を抑えるために、カウンタの値の差を制限するための制限値を加味しても良い。また、絶対値関数などを用いて判定を行っても良い。

ノイズα判定部３３は、上述した判定を行い、２枚ノイズが１組でも存在すると判定するとステップＳ１１０に進み、２枚ノイズが存在しないと判定すると、後述するステップＳ１１１に進む。

なお、２回目以降のステップＳ１０９においては、重複する組み合わせについての判定は行わず、最も新しく取得したフレームを含む組み合わせについてのみ判定を行う。

（ステップＳ１１０）
ノイズα判定部３３は、判別内容として、２枚ノイズが存在することを示す情報を、バス１８を介してＣＰＵ１５に出力する。

（ステップＳ１１１）
ノイズα判定部３３は、α特徴量蓄積部３２に蓄積したＮフレーム分のα特徴量に基づいて、３枚ノイズが存在するか否かを判定する。

３枚ノイズとは、３フレーム連続して発生するノイズαである。したがって、任意の第ｎフレーム〜第（ｎ＋２）フレームについて、３枚ノイズが存在するか否かは、第（ｎ−１）フレーム〜第（ｎ＋３）フレームの５フレーム分のカウンタの値の変化を分析することにより、第ｎフレーム〜第（ｎ＋２）フレームに連続して発生する３枚ノイズが存在するか否かを判定することができる。

ステップＳ１０６においては、Ｎ（＝５）フレーム分のカウンタの値が蓄積されている。そこで、これらのフレームを、古い順に第１フレーム、第２フレーム、第３フレーム、第４フレーム、第５フレームとすると、第２フレームについては、第１フレーム、第２フレーム、第５フレームに関するカウンタの値の変化に基づいて、ノイズが存在するか否かを判定し、第３フレームについては、第１フレーム、第３フレーム、第５フレームに関するカウンタの値の変化に基づいて、ノイズが存在するか否かを判定し、第４フレームについては、第１フレーム、第４フレーム、第５フレームに関するカウンタの値の変化に基づいて、ノイズが存在するか否かを判定することによれ、第２フレーム〜第４フレームに連続して発生する３枚ノイズが存在するか否かを判定することができる。

具体的には、任意の第ｎフレーム〜第（ｎ＋２）フレームの３枚ノイズについて、第（ｎ−１）フレームおよび第（ｎ＋３）フレームに対して第ｎフレームのカウンタの値が大きく変化し、かつ、第（ｎ−１）フレームおよび第（ｎ＋３）フレームに対して第（ｎ＋１）フレームのカウンタの値が大きく変化し、かつ、第（ｎ−１）フレームおよび第（ｎ＋３）フレームに対して第（ｎ＋２）フレームのカウンタの値が大きく変化する場合には、第ｎフレーム〜第（ｎ＋２）フレームに３枚ノイズが存在すると判定することができる。

ただし、３枚ノイズの判定においても、上述した１枚ノイズの場合と同様に、ノイズα判定部３３は、まず、閾値５のカウンタの値に関して、その変化（変化量および変化の割合）を分析し、閾値５において３枚ノイズが存在しないと判定した場合には、順次、閾値４、閾値３、閾値２、閾値１と閾値を下げて同様の判定を行う。

なお、閾値が小さくなるほど、上述した１枚ノイズの場合と同様に、判定の条件を厳しく設定すると良い。また、２枚ノイズの判定の場合と同様に、上述した変化量および変化の割合に加えて、閾値ごとのカウンタの値が大きく異なる場合の誤検出を抑えるために、カウンタの値の差を制限するための制限値を加味しても良い。また、絶対値関数などを用いて判定を行っても良い。

ノイズα判定部３３は、上述した判定を行い、３枚ノイズが存在すると判定するとステップＳ１１２に進み、３枚ノイズが存在しないと判定すると、後述するステップＳ１１３に進む。

なお、２回目以降のステップＳ１１１においては、重複する組み合わせについての判定は行わず、最も新しく取得したフレームを含む組み合わせについてのみ判定を行う。

（ステップＳ１１２）
ノイズα判定部３３は、判別内容として、３枚ノイズが存在することを示す情報を、バス１８を介してＣＰＵ１５に出力する。

（ステップＳ１１３）
ＣＰＵ１５は、ステップＳ１０２からステップＳ１１２の処理を、全フレーム分行ったか否かを判定する。ＣＰＵ１５は、全フレーム分終了したと判定すると一連の処理を終了し、全フレーム分終了していないと判定すると、ステップＳ１１４に進む。

（ステップＳ１１３）
ノイズ検知部１４は、次のフレームの画像データを取得し、ステップＳ１０２に戻る。

次に、図５の流れ図を参照しつつ、ノイズβ検知部２２におけるノイズβの検知の動作例を説明する。なお、図５の流れ図の処理は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。また、以下では、図３を用いて説明したノイズα検知部２１におけるノイズαの検知の動作と異なる部分についてのみ説明を行う。

（ステップＳ１２１）
ノイズ検知部１４は、ユーザにより指定された対象動画像の１フレームの画像データを取得する。取得した１フレームの画像データは、図１に示すように、ノイズβ検知部２２のβ特徴量検出部３４に入力される。

（ステップＳ１２２）
β特徴量検出部３４は、ステップＳ１２１で取得した画像データに対して水平方向の輪郭強調処理を行う。水平方向の輪郭強調処理は、検知対象のノイズを強調するための処理であり、どのような方法で行われても良い。例えば、各々の画素値について、その画素と、水平方向に隣接する画素とにフィルタを適用した画素加算処理を施すことにより、水平方向の輪郭強調処理を行う。

（ステップＳ１２３）
β特徴量検出部３４は、ステップＳ１２２で水平方向の輪郭強調処理を施した画像データに対して所定領域内演算処理を行う。所定領域内演算処理は、水平方向の輪郭強調処理を施した画像データを複数の領域に分割し、分割した領域ごとにその領域の代表値を算出する処理である。所定領域内演算処理は、図６Ａに示すように、画像データの全面に対して順次所定領域内演算処理を施すことにより行う。図６Ａにおける所定領域Ｅ１は、例えば、図６Ｂに示すように、縦８×横５の領域である。図６Ｂには２種類の領域を示す。図６Ｂの左側は、図２を参照して説明したノイズβａの形状に応じて設計された領域の分割方法を示し、図６Ｂの右側は、図２を参照して説明したノイズβｂの形状に応じて設計された領域の分割方法を示す。これらの領域に分割して所定領域内演算処理を行うことにより、ノイズβａおよびノイズβｂを強調することが可能となる。

β特徴量検出部３４は、ノイズβａに関して、水平方向の輪郭強調処理を施した画像データを、図６Ｂの左側に示すように領域Ａ〜領域Ｃの３つの領域に分割し、各領域毎に、代表値として画素データの絶対値の加算総和値（以下総和値Ａ〜総和値Ｃ）を算出する。また、β特徴量検出部３４は、ノイズβｂに関して、水平方向の輪郭強調処理を施した画像データを、図６Ｂの右側に示すように領域Ｄ〜領域Ｈの５つの領域に分割し、各領域毎に、代表値として画素データの絶対値の加算総和値（以下総和値Ｄ〜総和値Ｈ）を算出する。

（ステップＳ１２４）
β特徴量検出部３４は、ステップＳ１２３の所定領域内演算処理により求めた各総和値に基づいて、差分演算処理を行う。β特徴量検出部３４は、ノイズβａに関して、総和値Ａと総和値Ｂとの差分（以下差分値ａ）、および、総和値Ｂと総和値Ｃとの差分（以下差分値ｂ）を算出する。また、β特徴量検出部３４は、ノイズβｂに関して、（総和値Ｄ＋総和値Ｆ）と（総和値Ｅ＋総和値Ｇ）との差分（以下差分値ｃ）、および、（総和値Ｆ＋総和値Ｈ）と（総和値Ｅ＋総和値Ｇ）との差分（以下差分値ｄ）を算出する。

上述した差分値ａおよび差分値ｂは、ノイズβａが存在する場合により大きい値となり、差分値ｃおよび差分値ｄは、ノイズβｂが存在する場合により大きい値となる。

（ステップＳ１２５）
β特徴量検出部３４は、ステップＳ１２４の差分演算処理により求めた各差分値と所定の閾値と比較し、カウントする。このとき、β特徴量検出部３４は、上述したα特徴量検出部３１の場合と同様に、予め定められた５種類の閾値（閾値１〜閾値５、ただし、閾値１＜閾値２＜閾値３＜閾値４＜閾値５）と、ステップＳ１２４で求めた各差分値とを比較し、それぞれの閾値を超える差分値の数をカウントする。ただし、ノイズβａに関しては、差分値ａおよび差分値ｂの両方が閾値を超えた場合にカウントを行い、ノイズβｂに関しては、差分値ｃおよび差分値ｄの両方が閾値を超えた場合にカウントを行う。

なお、各カウンタは、上述したα特徴量検出部３１の場合と同様にクリアされるとともに、上述したα特徴量検出部３１の場合と同様のタイミングで、各カウンタの値は、β特徴量蓄積部３５に蓄積される。

図６Ｃは、ステップＳ１２４の差分演算処理により求めた差分値の分布を示すヒストグラムであり、横軸は差分値を示し、縦軸は画素数を示す。また、図６Ｃ中の閾値１〜閾値５は、上述した閾値１〜閾値５に対応する。

（ステップＳ１２６〜ステップＳ１３４）
β特徴量検出部３４、ノイズβ判定部３６、ＣＰＵ１５は、上述したノイズαの検知の場合におけるステップＳ１０６〜ステップＳ１１４と同様の処理を行う。ただし、各部は、上述したノイズβａおよびノイズβｂのそれぞれについて、各処理を行う。

次に、図７の流れ図を参照しつつ、ノイズγ検知部２３におけるノイズγの検知の動作例を説明する。なお、図７の流れ図の処理は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。また、以下では、図３を用いて説明したノイズα検知部２１におけるノイズαの検知の動作と異なる部分についてのみ説明を行う。

（ステップＳ１４１〜ステップＳ１４２）
ノイズ検知部１４、γ特徴量検出部３７は、上述したノイズαの検知の場合におけるステップＳ１０１〜ステップＳ１０２と同様の処理を行う。

（ステップＳ１４３）
γ特徴量検出部３７は、ステップＳ１４２で輪郭強調処理を施した画像データに対してクリッピング処理を行う。クリッピング処理は、上限値および下限値を制限する処理であり、例えば、対象動画像が８ｂｉｔである場合に、輪郭強調処理後の画素値を±１０程度の範囲に制限する。このクリッピング処理により、１画素あたりの輝度変化の影響を抑えることができる。そのため、後述するフィルタ処理や判定処理におけるノイズγの検知の正確性を向上させることが期待できる。

（ステップＳ１４４）
γ特徴量検出部３７は、ステップＳ１４３でクリッピング処理を施した画像データに対してフィルタ処理を行う。フィルタ処理は、図８Ａに示すように、画像データの全面に対して順次フィルタを適用した画素加算処理を施すことにより行う。図８ＡにおけるフィルタＦ２は、例えば、図８Ｂに示すように、縦４×横１０の２種類のフィルタである。図８Ｂに示す２種類のフィルタには具体的な数字を示していないが、このフィルタは、図２を参照して説明したノイズγの形状に応じて設計されたフィルタであり、斜線で示した部分の値を相対的に大きく設定することにより、ノイズβの両端の形状を強調することが可能となる。なお、図８Ｂに示す２種類のフィルタを利用するのは、対象動画像に含まれる被写体などに起因する映像の変化により、実際には完全な矩形のノイズγは少なく、片方しか存在しない場合が多いためである。
（ステップＳ１４５）
γ特徴量検出部３７は、ステップＳ１４４でフィルタ処理を施した画像データに対して抑圧処理を行う。γ特徴量検出部３７は、フィルタ処理を施した画像データのうち、以下の抑圧条件（１）〜（５）の少なくとも１つを満たす画素については、その画素値を「０」に置き換える（抑圧する）。このような抑圧処理により、ノイズではない被写体の形状（例えば、単純な水平ラインなど）に関する画素値が不要に大きくならないように抑制することができる。

（１）ステップＳ１４３でクリッピング処理を施した画像データについて、図８Ｂの行Ａ−列Ａの画素値が閾値以上で、かつ、行Ｂ−列Ｂの画素値と符号と同じ場合。

（２）ステップＳ１４３でクリッピング処理を施した画像データについて、図８Ｂの行Ｂ−列Ａの画素値が閾値以上で、かつ、行Ｂ−列Ｂの画素値と符号と同じ場合。

（３）ステップＳ１４３でクリッピング処理を施した画像データについて、図８Ｂの行Ｃ−列Ａの画素値が閾値以上で、かつ、行Ｃ−列Ｂの画素値と符号と同じ場合。

（４）ステップＳ１４３でクリッピング処理を施した画像データについて、図８Ｂの行Ｄ−列Ａの画素値が閾値以上で、かつ、行Ｃ−列Ｂの画素値と符号と同じ場合。

（５）ステップＳ１４３でクリッピング処理を施した画像データについて、同列の行Ｃの画素値と行Ｄの画素値との符号が異なる場合。

また、ブロック状のノイズの両側には、輪郭の強い画像が存在しないことが多いため、ブロックの両側の領域に輪郭の情報が存在する場合にも、ステップＳ１４４でフィルタ処理を施した画像データに対して同様の抑圧処理を行っても良い。

（ステップＳ１４６）
γ特徴量検出部３７は、ステップＳ１４５で抑圧処理を施した画像データの画素値と所定の閾値と比較し、カウントする。このとき、γ特徴量検出部３７は、上述したα特徴量検出部３１の場合と同様に、予め定められた５種類の閾値（閾値１〜閾値５、ただし、閾値１＜閾値２＜閾値３＜閾値４＜閾値５）と、ステップＳ１４５で抑圧処理を施した画像データの各画素値とを比較し、それぞれの閾値を超える画素値の数をカウントする。

なお、各カウンタは、上述したα特徴量検出部３１の場合と同様にクリアされるとともに、上述したα特徴量検出部３１の場合と同様のタイミングで、各カウンタの値は、γ特徴量蓄積部３８に蓄積される。

図８Ｃは、ステップＳ１４５で抑圧処理を施した画像データの画素値の分布を示すヒストグラムであり、横軸は画素値を示し、縦軸は画素数を示す。また、図８Ｃ中の閾値１〜閾値５は、上述した閾値１〜閾値５に対応する。

（ステップＳ１４７〜ステップＳ１５５）
γ特徴量検出部３７、ノイズγ判定部３９、ＣＰＵ１５は、上述したノイズαの検知の場合におけるステップＳ１０６〜ステップＳ１１４と同様の処理を行う。

次に、図９の流れ図を参照しつつ、ノイズδ検知部２４におけるノイズδの検知の動作例を説明する。なお、図９の流れ図の処理は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。

図２を参照して説明したように、ノイズδは、固定ライン（例えば下から２ライン目）に発生するノイズである。したがって、以下の処理は、該当ライン、あるいは、その近傍ラインでのみ処理を行う。

（ステップＳ１６１）
ノイズ検知部１４は、ユーザにより指定された対象動画像の２フレームの画像データを取得する。取得した２フレームの画像データのうち、古い方の１フレームの画像データは、図１に示すように、バッファメモリ１２およびメモリコントローラ１３により遅延されたフレームである。取得した２フレームの画像データは、ノイズδ検知部２４のδ特徴量検出部４０に入力される。

（ステップＳ１６２）
δ特徴量検出部４０は、ステップＳ１６１で取得した画像データに対してフレーム間差分演算処理を行う。δ特徴量検出部４０は、２フレームの画像データについて、画素ごとに差分値を算出する。

（ステップＳ１６３）
δ特徴量検出部４０は、ステップＳ１６２でフレーム間差分演算処理を施した画像データに対して点線検出処理を行う。点線検出処理は、ステップＳ１６２で算出した差分値が閾値以上で、かつ、その上のラインの差分値との差が閾値以上の時に連続カウンタをカウントし、差分値が閾値未満になるタイミングでカウンタをクリアすることにより行う。

さらに、δ特徴量検出部４０は、上述した連続カウンタをクリアするタイミングで、連続カウンタの値を確認し、その値が所定の範囲（例えば、１８〜２４）内である場合に、点線ノイズと判定する。

（ステップＳ１６４）
δ特徴量検出部４０は、ステップＳ１６３で検出した点線ノイズの数と所定の閾値と比較し、カウントする。なお、このカウンタは、任意のフレームに関する処理の開始の時点（例えば、ステップＳ１６２の開始の時点）でクリアされる。また、カウンタがクリアされるタイミングで、このカウンタの値は、δ特徴量蓄積部４１に蓄積される。ただし、δ特徴量蓄積部４１に蓄積される値は、適宜更新され、常に最新の２フレーム分のカウンタの値が蓄積される。

（ステップＳ１６５）
δ特徴量検出部４０は、カウンタの値が所定の閾値よりも大きいか否かを判定する。δ特徴量検出部４０は、カウンタの値＞所定の閾値であると判定するとステップＳ１６６に進み、カウンタの値≦所定の閾値であると判定すると、後述するステップＳ１６８に進む。

（ステップＳ１６６）
ノイズδ判定部４２は、カウンタの値＞所定の閾値であるとの判定が２フレーム連続で行われたかを判定する。ノイズδ判定部４２は、カウンタの値＞所定の閾値であるとの判定が２フレーム連続で行われたと判定するとステップＳ１６８に進み、ノイズδ判定部４２は、カウンタの値＞所定の閾値であるとの判定が２フレーム連続で行われていないと判定すると、後述するステップＳ１６８に進む。

カウンタの値＞所定の閾値であるとの判定が２フレーム連続で行われたかを判定するのは、ステップＳ１６２においてフレーム間の差分演算を行っているため、任意の第ｎフレームにノイズδ（点線状のノイズ）が存在する場合には、第（ｎ−１）フレームと第ｎフレームとの差分に基づく判定においても、第ｎフレームと第（ｎ＋１）フレームとの差分に基づく判定においてもステップＳ１６５における判定の結果、ノイズδが存在するという判定がなされるためである。さらに、上述した２フレーム連続の判定を行うことにより、シーンチェンジ等に起因する誤検出を抑えることができる。なお、シーンチェンジの場合には、１フレームのみカウンタの値＞所定の閾値となる。

ステップＳ１６５における判定の閾値は、単純な閾値であっても良いが、例えば、連続カウンタを差分値毎に複数用意しておき、差分値が大きいものについては特徴量（点線ノイズの個数、ステップＳ１６５参照）の閾値を小さく設定し、差分値が小さいものについては上述した特徴量の閾値を大きく設定することで、画像の輝度に依存す誤検出を抑える効果が期待できる。

（ステップＳ１６７）
ノイズδ判定部４２は、判別内容として、ノイズが存在することを示す情報を、バス１８を介してＣＰＵ１５に出力する。

（ステップＳ１６８）
ＣＰＵ１５は、ステップＳ１６２からステップＳ１６７の処理を、全フレーム分行ったか否かを判定する。ＣＰＵ１５は、全フレーム分終了したと判定すると一連の処理を終了し、全フレーム分終了していないと判定すると、ステップＳ１６９に進む。

（ステップＳ１６９）
ノイズ検知部１４は、次のフレームの画像データを取得し、ステップＳ１６２に戻る。

以上説明した各ノイズの検知は、それぞれ独立かつ並行して行われる。そして、ノイズの検知の結果は、アラーム出力部１６を介したユーザへの報知に用いられても良いし、入出力Ｉ／Ｆ1を介してノイズ検知装置１１の外部に出力されても良い。また、対象動画像のタグ情報などに、検知したノイズの種類などを示す情報として記録しても良い。

また、上述の例で説明した各処理は、ハードウエアで行っても良いし、ＣＰＵ１５によるソフトウェアで行っても良い。

上記のように、本実施形態のノイズ検知装置は、処理の対象となる対象動画像の情報を取得し、取得した対象動画像から複数フレームの画像を抽出する。そして、抽出した複数フレームの画像に基づいて、検知対象のノイズに関する特徴量を算出し、複数フレームの画像のうち、少なくとも２フレームの画像に基づく特徴量に応じて、対象動画像に検知対象のノイズが含まれるか否かの判定を行うものである。

よって、本実施形態の構成によれば、時間や手間のかかる目視による検知を行うことなく、動画像に含まれる固有のノイズを、的確に自動で検知することができる。

なお、上述した例では、ユーザによるプログラム実行指示に応じて、一連の処理を実行する例を示したが、本発明はこの例に限定されない。例えば、ノイズ検知装置１１が何らかの動画像の画像データを読み込むたびに、自動で一連の処理を実行しても良い。

また、上述した例では、対象動画像の画像データを１フレーム単位で取得する例を示したが、複数フレーム（例えば、２フレーム）を１フィールドとして取得する場合であっても、本発明を同様に適用することができる。

＜実施形態の補足事項＞
（１）上記実施形態で説明した各変数、係数、閾値などは一例であり本発明はこの例に限定されない。例えば、ノイズαの検知において使用したフィルタ（図４Ｂ、フィルタＦ１）は縦６×横９の形状である例を示しが、他の形状であっても良い。また、ノイズα、ノイズβ、ノイズγの検知において５種類の閾値を用いる例を示したが、２種類以上であれば、何種類の閾値を用いても良い。

（２）上記実施形態で説明したノイズ検知装置による処理を実行するノイズ検知プログラムも本発明の具体的態様として有効である。このノイズ検知プログラムは、磁気ディスクなどの記憶媒体に記憶されたものであっても良いし、インターネットなどを介してダウンロード可能なものであっても良い。また、上記実施形態で説明したノイズ検知装置を備えた画像処理装置や再生装置（例えば、フォトビューアー、デジタルフォトフレーム、各種印刷装置など）も本発明の具体的態様として有効である。上述した再生装置においては、画像の再生を行う際に一連の処理を実行する構成としても良い。

（３）上記実施形態の各画像処理および各判定の方法は一例であり、本発明はこの例に限定されない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…ノイズ検知装置、１４…ノイズ検知部、１５…ＣＰＵ

Claims (10)

1. 処理の対象となる対象動画像の情報を取得する取得部と、
   前記対象動画像のフレームから、検知対象のノイズの形状に対応する領域に関する特徴量を算出する算出部と、
   前記対象動画像の少なくとも２フレームから算出された前記検知対象のノイズの形状に対応する領域に関する前記特徴量の変化が大きい場合に、前記対象動画像に前記検知対象のノイズが含まれると判定する判定部と
   を備えることを特徴とするノイズ検知装置。
2. 請求項１に記載のノイズ検知装置において、
   前記判定部は、前記検知対象のノイズの形状に対応する領域に関する前記特徴量が所定の閾値を超えた数をカウントし、カウント数に基づいて前記判定を行う
   ことを特徴とするノイズ検知装置。
3. 請求項１または請求項２に記載のノイズ検知装置において、
   前記算出部は、前記検知対象のノイズの形状に対応する領域に対してノイズ成分を強調するフィルタ処理を行って前記特徴量を算出する
   ことを特徴とするノイズ検知装置。
4. 請求項１または請求項２に記載のノイズ検知装置において、
   前記算出部は、前記検知対象のノイズの形状に対応する領域を複数の部分領域に分割し、分割された前記部分領域の画素値に基づいてノイズ成分を強調する演算処理を行って前記特徴量を算出する
   ことを特徴とするノイズ検知装置。
5. 請求項１から請求項４の何れか１項に記載のノイズ検知装置において、
   前記算出部は、輪郭抽出処理を施した前記フレームの画像のうち、前記検知対象のノイズの形状に対応する領域の画素値に基づいて前記特徴量を算出する
   ことを特徴とするノイズ検知装置。
6. 請求項５に記載のノイズ検知装置において、
   前記算出部は、水平方向における輪郭抽出処理を施した前記フレームの画像から前記特徴量を算出する
   ことを特徴とするノイズ検知装置。
7. 請求項５または請求項６に記載のノイズ検知装置において、
   前記算出部は、前記輪郭抽出処理と、上下限値の少なくとも一方を制限するクリッピング処理とを施した前記フレームの画像から前記特徴量を算出する
   ことを特徴とするノイズ検知装置。
8. 動画像のフレームから、検知対象のノイズの形状に対応する領域に関する特徴量を算出する算出部と、
   前記動画像の複数のフレームからそれぞれ算出された前記特徴量が所定の閾値を超えた数をカウントし、前記複数のフレーム間のカウント数の変化が大きいフレームに、前記検知対象のノイズが含まれると判定する判定部と
   を備えることを特徴とするノイズ検知装置。
9. 動画像を記録する記録部と、
   前記動画像を再生する再生部と、
   請求項１から請求項７の何れか１項に記載のノイズ検知装置とを備え、
   前記取得部は、前記記録部から前記対象動画像の情報を取得する
   ことを特徴とする再生装置。
10. 処理の対象となる対象動画像の情報を取得する取得処理と、
    前記対象動画像のフレームから、検知対象のノイズの形状に対応する領域に関する特徴量を算出する算出処理と、
    前記対象動画像の少なくとも２フレームから算出された前記検知対象のノイズの形状に対応する領域に関する前記特徴量の変化が大きい場合に、前記対象動画像に前記検知対象のノイズが含まれると判定する判定処理と
    をコンピュータに実行させるノイズ検知プログラム。

Images