JP5794860B2 - ノイズ検知装置、再生装置、およびノイズ検知プログラム - Google Patents

Description

本発明は、ノイズ検知装置、再生装置、およびノイズ検知プログラムに関する。

画像においては、様々なノイズが発生することが知られている。例えば、動画像において、あるフレームのトップフィールドとボトムフィールドとが入れ替わる、いわゆるフィールドドミナンスという現象が知られている。このようなノイズの要因としては、動画像の編集する際の操作ミスや、動画像を複数の機材間で複製する際の機械的な要因、ソフトウェア上の要因などが考えられる。何れの場合であっても、このようなノイズは、目視により検知せざるを得ず、検知に時間や手間を要するという問題がある。また、上述したノイズは瞬間的に（例えば数フレームのみ）発生する場合が多く、慎重に確認を行わないと見逃しが発生する場合もある。

そこで、このようなノイズの検知を自動化することが考えられている。例えば、特許文献１の発明では、トップフィールドおよびボトムフィールドをそれぞれ補間し、生成した補間フレームに基づいて、フィールドドミナンスを自動的に検知する技術が開示されている。

特開２００９−２６０９３０号公報

しかし、特許文献１の発明では、補間フレームを作成する必要があるため、処理負荷が大きくなる場合がある、このような場合には、処理速度が低下したり、処理の即時性が低下したりする場合がある。

本発明の目的は、動画像におけるフィールドドミナンスを、処理負荷を抑えつつ、自動で検知するための手段を提供することにある。

一の態様のノイズ検知装置は、複数のフレームからなる動画像を検知対象として、各々の前記フレームを構成するトップフィールドおよびボトムフィールドが入れ替わるフィールドドミナンスを検知するノイズ検知装置であって、処理の対象となる前記動画像を取得する取得部と、前記動画像のうち、任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第１の相関として検出するとともに、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第２の相関として検出する検出部と、前記検出部における検出結果に基づいて前記第１の相関と前記第２の相関とを比較し、比較結果に基づいて、前記任意のフレームに前記フィールドドミナンスが発生しているか否かの判定を行う判定部と、を備える。

また、フレームバッファを有し、前記フレームバッファから前記検出部に情報を供給する供給部をさらに備え、前記供給部は、トップフィールド、ボトムフィールドの順で前記任意のフレームの直前のフレームの情報を前記フレームバッファから前記検出部に供給するとともに、ボトムフィールド、トップフィールドの順で前記任意のフレームの直前のフレームの情報を前記フレームバッファから前記検出部に供給し、前記検出部は、前記任意のフレームのトップフィールドと、前記供給部から供給された前記任意のフレームの直前のフレームとの間の前記第１の相関を検知するとともに、前記任意のフレームのボトムフィールドと、前記フレームバッファから供給された前記任意のフレームの直前のフレームとの間の前記第２の相関とを検出する。

また、フレームバッファを有し、前記フレームバッファから前記検出部に情報を供給する供給部をさらに備え、前記供給部は、トップフィールド、ボトムフィールドの順で前記任意のフレームの情報を前記フレームバッファから前記検出部に供給するとともに、ボトムフィールド、トップフィールドの順で前記任意のフレームの情報を前記フレームバッファから前記検出部に供給し、前記検出部は、前記供給部から供給された前記任意のフレームのトップフィールドと、前記任意のフレームの直後のフレームとの間の前記第１の相関を検知するとともに、前記供給部から供給された任意のフレームのボトムフィールドと、前記任意のフレームの直後のフレームとの間の前記第２の相関とを検出する。

また、前記検出部は、前記供給部による前記情報の供給レートと同じレートで前記第１の相関および前記第２の相関を検出し、前記判定部は、前記供給レートと同じレートで前記判定を行う。

また、一の態様のノイズ検知装置は、複数のフレームからなる動画像を検知対象として、各々の前記フレームを構成するトップフィールドおよびボトムフィールドが入れ替わるフィールドドミナンスを検知するノイズ検知装置であって、処理の対象となる前記動画像を取得する取得部と、前記動画像のうち、任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームのフィールドとの間の相関を第１の相関として、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームの前記フィールドとの間の相関を第２の相関としてそれぞれ検出するとともに、前記任意のフレームの前記トップフィールドと、前記任意のフレームの前記ボトムフィールドとの相関を第３の相関として検出する検出部と、前記検出部における検出結果に基づいて前記第１の相関と前記第２の相関とを比較するとともに前記第３の相関と所定の閾値とを比較し、前記第３の相関と所定の閾値との比較結果を、前記第１の相関と前記第２の相関との比較結果に加味して、前記任意のフレームに前記フィールドドミナンスが発生しているか否かの判定を行う判定部と、を備える。

一の態様の再生装置は、動画像を記録する記録部と、前記動画像を再生する再生部と、上述した何れかのノイズ検知装置とを備え、前記取得部は、処理の対象となる前記動画像を前記記録部から取得することを特徴とする。

一の態様のノイズ検知プログラムは、複数のフレームからなる動画像を検知対象として、各々の前記フレームを構成するトップフィールドおよびボトムフィールドが入れ替わるフィールドドミナンスを検知するノイズ検知処理をコンピュータに実行させるノイズ検知プログラムであって、処理の対象となる前記動画像を取得する取得ステップと、前記動画像のうち、任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第１の相関として検出するとともに、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第２の相関として検出する検出ステップと、前記検出ステップにおける検出結果に基づいて前記第１の相関と前記第２の相関とを比較し、比較結果に基づいて、前記任意のフレームに前記フィールドドミナンスが発生しているか否かの判定を行う判定ステップと、を備える。

本発明によれば、動画像におけるフィールドドミナンスを、処理負荷を抑えつつ、自動で検知するための手段を提供することができる。

ノイズ検知装置の構成例を示すブロック図 フィールドドミナンス検知時のノイズ検知装置の動作例を示す流れ図 フィールドドミナンス検知時のノイズ検知装置の動作例を示す流れ図（続き） フィールドドミナンスの検知について説明する図

図１は、実施形態でのノイズ検知装置の構成例を示すブロック図である。ノイズ検知装置には、処理の対象となる動画像（対象動画像）について、ノイズを検知するためのノイズ検知プログラムが予めインストールされる。

なお、対象動画像はどのようなものであっても良い。例えば、デジタル画像を生成可能な撮像装置により生成されたものであっても良いし、アナログの動画像の画像データをデジタルデータに変換したものであっても良いし、ビデオテープなどに記録された動画像をデジタルデータに変換したものであっても良い。また、コンピュータなどにより作成された動画像であっても良い。

また、以下では、対象動画像の全フレームをノイズ検知の対象として処理を行う例を示すが、対象動画像の一部のフレームのみをノイズ検知の対象として処理を行っても良い。この場合、ノイズ検知の対象となるフレームは、ユーザ操作に基づいて指定されても良いし、対象動画像の情報などに基づいて自動で指定されても良い。

図１に示すノイズ検知装置１１は、バッファメモリ１２、メモリコントローラ１３、ノイズ検知部１４、ＣＰＵ１５、アラーム出力部１６および入出力Ｉ／Ｆ１７、バス１８を有している。ＣＰＵ１５は、メモリコントローラ１３とバス１８を介して相互に接続されるとともに、入出力Ｉ／Ｆ１７と相互に接続される。また、ノイズ検知部１４の出力は、バス１８を介してＣＰＵ１５に接続される。さらに、アラーム出力部１６は、ＣＰＵ１５により制御される。

ノイズ検知装置１１に入力された対象動画像の画像データは、メモリコントローラ１３に入力されるとともに、ノイズ検知部１４にも入力される。メモリコントローラ１３に入力された画像データは、バッファメモリ１２に書き込まれる。バッファメモリ１２は、リングバッファ構成により複数フレームの画像データを残しておくことができるフレームバッファである。さらに、バッファメモリ１２とメモリコントローラ１３は、１フレーム遅延の信号を作成することが可能であり、この遅延された１フレームの画像データは、ノイズ検知部１４のうち、後述する相関検出部に入力される。また、バッファメモリ１２とメモリコントローラ１３は、上述した１フレーム遅延の信号を元に、トップフィールドおよびボトムフィールドの順番を入れ替えた信号を作成することが可能であり、このフィールドの順番を入れ替えた信号の画像データも、上述したノイズ検知部１４の相関検出部に入力される。

さらに、ノイズ検知装置１１には、入出力Ｉ／Ｆ１７を介して、不図示の入力デバイス（キーボード、ポインティングデバイスなど）やモニタ、ＬＡＮ接続のためのネットワークケーブルなどが接続されている。

また、ノイズ検知装置１１は、不図示の記憶装置（例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される）を備える。この記憶装置には、画像処理プログラムや、プログラムの実行に必要となる各種のデータが記録されている。

ＣＰＵ１５は、ノイズ検知装置１１の各部を統括的に制御するプロセッサである。また、アラーム出力部１６は、スピーカ、モニタ、ランプなどの報知部材を備え、ノイズ検知部１４による検知結果をユーザに報知する。

以上説明した構成のノイズ検知装置１１は、ノイズとして、フィールドドミナンスを検知する。フィールドドミナンスとは、上述したように、トップフィールドとボトムフィールドとが入れ替わってしまうノイズである。

ノイズ検知部１４は、図１に示すように、複数のフィールドの相関を検出する相関検出部２１と、検出した相関に基づいて上述したフィールドドミナンスの有無を判定するノイズ判定部２２とを有する。

次に、ノイズの検知の詳細について、図２および図３の流れ図を参照して説明する。

なお、図２および図３の流れ図の処理は、ユーザによるプログラム実行指示に応じて、各部がノイズ検知プログラムを実行することで開始される。

（ステップＳ１０１）
ノイズ検知装置１１は、ユーザにより指定された対象動画像の第１フレームの画像データを取得する。取得した第１フレームの画像データは、図１に示したメモリコントローラ１３に入力される。なお、以下では、第Ｎフレームの画像をフレームＦ[Ｎ]と称する。第１フレームの画像は、フレームＦ[１]となる。

（ステップＳ１０２）
ノイズ検知装置１１は、ユーザにより指定された対象動画像の第２フレームの画像データを取得する。取得したフレームＦ[２]の画像データは、図１に示したメモリコントローラ１３に入力されるとともに、ノイズ検知部１４の相関検出部２１にも入力される。

なお、第２フレームの画像データが相関検出部２１に入力される際には、１つ前のフレームである第１フレームに関する２種類の画像データも、メモリコントローラ１３から相関検出部２１に入力される。すなわち、このタイミングで、相関検出部２１には、３つの画像データが入力される。

１つ目の画像データは、図１のＤ１に示す画像データであり、上述した第２フレームの画像データである。２つ目の画像データは、図１のＤ２に示す画像データであり、ステップＳ１０１で取得し、メモリコントローラ１３に入力された画像データである。３つ目の画像データは、図１のＤ３に示す画像データであり、上述したＤ２の画像データのトップフィールドおよびボトムフィールドの順番を入れ替えた画像データである。このようなフィールドの順番の入れ替えは、バッファメモリ１２とメモリコントローラ１３により行われる。通常、各フレームの画像データは、トップフィールド、ボトムフィールドの順であるため、上述したＤ１およびＤ２は、トップフィールド、ボトムフィールドの順の画像データであり、Ｄ３は、ボトムフィールド、トップフィールドの順の画像データである。

（ステップＳ１０３）
ノイズ検知装置１１は、フレームＦ[１]内のフィールド同士の相関検出を行う。ノイズ検知部１４の相関検出部２１は、ステップＳ１０２において相関検出部２１に入力された３つの画像データのうち、Ｄ２およびＤ３の画像データに基づいて、相関検出を行う。なお、以下では、第Ｎフレームの画像のトップフィールドをｆＮ[ｔ]と称し、ボトムフィールドをｆＮ[ｂ]と称する。第１フレームの画像のトップフィールドは、ｆ１[ｔ]となり、ボトムフィールドはｆ１[ｂ]となる。

相関検出部２１は、上述したＤ２およびＤ３のトップフィールド同士から相関を求めることにより、ｆ１[ｔ]およびｆ１[ｂ]の相関を検出する。

相関の検出は、どのような方法で行われても良い。例えば、相関検出部２１は、各フィールドに含まれる画素の画素値に基づいて相関値を算出する。相関検出部２１は、各フィールドのラインに沿って、画素ごとに画素値の差分値を求める。差分値は、類似度が高いほど０に近くなり、類似度が低いほど大きい値になる。そして、相関検出部２１は、フィールド内に含まれる画素に関する差分値のうち、所定の閾値以下の差分値の数をカウントして相関値とする。類似度の高い画素が多い場合には、カウントされる差分値の数（画素数に相当する）は多くなり、相関値は大きくなる。一方、類似度の低い画素が多い場合には、カウントされる差分値の数（画素数に相当する）は少なくなり、相関値は小さくなる。

（ステップＳ１０４）
ノイズ検知装置１１は、連続するフレーム（第１フレームおよび第２フレーム）間で、４通りのフィールド同士の相関検出を行う。ノイズ検知部１４の相関検出部２１は、ステップＳ１０２で取得した３つの画像データに基づいて、第１フレームおよび第２フレーム間で、４通りのフィールド同士の相関検出を行う。４通りの相関とは、以下の４種類である。

（１）ｆ１[ｔ]とｆ２[ｔ]
（２）ｆ１[ｔ]とｆ２[ｂ]
（３）ｆ１[ｂ]とｆ２[ｔ]
（４）ｆ１[ｂ]とｆ２[ｂ]
相関検出部２１は、上述したＤ１およびＤ２のトップフィールド同士から相関を求めることにより、（１）のｆ１[ｔ]およびｆ２[ｔ]の相関を検出し、上述したＤ１およびＤ２のボトムフィールド同士から相関を求めることにより、（４）のｆ１[ｂ]およびｆ２[ｂ]の相関を検出する。また、相関検出部２１は、上述したＤ１およびＤ３のトップフィールド同士から相関を求めることにより、（３）のｆ１[ｂ]およびｆ２[ｔ]の相関を検出し、上述したＤ１およびＤ３のボトムフィールド同士から相関を求めることにより、（２）のｆ１[ｔ]およびｆ２[ｂ]の相関を検出する。ここで、Ｄ３の画像データは、Ｄ２の画像データのトップフィールド及びボトムフィールドの順番を入れ替えた画像データである。したがって、Ｄ１およびＤ３のトップフィールド同士から求まる相関は、Ｄ１のトップフィールドとＤ２のボトムフィールドから求まる相関に相当する。また、Ｄ１およびＤ３のボトムフィールド同士から求まる相関は、Ｄ１のボトムフィールドとＤ２のトップフィールドから求まる相関に相当する。これら相関の検出は、ステップＳ１０３と同様に行われる。求められる相関値は、ステップＳ１０３と同様に、類似度の高い画素が多い場合には大きくなり、類似度の低い画素が多い場合には小さくなる。相関検出部２１は、上述した４通りの組み合わせについて相関値を求める。

（ステップＳ１０５）
ノイズ検知装置１１は、ユーザにより指定された対象動画像のフレームＦ[３]の画像データを取得する。

なお、ステップＳ１０２と同様に、フレームＦ[３]の画像データが相関検出部２１に入力される際には、１つ前のフレームであるフレームＦ[２]に関する２種類の画像データも、メモリコントローラ１３から相関検出部２１に入力される。

（ステップＳ１０６）
ノイズ検知装置１１は、ステップＳ１０２で取得したフレームＦ[２]内のフィールド同士の相関検出を行う。相関検出は、ステップＳ１０３と同様に行われ、ノイズ検知部１４の相関検出部２１は、ｆ２[ｔ]およびｆ２[ｂ]の相関を検出する。

なお、２回目以降のステップＳ１０６においては、直前のステップＳ１１１で取得したフレームの１つ前のフレーム内のフィールド同士の相関検出が行われる。

（ステップＳ１０７）
ノイズ検知装置１１は、連続するフレーム（第２フレームおよび第３フレーム）間で、ステップＳ１０４と同様に、４通りのフィールド同士の相関検出を行う。ノイズ検知部１４の相関検出部２１は、ステップＳ１０５で取得した３つの画像データに基づいて、ステップＳ１０４と同様に、第２フレームおよび第３フレーム間で、４通りのフィールド同士の相関検出を行う。

なお、２回目以降のステップＳ１０７においては、直前のステップＳ１１１で取得したフレームと、その１つ前のフレームとの間で、相関検出を行う。

（ステップＳ１０８）
ノイズ検知装置１１は、ステップＳ１０２で取得した第２フレームの画像にノイズがあるか否かを判定する。そして、ノイズがあると判定するとステップＳ１０９に進み、ノイズがないと判定すると、後述するステップＳ１１０に進む。

ノイズがあるか否かの判定は、ノイズ検知部１４のノイズ判定部２２により行われる。ノイズの判定の詳細は後述する。

なお、２回目以降のステップＳ１０８においては、直前のステップＳ１１１で取得したフレームの１つ前のフレームの画像にノイズがあるか否かを判定する。

（ステップＳ１０９）
ノイズ検知装置１１のノイズ検知部１４は、判別内容として、ノイズが存在することを示す情報を、バス１８を介してＣＰＵ１５に出力する。

（ステップＳ１１０）
ノイズ検知装置１１のＣＰＵ１５は、ステップＳ１０６からステップＳ１０９の処理を、全フレーム分行ったか否かを判定する。ＣＰＵ１５は、全フレーム分終了したと判定すると一連の処理を終了し、全フレーム分終了していないと判定すると、ステップＳ１１１に進む。

（ステップＳ１１１）
ノイズ検知装置１１は、対象動画像の次のフレームの画像の画像データを取得し、ステップＳ１０６に戻る。なお、ステップＳ１１１で取得されたフレームの画像データが相関検出部２１に入力される際には、ステップＳ１０２と同様に、１つ前のフレームに関する２種類の画像データも、メモリコントローラ１３から相関検出部２１に入力される。

次に、図３の流れ図および図４の模式図を参照して、図２の流れ図のステップＳ１０８におけるノイズの判定について説明する。

フィールドドミナンスは、上述したように、あるフレームのトップフィールドとボトムフィールドとが入れ替わる現象である。そこで、あるフレームにおいてフィールドドミナンスが発生しているか否かを、前後のフレームとの相関を見ることにより判定することができる。図４は、フィールドドミナンスの検知について説明する図である。以下では、図４Ａに示す連続する３つのフレーム（Ｆ[Ａ]、Ｆ[Ｂ]、Ｆ[Ｃ]）を用いて、中央のフレームＦ[Ｂ]においてフィールドドミナンスが発生しているか否かを判定する場合を例に挙げて説明する。

読み出し順がフレームＦ[Ａ]、フレームＦ[Ｂ]、フレームＦ[Ｃ]である際に、フィールド単位の読み出し順は、フレームＦ[Ａ]のトップフィールドｆＡ[ｔ]、ボトムフィールドｆＡ[ｂ]、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]、ボトムフィールドｆＢ[ｂ]、フレームＦ[Ｃ]のトップフィールドｆＣ[ｔ]、ボトムフィールドｆＣ[ｂ]の順になる。

したがって、フィールドドミナンスが発生していない場合には、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ａ]（トップフィールドｆＡ[ｔ]、ボトムフィールドｆＡ[ｂ]）の相関（図４Ａ中（ａ））は、ボトムフィールドｆＢ[ｂ]およびフレームＦ[Ａ]の相関（図４Ａ中（ｂ））よりも高くなる。同様に、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]（トップフィールドｆＣ[ｔ]、ボトムフィールドｆＣ[ｂ]）の相関（図４Ａ中（ｃ））は、トップフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]の相関（図４Ａ中（ｄ））よりも高くなる。

一方、フィールドドミナンスが発生している場合には、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ａ]（トップフィールドｆＡ[ｔ]、ボトムフィールドｆＡ[ｂ]）の相関（図４Ａ中（ａ））は、ボトムフィールドｆＢ[ｂ]およびフレームＦ[Ａ]の相関（図４Ａ中（ｂ））よりも低くなる。同様に、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]（トップフィールドｆＣ[ｔ]、ボトムフィールドｆＣ[ｂ]）の相関（図４Ａ中（ｃ））は、トップフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]の相関（図４Ａ中（ｄ））よりも低くなる。

ノイズ検知部１４のノイズ判定部２２は、上述した特性を見ることにより、フレームＦ[Ｂ]においてフィールドドミナンスが発生しているか否かを判定する。

上述した図２のステップＳ１０３、ステップＳ１０６では、フレーム内のフィールド同士の相関が検出される。この相関は、図４Ｂ中（ｅ）に相当する。また、図２のステップＳ１０４、ステップＳ１０７では、連続するフレーム間で、４通りのフィールド同士の相関が検出される。この相関は、図４Ｂ中（ｆ−１）から（ｆ−８）に相当する。

（ステップＳ１２１）
ノイズ判定部２２は、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ａ]の相関を検出する。この相関は図４Ｃ中（ｇ）に相当する。フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ａ]の相関は、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ａ]のトップフィールドｆＡ[ｔ]の相関（図４Ｂ中（ｆ−１））に関する相関値と、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ａ]のボトムフィールドｆＡ[ｂ]の相関（図４Ｂ中（ｆ−２））に関する相関値とを加算することにより求められる。ここで求められるフレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ａ]の相関に関する相関値を、以下ではＲＢ[ｔ]Ｆ[Ａ]と称する。

（ステップＳ１２２）
ノイズ判定部２２は、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ａ]の相関を検出する。この相関は図４Ｄ中（ｈ）に相当する。フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ａ]の相関は、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ａ]のトップフィールドｆＡ[ｔ]の相関（図４Ｂ中（ｆ−３））に関する相関値と、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ａ]のボトムフィールドｆＡ[ｂ]の相関（図４Ｂ中（ｆ−４））に関する相関値とを加算することにより求められる。ここで求められるフレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ａ]の相関に関する相関値を、以下ではＲＢ[ｂ]Ｆ[Ａ]と称する。

（ステップＳ１２３）
ノイズ判定部２２は、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ｃ]の相関を検出する。この相関は図４Ｃ中（ｉ）に相当する。フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ｃ]の相関は、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ｃ]のトップフィールドｆＣ[ｔ]の相関（図４Ｂ中（ｆ−５））に関する相関値と、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ｃ]のボトムフィールドｆＣ[ｂ]の相関（図４Ｂ中（ｆ−６））に関する相関値とを加算することにより求められる。ここで求められるフレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびフレームＦ[Ｃ]の相関に関する相関値を、以下ではＲＢ[ｔ]Ｆ[Ｃ]と称する。

（ステップＳ１２４）
ノイズ判定部２２は、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]の相関を検出する。この相関は図４Ｄ中（ｊ）に相当する。フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]の相関は、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]のトップフィールドｆＣ[ｔ]の相関（図４Ｂ中（ｆ−７））に関する相関値と、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]のボトムフィールドｆＣ[ｂ]の相関（図４Ｂ中（ｆ−８））に関する相関値とを加算することにより求められる。ここで求められるフレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]およびフレームＦ[Ｃ]の相関に関する相関値を、以下ではＲＢ[ｂ]Ｆ[Ｃ]と称する。

（ステップＳ１２５）
ノイズ判定部２２は、フィールドドミナンスの検知対象であるフレームＦ[Ｂ]について、フレーム内のフィールド同士の相関（図４Ｂ中（ｅ））に関する相関値が所定の閾値Ｔｈ１より小さいか否かを判定する。ノイズ判定部２２は、フレームＦ[Ｂ]内のフィールド同士の相関に関する相関値が所定の閾値Ｔｈ１より小さいと判定するとステップＳ１２６に進み、所定の閾値Ｔｈ１より大きいと判定すると、後述するステップＳ１２９に進む。

ここで、フレームＦ[Ｂ]のフレーム内のフィールド同士の相関が小さい場合とは、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびボトムフィールドｆＢ[ｂ]の類似性が低く、フィールド間の変化が多い場合である。このような場合には、被写体の動きが大きく、フィールドドミナンスが発生していると、ノイズとしての影響が大きいと考えられる。そのため、このような場合には、ノイズの判定が有用であるため、ステップＳ１２６以降の判定処理を行う。

一方、フレームＦ[Ｂ]のフレーム内のフィールド同士の相関が大きい場合とは、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]およびボトムフィールドｆＢ[ｂ]の類似性が高く、フィールド間の変化が少ない場合である。このような場合には、被写体の動きが小さく、フィールドドミナンスが発生していても、ノイズとしての影響は十分に小さいと考えられる。そのため、このような場合には、ノイズの判定は不要であるため、以降の判定処理をスキップし、ステップＳ１２９に進む。

なお、閾値Ｔｈ１は予め定められた閾値であり、上述した判定に適した値が実験などにより求められる。

（ステップＳ１２６）
ノイズ判定部２２は、ステップＳ１２１で検出した相関値ＲＢ[ｔ]Ｆ[Ａ]と、ステップＳ１２２で検出した相関値ＲＢ[ｂ]Ｆ[Ａ]とが、以下の関係を満たすか否かを判定する。

ＲＢ[ｂ]Ｆ[Ａ]＞ＲＢ[ｔ]Ｆ[Ａ]＋閾値Ｔｈ２ ・・・（式１）
式１中の閾値Ｔｈ２は予め定められた閾値であり、相関値ＲＢ[ｔ]Ｆ[Ａ]と相関値ＲＢ[ｂ]Ｆ[Ａ]との大小の判定を確実に行うための値が実験などにより求められる。例えば、この閾値Ｔｈ２が小さすぎる場合、相関値ＲＢ[ｔ]Ｆ[Ａ]と相関値ＲＢ[ｂ]Ｆ[Ａ]との差が非常に小さい場合でも、相関値ＲＢ[ｔ]Ｆ[Ａ]および相関値ＲＢ[ｂ]Ｆ[Ａ]は式１の関係を満たすことになり、誤検出の可能性が高くなる。そのため、閾値Ｔｈ２を適切に設定することにより、相関値ＲＢ[ｔ]Ｆ[Ａ]と相関値ＲＢ[ｂ]Ｆ[Ａ]との差がある程度明確である場合にのみ、相関値ＲＢ[ｔ]Ｆ[Ａ]および相関値ＲＢ[ｂ]Ｆ[Ａ]が式１の関係を満たすようになり、誤検出の可能性が低くなる。

ノイズ判定部２２は、式１の関係を満たすと判定するとステップＳ１２７に進み、式１の関係を満たさないと判定すると、後述するステップＳ１２９に進む。

ここで、式１の関係を満たす場合とは、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]とフレームＦ[Ａ]との相関が、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]とフレームＦ[Ａ]との相関よりも大きい場合である。このような場合には、上述したように、フィールドドミナンスが発生している可能性があると考えられる。ただし、単純にシーンが変わっている場合にも同じ結果となる場合があるため、フレームＦ[Ｂ]とフレームＦ[Ｃ]との相関を見るために、ステップＳ１２７に進む。

一方、式１の関係を満たさない場合とは、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]とフレームＦ[Ａ]との相関が、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]とフレームＦ[Ａ]との相関よりも小さい場合である。このような場合には、フィールドドミナンスが発生している可能性が低いと考えられるため、後述するステップＳ１２７の処理を行わずにステップＳ１２９に進む。

（ステップＳ１２７）
ノイズ判定部２２は、ステップＳ１２３で検出した相関値ＲＢ[ｔ]Ｆ[Ｃ]と、ステップＳ１２４で検出した相関値ＲＢ[ｂ]Ｆ[Ｃ]とが、以下の関係を満たすか否かを判定する。

ＲＢ[ｔ]Ｆ[Ｃ]＞ＲＢ[ｂ]Ｆ[Ｃ]＋閾値Ｔｈ３ ・・・（式２）
式２中の閾値Ｔｈ３は予め定められた閾値であり、上述した閾値Ｔｈ２と同様に求められる。なお、閾値Ｔｈ２およびＴｈ３は、同じ値であっても良いし、異なる値であっても良い。

ノイズ判定部２２は、式２の関係を満たすと判定するとステップＳ１２８に進み、式２の関係を満たさないと判定すると、後述するステップＳ１２９に進む。

ここで、式２の関係を満たす場合とは、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]とフレームＦ[Ｃ]との相関が、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]とフレームＦ[Ｃ]との相関よりも大きい場合である。このような場合には、ステップＳ１２８に進む。

一方、式２の関係を満たさない場合とは、フレームＦ[Ｂ]のトップフィールドｆＢ[ｔ]とフレームＦ[Ｃ]との相関が、フレームＦ[Ｂ]のボトムフィールドｆＢ[ｂ]とフレームＦ[Ｃ]との相関よりも小さい場合である。このような場合には、後述するステップＳ１２９に進む。

なお、ステップＳ１２６で説明した閾値Ｔｈ２およびステップＳ１２７で説明した閾値Ｔｈ３は、上述したように、誤検出を抑えるためのものであり、閾値Ｔｈ２＝０であっても良いし、閾値Ｔｈ３＝０であっても良い。

（ステップＳ１２８）
ノイズ判定部２２は、フレームＦ[Ｂ]にフィールドドミナンスが発生している、すなわち、フレームＦ[Ｂ]にノイズありと判定し、一連の処理を終了する。

（ステップＳ１２９）
ノイズ判定部２２は、フレームＦ[Ｂ]にフィールドドミナンスが発生していない、すなわち、フレームＦ[Ｂ]にノイズなしと判定し、一連の処理を終了する。

なお、以降のフレームにおけるノイズの判定も同様に行われる。例えば、フレームＦ[Ｃ]にノイズがあるか否かの判定は、フレームＦ[Ｂ]、フレームＦ[Ｃ]、フレームＦ[Ｄ]の間の相関に基づいて行うことができる。このとき、フレームＦ[Ｂ]およびフレームＦ[Ｃ]に関する相関は、上述したフレームＦ[Ｂ]にノイズがあるか否かの判定時に既に求められている。したがって、既に求めた値等については繰り返し処理を行わず、前回の処理、演算結果を利用しても良い。

以上説明した一連のノイズの検知の結果は、アラーム出力部１６を介したユーザへの報知に用いられても良いし、入出力Ｉ／Ｆ１７を介してノイズ検知装置１１の外部に出力されても良い。また、対象動画像のタグ情報などに、検知したノイズの種類などを示す情報として記録しても良い。

また、上述の例で説明した各処理は、ハードウエアで行っても良いし、ＣＰＵ１５によるソフトウェアで行っても良い。

上記のように、本実施形態のノイズ検知装置は、複数のフレームからなる動画像を検知対象として、各々のフレームを構成するトップフィールドおよびボトムフィールドが入れ替わるフィールドドミナンスを検知するノイズ検知装置であって、処理の対象となる動画像を取得し、動画像のうち、任意のフレームのトップフィールドと、任意のフレームと連続する少なくとも１つのフレームとの間の相関を第１の相関として検出するとともに、任意のフレームのボトムフィールドと、任意のフレームと連続する少なくとも１つのフレームとの間の相関を第２の相関として検出する。そして、検出結果に基づいて第１の相関と第２の相関とを比較し、比較結果に基づいて、任意のフレームにフィールドドミナンスが発生しているか否かの判定を行うものである。

よって、本実施形態の構成によれば、動画像におけるフィールドドミナンスを、処理負荷を抑えつつ、自動で検知することができる。

また、本実施形態のノイズ検知装置は、任意のフレームにおけるトップフィールドと、任意のフレームと連続する少なくとも１つのフレームにおけるトップフィールドおよびボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて第１の相関を検出するとともに、任意のフレームにおけるボトムフィールドと、任意のフレームと連続する少なくとも１つのフレームにおけるトップフィールドおよびボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて第２の相関を検出する。実際には、一方のフレームのトップフィールドと、他方のフレームのボトムフィールドとの間で相関を求めると、画像が１ライン分ずれて比較されることになるため、誤検出となる場合もある。上述した構成によれば、それぞれ２種類の相関に基づいて第１の相関および第２の相関を検出することにより、１ライン分のずれによる誤差を打ち消すことができる。

また、本実施形態のノイズ検知装置は、トップフィールド、ボトムフィールドの順で任意のフレームの情報を供給し、次のフレームにおいて、トップフィールド、ボトムフィールドの順で任意のフレームと連続する少なくとも１つのフレームの情報を供給するとともに、ボトムフィールド、トップフィールドの順で任意のフレームと連続する少なくとも１つのフレームの情報を供給する。そして、上述した情報の供給レートと同じレートで第１の相関および第２の相関を検出し、供給レートと同じレートで判定を行う。よって、入力される動画像のフレームレートと同じレートで、フィールドドミナンスを検知することができる。

また、本実施形態のノイズ検知装置は、任意のフレームのトップフィールドと、任意のフレームのボトムフィールドとの相関を第３の相関として検出し、第３の相関と所定の閾値とを比較し、比較結果を、第１の相関と第２の相関との比較結果に加味して判定を行う。よって、被写体の動きが大きく、フィールドドミナンスが発生しているとノイズとしての影響が大きいと考えられる場合を考慮してノイズの判定を行うことができる。

なお、上述した例では、ユーザによるプログラム実行指示に応じて、一連の処理を実行する例を示したが、本発明はこの例に限定されない。例えば、ノイズ検知装置１１が何らかの動画像の画像データを読み込むたびに、自動で一連の処理を実行しても良い。

＜実施形態の補足事項＞
（１）上記実施形態で説明した各閾値などは一例であり本発明はこの例に限定されない。

（２）上記実施形態のノイズ検知における相関の検出方法は一例であり、本発明はこの例に限定されない。例えば、上記実施形態で説明した以外の方法で相関の検出を行っても良い。

（３）上記実施形態のノイズ検知における各判定の方法は一例であり、本発明はこの例に限定されない。例えば、図３のステップＳ１２５で説明したフレーム内でのフィールド同士の相関に関する判定を省略しても良いし、この判定を、ステップＳ１２６の後、または、ステップＳ１２７の後に行っても良い。また、例えば、ノイズの検知対象のフレームと、その直前のフレームとの２つのフレームのみに基づいてノイズの検知を行っても良いし、ノイズの検知対象のフレームと、その直後のフレームとの２つのフレームのみに基づいてノイズの検知を行っても良い
（４）上記実施形態で説明したノイズ検知装置による処理を実行するノイズ検知プログラムも本発明の具体的態様として有効である。このノイズ検知プログラムは、磁気ディスクなどの記憶媒体に記憶されたものであっても良いし、インターネットなどを介してダウンロード可能なものであっても良い。また、上記実施形態で説明したノイズ検知装置を備えた画像処理装置、撮像装置や再生装置（例えば、フォトビューアー、デジタルフォトフレーム、各種印刷装置など）も本発明の具体的態様として有効である。上述した再生装置においては、画像の再生を行う際に一連の処理を実行する構成としても良い。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…ノイズ検知装置、１４…ノイズ検知部、１５…ＣＰＵ、２１…相関検出部、２２…ノイズ判定部

Claims (7)

1. 複数のフレームからなる動画像を検知対象として、各々の前記フレームを構成するトップフィールドおよびボトムフィールドが入れ替わるフィールドドミナンスを検知するノイズ検知装置であって、
   処理の対象となる前記動画像を取得する取得部と、
   前記動画像のうち、任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第１の相関として検出するとともに、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第２の相関として検出する検出部と、
   前記検出部における検出結果に基づいて前記第１の相関と前記第２の相関とを比較し、比較結果に基づいて、前記任意のフレームに前記フィールドドミナンスが発生しているか否かの判定を行う判定部と、
   を備えることを特徴とするノイズ検知装置。
2. 請求項１に記載のノイズ検知装置において、
   フレームバッファを有し、前記フレームバッファから前記検出部に情報を供給する供給部をさらに備え、
   前記供給部は、トップフィールド、ボトムフィールドの順で前記任意のフレームの直前のフレームの情報を前記フレームバッファから前記検出部に供給するとともに、ボトムフィールド、トップフィールドの順で前記任意のフレームの直前のフレームの情報を前記フレームバッファから前記検出部に供給し、
   前記検出部は、前記任意のフレームのトップフィールドと、前記供給部から供給された前記任意のフレームの直前のフレームとの間の前記第１の相関を検知するとともに、前記任意のフレームのボトムフィールドと、前記フレームバッファから供給された前記任意のフレームの直前のフレームとの間の前記第２の相関とを検出する
   ことを特徴とするノイズ検知装置。
3. 請求項１に記載のノイズ検知装置において、
   フレームバッファを有し、前記フレームバッファから前記検出部に情報を供給する供給部をさらに備え、
   前記供給部は、トップフィールド、ボトムフィールドの順で前記任意のフレームの情報を前記フレームバッファから前記検出部に供給するとともに、ボトムフィールド、トップフィールドの順で前記任意のフレームの情報を前記フレームバッファから前記検出部に供給し、
   前記検出部は、前記供給部から供給された前記任意のフレームのトップフィールドと、前記任意のフレームの直後のフレームとの間の前記第１の相関を検知するとともに、前記供給部から供給された任意のフレームのボトムフィールドと、前記任意のフレームの直後のフレームとの間の前記第２の相関とを検出する
   ことを特徴とするノイズ検知装置。
4. 請求項２又は請求項３に記載のノイズ検知装置において、
   前記検出部は、前記供給部による前記情報の供給レートと同じレートで前記第１の相関および前記第２の相関を検出し、
   前記判定部は、前記供給レートと同じレートで前記判定を行う
   ことを特徴とするノイズ検知装置。
5. 複数のフレームからなる動画像を検知対象として、各々の前記フレームを構成するトップフィールドおよびボトムフィールドが入れ替わるフィールドドミナンスを検知するノイズ検知装置であって、
   処理の対象となる前記動画像を取得する取得部と、
   前記動画像のうち、任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームのフィールドとの間の相関を第１の相関として、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームの前記フィールドとの間の相関を第２の相関としてそれぞれ検出するとともに、前記任意のフレームの前記トップフィールドと、前記任意のフレームの前記ボトムフィールドとの相関を第３の相関として検出する検出部と、
   前記検出部における検出結果に基づいて前記第１の相関と前記第２の相関とを比較するとともに前記第３の相関と所定の閾値とを比較し、前記第３の相関と所定の閾値との比較結果を、前記第１の相関と前記第２の相関との比較結果に加味して、前記任意のフレームに前記フィールドドミナンスが発生しているか否かの判定を行う判定部と、
   を備えることを特徴とするノイズ検知装置。
6. 動画像を記録する記録部と、
   前記動画像を再生する再生部と、
   請求項１から請求項５の何れか１項に記載のノイズ検知装置と、を備え、
   前記取得部は、処理の対象となる前記動画像を前記記録部から取得する
   ことを特徴とする再生装置。
7. 複数のフレームからなる動画像を検知対象として、各々の前記フレームを構成するトップフィールドおよびボトムフィールドが入れ替わるフィールドドミナンスを検知するノイズ検知処理をコンピュータに実行させるノイズ検知プログラムであって、
   処理の対象となる前記動画像を取得する取得ステップと、
   前記動画像のうち、任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記トップフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第１の相関として検出するとともに、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームにおける前記トップフィールドおよび前記ボトムフィールドとの相関をそれぞれ検出し、検出した２種類の相関に基づいて、前記任意のフレームの前記ボトムフィールドと、前記任意のフレームと連続する少なくとも１つのフレームとの間の相関を第２の相関として検出する検出ステップと、
   前記検出ステップにおける検出結果に基づいて前記第１の相関と前記第２の相関とを比較し、比較結果に基づいて、前記任意のフレームに前記フィールドドミナンスが発生しているか否かの判定を行う判定ステップと、
   を備えることを特徴とするノイズ検知プログラム。

Images