JP4477469B2 - フラッシュシーン検出方法、装置およびプログラム - Google Patents

Description

本発明は、デジタル動画像データの圧縮符号化処理のためのフラッシュシーン検出方法および装置に関する。

例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準に代表されるデジタル動画像や音声などマルチメディアデータの圧縮符号化方式においては、Ｐピクチャ、Ｂピクチャなど、キーとなるフレーム画像データをもとに予測したフレーム画像データを生成することによって圧縮効率を高めていることが知られている。一般的に、キーフレームデータにおいて参照する箇所を決定する際に、ピクチャを数画素ごとのブロックに分割し、ブロック間の輝度成分の相関性が最も高いブロックを参照ブロックとする。

しかし、シーンの変わり目では、キーフレームから適切な参照ブロックを決定することができず、生成する画像データの画質の劣化が生じてしまう。そのため、シーンの変わり目を検出して、参照するフレームを適切に割り振ることが必要である。シーンの変わり目を検出する手法として、輝度成分のフレーム間の相関性をチェックし、双方の相関性が低い場合にシーンの変わり目があったと判定する方法が一般的である。

ここで、シーンの変わり目を検出するために輝度成分のフレーム間の相関性を用いる場合に、フラッシュフレームの存在が問題となる。すなわち、同じシーンにおいて、フラッシュ光によって撮影されたシーンのフレーム（フラッシュフレーム）は、輝度が大きく変化するため、シーンの変わり目と誤検出されてしまう。そして、フラッシュフレームを参照フレームとして生成するピクチャフレームは、参照するブロックを正しく決定できないために、画質が大幅に劣化する。

このため、フラッシュフレームを検出する従来方法として、例えば特許文献１に示されるような動画像カット点検出方法がある。

特許文献１の方法では、図６に示すように、ある対象フレーム＃ｎ、対象フレームの前フレーム＃ｎ−１および後フレーム＃ｎ＋１との間のそれぞれの輝度の相関性をみて、フレーム＃ｎとフレーム＃ｎ−１およびフレーム＃ｎとフレーム＃ｎ＋１の各相関性、並びにフレーム＃ｎ−１とフレーム＃ｎ＋１の相関性をチェックし、フレーム＃ｎとフレーム＃ｎ−１およびフレーム＃ｎとフレーム＃ｎ＋１の相関性が低く、かつフレーム＃ｎ−１とフレーム＃ｎ＋１の相関性が高い場合に、フレーム＃ｎをフラッシュシーンとして検出して切り出している。
特開平１０−２２４７４１号公報

従来の手法では、図６に示すように、フラッシュシーンのフレームｎを特定するために、フレームｎの前のフレームｎ−１と後のフレームｎ＋１との相関性をみる必要があり、フレームを符号化する際の遅延が大きくなる。

特に、フラッシュシーンのフレームが数フレーム連続する場合には、その間のフレームをフラッシュシーンであると特定することを保証することは難しくなる。また、フラッシュシーンを正確に検出しようとすると符号化処理を遅延させることになる。

本発明の目的は、低遅延でフラッシュフレームを検出できる方法および装置およびプログラムを提供することである。また、連続するフラッシュフレームであっても正確かつ低遅延で検出できる方法および装置およびプログラムを提供することである。

上記課題を解決するため、本発明は、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するために、対象フレームがその直前のフレームと所定の相関性を備えていない場合に、対象フレームと直前フレームとの輝度情報を比較し、対象フレームの輝度差分が増加する（明るくなる）場合にだけ、フラッシュシーンの可能性があると判定して、さらに色差情報を比較して、両フレームが所定の色差の相関性を有するか否かを判定する。そして、相関性を有する場合に、両フレームは同一シーンにおいて輝度のみが増加したものであり、対象フレームをフラッシュシーンとして検出するものである。

本発明の一実施態様と開示するフラッシュシーン検出方法は、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出方法であって、対象フレームの直前フレームに、フラッシュフレームを示すフラッシュフラグが付与されている場合に、前記直前フレームをフラッシュフレームと判定するフラグ判定過程と、前記直前フレームがフラッシュフレームではない場合に、前記対象フレームと前記直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算過程と、前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算過程と、前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定過程と、前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較過程と、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算過程と、前記色差情報演算過程で算出された色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較過程と、前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定し、前記判定した対象フレームにフラッシュフラグを付与するシーン判定仮定と、前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する第２の輝度情報比較過程と、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるときは、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第２の色差差分絶対値和とする第２の色差情報演算過程と、前記第２の色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する第２の色差情報比較過程と、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内ではない場合に、前記対象フレームをフラッシュシーンと判定してフラッシュフラグを付与する処理を行い、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する処理を行うシーン判定過程とを備える。

本発明の一実施態様と開示する方法は、例えば、ＭＰＥＧ方式のようなフレーム間予測符号化を行う圧縮符号化処理において処理される画像データの各フレームに対する処理である。開示する方法では、以下のように処理が実行される。まず、フラッシュフラグの有無により対象フレームの直前フレームがフラッシュフレームであるかを判定する。そして、直前フレームがフラッシュフレームでなければ、対象フレームとその直前フレームのフレーム間の所定の相関性判定値を算出し、また、前記フレーム間の輝度差分を加算して輝度差分単純和とする。そして、前記相関性判定値が所定の相関性閾値を超過するか否かを判定し、前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する。

そして、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、対象フレームと直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする。さらに、前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定し、前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定して、対象フレームにフラッシュフラグを付与する。

また、上記に開示する方法では、画像データの対象フレームの直前フレームがフラッシュフレームであるか否かを判定する。そして、前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する。

そして、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値所定以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第２の色差差分絶対値和とする。さらに、前記第２の色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する。前記色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する。

このように、本発明では、処理対象フレームについて、その直前フレームに関する情報のみを用いてフラッシュシーンの検出およびフラッシュシーンの終了検出を行うことができる。

また、本発明は、上記の各処理過程を行うものである場合に、前記相関性判定値をもとに前記輝度相関判定閾値、または前記輝度相関判定閾値および色差相関判定閾値を設定する閾値設定過程を備えることがある。

これにより、対象フレームと直前フレームとのフレーム間の相関性の程度に関連させて輝度相関判定または色差相関判定の閾値を決定できるため、フラッシュ光の強弱などを考慮した対象フレームの輝度増加の判定を行うことができる。

さらに、本発明は、前記輝度情報演算過程では、前記輝度差分を加算する場合に、前記対象フレームでの輝度差分が、前記直前フレームでの同一位置にある輝度成分から増加している画素についての輝度差分のみを加算することがある。

これにより、フラッシュ光により生じた影部分が大きいために輝度差分が増加しないようなフラッシュフレームについても、より正確にフラッシュシーンを検出することができる。

また、本発明の別の実施態様として開示するフラッシュシーン検出装置は、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置であって、対象フレームの直前フレームに、フラッシュフレームを示すフラッシュフラグが付与されている場合に、前記直前フレームをフラッシュフレームと判定するフラグ判定手段と、前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、前記直前フレームがフラッシュフレームではない場合に、前記対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出して、前記算出した相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、前記直前フレームがフラッシュフレームではなく、かつ前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する処理と、前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する処理とを行う輝度情報比較手段と、前記直前フレームがフラッシュフレームではなく、かつ前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第１の色差差分絶対値和とする処理と、前記直前フレームがフラッシュフレームであり、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第２の色差差分絶対値和とする色差情報演算手段と、前記第１の色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記第１の色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する処理と、前記第２の色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する処理とを行う色差情報比較手段と、前記第１の色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定し、前記判定した対象フレームにフラッシュフラグを付与する処理と、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内ではない場合に、前記対象フレームをフラッシュシーンと判定してフラッシュフラグを付与する処理と、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する処理とを行うシーン判定手段とを備える。

本発明によれば、対象フレームの直前フレームとの相関性だけを用いて対象フレームがフラッシュシーンであるか否かを検出することができる。特に、フラッシュシーンを特定する際に、フラッシュシーンと特定したフレームを一時的に保持してフラッシュ終了シーンを検出する必要がないため、符号化処理における遅延を回避することができる。

また、対象フレームの直前フレームとの相関性だけを用いて対象フレームがフラッシュシーンの終了を検出することができ、フラッシュシーンのフレームが連続するような場合でも、フラッシュシーンの特定を容易に行うことができる。

さらに、判定対象となるフレームとその前のフレームとの間で、まず輝度情報の相関性を判定し、所定の閾値を満たす場合にのみ色差情報の相関性を判定するようにする。また、輝度の相関性の判定において、輝度のフレーム間差分が一方的に明るくなった場合にのみ色差情報の相関性を判定してフラッシュシーンを特定するため、処理負担をあまり増大させずに正確なフラッシュフレームの検出が可能となる。

以下、本発明を実施するための最良の形態を説明する。

図１に、本発明を実現するフラッシュシーン検出装置の構成例を示す。

フラッシュシーン検出装置１は、フラッシュフラグ判定部１１、輝度情報演算部１２、フレーム相関性判定部１３、閾値設定部１４、輝度情報比較部１５、色差情報演算部１６、色差情報比較部１７、シーン判定部１８、閾値記憶部１９、および輝度情報記憶部１１０を備える。

フラッシュフラグ判定部１１は、対象フレーム（フレーム＃２）２２の直前フレーム（フレーム＃１）２１に、フラッシュシーンを示すフラッシュフラグが設定されているか否かを判定する処理手段である。

輝度情報演算部１２は、フレーム＃２とフレーム＃１のフレーム間の輝度差分を計算する処理手段である。

輝度情報演算部１２は、フレーム＃２とフレーム＃１のフレーム間の輝度差分を算出し、フレーム間の相関性をみるために、相関性判定値としてフレーム間の輝度差分の絶対値和を計算する。また、フレーム＃２が、フレーム＃１に比べてどの程度明るくなっているかをみるために、フレーム＃２とフレーム＃１の同一位置にある輝度成分の差分を取得し、この輝度差分を加算して輝度差分の単純和（輝度差分単純和）を計算する。ここで、輝度差分を加算する場合に、フレーム＃２の輝度成分がフレーム＃１の輝度成分に比べて増加している画素（すなわち明るくなっていた画素）についての輝度差分だけを加算するようにしてもよい。フラッシュ光によりシーンに生じる陰影部分の影響を考慮するためである。

フレーム相関性判定部１３は、輝度情報演算部１２で計算された相関性判定値である輝度差分の絶対値和と所定の相関性判定閾値とを比較し、フレーム間の相関性の程度を判定する処理手段である。フレーム相関性判定部１３は、輝度差分の絶対値和が相関性判定閾値を超過して相関性が低い場合に、フレーム＃２がフレーム＃１とは別のシーンであるかまたはフラッシュシーンであると疑い、閾値設定部１４に通知する。一方、輝度差分の絶対値和が相関性判定閾値以下であって相関性が高い場合に、フレーム＃２がフレーム＃１と連続するシーンであると判断し、シーン判定部１８に通知する。

閾値設定部１４は、フレーム＃１にフラッシュフラグが設定されていない場合に、輝度情報演算部１２で計算された輝度差分の絶対値和の大きさにもとづいて、輝度相関判定閾値または色差相関判定閾値をそれぞれ設定し、フレーム＃１にフラッシュフラグが設定されている場合に、輝度情報記憶部１１０に保持されていた輝度差分単純和情報にもとづいて、フラッシュシーン終了判定閾値を設定する処理手段である。

フレーム＃２とフレーム＃１の相関性の程度によって閾値を変えることにより、フラッシュシーンの判定感度が適切に調整されるようにするためである。

閾値設定部１４は、フレーム相関性判定部１３による相関性が比較的高い場合は輝度相関判定閾値が低くなるように設定する。例えば、閾値記憶部１９に予め記憶しておいた複数の定数ｃｏｍｓｔ_ｎから輝度差分の絶対値和の大きさにもとづいて選択したものを用いて、以下のように決定する。

輝度相関判定閾値 ＝ ｃｏｍｓｔ_１ × 差分絶対値和
色差相関判定閾値 ＝ ｃｏｍｓｔ_２ × 差分絶対値和
輝度情報比較部１５は、フレーム＃１にフラッシュフラグが設定されていない場合に、輝度情報演算部１２で計算されたフレーム間の輝度差分単純和の絶対値と輝度相関判定閾値とを比較し、フレーム＃２がフラッシュシーンである可能性を判定し、またはフレーム＃１にフラッシュフラグが設定されている場合に、輝度差分単純和の絶対値とフラッシュシーン終了判定閾値とを比較し、フレーム＃２がフラッシュシーンから戻ったシーンである可能性を判定する処理手段である。

具体的には、輝度情報比較部１５は、フレーム＃１がフラッシュシーンでなければ、輝度差分単純和の絶対値と輝度相関判定閾値とを比較し、輝度差分単純和の絶対値が輝度相関判定閾値を超過した場合（すなわち一方的に明るくなっている場合）に、フレーム＃２がフラッシュシーンである可能性が高いと判定し、色差情報演算部１６に通知する。一方、輝度差分単純和の絶対値が輝度相関判定閾値以下である場合に、シーンの変わり目と特定し、シーン判定部１８に通知する。

また、フレーム＃１がフラッシュシーンであれば、輝度差分単純和の絶対値をフラッシュシーン終了判定閾値と比較し、輝度差分単純和の絶対値がフラッシュシーン終了判定閾値以上である場合（すなわち明るさがフラッシュシーン前に戻っている場合）に、フレーム＃２はフラッシュシーンから戻ったシーンであると判定し、一方輝度差分単純和の絶対値がフラッシュシーン終了判定閾値未満である場合に、フラッシュシーンが連続していると判定し、シーン判定部１８に通知する。

色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する処理手段である。

色差情報比較部１７は、色差差分絶対値和と色差相関判定閾値とを比較し、フレーム＃２がフラッシュシーンであるか否かを判定する処理手段である。色差情報比較部１７は、色差差分絶対値和が色差相関判定閾値以下である場合にフレーム＃２がフラッシュシーンであると判定し、色差差分絶対値和が色差相関判定閾値を超過している場合にシーンの変わり目であると判定し、シーン判定部１８に通知する。

シーン判定部１８は、フレーム＃２に対する判定結果を出力する処理手段である。シーン判定部１８は、フレーム＃２がフラッシュシーンであると通知された場合に、フラッシュフレームである旨を出力し、フレーム＃２に対しフラッシュフラグを設定し、輝度差分単純和を、輝度情報記憶部１１０に記憶されている輝度差分単純和情報に加算して輝度差分単純和情報を更新する。また、シーン判定部１８は、フレーム＃２がフラッシュシーンから戻ったシーンであると通知された場合に、フラッシュフラグの設定を解除する。なお、シーンの変わり目であると通知された場合に、フラッシュフレームでない旨を出力してもよい。

閾値記憶部１９は、輝度相関判定閾値、色差相関判定閾値、フラッシュシーン終了判定閾値、またはこれらの閾値を決定する所定の定数値を記憶する記憶部である。

輝度情報記憶部１１０は、以前の処理においてフラッシュシーンと特定されたフレームの輝度差分単純和の累計である輝度差分単純和情報を記憶する記憶手段である。

図２および図３に、本発明の処理の流れを示す。

フラッシュシーン検出装置１のフラッシュフラグ判定部１１は、フラッシュフラグの設定をもとに、判定対象のフレーム＃２の直前のフレーム＃１がフラッシュシーンであるかどうかを判定する（ステップＳ１０）。

直前のフレーム＃１がフラッシュシーンでなければ、フレーム＃２とフレーム＃１とのフレーム間の相関性、フレーム間の輝度差分単純和、輝度差分絶対値和、色差差分絶対値和などを初期化し、所定のパラメータを設定するなどの更新を行う（ステップＳ１１）。なお、ここで、所定のパラメータは、フレームのシーケンスごとに設定される任意の値であるが、以下の処理に直接関連しないので説明を省略する。

輝度情報演算部１２は、フレーム間の相関性をチェックし、同時にフレーム間輝度差分を算出する（ステップＳ１２）。具体的には、相関性判定値として、フレーム間（フレーム＃２とフレーム＃１）で同一位置にある輝度差分の絶対値和を計算し、相関性判定閾値と比較して相関性をチェックし、さらに、フレーム間（フレーム＃２とフレーム＃１）で同一位置にある輝度差分を加算して輝度差分単純和を計算する。

そして、輝度差分の絶対値和が相関性判定閾値を超過して相関性が低い場合（ステップＳ１３でＹＥＳの場合）には、フレーム＃２はフレーム＃１との間にシーンの変わり目が存在するか、またはフレーム＃２がフラッシュシーンである可能性が高いと判定し、ステップＳ１４以降の処理を行う。一方、輝度差分の絶対値和が相関性判定閾値以下であって相関性が高い場合（ステップＳ１３でＮＯの場合）に、フレーム＃２はフレーム＃１と連続し、フラッシュシーンである可能性はないので、連続シーンであると判定し（ステップＳ２０）、シーン判定部１８に通知して処理を終了する。

閾値設定部１４は、ステップＳ１２の処理で計算した輝度差分の絶対値和の大きさにもとづいて輝度相関判定閾値ａまたは色差相関判定閾値ｂをそれぞれ設定する（ステップＳ１４）。

輝度情報比較部１５は、フレーム間の輝度差分単純和の絶対値と輝度相関判定閾値ａとを比較し（ステップＳ１５）、フレーム間の輝度差分単純和の絶対値が輝度相関判定閾値ａを超過した場合に、フレーム＃２がフラッシュシーンである可能性が高いと判定してステップＳ１７の処理へ進み、輝度差分単純和の絶対値が輝度相関判定閾値ａ以下である場合に、シーンの変わり目と特定して、シーン判定部１８に通知する（ステップＳ１６）。

そして、色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する（ステップＳ１７）。

色差情報比較部１７は、色差差分絶対値和が色差相関判定閾値ｂ以下である場合（輝度が上がり、色差の変化が少ない場合）に（ステップＳ１８）、フレーム＃２がフラッシュシーンであると特定し、シーン判定部１８は、通知を受けて、フラッシュフラグを設定する（ステップＳ１９）。また、色差差分絶対値和が色差相関判定閾値ｂを超過している場合（輝度が上がり、色差の変化が大きい場合）に、シーンの変わり目であると特定し、シーン判定部１８に通知する（ステップＳ１６）。

一方、ステップＳ１０の処理において、フラッシュフラグ判定部１１が、直前のフレーム＃１がフラッシュシーンであると判定すれば、フレーム＃２とフレーム＃１とのフレーム間の相関性、フレーム間の輝度差分単純和、輝度差分絶対値和、色差差分絶対値和などを初期化し、パラメータの更新として、シーン判定部１８は、輝度差分単純和を輝度情報記憶部１１０の輝度差分単純和情報に加算して更新する（ステップＳ１１０）。

閾値設定部１４は、フラッシュシーン終了閾値ｃとシーンチェンジ検出閾値ｄを設定し（ステップＳ１１１）、輝度情報演算部１２は、フレーム間の輝度差分を加算して輝度差分単純和を計算する（ステップＳ１１２）。輝度情報比較部１５は、輝度差分単純和の絶対値とフラッシュシーン終了閾値ｃとを比較し（ステップＳ１１３）、輝度差分単純和の絶対値がフラッシュシーン終了判定閾値ｃ以上である場合に、色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する（ステップＳ１１４）。色差情報比較部１７は、色差差分絶対値和がシーンチェンジ検出閾値ｄ以下である場合（輝度が下がり、色差の変化は少ない場合）に（ステップＳ１１５）、フレーム＃２はフラッシュシーンから戻ったシーンであると特定し、シーン判定部１８は、通知を受けて、フラッシュフラグを解除する（ステップＳ１１６）。また、色差差分絶対値和がシーンチェンジ検出閾値ｄを超過している場合（輝度が下がり、色差の変化が大きい場合）に、シーンの変わり目であると特定し、シーン判定部１８に通知する（ステップＳ１１７）。

一方、輝度差分単純和の絶対値がフラッシュシーン終了判定閾値ｃ未満である場合に（ステップＳ１１３）、色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する（ステップＳ１１８）。色差情報比較部１７は、色差差分絶対値和がシーンチェンジ検出閾値ｄ以下である場合（輝度はフラッシュ前と比べて依然明るく、色差の変化は少ない場合）に（ステップＳ１１９）、フラッシュシーンが連続していると判定し、シーン判定部１８に通知する（ステップＳ１２０）。また、色差差分絶対値和がシーンチェンジ検出閾値ｄを超過している場合に、シーンの変わり目であると特定し、シーン判定部１８に通知する（ステップＳ１１７）。

フラッシュシーン検出装置１は、取得したフレームデータのシーケンスに従って、上記の処理ステップを繰り返し、シーン判定部１８によって判定結果を出力する。

本発明の処理を、図４に示すように、映像ストリームの入力順に、フレーム＃１、フレーム＃２、フレーム＃３、フレーム＃４、…であり、フレーム＃２がフラッシュシーンである場合を例として説明する。

（ａ）対象がフレーム＃２である場合に、フラッシュフラグ判定部１１は、フレーム＃１のフラッシュフラグ設定の有無を調べて、フレーム＃１がフラッシュシーンを示すフレーム（フラッシュフレーム）であるか否かを判定する。

輝度情報演算部１２は、フレーム間（フレーム＃２とフレーム＃１）で同一位置にある輝度成分の差分絶対値和をとる。また、フレーム間で同一位置にある輝度成分の差分をとり、フレーム＃２で輝度成分が増加している画素について差分を加算し、輝度差分単純和とする。

フレーム相関性判定部１３は、差分絶対値和と相関性判定閾値とを比較する。フレーム＃２とフレーム＃１では、輝度成分が大きく異なるため、差分絶対値和が相関性判定閾値を超え、相関性が低いと判定される。

輝度情報比較部１５は、輝度差分単純和の絶対値と閾値設定部１４によって設定された輝度相関判定閾値とを比較する。フレーム＃２は、輝度成分が高く、輝度差分単純和の絶対値が輝度相関判定閾値を超え、フラッシュシーンの可能性があると判定される。

そして、色差情報演算部１６は、フレーム間の色差成分の差分の絶対値和を計算する。色差情報比較部１７は、色差差分の絶対値和と閾値設定部１４によって設定された色差相関判定閾値と比較する。フレーム＃２とフレーム＃１は、フラッシュ光の有無を除き同じシーンであり、色差差分の絶対値和は色差相関判定閾値以下であるため、フレーム＃２は、フラッシュシーンであると判定される。シーン判定部１８は、フレーム＃２にフラッシュフラグを設定し、輝度差分単純和を、輝度情報記憶部１１０の輝度差分単純和情報に加算して更新する。

（ｂ）対象がフレーム＃３である場合に、フラッシュフラグ判定部１１は、フレーム＃２のフラッシュフラグ設定の有無を調べる。フレーム＃２がフラッシュフレームであるか否かを判定する。また、輝度差分単純和情報を取得する。

輝度情報演算部１２は、フレーム間（フレーム＃３とフレーム＃２）で同一位置にある輝度成分の差分をとり、フレーム＃３で輝度成分が増加している画素について差分を加算し、輝度差分単純和とする。

輝度情報比較部１５は、輝度差分単純和の絶対値と閾値設定部１４によって設定されたフラッシュシーン終了判定閾値とを比較する。フレーム＃３の輝度成分は通常のシーンであって、輝度差分単純和の絶対値がフレーム＃２より低いため、輝度差分単純和の絶対値はフラッシュシーン終了閾値以上となり、フレーム＃３は、フラッシュシーンから戻ったシーンの可能性ありと判定される。

色差情報演算部１６は、フレーム＃３とフレーム＃２の色差成分を取得し、フレーム間の色差差分絶対値和を計算する。色差情報比較部１７では、フレーム＃３の色差差分は通常のシーンであってフレーム＃２と相関性が高いため色差差分絶対値和がシーンチェンジ検出閾値ｄ以下となりフラッシュシーンから戻ったシーンと判定される。シーン判定部１８は、フレーム＃２にフラッシュフラグの設定を解除する。

（ｃ）対象がフレーム＃４である場合に、フラッシュフラグ判定部１１は、フレーム＃３のフラッシュフラグ設定の有無を調べて、フレーム＃３がフラッシュフレームではないと判定する。

輝度情報演算部１２は、フレーム間（フレーム＃４とフレーム＃３）で同一位置にある輝度成分の差分絶対値和をとる。また、フレーム間で同一位置にある輝度成分の差分をとり、フレーム＃４で輝度成分が増加している画素について差分を加算し、輝度差分単純和とする。

フレーム相関性判定部１３は、差分絶対値和と相関性判定閾値とを比較する。フレーム＃４とフレーム＃３は、輝度成分がほぼ同じであるため、差分絶対値和が相関性判定閾値以下となって、相関性が高いと判定される。

本発明は、映像データのストリーム中のフレームがフラッシュシーンであるか否かを、その処理対象となるフレームの前のフレームとの関係を用いるだけで判定することができる。すなわち、図５に示すように、対象フレーム＃ｎと直前フレーム＃ｎ−１との輝度相関性が低く、かつ色差相関性が高い場合に、対象フレーム＃ｎをフラッシュシーンまたはフラッシュシーンからの戻りシーンと判定することができ、後フレーム＃ｎ＋１との関係を用いないために、符号化処理を遅延させずに、精度のよい判定結果を得ることができるフラッシュシーン判定処理を実現することができる。

以上、本発明をその実施の形態により説明したが、本発明はその主旨の範囲において種々の変形が可能であることは当然である。また、本発明のフラッシュシーン検出装置１は半導体集積回路（ＩＣ）として実装することができる。

本発明の形態および実施例の特徴を列記すると以下のとおりである。

（付記１） フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出方法であって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算過程と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算過程と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定過程と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較過程と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算過程と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較過程と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定過程と
を備えることを特徴とするフラッシュシーン検出方法。

（付記２） 前記付記１記載のフラッシュシーン検出方法において、
前記直前フレームがフラッシュフレームであるか否かを判定するフラグ判定過程と、
前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する第２の輝度情報比較過程と、
前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値所定以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする第２の色差情報演算過程と、
前記色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する第２の色差情報比較過程とを備え、
前記シーン判定過程では、前記色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する
ことを特徴とするフラッシュシーン検出方法。

（付記３） 前記付記１記載のフラッシュシーン検出方法において、
前記相関性判定値をもとに前記輝度相関判定閾値、または前記輝度相関判定閾値および色差相関判定閾値を設定する閾値設定過程を備える
ことを特徴とするフラッシュシーン検出方法。

（付記４） 前記付記１記載のフラッシュシーン検出方法において、
前記シーン判定過程では、前記フラッシュフラグが設定された対象フレームの輝度差分和を、前記輝度差分和情報に加算して更新し、
前記輝度情報比較過程では、前記輝度差分単純和情報を前記フラッシュシーン終了判定閾値として用いる
ことを特徴とするフラッシュシーン検出方法。

（付記５） 前記付記１記載のフラッシュシーン検出方法において、
前記輝度情報演算過程では、前記フレーム間の相関性判定値として、前記フレーム間の輝度差分の絶対値和を算出し、
前記フレーム相関性判定過程では、前記直前フレームがフラッシュフレームである場合に、前記輝度差分の絶対値和が所定の相関性閾値を超過するか否かを判定する
ことを特徴とするフラッシュシーン検出方法。

（付記６） 前記付記１記載のフラッシュシーン検出方法において、
前記輝度情報演算過程では、前記輝度差分を加算する場合に、前記対象フレームでの輝度差分が前記直前フレームでの同一位置にある輝度成分から増加している画素についての輝度差分のみを加算する
ことを特徴とするフラッシュシーン検出方法。

（付記７） フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置であって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算手段と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較手段と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算手段と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較手段と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定手段とを備える
ことを特徴とするフラッシュシーン検出装置。

（付記８） コンピュータを、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置として機能させるためのプログラムであって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算手段と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較手段と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算手段と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較手段と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定手段と
を備える処理装置として機能させるためのフラッシュシーン検出プログラム。

本発明の実施の形態における構成例を示す図である。 本発明の処理の流れを示す図である。 本発明の処理の流れを示す図である。 本発明の処理をフレーム＃１〜＃４を用いて説明するための図である。 本発明における対象フレームと直前フレームとの関係を説明するための図である。 従来技術を説明するための図である。

符号の説明

１ フラッシュシーン検出装置
１１ フラッシュフラグ判定部
１２ 輝度情報演算部
１３ フレーム相関性判定部
１４ 閾値設定部
１５ 輝度情報比較部
１６ 色差情報演算部
１７ 色差情報比較部
１８ シーン判定部
２１ 直前のフレームデータ（フレーム＃１）
２２ 対象のフレームデータ（フレーム＃２）

Claims (5)

1. フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出方法であって、
   対象フレームの直前フレームに、フラッシュフレームを示すフラッシュフラグが付与されている場合に、前記直前フレームをフラッシュフレームと判定するフラグ判定過程と、
   前記直前フレームがフラッシュフレームではない場合に、前記対象フレームと前記直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算過程と、
   前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算過程と、
   前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定過程と、
   前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較過程と、
   前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算過程と、
   前記色差情報演算過程で算出された色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較過程と、
   前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定し、前記判定した対象フレームにフラッシュフラグを付与するシーン判定過程と、
   前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する第２の輝度情報比較過程と、
   前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるときは、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第２の色差差分絶対値和とする第２の色差情報演算過程と、
   前記第２の色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する第２の色差情報比較過程と、
   前記第２の色差差分絶対値和が前記シーン変更検出閾値以内ではない場合に、前記対象フレームをフラッシュシーンと判定してフラッシュフラグを付与する処理を行い、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する処理を行う第２のシーン判定過程とを
   備えることを特徴とするフラッシュシーン検出方法。
2. 請求項１記載のフラッシュシーン検出方法において、
   前記相関性判定値をもとに前記輝度相関判定閾値、または前記輝度相関判定閾値および色差相関判定閾値を設定する閾値設定過程を備える
   ことを特徴とするフラッシュシーン検出方法。
3. 請求項１記載のフラッシュシーン検出方法において、
   前記輝度情報演算過程では、前記輝度差分を加算する場合に、前記対象フレームでの輝度差分が前記直前フレームでの同一位置にある輝度成分から増加している画素についての輝度差分のみを加算する
   ことを特徴とするフラッシュシーン検出方法。
4. フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置であって、
   対象フレームの直前フレームに、フラッシュフレームを示すフラッシュフラグが付与されている場合に、前記直前フレームをフラッシュフレームと判定するフラグ判定手段と、
   前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、
   前記直前フレームがフラッシュフレームではない場合に、前記対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出して、前記算出した相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、
   前記直前フレームがフラッシュフレームではなく、かつ前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する処理と、前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する処理とを行う輝度情報比較手段と、
   前記直前フレームがフラッシュフレームではなく、かつ前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第１の色差差分絶対値和とする処理と、前記直前フレームがフラッシュフレームであり、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第２の色差差分絶対値和とする色差情報演算手段と、
   前記第１の色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記第１の色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する処理と、前記第２の色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する処理とを行う色差情報比較手段と、
   前記第１の色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定し、前記判定した対象フレームにフラッシュフラグを付与する処理と、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内ではない場合に、前記対象フレームをフラッシュシーンと判定してフラッシュフラグを付与する処理と、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する処理とを行うシーン判定手段とを
   備えることを特徴とするフラッシュシーン検出装置。
5. フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するために、コンピュータを、
   対象フレームの直前フレームに、フラッシュフレームを示すフラッシュフラグが付与されている場合に、前記直前フレームをフラッシュフレームと判定するフラグ判定手段と、
   前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、
   前記直前フレームがフラッシュフレームではない場合に、前記対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出して、前記算出した相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、
   前記直前フレームがフラッシュフレームではなく、かつ前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する処理と、前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する処理とを行う輝度情報比較手段と、
   前記直前フレームがフラッシュフレームではなく、かつ前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第１の色差差分絶対値和とする処理と、前記直前フレームがフラッシュフレームであり、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して第２の色差差分絶対値和とする色差情報演算手段と、
   前記第１の色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記第１の色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する処理と、前記第２の色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する処理とを行う色差情報比較手段と、
   前記第１の色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定し、前記判定した対象フレームにフラッシュフラグを付与する処理と、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内ではない場合に、前記対象フレームをフラッシュシーンと判定してフラッシュフラグを付与する処理と、前記第２の色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する処理とを行うシーン判定手段として機能させる
   ことを特徴とするフラッシュシーン検出プログラム。

Images