JP7058494B2 - 輝度変化検出装置およびプログラム - Google Patents

Description

本発明は、輝度変化検出装置およびプログラムに関する。

近年、テレビ番組を視聴した視聴者が映像の点滅に起因して光感受性発作を発症した問題を受け、ガイドライン等が策定されている。例えば、日本放送協会と社団法人日本民間放送連盟は、「アニメーション等の映像手法に関するガイドライン」（1998年）を策定した。また、英国の独立テレビジョン委員会（ＩＴＣ：Independent Television Commission）は、「ITC Guidance Note for Licensees on Flashing Image and Regular Pattern in Television」（1994, 1998, 2001-2002年）を策定した。また、これらガイドラインに則して、「The Harding Flash and Pattern Analyzer」などの計測器が開発されている。

また、従来から、ITU-R勧告BT.1702「Guidance for the reduction of photosensitive epileptic seizures caused by television」のAppendix（付録）では、次のように述べられている。即ち、点滅の輝度差が２０ｃｍ／ｍ^２（カンデラ毎平方メートル）以上で、且つ、点滅領域の面積が画面全体の２５％を超える点滅が１秒間に３回以上生じている場合、光感受性発作を引き起こす可能性が高いとされている。

従来の点滅検出装置は、次のように構成される。即ち、画面を所定の第一のブロックサイズで分割し、必要に応じてフィールド間で動き補償を行い、フィールド間の画像差分（または、動き補償誤差）を演算し、所定の第二のブロックサイズ内における画像差分の平均値に対して第一の閾値処理（第一の閾値は、例えば、輝度差２０ｃｍ／ｍ^２に対応する画素値の差分値）をし、前記第一の閾値以上の（第二のブロックサイズの）ブロック数を集計し、前記集計結果のブロック数が第二の閾値（第二の閾値は、例えば、画面全体の２５％の面積に相当するブロック数）を超えた場合に有意な輝度変化があったと判定し、さらに前記有意な輝度変化が所定の時間区間（例えば、１秒間）内に所定の回数（例えば、６回（輝度上昇と下降とを別個に計数することからこれは点滅３回に相当））超検知した場合を以て、点滅検出装置は、警告を発する。

特許文献１には、画素の隣接フレーム間での輝度値の差が所定以上となる画素数を算出し、その画素数が所定基準以上である変化が所定回数以上であったか否かにより、不適正フレームを検出する技術が記載されている。

特許文献２には、画素の明滅する面積の大きさに基づいて、光感受性発作を引き起こす可能性を示す危険度を判定する技術が記載されている。

特許第４９３３７８２号公報 特許第４８７０９９０号公報

しかしながら、従来技術による点滅検出装置には次のような問題があった。従来技術による点滅検出装置は、フィールド間の画像差分に対する閾値処理に基づくものである。そして、第１フィールドから第２フィールドにおいて第一の閾値超の輝度値変化（甲）があり、第２フィールドから第３フィールドにおいても第一の閾値超の輝度値変化（乙）があった場合、「甲が増加かつ乙が減少」または「甲が減少かつ乙が増加」であれば点滅として正しい計数（２回）となる。しかし、「甲が増加かつ乙も増加」または「甲が減少かつ乙も減少」のような単調な輝度値変化の場合にも２回（正しくは１回）として計数されてしまう場合がある。この場合、点滅検出に基づく警告を過大に発出する可能性がある。

また、従来技術による点滅検出装置は、第１フィールドから第２フィールドにおいて第一の閾値超の輝度値変化があれば警告を発することが可能であるが、次のような場合には警告を発出しない。即ち、第１フィールドから第２フィールドにおいて第一の閾値以下の輝度値変化（丙）があり、第２フィールドから第３フィールドにおいても第一の閾値以下の輝度値変化（丁）があった場合、警告を発生しない。この場合、丙または丁の単独では第一の閾値に満たずとも、丙と丁の和が第一の閾値超であれば有意な輝度変化である可能性がある。つまり、従来の点滅検出装置では、検出漏れを生じるおそれもある。

つまり、従来技術では、生理的に有害な映像の検出を適切に行うために、必ずしも必要な情報を得られるわけではなかった。

本発明は、上記の課題認識に基づいて行なわれたものであり、輝度変化の回数を適切にカウントすることを可能にする輝度変化検出装置およびプログラムを提供しようとするものである。また、本発明は、複数回の輝度変化を重ねたことによって所定閾値を超える場合をも適切に検出することのできる輝度変化検出装置およびプログラムを提供しようとするものである。

［１］上記の課題を解決するため、本発明の一態様による輝度変化検出装置は、撮像時刻の異なる前記入力画像間において動き推定を行う動き推定部と、前記動き推定部による動き推定の結果に基づいて、前記入力画像における動き補償を行う動き補償部と、前記動き補償部による動き補償を行った結果得られる動き補償予測残差を差分画像として出力する差分演算部と、複数の前記差分画像を積算した積算差分画像を算出する積算部と、前記差分画像および前記積算差分画像の画素位置ごとに、閾値処理を施し、前記入力画像間で所定範囲の輝度変化を有する画素を検出する輝度差判定部と、を備える。

［２］また、本発明の一態様は、上記の輝度変化検出装置において、前記輝度差判定部は、前記閾値処理において画素位置ごとに閾値制御するものであり、前記閾値制御は前記入力映像の当該画素位置における現在または過去の画素値に応じて制御されるものである。

［３］また、本発明の一態様は、上記の輝度変化検出装置において、前記入力映像の画素位置ごとの現在および過去の画素値列の代表値を出力する代表値画像演算部、を備え、前記輝度差判定部は、前記閾値処理において、前記代表値画像演算部が出力する画素位置ごとの前記代表値に基づいて閾値制御する。

［４］また、本発明の一態様は、上記の輝度変化検出装置において、前記代表値は、画素位置ごとの、現在および所定範囲内の過去の画素値列の最小値である。

［５］また、本発明の一態様は、コンピューターを、撮像時刻の異なる前記入力画像間において動き推定を行う動き推定部と、前記動き推定部による動き推定の結果に基づいて、前記入力画像における動き補償を行う動き補償部と、前記動き補償部による動き補償を行った結果得られる動き補償予測残差を差分画像として出力する差分演算部と、複数の前記差分画像を積算した積算差分画像を算出する積算部と、前記差分画像および前記積算差分画像の画素位置ごとに、閾値処理を施し、前記入力画像間で所定範囲の輝度変化を有する画素を検出する輝度差判定部と、を備える輝度変化検出装置として機能させるためのプログラムである。

本発明によれば、隣接フレーム間の輝度変化のみならず複数フレームにわたる輝度変化をも考慮して有害な点滅を構成する輝度変化を捉えることが可能となる。よって、本発明によれば、輝度変化の回数を適切にカウントするための情報が得られる。

本発明の第１実施形態による輝度変化検出装置の概略機能構成を示す機能ブロック図である。 第２実施形態による 映像判定装置の機能構成を示すブロック図である。

次に、図面を参照しながら、発明の実施形態について説明する。

［第１実施形態］
図１は、第１実施形態による輝度変化検出装置の概略機能構成を示す機能ブロック図である。図示するように、輝度変化検出装置１は、差分画像演算部２と、積算部３と、輝度差判定部４と、代表値画像演算部５とを含んで構成される。
さらに、差分画像演算部２は、遅延部１０と、動き推定部１１と、動き補償部１２と、差分演算部１３とを含んで構成される。
また、積算部３は、遅延部１５－２，１５－３，・・・と、加算部１６－２，１６－３，１６－４，・・・とを含んで構成される。図１では、遅延部１５－４よりも後段の機能構成を省略して示している。省略した部分については、後で説明する。
また、輝度差判定部４は、閾値処理部１７－１，１７－２，１７－３，・・・と、判定部２０とを含んで構成される。図１では、閾値処理部１７－３よりも後段の機能構成を省略して示している。省略した部分については、後で説明する。
また、代表値画像演算部５は、遅延部１０と、最小演算部２１－１，２１－２，２１－３，・・・と、遅延部２２－２，２２－３，２２－４，・・・とを含んで構成される。図１では、遅延部２２－４よりも後段の機能構成を省略して示している。省略した部分については、後で説明する。
これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリーや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能部を、コンピューターおよびソフトウェアによって実現するようにしてもよい。

輝度変化検出装置１は、入力された映像（入力映像）に対し、所定の輝度差を超える輝度変化（点滅の要素）の有無を判定し、点滅の有無を画素位置ごとに示した情報である判定映像を出力する。
入力映像をＩとする。入力映像Iは、水平方向および垂直方向に配置された画像の時系列として表せる。例えば、画素の、水平座標をｘとし、垂直座標をｙとする。ある映像の、時刻ｔにおける画像座標（ｘ，ｙ）の画素値を、映像を表す文字に引き続き（ｔ，ｘ，ｙ）を付すことにより表現する。すなわち、例えば、入力映像Ｉの時刻ｔ、画像座標（ｘ，ｙ）における画素値を、Ｉ（ｔ，ｘ，ｙ）と表す。なお、画素値は、輝度値のようなスカラー値であってもよいし、カラー画像の各色成分からなるベクトル値であってもよい。例えば、画素値は、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色成分の輝度値を要素とするベクトル（ｒ，ｇ，ｂ）であってもよい。また、時刻ｔにおける映像フレーム（画像）は、映像を表す文字に引き続き（ｔ）を付すことにより表現する。例えば、映像Ｉの時刻ｔにおける映像フレームを、Ｉ（ｔ）と表す。なお、以下の説明では画素値がスカラー値（輝度値）である場合を例として記述するが、画素値がベクトル値であっても本質的な違いはない。

差分画像演算部２は、入力映像内の撮像時刻の異なる入力画像間の差分画像を算出する。
差分画像演算部２は、例えば、入力映像Ｉに含まれるフレーム間の、画素位置毎の輝度差を演算し、該輝度差を画素位置ごとに並べた差分画像Ｒ_１を出力する。具体的には、差分画像演算部２は、入力映像Ｉの隣接するフレーム間の、画素位置毎の輝度差を演算し、該輝度差を画素位置ごとに並べた差分画像Ｒ_１を出力する。この場合、時刻ｔを整数として、差分画像Ｒ_１は下の式（１）で表される。

積算部３は、差分画像演算部２が算出した複数の差分画像を積算し、積算差分画像を算出する。
なお、積算部３は、差分画像演算部２から出力されるｎ時点分（ｎは２以上の整数）の残差画像Ｒ_１（ｔ）をたし合わせ、その結果をｎフレーム積算残差画像Ｒ_ｎ（ｔ）として出力する。また、積算部３が、複数の積算残差画像を出力するようにしてもよい。
図１に示す積算部３は、２フレーム積算残差画像Ｒ_２（ｔ）と、３フレーム積算残差画像Ｒ_３（ｔ）とを、少なくとも出力する。
図１では遅延部１５－４以下の構成の記載を省略しているが、積算部３が、４フレーム積算残差画像Ｒ_４（ｔ）や、より後段のｎフレーム積算残差画像Ｒ_ｎ（ｔ）をも出力するようにしてもよい。

輝度差判定部４は、差分画像演算部２が算出した差分画像や積算部３が算出した積算差分画像の画素位置ごとに、閾値処理を施し、入力画像間で所定範囲の輝度変化を有する画素を検出する。なお、入力画像間での輝度変化を判定する際、動き補償処理済みの輝度変化に基づいて判定を行うようにしてもよい。
また、輝度差判定部４は、例えば、上記の閾値処理において画素位置ごとに閾値制御する。つまり、輝度差判定部４は、画素位置ごとに、差分画像の画素値が閾値によって区切られるどの区間に属するものであるかを判定する。また、輝度差判定部４は、例えば、入力映像の当該画素位置における現在または過去の画素値に応じて定まる閾値を用いて、閾値制御する。
なお、本実施形態による輝度差判定部４は、複数の閾値処理部１７－１，１７－２，１７－３，・・・を備えており、この各々の閾値処理部において、差分画像演算部２から出力される差分画像を、あるいは積算部３から出力される積算残差画像を対象とした閾値処理を行う。

代表値画像演算部５は、輝度差判定部４が、上記の閾値制御をする際に、入力映像の画素位置ごとの現在および過去の画素値列の代表値を出力する。これにより、輝度差判定部４は、代表値画像演算部５が出力する代表値に基づいて閾値を定めることができる。
本実施形態における代表値画像演算部５は、画素位置ごとの代表値として、当該画素位置の、現在および所定範囲内の過去の画素値列の最小値を出力する。つまり、現在および所定範囲内の過去における最も低い輝度値に基づいて、輝度差判定部４は閾値を定めることとなる。
具体的には、代表値画像演算部５は、輝度差判定部４が有する閾値処理部１７－１，１７－２，１７－３，・・・の各々に、その対象時間区間（ｔの範囲）に応じた代表値を供給する。

次に、差分画像演算部２、積算部３、輝度差判定部４、代表値画像演算部５をそれぞれ構成する、より小さい機能部の各々について、説明する。

遅延部１０は、入力画像Ｉ（ｔ）を遅延させて出力する。時刻ｔは、例えば、映像のフレーム単位の離散的時間として表される時刻である。具体的には、例えば、遅延部１０は、時刻ｔにおいて、１時点前に入力された入力画像であるＩ（ｔ－１）を出力する。
動き推定部１１は、撮像時刻の異なる入力画像間において動き推定を行う。具体的には、動き推定部１１は、入力画像Ｉ（ｔ_２）の特定の画素位置が、入力画像Ｉ（ｔ_１）のどの画素位置に対応するものであるかを推定する。ここで、ｔ_２＞ｔ_１である。典型的には、ｔ_２＝ｔ_１＋１である。動き推定部１１は、動き推定の結果を、動きベクトルとして出力する。動きベクトルは、画素位置に依存するベクトルである。ただし、近傍の画素位置間で共通の動きベクトルを動き推定部１１が推定するようにしてもよい。なお、動き推定の結果において所定の妥当性が得られない場合には、動き推定部１１は、「動きなし」を出力、つまり動きベクトルとして零ベクトルを出力してもよい。
動き補償部１２は、動き推定部１１による動き推定の結果に基づいて、入力画像における動き補償を行う。つまり、動き補償部１２は、動き推定部１１が出力した動きベクトルに基づいて、異なる時刻の画像間における画素位置の対応付けを行う。
差分演算部１３は、撮像時刻の異なる入力画像間における差分である差分画像を算出する。動き補償部１２が動き補償を行った場合には、差分演算部１３は、動き補償の結果にも基づいて上記の差分画像を算出する。つまり、差分演算部１３は、動き補償部１２による動き補償を行った結果得られる動き補償予測残差を差分画像として出力する。

遅延部１５－２，１５－３，・・・は、それぞれ、差分画像または積算差分画像を遅延させて出力する。具体的には、遅延部１５－２，１５－３，・・・は、それぞれ、例えば１時点分の遅延をさせる。
具体的には、遅延部１５－２は、差分画像演算部２から出力される差分画像を１時点分遅延させる。また、遅延部１５－３，１５－４，・・・は、それぞれ、加算部１６－２，１６－３から出力される積算差分画像を１時点分遅延させる。
加算部１６－２，１６－３，１６－４，・・・は、１時点前の積算差分画像と、差分画像演算部２から出力される差分画像とを加算する。加算部１６－２，１６－３，１６－４，・・・は、それぞれ、加算結果である積算差分画像を、判定処理のために、輝度差判定部４に供給する。

閾値処理部１７－１，１７－２，１７－３，・・・は、それぞれ、差分画像演算部２から出力される差分画像または積算部３から出力される積算差分画像について、閾値処理をする。つまり、閾値処理部１７－１，１７－２，１７－３，・・・は、上記の差分画像または積算差分画像の画素値が、閾値によって定まる所定の範囲にあるか否かを判定する。閾値処理部１７－１，１７－２，１７－３，・・・は、判定された範囲に応じた値でなる閾値処理結果画像（それぞれ、Ｔ_１（ｔ），Ｔ_２（ｔ），Ｔ_３（ｔ），・・・を出力する。
判定部２０は、閾値処理部１７－１，１７－２，１７－３，・・・から出力される閾値処理結果画像Ｔ_１（ｔ），Ｔ_２（ｔ），Ｔ_３（ｔ），・・・に基づき、画素位置ごとに所定の判定ルールを適用して判定結果画像Ｃ（ｔ）の画素値を求める。そして、判定部２０は判定結果画像Ｃ（ｔ）を出力する。

最小演算部２１－１，２１－２，２１－３，・・・は、それぞれ、入力される２つの画像に基づいて、画素位置ごとに、画素値の最小値を求め、最小値画像を出力する。
具体的には、最小演算部２１－１は、入力画像Ｉ（ｔ）と、入力画像を１時点遅延させた（遅延部１０からの出力）画像Ｉ（ｔ－１）とに基づいて、最小値画像を求め、出力する。
最小演算部２１－２，２１－３，・・・は、それぞれ、入力画像Ｉ（ｔ）と、１時点前の最小値画像（それぞれ、遅延部２２－２，２２－３，・・・からの出力）とに基づいて、最小値画像を求め、出力する。
遅延部２２－２，２２－３，２２－４，・・・は、それぞれ、最小演算部２１－１，２１－２，２１－３，・・・から出力される最小値画像を、１時点分遅延させる。

以下では、輝度変化検出装置１を構成する各部の、さらに詳細な機能および処理について、入力から出力までの流れに沿って説明する。

差分画像演算部２は、例えば、入力映像Ｉに含まれるフレーム間の、画素位置毎の輝度差を演算し、該輝度差を画素位置ごとに並べた差分画像Ｒ_１を出力する。具体的には、差分画像演算部２は、入力映像Ｉの隣接するフレーム間の、画素位置毎の輝度差を演算し、該輝度差を画素位置ごとに並べた差分画像Ｒ_１を出力する。この場合、時刻ｔを整数として、差分画像Ｒ_１は下の式（１）で表される。

なお、差分画像演算部２が差分画像Ｒ_１を求める際に、入力画像Ｉのフレーム間で動き補償を行うようにしても良い。この場合、差分画像演算部２は、隣接フレーム間での動き補償の処理を行った上で、動き補償予測残差画像（以下、単に「残差画像」と呼ぶ場合がある）を求める。そして、差分画像演算部２は、この残差画像を差分画像Ｒ_１として出力する。この場合の差分画像演算部２内の詳細な処理は次の通りである。

遅延部１０は、入力された映像を例えば１単位時刻（例えば、１フレーム、１フィールドなど）だけ遅延して出力する。例えば、遅延部１０は、時刻ｔにおいて映像フレームＩ（ｔ）を入力し、同時刻ｔにおいて映像フレームＩ（ｔ－１）を出力する。遅延部１０は、映像を遅延させるために内部に遅延回路あるいはメモリー等を備える。

動き推定部１１は、入力画像Ｉ（ｔ）を取得するとともに、遅延部１０から出力された１単位時刻だけ前の画像Ｉ（ｔ－１）を取得する。そして、動き推定部１１は、現時刻の映像フレームＩ（ｔ）と、前時刻の映像フレームＩ（ｔ－１）とから動きベクトル情報を抽出する。ここで、動きベクトルは、例えば現時刻ｔにおける画素位置を基準として、時刻ｔ－１の画像の対応する画素が相対的にどの位置にあるかを表したベクトルである。時刻ｔ、画像座標（ｘ，ｙ）における動きベクトルを（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））と表す。Ｕ（ｔ，ｘ，ｙ）は動きベクトルの垂直成分であり、Ｖ（ｔ，ｘ，ｙ）は動きベクトルの水平成分である。動き推定部１１は、一例として、ブロックマッチング法により動きベクトルを算出する。このとき、動きベクトル（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））は、下の式（２）による計算で求められる。

なお、式（２）において、関数Ｅ（ｐ，ｑ）はｐとｑの相違の度合いを定量化する関数である。例えば、関数Ｅ（ｐ，ｑ）として、下の式（３）あるいは式（４）を用いることができる。なお、ここではｐ，ｑはそれぞれスカラー値であるが、ｐ，ｑがベクトルである場合にも（ｐ－ｑ）のノルムを適宜、Ｅ（ｐ，ｑ）として用いることができる。

また、式（２）において、領域Ｂはブロックの大きさと形状を規定する領域である。領域Ｂは、例えば、下の式（５）で表される。

式（５）で表される領域Ｂは、矩形領域である。一例として、ａ＝－７，ｂ＝＋７，ｃ＝－７，ｄ＝＋７である場合には、領域Ｂは、１５画素×１５画素の正方ブロックである。
一方、式（２）におけるＳは、探索領域の大きさと形状を規定する領域である。領域Ｓは、例えば、下の式（６）で表される。

式（６）で表される領域Ｓは、矩形領域である。一例として、ｅ＝－１５，ｆ＝＋１５，ｇ＝－１５，ｈ＝＋１５である場合には、水平方向および垂直方向ともに±１５画素以下の範囲で動き探索を行うこととなる。
また、動き推定部１１は、別の方法で動き推定を行ってもよい。例えば、式（２）の代わりに、下の式（７）による計算で、動きベクトル（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））を求めるようにしてもよい。

式（７）を用いる場合、動き推定部１１は、直流成分Ｊを除いたブロックマッチングを行う。なお、式（７）において、｜Ｂ｜は、領域Ｂの面積、あるいは領域Ｂに含まれる画素数を表すものである。
あるいは、動き推定部１１は、式（２）や式（７）の代わりに、下の式（８）による計算で、動きベクトル（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））を求めるようにしてもよい。

式（２）や式（７）がｐとｑの相違の度合いを定量化する関数Ｅ（ｐ，ｑ）を用いていたのに対して、式（８）では、正規化相関を用いて、その最大化によりブロックマッチングを行い、動きベクトル（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））を求める。

なお、上で説明した方法では、動き推定部１１は、全画素位置（ｘ，ｙ）について動きベクトルを算出することとなる。その代わりに、より簡易的な方法として、動き推定部１１が、画素位置（ｘ，ｙ）を適宜間引いて、選択された画素位置のみについて、式（２）、式（７）、または式（８）の演算を行うようにしてもよい。その場合、選択されなかった画素位置については、最も近い位置にある演算を行った画素位置の動きベクトルを使用するようにする。このように画素位置を間引くことにより、動き推定部１１は、演算量を削減しつつ、すべての画素位置に着いてほぼ正しい動きベクトルを得ることが可能となる。

式（２）、式（７）、式（８）で表した通り、動き推定部１１は探索領域Ｓ内で動き探索を行う。しかし、実際の映像に含まれる被写体像の動きが探索領域Ｓを超える動きの場合には、動き推定部１１は、式（２）、式（７）、式（８）では誤った動きベクトル（Ｕ，Ｖ）を出力してしまう可能性がある。そこで、誤った動き推定の結果に基づいて動き補償することのないよう、動き推定部１１は、例えば下の式（９）により、相違の度合いを定量化する関数の最小値Ｅ_ｍｉｎを求める。

そして、動き推定部１１が式（９）で求めた最小値_ｍｉｎが所定の閾値以上（または閾値超）であった場合には、後段の動き補償部１２が動きを補償する処理を行わないようにする。あるいは、最小値_ｍｉｎが所定の閾値以上（または閾値超）であった場合、動き推定部１１が動きベクトルとして（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））＝（０，０）を出力するようにしてもよい。

あるいは、探索領域Ｓを包含する領域Ｌを設け（すなわち、Ｌ⊃Ｓ）、動き推定部１１が領域Ｌ内での動き探索した結果、算出された動きベクトルが探索領域Ｓの範囲内にない場合には、動きベクトルとして（０，０）を出力するように動作させてもよい。これは、即ち、動き推定部１１が、下の式（１０）により動きベクトルを求めることである。

即ち、動き推定部１１は、領域Ｓの外で且つ領域Ｌの範囲内において動きベクトルを検出した場合には、動きベクトル（０，０）を推定結果として出力する。
なお、上に示した式（１０）の下段の式は、式（２）と同様の式であるが、ここで、代わりに、式（７）や式（８）を用いてもよい。

動き補償部１２は、動き推定部１１から、求められた動きベクトル（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））を受け取る。そして、動き補償部１２は、前時刻ｔ－１における映像フレームＩ（ｔ－１）に対して動きベクトル（Ｕ（ｔ，ｘ，ｙ），Ｖ（ｔ，ｘ，ｙ））による動き補償を施す処理を行う。即ち、動き補償部１２は、現時刻ｔにおける座標位置（ｘ，ｙ）の画素値Ｉ（ｔ，ｘ，ｙ）に対応付けるべき画素の画素値として、映像フレームＩ（ｔ－１）の中から、Ｉ（ｔ－１，ｘ＋Ｕ（ｔ，ｘ，ｙ），ｙ＋Ｖ（ｔ，ｘ，ｙ））を出力する。つまり、動き補償部１２は、各画素位置（ｘ，ｙ）についてＩ（ｔ－１，ｘ＋Ｕ（ｔ，ｘ，ｙ），ｙ＋Ｖ（ｔ，ｘ，ｙ））として表される動き補償済み画像を、差分演算部１３に渡す。

差分演算部１３は、現時刻ｔにおける映像フレームＩ（ｔ）と、動き補償部１２から出力された動き補償済み画像とから、残差画像Ｒ_１（ｔ）を求める。例えば、差分演算部１３は、下の式（１１）により、残差画像Ｒ_１（ｔ）を算出する。

積算部３は、差分画像演算部２から出力されるｎ時点分（ｎは２以上の整数）の残差画像Ｒ_１（ｔ）をたし合わせ、その結果をｎフレーム積算残差画像Ｒ_ｎ（ｔ）として出力する。前記たし合わせは、例えば、時刻ｔから時刻ｔ－ｎ＋１までの残差画像を画素位置ごとに足し合わせることにより行われる。それらの残差画像とは、即ち、Ｒ_１（ｔ），Ｒ_１（ｔ－１），Ｒ_１（ｔ－２），…，Ｒ_１（ｔ－ｎ＋１）である。即ち、積算部３は、２以上の整数ｎに対して、下の式（１２）による演算を行うことにより、Ｒ_ｎ（ｔ）を求める。

なお、式（１２）で表されるＲ_ｎ（ｔ，ｘ，ｙ）を、式（１３）によっても表すことができる。

積算部３が、異なる時点数分の積算結果をそれぞれ出力するよう構成してもよい。
例えば、図１に示す積算部３は、２フレーム積算残差画像Ｒ_２（ｔ）と、３フレーム積算残差画像Ｒ_３（ｔ）とを、少なくとも出力する。具体的な処理の流れは、次の通りである。
遅延部１５－２は、差分演算部１３から出力される残差画像Ｒ_１（ｔ）を１時点遅延したＲ_１（ｔ－１）を出力する。
加算部１６－２は、遅延部１５－２の出力であるＲ_１（ｔ－１）と、差分演算部１３から出力される残差画像Ｒ_１（ｔ）とを、画素位置ごとにたし合わせる。そして、加算部１６－２は、その加算結果である２フレーム積算残差画像Ｒ_２（ｔ）を出力する。即ち、加算部１６－２は、式（１３）の演算を行う。
遅延部１５－３は、加算部１６－２からの２フレーム積算残差画像Ｒ_２（ｔ）を１時点遅延したＲ_２（ｔ－１）を出力する。
加算部１６－３は、遅延部１５－３の出力であるＲ_２（ｔ－１）と、差分演算部１３から出力される残差画像Ｒ_１（ｔ）とを、画素位置ごとにたし合わせる。そして、加算部１６－３は、その加算結果である３フレーム積算残差画像Ｒ_３（ｔ）を出力する。即ち、加算部１６－３は、式（１３）の演算を行う。
以上のように、積算部３は、２フレーム積算残差画像Ｒ_２（ｔ）および３フレーム積算残差画像Ｒ_３（ｔ）を出力する。

なお、図１においては記載を一部省略しているが、積算部３内に、遅延部および加算部をさらにカスケードして設けることにより、４以上のＮについてもＮフレーム積算残差画像Ｒ_Ｎ（ｔ）を算出することができる。
一般化すれば、ｉ≧３において、次の通りである。
即ち、遅延部１５－ｉは、前段の加算部１６－（ｉ－１）からの（ｉ－１）フレーム積算残差画像Ｒ_ｉ－１（ｔ）を１時点遅延させ、Ｒ_ｉ－１（ｔ－１）を出力する。
また、加算部１６－ｉは、遅延部１５－ｉの出力であるＲ_ｉ－１（ｔ－１）と、差分演算部１３から出力される残差画像Ｒ_１（ｔ）とを、画素位置ごとにたし合わせる。そして、加算部１６－ｉは、その加算結果であるｉフレーム積算残差画像Ｒ_ｉ（ｔ）を出力する。

つまり、Ｎ≧２であるＮに関して、積算部３が、遅延部１５－２，・・・，１５－Ｎと、加算部１６－２，・・・，１６－Ｎを含むように構成することができる。そして、積算部３は、積算残差画像Ｒ_２（ｔ），・・・，Ｒ_Ｎ（ｔ）を算出して出力する。
なお、言うまでもなく、Ｒ_１（ｔ）は、差分演算部１３から得られる。

輝度差判定部４は、前記Ｎフレーム積算画像Ｒ_Ｎ（ｔ）のいずれか１つ以上に基づき、また必要に応じて残差画像Ｒ_１（ｔ）にも基づき、画素位置ごとに所定の輝度差を超える画素値変化があったか否かを判定し、該判定結果を画素位置に対応付けた判定映像Ｃ（ｔ）を出力する。

閾値処理部１７－１は、残差画像Ｒ_１（ｔ）に対して、画素毎に閾値判定を行い、判定結果を画素値とする閾値処理結果画像Ｔ_１（ｔ）を出力する。
閾値処理部１７－２は、２フレーム積算残差画像Ｒ_２（ｔ）に対して、画素毎に閾値判定を行い、判定結果を画素値とする閾値処理結果画像Ｔ_２（ｔ）を出力する。
閾値処理部１７－３は、３フレーム積算残差画像Ｒ_３（ｔ）に対して、画素毎に閾値判定を行い、判定結果を画素値とする閾値処理結果画像Ｔ_３（ｔ）を出力する。
さらに、一般化して、閾値処理部１７－ｉ（ｉ≧２）が、ｉフレーム積算残差画像Ｒ_ｉ（ｔ）に対して、画素毎に閾値判定を行い、判定結果を画素値とする閾値処理結果画像Ｔ_ｉ（ｔ）を出力する。

閾値処理部１７－１および１７－ｉ（ｉ≧２）が判定のために用いる閾値判定ロジックは、それぞれ異なるものであってもよいし、同一のものであってもよい。
例えば、閾値処理部１７－１および１７－ｉ（ｉ≧２）は、２つの閾値θ_－およびθ_＋（但し、θ_－＜θ_＋とする）を用いて、画素位置ごとに３値の判定を実行する。
具体的には、例えば、閾値処理部１７－１および１７－ｉ（ｉ≧２）が出力する閾値処理結果画像Ｔ_ｎ（ｎ∈｛１，２，３，・・・｝）の画素値は、閾値θ_－および閾値θ_＋との大小関係に応じて、例えば－１、０および＋１のいずれかの値をとる。例えば、閾値処理部１７－１および１７－ｉ（ｉ≧２）は、閾値処理結果画像Ｔ_ｎの画素値を下の式（１４）の通りとする。

式（１４）において使用する閾値θ_－およびθ_＋は、入力映像Ｉに応じて制御するよう構成してもよい。例えば、輝度差判定部４は、閾値処理結果画像の画素値Ｔ_ｎ（ｔ，ｘ，ｙ）を求める際に適用する閾値θ_－およびθ_＋を、入力映像Ｉの時刻ｔ以前の画素位置（ｘ，ｙ）における画素値に応じた値とする。

具体的には、時刻ｔの画素位置（ｘ，ｙ）において閾値処理結果画像Ｔ_ｎを得るために適用する閾値をθ_－ ^（ｎ）（ｔ，ｘ，ｙ）およびθ_＋ ^（ｎ）（ｔ，ｘ，ｙ）とする。例えば、θ_－ ^（ｎ）（ｔ，ｘ，ｙ）およびθ_＋ ^（ｎ）（ｔ，ｘ，ｙ）を、下の式（１５）の通りとする。

つまり、この場合、現時点ｔから、現時点のｎフレーム前である時点（ｔ－ｎ）までの入力画像Ｉの画素位置（ｘ，ｙ）における画素値の集合の代表値を所定の関数Θに代入することによって、θ_－ ^（ｎ）（ｔ，ｘ，ｙ）およびθ_＋ ^（ｎ）（ｔ，ｘ，ｙ）が定まる。ここで、前記集合の代表値とは、例えば、最小値、平均値、最大値、中央値などである。式（１５）における「ｍｉｎ」は、代表値として最小値を用いることを表す。他の代表値を用いる場合には、この「ｍｉｎ」を他で置き換える。

なお、関数Θの値域は正である。例えば、関数Θを、広義単調増加としてもよい。高い輝度に対しては輝度差よりも輝度コントラストに応じた閾値処理を行った方が人間の視覚系を想定した有害性判定には好適である場合がある。こうした場合には、関数Θを、全体的または区分的に、単調増加とすることで対応可能である。

本実施形態では、代表値画像演算部５が、入力画像を基に上記の代表値を求めて輝度差判定部４に供給する。
代表値画像演算部５は、現時点ｔから現時点のｎフレーム前である時点（ｔ－ｎ）までの入力映像Ｉの画素位置（ｘ，ｙ）における画素値の最小値を求める。
遅延部１０は、前述の通り、Ｉ（ｔ－１）を出力する。なお、本実施形態では、差分画像演算部２と代表値画像演算部５とで遅延部１０を共用しているが、差分画像演算部２と代表値画像演算部５とで別々の遅延部を設けてもよい。
最小演算部２１－１は、入力画像Ｉ（ｔ－１）と、遅延部１０から出力されるＩ（ｔ－１）とに基づいて、画素位置ごとに、画素値の最小値を求める。最小演算部２１－１は、求めた最小値画像（代表値画像）を閾値処理部１７－１に供給する。
遅延部２２－２は、最小演算部２１－１から出力される最小値画像を１フレーム分遅延させる。
最小演算部２１－２は、遅延部２２－２から出力される最小値画像と、現時点の入力画像Ｉ（ｔ）とに基づいて、画素位置ごとに、画素値の最小値を求める。つまり、最小演算部２１－２は、画素位置ごとに、Ｉ（ｔ）と、Ｉ（ｔ－１）と、Ｉ（ｔ－２）の画素値の最小値を求める。最小演算部２１－２は、求めた最小値画像（代表値画像）を閾値処理部１７－２に供給する。

以下同様であり、一般化すると、遅延部２２－ｉ（ｉ≧２）は、最小演算部２１－（ｉ－１）から出力される最小値画像を１フレーム分遅延させる。
最小演算部２１－ｉは、遅延部２２－ｉから出力される最小値画像と、現時点の入力画像Ｉ（ｔ）とに基づいて、画素位置ごとに、画素値の最小値を求める。つまり、最小演算部２１－２は、画素位置ごとに、Ｉ（ｔ）と、Ｉ（ｔ－１）と、・・・、Ｉ（ｔ－ｉ）との画素値の最小値を求める。最小演算部２１－ｉは、求めた最小値画像（代表値画像）を閾値処理部１７－ｉに供給する。

以上説明したように、代表値画像演算部５は、輝度差判定部４が判定のために用いるための代表値画像を出力する。

輝度差判定部４内の判定部２０は、閾値処理結果画像Ｔ_１からＴ_Ｎまでに基づき、画素位置ごとに所定の判定ルールを適用して判定結果画像Ｃ（ｔ）の画素値を求める。そして、判定部２０は判定結果画像Ｃ（ｔ）を出力する。
判定部２０における判定ルールとしては、例えば、時刻ｔ、画像座標（ｘ，ｙ）における閾値処理結果画像の画素値列（Ｔ_１（ｔ，ｘ，ｙ），Ｔ_２（ｔ，ｘ，ｙ），・・・，Ｔ_Ｎ（ｔ，ｘ，ｙ））が、全項０であれば判定結果Ｃ（ｔ，ｘ，ｙ）＝０とする。画素値列（Ｔ_１（ｔ，ｘ，ｙ），Ｔ_２（ｔ，ｘ，ｙ），…，Ｔ_Ｎ（ｔ，ｘ，ｙ））の中に非零の項が存在する場合には、非零の項の集合Ｗの中で添字の値（Ｔ_ｎ（ｔ，ｘ，ｙ）のｎの値）が最も小さいものの画素値をＣ（ｔ，ｘ，ｙ）とする。即ち、判定部２０は、下の式（１６）によって、判定結果画像Ｃ（ｔ）を求め、出力する。

判定結果画像Ｃ（ｔ）が表す意味は、上の説明からも明らかなように、次の通りである。即ち、判定結果Ｃ（ｔ，ｘ，ｙ）＝＋１の場合には、時刻ｔにおいて画像座標（ｘ，ｙ）の画素値に有意な増加（例えば輝度増加）があったことを意味する。また、判定結果Ｃ（ｔ，ｘ，ｙ）＝－１の場合には、時刻ｔにおいて画像座標（ｘ，ｙ）の画素値に有意な減少（例えば輝度減少）があったことを意味する。さらに、判定結果Ｃ（ｔ，ｘ，ｙ）＝０の場合には、時刻ｔにおいて画像座標（ｘ，ｙ）の画素値には有意な変化（例えば輝度の増減）がなかったことを意味する。

以上の動作により、輝度変化検出装置１は、時々刻々（つまりフレームごとに）、且つ画素位置ごとに、１乃至Ｎフレームの間に所定の閾値を超える輝度変化が有ったか否かを判定し、また必要に応じてその増減を判定し、それらの判定結果を判定結果映像Ｃとして出力する。

輝度変化検出装置１が出力する判定結果映像は、光感受性発作を起こす可能性のある有害な映像フレームの検出に資することができる。例えば、判定結果映像の各画素位置について、ある時点までの判定値（＋１または－１）の時系列（もしくは、判定値＋１または－１を生じた時刻の系列）を一定期間記録し、該系列において所定時間内に所定回数以上の点滅（またはトランジション）を生じたか否かを判定して、該判定結果が「生じた」であった場合には当該画素を有害画素と判定する。さらにフレーム内の有害画素の数を集計し、該集計結果が所定の閾値超（または閾値以上）であった場合には有害フレームであるとして、警告を出力する。
輝度変化検出装置１が出力する判定結果映像は、隣接フレーム間の輝度変化のみならず複数フレームにわたる輝度変化をも考慮して点滅画素を検出するものであるから、前記有害フレームの検出結果も複数フレームにわたる輝度変化に対応したものとなる。これにより、有害なフレームの検出精度を向上することができる。

［第２実施形態］
次に、第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図２は、本実施形態による映像判定装置の機能構成を示すブロック図である。図示するように、映像判定装置３１は、輝度変化検出装置１と、有害映像判定部３２とを含んで構成される。

輝度変化検出装置１の機能構成および動作は、第１実施形態で説明した通りである。輝度変化検出装置１は、入力映像Ｉに含まれる時系列のフレーム（Ｉ（ｔ））を取り込む。そして、輝度変化検出装置１は、入力映像Ｉを解析する処理を行い、その結果として判定結果映像Ｃを出力する。判定結果映像Ｃは、画素位置ごとに、所定期間内に画素値が所定レベル以上変化（増加または減少）したか否かを表す情報を含む。また、画素値が所定レベル以上変化した場合には、その変化が増加であったか減少であったかを表す情報を含む。

有害映像判定部３２は、輝度変化検出装置１が出力する判定結果画像Ｃに基づいて、予め定められた基準に照らして、入力映像Ｉが有害な映像（所定の長さの連続するフレーム）を含むものであるか否かを判定する。
具体的には、有害映像判定部３２は、判定結果映像Ｃの各画素位置について、ある時点までの判定値（＋１または－１）の時系列（もしくは、判定値＋１または－１を生じた時刻の系列）を一定期間記録する。そして、有害映像判定部３２は、その系列において所定時間内に所定回数以上の点滅を生じたか否かを判定する。つまり、有害映像判定部３２は、各画素位置について、判定値の＋１から－１へのトランジション、および－１から＋１へのトランジションが規定回数以上生じたか否かを判定する。
その判定結果が「生じた」である場合には、有害映像判定部３２は、当該画素を有害画素と判定する。さらに、有害映像判定部３２は、フレーム内の有害画素の数を集計し、該集計結果であるところの有害画素数または全体画素数に占める有害画素数の割合が所定の閾値超（または閾値以上）であった場合には「有害フレームである」として、警告を出力する。有害画素数または有害画素数の割合が閾値超（または閾値以上）という条件を満たさない場合には、有害映像判定部３２は、上記警告を出力しない（または「有害フレームではない」という情報を出力する）。

以上の動作により、映像判定装置３１は、入力映像Ｉに有害映像が含まれる場合にはその旨の警告を出力することができる。

なお、上述した実施形態における輝度変化検出装置１や映像判定装置３１の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。

［変形例１］
輝度変化検出装置１が代表値画像演算部５を持たなくてもよい。その場合、輝度差判定部４は、入力画像Ｉ（ｔ），Ｉ（ｔ－１），Ｉ（ｔ－２），・・・が有する画素位置ごとの画素値に依らず、輝度差の判定を行う。例えば、閾値処理部１７－１，１７－２，１７－３，・・・は、入力画像に含まれる画素値に依らない閾値を用いた判定を行う。例えば、閾値処理部１７－１，１７－２，１７－３，・・・は、予め設定された閾値に基づいて閾値処理を行う。

［変形例２］
差分画像演算部２が、動き推定部１１および動き補償部１２を持たなくてもよい。この場合、差分演算部１３は、動き補償されない画素値に基づいて差分画像を算出する。これは、動きベクトルが常に零ベクトル（０，０）である場合と同様の結果を生み出す。

［変形例３］
差分画像演算部２は、１画素ごとの差分画像を算出する代わりに、複数画素から成るブロックごとの差分値からなる差分画像を算出するようにしてもよい。この場合、輝度差判定部４は、ブロックごとに輝度変化の判定を行い、ブロックごとの判定結果からなる判定結果画像を出力する。

以上説明した実施形態およびその変形例を実施した場合、その作用および効果は次の通りである。
輝度変化検出装置１が積算部３を含み、積算部３は隣接フレーム間の輝度変化を表す差分画像を複数積算する。これにより、隣接フレーム間の輝度変化のみならず複数フレームにわたる輝度変化をも考慮して有害な点滅を構成する輝度変化を捉えることが可能となる。
差分画像演算部２が動き推定部１１および動き補償部１２を含む。これにより、差分画像演算部２は、動き補償の処理をした上で差分画像を算出する。これにより、例えばテクスチャのある物体の運動によりある画素位置の輝度変化が生じる場合に、これを有害な点滅と判定しないように、輝度変化を検出することが可能となる。
輝度変化検出装置１が代表値画像演算部５を含み、代表値画像演算部５は、入力画像に含まれる画素位置ごとの画素値の代表値を出力する。これにより、輝度差判定部４は、ある時間区間における有意な輝度変化を検出するにあたって、当該時間区間における入力映像の各画素値またはその代表値に応じた適応的な閾値処理が可能となる。このような適応的な閾値処理により、例えば、輝度変化のみならず輝度コントラストに基づく有意性の判定も可能。つまり、生体への影響をより詳細に考慮した点滅画素の判定が可能とする情報を出力できる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、映像コンテンツを制作したり、放送あるいは配信したりする事業に利用することができる。また、映像コンテンツを検査する事業にも利用することができる。ただし、本発明の利用範囲はここに例示したものに限定されるものではない。

１ 輝度変化検出装置
２ 差分画像演算部
３ 積算部
４ 輝度差判定部
５ 代表値画像演算部
１０ 遅延部
１１ 動き推定部
１２ 動き補償部
１３ 差分演算部
２０ 判定部
１５－２，１５－３，・・・ 遅延部
１６－２，１６－３，１６－４，・・・ 加算部
１７－１，１７－２，１７－３，・・・ 閾値処理部
２１－１，２１－２，２１－３，・・・ 最小演算部
２２－２，２２－３，２２－４，・・・ 遅延部
３１ 映像判定装置
３２ 有害映像判定部

Claims (5)

1. 映像を入力し、当該映像における撮像時刻の異なる入力画像間の動き推定を行う動き推定部と、
   前記動き推定部による動き推定の結果に基づいて、前記入力画像における動き補償を行う動き補償部と、
   前記動き補償部による動き補償を行った結果得られる動き補償予測残差を差分画像として出力する差分演算部と、
   複数の前記差分画像を積算した積算差分画像を算出する積算部と、
   前記差分画像および前記積算差分画像の画素位置ごとに、閾値処理を施し、前記入力画像間で所定範囲の輝度変化を有する画素を検出する輝度差判定部と、
   を備える輝度変化検出装置。
2. 前記輝度差判定部は、前記閾値処理において画素位置ごとに閾値制御するものであり、前記閾値制御は前記映像の当該画素位置における現在または過去の画素値に応じて制御されるものである、
   請求項１に記載の輝度変化検出装置。
3. 前記映像の画素位置ごとの現在および過去の画素値列の代表値を出力する代表値画像演算部、
   を備え、
   前記輝度差判定部は、前記閾値処理において、前記代表値画像演算部が出力する画素位置ごとの前記代表値に基づいて閾値制御する、
   請求項２に記載の輝度変化検出装置。
4. 前記代表値は、画素位置ごとの、現在および所定範囲内の過去の画素値列の最小値である、
   請求項３に記載の輝度変化検出装置。
5. コンピューターを、
   映像を入力し、当該映像における撮像時刻の異なる入力画像間の動き推定を行う動き推定部と、
   前記動き推定部による動き推定の結果に基づいて、前記入力画像における動き補償を行う動き補償部と、
   前記動き補償部による動き補償を行った結果得られる動き補償予測残差を差分画像として出力する差分演算部と、
   複数の前記差分画像を積算した積算差分画像を算出する積算部と、
   前記差分画像および前記積算差分画像の画素位置ごとに、閾値処理を施し、前記入力画像間で所定範囲の輝度変化を有する画素を検出する輝度差判定部と、
   を備える輝度変化検出装置として機能させるためのプログラム。

Images