JP6208936B2

JP6208936B2 - 映像動き評価方法および映像動き評価装置

Info

Publication number: JP6208936B2
Application number: JP2012250154A
Authority: JP
Inventors: 児玉　明; 明児玉
Original assignee: Hiroshima University NUC
Current assignee: Hiroshima University NUC
Priority date: 2012-11-14
Filing date: 2012-11-14
Publication date: 2017-10-04
Anticipated expiration: 2032-11-14
Also published as: JP2014099028A

Description

本発明は、映像の動きを評価する技術に関する。

近年、テレビジョン装置やプロジェクター装置などの大画面化が進み、誰でも気軽に大画面で迫力ある映像を鑑賞できるようになった。他方で、大画面に表示された映像を視聴することで、めまい、倦怠感、顔面蒼白などの体調不良を引き起こす「映像酔い」が問題化しつつある。映像酔いは、映像全体および／または映像内のオブジェクトが不規則に揺らいだり、過度な動きをしたりするなど、視覚的な運動が多く含まれている映像を視聴した場合に生じやすいと考えられている。また、そのような映像を長時間視聴すると、ひどい場合には、胃部の不快感、吐き気、嘔吐などを引き起こすことが知られている。したがって、映像の動きを評価して、その映像が映像酔いを引き起こす可能性があるかどうかを判定することは非常に有用なことである。

従来の映像の動き評価は、グローバル動き補償を利用してカメラパラメータなどを算出することで行っている。例えば、入力された映像から画像オブジェクトを抽出し、当該画像オブジェクトが画面に対して占める割合と当該画像オブジェクトの揺れ周波数を検出して映像の動きを評価している（例えば、特許文献１参照）。

特開２０１２−１６５３３８号公報

映像酔いを未然に防ぐには、視聴者が視聴中の映像が映像酔いを引き起こす可能性がある場合に視聴者に警告を発することが有効である。それには映像の動きがリアルタイムで評価できなければならない。この点に関して、従来の映像の動き評価では、動画像符号化データを復号して映像フレームを生成し、当該映像フレームを用いてグローバル動き補償を行っているため、動画像符号化データの復号およびグローバル動き補償に要する演算量が比較的多く、リアルタイムでの映像の動き評価が困難である。さらに、映像内のオブジェクトの動きを検出する場合には、映像フレームからオブジェクトの形状抽出を行うため、さらに膨大な演算が必要となり、リアルタイムでの映像の動き評価は事実上不可能である。映像フレームの画素精度を落とすことで演算量を多少削減することができるが、そうすると評価精度が低下するおそれがある。

上記問題に鑑み、本発明は、映像の動きを精度よく、かつ、リアルタイムで評価できるようにすることを課題とする。

本発明の一局面に従った映像動き評価方法は、動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得するステップと、前記取得した動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数するステップと、前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するステップと、前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックの前記フレームにおける位置情報を取得するステップと、前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価するステップとを備えている。

また、本発明の一局面に従った映像動き評価装置は、動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得する動きベクトル取得部と、前記取得された動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数し、前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するヒストグラム解析部と、前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックの前記フレームにおける位置情報を取得する画素ブロック位置取得部と、前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価する映像動き評価部とを備えている。

当該方法および装置によると、動画像符号化データに含まれる動きベクトルについてヒストグラム解析が行われて映像の動きを特徴付ける特徴動きベクトルが抽出され、当該特徴動きベクトルおよび当該特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きが評価される。したがって、動画像符号化データを復号することなく、また、画素精度も落とすことなく映像の動きを評価することができるため、映像の動き評価に係る演算量が従来よりも大幅に削減され、リアルタイムかつ高精度に映像の動きを評価することができる。

前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータが算出され、当該カメラパラメータの値および時間変動に基づいて映像の動きが評価されてもよい。同様に、前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータを算出し、当該カメラパラメータの値および時間変動に基づいて映像の動きを評価してもよい。

これによると、映像のグローバル動きをリアルタイムで評価することができる。

また、前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度が算出され、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きが評価されてもよい。同様に、前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度を算出し、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きを評価してもよい。

これによると、映像内のオブジェクトの動き、すなわち映像のローカル動きをリアルタイムで評価することができる。

さらに、前記映像動き評価部は、映像の動きが大きいと判断した場合、映像酔いの警告を行ってもよい。これにより、映像酔いを効果的に予防することができる。

本発明によると、映像の動きを精度よく、かつ、リアルタイムで評価することができる。これにより、視聴者が視聴中の映像が映像酔いを引き起こす可能性がある場合に視聴者に警告を発して、映像酔いを未然に防ぐことができる。

本発明の一実施形態に係る映像動き評価装置の主要部分の機能ブロック図動画像符号化データに含まれる動きベクトルを視覚的に表した図動きベクトルの量子化の例を示す図代表動きベクトルの度数分布の例を示す図特徴動きベクトルの抽出の概要を説明するための図特徴動きベクトルとそれに対応する画像領域との関係を示す図

以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。

図１は、本発明の一実施形態に係る映像動き評価装置１０の主要部分の機能ブロック図である。本実施形態に係る映像動き評価装置１０は、動画像符号化データの再生映像の動きを評価するものであり、動きベクトル取得部１２、ヒストグラム解析部１４、画素ブロック位置取得部１６、および映像動き評価部１８を備えている。これら構成要素は電子回路などのハードウェアで実現することもできるし、コンピュータで実行されるコンピュータプログラムまたはソフトウェアとして実現することもできる。また、ハードウェアとソフトウェアを混合した形態で実現することもできる。

動画像符号化データは、動き補償フレーム間予測符号化されたフレームを含む動画像符号化データであり、例えば、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣなどに準拠した動画像符号化データである。動画像符号化データは、デジタルテレビジョン放送や通信回線を通じて受信したり、各種記録媒体から読み出したりするなどして映像動き評価装置１０に提供される。なお、説明の便宜のため、動画像符号化データはＭＰＥＧ−２に準拠した動画像符号化データであり、１ＧＯＰ（Group Of Picture）にはＩピクチャが１フレーム、Ｐピクチャが４フレーム、Ｂピクチャが１０フレーム含まれるものとする。ＭＰＥＧ−２では、Ｐピクチャがフレーム間の順方向予測符号化によって得られるピクチャ、Ｂピクチャがフレーム間の双方向予測符号化によって得られるピクチャである。

動画像符号化データにはフレーム間で動き補償を行うための動きベクトルが含まれている。動きベクトルはブロックマッチング法によって算出される。ブロックマッチング法とは、フレームを所定の大きさの領域（例えば、１６×１６画素の画素ブロック）に分割し、フレーム間で各画素ブロックが所定の探索範囲内（例えば、３２×３２画素）のどの位置に移動したかを評価することで各画素ブロックの動きベクトルを算出するものである。フレーム間の画素ブロックのマッチング評価には画素値の差の絶対値和（SAD:Sum of Absolute Difference）などが用いられ、ＳＡＤが最小となるような動きベクトルが選択される。

図２は、動画像符号化データに含まれる動きベクトルを視覚的に表した図である。図中の格子で囲まれた四角が各画素ブロックであり、動きベクトルは白抜き矢印で表示している。図２（ａ）は、乗り物の映像におけるあるフレームの各画素ブロックの動きベクトルを表す。なお、同図は、一般財団法人映像情報メディア学会および一般財団法人電波産業会が制作の「ハイビジョン・システム評価用標準動画像第２版」に収録されているシーケンス名称「トロッコ列車」の１シーンである。原映像は１９２０×１０８０画素の映像であるが、これを７０４×４８０画素の映像にフォーマット変換して使用した。

乗り物（トロッコ列車）は画面右から左方向へ向けて移動しているため、乗り物部分の画素ブロックの動きベクトルは概ね左向きの動きベクトルとなっている。また、当該映像はカメラ視点を画面右から左方向に移動（パン）して撮影しているため、背景は画面左から右方向に流れる。したがって、背景部分の画素ブロックの動きベクトルは概ね右向きの動きベクトルとなっている。

図２（ｂ）は、マラソン競技の映像におけるあるフレームの各画素ブロックの動きベクトルを表す。なお、同図は、上記「ハイビジョン・システム評価用標準動画像第２版」に収録されているシーケンス名称「マラソン（フィックス）」の１シーンである。上記と同様のフォーマット変換をして使用した。

ランナーは画面右上から左下方向へ向けて移動しているため、ランナー部分の画素ブロックの動きベクトルは概ね左下向きの動きベクトルとなっている。また、当該映像はカメラ視点を固定して撮影しているため、画面左上の背景（観客部分）にはほとんど動きがなく、背景部分の画素ブロックの動きベクトルはほぼゼロである。

図１に戻り、動きベクトル取得部１２は、動画像符号化データから、Ｐピクチャおよび／またはＢピクチャにおける各画素ブロックの動きベクトルを取得する。ただし、Ｂピクチャは順方向および逆方向予測に係る動きベクトルを有するため、Ｂピクチャの動きベクトルを取得する場合、順方向の動きベクトルのみを取得するか、あるいは逆方向の動きベクトルについては向きを反転して、すなわち、順方向の動きベクトルに置き換えて取得する。これは、映像動き評価装置１０は動画像符号化データに含まれる動きベクトルに基づいて映像の動きを評価するため、当該評価で使用する動きベクトルはすべて順方向予測に係る動きベクトルに統一する必要があるからである。

上述したようにブロックマッチング法ではＳＡＤが最小になるように動きベクトルを求めているため、関係のない画素ブロック間でＳＡＤが最小であれば誤った動きベクトルが生成されてしまうことがある。例えば、図２（ａ）において、乗り物の前方の道路の部分において、背景部分の大部分を占める右向きの動きベクトルとは異なる下向きや右下向きの動きベクトル、すなわち誤った動きベクトルが存在する。また、カメラ視点が画面右から左方向に移動しているため、フレームの左端においても誤った動きベクトルが生成されている。

誤った動きベクトルの発生は動画像符号化データを生成するエンコーダの性能により異なる。エンコーダの性能が低ければ誤った動きベクトルが多く発生すると予想される。誤った動きベクトルは映像の動き評価の精度を低下させるおそれがあるため、動きベクトル取得部１２は、動画像符号化データに含まれる動きベクトルをスクリーニングして誤った動きベクトルを取得せずに正しい動きベクトルのみを取得してもよい。例えば、各画素ブロックの動きベクトルをその周りの画素ブロックの動きベクトルと比較することで、周りと比べて特異な動きベクトルを誤った動きベクトルとして検出することができる。したがって、動きベクトル取得部１２は、特異な動きベクトルは除外してそれ以外の動きベクトルを取得するようにしてもよい。

ヒストグラム解析部１４は、動きベクトル取得部１２が取得した動きベクトルを代表動きベクトルに量子化し、当該代表動きベクトルに関してヒストグラム解析を行う。ここで言うヒストグラム解析とは、１フレーム分の各代表動きベクトルの出現頻度、すなわち度数を計数して、代表動きベクトルの中から度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出することである。

ＭＰＥＧ−２では動きベクトルは１／２画素の精度を有するが、動きベクトルの精度が高いと映像の動き評価における計算量が非常に多くなる。また、映像の動き評価に高精度の動きベクトルは必要でなく、各画素ブロックのおおよその動きがわかればよい。そこで、動きベクトルを代表動きベクトルに量子化して、映像の動き評価に用いる動きベクトルの精度を落として計算量を抑制する。

図３は、動きベクトルの量子化の例を示す。図３（ａ）は、動きベクトルの精度を１画素にしたときの量子化の例である。例えば、動きベクトルｂ_１およびｂ_２は、それぞれ、１画素精度の代表動きベクトルａ_５３およびａ_−３２に置き換えられる。なお、代表動きベクトルの添字はＸＹ座標軸におけるＸ軸成分およびＹ軸成分を表す。一方、図３（ｂ）は、動きベクトルの精度を２画素にしたときの量子化の例を示す。例えば、上記と同じ動きベクトルｂ_１およびｂ_２は、それぞれ、２画素精度の代表動きベクトルａ_３１およびａ_−２１に置き換えられる。このように、量子化によって動きベクトルは最も近い代表動きベクトルに置き換えられる。

ヒストグラム解析部１４は、１フレーム分の動きベクトルを量子化して、各代表動きベクトルの度数を計数する。すなわち、１フレーム分の代表動きベクトルの度数分布が生成される。図４は、図２（ａ）に示した映像に係る代表動きベクトルの度数分布を示す。図４（ａ）は１画素精度の代表動きベクトルの度数分布であり、図４（ｂ）は２画素精度の代表動きベクトルの度数分布であり、図４（ｃ）は４画素精度の代表動きベクトルの度数分布である。このように画素精度を落とす、すなわち、動きベクトルの量子化を粗くするにつれ、代表動きベクトルの数が減り、代表動きベクトル一つ当たりの出現頻度が増大する。しかし、代表動きベクトルの画素精度を落としても、図４に示したどの度数分布も図２（ａ）の映像例の特徴をよく表している。すなわち、図２（ａ）の映像例では、画面中で比較的大きな画像領域を占める乗り物部分の画素ブロックはおおよそ左方向に動き、また、画面中の残りの大きな画像領域を占める背景部分の画素ブロックはおおよそ右方向に動いているため、図４に示したどの度数分布においても、Ｙ軸成分がほぼゼロでＸ軸成分が負の特定値であるような代表動きベクトル、およびＹ軸成分がほぼゼロでＸ軸成分が正の特定値であるような代表動きベクトルの度数が突出している。

さらに、ヒストグラム解析部１４は、代表動きベクトルの中から度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出する。ヒストグラム解析部１４による特徴動きベクトルの抽出について図５を参照しながら説明する。なお、説明の便宜のため、図５では代表動きベクトルのＹ軸成分を無視してＸ軸成分のみを考慮している。

例えば、代表動きベクトルの度数が図５に示したように分布になったとする。すなわち、代表動きベクトルのＸ軸成分がｐ１およびｐ２であるところに分布の山ができているとする。Ｘ＝ｐ１のときの度数はｆ１であり、Ｘ＝ｐ２のときの度数はｆ２である。視聴者は映像内で比較的大きな面積を占める画像領域の動きを注視すると考えられ、そのような画像領域の動きは代表動きベクトルの度数分布において山となって現れる。そこで、ヒストグラム解析部１４は、代表動きベクトルの度数分布における山を適当な幅で切り出し、当該切り出した部分に含まれる代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出する。

例えば、ヒストグラム解析部１４は、Ｘ＝ｐ１を中心として±Ｈ１の範囲に含まれる代表動きベクトルを画像領域Ｏ１の特徴動きベクトルとして抽出し、Ｘ＝ｐ２を中心として±Ｈ２の範囲に含まれる代表動きベクトルを画像領域Ｏ２の特徴動きベクトルとして抽出する。このように、代表動きベクトルの度数分布の各山のピーク値からの距離を閾値として各山を切り出すことができる。あるいは、ヒストグラム解析部１４は、度数が閾値よりも大きい代表動きベクトルを特徴動きベクトルとして抽出するようにしてもよい。

なお、ヒストグラム解析部１４は、１フレーム分の動きベクトルを量子化する以外に、動きベクトルの大きさおよび方向のいずれか一方のみに着目してヒストグラム解析を行ってもよい。すなわち、ヒストグラム解析部１４は、動きベクトルのノルムに関してヒストグラム解析を行ってもよいし、あるいは、動きベクトルの方向に関してヒストグラム解析を行ってもよい。このようにヒストグラム解析の対象を動きベクトルの大きさおよび方向のいずれか一方に絞ることで計算量が減り、ヒストグラム解析部１４は、より高速にヒストグラム解析を行うことができる。

図１に戻り、画素ブロック位置取得部１６は、動画像符号化データから、ヒストグラム解析部１４によって抽出された特徴動きベクトルに対応する画素ブロックのフレームにおける位置情報を取得する。具体的には、画素ブロック位置取得部１６は、各特徴動きベクトルの量子化前の動きベクトルを特定し、動画像符号化データから当該動きベクトルを有する画素ブロックの位置情報を取得する。

特徴動きベクトルに対応する画素ブロックの位置情報を取得することにより、映像内で動きのある部分がオブジェクトなのか背景なのかその両方なのかが判明する。図６は、図５の例で抽出された特徴動きベクトルとそれに対応する画像領域との関係を示す。例えば、図５の例で抽出された画像領域Ｏ１およびＯ２の特徴動きベクトルに対応する画素ブロックの位置がいずれもフレームの内側に該当する場合、図６（ａ）に示したように、これら画像領域Ｏ１およびＯ２はいずれも映像内で動きのあるオブジェクトであると推定される。一方、図５の例で抽出された画像領域Ｏ１の特徴動きベクトルに対応する画素ブロックの位置がフレームの周縁に該当し、画像領域Ｏ２の特徴動きベクトルに対応する画素ブロックの位置がフレームの内側に該当する場合、図６（ｂ）に示したように、画像領域Ｏ１は背景であり、画像領域Ｏ２は映像内で動きのあるオブジェクトであると推定される。

図１に戻り、映像動き評価部１８は、ヒストグラム解析部１４によって抽出された特徴動きベクトル、および画素ブロック位置取得部１６によって取得された、特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価する。

映像の動き評価は、主にカメラワークに起因するグローバル動きの評価、および主に映像内のオブジェクトの動きに起因するローカル動きの評価に分けることができる。映像動き評価部１８は、上述したように特徴動きベクトルおよびそれに対応する画素ブロックの位置情報に基づいて映像中で動きのある部分を特定することで、グローバル動きおよびローカル動きをそれぞれ検出する。

具体的には、映像動き評価部１８は、特徴動きベクトルに対応する画素ブロックの位置がフレームの周縁に該当する場合、グローバル動きと判断して、当該特徴動きベクトルから各種カメラパラメータを算出する。例えば、当該特徴動きベクトルのＸ軸成分がゼロ以外の有意な値であればカメラ視点が左または右に動いている、すなわち、カメラがパンしていると考えられるため、映像動き評価部１８は、当該特徴動きベクトルのＸ軸成分からパン速度を算出する。また、当該特徴動きベクトルのＹ軸成分がゼロ以外の有意な値であればカメラ視点が上または下に動いている、すなわち、カメラがチルトしていると考えられるため、映像動き評価部１８は、当該特徴動きベクトルのＹ軸成分からチルト速度を算出する。また、フレームの左右または上下で当該特徴動きベクトルの向きが互いに逆であればカメラ視点が回転している、すなわち、カメラがロールしていると考えられるため、映像動き評価部１８は、当該特徴動きベクトルのＸ軸成分またはＹ軸成分からロール速度を算出する。また、フレームの四隅領域における各特徴動きベクトルの向きが放射方向または中心方向であればカメラがズームインまたはズームアウトしていると考えられるため、映像動き評価部１８は、当該特徴動きベクトルからズーム速度を算出する。

なお、パン、チルト、ロール、ズームなどの各種カメラワークにおいて典型的に出現する特徴動きベクトルの量（大きさ）および／または向きをパターン化しておいてもよい。これにより、映像動き評価部１８は、パターン化された特徴動きベクトルとヒストグラム解析部１４によって抽出された特徴動きベクトルとのパターンマッチングを行うことで各種カメラパラメータを容易に算出することができる。

また、映像動き評価部１８は、フレームの四隅領域における各特徴動きベクトルについてパターンマッチング処理を行ってもよい。これにより、動画像符号化データに含まれる動きベクトルについてのヒストグラム解析に依らずに各種カメラパラメータを算出することができる。

映像動き評価部１８は、算出した各種カメラパラメータの値と閾値とを比較し、カメラパラメータの値が閾値を越えていれば、映像酔いの警告を行ってもよい。カメラパラメータの値が大きいということは、それだけ映像の背景が大きく動いているということであり、映像酔いを引き起こす可能性があるからである。なお、当該警告は、例えば、警告音を発したり、映像に警告字幕をスーパーインポーズしたりすることで行うことができる。

さらに、映像動き評価部１８は、算出した各種カメラパラメータの時間変動を算出してもよい。当該時間変動は、ＦＦＴ（Fast Fourier Transform）解析やウェーブレット変換などの時間周波数解析によって算出することができる。例えば、フレームレートが３０ｆｐｓ（frames per second）の動画像符号化データに含まれるＰピクチャの動きベクトルを用いて映像の動き評価をする場合、各種カメラパラメータは１秒当たり８回算出される。したがって、上記の時間周波数解析を数秒から数十秒間行うことで、各種カメラパラメータの時間変動を算出することができる。映像の動き評価のリアルタイム性を重視するのであれば、上記の時間周波数解析の期間を例えば１秒程度にしてもよい。映像の背景が目まぐるしく動いたり、不規則に揺らいだりするようであれば、各種カメラパラメータの時間周波数解析結果から高周波成分が検出されるはずである。そこで、映像動き評価部１８は、各種カメラパラメータの時間周波数解析結果から高周波成分を検出した場合もまた上述のような映像酔いの警告を行ってもよい。

また、具体的には、映像動き評価部１８は、特徴動きベクトルに対応する画素ブロックの位置がフレームの内側に該当する場合、ローカル動きと判断して、当該特徴動きベクトルから映像内のオブジェクトの移動方向および移動速度を算出する。例えば、当該特徴動きベクトルの大きさから映像内の各オブジェクトの移動速度を算出することができる。映像動き評価部１８は、算出した各オブジェクトの移動速度と閾値とを比較し、各オブジェクトの移動速度が閾値を越えていれば、上述のような映像酔いの警告を行ってもよい。オブジェクトの移動速度が大きい場合、映像酔いを引き起こす可能性があるからである。

さらに、映像動き評価部１８は、算出した各オブジェクトの移動方向および移動速度の時間変動を算出してもよい。当該時間変動は、ＦＦＴ解析やウェーブレット変換などの時間周波数解析によって算出することができる。上述したように、上記の時間周波数解析を数十秒間行うことで、各オブジェクトの移動方向および移動速度の時間変動を算出することができる。映像内で比較的大きな画像領域を占めるオブジェクトが目まぐるしく動いたり、不規則に揺らいだりするようであれば、各オブジェクトの移動方向および移動速度の時間周波数解析結果から高周波成分が検出されるはずである。そこで、映像動き評価部１８は、各オブジェクトの移動方向および移動速度の時間周波数解析結果から高周波成分を検出した場合もまた上述のような映像酔いの警告を行ってもよい。

以上のように、本実施形態に係る映像動き評価装置によると、動画像符号化データに含まれる動きベクトルについてヒストグラム解析を行うことで映像の動きを特徴付ける特徴動きベクトルを得て、当該特徴動きベクトルおよび当該特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価することができる。したがって、動画像符号化データを復号することなく、また、画素精度を落とすことなく、映像の動きを評価することができるため、映像の動き評価に係る演算量が従来よりも大幅に削減され、リアルタイムかつ高精度に映像の動きを評価することができる。

また、映像のグローバル動きおよびローカル動きを独立に検出して、これらの動きを個別に評価することができる。

さらに、映像動き評価部１８が、映像の動きが大きいと判断した場合、映像酔いの警告を行うため、映像酔いを未然に防ぐことができる。

本発明に係る映像動き評価方法および映像動き評価装置は、映像の動きを精度よく、かつ、リアルタイムで評価することができるため、テレビジョン装置やプロジェクター装置などの映像再生機器や、ビデオカメラなどの映像撮影機器に有用である。

１０映像動き評価装置
１２動きベクトル取得部
１４ヒストグラム解析部
１６画素ブロック位置取得部
１８映像動き評価部

Claims

動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得するステップと、
前記取得した動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数するステップと、
前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するステップと、
前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックについて前記フレームにおける位置情報を取得するステップと、
前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価するステップとを備えている
ことを特徴とする映像動き評価方法。
請求項１に記載の映像動き評価方法において、
前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータが算出され、当該カメラパラメータの値および時間変動に基づいて映像の動きが評価される
ことを特徴とする映像動き評価方法。
請求項１および２のいずれか一つに記載の映像動き評価方法において、
前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度が算出され、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きが評価される
ことを特徴とする映像動き評価方法。
動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得する動きベクトル取得部と、
前記取得された動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数し、前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するヒストグラム解析部と、
前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックについて前記フレームにおける位置情報を取得する画素ブロック位置取得部と、
前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価する映像動き評価部とを備えている
ことを特徴とする映像動き評価装置。
請求項４に記載の映像動き評価装置において、
前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータを算出し、当該カメラパラメータの値および時間変動に基づいて映像の動きを評価する
ことを特徴とする映像動き評価装置。
請求項４および５のいずれか一つに記載の映像動き評価装置において、
前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度を算出し、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きを評価する
ことを特徴とする映像動き評価装置。
請求項４から６のいずれか一つに記載の映像動き評価装置において、
前記映像動き評価部は、映像の動きが大きいと判断した場合、映像酔いの警告を行う
ことを特徴とする映像動き評価装置。