JP5727886B2 - 不快度推定装置及び不快度推定プログラム - Google Patents

Description

本発明は、映像の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。

家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺（映像の揺れ）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。

「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月

しかし、前記した「手ぶれ補正」では長周期の揺れは補正ができない、あるいは不十分であり、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけで、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件および、その条件に対する現在の生理的状態の程度のみである。

これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーションに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、グローバルモーションに対する視聴者の心理的な「不快度」を具体的に把握するものではなく、グローバルモーションによる「不快度」を基準として映像の良否を判定するには不向きであった。

本願出願人は、生理的指標を用いることなく、グローバルモーションと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置を開発した（特願２０１０−１１０４０１；本願出願時未公開）。
かかる不快度推定装置において、グローバルモーションを算出する際には、映像中の図と地との関係から、注目する領域によっては異なる値のパラメータが検出される。そのため、グローバルモーションを用いて不快度を一意に推定するためには、何らかの拘束条件を用いる必要がある。
また、かかる不快度推定装置では、面積が１／２未満に縮小表示された映像における画面動揺（部分動揺画像）、画面中央で左右に線対称で表示される鏡像の回転映像（鏡像画像）等では、グローバルモーションは０と検出されるため、不快度を０と算出してしまうという問題がある。
また、動揺画像の表示画角（面積）が大きいほど不快度が高くなるという性質が明らかになっているにも関わらず、かかる不快度推定装置では、動揺画像を全画面表示した場合も１／２未満に縮小表示した場合も不快度は同じであると推定してしまう。
また、手持ち撮影された一般的な映像におけるグローバルモーションを１画素未満の誤差で検出するには、最も高精度とされるＭＤＰＥ（Maximum Density Power Estimator）法で１０００回以上の繰り返し演算が必要となるため、現時点で入手可能な最高速最速ワークステーション（４コアXeon ２基搭載機）を用いても、不快度を推定するまでに実時間の数倍の時間を要してしまう。当然、専用ハードウェアを構築する場合にも、回路規模が莫大になってしまう。

本発明は、前記した事情に鑑みて創案されたものであり、グローバルモーションを用いずに視聴者が感じる不快度を推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。

前記課題を解決するため、本発明の不快度推定装置は、映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定装置であって、領域別動きベクトル検出部と、第一のフィルタ部と、動き領域判定部と、動き領域重心算出部と、平均補正済み動きベクトル算出部と、差ベクトル算出部と、周径方向動きベクトル算出部と、第二のフィルタ部と、総動揺エネルギー算出部と、を備える。

不快度推定装置は、領域別動きベクトル検出部によって、画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出し、第一のフィルタ部によって、検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得て、動き領域判定部によって、前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する。

また、不快度推定装置は、動き領域重心算出部によって、動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出し、平均補正済み動きベクトル算出部によって、動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する。

また、不快度推定装置は、差ベクトル算出部によって、動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出し、周径方向動きベクトル算出部によって、動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出し、第二のフィルタ部によって、動きありと判定された前記領域ごとに、前記周方向動きベクトルに周波数感度補正を施すことによって補正済み周方向動きベクトルを得る。

また、不快度推定装置は、総動揺エネルギー算出部によって、動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、及び、前記補正済み周方向動きベクトルの二乗の和を算出することによって、不快度として総動揺エネルギーを算出する。

かかる構成によると、グローバルモーションを用いずに視聴者が感じる不快度を推定することができる。

不快度推定装置は、総動揺エネルギー補正部を備える構成であってもよい。この場合、不快度推定装置は、総動揺エネルギー補正部によって、前回の前記総動揺エネルギーが大きいほど今回の前記総動揺エネルギーが大きくなるように今回の前記総動揺エネルギーを補正することによって、不快度として補正後の総動揺エネルギーを算出する。

かかる構成によると、時間蓄積を反映した不快度を推定することができる。

不快度推定装置は、対数変換部を備える構成であってもよい。この場合、不快度推定装置は、対数変換部によって、前記補正後の総動揺エネルギーを対数変換することによって、不快度として対数変換された前記補正後の総動揺エネルギーを算出する。また、不快度推定装置は、対数変換部によって、前記総動揺エネルギーを対数変換することによって、不快度として対数変換された前記総動揺エネルギーを算出する構成であってもよい。

かかる構成によると、不快度を線形的な知覚量に近似させることができる。

不快度推定装置は、総動揺エネルギー補正部によって、前回の前記総動揺エネルギーに、０よりも大きく１よりも小さい定数を乗じ、今回の前記総動揺エネルギーに、定数が乗じられた前回の前記総動揺エネルギーを加算することによって、補正後の今回の前記総動揺エネルギーを得る構成であってもよい。

また、前記第一のフィルタ部は、第一のデジタルフィルタと、第二のデジタルフィルタと、を備える構成であってもよい。かかる構成によると、不快度推定装置は、第一のデジタルフィルタによって、前記動きベクトルの上下方向成分である上下方向動きベクトルに周波数感度補正を施し、第二のデジタルフィルタによって、前記動きベクトルの左右方向成分である左右方向動きベクトルに前記第一のデジタルフィルタとは異なる周波数感度補正を施す。

不快度推定装置は、動き領域判定部によって、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する構成であってもよい。

前記第二のフィルタ部は、第三のデジタルフィルタを備える構成であってもよい。かかる構成によると、不快度推定装置は、前記周方向動きベクトルに対して、前記径方向動きベクトルとの相対感度の周波数特性に対応する周波数感度補正を施す。

不快度推定装置は、総動揺エネルギー算出部によって、動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、及び、前記補正済み周方向動きベクトルの二乗の和を直前の所定時間分加算することによって、前記総動揺エネルギーを算出する構成であってもよい。

また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。

本発明によれば、グローバルモーションを用いずに視聴者が感じる不快度を推定することができる。

本発明の実施形態に係る不快度推定装置を示すブロック図である。 動きベクトルごとの不快度の感度の周波数特性の一例を示すグラフである。 （ａ）は各領域の補正済み動きベクトルの一例を示す図、（ｂ）は動きありと判定された領域の差ベクトルの一例を示す図である。 動きありと判定された領域の周方向動きベクトル及び径方向動きベクトルの一例を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。図１に示すように、本発明の実施形態に係る不快度推定装置１は、映像における動きベクトルに基づいて画面動揺に対する不快度を推定するものであり、機能部として、領域別動きベクトル検出部１０と、第一のフィルタ部２０と、動き領域判定部３０と、動き領域重心算出部４０と、平均補正済み動きベクトル算出部５０と、差ベクトル算出部６０と、周径方向動きベクトル算出部７０と、第二フィルタ部８０と、総動揺エネルギー算出部９０と、総動揺エネルギー補正部１００と、対数変換部１１０と、を備える。
かかる機能部のうち、領域別動きベクトル検出部１０、第一のフィルタ部２０、動き領域判定部３０、差ベクトル算出部６０、周径方向動きベクトル算出部７０及び第二のフィルタ部８０に関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。例えば、画面は、後記する図３（ａ）に示すように縦３×横３の９個の領域に分割されるが、分割数はこれに限定されない。

＜領域別動きベクトル検出部＞
領域別動きベクトル検出部１０は、当該検出部１０に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトル（フレーム間の差分）を時系列に検出し、検出結果を第一のフィルタ部２０へ出力する。本実施形態において、領域別動きベクトル検出部１０は、動きベクトルとして、上下移動に関する動きベクトル（上下方向動きベクトル）、及び、左右移動に関する動きベクトル（左右方向動きベクトル）を検出する。

＜第一のフィルタ部＞
第一のフィルタ部２０は、領域別動きベクトル検出部１０によって検出された動きベクトルを取得し、取得された動きベクトルに上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得るものであって、第一のデジタルフィルタ２１と、第二のデジタルフィルタ２２と、を並列に備える。

第一のデジタルフィルタ２１は、上下方向動きベクトルに周波数感度補正を施すものであって、上下方向動きベクトルに対して図２に示す上下方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み上下方向動きベクトルを得て動き領域判定部３０、平均補正済み動きベクトル算出部５０及び差ベクトル算出部６０へ出力する。

第二のデジタルフィルタ２２は、左右方向動きベクトルに周波数感度補正を施すものであって、左右方向動きベクトルに対して図２に示す左右方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み左右方向動きベクトルを得て動き領域判定部３０、平均補正済み動きベクトル算出部５０及び差ベクトル算出部６０へ出力する。

なお、第一のデジタルフィルタ２１、第二のデジタルフィルタ２２及び後記する第三のデジタルフィルタ８１において、グローバルモーションを用いた従来の不快度推定装置と同様に、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本願発明における不快度推定装置１は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。

＜動き領域判定部＞
動き領域判定部３０は、第一のフィルタ部２０から出力された補正済み上下方向動きベクトル及び補正済み左右方向動きベクトルを取得し、補正済み動きベクトルの大きさが予め定められた閾値以上である場合に該当する領域において動きありと判定する。
本実施形態において、計算の簡略化のため、動き領域判定部３０は、補正済み上下方向動きベクトルの二乗と補正済み左右方向動きベクトルの二乗との和が閾値（前記した閾値の二乗）以上である場合に動きありと判定することができる。
動きありと判定した場合には、動き領域判定部３０は、判定結果を動き領域重心算出部４０、平均補正済み動きベクトル算出部５０、差ベクトル算出部６０及び総動揺エネルギー算出部９０へ出力する。

＜動き領域重心算出部＞
動き領域重心算出部４０は、動き領域判定部３０から出力された判定結果を取得し、取得された判定結果に基づいて、動きありと判定された全ての領域の中心座標の重心である動き領域重心を算出し、周径方向動きベクトル算出部７０へ出力する。
本実施形態において、動き領域重心算出部４０には、各領域の中心座標が予め記憶されている。動き領域重心算出部４０は、判定結果を用いて動きありと判定された全ての領域の中心座標を読み出し、読み出した中心座標に基づいて動き領域重心を算出する。

＜平均補正済み動きベクトル算出部＞
平均補正済み動きベクトル算出部５０は、動き領域判定部３０から出力された判定結果と、第一のデジタルフィルタ２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ２２から出力された左右方向動きベクトルと、を取得し、動き領域判定部３０から出力された判定結果に基づいて、動きありと判定された全ての領域について、第一のデジタルフィルタ２１から出力された補正済み上下方向動きベクトルの平均である平均補正済み上下方向動きベクトルと、第二のデジタルフィルタ２２から出力された補正済み左右方向動きベクトルの平均である平均補正済み左右方向動きベクトルと、を算出し、算出結果を差ベクトル算出部６０及び総動揺エネルギー算出部９０へ出力する。

＜差ベクトル算出部＞
差ベクトル算出部６０は、動き領域判定部３０から出力された判定結果と、第一のデジタルフィルタ２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ２２から出力された補正済み左右方向動きベクトルと、平均補正済み動きベクトル算出部５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、を取得し、動き領域判定部３０から出力された判定結果に基づいて、動きありと判定された全ての領域の前記補正済み上下方向動きベクトルと前記平均補正済み上下方向動きベクトルとの上下方向差ベクトルと、当該領域の前記補正済み左右方向動きベクトルと前記平均補正済み左右方向動きベクトルとの左右方向差ベクトルと、を算出し、周径方向動きベクトル算出部７０へ出力する。

＜周径方向動きベクトル算出部＞
周径方向ベクトル算出部７０は、動き領域重心算出部４０から出力された動き領域重心と、差ベクトル算出部６０から出力された上下方向差ベクトル及び左右方向差ベクトルとを取得し、差ベクトルの成分として、上下方向差ベクトル及び左右方向差ベクトルを動き重心を中心とした円の周方向及び径方向に分解することによって、動き重心を中心とした円の周方向のベクトルである周方向動きベクトル及び径方向のベクトルである径方向動きベクトルを算出し、周方向動きベクトルを第二のフィルタ部８０に出力するとともに径方向動きベクトルを総動揺エネルギー算出部９０へ出力する。

＜第二のフィルタ部＞
第二のフィルタ部８０は、周径方向動きベクトル算出部７０から出力された周方向動きベクトルを取得し、周方向動きベクトルに周波数感度補正を施すことによって補正済み周方向動きベクトルを得るものであって、第三のデジタルフィルタ８１を備える。
第三のデジタルフィルタ８１は、周方向動きベクトルに周波数感度補正を施すものであって、周方向動きベクトルに対して図２に示す径方向の不快感度の周波数特性に対する周方向の不快感度の周波数特性の比、すなわち相対周波数特性に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み周方向動きベクトルを得て総動揺エネルギー算出部９０へ出力する。

ここで、径方向動きベクトルの周波数感度補正に関して、径方向動きベクトルのインパルスレスポンスは、上下方向動きベクトルのインパルスレスポンスと左右方向動きベクトルのインパルスレスポンスの和と等しいことが評価実験によって明らかになっており、径方向動きベクトルは、前記した第一のフィルタ部２０によって既に補正されているため、改めて補正を施す必要はない。

＜総動揺エネルギー算出部＞
総動揺エネルギー算出部９０は、動き領域判定部３０から出力された判定結果と、平均補正済み動きベクトル算出部５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、第二のフィルタ部８０から出力された補正済み周方向動きベクトルと、周径方向動きベクトル算出部７０から出力された径方向動きベクトルと、を取得し、動き領域判定部３０から出力された判定結果に基づいて、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗（上下方向の動揺エネルギーに相当）と、平均補正済み左右方向動きベクトルの二乗（左右方向の動揺エネルギーに相当）と、径方向動きベクトルの二乗（径方向の動揺エネルギーに相当）と、補正済み周方向動きベクトルの二乗（周方向の動揺エネルギーに相当）との和を算出することによって、画面動揺の全体の動揺エネルギーに相当する総動揺エネルギーを算出し、総動揺エネルギー補正部１００へ出力する。
本実施形態において、総動揺エネルギー算出部９０は、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗と、平均補正済み左右方向動きベクトルの二乗と、径方向動きベクトルの二乗と、補正済み周方向動きベクトルの二乗との和を直前の所定時間分加算する（例えば、前々回の各動きベクトルによる総動揺エネルギー、前回の各動きベクトルによる総動揺エネルギー、今回の各動きベクトルによる総動揺エネルギーの和を算出する）ことによって、総動揺エネルギーを算出する。

＜総動揺エネルギー補正部＞
総動揺エネルギー補正部１００は、前回の（例えば、１秒前の）総動揺エネルギーｃ（以下、前回の総動揺エネルギーｃ_ｍとする）が大きいほど今回の総動揺エネルギーｃ（以下、今回の総動揺エネルギーｃ_ｍ＋１とする）が大きくなるように今回の総動揺エネルギーｃ_ｍ＋１を補正することによって、補正後の総動揺エネルギーｄを算出する。本実施形態において、総動揺エネルギー補正部１００は、加算部１０１と、記憶部１０２と、乗算部１０３と、を備える。

加算部１０１は、総動揺エネルギー算出部９０から出力された前回の総動揺エネルギーｃ_ｍを取得し、取得された前回の総動揺エネルギーｃ_ｍを記憶部１０２へ出力する。

記憶部１０２は、加算部１０１から出力された前回の総動揺エネルギーｃ_ｍを、１個だけ記憶し、記憶された前回の総動揺エネルギーｃ_ｍを乗算部１０３へ出力するシフトレジスタである。

乗算部１０３は、記憶部１０２から出力された前回の総動揺エネルギーｃ_ｍを取得し、取得された前回の総動揺エネルギーｃ_ｍに定数ｐ（０＜ｐ＜１）を乗じ、算出結果のｐ・ｃ_ｍを加算部１０１へ出力する。この定数ｐは、画面動揺が長時間継続する場合における不快度の蓄積効果を表すものであり、時間間隔が１秒である場合には、長期間持続する一定の画面動揺に対する補正済み総動揺エネルギーが１秒間の総動揺エネルギーの７．５倍になること、長時間持続した一定の画面動揺が停まった後５秒間で補正済み総動揺エネルギーがほぼ半減すること等から、ｐ＝０．８３程度とした場合に補正済み総動揺エネルギーが不快度の評定結果に最も近くなることがわかっている。

そして、加算部１０１は、総動揺エネルギー算出部９０から出力された今回の総動揺エネルギーｃ_ｍ＋１を取得し、今回の総動揺エネルギーｃ_ｍ＋１に、定数が乗じられた前回の総動揺エネルギーｐ・ｃ_ｍを加算することによって、補正後の総動揺エネルギーｄを算出し、算出された総動揺エネルギーを対数変換部１１０へ出力するとともに、新たな前回の総動揺エネルギーとして記憶部１０２へ出力する。

＜対数変換部＞
対数変換部１１０は、総動揺エネルギー補正部１００から出力された補正後の総動揺エネルギーｄを取得し、取得した補正後の総動揺エネルギーを対数変換することによって不快度を算出し、ディスプレイ、スピーカ等の外部装置（不快度を利用者へ通知する通知部）へ出力する。
本実施形態において、対数変換部１１０は、対数の底を１６とした場合に、検知限と許容限との差、及び、許容限と我慢限との差がそれぞれほぼ１となり、不快度の評定結果の標準偏差が約０．５となることがわかっており、許容限を動き領域判定部３０における閾値に設定した場合に、我慢限に達するヒトの割合を２．５％未満に抑えることができる。

続いて、本発明の実施形態に係る不快度推定装置１の動作例について、図１ないし図４を参照して説明する。図３（ａ）は、動き領域判定部、動き領域重心算出部及び平均補正済み動きベクトル算出部の動作例を説明するための図、図３（ｂ）は、差ベクトル算出部の動作例を説明するための図、図４は、周径方向動きベクトルの動作例を説明するための図である。

まず、領域別動きベクトル検出部１０が、入力された対応する領域の映像を用いて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトルを検出し、第一のフィルタ部２０へ出力する。続いて、第一のフィルタ部２０が、動きベクトルに周波数感度補正を施し、補正済み動きベクトルを動き領域判定部３０等へ出力する。

続いて、動き領域判定部２０が、補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きありの判定結果を動き領域重心算出部４０等へ出力する。図３（ａ）に示す例では、領域１，２，４における補正済み動きベクトルｖ_１１，ｖ_１２，ｖ_１４の大きさが閾値以上であると判定され、他の領域３，５〜９における補正済み動きベクトルｖ_１３，ｖ_１５，ｖ_１６，ｖ_１７，ｖ_１８，ｖ_１９の大きさが閾値未満であると判定される。なお、各領域１〜９における補正前の動きベクトルは、各領域１〜９の中心を始点とするベクトルであり、補正済み動きベクトルｖ_１１〜ｖ_１９も、補正前の動きベクトルと同様に各領域１〜９の中心を始点とするベクトルである。

続いて、動き領域重心算出部４０が、動きありと判定された領域の重心である動き領域重心を算出し、周径方向動きベクトル算出部７０へ出力する。図３（ａ）に示す例では、領域１，領域２，領域４の各中心座標の平均座標が動き領域重心Ｘとして算出される。

続いて、平均補正済み動きベクトル算出部５０が、動きありと判定された領域の補正済み動きベクトルに基づいて、平均補正済み動きベクトルを算出し、差ベクトル算出部６０及び総動揺エネルギー算出部９０へ出力する。図３（ａ）に示す例では、領域１の補正済み動きベクトルｖ_１１の一成分である補正済み上下方向動きベクトルと、領域４の補正済み動きベクトルの一成分である補正済み上下方向動きベクトルとは、大きさが同じで向きが反対である。また、領域１の補正済み動きベクトルｖ_１１の他成分である補正済み左右方向動きベクトルと、領域２の補正済み動きベクトルｖ_１２と、領域４の補正済み動きベクトルｖ_１４の他成分である補正済み左右方向動きベクトルとは、大きさが同じで向きも同じである。したがって、図３（ａ）に示す例では、平均補正済み動きベクトルの一成分である平均補正済み上下方向動きベクトルは０であり、平均補正済み動きベクトルの他成分である平均補正済み左右方向動きベクトルはベクトルｖ_１２と同一である。

続いて、差ベクトル算出部６０が、動きありと判定された領域の補正済み動きベクトルと平均補正済み動きベクトルとの差である差ベクトルを算出し、周径方向動きベクトル算出部７０へ出力する。図３（ｂ）に示す例では、領域１の差ベクトルｖ_２１、領域４の差ベクトルｖ_２４が算出されるとともに、領域２の差ベクトルｖ_２２（ゼロベクトル）が算出される。ここで、平均補正済み上下方向ベクトルは０であり、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ_１１の左右方向成分と同一であるため、領域１の差ベクトルｖ_２１は、補正済み動きベクトルｖ_１１の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ_１４の左右方向成分と同一であるため、領域４の差ベクトルｖ_２４は、補正済み動きベクトルｖ_１４の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、左右方向成分領域２の差ベクトルｖ_２２は、平均補正済み動きベクトル（平均補正済み上下方向動きベクトルと平均補正済み左右方向動きベクトルとの和）と補正済み動きベクトルｖ_１２とが等しいため、０である。

続いて、周径方向動きベクトル算出部７０が、動き領域重心及び差ベクトルに基づいて、周方向動きベクトル及び径方向動きベクトルを算出し、周方向動きベクトルを第二のフィルタ部８０へ出力するとともに径方向動きベクトルを総動揺エネルギー算出部９０へ出力する。図４に示す例では、領域１の差ベクトルｖ_２１が、周方向動きベクトルｖ_３１と径方向動きベクトルｖ_４１とに分解され、領域４の差ベクトルｖ_２４が、周方向動きベクトルｖ_３４と径方向動きベクトルｖ_４４とに分解されるとともに、領域２の差ベクトルｖ２２が、周方向動きベクトルｖ_３２（ゼロベクトル）と径方向動きベクトルｖ_４２（ゼロベクトル）とに分解される。

続いて、第二のフィルタ部８０が、周方向動きベクトルに周波数感度補正を施し、補正済み周方向動きベクトルを総動揺エネルギー算出部９０へ出力する。

続いて、総動揺エネルギー算出部９０が、入力された各動きベクトル（平均補正済み上下方向動きベクトル、平均補正済み左右方向動きベクトル、補正済み周方向動きベクトル、及び、径方向動きベクトル）に基づいて総動揺エネルギーを算出し、総動揺エネルギー補正部１００へ出力する。続いて、総動揺エネルギー補正部１００が、総動揺エネルギーを補正し、対数変換部１１０へ出力する。続いて、対数変換部１１０が、総動揺エネルギーを対数変換することによって不快度を算出する。

本発明の実施形態に係る不快度推定装置１は、画面を分割した各領域のうち、動きがあると判定された領域の各種動きベクトルを用いて不快度を推定するので、グローバルモーションに基づいて不快度を推定した場合に正しい不快度の推定が困難な「部分動揺画像」、「鏡像画像」、「図と地の分離が困難な画像」などに対しても主観評価実験における平均値に近い不快度を推定することができる。
また、不快度推定装置１は、グローバルモーションを用いずに不快度を推定するので、処理時間を大幅に短縮することができる。
また、不快度推定装置１は、全画面がグローバルモーションのみで動揺している映像に対しては、各動きベクトルが各種のグローバルモーションとほぼ等価となるため、グローバルモーションを用いる従来の不快度推定装置とほぼ等価な不快度を推定することができるので、従来の不快度推定装置と置き換えても整合性が保たれる。
また、推定された不快度は、映像コンテンツ製作者が画面動揺を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。

すなわち、不快度推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの目標設定等に好適な不快度を映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性及び快適性も高められる。
また、不快度推定装置１は、映像の視聴者側で用いられる場合には、画面動揺に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度を推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、映像酔いによる健康被害及び不快感の誘発を防止することが可能になる。

以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置１として機能させる不快度推定プログラムとして具現化することも可能である。また、対数変換部１１０によって算出された不快度が閾値を超えた場合に、映像が不快な画面動揺を含んでいると判定し、判定結果をディスプレイ等の外部装置へ出力する構成であってもよい。また、不快度を線形的な知覚量に近似させる必要が無い場合には、対数変換部１１０を省略し、補正後の総動揺エネルギーを不快度として出力することも可能である。また、映像を修正する際には、時間蓄積の無い短時間での動揺の大きさを把握する必要があるので、総動揺エネルギー補正部１００及び対数変換部１１０を省略し、（未補正の）総動揺エネルギーを不快度として出力することも可能である。また、総動揺エネルギー補正部１００を省略し、（未補正の）総動揺エネルギーを対数変換部１１０が対数変換することによって不快度を算出する構成も可能である。すなわち、本発明の不快度推定装置は、不快度の用途等に応じて、（未補正の）総動揺エネルギー、対数変換された総動揺エネルギー、補正後の総動揺エネルギー、又は、対数変換された補正後の総動揺エネルギーを不快度として出力することができる。

１ 不快度推定装置
１０ 領域別動きベクトル検出部
２０ 第一のフィルタ部
３０ 動き領域判定部
４０ 動き領域重心算出部
５０ 平均補正済み動きベクトル算出部
６０ 差ベクトル算出部
７０ 周径方向動きベクトル算出部
８０ 第二のフィルタ部
９０ 総動揺エネルギー算出部
１００ 総動揺エネルギー補正部
１１０ 対数変換部

Claims (10)

1. 映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定装置であって、
   画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部と、
   検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部と、
   前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
   動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出する動き領域重心算出部と、
   動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する平均補正済み動きベクトル算出部と、
   動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出する差ベクトル算出部と、
   動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出する周径方向動きベクトル算出部と、
   動きありと判定された前記領域ごとに、前記周方向動きベクトルに周波数感度補正を施すことによって補正済み周方向動きベクトルを得る第二のフィルタ部と、
   動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、及び、前記補正済み周方向動きベクトルの二乗の和を算出することによって、不快度として総動揺エネルギーを算出する総動揺エネルギー算出部と、
   を備えることを特徴とする不快度推定装置。
2. 前回の前記総動揺エネルギーが大きいほど今回の前記総動揺エネルギーが大きくなるように今回の前記総動揺エネルギーを補正することによって、不快度として補正後の総動揺エネルギーを算出する総動揺エネルギー補正部を備える
   ことを特徴とする請求項１に記載の不快度推定装置。
3. 前記補正後の総動揺エネルギーを対数変換することによって、不快度として対数変換された前記補正後の総動揺エネルギーを算出する対数変換部を備える
   ことを特徴とする請求項２に記載の不快度推定装置。
4. 前記総動揺エネルギー補正部は、前回の前記総動揺エネルギーに、０よりも大きく１よりも小さい定数を乗じ、今回の前記総動揺エネルギーに、定数が乗じられた前回の前記総動揺エネルギーを加算することによって、補正後の今回の前記総動揺エネルギーを得る
   ことを特徴とする請求項２又は請求項３に記載の不快度推定装置。
5. 前記総動揺エネルギーを対数変換することによって、不快度として対数変換された前記総動揺エネルギーを算出する対数変換部を備える
   ことを特徴とする請求項１に記載の不快度推定装置。
6. 前記第一のフィルタ部は、
   前記動きベクトルの上下方向成分である上下方向動きベクトルに周波数感度補正を施す第一のデジタルフィルタと、
   前記動きベクトルの左右方向成分である左右方向動きベクトルに前記第一のデジタルフィルタとは異なる周波数感度補正を施す第二のデジタルフィルタと、
   を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の不快度推定装置。
7. 前記動き領域判定部は、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の不快度推定装置。
8. 前記第二のフィルタ部は、前記周方向動きベクトルに対して、前記径方向動きベクトルとの相対感度の周波数特性に対応する周波数感度補正を施す第三のデジタルフィルタ
   を備えることを特徴とする請求項１から請求項７のいずれか一項に記載の不快度推定装置。
9. 前記総動揺エネルギー算出部は、動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、前記補正済み周方向動きベクトルの二乗の和を直前の所定時間分加算することによって、前記総動揺エネルギーを算出する
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の不快度推定装置。
10. 映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定プログラムであって、
    コンピュータを、
    画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部、
    検出された前記動きベクトルに、上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部、
    前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部、
    動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出する動き領域重心算出部、
    動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する平均補正済み動きベクトル算出部、
    動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出する差ベクトル算出部、
    動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出する周径方向動きベクトル算出部、
    動きありと判定された前記領域ごとに、前記周方向動きベクトルに周波数感度補正を施すことによって補正済み周方向動きベクトルを得る第二のフィルタ部、及び、
    動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、及び、前記補正済み周方向動きベクトルの二乗の和を算出することによって、不快度として総動揺エネルギーを算出する総動揺エネルギー算出部、
    として機能させることを特徴とする不快度推定プログラム。

Images