JP6487718B2 - 不快度推定装置及び不快度推定プログラム - Google Patents

Description

本発明は、映像の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。

家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺（映像の揺れ）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。

しかし、前記した「手ぶれ補正」では、長周期の揺れは補正ができない、あるいは不十分であり、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけで、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件及び、その条件に対する現在の生理的状態の程度のみである。

これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーション（画面全体の動き）あるいは画面のある程度まとまった領域の動きに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、画面の全体あるいはある程度まとまった領域の動きに対する視聴者の心理的な「不快度」を具体的に把握するものではないため、「不快度」を基準とした映像の良否を判定するには不向きであった。

本願出願人は、生理的指標を用いることなく、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置を開発した（特許文献１参照）。

特開２０１４−０８１８４３号公報

「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月

しかし、一般的な撮影映像において多々生じることがある「画面内でそれぞれ大きな領域を占める複数のオブジェクト（人物や物体）が別個の動揺を示す状況」の不快度の実測値は、前記不快度推定装置において不快度の判定基準となる総動揺エネルギーが同じ量と
なる「画面全体で揃った動揺を示す状況」の不快度の実測値よりも有意に低くなることがその後の実験によって確認された。また、ノイズの多い映像の場合、前記不快度推定装置ではノイズの時間変動を多数の領域における別々の動揺として捉えるため、推定不快度が実測不快度よりも高くなってしまっていた。これらは、前記不快度推定装置では、複数領域が個別に異なる動揺を示す場合の推定不快度が実測不快度よりも高くなってしまう問題があることを意味する。

また、これも一般的な撮影映像において多々生じることがある「大きな動揺が数秒間続いた後、動揺がほとんどない状態が数秒間続き、その後また大きな動揺が数秒間続く状況（あるいは、これがさらに繰り返される状況）」に対する前記不快度推定装置による推定不快度が実測不快度よりも高くなってしまうことも、その後の実験によって確認されている。これは、前記不快度推定装置において不快度の時間蓄積効果を反映させていた「総動揺エネルギー補正部」が「動揺が連続して長時間続く状況」については高精度な不快度の推定を可能にしていたが、断続的な動揺に対する推定不快度には無視できない誤差を生じさせる問題があることを意味する。

さらには、切抜き加工された映像において生じることがある「画面の回転（ローテート）の中心が、動きのある領域の重心ではなく、四隅のいずれかの近傍にある状況」に対する前記不快度推定装置による推定不快度が実測不快度よりも低くなってしまうことも、その後の実験によって確認されている。これは、前記不快度推定装置における「周方向同相動きベクトル算出部」で周方向同相動きベクトルを動きのある領域の重心を中心として求めていたが、この方法では画面の回転中心と動きのある領域の重心とが大きくずれている場合の推定不快度に無視できない誤差を生じさせる問題があることを意味する。

本発明は、前記した事情に鑑みて創案されたものであり、複数領域が個別に異なる動揺を示す場合、動揺が断続的に繰り返される場合、及び、画面の回転中心と動きのある領域の重心とがずれている場合においても、視聴者が感じる不快度を高精度に推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。

前記課題を解決するため、本発明の不快度推定装置は、映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定装置であって、領域別動きベクトル検出部と、第一のフィルタ部と、動き領域判定部と、動き領域番号付与部と、回転中心・回転角算出部と、回転ベクトル算出部と、回転残差ベクトル算出部と、第二のフィルタ部と、総動揺エネルギー算出部と、総動揺エネルギー補正部と、を備える。

不快度推定装置は、領域別動きベクトル検出部によって、画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出し、第一のフィルタ部によって、前記動きベクトルに周波数感度補正を施して補正済み動きベクトルを得て、動き領域判定部によって、前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定し、動き領域番号付与部によって、隣接する領域との前記補正済み動きベクトルの差に基づいて同じ動き領域に属する領域ごとに動き領域番号を付与する。
また、不快度推定装置は、回転中心・回転角算出部によって、前記動き領域番号が付与された全領域を統合した領域において、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出し、回転ベクトル算出部によって、各領域における前記回転角による動きベクトルを回転ベクトルとして算出し、回転残差ベクトル算出部によって、各領域における前記回転ベクトルと前記補正済み動きベクトルとの残分を回転残差ベクトルとして算出する。
また、不快度推定装置は、第二のフィルタ部によって、前記回転ベクトルに周波数感度補正を施して補正済み回転ベクトルを得て、総動揺エネルギー算出部によって、前記動き領域番号ごとに前記補正済み回転ベクトルの大きさの二乗と前記回転残差ベクトルの大きさの二乗の総和を算出した上で、全ての動き領域番号について非線形加算することで、短時間不快度として総動揺エネルギーを算出する。
また、不快度推定装置は、総動揺エネルギー補正部によって、前フレームの補正済み総動揺エネルギーが大きいほど現フレームの補正済み総動揺エネルギーが大きくなるように、現フレームの前記総動揺エネルギーを補正することによって、時間蓄積効果を反映した不快度として補正済み総動揺エネルギーを算出する。

かかる構成により、複数領域が個別に異なる動揺を示す場合、動揺が断続的に繰り返される場合、及び、画面の回転中心と動きのある領域の重心とがずれている場合、のいずれにおいても、視聴者が感じる不快度を高精度に推定することが可能になる。

さらに、不快度推定装置は、対数変換部を備える構成であってもよい。この場合、不快度推定装置は、対数変換部によって、前記補正済み総動揺エネルギーを対数変換することで、時間蓄積効果を反映した不快度として対数変換された前記補正済み総動揺エネルギーを算出する。

また、不快度推定装置は、総動揺エネルギー補正部によって、前フレームの前記補正済み動揺エネルギーに、０よりも大きく１よりも小さい定数を乗じ、現フレームの前記動揺エネルギーに加算することによって、現フレームの前記補正済み動揺エネルギーを得る構成であってもよい。

また、前記第一のフィルタ部は、第一のデジタルフィルタと、第二のデジタルフィルタと、を備える構成であってもよい。かかる構成によると、不快度推定装置は、第一のデジタルフィルタによって、前記動きベクトルの上下方向成分に周波数感度補正を施し、第二のデジタルフィルタによって、前記動きベクトルの左右方向成分に前記第一のデジタルフィルタとは異なる周波数感度補正を施す。

また、不快度推定装置は、動き領域判定部によって、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する構成であってもよい。

また、前記第二のフィルタ部は、第三のデジタルフィルタを備える構成であってもよい。かかる構成によると、不快度推定装置は、第三のデジタルフィルタによって、前記回転ベクトルに対して、前記第一のフィルタ部によって周波数感度補正が施された他成分との相対感度の周波数特性に対応する周波数相対感度補正、すなわち、前記第一のデジタルフィルタと第二のデジタルフィルタのいずれとも異なる周波数相対感度補正を施す。

また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。

本発明によれば、複数領域が個別に異なる動揺を示す場合、動揺が断続的に繰り返される場合、及び、画面の回転中心と動きのある領域の重心とがずれている場合、のいずれにおいても、視聴者が感じる不快度を高精度に推定することが可能になる。

本発明の実施形態に係る不快度推定装置を示すブロック図である。 動きベクトルの成分ごとの不快度の感度の周波数特性の一例を示すグラフである。 動きベクトルの径方向成分の不快度の感度に対する回転方向成分の不快度の感度の比に相当する回転方向成分の不快度の相対感度の周波数特性の一例を示す図である。 （ａ）は本発明の方法で回転ベクトルを求めた場合の一例を示す図、（ｂ）は従来の不快度推定装置により周方向ベクトルを求めた場合の一例の図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。図１に示すように、本発明の実施形態に係る不快度推定装置１は、映像における動きベクトルに基づいて画面動揺に対する不快度を推定するものであり、機能部として、領域別動きベクトル検出部１０と、第一のフィルタ部２０と、動き領域判定部３０と、動き領域番号付与部４０と、回転中心・回転角算出部５０と、回転ベクトル算出部６０と、回転残差ベクトル算出部７０と、第二フィルタ部８０と、総動揺エネルギー算出部９０と、総動揺エネルギー補正部１００と、対数変換部１１０と、を備える。

かかる機能部のうち、領域別動きベクトル検出部１０、第一のフィルタ部２０、動き領域判定部３０、回転ベクトル算出部６０、回転残差ベクトル算出部７０及び第二フィルタ部８０に関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。例えば、画面は、後記する図４（ａ）に示すように、縦３×横３の９個の領域に分割されるが、画面の分割数はこれに限定されない。

＜領域別動きベクトル検出部＞
領域別動きベクトル検出部１０は、当該検出部１０に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトル（フレーム間の差分）を時系列に検出し、検出結果を第一のフィルタ部２０へ出力する。本実施形態において、領域別動きベクトル検出部１０は、動きベクトルとして、動き量の上下方向成分、及び、左右方向成分をそれぞれ検出する。

＜第一のフィルタ部＞
第一のフィルタ部２０は、領域別動きベクトル検出部１０によって検出された動きベクトルを取得し、取得された動きベクトルに上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得て、得られた補正済み動きベクトルを動き領域判定部３０、動き領域番号付与部４０、回転中心・回転角算出部５０及び回転残差ベクトル算出部７０へ出力する。本実施形態において、第一のフィルタ部２０は、第一のデジタルフィルタ２１と、第二のデジタルフィルタ２２と、を並列に備える。

第一のデジタルフィルタ２１は、動きベクトルの上下方向成分に周波数感度補正を施すものであって、動きベクトルの上下方向成分に対して図２に示す上下方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み動きベクトルの上下方向成分を得て、得られた補正済み動きベクトルの上下方向成分を動き領域判定部３０、動き領域番号付与部４０、回転中心・回転角算出部５０及び回転残差ベクトル算出部７０へ出力する。

第二のデジタルフィルタ２２は、動きベクトルの左右方向成分に周波数感度補正を施すものであって、動きベクトルの左右方向成分に対して図２に示す左右方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み動きベクトルの左右方向成分を得て、得られた補正済み動きベクトルの左右方向成分を動き領域判定部３０、動き領域番号付与部４０、回転中心・回転角算出部５０及び回転残差ベクトル算出部７０へ出力する。

なお、第一のデジタルフィルタ２１、第二のデジタルフィルタ２２及び後記する第三のデジタルフィルタ８１においては、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の不快度推定装置１は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。

＜動き領域判定部＞
動き領域判定部３０は、第一のフィルタ部２０から出力された補正済み動きベクトルを取得し、動きベクトルの大きさが予め定められた閾値以上である場合に該当する領域において「動きあり」と判定する。
本実施形態において、動き領域判定部２０は、計算の簡略化のため、上下方向動き量（すなわち、補正済み動きベクトルの上下方向成分の大きさ）の二乗と左右方向動き量（すなわち、補正済み動きベクトルの左右方向成分の大きさ）の二乗との和が閾値（前記した閾値の二乗）以上である場合に「動きあり」と判定することができる。

動き領域判定部２０は、「動きあり」の場合は当該領域の動き領域番号の初期値を「０」、「動きなし」の場合は当該領域の動き領域番号の初期値を「−１」に設定し、設定結果を動きの有無の判定結果として動き領域番号付与部４０へ出力する。この動き領域番号の初期値は、便宜的なものであり、区別がつくとともに後記する動き領域番号と重ならない値であれば、別の値を用いてもよい。

＜動き領域番号付与部＞
動き領域番号付与部４０は、動きありと判定された領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する。動き領域番号付与部４０は、一の領域の補正済み動きベクトルと、隣接する領域の補正済み動きベクトルと、の差分ベクトルの大きさが所定値以下である場合に、一の領域と隣接する領域とが「同じ動き領域」であるとし、これらに同じ動き領域番号を付与する。かかる所定値は、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた不快度との関係を用いて設定することができる。

本実施形態において、動き領域番号付与部４０は、初めに全領域の番号付与完了フラグを降ろし、「新たな動き領域番号」の初期値を「１」（この値も便宜的なものであり、動きの有無の判定結果の値と重ならない値であれば別の値でも良い）としておく。
続いて、動き領域番号付与部４０は、第一のフィルタ部２０から出力された補正済み動きベクトルと、動き領域判定部３０から出力された動きの有無の判定結果とを取得する。続いて、動き領域番号付与部４０は、番号付与完了フラグが降りていて、かつ動きの有無の判定結果が「動きあり」（動き領域番号「０」）の領域について、当該領域の補正済み動きベクトルと上下左右及び左上・右上・左下・右下の隣接する８領域のうち「動きあり」の領域それぞれの補正済み動きベクトルとの差分ベクトルをそれぞれ求める。例えば、図４（ａ）に示す例では、領域１については、領域１の補正済み動きベクトルと領域２，４，５の補正済み動きベクトルとの差分ベクトルをそれぞれ求める。また、領域２については、領域２の補正済み動きベクトルと領域１，４，５の補正済み動きベクトルとの差分ベクトルをそれぞれ求める。また、領域４については、領域４の補正済み動きベクトルと領域１，２，５の補正済み動きベクトルとの差分ベクトルをそれぞれ求める。また、領域５については、領域５の補正済み動きベクトルと領域１，２，４の補正済み動きベクトルとの差分ベクトルをそれぞれ求める。

続いて、動き領域番号付与部４０は、求められた差分ベクトルの大きさ（上下方向差分の二乗と左右方向差分の二乗との和）が予め定められた閾値以下となる隣接領域の同じ動き領域番号の数が３個以上であり、最も多くある番号（同数となる番号が２つある場合は差分ベクトルの大きさの和が少ない方の番号）が「０」以外の場合には、その番号を当該
領域の動き領域番号として付与した上で、当該領域の番号付与完了フラグを立てる。

また、動き領域番号付与部４０は、最も多くある番号の個数が３個未満の場合には、当該領域の動き領域番号は「０」としたままで、当該領域の番号付与完了フラグを立てる。

また、動き領域番号付与部４０は、最も多くある番号の個数が３個以上であり、その動き領域番号が「０」の場合には、当該領域及び差分ベクトルの大きさが予め定められた閾値以下である番号「０」の隣接領域の全てに「新たな動き領域番号」を付与する。

動き領域番号付与部４０は、「新たな動き領域番号」を付与した場合において、「新たな動き領域番号」が付与された隣接領域をそれぞれ当該領域として、その補正済み動きベクトルと隣接する８領域のうち「動きあり」の領域の補正済み動きベクトルとの差分ベクトルの大きさが予め定められた閾値以下である隣接領域の同じ番号の数が３個以上であり、最も多くある番号が「０」だった場合には、その隣接領域にも同じ「新たな動き領域番号」を付与した上で、当該領域の番号付与完了フラグを立てる。

動き領域番号付与部４０は、これを同じ「新たな動き領域番号」を付与した隣接領域全てについて、同じ「新たな動き領域番号」を付与する隣接領域が無くなるまで繰り返した後、「新たな動き領域番号」を「１」増加する。この増加分も便宜的なものであり、増加後の番号が初期番号（前記の例だと「０」と「−１」）及び既に付与済みの番号以外の値になるならば、正負を問わずどのような値でも良いし、一定の値である必要もない。しかし、後段で動き領域番号ごとに動揺エネルギーを加算する際、「１」から「２」「３」・・・と順に最大番号まで計算するのが最も効率が良いので、動き領域番号もこの順に付与するのが望ましい。なお、動き領域番号を付与するための領域の探索順序は、適宜設定可能である。

この手順を、番号付与完了フラグが降りている全領域について繰り返すことによって、全領域にそれぞれが属する動き領域番号が付与される。この結果得られた動き領域番号が「−１」ならば「動きなし」の動き領域番号、「０」ならば「動きはあるが、領域数が４に満たない微小領域」の動き領域番号となり、ともに後段では動揺エネルギーを加算する対象から除外する。

動き領域番号付与部４０は、各領域に付与された動き領域番号を回転中心・回転角算出部５０及び総動揺エネルギー算出部９０へ出力する。

＜回転中心・回転角算出部＞
回転中心・回転角算出部５０は、第一のフィルタ部２０から出力された補正済み動きベクトルと、動き領域番号付与部４０から出力された動き領域番号とを取得し、動き領域番号が前記の「０」と「−１」のいずれでもない画面内の全ての領域において、補正済み動きベクトルを用い、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと実際の補正済み動きベクトルとの二乗誤差（平均二乗誤差）の総和が最小となるときの回転中心及び回転角を算出する。
回転中心・回転角算出部５０は、算出された回転中心及び回転角を回転残差ベクトル算出部６０へ出力する。

従来の不快度推定装置においては、動きがあると判定された全領域の重心と補正済み動きベクトルの平均（平均動きベクトル）を求め、各領域において補正済み動きベクトルから平均動きベクトルを差し引いたベクトルを径方向（重心への方向）ベクトルと周方向（重心への方向と直交する方向）ベクトルに分解していた。
しかし、画面の回転中心と動きのある領域の重心とがずれている場合には、実際の視聴
者は、水平方向の線や鉛直方向の線の傾きに注目する。
そのため、動きのある全ての領域での回転が同相である場合には、視聴者は、同相動きの平均を差し引いた後の回転量（回転角に重心までの距離を乗じた値）ではなく、回転量の大きさの二乗の総和がより大きくなる、回転中心を中心とした回転量（回転角に回転中心までの距離を乗じた値）を知覚することが明らかになった。

同相回転方向に対する不快度の感度とそれ以外の方向に対する不快度の感度が同一であれば、動きの平均を差し引いた後の回転量と、回転中心を中心とした回転量のどちらを用いたとしても、全ての動き成分の動揺エネルギーの総和である総動揺エネルギーは同じになる。
しかし、実際には図２に示す通り、同相回転方向に対する不快度の感度は、２Ｈｚ以下でそれ以外の方向に対する不快度の感度よりも高くなっているため、従来の不快度推定装置で算出された総動揺エネルギーは、実際に知覚される総動揺エネルギーよりも小さくなってしまっていた。
これに対し、本発明の不快度推定装置１は、動きの平均を差し引かずに回転中心と回転角を算出することにより、画面の回転中心と動きのある領域の重心とがずれている場合における不快度の推定精度を改善している。

＜回転ベクトル算出部＞
回転ベクトル算出部６０は、回転中心・回転角算出部５０から出力された回転中心及び回転角を取得し、この回転中心及び回転角に基づいて、当該領域の中心における回転方向（回転中心への方向と直交する方向）のベクトルを算出し、当該ベクトルの上下方向成分と左右方向成分との組を回転ベクトルとして回転残差ベクトル算出部７０及び第二のフィルタ部７０へ出力する。

＜回転残差ベクトル算出部＞
回転残差ベクトル算出部７０は、第一のフィルタ部２０から出力された補正済み動きベクトルと、回転ベクトル算出部６０から出力された回転ベクトルとを取得し、補正済み動きベクトルと回転ベクトルとの差ベクトルを算出し、算出された差ベクトルの上下方向成分と左右方向成分との組を回転残差ベクトルとして総動揺エネルギー算出部９０へ出力する。

回転残差ベクトルは、径方向（回転中心への方向）成分と、回転ベクトルとは非同相の回転方向成分と、に分解することができる。しかし、図２における径方向成分及び非同相の回転方向成分に対する周波数感度補正は、それぞれの上下方向成分に対して図２の上下方向成分の周波数感度補正を施し、それぞれの左右方向成分に対して図２の左右方向成分の周波数感度補正を施したものと等しいこと明らかになっており、当該周波数感度補正は前記した第一のフィルタ部２０によって既に行われているため、改めて補正を施す必要はない。

＜第二のフィルタ部＞
第二のフィルタ部８０は、回転ベクトル算出部６０から出力された回転ベクトルを取得し、回転ベクトルに周波数相対感度補正を施すことによって補正済み回転ベクトルを得て、得られた補正済み回転ベクトルを総動揺エネルギー算出部９０へ出力する。本実施形態において、第二のフィルタ部８０は、第三のデジタルフィルタ８１を備える。

第三のデジタルフィルタ８１は、回転ベクトルの上下方向成分及び左右方向成分のそれぞれに対し、図３に示す不快度の相対感度の周波数特性に相当する同じインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み回転ベクトルの上下方向成分と左右方向成分とを得て、総動揺エネルギー算出部９０へ出力する。

ここで、回転ベクトルの周波数感度補正に関して、上下方向成分の感度に対する回転方向成分の相対感度と、左右方向成分の感度に対する回転方向成分の相対感度と、に基づいて、上下方向成分及び左右方向成分に異なる周波数感度補正をするのではなく、径方向成分の感度に対する回転方向成分の相対感度に基づいて、上下方向成分及び左右方向成分に同じ周波数相対感度補正をしている。
これは、元のベクトル（すなわち、補正済み動きベクトル）を径方向成分と回転方向成分とに分解し直した場合、元のベクトルの上下方向成分の一部が回転方向ベクトルの左右方向成分となり、元のベクトルの左右方向成分の一部が回転方向ベクトルの上下方向成分になるからである。
回転残差ベクトル算出部７０の説明で記したとおり、第一のフィルタ部２０による上下方向成分の周波数感度補正と左右方向成分の周波数感度補正によって施された径方向成分の周波数感度補正と同じ周波数感度補正が回転方向成分にも既に施されているため、第三のデジタルフィルタ８１によって新たに施すべき補正は、径方向成分の感度に対する回転方向成分の相対感度に基づいた周波数相対感度補正となっている。

＜総動揺エネルギー算出部＞
総動揺エネルギー算出部９０は、動き領域番号付与部４０から出力された各領域の動き領域番号と、回転残差ベクトル算出部７０から出力された回転残差ベクトルと、第二のフィルタ部８０から出力された補正済み回転ベクトルと、を取得し、動き領域番号付与部４０から出力された各領域の動き領域番号に基づいて、「０」「−１」以外の同じ動き領域番号の領域について回転ベクトルの大きさの二乗と、回転残差ベクトルの大きさの二乗の総和を算出した後、動き領域番号ごとのこれらの総和の平方根を動き領域番号別動揺エネルギーとする。

従来の不快度推定装置においては、通常定義されるエネルギーとして振幅の二乗に面積を乗じた値を動揺エネルギーとして用いていたが、本発明の不快度推定装置１は、後記する総動揺エネルギー補正部１００での処理によって不快度の時間蓄積効果と減衰効果の両方が最も良く再現されるように、すなわち、断続的な動揺に対する不快度の推定精度が最も高くなるようにするために、従来の不快度推定装置における動揺エネルギーの平方根を、本発明の動揺エネルギーの値として用いている。

また、従来の不快度推定装置においては、総動揺エネルギーを算出する際、所定時間分を加算していたが、当該所定時間が長いほど後記する時間蓄積効果との乖離が大きくなって不快度の推定精度が低下するため、本発明の不快度推定装置１は、フレームごとに総動揺エネルギーを算出している。

総動揺エネルギー算出部９０は、全ての動き領域番号について動き別動揺エネルギーを非線形加算することによって総動揺エネルギーを算出する。非線形加算の方法は、全ての動き領域番号ｎの動き領域番号別動揺エネルギーａ_ｎについて
（Σａ_ｎ ^γ）^１／γ
を計算して行う。

ここで、γ＝２（本発明の動揺エネルギーは従来の不快度推定装置での動揺エネルギーの平方根となっているので、従来の不快度推定装置での動揺エネルギーにおいては γ＝１）とした場合、従来の不快度推定装置において総動揺エネルギーの算出した場合に相当する。
また、γ＞１ の場合、γの値が大きいほど、当該非線形加算により得られる総動揺エネルギーは小さくなり、動き領域番号の数が多いほど総動揺エネルギーは小さくなる。
特に、γ≒６ としたときに、複数領域が個別に異なる動揺を示す場合の不快度の推定
誤差が最小となることが明らかになっている。この非線形加算を導入することにより、複数領域が個別に異なる動揺を示す場合の不快度の推定精度が改善される。
総動揺エネルギー算出部９０は、算出した総動揺エネルギーを総動揺エネルギー補正部１００へ出力する。

＜総動揺エネルギー補正部＞
総動揺エネルギー補正部１００は、前フレームの補正済み総動揺エネルギーｄ_ｍ−１が大きいほど現フレームの補正済み総動揺エネルギーｄ_ｍが大きくなるように、現フレームの総動揺エネルギーｃ_ｍを補正することによって、現フレームの補正済み総動揺エネルギーｄ_ｍを算出する。かかる総動揺エネルギー補正部１００は、不快度の蓄積及び減衰の両効果を当該不快度に反映することによって、断続する動揺による不快度を好適に得るためのものである。本実施形態において、総動揺エネルギー補正部１００は、加算部１０１と、記憶部１０２と、乗算部１０３と、を備える。

加算部１０１は、総動揺エネルギー算出部９０から出力された現フレームの総動揺エネルギーｃ_ｍと、乗算部１０３から前フレームの補正済み総動揺エネルギーｄ_ｍ−１に定数ｐ（０＜ｐ＜１）を乗じたｐ・ｄ_ｍ−１を取得し、その和として算出されたｃ_ｍ＋ｐ・ｄ_ｍ−１を現フレームの補正済み総動揺エネルギーｄ_ｍとして対数変換部１１０及び記憶部１０２へ出力する。

記憶部１０２は、加算部１０１から出力された前フレームの補正済み総動揺エネルギーｄ_ｍ−１を１個だけ記憶し、記憶された前フレームの補正済み総動揺エネルギーｄ_ｍ−１を乗算部１０３へ出力するシフトレジスタである。

乗算部１０３は、記憶部１０２から出力された前フレームの補正済み総動揺エネルギーｄ_ｍ−１を取得し、取得された前フレームの補正済み総動揺エネルギーｄ_ｍ−１に定数ｐを乗じて算出したｐ・ｄ_ｍ−１を加算部１０１へ出力する。この定数ｐは、画面動揺が長時間継続する場合における不快度の蓄積効果を表すものであり、長期間持続する一定の画面動揺に対する補正済み総動揺エネルギーが持続時間１秒の画面動揺に対する補正済み総動揺エネルギーの約３．１倍になること、長時間持続した一定の画面動揺が停まった後１．８秒間で補正済み総動揺エネルギーがほぼ半減すること等から、１秒間のフレーム数が３０である場合にはｐ＝０．９８７程度とした場合に補正済み総動揺エネルギーが不快度の評定結果に最も近くなることがわかっている。

前記した数値は先行事例の従来の不快度推定装置と異なっているが、これは、総動揺エネルギー算出部９０の説明で記したように、不快度の時間蓄積効果と減衰効果とが最も良く再現されるように、すなわち、断続的な動揺に対する不快度の推定精度が最も高くなるように、総動揺エネルギーの値が従来の不快度推定装置における総動揺エネルギーの平方根に変えられているためである。従来の不快度推定装置における総動揺エネルギーを用いた場合、ｐ＝０．９９４（１秒間隔の場合にはｐ＝０．８３）程度にしたときに時間蓄積効果がほぼ等しく表されるが、減衰効果については、不快度が同じだけ減衰するまでの時間が４．２倍にもなるため、従来の不快度推定装置では断続的な動揺に対する不快度が高く推定されていたことになる。

＜対数変換部＞
対数変換部１１０は、総動揺エネルギー補正部１００から出力された補正済み総動揺エネルギーを取得し、取得した補正済み総動揺エネルギーを対数変換することによって知覚量と線形に対応する不快度を算出し、ディスプレイ、スピーカ等の外部装置（不快度を利用者へ通知する通知部）へ出力する。

本実施形態において、対数変換部１１０では、対数の底を４とした場合に、検知限と許容限との差、及び、許容限と我慢限との差がそれぞれほぼ１となることがわかっている。先行事例の従来の不快度推定装置では対数の底を１６としていたが、前記したように、本発明における総動揺エネルギーは、不快度の時間蓄積効果と減衰効果とが最適になるように、不快度の時間蓄積効果と減衰効果とが最も良く再現されるように、すなわち、断続的な動揺に対する不快度の推定精度が最も高くなるように、従来の不快度推定装置における総動揺エネルギーの平方根に相当する値としたため、対数の底が１６の平方根である４になっている。

＜動作例＞
続いて、本発明の実施形態に係る不快度推定装置１の動作例について、図１ないし図４を参照して説明する。
まず、領域別動きベクトル検出部１０が、入力された対応する領域の映像を用いて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトルを検出し、第一のフィルタ部２０へ出力する。
続いて、第一のフィルタ部２０が、動きベクトルに周波数感度補正を施し、補正済み動きベクトルを動き領域番号付与部３０等へ出力する。
続いて、動き領域判定部３０が、補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きありと判定された領域には動き領域番号の初期値として「０」、動きなしと判定された領域には動き領域番号の初期値として「−１」にそれぞれ設定し、動きの有無の判定結果として動き領域番号付与部４０へ出力する。

図４（ａ）に示す例では、領域１，２，４，５が動きありと判定され、斜線の付された領域３，６〜９が動きなしと判定される。この例では便宜上、領域１，２，４，５における全ての補正済み動きベクトルが×印の点（領域５，６，８，９の境界）を回転中心とする回転ベクトルと一致しており、回転残差ベクトルは、同図中の回転中心（×印）の移動ベクトルの値として記したように、全領域において（０，０）となっている。

図４（ｂ）は、補正済み動きベクトルが図４（ａ）と同じである場合、従来の不快度推定装置において、動きがありと判定された領域１，２，４，５の重心（×印の付された領域１，２，４，５の境界の点）と、重心の移動ベクトルの値として記された領域１，２，４，５の平均動きベクトル（２，２）と、領域１，２，４，５において各補正済み動きベクトルから平均動きベクトルを差し引いたベクトルを表したものである。
この例では、補正済み動きベクトルから平均動きベクトルを差し引いた各ベクトルが全て重心を中心とする周方向成分のみとなり、径方向成分は無くなっている。図４（ａ）及び図４（ｂ）の各ベクトル値は、１項目の値が左右方向の動き量、２項目の値が上下方向の動き量を表している。

続いて、動き領域番号付与部４０が、動きありと判定された領域全てに対して、隣接する領域との補正済み動きベクトルの差に基づいて同じ動き領域に属する領域ごとに動き領域番号を付与し、回転中心・回転角算出部５０と総動揺エネルギー算出部９０へ出力する。
図４（ａ）の例では、領域１，２，４，５には動き領域番号「１」が付与され、領域３，６〜９は動きの有無の判定結果と同じ「−１」がそのまま動き領域番号となっている。同図中では生じていないが、動きありと判定されても同じ動き領域に属する領域数が４未満である場合には、当該領域には、動き領域番号「０」が付与される。

続いて、回転中心・回転角算出部５０が、「０」「−１」以外の動き領域番号を付与された全ての領域の補正済み動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になると同時に、回転角による動きベクトルと実際の補正済み動きベク
トルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出し、各領域の回転ベクトル算出部６０へ出力する。
図４（ａ）の例では、計算の簡略化のため、回転中心の候補は図中で●を付した各領域の中心、各辺の中央及び４つの領域の境界となる点に制限している。実際に前記条件を満たす回転中心は、前記候補点の間に存在することがあるし、画面の外側に存在することもある。しかし、前記候補点に限定した場合に得られる総動揺エネルギーと正確な回転中心を用いて得られる総動揺エネルギーにはほとんど差が生じないため、前記候補点に限定してもかまわないことが確認されている。図４（ａ）の例では、×印の点（領域５，６，８，９の境界）が回転中心となり、各補正済み動きベクトルの回転角は、正方形を呈する領域の一辺の長さをＤとすると、それぞれ２／Ｄラジアンとなる。

続いて、回転ベクトル算出部６０が、回転中心と回転角を用いて各領域における前記回転角による動きベクトルを回転ベクトルとして算出し、回転残差ベクトル算出部７０と第二のフィルタ部８０へ出力する。

続いて、回転残差ベクトル算出部７０が、各領域における前記回転ベクトルと実際の前記補正済み動きベクトルとの残分を回転残差ベクトルとして算出し、総動揺エネルギー算出部９０へ出力する。

続いて、第二のフィルタ部８０が、回転残差ベクトルに対する回転ベクトルの相対感度に相当する周波数感度補正を回転ベクトルに施し、補正済み回転ベクトルを総動揺エネルギー算出部９０へ出力する。

続いて、総動揺エネルギー算出部９０が、「０」「−１」以外の動き領域番号ごとに回転残差ベクトルの大きさの二乗と補正済み回転ベクトルの大きさの二乗の総和を求めてその平方根を動き領域番号ごとの動揺エネルギーとした後、「０」「−１」以外の全領域番号の動揺エネルギーを非線形加算して総動揺エネルギーを算出し、総動揺エネルギー補正部１００へ出力する。図４の例で、図４（ａ）の本発明による方法で得られる動揺エネルギーの二乗（従来型不快度推定装置における動揺エネルギーと単位を揃えるために二乗している）は、
（１８＋１０＋１０＋２）× 相対感度
で表される。
一方、図４（ｂ）の従来の不快度推定装置によって得られる動揺エネルギーは、
８×４ ＋（２＋２＋２＋２）× 相対感度
で表される。

したがって、回転残差エネルギーに対する回転エネルギーの相対感度が「１」となる２Ｈｚ以上の動揺周波数の場合には、両方の値とも「４０」となって一致するが、相対感度が「２」となる０．３２Ｈｚの動揺周波数の場合には、本発明の不快度推定装置１による値は「８０」、従来の不快度推定装置による値は「４８」となり、従来の不快度推定装置によって得られる動揺エネルギーは４０％も低く算出されていたことがわかる。

続いて、総動揺エネルギー補正部１００が、時間蓄積効果を反映するように総動揺エネルギーを補正し、対数変換部１１０へ出力する。
続いて、対数変換部１１０が、総動揺エネルギーを対数変換することによって心理評価値と線形に対応する不快度として出力する。

本発明の実施形態に係る不快度推定装置１は、前記説明中に記したとおり、複数領域が個別に異なる動揺を示す場合、動揺が断続的に繰り返される場合、及び、画面の回転中心と動きのある領域の重心とがずれている場合、のいずれにおいても、視聴者が画面動揺に
よって感じる不快度を高精度に推定することが可能になっている。
また、不快度推定装置１は、前記３条件のいずれにも該当しない映像を対象とした場合に得られる不快度は、従来の不快度推定装置によって得られる不快度と等しくなるため、従来の不快度推定装置と置き換えても整合性が保たれる。
また、推定された不快度は、映像コンテンツ製作者が画面動揺を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。
すなわち、不快度推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの目標設定等に好適な不快度を映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性及び快適性も高められる。
また、不快度推定装置１は、映像の視聴者側で用いられる場合には、画面動揺に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度を推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、映像酔いによる健康被害及び不快感の誘発を防止することが可能になる。

以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置１として機能させる不快度推定プログラムとして具現化することも可能である。また、対数変換部１１０によって算出された不快度が閾値を超えた場合に、映像が不快な画面動揺を含んでいると判定し、判定結果をディスプレイ等の外部装置へ出力する構成であってもよい。また、不快度を線形的な知覚量に近似させる必要が無い場合には、対数変換部１１０を省略し、補正済み総動揺エネルギーを不快度として出力することも可能である。また、映像を修正する際には、時間蓄積の無い短時間での動揺の大きさを把握する必要があるので、参考形態として、総動揺エネルギー補正部１００及び対数変換部１１０を省略し、（未補正の）総動揺エネルギーを不快度として出力することも可能である。また、参考形態として、総動揺エネルギー補正部１００を省略し、（未補正の）総動揺エネルギーを対数変換部１１０が対数変換することによって不快度を算出する構成も可能である。すなわち、本発明の不快度推定装置は、不快度の用途等に応じて、補正済み総動揺エネルギー、又は、対数変換された補正済み総動揺エネルギーを不快度として出力することができ、参考形態として、（未補正の）総動揺エネルギー、又は、対数変換された総動揺エネルギーを不快度として出力することができる。

１ 不快度推定装置
１０ 領域別動きベクトル検出部
２０ 第一のフィルタ部
２１ 第一のデジタルフィルタ
２２ 第二のデジタルフィルタ
３０ 動き領域判定部
４０ 動き領域番号付与部
５０ 回転中心・回転角算出部
６０ 回転ベクトル算出部
７０ 回転残差ベクトル算出部
８０ 第二のフィルタ部
８１ 第三のフィルタ部
９０ 総動揺エネルギー算出部
１００ 総動揺エネルギー補正部
１０１ 加算部
１０２ 記憶部
１０３ 乗算部
１１０ 対数変換部

Claims (7)

1. 映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定装置であって、
   画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部と、
   検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部と、
   前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
   動きありと判定された前記領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する動き領域番号付与部と、
   動き領域番号が付与された全ての前記領域の前記補正済み動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出する回転中心・回転角算出部と、
   前記領域の前記補正済み動きベクトルと前記回転中心及び前記回転角を用いて、当該領域の回転ベクトルを算出する回転ベクトル算出部と、
   前記領域の前記補正済み動きベクトルと前記回転ベクトルとの差分を回転残差ベクトルとして算出する回転残差ベクトル算出部と、
   前記回転ベクトルに周波数相対感度補正を施すことによって補正済み回転ベクトルを得る第二のフィルタ部と、
   同じ前記動き領域番号が付与された前記領域ごとに、前記補正済み回転ベクトルの大きさの二乗と、前記回転残差ベクトルの二乗の総和を算出するとともに、全ての動き領域番号の前記総和を非線形加算することによって、不快度としての総動揺エネルギーを算出する総動揺エネルギー算出部と、
   前フレームの補正済み総動揺エネルギーが大きいほど現フレームの補正済み総動揺エネルギーが大きくなるように現フレームの前記総動揺エネルギーを補正することによって、不快度として補正済み総動揺エネルギーを算出する総動揺エネルギー補正部と、
   を備えることを特徴とする不快度推定装置。
2. 前記補正済み総動揺エネルギーを対数変換することによって、不快度として対数変換された前記補正済み総動揺エネルギーを算出する対数変換部を備える
   ことを特徴とする請求項１に記載の不快度推定装置。
3. 前記総動揺エネルギー補正部は、前フレームの前記補正済み動揺エネルギーに、０よりも大きく１よりも小さい定数を乗じ、現フレームの前記動揺エネルギーに加算することによって、現フレームの前記補正済み動揺エネルギーを得る
   ことを特徴とする請求項１又は請求項２に記載の不快度推定装置。
4. 前記第一のフィルタ部は、
   前記動きベクトルの上下方向成分に周波数感度補正を施す第一のデジタルフィルタと、
   前記動きベクトルの左右方向成分に前記第一のデジタルフィルタとは異なる周波数感度補正を施す第二のデジタルフィルタと、
   を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の不快度推定装置。
5. 前記動き領域判定部は、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の不快度推定装置。
6. 前記第二のフィルタ部は、前記回転ベクトルに対して、前記第一のフィルタ部によって周波数感度補正が施された他成分との相対感度の周波数特性に対応する周波数相対感度補正を施す第三のデジタルフィルタを備える
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の不快度推定装置。
7. 映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定プログラムであって、
   コンピュータを、
   画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部、
   検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部、
   前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部、
   動きありと判定された前記領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する動き動き領域番号付与部、
   動き領域番号が付与された全ての前記領域の前記補正済み動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出する回転中心・回転角算出部、
   前記領域の前記補正済み動きベクトルと前記回転中心及び前記回転角を用いて、当該領域の回転ベクトルを算出する回転ベクトル算出部、
   前記領域の前記補正済み動きベクトルと前記回転ベクトルとの差分を回転残差ベクトルとして算出する回転残差ベクトル算出部、
   前記回転ベクトルに周波数相対感度補正を施すことによって補正済み回転ベクトルを得る第二のフィルタ部、
   同じ前記動き領域番号が付与された前記領域ごとに、前記補正済み回転ベクトルの大きさの二乗と、前記回転残差ベクトルの二乗の総和を算出するとともに、全ての動き領域番号の前記総和を非線形加算することによって、不快度としての総動揺エネルギーを算出する総動揺エネルギー算出部、及び、
   前フレームの補正済み総動揺エネルギーが大きいほど現フレームの補正済み総動揺エネルギーが大きくなるように現フレームの前記総動揺エネルギーを補正することによって、不快度として補正済み総動揺エネルギーを算出する総動揺エネルギー補正部、
   として機能させることを特徴とする不快度推定プログラム。

Images