JP6647079B2 - 動揺認知量推定装置及び動揺認知量推定プログラム - Google Patents

Description

本発明は、揺れのある映像に対する動揺の認知量を推定する動揺認知量推定装置及び動揺認知量推定プログラムに関する。

家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺（映像の揺れ）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。

しかし、前記した「手ぶれ補正」では、長周期の揺れは補正ができない、あるいは不十分であり、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけで、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件及び、その条件に対する現在の生理的状態の程度のみである。

これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーション（画面全体の動き）あるいは画面のある程度まとまった領域の動きに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、画面の全体あるいはある程度まとまった領域の動きに対する視聴者の心理的な「不快度」を具体的に把握するものではないため、「不快度」を基準とした映像の良否を判定するには不向きであった。

「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月

かかる問題を解消するため、本願出願人は、生理的指標を用いることなく、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置を開発した（特願２０１５−０４０６０９、本願出願時未公開）。

しかし、不快度推定誤差を低減するために様々な技術を導入した前記不快度推定装置をもってしても、一般的な撮影映像に対して５段階のランクで推定した不快度の自乗誤差平均の平方根（ｒ．ｍ．ｓ．ｅ（root mean square error））は０．５ランク程度残っており、同じランクの不快度と推定された映像の２０シーンに１シーンは±１ランク以上の誤差が生じていた。実用性を求めるならば、±１ランク以上の誤差が生じるのを１００シーンに１シーン程度に収めることが望ましい。これは前記ｒ．ｍ．ｓ．ｅを０．４ランク以下に抑えること、すなわち誤差をさらに２０％低減することに相当する。

だが、不快度の評価実験の被験者に対する聞き取りで、「揺れは感じるけれども不快には感じない映像がある」とか、「同じ大きさの揺れでも映像によって不快度が異なる」と言った感想が多く寄せられており、映像の物理的特徴量から不快度を直接推定する前記不快度推定装置の手法では、不快度推定誤差を目標とする値まで低減することは困難であることがわかった。

つまり、画面動揺の不快度を高精度に推定するには、認知される動揺量をまず高精度に推定した上で、推定された動揺認知量と映像の物理的特徴量とを用いて不快度を推定する必要がある。

本発明は、前記した事情に鑑みて創案されたものであり、視聴者が画面動揺のある映像（動揺映像）を観視した際に最初に認知する動揺量を高精度に推定することが可能な動揺認知量推定装置及び動揺認知量推定プログラムを提供することを課題とする。

前記課題を解決するため、本発明の動揺認知量推定装置は、映像における動きベクトル及び映像の部分的な空間周波数に基づいて、動揺映像を観視した視聴者が始めに認知する動揺量、すなわち動揺認知量を推定する動揺認知量推定装置であって、領域別動きベクトル検出部と、第一のフィルタ部と、動き領域判定部と、動き領域番号付与部と、回転中心・回転角算出部と、回転ベクトル算出部と、回転残差ベクトル算出部と、第二のフィルタ部と、領域別空間周波数感度補正部と、空間周波数エネルギー算出部と、動き領域間相関値算出部と、動き領域内部境界間相関値算出部と、動揺エネルギー補正部と、を備える。

動揺認知量推定装置は、領域別動きベクトル検出部によって、画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出し、第一のフィルタ部によって、前記動きベクトルに周波数感度補正を施して補正済み動きベクトルを得て、動き領域判定部によって、前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定し、動き領域番号付与部によって、隣接する領域との前記補正済み動きベクトルの差に基づいて、同じ動き領域に属する領域ごとに異なりかつ領域間の前後関係を反映した動き領域番号を付与する。

なお、前記第一のフィルタ部は、第一のデジタルフィルタと、第二のデジタルフィルタと、を備える構成であってもよい。かかる構成によると、動揺認知量推定装置は、第一のデジタルフィルタによって、前記動きベクトルの上下方向成分に周波数感度補正を施し、第二のデジタルフィルタによって、前記動きベクトルの左右方向成分に前記第一のデジタルフィルタとは異なる周波数感度補正を施す。

また、動揺認知量推定装置は、動き領域判定部によって、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する構成であってもよい。

また、動揺認知量推定装置は、回転中心・回転角算出部によって、前記動き領域番号が付与された全領域を統合した領域において、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出し、回転ベクトル算出部によって、各領域における前記回転角による動きベクトルを回転ベクトルとして算出し、回転残差ベクトル算出部によって、各領域における前記回転ベクトルと前記補正済み動きベクトルとの残分を回転残差ベクトルとして算出する。

また、動揺認知量推定装置は、第二のフィルタ部によって、前記回転ベクトルに周波数感度補正を施して補正済み回転ベクトルを得る。

なお、前記第二のフィルタ部は、第三のデジタルフィルタを備える構成であってもよい。かかる構成によると、動揺認知量推定装置は、第三のデジタルフィルタによって、前記回転ベクトルに対して、前記第一のフィルタ部によって周波数感度補正が施された他成分との相対感度の周波数特性に対応する周波数相対感度補正、すなわち、前記第一のデジタルフィルタと第二のデジタルフィルタのいずれとも異なる周波数相対感度補正を施す。

また、動揺認知量推定装置は、領域別空間周波数感度補正部によって、領域別動きベクトル検出部で画面を分割した領域ごとに、前記映像の輝度信号に対し空間周波数成分に応じた感度補正を施して空間周波数感度補正済み映像信号を得た上で、空間周波数エネルギー算出部によって、前記空間周波数感度補正済み映像信号のエネルギーを補正済み空間周波数エネルギーとして算出する。

また、動揺認知量推定装置は、動き領域間相関値算出部によって、前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、動き領域境界における前景領域と背景領域との間の回転残差ベクトルの相関値を動き領域間相関値として算出する。

また、動揺認知量推定装置は、動き領域内部境界間相関値算出部によって、前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、動き領域境界自体の動きベクトルと動き領域内部との間の回転残差ベクトルの相関値を動き領域内部境界間相関値として算出する。

最後に、動揺認知量推定装置は、総動揺エネルギー算出部によって、同じ前記動き領域番号が付与された前記領域ごとに、当該領域内の前記補正済み回転ベクトルの大きさの二乗と前記回転残差ベクトルの二乗の和をそれぞれ求めた個別動揺エネルギーに対し、前記補正済み空間周波数エネルギー、前記動き領域間相関値、前記動き領域内部境界間相関値、に応じて順に補正を施した後、当該動き領域内で補正が施された前記個別動揺エネルギーの総和を求め、求められた前記総和の平方根を動き領域番号ごとの動き領域別動揺エネルギーとした上で、全ての前記動き領域の前記動き領域別動揺エネルギーを非線形加算することによって動揺認知量推定値に相当する総動揺エネルギーを得る。

かかる構成により、一般映像のような画面各所で様々に異なる空間周波数成分を有する撮影対象が、背景を遮蔽しつつ背景とは異なる動きをしているような場合においても、視聴者が認知する動揺量、すなわち動揺認知量を高精度に推定することが可能になる。

また、本発明は、コンピュータを前記した動揺認知量推定装置として機能させる動揺認知量推定プログラムとしても具現化可能である。

本発明によれば、一般映像のような画面各所で様々に異なる空間周波数成分を有する撮影対象が、背景を遮蔽しつつ背景とは異なる動きをしているような場合においても、視聴者が認知する動揺量、すなわち動揺認知量を高精度に推定することが可能になる。

本発明の実施形態に係る動揺認知量推定装置を備える不快度推定システムの構成例を示すブロック図である。 本発明の実施形態に係る動揺認知量推定装置を示すブロック図である。 動きベクトルの成分ごとの動揺認知感度の周波数特性の一例を示すグラフである。 動きベクトルの径方向成分の動揺認知感度に対する回転方向成分の動揺認知感度の比に相当する回転方向成分の動揺認知相対感度の周波数特性の一例を示す図である。 映像の輝度信号に対し空間周波数成分に応じて感度補正する特性の一例を示す図である。 動き領域間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。 動き領域内部境界間相関値に応じて領域別動揺エネルギーを補正する特性の一例を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。
図１に示すように、本発明の実施形態に係る不快度推定システムＡは、動揺認知量推定装置１と、不快度推定装置２と、を備える。不快度推定装置２は、動揺認知量推定装置１を用いることで、不快度推定誤差を抑制することを可能にしたものであり、機能部として、特徴量抽出部３と、不快度推定部４と、を備える。ただし、不快度推定装置２の構成は、本発明の実施形態に係る動揺認知量推定装置１の利用例を示したものなので、本発明の実施形態に不可欠な要素ではない。

＜動揺認知量推定装置＞
本発明の実施形態に係る動揺認知量推定装置１は、図２に示すように、映像における動きベクトルに基づいて画面動揺に対する動揺認知量を推定するものであり、機能部として、領域別動きベクトル検出部１０と、第一のフィルタ部２０と、動き領域判定部３０と、動き領域番号付与部４０と、回転中心・回転角算出部５０と、回転ベクトル算出部６０と、回転残差ベクトル算出部７０と、第二のフィルタ部８０と、領域別空間周波数感度補正部９０と、空間周波数エネルギー算出部１００と、動き領域間相関値算出部１１０と、動き領域内部境界間相関値算出部１２０と、総動揺エネルギー算出部１３０と、を備える。かかる機能部のうち、領域別動きベクトル検出部１０、第一のフィルタ部２０、動き領域判定部３０、回転ベクトル算出部６０、回転残差ベクトル算出部７０、第二のフィルタ部８０及び領域別空間周波数感度補正部９０の組み合わせに関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。

＜領域別動きベクトル検出部＞
領域別動きベクトル検出部１０は、当該検出部１０に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトル（フレーム間の差分）を時系列に検出する。また、領域別動きベクトル検出部１０は、検出結果を第一のフィルタ部２０へ出力する。本実施形態において、領域別動きベクトル検出部１０は、動きベクトルとして、動き量の上下方向成分、及び、左右方向成分をそれぞれ検出する。

＜第一のフィルタ部＞
第一のフィルタ部２０は、領域別動きベクトル検出部１０によって検出された動きベクトルを取得し、取得された動きベクトルに上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得る。また、第一のフィルタ部２０は、得られた補正済み動きベクトルを動き領域判定部３０、動き領域番号付与部４０、回転中心・回転角算出部５０及び回転残差ベクトル算出部７０へ出力する。本実施形態において、第一のフィルタ部２０は、第一のデジタルフィルタ２１と、第二のデジタルフィルタ２２と、を並列に備える。

第一のデジタルフィルタ２１は、動きベクトルの上下方向成分に周波数感度補正を施すものであって、動きベクトルの上下方向成分に対して図３に示す上下方向の動揺認知量の感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み動きベクトルの上下方向成分を得る。また、第一のデジタルフィルタ２１は、得られた補正済み動きベクトルの上下方向成分を動き領域判定部３０、動き領域番号付与部４０、回転中心・回転角算出部５０及び回転残差ベクトル算出部７０へ出力する。

第二のデジタルフィルタ２２は、動きベクトルの左右方向成分に周波数感度補正を施すものであって、動きベクトルの左右方向成分に対して図３に示す左右方向の動揺認知量の感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み動きベクトルの左右方向成分を得る。また、第二のデジタルフィルタ２２は、得られた補正済み動きベクトルの左右方向成分を動き領域判定部３０、動き領域番号付与部４０、回転中心・回転角算出部５０及び回転残差ベクトル算出部７０へ出力する。

なお、第一のデジタルフィルタ２１、第二のデジタルフィルタ２２及び後記する第三のデジタルフィルタ８１においては、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本発明の動揺認知量推定装置１は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。

＜動き領域判定部＞
動き領域判定部３０は、第一のフィルタ部２０から出力された補正済み動きベクトルを取得し、動きベクトルの大きさが予め定められた閾値以上である場合に該当する領域において「動きあり」と判定する。本実施形態において、動き領域判定部２０は、計算の簡略化のため、上下方向動き量（すなわち、補正済み動きベクトルの上下方向成分の大きさ）の二乗と左右方向動き量（すなわち、補正済み動きベクトルの左右方向成分の大きさ）の二乗との和が閾値（前記した閾値の二乗）以上である場合に「動きあり」と判定することができる。動き領域判定部３０は、「動きあり」の場合と「動きなし」の場合とで異なる値、例えば、「動きあり」の場合は「０」、「動きなし」の場合は「−１」に設定し、設定結果を動きの有無の判定結果として動き領域番号付与部４０へ出力する。

＜動き領域番号付与部＞
動き領域番号付与部４０は、動きありと判定された領域に対して同じ動き領域に属する領域ごとに動き領域番号を付与する。動き領域番号付与部４０は、一の領域の補正済み動きベクトルと、隣接する領域の補正済み動きベクトルと、の差分ベクトルの大きさが所定値以下である場合に、一の領域と隣接する領域とが「同じ動き領域」であるとし、これらに同じ「動き領域仮番号」を付与する。かかる所定値は、画面の全体あるいはある程度まとまった領域の動きと主観評価実験で得られた動揺認知量との関係を用いて設定することができる。

さらに、動き領域番号付与部４０は、隣接する「異なる動き領域」の境界において、フレーム間でいずれの領域がもう一方の領域を遮蔽しているかを調べることにより、領域の前後関係を判定する。これを全ての動き領域について調べた結果に基づいて、一番背後にある動き領域から順に「動き領域仮番号」を並べ直した後、それぞれの動き領域に並べ直した順番に沿い、「１」から順に正式な「動き領域番号」を付与する。隣接していない複数の動き領域がいずれも同じ動き領域と隣接している場合、複数の動き領域の前後関係を特定することができないが、全ての隣接する動き領域間で前後関係に破綻を来たさない限り、順序を入れ替えてもかまわない。ただし、隣接していない２つの動き領域ＡとＢがともに同じ動き領域Ｃと隣接するとともに同じ前後関係である場合であっても、動き領域Ｃと隣接する別の動き領域Ｄがやはり動き領域ＡとＢの両方と隣接するとともに異なる前後関係である場合には、動き領域Ａ，Ｂ，Ｃ，Ｄの前後関係の順序は一意に定まる。なお、動き領域の前後関係の順序の判定手法としては、映像における被写体のオクルージョンの検出手法等と同様の公知の手法を採用することができる。

ここでは、一番背後にある動き領域から順に動き領域番号を付与することとしたが、動き領域番号の大小関係が前後関係を表していさえすればよいので、一番手前にある動き領域から順に動き領域番号を付与してもかまわない。

また、動きなしと判定された領域に関しては、動き領域判定部３０と同様に「−１」を付与する。この値は「−１」に限定する必要はなく、動きありと判定された領域に付与された動き領域番号のいずれとも異なる特定の値でありさえすれば良いが、動き領域番号が正の値であるので、最も大きい負の値である「−１」とするのが望ましい。

また、動きありと判定された領域であっても、隣接するいずれの領域とも異なる動きとなっている領域については、動き領域判定部３０と同様に「０」を付与する。この値も「０」に限定する必要はなく、正の値である動き領域番号とも、動きなしと判定された領域番号である「−１」とも容易に区別できる「０」とするのが望ましい。

動き領域番号付与部４０は、前記の手順で各領域に付与された動き領域番号を回転中心・回転角算出部５０、動き領域間相関値算出部１１０、動き領域内部境界間相関値算出部１２０、及び、総動揺エネルギー算出部１３０へ出力する。

＜回転中心・回転角算出部＞
回転中心・回転角算出部５０は、第一のフィルタ部２０から出力された補正済み動きベクトルと、動き領域番号付与部４０から出力された動き領域番号とを取得し、動き領域番号が前記の「０」と「−１」のいずれでもない画面内の全ての領域において、補正済み動きベクトルを用い、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと実際の補正済み動きベクトルとの二乗誤差（平均二乗誤差）の総和が最小となるときの回転中心及び回転角を算出する。また、回転中心・回転角算出部５０は、算出された回転中心及び回転角を回転残差ベクトル算出部６０へ出力する。

画面の回転中心と動きのある領域の重心とがずれている場合、視聴者は水平方向の線や鉛直方向の線の傾きに注目するため、動きのある全ての領域での回転が同相である場合、視聴者は同相動きの平均を差し引いた後の回転量（回転角に重心までの距離を乗じた値）ではなく、回転量の大きさの二乗の総和がより大きくなる、回転中心を中心とした回転量（回転角に回転中心までの距離を乗じた値）を知覚する。

同相回転方向に対する動揺認知量の感度とそれ以外の方向に対する動揺認知量の感度が同一であれば、動きの平均を差し引いた後の回転量と、回転中心を中心とした回転量のどちらを用いたとしても、全ての動き成分の動揺エネルギーの総和である総動揺エネルギーは同じになる。

しかし、実際には図３に示すとおり、同相回転方向に対する動揺認知量の感度は、２Ｈｚ以下でそれ以外の方向に対する動揺認知量の感度よりも高くなっているため、動揺として認知される総動揺エネルギーは、動きの平均を差し引いた後の回転量を用いる場合よりも、回転中心を中心とした回転量を用いる場合の方が大きくなる。

本発明の動揺認知量推定装置１は、前記したとおり、動きの平均を差し引かずに回転中心及び回転角を算出することにより、画面の回転中心と動きのある領域の重心とがずれている場合における動揺認知量の推定精度を高めている。

＜回転ベクトル算出部＞
回転ベクトル算出部６０は、回転中心・回転角算出部５０から出力された回転中心及び回転角を取得し、この回転中心及び回転角に基づいて、当該領域の中心における回転方向（回転中心への方向と直交する方向）のベクトルを算出し、当該ベクトルの上下方向成分と左右方向成分との組を回転ベクトルとして回転残差ベクトル算出部７０及び第二のフィルタ部８０へ出力する。

＜回転残差ベクトル算出部＞
回転残差ベクトル算出部７０は、第一のフィルタ部２０から出力された補正済み動きベクトルと、回転ベクトル算出部６０から出力された回転ベクトルとを取得し、補正済み動きベクトルと回転ベクトルとの差ベクトルを算出し、算出された差ベクトルの上下方向成分と左右方向成分との組を回転残差ベクトルとして、動き領域間相関値算出部１１０、動き領域内部境界間相関値算出部１２０、及び、総動揺エネルギー算出部１３０へ出力する。

回転残差ベクトルは、径方向（回転中心への方向）成分と、回転ベクトルとは非同相の回転方向成分と、に分解することができる。しかし、図３における径方向成分及び非同相の回転方向成分に対する周波数感度補正は、それぞれの上下方向成分に対して図３の上下方向成分の周波数感度補正を施し、それぞれの左右方向成分に対して図３の左右方向成分の周波数感度補正を施したものと等しいこと明らかになっており、当該周波数感度補正は前記した第一のフィルタ部２０によって既に行われているため、改めて補正を施す必要はない。

＜第二のフィルタ部＞
第二のフィルタ部８０は、回転ベクトル算出部６０から出力された回転ベクトルを取得し、回転ベクトルに周波数相対感度補正を施すことによって補正済み回転ベクトルを得て、得られた補正済み回転ベクトルを総動揺エネルギー算出部１３０へ出力する。本実施形態において、第二のフィルタ部８０は、第三のデジタルフィルタ８１を備える。

第三のデジタルフィルタ８１は、回転ベクトルの上下方向成分及び左右方向成分のそれぞれに対し、図４に示す動揺認知量の相対感度の周波数特性に相当する同じインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み回転ベクトルの上下方向成分と左右方向成分とを得て、総動揺エネルギー算出部１３０へ出力する。

ここで、回転ベクトルの周波数感度補正に関して、上下方向成分の感度に対する回転方向成分の相対感度と、左右方向成分の感度に対する回転方向成分の相対感度と、に基づいて、上下方向成分及び左右方向成分に異なる周波数感度補正をするのではなく、径方向成分の感度に対する回転方向成分の相対感度に基づいて、上下方向成分及び左右方向成分に同じ周波数相対感度補正をしている。

これは、元のベクトル（すなわち、補正済み動きベクトル）を径方向成分と回転方向成分とに分解し直した場合、元のベクトルの上下方向成分の一部が回転方向ベクトルの左右方向成分となり、元のベクトルの左右方向成分の一部が回転方向ベクトルの上下方向成分になるからである。

回転残差ベクトル算出部７０の説明で記したとおり、第一のフィルタ部２０による上下方向成分の周波数感度補正と左右方向成分の周波数感度補正によって施された径方向成分の周波数感度補正と同じ周波数感度補正が回転方向成分にも既に施されているため、第三のデジタルフィルタ８１によって新たに施すべき補正は、径方向成分の感度に対する回転方向成分の相対感度に基づいた周波数相対感度補正となっている。

＜領域別空間周波数感度補正部＞
領域別空間周波数感度補正部９０は、領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する前処理として、領域別動きベクトル検出部で画面を分割した領域ごとに、映像の輝度信号に対して図５に示す空間周波数感度補正を施す。また、領域別空間周波数感度補正部９０は、局所的な明暗コントラストの影響度を反映するために、空間周波数感度補正が施された映像の輝度信号（明暗コントラストの影響度の反映前）を、当該領域内の映像信号の直流成分の平方根で除すことにより、空間周波数感度補正済み映像信号を得る。また、領域別空間周波数感度補正部９０は、得られた空間周波数感度補正済み映像信号（明暗コントラストの影響度の反映後）を空間周波数エネルギー算出部１００へ出力する。

図５の特性は、水平・垂直・斜めのいずれ方向に対しても同等であるとしても大きな誤差を生じない（正確には斜め方向の高周波域の感度は水平・垂直方向での感度の８０％に低減するが、これによる動揺認知量の推定誤差の増加分は０．１ランク未満である）ので、グラフの原点を通る縦軸を中心軸として図５の特性を３６０°回転させた２次元空間周波数感度特性となる２次元インパルスレスポンスを、映像の輝度信号に対して畳み込み積分することによって空間周波数感度補正を施すことができる。

＜空間周波数エネルギー算出部＞
空間周波数エネルギー算出部１００は、当該領域において領域別空間周波数感度補正部９０から出力された空間周波数感度補正済み映像信号を自乗した値の総和を求めることで、前記した領域の見えやすさの影響度に対する補正を行うのに必要となる空間周波数感度補正済みのエネルギーを算出する。また、空間周波数エネルギー算出部１００は、算出された空間周波数感度補正済みのエネルギーを総動揺エネルギー算出部１３０へ出力する。

＜動き領域間相関値算出部＞
動き領域間相関値算出部１１０は、動き領域番号付与部４０及び回転残差ベクトル算出部７０からの出力を取得し、これらに基づいて動き領域間相関値を算出する。詳細には、動き領域間相関値算出部１１０は、動き領域境界における前景領域と背景領域との間の回転残差ベクトルの相関値を求めることで、前景と背景との動揺の相関の影響度に対する補正を行うのに必要となる動き領域間相関値を算出する。また、動き領域間相関値算出部１１０は、算出された動き領域間相関値を総動揺エネルギー算出部１３０へ出力する。

本実施形態において、動き領域間相関値算出部１１０は、領域Ａと領域Ｂとの境界に隣接する領域Ａの画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ａ、領域Ａと領域Ｂとの境界に隣接する領域Ｂの画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ｂとしたとき、単位時間（例えば、２〜３秒）における動き領域間相関値Ｃ_１を、次式によって算出する。
Ｃ_１＝Σ（Ｖ_Ａ・Ｖ_Ｂ）／Σ（‖Ｖ_Ａ‖×‖Ｖ_Ｂ‖）
ここで、「・」は内積を表す。

＜動き領域内部境界間相関値算出部＞
動揺映像においては、同じ面積でかつ同じ動揺の大きさであっても、領域全体が動揺している場合の方が、領域の境界は動かず内部のみが動揺している場合よりも動揺認知量が大きくなる性質がある。動き領域内部境界間相関値算出部１２０は、動き領域番号付与部４０及び回転残差ベクトル算出部７０からの出力を取得し、これらに基づいて動き領域内部境界間相関値を算出する。詳細には、動き領域内部境界間相関値算出部１２０は、動き領域境界自体の動きベクトルと動き領域内部との間の回転残差ベクトルの相関値を求めることで、前記した性質を反映する補正を施すのに必要になる動き領域内部境界間相関値を得て、総動揺エネルギー算出部１３０へ出力する。

本実施形態において、動き領域内部境界間相関値算出部１２０は、領域Ａの最外周（他領域との境界）の画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ａ１、領域Ａの最外周以外（すなわち内部）の画素群の動きベクトルの平均すなわち平均動きベクトルをＶ_Ａ２としたとき、単位時間（例えば、２〜３秒）における動き領域内部境界間相関値Ｃ_２を、次式によって算出する。
Ｃ_２＝Σ（Ｖ_Ａ１・Ｖ_Ａ２）／Σ（‖Ｖ_Ａ１‖×‖Ｖ_Ａ２‖）
ここで、「・」は内積を表す。

＜総動揺エネルギー算出部＞
総動揺エネルギー算出部１３０は、動き領域番号付与部４０から出力された各領域の動き領域番号と、回転残差ベクトル算出部７０から出力された回転残差ベクトルと、第二のフィルタ部８０から出力された補正済み回転ベクトルと、空間周波数エネルギー算出部１００から出力された補正済み空間周波数エネルギーと、動き領域間相関値算出部１１０から出力された動き領域間相関値と、動き領域内部境界間相関値算出部１２０から出力された動き領域間相関値と、を取得し、動き領域番号付与部４０から出力された各領域の動き領域番号に基づいて、正の値を付与された同じ動き領域番号の領域について回転ベクトルの大きさの二乗と、回転残差ベクトルの大きさの二乗の和をそれぞれ算出する。また、総動揺エネルギー算出部１３０は、算出結果に対して、まず領域の見えやすさの影響度に対する補正として、補正済み空間周波数エネルギーをα乗した値を乗じる処理を施し（α≒０．３のときに誤差が最小になる）、次に前景と背景との動揺の相関の影響度に対する補正として、図６の特性で示される動き領域間相関値に応じた補正値を乗じる処理を施す。また、総動揺エネルギー算出部１３０は、動き領域間相関値に応じた補正値を乗じたものに対して、さらに、動き領域の境界自体がどの程度領域内部と同期して動揺しているのかによる補正として、図７の特性で示される動き領域内部境界間相関値に応じた補正値を乗じる処理を施すことで個別動揺エネルギーを得た上で、動き領域番号ごとに個別動揺エネルギーの総和を算出した後に、全ての動き領域番号について非線形加算することで、動揺認知量推定値に相当する総動揺エネルギーを算出する。また、総動揺エネルギー算出部１３０は、算出された総動揺エネルギーを動揺認知量の推定値として不快度推定装置２（図１参照）へ出力する。

ここで、動き領域番号別動揺エネルギーは、各動き領域番号における個別動揺エネルギーの総和の平方根を用いることとする。その理由は、図１に示す例のように、本発明の動揺認知量推定装置１を用いて不快度を推定する際に不快度推定精度が最も高くなるのは、通常のエネルギーのように振幅の二乗に面積を乗じたものに相当する値を総動揺エネルギーとした場合ではなく、その値の平方根を総動揺エネルギーとした場合であることが明らかになっていることによる。

総動揺エネルギー算出部１３０は、全ての動き領域番号について動き領域別動揺エネルギーを非線形加算することによって、動揺認知量推定値に相当する総動揺エネルギーを算出し、出力する。非線形加算の方法は、全ての動き領域番号ｎの動き領域番号別動揺エネルギーａ_ｎについて、
（Σａ_ｎ ^γ）^１／γ
を計算して行う。

ここで、本発明の動揺エネルギーは通常のエネルギーの平方根となっているので、γ＝２とした場合、通常のエネルギーを用いて総動揺エネルギーを算出したことに相当する。
また、γ＞１ の場合、γの値が大きいほど、当該非線形加算により得られる総動揺エネルギーは小さくなり、動き領域番号の数が多いほど総動揺エネルギーは小さくなる。
特に、γ≒６ としたときに、複数領域が個別に異なる動揺を示す場合の動揺認知量の推定誤差が最小となることが明らかになっている。

＜推定不快度推定装置＞
続いて、図１に戻り、不快度推定装置２の特徴抽出部３及び不快度推定部４について説明する。

＜特徴量抽出部＞
特徴量抽出部３は、映像信号を取得し、取得された映像信号に基づいて、動揺認知量以外に不快度の要因となる映像の物理的特徴量に抽出し、抽出した物理的特徴量を不快度推定部４へ出力する。動揺認知量以外の不快度の要因となる映像の物理的特徴量としては、空間周波数、時間周波数、色分布、局在率、誘目度等が挙げられる。

＜不快度推定部＞
不快度推定部４は、動揺認知量推定装置１で推定された動揺認知量と、特徴量抽出部３によって抽出された物理的特徴量とを取得し、非線形な加算・減算・積算等を行うことによって不快度を算出し、ディスプレイ、スピーカ等の外部装置（不快度を利用者へ通知する通知部）へ出力する。

＜動作例＞
続いて、本発明の実施形態に係る動揺認知量推定装置１の動作例について、図２ないし図７を参照して説明する。図１の不快度推定装置２の動作例は、本発明の実施形態に係る動揺認知量推定装置１の利用例を示したものなので、ここでは説明の対象外とする。

まず、領域別動きベクトル検出部１０が、当該検出部１０に対応する領域の映像信号を用いて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトルを検出し、第一のフィルタ部２０へ出力する。続いて、第一のフィルタ部２０が、動きベクトルに周波数感度補正を施し、補正済み動きベクトルを動き領域判定部３０等へ出力する。

続いて、動き領域判定部３０が、補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きの有無の判定結果として動き領域番号付与部４０へ出力する。続いて、回転ベクトル算出部４０が、同じ動き領域に属する領域ごとに、動き領域間の前後関係を反映した動き領域番号を付与し、回転中心・回転角算出部５０等へ出力する。

続いて、回転中心・回転角算出部５０が、全画面における回転中心及び回転角を算出し、回転残差ベクトル算出部６０へ出力する。続いて、回転ベクトル算出部６０が、回転中心と回転角を用いて各領域における前記回転角による動きベクトルを回転ベクトルとして算出し、回転残差ベクトル算出部７０と第二のフィルタ部８０へ出力する。

続いて、回転残差ベクトル算出部７０が、各領域における前記補正済み動きベクトルと前記回転ベクトルとの残分を回転残差ベクトルとして算出し、動き領域間相関値算出部１１０、動き領域内部境界間相関値算出部１２０、及び、総動揺エネルギー算出部１３０へ出力する。続いて、第二のフィルタ部８０が、回転残差ベクトルに対する回転ベクトルの相対感度に相当する周波数感度補正を回転ベクトルに施し、補正済み回転ベクトルを総動揺エネルギー算出部１３０へ出力する。

その一方、領域別空間周波数感度補正部９０が、領域別動きベクトル検出部１０と同じ領域の映像信号に対して空間周波数感度補正を施し、空間周波数感度補正済み映像信号を空間周波数エネルギー算出部１００へ出力する。続いて、空間周波数エネルギー算出部１００が、空間周波数感度補正済み映像信号のエネルギーを補正済み空間周波数エネルギーとして算出し、総動揺エネルギー算出部１３０へ出力する。

その一方で、動き領域間相関値算出部１１０が、動き領域境界における前景領域と背景領域との間の回転残差ベクトルの相関値を動き領域間相関値として算出し、総動揺エネルギー算出部１３０へ出力する。さらにその一方で、動き領域内部境界間相関値算出部１２０が、動き領域境界自体の動きベクトルと動き領域内部との間の回転残差ベクトルの相関値を動き領域内部境界間相関値として算出し、総動揺エネルギー算出部１３０へ出力する。

続いて、総動揺エネルギー算出部１３０が、動き領域番号ごとに動き領域内の各回転残差ベクトルの大きさの二乗と各補正済み回転ベクトルの大きさの二乗の和を求めた個別動揺エネルギーに対し、補正済み空間周波数エネルギー、動き領域間相関値、動き領域内部境界間相関値、に応じて順に補正を施した後、動き領域内で総和を求め、その平方根を動き領域番号ごとの動き領域別動揺エネルギーとした上で、全ての動き領域の動き領域別動揺エネルギーを非線形加算し、動揺認知量推定値に相当する総動揺エネルギーとして出力する。

本発明の実施形態に係る動揺認知量推定装置１は、前記説明中に記したとおり、動揺映像に対する不快度とは１対１に対応するものではないが、動揺認知量推定装置１によって得られた動揺認知量推定値と、映像の物理的特徴量とを用いることで、従来の動揺映像に対する不快度推定装置では達しえなかった水準まで、不快度推定精度を高めうることが期待される。
また、動揺認知量推定装置１によって得られた動揺認知量推定値は、映像コンテンツ製作者が画面動揺を低減するような映像修正を施す際に、不快度の代用指標として使用することも可能である。すなわち、動揺認知量推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの設定目標として、動揺認知量推定値を映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性も高められる。
また、動揺認知量推定装置１が視聴者側で用いられる場合には、画面動揺に関して安全であることを保証せずに制作、流通された映像に対し、視聴前又は視聴中の表示直前に動揺認知量を推定してディスプレイ又はスピーカへ出力することで警告を発することができるので、映像酔いによる健康被害を防止することが可能になる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記動揺認知量推定装置１として機能させる動揺認知量推定プログラムとして具現化することも可能である。あるいは、動揺認知量推定値を心理評価値と線形的に対応するようにするために、前記総動揺エネルギーの対数値を動揺認知量推定値として出力することとしてもよい。また、動揺認知量推定装置１は、不快度推定装置２と一体化された装置としても具現化可能である。また、動揺認知量推定装置１によって推定された動揺認知量は、不快度の推定のみに用いられるものではなく、単独での心理指標又は他の心理指標の元となるものとして利用可能である。

Ａ 不快度推定システム
１ 動揺認知量推定装置
２ 不快度推定装置
３ 特徴量抽出部
４ 不快度推定部
１０ 領域別動きベクトル検出部
２０ 第一のフィルタ部
２１ 第一のデジタルフィルタ
２２ 第二のデジタルフィルタ
３０ 動き領域判定部
４０ 動き領域番号付与部
５０ 回転中心・回転角算出部
６０ 回転ベクトル算出部
７０ 回転残差ベクトル算出部
８０ 第二のフィルタ部
８１ 第三のデジタルフィルタ
９０ 領域別空間周波数感度補正部
１００ 空間周波数エネルギー算出部
１１０ 動き領域間相関値算出部
１２０ 動き領域内部境界間相関値算出部
１３０ 総動揺エネルギー算出部

Claims (5)

1. 映像における動きベクトルに基づいて画面動揺に対する動揺認知量を推定する動揺認知量推定装置であって、
   画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部と、
   検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部と、
   前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
   動きありと判定された前記領域に対して同じ動き領域に属する領域ごとに領域間の前後関係を反映した動き領域番号を付与する動き領域番号付与部と、
   前記動き領域番号が付与された全ての前記領域の前記補正済み動きベクトルを用いて、回転角による動きベクトルの大きさの二乗の総和が最大になるとともに、回転角による動きベクトルと前記補正済み動きベクトルとの二乗誤差の総和が最小となるときの回転中心及び回転角を算出する回転中心・回転角算出部と、
   前記領域の前記補正済み動きベクトルと前記回転中心及び前記回転角とを用いて、当該領域の回転ベクトルを算出する回転ベクトル算出部と、
   前記領域の前記補正済み動きベクトルと前記回転ベクトルとの差分を回転残差ベクトルとして算出する回転残差ベクトル算出部と、
   前記回転ベクトルに周波数相対感度補正を施すことによって補正済み回転ベクトルを得る第二のフィルタ部と、
   前記映像に対して空間周波数感度補正を施すことによって空間周波数感度補正済み映像信号を得る領域別空間周波数感度補正部と、
   前記空間周波数感度補正済み映像信号のエネルギーを算出することで補正済み空間周波数エネルギーを得る空間周波数エネルギー算出部と、
   前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、前記動き領域の境界における前景領域と背景領域との間の前記回転残差ベクトルの相関値を算出することによって動き領域間相関値を得る動き領域間相関値算出部と、
   前記動き領域番号が付与された前記領域と前記回転残差ベクトルとに基づいて、前記動き領域の境界自体の動きベクトルと同じ動き領域内部との間の前記回転残差ベクトルの相関値を算出することによって動き領域内部境界間相関値を得る動き領域内部境界間相関値算出部と、
   同じ前記動き領域番号が付与された前記領域ごとに、当該領域内の前記補正済み回転ベクトルの大きさの二乗と前記回転残差ベクトルの二乗の和をそれぞれ求めた個別動揺エネルギーに対し、前記補正済み空間周波数エネルギー、前記動き領域間相関値、前記動き領域内部境界間相関値、に応じて順に補正を施した後、当該動き領域内で補正が施された前記個別動揺エネルギーの総和を求め、求められた前記総和の平方根を動き領域番号ごとの動き領域別動揺エネルギーとした上で、全ての前記動き領域の前記動き領域別動揺エネルギーを非線形加算することによって動揺認知量推定値に相当する総動揺エネルギーを得る総動揺エネルギー算出部と、
   を備えることを特徴とする動揺認知量推定装置。
2. 前記第一のフィルタ部は、
   前記動きベクトルの上下方向成分に周波数感度補正を施す第一のデジタルフィルタと、
   前記動きベクトルの左右方向成分に前記第一のデジタルフィルタとは異なる周波数感度補正を施す第二のデジタルフィルタと、
   を備えることを特徴とする請求項１に記載の動揺認知量推定装置。
3. 前記動き領域判定部は、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する
   ことを特徴とする請求項１又は請求項２に記載の動揺認知量推定装置。
4. 前記第二のフィルタ部は、前記回転ベクトルに対して、前記第一のフィルタ部によって周波数感度補正が施された他成分との相対感度の周波数特性に対応する周波数相対感度補正を施す第三のデジタルフィルタを備える
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の動揺認知量推定装置。
5. コンピュータを請求項１に記載の動揺認知量推定装置として機能させることを特徴とする動揺認知量推定プログラム。

Images