JP5997575B2 - 不快度推定装置及び不快度推定プログラム - Google Patents

Description

本発明は、映像の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。

家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際のディスプレイが大画面化するのに伴い、画面動揺（映像の揺れ）によって誘発される不快感が増大する傾向があり、場合によっては視聴者が映像酔いを起こして健康被害に至る例もある。画面動揺の多くは、撮影時のビデオカメラの動き、すなわちグローバルモーションに起因する。かかる事態を予防するため、手持ち撮影用ビデオカメラ等には「手ぶれ補正」機能の搭載がほぼ必須となっている。また、撮影された映像に含まれるグローバルモーションを軽減する「映像スタビライズ」ソフトウェアも数多く開発されている。さらに、グローバルモーションと脈拍・血圧等との生理的な指標との関係を探ることによって、不快な状態を推定しようとする試みも行われている（非特許文献１参照）。

しかし、前記した「手ぶれ補正」では長周期の揺れは補正ができない、あるいは不十分であり、「映像スタビライズ」では、短い期間内の映像の揺れを無くすか低減したり、滑らかな画面移動に変換したりするだけで、どのような性質でどの程度の大きさの揺れならば残っていても良いといった客観的な基準に則っているものではない。また、この客観的な基準として脈拍・血圧等の生理的な指標を用いることができたとしても、明示できるのは健康被害に達する条件および、その条件に対する現在の生理的状態の程度のみである。

これに対し、放送、映画等の映像コンテンツの供給者は、映像制作段階において、映像の安全性のみならず、視聴者の大半にグローバルモーションに伴う不快感を催させないように留意する必要がある。しかしながら、前記した従来の技術は、グローバルモーションに対する視聴者の心理的な「不快度」を具体的に把握するものではなく、グローバルモーションによる「不快度」を基準として映像の良否を判定するには不向きであった。

本願出願人は、生理的指標を用いることなく、グローバルモーションと主観評価実験で得られた不快度との関係を用いて、映像を解析して得られた物理的特徴量に基づいて画面動揺に対する不快度を推定する不快度推定装置Ａを開発した（特許文献１参照）。さらに、多大な計算量を要するグローバルモーションの検出をせずに、画面各部の動きのみを使い、４倍以上の高速化を果たしながら、より高い精度で不快度を推定できる改良型の不快度推定装置Ｂを開発した（非特許文献２参照）。

特開２０１１−２３８１２０号公報

「映像酔いガイドライン検証システムの実用化に関するフィージビリティスタディ報告書」、財団法人機械システム振興協会、平成２０年３月 蓼沼 眞、「動揺映像に対する不快度推定装置の開発」、映像情報メディア学会年次大会予稿集 ２０１１年８月１日

ここで、画面中央を境に左右の画面が同じ角度で同期して反対方向に回転する映像では、実際には不快感が生ずるのに対して、不快度推定装置Ａではグローバルモーションが０と検出されて不快度を０と算出してしまう問題があったため、不快度推定装置Ｂではこのような画像に対しても不快度を算出できるような改良が施された。しかしながら、回転に対する不快度の感度が高い周波数である０．１７Ｈｚにおいて、画面の全面が同方向に回転する場合と、前述の左右画面が同期して反対方向に回転する場合とを、評価実験によって不快度を比較した結果では、全面で同方向に回転する方が左右で反対方向に回転する場合より感度が約２．７倍高く、有意な差があるにもかかわらず、不快度推定装置Ｂではどちらも同方向に回転する場合と同じ不快度としか推定されない問題があった。

また、不快度推定装置Ｂに実装された周方向（回転）と径方向（拡大縮小）の不快度の感度の周波数特性が２Ｈｚ以上で異なっているため、その相対感度を補正する分だけデジタルフィルタの次数が高くなっており、ハードウェア化した際の回路規模が大きくなっていたが、後に２Ｈｚ以上に限定して両者の感度の違いを検定したところ、有意な差が無いことが確認されたため、不要な処理が加わっていたことが明らかになっている。

さらに、その後行った検証の結果、０．１７Ｈｚにピークがある周方向の不快度の感度の周波数特性は、全面で同方向に回転する場合特有のものであり、回転方向が異なる周方向と径方向の不快度の感度の周波数特性は一致していることも明らかになっている。

本発明は、前記した事情に鑑みて創案されたものであり、画面動揺に対して視聴者が感じる不快度をより高い精度で推定することを可能にする不快度推定装置及び不快度推定プログラムを提供することを課題とする。

前記課題を解決するため、本発明の不快度推定装置は、映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定装置であって、領域別動きベクトル検出部と、第一のフィルタ部と、動き領域判定部と、動き領域重心算出部と、平均補正済み動きベクトル算出部と、差ベクトル算出部と、周径方向動きベクトル算出部と、周方向同相動きベクトル算出部と、第二のフィルタ部と、総動揺エネルギー算出部と、を備える。このうち、周方向同相動きベクトル算出部のみが、既出願の不快度推定装置Ｂに新たに加わったものである。また、第二のフィルタ部は、その特性がより単純なものに置き換わっている。

不快度推定装置は、領域別動きベクトル検出部によって、画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出し、第一のフィルタ部によって、検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得て、動き領域判定部によって、前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する。

また、不快度推定装置は、動き領域重心算出部によって、動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出し、平均補正済み動きベクトル算出部によって、動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する。

また、不快度推定装置は、差ベクトル算出部によって、動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出し、周径方向動きベクトル算出部によって、動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出する。

また、不快度推定装置は、周方向同相動きベクトル算出部によって、動きありと判定された前記領域ごとに、前記動き領域重心を中心とした周方向動きベクトルについて最も差分エネルギーが小さくなる周方向同相動きベクトルを算出するとともに、元の周方向動きベクトルと周方向同相動きベクトルとの差分である周方向差分動きベクトルを算出する。すなわち、周方向同相動きベクトルは、動き領域重心を中心とした回転角が等しく、かつ、周方向差分動きベクトルの二乗の総和が最小になるベクトルであり、周方向差分動きベクトルは、周方向動きベクトルと周方向同相動きベクトルとの差分である。

また、不快度推定装置は、第二のフィルタ部によって、動きありと判定された前記領域ごとに、前記周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得る。

また、不快度推定装置は、総動揺エネルギー算出部によって、動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、前記周方向差分動きベクトルの二乗、及び、前記補正済み周方向同相動きベクトルの二乗の和を算出することによって、不快度として総動揺エネルギーを算出する。

かかる構成によると、画面動揺に対して視聴者が感じる不快度を、これまでよりも高い精度で推定することができる。

不快度推定装置は、さらに、総動揺エネルギー補正部を備える構成であってもよい。この場合、不快度推定装置は、総動揺エネルギー補正部によって、当該総動揺エネルギー補正部の出力に比例した量を、次回の前記総動揺エネルギーに加算することによって、不快度として次回の補正後の前記総動揺エネルギーを算出する。

かかる構成によると、時間蓄積を反映した不快度を推定することができる。

不快度推定装置は、対数変換部を備える構成であってもよい。この場合、不快度推定装置は、対数変換部によって、前記総動揺エネルギー又は前記補正後の総動揺エネルギーを対数変換することによって、不快度として対数変換された前記総動揺エネルギー又は前記補正後の総動揺エネルギーを算出する。

かかる構成によると、不快度を線形的な知覚量に近似させることができる。

また、前記第一のフィルタ部は、第一のデジタルフィルタと、第二のデジタルフィルタと、を備える構成であってもよい。かかる構成によると、不快度推定装置は、第一のデジタルフィルタによって、前記動きベクトルの上下方向成分である上下方向動きベクトルに周波数感度補正を施し、第二のデジタルフィルタによって、前記動きベクトルの左右方向成分である左右方向動きベクトルに前記第一のデジタルフィルタとは異なる周波数感度補正を施す。

不快度推定装置は、動き領域判定部によって、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する構成であってもよい。

前記第二のフィルタ部は、第三のデジタルフィルタを備える構成であってもよい。かかる構成によると、不快度推定装置は、前記周方向同相動きベクトルに対して、前記径方向動きベクトルとの相対感度の周波数特性に対応する周波数感度補正を施す。

不快度推定装置は、総動揺エネルギー算出部によって、動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、及び、前記補正済み周方向動きベクトルの二乗の和を直前の所定時間分加算することによって、前記総動揺エネルギーを算出する構成であってもよい。

また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。

本発明によれば、画面動揺に対して視聴者が感じる不快度を既出願の不快度推定装置よりも高い精度で推定することができる。

本発明の実施形態に係る不快度推定装置を示すブロック図である。 動きベクトルごとの不快度の感度の周波数特性の一例を示すグラフである。 径方向動きベクトルの不快度に対する周方向動きベクトルの不快度の相対感度の周波数特性の一例を示すグラフである。 （ａ）は各領域の補正済み動きベクトルの一例を示す図、（ｂ）は動きありと判定された領域の差ベクトルの一例を示す図である。 動きありと判定された領域の周方向動きベクトル及び径方向動きベクトルの一例を示す図である。 動きありと判定された領域の周方向動きベクトルから周方向同相動きベクトルと周方向差分動きベクトルを算出する一例を示す図であり、（ａ）は、動きありと判定された領域の周方向動きベクトルの一例を示す図、（ｂ）は、算出された周方向同相動きベクトルと周方向差分動きベクトルの一例を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。図１に示すように、本発明の実施形態に係る不快度推定装置１は、映像における動きベクトルに基づいて画面動揺に対する不快度を推定するものであり、機能部として、領域別動きベクトル検出部１０と、第一のフィルタ部２０と、動き領域判定部３０と、動き領域重心算出部４０と、平均補正済み動きベクトル算出部５０と、差ベクトル算出部６０と、周径方向動きベクトル算出部７０と、周方向同相動きベクトル算出部８０と、第二フィルタ部９０と、総動揺エネルギー算出部１００と、総動揺エネルギー補正部１１０と、対数変換部１２０と、を備える。

かかる機能部のうち、領域別動きベクトル検出部１０、第一のフィルタ部２０、動き領域判定部３０、差ベクトル算出部６０、周径方向動きベクトル算出部７０、周方向同相動きベクトル算出部８０及び第二のフィルタ部９０に関しては、画面を分割した複数（１〜Ｎ）の領域に対応して複数（Ｎ）セットが設けられている。例えば、縦３×横３に分割した場合の領域数（Ｎ）は９個になるが、領域数はこれに限定されない。

＜領域別動きベクトル検出部＞
領域別動きベクトル検出部１０は、当該検出部１０に対応する領域の映像信号を取得し、取得された映像信号に基づいて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトル（フレーム間の差分）を時系列に検出し、検出結果を第一のフィルタ部２０へ出力する。本実施形態において、領域別動きベクトル検出部１０は、動きベクトルとして、上下移動に関する動きベクトル（上下方向動きベクトル）、及び、左右移動に関する動きベクトル（左右方向動きベクトル）を検出する。

＜第一のフィルタ部＞
第一のフィルタ部２０は、領域別動きベクトル検出部１０によって検出された動きベクトルを取得し、取得された動きベクトルに上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得るものであって、第一のデジタルフィルタ２１と、第二のデジタルフィルタ２２と、を並列に備える。

第一のデジタルフィルタ２１は、上下方向動きベクトルに周波数感度補正を施すものであって、上下方向動きベクトルに対して図２に示す上下方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み上下方向動きベクトルを得て動き領域判定部３０、平均補正済み動きベクトル算出部５０及び差ベクトル算出部６０へ出力する。

第二のデジタルフィルタ２２は、左右方向動きベクトルに周波数感度補正を施すものであって、左右方向動きベクトルに対して図２に示す左右方向の不快感度に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み左右方向動きベクトルを得て動き領域判定部３０、平均補正済み動きベクトル算出部５０及び差ベクトル算出部６０へ出力する。

なお、第一のデジタルフィルタ２１、第二のデジタルフィルタ２２及び後記する第三のデジタルフィルタ９１において、グローバルモーションを用いた従来の不快度推定装置と同様に、畳み込み積分に代えて離散フーリエ変換を用いることも可能であるが、本願発明における不快度推定装置１は、１画面で多数の領域ごとに周波数補正を行うものであるため、演算量の少ない畳み込み積分を用いる方が望ましい。

＜動き領域判定部＞
動き領域判定部３０は、第一のフィルタ部２０から出力された補正済み上下方向動きベクトル及び補正済み左右方向動きベクトルを取得し、補正済み動きベクトルの大きさが予め定められた閾値以上である場合に該当する領域において動きありと判定する。

本実施形態において、計算の簡略化のため、動き領域判定部３０は、補正済み上下方向動きベクトルの二乗と補正済み左右方向動きベクトルの二乗との和が閾値（前記した閾値の二乗）以上である場合に動きありと判定することができる。
動きありと判定した場合には、動き領域判定部３０は、判定結果を動き領域重心算出部４０、平均補正済み動きベクトル算出部５０、差ベクトル算出部６０及び総動揺エネルギー算出部１００へ出力する。

＜動き領域重心算出部＞
動き領域重心算出部４０は、動き領域判定部３０から出力された判定結果を取得し、取得された判定結果に基づいて、動きありと判定された全ての領域の中心座標の重心である動き領域重心を算出し、周径方向動きベクトル算出部７０及び周方向同相動きベクトル算出部８０へ出力する。

本実施形態において、動き領域重心算出部４０には、各領域の中心座標が予め記憶されている。動き領域重心算出部４０は、判定結果を用いて動きありと判定された全ての領域の中心座標を読み出し、読み出した中心座標に基づいて動き領域重心を算出する。

＜平均補正済み動きベクトル算出部＞
平均補正済み動きベクトル算出部５０は、動き領域判定部３０から出力された判定結果と、第一のデジタルフィルタ２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ２２から出力された左右方向動きベクトルと、を取得し、動き領域判定部３０から出力された判定結果に基づいて、動きありと判定された全ての領域について、第一のデジタルフィルタ２１から出力された補正済み上下方向動きベクトルの平均である平均補正済み上下方向動きベクトルと、第二のデジタルフィルタ２２から出力された補正済み左右方向動きベクトルの平均である平均補正済み左右方向動きベクトルと、を算出し、算出結果を差ベクトル算出部６０及び総動揺エネルギー算出部１００へ出力する。

＜差ベクトル算出部＞
差ベクトル算出部６０は、動き領域判定部３０から出力された判定結果と、第一のデジタルフィルタ２１から出力された補正済み上下方向動きベクトルと、第二のデジタルフィルタ２２から出力された補正済み左右方向動きベクトルと、平均補正済み動きベクトル算出部５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、を取得し、動き領域判定部３０から出力された判定結果に基づいて、動きありと判定された全ての領域の前記補正済み上下方向動きベクトルと前記平均補正済み上下方向動きベクトルとの上下方向差ベクトルと、当該領域の前記補正済み左右方向動きベクトルと前記平均補正済み左右方向動きベクトルとの左右方向差ベクトルと、を算出し、周径方向動きベクトル算出部７０へ出力する。

＜周径方向動きベクトル算出部＞
周径方向ベクトル算出部７０は、動き領域重心算出部４０から出力された動き領域重心と、差ベクトル算出部６０から出力された上下方向差ベクトル及び左右方向差ベクトルとを取得し、差ベクトルの成分として、上下方向差ベクトル及び左右方向差ベクトルを動き領域重心を中心とした円の周方向及び径方向に分解することによって、動き領域重心を中心とした円の周方向のベクトルである周方向動きベクトル及び径方向のベクトルである径方向動きベクトルを算出し、周方向動きベクトルを周方向同相動きベクトル算出部８０に出力するとともに径方向動きベクトルを総動揺エネルギー算出部１００へ出力する。すなわち、径方向は、動き領域重心を中心とする円の径方向、すなわち、動き領域重心と各動き領域の中心（動きベクトルの始点）とを通る直線が延びる方向であり、周方向は、動き領域重心を中心とする円の周方向、すなわち、動き領域重心を中心として動き領域重心から各動き領域の中心までの距離を半径とする円の周方向であって前記径方向と直交する方向である。

＜周方向同相動きベクトル算出部＞
周方向同相動きベクトル算出部８０は、動き領域重心算出部４０から出力された動き領域重心と、周径方向動きベクトル算出部７０から出力された周方向動きベクトルを取得し、動き領域重心を中心とした回転角が等しくかつ、後記の周方向差分動きベクトルの二乗の総和（当該成分の動揺エネルギーに相当）が最小になるような周方向同相動きベクトルと、元の周方向動きベクトルと周方向同相動きベクトルとの差分である周方向差分動きベクトルと、を算出し、周方向同相動きベクトルを第二のフィルタ部９０に出力するとともに周方向差分動きベクトルを総動揺エネルギー算出部１００へ出力する。

＜第二のフィルタ部＞
第二のフィルタ部９０は、周径方向同相動きベクトル算出部８０から出力された周方向同相動きベクトルを取得し、周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得るものであって、第三のデジタルフィルタ９１を備える。

第三のデジタルフィルタ９１は、周方向同相動きベクトルに周波数感度補正を施すものであって、周方向同相動きベクトルに対して図３に示す径方向動きベクトルに対する周方向動きベクトルの不快度の相対感度の周波数特性に相当するインパルスレスポンスを畳み込み積分するデジタルフィルタ処理を施すことによって、補正済み周方向同相動きベクトルを得て総動揺エネルギー算出部１００へ出力する。

ここで、径方向動きベクトル及び周方向差分動きベクトルの周波数感度補正に関して、径方向動きベクトル及び周方向差分動きベクトルのインパルスレスポンスは、当該動きベクトルの上下方向と左右方向の成分に対してそれぞれ上下方向動きベクトルのインパルスレスポンスと左右方向動きベクトルのインパルスレスポンスとを与えたものと等しいことが評価実験によって明らかになっており、径方向動きベクトルおよび周方向差分動きベクトルは、前記した第一のフィルタ部２０によって既に補正されているため、改めて補正を施す必要はない。

＜総動揺エネルギー算出部＞
総動揺エネルギー算出部１００は、動き領域判定部３０から出力された判定結果と、平均補正済み動きベクトル算出部５０から出力された平均補正済み上下方向動きベクトル及び平均補正済み左右方向動きベクトルと、周径方向動きベクトル算出部７０から出力された径方向動きベクトルと、周方向同相動きベクトル算出部８０から出力された周方向差分動きベクトルと、第二のフィルタ部９０から出力された補正済み周方向同相動きベクトルと、を取得し、動き領域判定部３０から出力された判定結果に基づいて、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗（上下方向の動揺エネルギーに相当）と、平均補正済み左右方向動きベクトルの二乗（左右方向の動揺エネルギーに相当）と、径方向動きベクトルの二乗（径方向の動揺エネルギーに相当）と、周方向差分動きベクトルの二乗（同相との差分の周方向の動揺エネルギーに相当）と、補正済み周方向動きベクトルの二乗（同相の周方向の動揺エネルギーに相当）との和を算出することによって、画面動揺の全体の動揺エネルギーに相当する総動揺エネルギーを算出し、総動揺エネルギー補正部１１０へ出力する。

本実施形態において、総動揺エネルギー算出部１００は、動きありと判定された全ての領域の平均補正済み上下方向動きベクトルの二乗と、平均補正済み左右方向動きベクトルの二乗と、径方向動きベクトルの二乗と、周方向差分動きベクトルの二乗と、補正済み周方向同相動きベクトルの二乗との和を直前の所定時間分加算する（例えば、前々回の各動きベクトルによる総動揺エネルギー、前回の各動きベクトルによる総動揺エネルギー、今回の各動きベクトルによる総動揺エネルギーの和を算出する）ことによって、総動揺エネルギーを算出する。

＜総動揺エネルギー補正部＞
総動揺エネルギー補正部１１０は、総動揺エネルギーを補正するものであって、総動揺エネルギー補正部１１０の出力（今回の補正後の総動揺エネルギー）に比例した量を、次回の総動揺エネルギーに加算することによって、次回の総動揺エネルギーを補正する。このようにして得られた補正後の総動揺エネルギーは、不快度として用いることも可能である。かかる総動揺エネルギー補正部１１０は、総動揺エネルギーの補正を繰り返すものであって、以下、便宜上、今回の総動揺エネルギーを前回の補正後の総動揺エネルギーを用いて補正する場合について説明する。総動揺エネルギー補正部１１０は、前回の（例えば、１秒前の）補正後の総動揺エネルギーｄ（以下、前回の補正後の総動揺エネルギーｄ_ｍとする）が大きいほど今回の補正後の総動揺エネルギーｄ（以下、今回の補正後の総動揺エネルギーｄ_ｍ＋１とする）が大きくなるように、総動揺エネルギー算出部１００から取得した今回の総動揺エネルギーｃ（以下、今回の総動揺エネルギーｃ_ｍ＋１とする）を補正することによって、今回の補正後の総動揺エネルギーｄ_ｍ＋１を算出する。本実施形態において、総動揺エネルギー補正部１１０は、加算部１１１と、記憶部１１２と、乗算部１１３と、を備える。

加算部１１１は、総動揺エネルギー算出部１００から出力された今回の総動揺エネルギーｃ_ｍ＋１を取得し、後記する乗算部１１３から取得した前回の補正後の総動揺エネルギーｄ_ｍに定数ｐを乗じたｐ・ｄ_ｍを加算して、今回の補正後の総動揺エネルギーｄ_ｍ＋１として対数変換部１２０及び記憶部１１２へ出力する（ｄ_ｍ＋１＝ｃ_ｍ＋１＋ｐ・ｄ_ｍ）。

記憶部１１２は、加算部１１１から出力された前回の補正後の総動揺エネルギーｄ_ｍを１個だけ記憶し、記憶された前回の補正後の総動揺エネルギーｄ_ｍを乗算部１１３へ出力するシフトレジスタである。

乗算部１１３は、記憶部１１２から出力された前回の補正後の総動揺エネルギーｄ_ｍを取得し、これに定数ｐ（０＜ｐ＜１）を乗じて算出したｐ・ｄ_ｍを加算部１１１へ出力する。この定数ｐは、画面動揺が長時間継続する場合における不快度の蓄積効果を表すものであり、時間間隔が１秒である場合には、長期間持続する一定の画面動揺に対する補正済み総動揺エネルギーが１秒間の総動揺エネルギーの７．５倍になること、長時間持続した一定の画面動揺が停まった後５秒間で補正済み総動揺エネルギーがほぼ半減すること等から、ｐ＝０．８３程度とした場合に補正済み総動揺エネルギーが不快度の評定結果に最も近くなることがわかっている。なお、総動揺エネルギー補正部１１０は、１回目の補正時には、前回の出力が記憶部１１２に記憶されていないため、無補正の総動揺エネルギーを出力する。

＜対数変換部＞
対数変換部１２０は、総動揺エネルギー補正部１１０から出力された補正後の総動揺エネルギーｄを取得し、取得した補正後の総動揺エネルギーを対数変換することによって不快度を算出し、ディスプレイ、スピーカ等の外部装置（不快度を利用者へ通知する通知部）へ出力する。算出された不快度は、実際に知覚された不快度の量との対応が線形に近い。

なお、短時間の不快度のみに注目する場合には、総動揺エネルギー補正部１１０を省略することも可能である。この場合、対数変換部１２０は、総動揺エネルギー算出部１００によって算出された（未補正の）総動揺エネルギーを対数変換することによって不快度を算出する。

本実施形態において、対数変換部１２０は、対数の底を１６とした場合に、検知限と許容限との差、及び、許容限と我慢限との差がそれぞれほぼ１となり、不快度の評定結果の標準偏差が約０．５となることがわかっており、許容限を動き領域判定部３０における閾値に設定した場合に、我慢限に達するヒトの割合を２．５％未満に抑えることができる。

続いて、本発明の実施形態に係る不快度推定装置１の動作例について、図１ないし図６を参照して説明する。図４（ａ）は、動き領域判定部、動き領域重心算出部及び平均補正済み動きベクトル算出部の動作例を説明するための図、図４（ｂ）は、差ベクトル算出部の動作例を説明するための図、図５は、周径方向動きベクトル算出部の動作例を説明するための図、図６（ａ）（ｂ）は、周方向同相動きベクトル算出部の動作例を説明するための図である。

まず、領域別動きベクトル検出部１０が、入力された対応する領域の映像を用いて、映像の時間的に隣接する画像（連続するフレーム）間における動きベクトルを検出し、第一のフィルタ部２０へ出力する。続いて、第一のフィルタ部２０が、動きベクトルに周波数感度補正を施し、補正済み動きベクトルを動き領域判定部３０等へ出力する。

続いて、動き領域判定部２０が、補正済み動きベクトルの大きさが閾値以上である場合に動きありと判定し、動きありの判定結果を動き領域重心算出部４０等へ出力する。図４（ａ）に示す例では、領域１，２，４における補正済み動きベクトルｖ_１１，ｖ_１２，ｖ_１４の大きさが閾値以上であると判定され、他の領域３，５〜９における補正済み動きベクトルｖ_１３，ｖ_１５，ｖ_１６，ｖ_１７，ｖ_１８，ｖ_１９の大きさが閾値未満であると判定される。なお、各領域１〜９における補正前の動きベクトルは、各領域１〜９の中心を始点とするベクトルであり、補正済み動きベクトルｖ_１１〜ｖ_１９も、補正前の動きベクトルと同様に各領域１〜９の中心を始点とするベクトルである。

続いて、動き領域重心算出部４０が、動きありと判定された領域の重心である動き領域重心を算出し、周径方向動きベクトル算出部７０へ出力する。図４（ａ）に示す例では、領域１，領域２，領域４の各中心座標の平均座標が動き領域重心Ｘとして算出される。

続いて、平均補正済み動きベクトル算出部５０が、動きありと判定された領域の補正済み動きベクトルに基づいて、平均補正済み動きベクトルを算出し、差ベクトル算出部６０及び総動揺エネルギー算出部９０へ出力する。図４（ａ）に示す例では、領域１の補正済み動きベクトルｖ_１１の一成分である補正済み上下方向動きベクトルと、領域４の補正済み動きベクトルの一成分である補正済み上下方向動きベクトルとは、大きさが同じで向きが反対である。また、領域１の補正済み動きベクトルｖ_１１の他成分である補正済み左右方向動きベクトルと、領域２の補正済み動きベクトルｖ_１２と、領域４の補正済み動きベクトルｖ_１４の他成分である補正済み左右方向動きベクトルとは、大きさが同じで向きも同じである。したがって、図４（ａ）に示す例では、平均補正済み動きベクトルの一成分である平均補正済み上下方向動きベクトルは０であり、平均補正済み動きベクトルの他成分である平均補正済み左右方向動きベクトルはベクトルｖ_１２と同一である。

続いて、差ベクトル算出部６０が、動きありと判定された領域の補正済み動きベクトルと平均補正済み動きベクトルとの差である差ベクトルを算出し、周径方向動きベクトル算出部７０へ出力する。図４（ｂ）に示す例では、領域１の差ベクトルｖ_２１、領域４の差ベクトルｖ_２４が算出されるとともに、領域２の差ベクトルｖ_２２（ゼロベクトル）が算出される。ここで、平均補正済み上下方向ベクトルは０であり、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ_１１の左右方向成分と同一であるため、領域１の差ベクトルｖ_２１は、補正済み動きベクトルｖ_１１の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、平均補正済み左右方向動きベクトルは補正済み動きベクトルｖ_１４の左右方向成分と同一であるため、領域４の差ベクトルｖ_２４は、補正済み動きベクトルｖ_１４の上下方向成分（補正済み上下方向動きベクトル）と同一となる。また、左右方向成分領域２の差ベクトルｖ_２２は、平均補正済み動きベクトル（平均補正済み上下方向動きベクトルと平均補正済み左右方向動きベクトルとの和）と補正済み動きベクトルｖ_１２とが等しいため、０である。

続いて、周径方向動きベクトル算出部７０が、動き領域重心及び差ベクトルに基づいて、周方向動きベクトル及び径方向動きベクトルを算出し、周方向動きベクトルを周方向同相動きベクトル算出部８０へ出力するとともに径方向動きベクトルを総動揺エネルギー算出部１００へ出力する。図５に示す例では、領域１の差ベクトルｖ_２１が、周方向動きベクトルｖ_３１と径方向動きベクトルｖ_４１とに分解され、領域４の差ベクトルｖ_２４が、周方向動きベクトルｖ_３４と径方向動きベクトルｖ_４４とに分解されるとともに、領域２の差ベクトルｖ２２が、周方向動きベクトルｖ_３２（ゼロベクトル）と径方向動きベクトルｖ_４２（ゼロベクトル）とに分解される。

続いて、周方向同相動きベクトル算出部８０が、前記の動き領域重心及び動きのある領域の各周方向動きベクトルに基づいて、動き領域重心を中心とした回転角が等しく、かつ、周方向差分動きベクトルの二乗の総和（当該成分の動揺エネルギーに相当）が最小になるような周方向同相動きベクトルと、元の周方向動きベクトルと周方向同相動きベクトルとの差分である周方向差分動きベクトルと、を算出し、周方向同相動きベクトルを第二のフィルタ部９０に出力するとともに周方向差分動きベクトルを総動揺エネルギー算出部１００へ出力する。図６に示す例では、（ａ）に示す周方向動きベクトルｖ_３１，ｖ_３２，ｖ_３４が、（ｂ）に示す周方向同相動きベクトルｖ_５１，ｖ_５２，ｖ_５４と周方向差分動きベクトルｖ_６１，ｖ_６２，ｖ_６４とにそれぞれ分解される。

ここで、周方向差分動きベクトルの二乗の総和が最小になるような回転角θは、回転方向が反時計回りの場合を正の値、時計回りの場合を負の値であると定義した場合、動きのあると判定された各領域の中心と動き領域重心位置Ｘとの距離ｒ_ｎ、周方向動きベクトルｖ_３０＋ｎの大きさに前記の回転方向による正負の符号を付けた値ｗ_ｎを用いた１次近似の微分方程式の解として、
θ＝Σ（ｒ_ｎ・ｗ_ｎ）／Σｒ_ｎ ^２
（図４〜図６の場合、ｎ＝１〜９であり、ｎ＝３，５〜９のとき、ｗ_ｎ＝０）
のように求められる。

このθを用いて、周方向同相動きベクトルｖ_５０＋ｎの値は、前記の回転方向による正負の符号が付いた、ｒ_ｎ・θとして算出される。また、周方向差分動きベクトルｖ_６０＋ｎの値は、前記の回転方向による正負の符号が付いた、ｗ_ｎ−ｒ_ｎ・θとして算出される。

続いて、第二のフィルタ部９０が、周方向同相動きベクトルに周波数感度補正を施し、補正済み周方向同相動きベクトルを総動揺エネルギー算出部９０へ出力する。

続いて、総動揺エネルギー算出部１００が、入力された各動きベクトル（平均補正済み上下方向動きベクトル、平均補正済み左右方向動きベクトル、補正済み周方向同相動きベクトル、及び、径方向動きベクトル）に基づいて総動揺エネルギーを算出し、総動揺エネルギー補正部１１０へ出力する。続いて、総動揺エネルギー補正部１１０が、総動揺エネルギーを補正し、対数変換部１２０へ出力する。続いて、対数変換部１２０が、総動揺エネルギーを対数変換することによって不快度を算出する。

本発明の実施形態に係る不快度推定装置１は、画面を分割した各領域のうち、動きがあると判定された領域の各種動きベクトルを用いて不快度を推定するので、グローバルモーションに基づいて不快度を推定した場合には正しい不快度の推定が困難な「画面の左右で反対向きに回転する動揺画像」についても、その揺れの周波数によらず、主観評価実験における平均値との誤差が小さい不快度を推定することができる。

また、不快度推定装置１に新たに加えられた周方向同相動きベクトル算出部８０による処理は、前記の近似計算式で済ませることができるので、装置全体の計算量は数％しか増加しないため、処理時間はほとんど変わらず、高速に不快度を推定することができる。推定された不快度は、映像コンテンツ制作者が画面動揺を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。

すなわち、不快度推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる画面動揺をどの程度まで低減すべきかの目標設定等に好適な不快度を映像コンテンツ制作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性及び快適性も高められる。

また、不快度推定装置１は、映像の視聴者側で用いられる場合には、画面動揺に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度を推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、映像酔いによる健康被害及び不快感の誘発を防止することが可能になる。

以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置１として機能させる不快度推定プログラムとして具現化することも可能である。また、対数変換部１２０によって算出された不快度が閾値を超えた場合に、映像が不快な画面動揺を含んでいると判定し、判定結果をディスプレイ等の外部装置へ出力する構成であってもよい。また、不快度を線形的な知覚量に近似させる必要が無い場合には、対数変換部１２０を省略し、補正後の総動揺エネルギーを不快度として出力することも可能である。また、映像を修正する際には、時間蓄積の無い短時間での動揺の大きさを把握する必要があるので、総動揺エネルギー補正部１１０及び対数変換部１２０を省略し、（未補正の）総動揺エネルギーを不快度として出力することも可能である。また、総動揺エネルギー補正部１１０を省略し、（未補正の）総動揺エネルギーを対数変換部１２０が対数変換することによって不快度を算出する構成も可能である。すなわち、本発明の不快度推定装置は、不快度の用途等に応じて、（未補正の）総動揺エネルギー、対数変換された総動揺エネルギー、補正後の総動揺エネルギー、又は、対数変換された補正後の総動揺エネルギーを不快度として出力することができる。

１ 不快度推定装置
１０ 領域別動きベクトル検出部
２０ 第一のフィルタ部
３０ 動き領域判定部
４０ 動き領域重心算出部
５０ 平均補正済み動きベクトル算出部
６０ 差ベクトル算出部
７０ 周径方向動きベクトル算出部
８０ 周方向同相動きベクトル算出部
９０ 第二のフィルタ部
１００ 総動揺エネルギー算出部
１１０ 総動揺エネルギー補正部
１２０ 対数変換部

Claims (8)

1. 映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定装置であって、
   画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部と、
   検出された前記動きベクトルに周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部と、
   前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部と、
   動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出する動き領域重心算出部と、
   動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する平均補正済み動きベクトル算出部と、
   動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出する差ベクトル算出部と、
   動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出する周径方向動きベクトル算出部と、
   動きありと判定された前記領域ごとに、前記周方向動きベクトルから、前記動き領域重心を中心とした周方向同相動きベクトル及び周方向差分動きベクトルを算出する周方向同相動きベクトル算出部と、
   動きありと判定された前記領域ごとに、前記周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得る第二のフィルタ部と、
   動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、前記周方向差分動きベクトルの二乗、及び、前記補正済み周方向同相動きベクトルの二乗の和を算出することによって、不快度として総動揺エネルギーを算出する総動揺エネルギー算出部と、
   を備え、
   前記周方向同相動きベクトルは、前記動き領域重心を中心とした回転角が等しく、かつ、前期周方向差分動きベクトルの二乗の総和が最小になるベクトルであり、
   前記周方向差分動きベクトルは、前記周方向動きベクトルと前記周方向同相動きベクトルとの差分である
   ことを特徴とする不快度推定装置。
2. さらに、前記総動揺エネルギーを補正する総動揺エネルギー補正部を備え、
   前記総動揺エネルギー補正部は、当該総動揺エネルギー補正部の出力に比例した量を、次回の前記総動揺エネルギーに加算することによって、不快度として次回の補正後の前記総動揺エネルギーを算出する
   ことを特徴とする請求項１に記載の不快度推定装置。
3. さらに、前記総動揺エネルギー又は前記補正後の総動揺エネルギーを対数変換することによって、不快度として対数変換された前記総動揺エネルギー又は前記補正後の総動揺エネルギーを算出する対数変換部を備える
   ことを特徴とする請求項１又は請求項２に記載の不快度推定装置。
4. 前記第一のフィルタ部は、
   前記動きベクトルの上下方向成分である上下方向動きベクトルに周波数感度補正を施す第一のデジタルフィルタと、
   前記動きベクトルの左右方向成分である左右方向動きベクトルに前記第一のデジタルフィルタとは異なる周波数感度補正を施す第二のデジタルフィルタと、
   を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の不快度推定装置。
5. 前記動き領域判定部は、直前の所定時間内に前記閾値以上の前記補正済み動きベクトルがある場合に動きありと判定する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の不快度推定装置。
6. 前記第二のフィルタ部は、前記周方向同相動きベクトルに対して、前記径方向動きベクトルとの相対感度の周波数特性に対応する周波数感度補正を施す第三のデジタルフィルタ
   を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の不快度推定装置。
7. 前記総動揺エネルギー算出部は、動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、前記周方向差分動きベクトルの二乗、前記補正済み周方向同相動きベクトルの二乗の和を直前の所定時間分加算することによって、前記総動揺エネルギーを算出する
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の不快度推定装置。
8. 映像における動きベクトルに基づいて画面動揺に対する不快度を推定する不快度推定プログラムであって、
   コンピュータを、
   画面を複数に分割した領域ごとに、前記映像の時間的に隣接する画像間における動きベクトルを検出する領域別動きベクトル検出部、
   検出された前記動きベクトルに、上下方向及び左右方向で異なる周波数感度補正を施すことによって補正済み動きベクトルを得る第一のフィルタ部、
   前記補正済み動きベクトルの大きさが閾値以上である場合に該当する前記領域において動きありと判定する動き領域判定部、
   動きありと判定された全ての前記領域の中心座標の重心である動き領域重心を算出する動き領域重心算出部、
   動きありと判定された全ての前記領域の前記補正済み動きベクトルの平均である平均補正済み動きベクトルを算出する平均補正済み動きベクトル算出部、
   動きありと判定された前記領域ごとに、当該領域の前記補正済み動きベクトルと前記平均補正済み動きベクトルとの差ベクトルを算出する差ベクトル算出部、
   動きありと判定された前記領域ごとに、前記差ベクトルの成分として、前記動き領域重心を中心とした周方向動きベクトル及び径方向動きベクトルを算出する周径方向動きベクトル算出部、
   動きありと判定された前記領域ごとに、前記周方向動きベクトルから、前記動き領域重心を中心とした周方向同相動きベクトル及び周方向差分動きベクトルを算出する周方向同相動きベクトル算出部、
   動きありと判定された前記領域ごとに、前記周方向同相動きベクトルに周波数感度補正を施すことによって補正済み周方向同相動きベクトルを得る第二のフィルタ部、及び、
   動きありと判定された全ての前記領域の前記平均補正済み動きベクトルの二乗、前記径方向動きベクトルの二乗、前記周方向差分動きベクトルの二乗、及び、前記補正済み周方向同相動きベクトルの二乗の和を算出することによって、不快度として総動揺エネルギーを算出する総動揺エネルギー算出部、
   として機能させ、
   前記周方向同相動きベクトルは、前記動き領域重心を中心とした回転角が等しくかつ、前期周方向差分動きベクトルの二乗の総和が最小になるベクトルであり、
   前記周方向差分動きベクトルは、前記周方向動きベクトルと前記周方向同相動きベクトルとの差分である
   ことを特徴とする不快度推定プログラム。

Images