JP5395737B2 - 不快度推定装置及び不快度推定プログラム - Google Patents
不快度推定装置及び不快度推定プログラム Download PDFInfo
- Publication number
- JP5395737B2 JP5395737B2 JP2010110403A JP2010110403A JP5395737B2 JP 5395737 B2 JP5395737 B2 JP 5395737B2 JP 2010110403 A JP2010110403 A JP 2010110403A JP 2010110403 A JP2010110403 A JP 2010110403A JP 5395737 B2 JP5395737 B2 JP 5395737B2
- Authority
- JP
- Japan
- Prior art keywords
- discomfort
- resolution
- block
- discomfort level
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
放送番組によってこのような健康被害が生じることがないよう、ITU-RのBT.1702で勧告化された「Guidance for the reduction of photosensitive epileptic seizures caused by television」では、高コントラストな縞模様など周期的図柄の扱いについて注意を喚起している。この勧告では技術的な規準は示されていないが、この勧告の基礎となった英国OfCOMの規準が実質的な国際標準となっている。この規準では、最大輝度値の10%を超える明暗コントラストのある0.5〜6[cycle/deg]の縞模様が、静止時には全画面の40%、動いている時には全画面の25%を超えることが無いように制限をかけている。
このような事象を緩和するために、前記した「Harding FPA」では、映像の「危険度」をフレーム単位で表示し、「危険」と判定されなくても「注意」を発する機能が実装されているが、前記2例の映像の「危険度」は後者が「危険」、前者が「危険」に達しない「注意」と判定されることに変わりない。
このように、縞模様など周期的図柄を含む映像に対する視聴者の心理的な「不快度」を基準として映像の良否を判定する技術は未だ存在しない。
画素輝度値算出部10は、映像信号を取得し、取得された映像信号に含まれるRGB値に基づいて、画素ごとの輝度値である画素輝度値Yを算出し、算出結果を解像度別不快度算出部20A〜20Eへ出力する。映像信号においてRGB方式が採用されている場合には、画素輝度値Yは、映像信号に含まれる一画素のR値(0〜255)、G値(0〜255)及びB値(0〜255)を用いて、以下のように表される(ハイビジョン映像を対象とした場合)。
Y=0.212・R+0.701・G+0.087・B
解像度別不快度算出部20(20A〜20E)は、画素輝度値算出部10から出力された画素輝度値に基づいて、映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出し、算出結果を不快度算出部30へ出力する。
本実施形態において、解像度別不快度算出部20Aは、映像に含まれる画像の解像度を、横512画素×縦256画素となるように変換し、解像度別不快度算出部20Bは、映像に含まれる画像の解像度を、解像度別不快度算出部20Aの縦横それぞれ1/2となる横256画素×縦128画素となるように解像度を変換する。また、解像度別不快度算出部20Cは、映像に含まれる画像の解像度を、解像度別不快度算出部20Bの縦横それぞれ1/2となる横128画素×縦64画素となるように変換し、解像度別不快度算出部20Dは、映像に含まれる画像の解像度を、解像度別不快度算出部20Cの縦横それぞれ1/2となる横64画素×縦32画素となるように変換する。また、解像度別不快度算出部20Eは、映像に含まれる画像の解像度を、解像度別不快度算出部20Dの縦横それぞれ1/2となる横32画素×縦16画素となるように解像度を変換する。
解像度変換後画素輝度値算出部21は、画素輝度値算出部10から出力された画素輝度値Yを取得し、取得された画素輝度値Yに基づいて、映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出し、算出結果を動きベクトル検出部22及びブロック別不快度算出部23(23a〜23n)へ出力する。本実施形態において、解像度変換後画素輝度値算出部21は、解像度変換後の一画素に含まれる解像度変換前の画素の画素輝度値Yの平均値(例えば、相加平均値)を算出することによって、当該平均値を解像度変換後画素画素値として決定する。なお、解像度変換後画素輝度値算出部21による解像度変換後画素輝度値の算出手法は、前記したものに限定されず、例えば、解像度変換後の一画素の中心となる解像度変換前の画素の画素輝度値Yを解像度変換後画素輝度値として採用する構成であってもよい。
動きベクトル検出部22は、解像度変換後画素輝度値算出部21から出力された解像度変換後画素輝度値に基づいて、映像における被写体の動きベクトルを検出するものであり、ブロックマッチングを用いて、直流分(所定サイズ分の解像度変換後画素の平均輝度)を除去した画素輝度値のフレーム間差分の合計(絶対値和又は自乗和)が最小となるブロック(画像は、複数のブロックから構成されており、後記するように、1つのブロックは、解像度変換後の横16画素×縦16画素から構成される)の移動量及び移動方向、すなわち、動きベクトルを算出する。動きベクトルの探索範囲は、縦横両方向に関して、解像度変換後画素で±2画素に設定される。これは、動きベクトルの探索範囲が±2画素を超えると、周期的図柄(縞模様)が逆方向に動くように見える仮現運動が発生することに基づく措置である。動きベクトル検出部22は、探索範囲内に画素間相関が0.5以上となる画素が見つからない場合には、動きベクトルを0とする。また、本実施形態において、動きベクトル検出部22は、動きベクトルの単位を、解像度変換後画素で1/4画素刻みに設定して動きベクトルを検出するが、動きベクトルの単位は適宜設定変更可能であり、例えば1画素刻みであってもよい。
ブロック別不快度算出部23(23a〜23n)は、解像度変換後画素輝度値算出部21から出力された、解像度変換後の横16画素×縦16画素の解像度変換後画素輝度値を取得し、取得された解像度変換後画素輝度値に基づいて、解像度変換後の横16画素×縦16画素から構成される該当ブロックの周期的図柄に起因する不快度であるブロック別不快度を周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるようにブロックごとに算出し、算出結果をブロック別不快度記憶部24(24a〜24n)へ出力する。
また、解像度別不快度算出部20Bは、横256画素×縦128画素を横16画素×縦16画素から構成されるブロックごとに処理するため、ブロック別不快度算出部23として、128個のブロック別不快度算出部23を備える。
また、解像度別不快度算出部20Cは、横128画素×縦64画素を横16画素×縦16画素から構成されるブロックごとに処理するため、ブロック別不快度算出部23として、32個のブロック別不快度算出部23を備える。
また、解像度別不快度算出部20Dは、横64画素×縦32画素を横16画素×縦16画素から構成されるブロックごとに処理するため、ブロック別不快度算出部23として、8個のブロック別不快度算出部23を備える。
また、解像度別不快度算出部20Eは、横32画素×縦16画素を横16画素×縦16画素から構成されるブロックごとに処理するため、ブロック別不快度算出部23として、2個のブロック別不快度算出部23を備える。
ここで、斜め方向の不快感度は、縦方向、横方向の不快感度よりも20%程度小さく設定されている。これは、主観評価実験において、斜め方向の周期的図柄(縞模様)の不快度が、縦方向、横方向の周期的図柄(縞模様)の不快度よりも20%程度小さかったことに基づく措置である。かかる不快感度は、周波数の値ごとに予め求められており、二次元フーリエ変換部23−1に予め記憶されている。また、図5における縦軸(不快感度)は、リニアスケールであり、周波数間の値の比(相対値)が意味を有するものであって、その値自体に関しては、当業者によって適宜設定可能である。
より詳細には、周波数成分抽出部23−2は、図4に示す計測格子点ごとに、計測格子点に隣接する4つの解像度変換後画素(左上、左下、右上、右下)の周波数成分の和を算出し、その中の最大値を最大周波数成分として抽出する。
続いて、周波数成分抽出部23−2は、最大周波数成分として抽出された4つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する4つの解像度変換後画素の周波数成分の和が最大となるものを、2番目に大きい周波数成分として抽出する。
続いて、周波数成分抽出部23−2は、2番目に大きい周波数成分として抽出された4つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する4つの解像度変換後画素の周波数成分の和が最大となるものを、3番目に大きい周波数成分として抽出する。
なお、縞模様(図6(b)参照)のみを対象として不快度を推定するのであれば、周波数成分抽出部23−2は、最大周波数成分のみを抽出すればよく、縞模様に加えて市松模様(図6(c)参照)も対称として不快度を推定するのであれば、周波数成分抽出部23−2は、二大周波数成分を抽出すればよい。
ここで、縞模様の周波数成分(エネルギー)は約6倍になると、主観評価実験における不快度の評定カテゴリーが1つ上昇したことに基づき、対数の底は6に設定されることが望ましい。
図2に戻り、ブロック別不快度記憶部24(24a〜24n)は、該当ブロックのブロック別不快度を1秒間のフレーム数分だけ記憶し、記憶されたブロック別不快度を対応ブロック選択部26(26a〜26n)へ出力するシフトレジスタである。
動きベクトル記憶部25(25a〜25n)は、該当ブロックの動きベクトルを1秒間のフレーム数分だけ記憶し、記憶された動きベクトルを対応ブロック選択部26(26a〜26n)へ出力するシフトレジスタである。
対応ブロック選択部26(26a〜26n)は、ブロック別不快度記憶部24(24a〜24n)から出力された1秒間のフレーム数分の全てのブロック別不快度を取得するとともに、動きベクトル記憶部25(25a〜25n)から出力された動きベクトルを取得し、ブロック別不快度記憶部24(24a〜24n)から出力された1秒間のフレーム数分の全てのブロック別不快度の中から、動きベクトル記憶部25(25a〜25n)から出力された動きベクトルに基づいて、フレームごとに該当ブロックに対応するブロックのブロック別不快度を選択してブロック別不快度加算部27(27a〜27n)へ出力する。
ブロック別不快度加算部27(27a〜27n)は、検出された動きベクトルに基づいて、映像に含まれる被写体を追跡するようにブロックの位置を補正し、補正後のブロックの位置におけるブロック別不快度に基づいて、当該ブロックにおけるブロック別不快度を加算するものであり、本実施形態では、対応ブロック選択部26(26a〜26n)から出力された1秒間のフレーム数分のブロック別不快度を取得し、取得されたブロック別不快度をブロックごとに単純加算(すなわち、積算)し、加算結果を解像度別不快度決定部27へ出力する。このように単純加算するのは、主観評価実験において、不快度は時間軸に対してほぼ線形に上昇することが示されたことに基づく措置である。なお、本実施形態では、対応ブロック選択部26(26a〜26n)とブロック別不快度加算部27(27a〜27n)とを別の機能ブロックとして説明したが、ブロック別不快度加算部27(27a〜27n)が、対応ブロック選択部26(26a〜26n)の機能を一体的に備える構成であってもよい。
解像度別不快度決定部28は、ブロック別不快度算出部27(27a〜27n)から出力されたブロックごとの加算後のブロック別不快度a(aa〜an)を取得し、取得されたブロックごとの加算後のブロック別不快度aを非線形加算することによって、非線形和である解像度別不快度bを決定し、算出結果を不快度算出部30へ出力する。
b={Σ(a)γ}1/γ
図1に戻り、不快度算出部30は、解像度別不快度算出部20A〜20Eの解像度別不快度決定部28から出力された5つの解像度別不快度bを取得し、取得されたブロック別不快度bを非線形加算することによって、非線形和である不快度cを算出し、算出結果を不快度補正部40へ出力する。
c={Σ(b)γ}1/γ
不快度補正部40は、前回の(1秒前の)不快度c(以下、前回の不快度cmとする)が大きいほど今回の不快度c(以下、今回の不快度cm+1とする)が大きくなるように今回の不快度cm+1を補正することによって、補正後の不快度dを算出する。本実施形態において、不快度算出部40は、加算部41と、記憶部42と、乗算部43と、を備える。
d=cm+1+p・cm
かかる加算部41は、ブロック別不快度加算部27(27a〜27n)による加算のタイミングである1[秒]ごとに補正後の不快度dを算出して出力する。
また、不快度推定装置1は、映像の視聴者側で用いられる場合には、周期的図柄に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度dを推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、輝度反転による健康被害及び不快感の誘発を防止することが可能になる。
10 画素輝度値算出部
20A,20B,20C,20D,20E 解像度別不快度算出部
21 解像度変換後輝度値算出部
22 動きベクトル検出部
23(23a〜23n) ブロック別不快度算出部
27 ブロック別不快度加算部
28 解像度別不快度決定部
30 不快度算出部
40 不快度補正部
Claims (4)
- 映像における周期的図柄に起因する不快度を推定する不快度推定装置であって、
前記映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部と、
算出された前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部と、
算出された前記解像度別不快度の非線形和を算出することによって、前記不快度を算出する不快度算出部と、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部と、
を備え、
前記解像度別不快度算出部は、
前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出する解像度変換後画素輝度値算出部と、
前記解像度変換後画素輝度値に基づいて、解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を、周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるように前記ブロックごとに算出するブロック別不快度算出部と、
算出された前記ブロック別不快度を、前記ブロックごとに所定時間分だけ加算するブロック別不快度加算部と、
加算された前記ブロック別不快度の非線形和を算出することによって、前記解像度別不快度を決定する解像度別不快度決定部と、
を備えることを特徴とする不快度推定装置。 - 算出された前記解像度変換後画素輝度値に基づいて、前記映像における被写体の動きベクトルを検出する動きベクトル検出部をさらに備え、
前記ブロック別不快度加算部は、検出された前記動きベクトルに基づいて前記ブロックの位置を補正して当該ブロックにおける前記ブロック別不快度を加算する
ことを特徴とする請求項1に記載の不快度推定装置。 - 前記不快度補正部は、前回の前記不快度に0よりも大きく1よりも小さい定数を乗じ、今回の前記不快度に、定数が乗じられた前回の前記不快度を加算することによって、補正後の今回の前記不快度を得る
ことを特徴とする請求項1又は請求項2に記載の不快度推定装置。 - 映像における周期的図柄に起因する不快度を推定する不快度推定プログラムであって、
コンピュータを、
前記映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部、
算出された前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部、
算出された前記解像度別不快度の非線形和を算出することによって、前記不快度を算出する不快度算出部、及び、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部、
として機能させ、
前記解像度別不快度算出部を、
前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出する解像度変換後画素輝度値算出部、
前記解像度変換後画素輝度値に基づいて、解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を前記ブロックごとに算出するブロック別不快度算出部、
算出された前記ブロック別不快度を、前記ブロックごとに所定時間分だけ加算するブロック別不快度加算部、及び、
加算された前記ブロック別不快度の非線形和を算出することによって、前記解像度別不快度を決定する解像度別不快度決定部、
として機能させることを特徴とする不快度推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010110403A JP5395737B2 (ja) | 2010-05-12 | 2010-05-12 | 不快度推定装置及び不快度推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010110403A JP5395737B2 (ja) | 2010-05-12 | 2010-05-12 | 不快度推定装置及び不快度推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011239295A JP2011239295A (ja) | 2011-11-24 |
JP5395737B2 true JP5395737B2 (ja) | 2014-01-22 |
Family
ID=45326764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010110403A Expired - Fee Related JP5395737B2 (ja) | 2010-05-12 | 2010-05-12 | 不快度推定装置及び不快度推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5395737B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6076110B2 (ja) * | 2013-02-06 | 2017-02-08 | 日本放送協会 | 不快度推定装置及び不快度推定プログラム |
JP2015106191A (ja) * | 2013-11-28 | 2015-06-08 | 日本放送協会 | 不快度推定装置及び不快度推定プログラム |
JP2015106192A (ja) * | 2013-11-28 | 2015-06-08 | 日本放送協会 | 不快度推定装置及び不快度推定プログラム |
JP6196541B2 (ja) * | 2013-11-28 | 2017-09-13 | 日本放送協会 | 動揺知覚量推定装置、不快度推定装置及び動揺知覚量推定プログラム |
JP6572001B2 (ja) * | 2015-06-15 | 2019-09-04 | 日本放送協会 | 不快度推定装置及び不快度推定プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3098736B2 (ja) * | 1998-04-15 | 2000-10-16 | 日本放送協会 | 映像再生制御装置および記憶媒体 |
JP3661636B2 (ja) * | 2001-12-04 | 2005-06-15 | 日本電気株式会社 | Vdt障害危険性定量化装置および方法 |
JP4870990B2 (ja) * | 2006-01-20 | 2012-02-08 | 日本放送協会 | 映像分析装置、視覚刺激危険度判定プログラム及び映像分析システム |
-
2010
- 2010-05-12 JP JP2010110403A patent/JP5395737B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011239295A (ja) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5395737B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP5410366B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
US20120281123A1 (en) | Image processing apparatus and control method for image processing apparatus | |
US9602762B2 (en) | Fallback in frame rate conversion system | |
JP6076110B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP5391145B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2015106192A (ja) | 不快度推定装置及び不快度推定プログラム | |
US10198658B2 (en) | Image processing device, imaging device, image processing method, and program | |
JP2012014627A5 (ja) | ||
JP4580347B2 (ja) | フリッカ映像変換装置、そのプログラム及びその方法、並びに、映像表示装置 | |
JP5727886B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP2007528137A (ja) | 非対称に強調される画像及びビデオのシャープネスメトリック | |
JP2015106191A (ja) | 不快度推定装置及び不快度推定プログラム | |
US9715736B2 (en) | Method and apparatus to detect artificial edges in images | |
JP5616014B2 (ja) | ビデオピクチャにおけるエッジの方向を表す距離を生成する方法、対応する装置、およびデインタレースまたはフォーマット変換のための方法の使用 | |
JP6572001B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
JP6196541B2 (ja) | 動揺知覚量推定装置、不快度推定装置及び動揺知覚量推定プログラム | |
JP6574682B2 (ja) | コントラスト補正装置及びプログラム | |
JP5997575B2 (ja) | 不快度推定装置及び不快度推定プログラム | |
EP3979199A1 (en) | Image processing method, image processing apparatus, and program | |
KR101069712B1 (ko) | 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치 | |
JP2013178719A5 (ja) | ||
JP7022949B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
TW201438458A (zh) | 影像處理電路及其環狀假影消除方法 | |
Lee et al. | Multiscale edge-guided demosaicking algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5395737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |