JP4663669B2

JP4663669B2 - 動画像処理装置及び方法

Info

Publication number: JP4663669B2
Application number: JP2007088857A
Authority: JP
Inventors: 世志江南; 正博菊池; 勉水口; 弘幸佐野
Original assignee: Otsuka Electronics Co Ltd
Current assignee: Otsuka Electronics Co Ltd
Priority date: 2007-03-29
Filing date: 2007-03-29
Publication date: 2011-04-06
Anticipated expiration: 2027-03-29
Also published as: JP2008252304A; CN101277457A; CN101277457B

Description

本発明は、ホールド型の判定対象表示器の画面に映された画像の動きに基づいて、当該判定対象表示器の動画応答曲線を取得し、当該判定対象表示器の画像性能を判定する装置及び方法に関するものである。

液晶表示器(LCD),プラズマ表示器(PDP),エレクトロルミネッセンス表示器(EL)などの各表示器の画面に動画を表示して、その動画の動きを測定して、動画表示性能を判定することが行われている。
従来、動画表示性能を判定する方法として、静止カメラで動画を複数回撮影し、その撮影された各画像を時系列静止画像として保存し、その保存された各時系列静止画像を動画の移動速度に同調してずらしながら時間積分して合成画像を得、その合成画像のエッジの鮮明度を評価する方法がある。特にＬＣＤのように画像ホールド時間が長い表示器ほど、画像のエッジの鮮明度が低下する。前記方法はこのエッジの鮮明度の低下を数値化して指標にする（特許文献１）。
特開2001-204049号公報

前記動画表示性能を判定する方法では、各時系列静止画像を積分して合成画像を得なければならないが、撮影する各時系列静止画像は２次元画像である。したがって、その静止カメラの感光面も２次元の面になり、感光面の走査回数が多くなり走査時間が長くなる。したがって、動画像が動く間に多くの枚数を撮れず、動画表示性能の判定精度が上がらないという問題があった。

そこで本発明は、判定対象表示器の画面に映された画像の動きを多くの枚数撮影し、当該判定対象表示器の動画応答曲線を取得することのできる動画像処理装置及び方法を提供することを目的とする。

本発明の動画像処理装置は、判定対象表示器に動画像信号を供給する画像信号発生器と、前記判定対象表示器に対して固定され、前記判定対象表示器の１フレーム時間よりも短い時間間隔で複数回露光撮影することのできるラインカメラと、前記ラインカメラで撮影した画像を時系列に収集したデータに基づいて目の追従方向を決定し、当該撮影した画像の輝度を当該目の追従方向に沿って１フレーム時間の整数倍に相当する時間にわたって積分することにより、前記ラインカメラの各画素位置に対する前記判定対象表示器の動画応答曲線を得る演算部とを有することを特徴とする。

この構成の動画応答曲線取得装置は、ラインカメラを用いて撮影することで判定対象表示器の表示画面を動く動画像の各位置情報を高速かつほぼ同時に測定することができる。従って、各位置に対するタイミングのズレをなくし１度で正確に測定することができる。得られるデータは、判定対象表示器の動画移動方向の位置及びこれらの各時刻における、表示器の発光輝度の情報からなる。このデータに基づいて、目の動画追従シミュレーションを行い、当該目の追従方向に沿って１フレーム時間の整数倍で積分演算することで動画応答曲線を求める。この動画応答曲線に基づいて、動画特性評価、動画ボヤケ評価を行うことができる。

特にこの構成は、ラインカメラを動かさないで定点測定するため、カメラの動画像追従機構が必要なく簡便に動画特性の測定ができ、装置のコスト、寿命、故障を低減できる。
また本発明の画像表示器の動画応答曲線取得方法は、前記本発明の動画応答曲線取得装置の発明と実質同一の発明に係る方法の発明となる。
また本発明の動画像処理装置は、判定対象表示器に動画像信号を供給する画像信号発生器と、前記判定対象表示器に対して固定され、前記判定対象表示器の１フレーム時間よりも短い時間間隔で複数回露光撮影することのできるラインカメラと、前記ラインカメラで撮影した画像を時系列に収集したデータに基づいて、前記カメラの１つの画素における、前記判定対象表示器に表示された動画像の時間変化をとらえることにより、前記判定対象表示器の動画応答曲線を得る演算部とを有することを特徴とする。

この構成の動画応答曲線取得装置は、ラインカメラを用いて撮影することで判定対象表示器の表示画面を動く動画像の各位置情報を高速かつほぼ同時に測定することができる。従って、各位置に対するタイミングのズレをなくし１度で正確に測定することができる。得られるデータは、判定対象表示器の動画移動方向の位置及びこれらの各時刻における、表示器の発光輝度の情報からなる。このデータに基づいて、ラインカメラの画素を固定して高速のシミュレーションを行い、時間に対する動画応答曲線を求める。この動画応答曲線に基づいて、動画特性評価、動画ボヤケ評価を行うことができる。

この構成も、ラインカメラを動かさないで定点測定するため、カメラの動画像追従機構が必要なく簡便に動画特性の測定ができ、装置のコスト、寿命、故障を低減できる。
また本発明の画像表示器の動画応答曲線取得方法は、前記本発明の動画応答曲線取得装置の発明と実質同一の発明に係る方法の発明となる。

以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
＜装置構成１＞
図１は、判定対象表示器２の表示画面２１に映された画像の動きに基づいて、当該判定対象表示器２の動画表示性能を判定するための動画像処理装置１の構成を示す概略図である。

動画像処理装置１は、ホールド型の判定対象表示器２の表示画面２１を撮影するラインカメラ３と、ラインカメラ３の撮影画面に基づいて動画応答曲線及び動画応答曲線を取得するコンピュータ制御部４と、判定対象表示器２に動画像を表示するための画像信号を供給する画像信号発生器５とを備えている。
図１の例では、判定対象表示器２に表示される「動画像」として左半分が輝度１００％（白）、右半分が輝度０％（黒）のステップ状の画像を用いる。中央の輝度が切り替わる部分を「エッジ」という。動画像は表示画面２１上を、左から右に動いていくものとする。

ラインカメラ３は判定対象表示器２に対して固定されており、レンズ３１と、水平方向にフォトダイオードが複数並んでいる一次元ＣＣＤアレイからなる検出面３２とを備えている。なお、二次元ＣＣＤアレイを使用して、マスクなどで垂直方向の情報を隠して、横方向の１ライン分のみの情報を得るシステムとしてもよい。
ラインカメラ３は１回の露光に対して、１ラインのみ走査する。１ラインの走査時間は、判定対象表示器２の１フレームの走査時間と比べてはるかに短いものである。このため、読出し時間が非常に少なくて済む。例えば判定対象表示器２の１フレームの走査時間が１／６０秒であるのに対して、ラインカメラ３の１ラインの走査時間は数十マイクロ秒である。

ラインカメラ３で取得した画像信号は、画像取り込みＩ／Ｏボードを通してコンピュータ制御部４に取り込まれる。
一方、コンピュータ制御部４から画像信号発生器５に、表示画像を選択する表示コントロール信号が送られ、画像信号発生器５は、この表示コントロール信号に基づいて、判定対象表示器２に画像を、所定の速度で動画表示するための動画像信号を供給する。なお、画像信号発生器５の機能をコンピュータ制御部４の中に取り込んでもよい。

図２は、判定対象表示器２の表示画面２１とラインカメラ３の検出面との関係を示す光路図である。
表示画面２１上のラインカメラ３の一次元視野２２からの光線は、ラインカメラ３のレンズ３１に入射され、ラインカメラ３の検出面３２で検出される。
判定対象表示器２とレンズまでの光路に沿った距離をａ、レンズから検出面３２までの距離をｂとする。レンズの焦点距離ｆが既知であれば、式
１／ｆ＝１／ａ＋１／ｂ
を用いて、ａ，ｂの関係を求めることができる。

判定対象表示器２の表示画面２１の座標を図示のようにＸとする。ラインカメラ３の検出面３２の検出座標をＹとする。Ｍをラインカメラ３のレンズの倍率とすると、
Ｙ＝ＭＸ
が成り立つ。倍率Ｍは、前記ａ，bを使って、
Ｍ＝−ｂ／ａ
で表される。
＜装置構成２＞
図３は、判定対象表示器２の表示画面２１に映された画像の動きに基づいて、当該判定対象表示器２の動画表示性能を判定するための動画像処理装置１ａの構成を示す概略図である。図４は判定対象表示器２とガルバノカメラ３ａとの位置関係を示す側面図である。

動画像処理装置１ａは、ホールド型の判定対象表示器２の表示画面２１を撮影するガルバノカメラ３ａと、ガルバノカメラ３ａの撮影画面に基づいて動画応答曲線及び動画応答曲線を取得するためのコンピュータ制御部４と、判定対象表示器２に所定の速度で移動する動画像を表示するための動画像信号を供給する画像信号発生器５とを備えている。
図１の例では、判定対象表示器２に表示される「動画像」として左半分が輝度１００％（白）、右半分が輝度０％（黒）のステップ状の画像を用いる。中央の輝度が切り替わる部分をエッジという。動画像は表示画面２１上を、左から右に動いていくものとする。判定対象表示器２の表示画面２１は水平なスリットを有するマスク６でカバーされている。

ガルバノカメラ３ａは、フォトダイオードが縦横に複数並んでいる二次元ＣＣＤアレイを備えるカメラ本体３４と、ガルバノミラー３５とを備えている。カメラ本体３４は、判定対象表示器２の表示画面２１の一部又は全部を撮影の視野としている。視野の形状は矩形状である。
ガルバノミラー３５は、カメラ本体３４と判定対象表示器２との間に存在して、水平軸を中心にして回転するものである。ガルバノミラー３５は、例えばコイルに電流を流すことによって発生する磁界の中に、永久磁石を回転可能に配置し、その永久磁石の回転軸にミラーを装着したもので、スムーズで迅速なミラーの回転が可能である。

このガルバノミラー３５の回転に応じてカメラの視野が表示画面２１上を、動画像の移動方向と垂直な方向（上下方向）Ｓに動くことができる。このカメラの視野が表示画面２１上を下から上まで移動する時間の中で、判定対象表示器２の表示画面２１上を、動画像のエッジが左から右まで動く。すなわち、動画像のエッジが左から右まで動く時間は、カメラの視野が表示画面２１を下から上まで移動する時間の中に含まれる。このガルバノミラー３５の回転駆動信号は、コンピュータ制御部４から、ガルバノミラー駆動コントローラを通して供給される。なお、ガルバノミラー３５とカメラ本体３４を別々に構成するのではなく、軽量ディジタルカメラなどのカメラ自体を回転台に設置して、回転駆動モータで回転駆動してもよい。

カメラ本体３４の１回の露光時間（シャッタを開く時間）は、判定対象表示器２の１フレームの走査時間と比べて同じか、又はそれより長いものである。カメラ本体３４の１回の露光時間と、判定対象表示器２の１フレームの走査時間との比を“ｎ”と書く。例えば判定対象表示器２の１フレームの走査時間が１／６０秒であるのに対して、カメラ本体３４の露光時間は、判定対象表示器２のｎフレーム分（ｎ／６０秒）の時間である。

ここで“ｎ”は１以上、できれば３以上であることが好ましい。「１以上」としたのは、画像信号を、二次元ＣＣＤアレイ上で、実質上、１フレームの描画時間以上にわたって時間積分できるので単発的なノイズを排除できるからである。「３以上が好ましい」としたのは、露光時間が３フレーム分あれば、露光の開始とフレームの開始とが同期していない場合、前後のフレームを捨てて、真ん中の１フレーム分を完全に二次元ＣＣＤアレイに取り込めるからである。“ｎ”の上限は、動画像が画面の端から端まで移動する時間にわたって測定できればよいので、その移動時間にとればよい。動画像の移動速度にはいろいろな速度が設定できるので、上限を明示することはできないが、通常、カメラ本体３４で設定できる最大の露光時間内に収まるので問題ない。

カメラ本体３４で取得した画像信号は、画像取り込みＩ／Ｏボードを通してコンピュータ制御部４に取り込まれる。
図５は、カメラ本体３４の二次元ＣＣＤアレイに写った画像の時間推移を示す図である。
ガルバノミラー３５が一回転する間に、動画像のエッジが左から右まで動く。この間カメラ本体３４は二次元ＣＣＤアレイを露光撮影する。このようにして、二次元ＣＣＤアレイに画像信号が蓄積される。判定対象表示器２の表示画面２１は前述のように水平なスリットを有するマスク６でカバーされているので、そのスリットを通して図５（ａ）〜図５（ｄ）のような動画像が得られる。二次元ＣＣＤアレイ上に得られの動画像は水平なライン状のものを時間順に蓄積したものとなる。
＜解析手順＞
以下の解析手順は、動画像処理装置１，１ａに設置されたＣＤ−ＲＯＭやハードディスクなど所定の媒体に記録されたプログラムを、動画像処理装置１，１ａのコンピュータが実行することにより実現される。

ラインカメラ３またはガルバノカメラ３ａで検出された輝度信号を、横軸に画素、縦軸に時間をとってグラフ化したものを図６に示し、そのグラフをコンピュータ画面に表示したときに撮影した写真を図７に示す。
図中、“Ｔｆ”は判定対象表示器２の１フレーム走査時間である。判定対象表示器２はホールド型であり、１つの走査時間Ｔｆ内では動画像は止まっている。ｖは隣接フレーム間の動画像の移動距離である。この走査時間Ｔｆ内で、ラインカメラ３が複数回（図６では４回描いているが、実際には１００回程度である）露光するか、あるいはガルバノミラー３５が一回転しこの間にガルバノカメラ３ａが複数回露光する。この各露光によって得られたラインを“ＤＬ”で示している。１ラインは、図６の拡大図に示すようにＲ（赤），Ｇ（緑），Ｂ（青）３種の画素が繰り返し配列されたものであり、検出信号もＲ，Ｇ，Ｂ３種の信号が交互に続いたシリアルな輝度信号となるが、カメラ内蔵の制御部（図示せず）の処理によりパラレルな信号に変換して、Ｒの信号列、Ｇの信号列、Ｂの信号列を分離して出力することが可能である。このようにして、モノクロのラインカメラ３やモノクロのガルバノカメラ３ａでもディスプレィのR,G,Bの各画素のレスポンス曲線を得ることができる。

次に図６において、カメラの表示画素を１つ固定し、時間ごとの輝度信号列を得る。この操作は例えば図６のＡ−Ａ断面に沿って信号を取得することと同じである。
図８は、カメラの表示画素を１つ固定した場合の、その画素を構成する各色の輝度信号の時間経過を示すグラフである。
このグラフにより、カメラの１画素に注目した応答曲線を得ることができる。各色の輝度は、判定対象表示器２の表示画面２１上のエッジの移動に応じて時間とともに立ち上がっているが、この立ち上がりの形状に基づいて、ＲＧＢ各画素の応答時間を知ることができる。ここで、応答時間とは、輝度が最大階調の１０%値から９０％値まで立ち上がるのに要する時間をいう。図８の例では、Ｒ画素、Ｇ画素、Ｂ画素の応答時間測定値は、Ｒ画素＝45.26msec、Ｇ画素＝44.80msec、Ｂ画素＝43.24msecである。Ｒ画素とＢ画素の間には約2msecの差があり、判定対象表示器２の表示画面２１を目で見た場合、動画像のエッジに色ムラが生じ得ることがわかる。

次に、動画に対する目の追従方向(smooth pursuit eye tracking)に注目した動画応答曲線を求める手順を説明する。
図９は、カメラで検出された輝度信号を、横軸に画素、縦軸に時間をとってコンピュータ画面７に表示した場合の写真（図７と同じ写真）である。ここで「白丸」は１フレーム走査中に現れていた動画像のエッジの位置を示す。

人は動画像を見るとき、動画像の動きの方向に目をスムーズに動かしていると想定できる。すなわち目の追従方向は、動画像のエッジの動きに沿っていると考えられる。この人の目の追従方向を、図９の時空間上で、一連の「白丸」をつないだ方向で示している。このその方向をθとすると、
θ＝tan^-1（１フレームでの動画像の移動距離ｖ）/（１フレームでの表示器の表示間隔Ｔｆ）
となる。

この目の追従方向に沿って、１フレーム分の表示を積分することを試みる。
まず目の追従方向を一軸にとるために、座標変換をする。図１０は、座標変換の方法を示す図解図である。図１０（ａ）は図９と同様、横軸にラインカメラ３の表示位置、縦軸に時間をとった直交座標系を示す。これを平行移動させて（移動量は時間が過去に遡るほど多くなるようにする）、目の追従方向が縦軸になるようにする。図１０（ｂ）は変換後の座標系を示す。変換後の座標系における縦軸の方向を“ｙ”と表記し、それに直交する方向を“ｘ”と表記する。ｘ方向は変換前の「表示位置」軸の方向と平行である。この変換後の座標系における輝度信号をＧ(x,y)と書く。

図１１は、図９に示した画像を座標変換したものを示す。図１１（ａ）が変換前の写真の画像、図１１（ｂ）が変換後の写真の画像である。目の追従方向はｙ軸に沿っている。ｘ軸は変換前の「表示位置」軸と同一方向であるので、画素数に換算することができる。
ここで輝度信号Ｇ(x,y)を１フレームの整数倍に相当する距離にわたって積分する。積分した後の輝度信号をＧ(x)と書くと、
Ｇ(x)＝∫Ｇ(x,y)dy
となる。積分範囲は「１フレームの整数倍」すなわち、図１１（ｂ）における白丸から白丸までである。図１１（ｂ）には、積分範囲の例として、「１フレームの１倍」の積分範囲を描いている。

積分範囲を１フレーム分にとって求めた輝度信号Ｇ(x)を、画素数に換算したｘ軸を横軸にしてグラフ化したものが、図１２である。この図１２が動画応答曲線になる。この動画応答曲線は、表示画面に映し出された動画像を人の目がスムーズに追従しながら観測しているものと同等である。
この図１２の動画応答曲線から、動画応答時間、動画ボヤケ時間、ボヤケ幅などを算出することができる。ボヤケ幅は、Ｘ軸をディスプレィの画素数にすると出力波形の１０％〜９０％の区間の値になる。動画ボヤケ時間は、Ｘ軸を「（ディスプレィの画素数／動画フレーム移動画素数）＊１フレーム時間」を用いて時間軸に変換し、出力波形の１０％〜９０％の区間の値になる。

判定対象表示器２の画像を撮影するためのラインカメラ３を用いた動画像処理装置１の構成を示す概略図である。判定対象表示器２の表示画面２１とラインカメラ３の検出面との関係を示す光路図である。判定対象表示器２の画像を撮影するためのガルバノカメラ３ａを用いた動画像処理装置１ａの構成を示す概略図である。動画像処理装置１ａの構成を示す側面図である。ガルバノカメラ３ａの二次元ＣＣＤアレイに写った画像の時間推移を示す図である。カメラの検出面で検出された輝度信号を、横軸に画素、縦軸に時間をとって示すグラフである。図６のグラフをコンピュータ画面に表示した状態を撮影した写真である。ラインカメラ３上の１つの表示画素に着目した場合の、各色輝度信号の時間経過を示すグラフである。図６のグラフをコンピュータ画面に表示した状態で撮影した写真である。目の追従方向を一軸にとるために座標変換をする方法を示す図解図である。座標変換する前と後の写真である。積分範囲を１フレーム分にとって算出した輝度信号Ｇ(x)を、画素を横軸にして動画応答曲線として描いたグラフである。

符号の説明

１，１ａ動画像処理装置
２判定対象表示器
３ラインカメラ
３ａガルバノカメラ
４コンピュータ制御部（演算部）
５画像信号発生器
２１表示画面
３５ガルバノミラー
３４カメラ本体

Claims

判定対象表示器の画面に映された画像の動きに基づいて、当該判定対象表示器の動画応答曲線を取得する装置であって、
前記判定対象表示器に動画像信号を供給する画像信号発生器と、
前記判定対象表示器に対して固定され、前記判定対象表示器の１フレーム時間よりも短い時間間隔で複数回露光撮影することのできるラインカメラと、
前記ラインカメラで撮影した画像を時系列に収集したデータに基づいて目の追従方向を決定し、当該撮影した画像の輝度を当該目の追従方向に沿って１フレーム時間の整数倍に相当する時間にわたって積分することにより、前記ラインカメラの各画素位置に対する前記判定対象表示器の動画応答曲線を得る演算部と、を有することを特徴とする動画像処理装置。
前記目の追従方向は、判定対象表示器の１フレームの時間と、前記動画像信号の隣接フレーム間の移動距離とから得られる請求項１記載の動画像処理装置。
前記演算部は、カラー別に動画応答曲線を得る請求項１記載の動画像処理装置。
判定対象表示器の画面に映された画像の動きに基づいて、当該判定対象表示器の動画応答曲線を取得する方法であって、
判定対象表示器に動画像を表示させ、
前記判定対象表示器に対して固定されたラインカメラを用いて、前記動画像を、前記判定対象表示器の１フレーム時間よりも短い時間間隔で複数回露光撮影し、
前記ラインカメラで撮影した画像を時系列に収集したデータに基づいて目の追従方向を決定し、
当該撮影した画像の輝度を当該目の追従方向に沿って１フレーム時間の整数倍に相当する時間にわたって積分することにより、前記ラインカメラの各画素位置に対する前記判定対象表示器の動画応答曲線を得ることを特徴とする画像表示器の動画応答曲線取得方法。
カラー別に動画応答曲線を得る請求項４記載の画像表示器の動画応答曲線取得方法。
判定対象表示器の画面に映された画像の動きに基づいて、当該判定対象表示器の動画応答曲線を取得する装置であって、
前記判定対象表示器に動画像信号を供給する画像信号発生器と、
前記判定対象表示器に対して固定され、前記判定対象表示器の１フレーム時間よりも短い時間間隔で複数回露光撮影することのできるラインカメラと、
前記ラインカメラで撮影した画像を時系列に収集したデータに基づいて、前記カメラのある画素における、前記判定対象表示器に表示された動画像の時間変化をとらえることにより、前記判定対象表示器の動画応答曲線を得る演算部と、を有することを特徴とする動画像処理装置。
前記演算部は、カラー別に動画応答曲線を得る請求項６記載の動画像処理装置。
判定対象表示器の画面に映された画像の動きに基づいて、当該判定対象表示器の動画応答曲線を取得する方法であって、
判定対象表示器に動画像を表示させ、
前記判定対象表示器に対して固定されたラインカメラを用いて、前記動画像を、前記判定対象表示器の１フレーム時間よりも短い時間間隔で複数回露光撮影し、
前記ラインカメラで撮影した画像を時系列に収集したデータに基づいて、前記カメラのある画素における、前記判定対象表示器に表示された動画像の時間変化をとらえることにより、画像表示の動画応答曲線を得ることを特徴とする画像表示器の動画応答曲線取得方法。
カラー別に動画応答曲線を得る請求項８記載の画像表示器の動画応答曲線取得方法。