JP5939108B2 - 画像表示装置および画像表示方法 - Google Patents

Description

本発明は、画像表示装置及びその画像表示方法に関するものである。

液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けている。画像中の物体が動いた場合には、動く物体に対する人間の目の追従が連続的に移動することに対して、物体の移動が１フレーム単位の不連続な移動を行うこととなる。このため、エッジ部分がぼやけて見える問題がある。

また、映画などのフィルム映像がテレビ信号に変換された素材については、フィルム映像のコマ送りの速度とテレビ信号のフレーム周波数の違いから、例えば２フレーム又は３フレームが同じフレームから作られた画像信号となっている。このため、この画像信号をそのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。

また、コンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号となる場合がある。その際には、この画像信号をそのまま表示すると、フィルム映像信号の場合と同様にジャダーが発生するという問題が生じ得る。

そこで、従来の画像処理装置及び画像処理方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零時ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法かのいずれかを用いている。しかしながら、零時ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないため、ホールド型ディスプレイに起因するぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像となり、やはりぼやける問題がある。

上記問題への対策としては、フレーム周波数の変換技術であるフレーム補間技術またはフレームレート変換技術を用いることが知られている。これは、対象物の時間的な動きを推定する動き推定技術を用いて補間画像を生成し、表示画像数を多くして物体の移動をスムーズにすることでぼやけを抑制するものである（例えば、特許文献１参照）。

また、ホールド型ディスプレイの動画ぼやけを軽減するために、バックライトを点滅させて擬似的なインパルス駆動を行なう手法であるスキャンバックライトが知られている（例えば、特許文献２参照）。この手法によれば、画像を複数の領域に分割し、この複数の領域の各々に対応するフレームの部分領域を順にバックライトで照明走査することで、動画ぼやけを軽減している。

特開２００６−１２９１８１号公報 特開２００５−１２８５６１号公報

しかしながら、従来の動き推定技術を用いた補間画像生成にスキャンバックライトを単に適用した画像表示装置及び画像表示方法では、入力映像の間にバックライトを点滅させるタイミング毎に点滅回数分の補間フレームを作成する必要がある。従って、点滅回数分の補間フレームを作成するために大量の演算が必要となり、回路規模が著しく大きくなるという問題があった。
この発明は、上記のような問題点を解消するためになされたもので、小さい回路規模で動画ぼやけを軽減できる画像表示装置及びその画像表示方法を提供することを目的とする。

この発明に係る画像表示装置は、順に連続して入力された映像信号である第１の入力フレームと第２の入力フレームとに基づいて作成された動きベクトルを出力する動きベクトル出力部と、動きベクトルと第１の入力フレームと第２の入力フレームとから補間サブフレームを生成し、補間サブフレームの複数枚を１フレーム中に合成した合成フレームを出力する合成フレーム出力部と、合成フレーム出力部から前記合成フレームが出力されるタイミングに基づいてバックライトの制御信号を生成するスキャンバックライト制御部と、光源としてバックライトを備え、スキャンバックライト制御部より出力された制御信号に応じてバックライトを点灯し合成フレームの画像を表示する画像表示部とを備えた画像表示装置であって、合成フレーム出力部は、補間サブフレームの複数枚をバックライトで照明するフレームの部分領域に対応させて合成し、バックライトは、複数の点灯領域に分割されていることを特徴とする。

本発明によれば、小さい回路規模で動画ぼやけを軽減することができる。

本発明の実施の形態１に係る画像表示装置の構成を示す図である。 動きベクトル検出部２の動作を説明するための図である。 動きベクトル変換部３の動作を説明するための図である。 動きベクトル検出部２の構成例を示すための図である。 ブロックマッチングの動作を説明するための図である。 合成フレーム出力部４における補間サブフレーム生成の例を説明するための図である。 合成フレーム出力部４の動作を説明するための図である。 本発明の実施の形態１の作用・効果を説明するための図である。 本発明の実施の形態１に係る画像表示装置の処理工程を示すフローチャートを示す図である。

以下、本発明に係る画像表示装置を、その実施の形態を示す図面に基づき具体的に説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、フレームメモリ１と、動きベクトル出力部７と、合成フレーム出力部４と、スキャンバックライト制御部５と、画像表示部６とを備える。動きベクトル出力部７は、動きベクトル検出部２と動きベクトル変換部３とからなる。

画像信号Ｆ０が現フレームとして、フレームメモリ１、動きベクトル出力部７、合成フレーム出力部４に入力される。

フレームメモリ１は、入力される画像信号Ｆ０を保持する。また、フレームメモリ１は、画像Ｆ０の１フレーム過去である時刻における画像信号Ｆ１を遅延フレームとして動きベクトル出力部７、合成フレーム出力部４に出力する。すなわち、順に連続して入力された映像信号である第１の入力フレームとしての遅延フレームＦ１と第２の入力フレームとしての現フレームＦ０とが、動きベクトル出力部７及び合成フレーム出力部４に入力される。

画像信号Ｆ０と画像信号Ｆ１とは動きベクトル出力部７を構成する動きベクトル検出部２へ入力される。動きベクトル検出部２は、１フレーム過去である時刻における画像信号Ｆ１から現フレームである時刻における画像信号Ｆ０への第１の動きベクトルＭＶ１を算出する。算出された第１の動きベクトルＭＶ１は、動きベクトル変換部３に出力される。動きベクトル変換部３は、第１の動きベクトルＭＶ１を、第２の動きベクトルＭＶ２及び第３の動きベクトルＭＶ３に変換し、合成フレーム出力部４へ出力する。

合成フレーム出力部４は、画像信号Ｆ０、画像信号Ｆ１、第２の動きベクトルＭＶ２及び第３の動きベクトルＭＶ３から合成フレームとしての画像Ｄ０を生成し、画像表示部６にこの画像Ｄ０を出力し、スキャンバックライト制御部５に画像Ｄ０が出力されるタイミング信号を出力する。なお、タイミング信号に代えて、スキャンバックライト制御部５に画像Ｄ０そのものを出力するようにしても良い。その場合は、スキャンバックライト制御部５は、合成フレーム出力部４から画像Ｄ０が出力されるタイミングをこの画像Ｄ０がスキャンバックライト制御部５に入力されるタイミングから得ることとなる。

スキャンバックライト制御部５は、合成フレーム出力部４から出力されるタイミング信号もしくは画像Ｄ０そのものからバックライトの制御信号Ｄ１を生成して、画像表示部６に出力する。

画像表示部６は、バックライト制御信号Ｄ１に応じて画像表示部６の光源であるバックライト（図示せず）を点灯し、画像信号Ｄ０を表示する。

なお、バックライトとは液晶ディスプレイの裏面に配置された光源である。ここでは、スキャンバックライトとは、一画面を複数の部分領域に分割し、この部分領域を順にバックライトで照明走査し、それ以外の領域はその期間は照明されないことで、擬似的にブラウン管のようなインパルス表示をして動画ぼやけを軽減するようなバックライトのことである。

図２は、動きベクトル検出部２の動作を説明するための図である。動きベクトル検出部２では１フレーム過去である時刻Ｔ１の画像信号Ｆ１から現フレームである時刻Ｔ２の画像信号Ｆ０への第１の動きベクトルＭＶ１を算出する。

図３は、動きベクトル変換部３の動作を説明するための図である。動きベクトル変換部３は、第１の動きベクトルＭＶ１を、各画素ごとに時刻Ｔ１の画像信号Ｆ１から時刻ｔに相当する位置への第２の動きベクトルＭＶ２に変換する。また、動きベクトル変換部３は、第１の動きベクトルＭＶ１を、各画素ごとに時刻Ｔ２の画像信号Ｆ０から時刻ｔに相当する位置への第３の動きベクトルＭＶ３に変換する。ただし時刻ｔ、Ｔ１及びＴ２の値の大小関係は、以下のとおりである。
Ｔ１＜ｔ＜Ｔ２
時刻ｔは部分領域ごとにバックライトが点灯するタイミングに対応している。部分領域とは、ここでは、バックライトで照明するフレームの部分領域のことであり、部分領域ごとに時刻ｔは異なる。詳細については後述する。前記第２の動きベクトルＭＶ２と前記第３の動きベクトルＭＶ３は、動きベクトル出力部７の出力信号として出力される。

図４は動きベクトル検出部２の構成例を示す。動きベクトル検出部２は、注目画像ブロック切り出し部２１と探索画像ブロック切り出し部２２と動きベクトル決定部２３とを備える。注目画像ブロック切り出し部２１は、動きベクトル決定部２３に矩形の領域であるブロックＤ２Ｂ（ｉ,ｊ）を出力する。探索画像ブロック切り出し部２２は、動きベクトル決定部２３にブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を出力する。動きベクトル決定部２３は、第１の動きベクトルＭＶ１を出力する。

図５はブロックマッチング動作の説明図である。注目画像ブロック切り出し部２１は、画像信号Ｆ１から、図５（ａ）に示すように、注目画素ｐ（ｉ，ｊ）の周辺領域、例えば注目画素を中心とし、垂直方向サイズである、高さが（２＊ＢＭ＋１）、水平方向サイズである、幅が（２＊ＢＮ＋１）のブロックＤ２Ｂ（ｉ，ｊ）を切り出す。

探索画像ブロック切り出し部２２は、図５（ｂ）に示すように、画像信号Ｆ０に対し、前記注目画素ｐ（ｉ、ｊ）毎に定義される座標の集合Ｓ（ｉ，ｊ）に含まれる位置（ｉ＋ｋ，ｊ＋ｌ）を中心として、ブロックＤ２Ｂと同じサイズのブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を切り出す。なお、座標の集合Ｓ（ｉ，ｊ）は、以下のとおりである。

Ｓ（ｉ，ｊ）＝｛（ｉ＋ｋ，ｊ＋ｌ）｝ （１）

ただし、ｋとｌは、それぞれ所定の値であるＳＶとＳＨについて、−ＳＶ≦ｋ≦ＳＶ、−ＳＨ≦ｌ≦ＳＨの関係を満たすものである。

ここで、Ｓ（ｉ，ｊ）は、注目画素ｐ（ｉ、ｊ）についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が２ＳＨ＋１、縦方向が２ＳＶ＋１の矩形の領域である。

動きベクトル決定部２３は、注目画像ブロック切り出し部２１から入力されるブロックＤ２Ｂ（ｉ,ｊ）と、探索画像ブロック切り出し部２２から入力されるブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）との間で、差分絶対値和ＳＡＤを求める。差分絶対値和ＳＡＤとは、互いに対応する位置の画素同士の差分の絶対値の総和である。ここでは、それぞれのブロック内のすべての画素、即ち（２＊ＢＭ＋１）＊（２＊ＢＮ＋１）個の、差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）を求める。該差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）は下記の式（２）で表される。

後述のように、（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個のブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）に対応して（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）が得られる。（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の中で値が最小となる差分絶対値和を生じさせたブロックＤ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）を特定する。特定された該ブロックの、ブロックＤ２Ｂに対する相対位置（ｋｍ，ｌｍ）を第１の動きベクトルＭＶ１＝（Ｖｙ，Ｖｘ）＝（ｋｍ，ｌｍ）として出力する。

上記のような動きベクトル検出を、画像Ｆ１の全画素に対して行い、各画素について第１の動きベクトルＭＶ１を検出する。

なお、動きベクトル検出部２における動きベクトル検出に当たり、ブロックＤ２ＢやブロックＤ１Ｂが動きベクトル検出をしようとする画像からはみ出す場合には、この画像の上端、下端、左端、右端の外側の実在しない仮想の画素が、上記のブロックＤ２ＢやＤ１Ｂの一部となる。その場合は、上端、下端、左端、右端の外側の仮想の画素が、それぞれ上端、下端、左端、右端の画素と同じ値を持つものとして処理をすれば良い。

また、本発明における動きベクトル検出部２の処理方法は、上記方法に限定されるものでは無く、位相相関関数を用いて求める手法などを採用しても良い。

なお、第２の動きベクトルＭＶ２及び第３の動きベクトルＭＶ３の変換には、式（３）及び式（４）を用いる。

ＭＶ２ ＝ ＭＶ１ × （ｔ − Ｔ１） ／（Ｔ２ − Ｔ１） （３）
ＭＶ３ ＝ ＭＶ２ − ＭＶ１ （４）

図６は、本実施の形態の合成フレーム出力部４における補間サブフレーム生成の例を説明するための図である。ここで、６０Ｈｚの入力映像から１２０Ｈｚの映像を出力し、バックライトは４８０Ｈｚで制御する場合を例に説明をする。この時、一般的には、補間フレームはＴ１とＴ２との中間に生成するため、時刻ｔは（Ｔ１＋Ｔ２）／２となる。本実施の形態においては、補間フレームに対応する画像信号として、補間サブフレームを合成した合成フレームを用いる。補間サブフレームは、部分領域ごとに時刻ｔを変化させて生成される。部分領域とは、前記のとおり、バックライトで照明するフレームの部分領域のことである。図６に示すように時刻ｔは部分領域ごとにバックライトが点灯するタイミングに対応させる。動きベクトル変換部３ではバックライトの点灯に対応した部分領域ごとに時刻ｔを変更させて動きベクトルＭＶ２及びＭＶ３を生成する。

図７は、合成フレーム出力部４の動作を説明するための図である。図７に示すように画像Ｄ０から−ＭＶ２動かした位置の画像Ｆ１と画像Ｄ０から−ＭＶ３動かした位置の画像Ｆ０とを基に補間サブフレームを画素ごとに算出する。

この補間サブフレームは、入力映像の間にバックライトを点滅させるタイミング毎に点滅回数分算出される。合成フレーム出力部４はさらに、算出された補間サブフレームの複数枚を1フレーム中に合成した合成フレームを出力する。なお、入力映像の時刻、例えば図６におけるｔ＝Ｔ1においては、合成フレーム出力部４は、合成フレームとして、入力映像と補間サブフレームの複数枚を1フレーム中に合成する。

スキャンバックライト制御部５は、画像信号Ｄ０の入力されるタイミングからバックライトの制御信号Ｄ１を生成する。画像表示部６が画像信号Ｄ０のある画素を表示するタイミングでその画素に対応するバックライトを点灯させるように制御信号を画像表示部６に出力する。あるいは、画素ごとではなくその画素を含む部分領域のバックライトを点灯させるように制御信号を画像表示部６に出力する。

図８は、本実施の形態の効果を説明するための図である。画像表示部６の表示は図８のようになる。本実施の形態ではフレーム補間処理を４８０Ｈｚにした場合のように、図８における時刻ｔａ、ｔｂ、ｔｃ、ｔｄ、ｔｅ、ｔｆ、ｔｇにおいて、補間された１フレーム分の画像信号を７枚生成せずとも同等の動きぼやけの改善の性能がある。つまり、時刻Ｔ１、ｔｄにおいて補間サブフレームからなる合成フレームを２枚生成すればよいので演算量は少なく、高速応答の表示デバイスを必要としない。前記の例では、４８０Ｈｚの表示デバイスを必要とせず、１２０Ｈｚの表示デバイスで動きぼやけの改善について同等の効果が得られる。

図９は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。

それぞれのステップは本実施の形態に係る画像表示装置の一部をソフトウェアとして実装したものである。まず、動きベクトル出力ステップｓ１の動作は、動きベクトル出力部７と同等である。合成フレーム出力ステップｓ２の動作は、合成フレーム出力部４と同等である。スキャンバックライト制御ステップｓ３の動作は、スキャンバックライト制御部５と同等である。画像表示ステップｓ４の動作は、画像表示部６と同等である。

図９は、本実施の形態に係る画像表示装置の一部をソフトウェアとして実装したものであるのでその効果は同等である。

１ フレームメモリ
２ 動きベクトル検出部
３ 動きベクトル変換部
４ 合成フレーム出力部
５ スキャンバックライト制御部
６ 画像表示部
７ 動きベクトル出力部
２１ 注目画像ブロック切り出し部
２２ 探索画像ブロック切り出し部
２３ 動きベクトル決定部

Claims (7)

1. 順に連続して入力された映像信号である第１の入力フレームと第２の入力フレームとに基づいて作成された動きベクトルを出力する動きベクトル出力部と、
   前記動きベクトルと前記第１の入力フレームと前記第２の入力フレームとから補間サブフレームを生成し、前記補間サブフレームの複数枚を１フレーム中に合成した合成フレームを出力する合成フレーム出力部と、
   前記合成フレーム出力部から前記合成フレームが出力されるタイミングに基づいてバックライトの制御信号を生成するスキャンバックライト制御部と、
   光源としてバックライトを備え、前記スキャンバックライト制御部より出力された前記制御信号に応じて前記バックライトを点灯し前記合成フレームの画像を表示する画像表示部と、
   を備えた画像表示装置であって、
   前記合成フレーム出力部は、前記補間サブフレームの複数枚を前記バックライトで照明するフレームの部分領域に対応させて合成し、
   前記バックライトは、複数の点灯領域に分割されている
   ことを特徴とする画像表示装置。
2. 前記動きベクトル出力部は、
   前記第１の入力フレームと前記第２の入力フレームとを参照して各画素ごとに前記第１の入力フレームから前記第２の入力フレームへの第１の動きベクトルを算出する動きベクトル検出部と、
   前記第１の動きベクトルを、各画素ごとに、前記第２の入力フレームから前記補間サブフレームへの第２の動きベクトルと前記第１の入力フレームから前記補間サブフレームへの第３の動きベクトルとに変換する動きベクトル変換部と、
   を備え、
   前記動きベクトルは、前記第２の動きベクトルと前記第３の動きベクトルとからなる
   ことを特徴とする請求項１記載の画像表示装置。
3. 前記合成フレーム出力部は、前記第２の動きベクトルと前記第３の動きベクトルと前記第２のフレームと前記第１のフレームとから前記補間サブフレームを生成し、前記補間サブフレームの複数枚を１フレーム中に合成する
   ことを特徴とする請求項２記載の画像表示装置。
4. 前記動きベクトル変換部は、各画素ごとに前記バックライトが点灯するタイミングに対応した前記補間サブフレームを生成するための前記第２の動きベクトルと前記第３の動きベクトルとを生成する
   ことを特徴とする請求項２または３に記載の画像表示装置。
5. 前記補間サブフレームの数は、出力映像のフレーム周波数と前記バックライトが点灯する周波数の比に対応する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。
6. 前記補間サブフレームの数は、２のべき乗である
   ことを特徴とする請求項５に記載の画像表示装置。
7. 順に連続して入力された映像信号である第１の入力フレームと第２の入力フレームとに基づいて作成された動きベクトルを出力する動きベクトル出力ステップと、
   前記動きベクトルと前記第１の入力フレームと前記第２の入力フレームとから補間サブフレームを生成し、前記補間サブフレームの複数枚を１フレーム中に合成した合成フレームを出力する合成フレーム出力ステップと、
   前記合成フレーム出力部から前記合成フレームが出力されるタイミングに基づいてバックライトの制御信号を生成するスキャンバックライト制御ステップと、
   前記スキャンバックライト制御部より出力された前記制御信号に応じて前記バックライトを点灯し、前記合成フレームの画像を表示する画像表示ステップと、
   を備えた画像表示装置であって、
   前記合成フレーム出力ステップは、前記補間サブフレームの複数枚を前記バックライトで照明するフレームの部分領域に対応させて合成する
   ことを特徴とする画像表示方法。

Images