JP5324391B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理技術に関するものであり、表示装置により動画像を表示する際の画像処理に関するものである。

テレビジョン受像機に代表される動画像の表示装置は、ホールド型表示装置とインパルス型表示装置に分類することができる。ホールド型表示装置は、１フレーム期間（フレームレートが６０Ｈｚの場合、１／６０秒）に同じ画像を表示し続けるものである。ホールド型表示装置としては、ＴＦＴを用いた液晶表示装置や有機ＥＬディスプレイ等が知られている。これに対し、インパルス型表示装置は、１フレーム期間のうち走査された期間だけ画素に画像が表示され、走査直後から画素の輝度が低下するものである。インパルス型表示装置としては、陰極線管（ＣＲＴ）やフィールドエミッションタイプの表示装置（ＦＥＤ）等が知られている。

ところで、ホールド型表示装置では、画面に表示された動きのある物体に対し、視聴者がボケを知覚しやすいという問題点（動きボケ）が知られている。そこで、ホールド型表示装置における動きボケ対策として、表示装置による表示の駆動周波数を上げホールド時間を短くする手法が利用されている。例えば、特許文献１は、１枚の入力フレームから高域成分を除いたサブフレームと高域成分を強調したサブフレームとの２枚のサブフレームを生成し、各フレームに対し生成された２枚のサブフレームを交互に表示する技術（以降、駆動分配と呼ぶ）を開示している。

一方、インパルス型表示装置は、ホールド型表示装置に比べて動画視認性がよいという利点を有する。しかし、各フレーム期間（フレームレートが６０Ｈｚの場合、１／６０秒）のうちの一瞬だけ発光し、１／６０秒の周期での発光を繰り返すため、フリッカー（ちらつき感）の問題が生じることがある。フリッカーは面積が大きくなるほど目立ちやすいという特性があるため、近年の表示装置の大画面化の流れの中では、特に問題となりやすい。そこで、インパルス型表示装置においては、フリッカー対策として、表示装置による表示の駆動周波数を上げる手法が利用されている。

特開２００６−１８４８９６号公報

しかしながら、本願の発明者による実験の結果、駆動分配によりフレームレートを高くして表示した場合、分配したサブフレームの波形の加算と人間の目による積分効果とが異なる場合があることがわかった。より具体的には、フレーム画像中の等しい輝度の部分が、駆動分配によって異なる明るさに見えてしまう場合があることがわかった。

本発明は上述の問題点に鑑みなされたものであり、動画像を表示装置により表示する際、視聴者により好適な表示画像を提供することを目的とする。

上述の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、入力された動画像データに含まれる複数のフレーム画像の各々に対して輝度パターンの異なる複数のサブフレーム画像を生成して出力する画像処理装置において、フレーム画像に対してソフト化フィルタ処理を施すことにより第１サブフレーム画像を生成し、該フレーム画像と該第１サブフレーム画像との差分を第２サブフレーム画像として生成する、生成手段と、前記第１サブフレーム画像と前記第２サブフレーム画像との少なくとも一方の輝度を補正する補正手段と、前記補正手段により少なくとも一方の輝度が補正された前記第１サブフレーム画像と前記第２サブフレーム画像とを所定のタイミングで出力する出力制御手段と、を備える。

本発明によれば、動画像を表示装置により表示する際、視聴者により好適な表示画像を提供することができる。

第１実施形態に係る画像処理装置のブロック図である。 駆動周波数によってユーザの知覚する明るさの変化の評価結果を示す図である。 駆動分配におけるオリジナルのフレーム画像と２枚のサブフレームとの関係を示す図である。 図３に示す２枚のサブフレームを合成したときのユーザによる見え方を示す図である。 説明のためサブフレームをさらに２つのサブフレームに分解した状態を示す図である。 第１実施形態に係る画像処理装置により輝度補正を行なった場合のユーザによる見え方を示す図である。 ホールド型表示デバイスにおける表示の動特性および駆動分配した際の動特性を説明するための図である。 インパルス型デバイスにおける表示の動特性および駆動分配した際の動特性を説明するための図である。 第２実施形態に係る画像処理装置のブロック図である。 第２実施形態に係る画像処理装置により輝度補正を行なった場合のユーザによる見え方を示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、表示装置であるパネルモジュール１０９に画像を出力する画像処理装置１００を例に挙げて以下に説明する。なお、以下の説明では、毎秒６０フレーム（６０Ｈｚ）の動画像データに含まれる複数のフレーム画像の各々から２つのサブフレーム（サブフレーム画像）を生成し、毎秒１２０フレーム（１２０Ｈｚ）の動画像として出力する例について説明する。ただし、他の入力フレームレートおよび他の出力フレームレートであっても本発明を適用することは可能である。なお、以下の説明において”フレーム周波数”は、プログレッシブ（順次）走査を行う場合には１秒あたりに表示されるフレーム数を意味し、インターレース（飛び越し）走査を行う場合には１秒あたりに表示されるフィールド数を意味する。

＜前提技術＞
まず、背景技術として上述したホールド型表示装置およびインパルス型表示装置の表示特性について、より詳しく説明する。

・ホールド型表示装置
図７は、ホールド型表示装置における表示の動特性および駆動分配した際の動特性を説明するための図である。図７の横軸は表示画面上の位置（座標）を、縦軸は時間を示しており、一様な明るさを有する画像（矩形、円など）が、画面の左側から右側に移動している状態を示している。なお、図７に示される矩形波は、各タイミングにおける画像の輝度分布を示している。

図７の左図に示すように、駆動分配を行なわない場合、画像が画面の左側から右側に移動している状態において、ホールド型表示装置ではボケ（動きボケ）が発生する。なお、図７では、１／６０秒毎の４つの矩形波を便宜上示しているが、実際には１／６０秒の期間継続して表示されている。このような画像の動きを眼で追う場合、眼が追従する動きに対して、１／６０秒の期間画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きボケとして知覚されることとなる。図７の波形１１０１は、駆動分配を行なっていない際の追従視している時の見え方を概念的に示したものである。波形１１０１においては、エッジ部分がなだらかな階段状の形状となっており、その結果、輝度変化がある幅をもったボケが視聴者により検知されることを示している。図７の波形１１０２は、駆動分配を行なった際の追従視している時の見え方を概念的に示したものである。波形１１０１と比較し、波形１１０２は、エッジ部分がより明瞭に立った形状となっており、視聴者により知覚される動きボケが低減されていることが分かる。

・インパルス型表示装置
図８は、インパルス型表示装置における表示の動特性および駆動分配した際の動特性を説明するための図である。図８の横軸および縦軸は図７と同様であり、一様な明るさを有する画像（矩形、円など）が、画面の左側から右側に移動している状態を示している。なお、図８に示される矩形波は、各タイミングにおける画像の輝度分布を示している。

図８の左図に示すように、駆動分配を行なわない場合であっても残像となるような動きボケが発生しないことが最大の特徴となっている。図８の波形１１０３は、駆動分配を行なっていない際の追従視している時の見え方を概念的に示したものである。波形１１０３においては、エッジ部分が垂直に立っており、ボケが視聴者により検知されないことを示している。図８の波形１１０４は、フリッカー対策として駆動分配を行なった際の追従視している時の見え方を概念的に示したものである。波形１１０３と比較し、波形１１０４は、エッジ部分に多少の崩れがあるものの、視聴者により知覚される動きボケは非常に少ないことが分かる。なお、駆動分配ではなく単純に２回ずつ同じフレームを表示した場合、２重写りが発生してしまう。一方、駆動分配の手法を用いると、高域側は１回しか表示されないので、低域成分に起因する非常に少ないボケが発生するのみで、２重写りは発生せず視覚的な劣化は抑制されている。

＜装置構成＞
図１は、第１実施形態に係る画像処理装置１００のブロック図である。１０１は、入力されたオリジナル画像のフレーム周波数を上げる方向に変換するフレーム周波数変換回路である。上述したように、以下の説明では、毎秒６０フレーム（６０Ｈｚ）の動画像を毎秒１２０フレーム（１２０Ｈｚ）の動画像に変換する例について説明する。１０２は、入力された画像に対し注目画素を当該注目画素の周辺の画素の画素値の最小値で置換し出力するよう構成された最小値フィルタである。１０３は、入力された画像に対し、例えばガウス関数を用いたソフト化フィルタ処理を行なうガウスフィルタである。１０４は、各サブフレームの画像に分配比率に応じたゲインを乗じる分配比率回路である。１０５は、最小化フィルタ１０２から分配比率回路１０４の処理による遅延に合わせ、フレーム周波数変換回路１０１から出力された画像を後述する引算処理回路１０６に出力するためのタイミング調整回路である。１０６は、２つの画像に対しビット単位で引き算処理を行なう引算処理回路であり、”第１サブフレーム”を出力する。１０７は、分配比率回路１０４の出力に対し所定の輝度補正係数を乗算する輝度補正回路（請求項における第１補正回路）であり、”第２サブフレーム”を出力する。１０８は、第１サブフレームと第２サブフレームと切り替えて出力画像として順次出力するセレクタ回路（請求項における出力制御手段）である。なお、１０９はセレクタ回路１０８により出力された出力画像の表示を行なうパネルモジュールである。なお、第２サブフレーム（請求項における第１サブフレーム画像）は、オリジナルのフレーム画像をソフト化フィルタ１０３により処理して得られることから分かるように、オリジナルのフレーム画像の低周波成分により構成される。一方、第１サブフレーム（請求項における第２サブフレーム画像）は、オリジナルのフレーム画像と第２サブフレームとの差分により得られることから分かるように、オリジナルのフレーム画像の高周波成分により構成される。

＜装置の動作＞
・評価実験
本願の発明者は、図１に示した構成の回路を用い、人間が感じる明るさの表示周波数に対する依存性についての評価実験を行なった。具体的には、６０Ｈｚで駆動表示（以降、”６０Ｈｚ表示”と呼ぶ）されるパッチと、１２０Ｈｚで駆動表示（以降、”１２０Ｈｚ表示”と呼ぶ）されるパッチの、２つのパッチをパネルモジュール１０９に表示し、４人の被験者により明るさの評価を行なった。

なお、画像処理装置１００において、最小化フィルタ１０２を、フィルタの入力領域（５ｘ５の領域など）全てに注目画素の値と同じ値を入力するよう構成し、ソフト化フィルタ１０３を、注目画素に対する係数を”１”その他の画素に対する係数を”０”とするよう構成している。また、分配比率回路１０４を、６０Ｈｚ表示のパッチに対しては第１サブフレームを１００％、第２サブフレームを０％に設定し、１２０Ｈｚ表示のパッチに対しては第１サブフレームを５０％、第２サブフレームを５０％に設定するよう構成している。さらに、輝度補正回路１０７を、輝度補正を行なわないように構成している。

図２は、６０Ｈｚ表示および１２０Ｈｚ表示の２つのパッチに対する、４人の被験者による評価結果を示す図である。横軸は、測定器（輝度計）にて測定した場合の輝度比の増減であり、右側（正の方向）に行くほどは６０Ｈｚ表示のパッチが１２０Ｈｚ表示のパッチより明るいことを示している。また、縦軸は、被験者が感じた明るさを示している。具体的には、６０Ｈｚ表示のパッチの方が明るく見えた場合を上方（＋１）にプロットし、同じ明るさに見えれば中央（０）にプロットし、１２０Ｈｚ表示のパッチの方が明るく見えた場合を下方（−１）にプロットしている。

図２において、４人の被験者の結果をそれぞれ□、○、◇、×の４種類の記号で表しており、４人の被験者の平均を一点鎖線により示している。平均を示す一点鎖線を見ると、Ｘ＝−４で中心線を横切っていることが分かる。つまり、測定器による測定される輝度において、６０Ｈｚ表示の画像を４％暗くしたときに、１２０Ｈｚ表示の画像と同じ明るさに見えることがわかった。言い換えると、輝度には、測定器による”測定輝度”と人間の目で感じる明るさを示す”官能輝度”があり、それは周波数に依存して変化することがわかった。なお、図２からも予測されるように、輝度比のずれる量は人によってばらつきがあり、個人差によりおおよそ０％〜１０％の範囲になると推測される。

・輝度補正を行なわない場合の駆動分配
図３は、駆動分配におけるオリジナルのフレーム画像と２枚のサブフレームとの関係を示す図である。とくに、輝度補正回路１０７の輝度補正係数を１．０倍（つまり補正なし）とした場合を示している。横軸は画面上の位置を示し、縦軸は輝度を示している。３０１はオリジナルのフレーム画像の輝度変化（輝度パターン）を示した波形、４０１は第１サブフレームの輝度変化を示した波形、４０２は第２サブフレームの輝度変化を示した波形、である。

図４は、図３のように駆動分配された２枚のサブフレームをパネルモジュール１０９に表示した場合の、測定器で測定される輝度（物理量）および官能輝度（心理量）を示している。横軸は画面上の位置を示し、縦軸は輝度を示している。より具体的には、４０３は、第１サブフレームの波形４０１と第２サブフレームの波形４０２を単純に加算した波形を示しており、４０４は、上述の評価実験に基づいて導出される人間が感じる輝度変化を示している。

つまり、第１サブフレーム（波形４０１）と第２サブフレーム（波形４０２）とを交互に表示すると、波形４０３として知覚されることが期待されるものの、実際には、波形４０４のように中央部が暗く見えることになる。これは図２で示したように、表示周波数によって、測定輝度（物理量）と官能輝度（心理量）とが異なるために生じている。

以下、図５を参照してより少し詳細に説明する。図５は、サブフレームをさらに２つのサブフレームに分解した状態を示す図である。ここで、５０１は、第２サブフレームの波形４０２と同じ形になるようにし、残った部分（差分）を５０２となるように分割している。このように第１サブフレームを分割してみると、１フレーム期間（１／６０秒）に含まれる２つのサブフレーム期間のうち、１回だけ表示されている成分と、２回表示されている成分とに分けられることがわかる。つまり、波形５０１と第２サブフレームの輝度変化を示した波形４０２は同じであるため、２回表示されている成分と見なすことができ、一方、波形５０２の輝度成分は１回だけ表示されている成分と見なすことができる。

図２で説明したように、１２０Ｈｚ表示（２回表示に相当）は、６０Ｈｚ表示（１回だけ表示に相当）より０％〜１０％暗く見えるので、波形５０１と波形４０２とにより構成される、波形の中央部の輝度成分は暗く見える。それゆえ、波形４０４で示したように中央部が暗く見えたのである。

・輝度補正を行う駆動分配
そこで、輝度補正回路１０７にて、輝度補正（官能輝度補正）を行ない輝度の補償を行なうことを考える。ここでは、輝度補正回路１０７において＋４％の輝度補正（輝度補正係数は１．０４）を行い、”第２サブフレーム”に相当するサブフレームの輝度を１．０４倍する例について説明する。

図６は、第１実施形態に係る画像処理装置により輝度補正を行なった場合のユーザによる見え方を示す図である。４０１は第１サブフレームの輝度変化を示した波形、６０２は第２サブフレームの輝度変化を示した波形、６０３は第１サブフレームと第２サブフレームを足した輝度変化を示した波形、６０４は、人間が知覚する輝度を示した波形、をそれぞれ示している。

なお、波形６０２は、輝度補正回路１０７によって、点線で示した波形４０２の輝度よりも輝度が少し高く（＋４％）なっている。波形４０１と波形６０２とを足した輝度は、測定輝度（物理量）で示すと波形６０３のように中央部は輝度が高くなる。しかしながら、上述した輝度変化の影響により、官能輝度（心理量）で示した波形６０４は中央部が少し暗く見えるため、輝度補正した分と感応輝度の影響が相殺し合い、オリジナルのフレーム画像と同様の明るさが均一の波形となる。

以上説明したとおり第１実施形態によれば、駆動分配により表示部による動画像の表示品質を向上させつつ、駆動分配により生じる画像輝度の低下を補償することが可能となる。そのため、ユーザにとってより好適な画質の動画像を表示することが可能となる。

なお、上述した表示周波数に依存した官能輝度の変化は、ホールド型表示装置およびインパルス型表示装置の双方において発生しうる。そのため、上述の画像処理装置は、ホールド型表示装置およびインパルス型表示装置の双方において同様の効果を得ることが可能である。

なお、上述では単に”輝度”を補正するとして説明したが、ＹＣｂＣｒ成分により示される画像の輝度（Ｙ）成分に対して処理を行なってもよいし、ＲＧＢ画像のＲＧＢ各色の画素値（各色における輝度値）に対し処理を行なっても良い。

（第２実施形態）
図９は、第２実施形態に係る画像処理装置２００のブロック図である。なお、図１と同様の参照符号の機能部は図１と同一または類似のものを示しており、詳細な説明は省略する。第１実施形態では、第２サブフレームに対し輝度向上の補正を行う例について説明したが、第２実施形態では、第１サブフレームに対し輝度低減の補正を行なう例について説明する。

輝度補正回路２１０１（請求項における第２補正回路）は、引算処理回路１０６の出力に対し輝度補正を行なう回路である。そこで、輝度補正回路２１０１にて、輝度補正（官能輝度補正）を行ない輝度の補償を行なうことを考える。ここでは、輝度補正回路２１０１において−４％の輝度補正（輝度補正係数は０．９６）を行い、”第１サブフレーム”に相当するサブフレームの輝度を０．９６倍する例について説明する。

図１０は、第２実施形態に係る画像処理装置により輝度補正を行なった場合のユーザによる見え方を示す図である。２２０１は第１サブフレームの輝度変化を示した波形、４０２は第２サブフレームの輝度変化を示した波形、２２０３は第１サブフレームと第２サブフレームを足した輝度変化を示した波形、２２０４は、人間が知覚する輝度を示した波形、をそれぞれ示している。

なお、波形２２０１は、輝度補正回路２１０１によって、点線で示した波形４０１の輝度よりも輝度が少し低く（−４％）なっている。波形２２０１と波形４０２とを足した輝度は、測定輝度（物理量）で示すと波形２２０３のように中央部は輝度が高くなる。しかしながら、上述した輝度変化の影響により、官能輝度（心理量）では中央部が少し暗く見えるため、輝度補正した分と感応輝度の影響が相殺し合い、波形２２０４はオリジナルのフレーム画像と同様の明るさが均一の波形となる。

以上説明したとおり第２実施形態によれば、駆動分配により表示部による動画像の表示品質を向上させつつ、駆動分配により生じる画像輝度の低下を補償することが可能となる。そのため、ユーザにとってより好適な画質の動画像を表示することが可能となる。

（変形例）
なお、上述の第１実施形態と第２実施形態とを組み合わせた構成としてもよい。すなわち、第１サブフレームおよび第２サブフレームの双方に対し輝度補正をおこなうよう輝度補正回路を２つ設けても良い。たとえば、６０Ｈｚ表示の画像を４％暗くしたときに１２０Ｈｚ表示の画像と同じ明るさに見えるとした場合、第１サブフレームに対する輝度補正係数を０．９８とし、第２サブフレームに対する輝度補正係数を１．０２とするよう構成するとよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (4)

1. 入力された動画像データに含まれる複数のフレーム画像の各々に対して輝度パターンの異なる複数のサブフレーム画像を生成して出力する画像処理装置であって、
   フレーム画像に対してソフト化フィルタ処理を施すことにより第１サブフレーム画像を生成し、該フレーム画像と該第１サブフレーム画像との差分を第２サブフレーム画像として生成する、生成手段と、
   前記第１サブフレーム画像と前記第２サブフレーム画像との少なくとも一方の輝度を補正する補正手段と、
   前記補正手段により少なくとも一方の輝度が補正された前記第１サブフレーム画像と前記第２サブフレーム画像とを所定のタイミングで出力する出力制御手段と、
   を備えることを特徴とする画像処理装置。
2. フレーム画像に含まれる各画素の画素値を当該画素の周辺の画素の画素値のうち最小の画素値で置換する最小化フィルタ手段を更に有し、
   前記生成手段は、前記最小化フィルタ手段により処理されたフレーム画像に前記ソフト化フィルタ処理を施すことにより前記第１サブフレーム画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記第１サブフレーム画像の輝度を向上させる第１補正手段と、前記第２サブフレーム画像の輝度を低下させるよう補正する第２補正手段と、の少なくとも一方を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 入力された動画像データに含まれる複数のフレーム画像の各々に対して輝度パターンの異なる複数のサブフレーム画像を生成して出力する画像処理装置の制御方法であって、
   フレーム画像に対してソフト化フィルタ処理を施すことにより第１サブフレーム画像を生成し、該フレーム画像と該第１サブフレーム画像との差分を第２サブフレーム画像として生成する、生成工程と、
   前記第１サブフレーム画像と前記第２サブフレーム画像との少なくとも一方の輝度を補正する補正工程と、
   前記補正工程により少なくとも一方の輝度が補正された前記第１サブフレーム画像と前記第２サブフレーム画像とを所定のタイミングで出力する出力制御工程と、
   を備えることを特徴とする画像処理装置の制御方法。

Images