以下、添付図面を参照しながら本発明の好適な画像表示装置の実施の形態について詳細に説明する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
図1は、本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図で、図中、10はフレームレート変換部(以下、FRC部)で、該FRC部10は、本発明のレート変換手段に相当し、入力画像信号に含まれる2つの連続したフレーム間で動きベクトルを検出するベクトル検出部11と、検出した動きベクトルに基づいて内挿フレーム(内挿画像)を生成するフレーム生成部12とから構成される。なお、ベクトル検出部11は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。
図1において、ベクトル検出部11は、入力画像信号(RGB信号)から輝度信号(Y信号)を抽出する輝度信号抽出部11aと、抽出したY信号にLPFを掛けて高域部の帯域を制限するための前処理フィルタ11bと、動き検出用フレームメモリ11cと、初期ベクトル候補を蓄積するための初期ベクトルメモリ11dと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部11eと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル評価部11fと、を備えて構成される。
なお、FRC部10は、本発明のレート変換手段に相当し、動きベクトル検出部11eは、本発明の動きベクトル検出部に相当し、内挿ベクトル評価部11fは、本発明の内挿ベクトル割付部に相当する。
上記反復勾配法の演算は画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ11bにおいてLPFをかけて高域部の帯域を制限しておく。初期ベクトルメモリ11dには、初期ベクトル候補として、前々フレームで既に検出されている動きベクトル(初期ベクトル候補)を蓄積しておく。
動きベクトル検出部11eは、初期ベクトルメモリ11dに蓄積されている初期ベクトル候補の中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。すなわち、被検出ブロック近傍のブロックにおける既検出動きベクトル(初期ベクトル候補)の中からブロックマッチング法により初期ベクトルを選択する。そして、動きベクトル検出部11eは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。
内挿ベクトル評価部11fは、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部12に出力する。
フレーム生成部12は、2つの入力フレーム(前フレーム、現フレーム)を蓄積するための内挿用フレームメモリ12aと、内挿用フレームメモリ12aからの2つの入力フレームと内挿ベクトル評価部11fからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部12bと、入力フレーム(前フレーム、現フレーム)を蓄積するためのタイムベース変換用フレームメモリ12cと、タイムベース変換用フレームメモリ12cからの入力フレームに内挿フレーム生成部12bからの内挿フレームを挿入して出力画像信号(RGB信号)を生成するタイムベース変換部12dと、を備えて構成される。
なお、内挿フレーム生成部12bは、本発明の内挿画像生成部に相当し、タイムベース変換部12dは、本発明の画像内挿部に相当する。
図2は、フレーム生成部12による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部12bは、内挿ブロックに割り付けられた内挿ベクトルVを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍3点よりA点の輝度を算出する。現フレームでは近傍3点よりB点の輝度を算出する。内挿フレームではP点の輝度をA点とB点の輝度から補間する。P点の輝度は、例えばA点の輝度とB点の輝度の平均としてもよい。
上記のようにして生成された内挿フレームは、タイムベース変換部12dに送られる。タイムベース変換部12dは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、FRC部10により、入力画像信号(60フレーム/秒)を、動き補償された出力画像信号(120フレーム/秒)へ変換することができ、これを表示パネルに出力することにより、動きぼけを低減して動画質を改善することが可能となる。尚、ここでは、60フレーム/秒の入力画像信号を、120フレーム/秒(2倍)の出力画像信号にフレームレート変換する場合について説明するが、例えば90フレーム/秒(1.5倍)、180フレーム/秒(3倍)の出力画像信号を得る場合に適用しても良いことは言うまでもない。
本発明の画像表示装置は、図1に示したFRC部10を備え、入力画像信号のフレーム間における動き量が大きい場合、FRC部10における動き補償処理を無効化するなどの手段を用いて、FRC処理に起因する画質劣化を防止することを主たる目的とする。なお、本発明は、液晶ディスプレイ、有機ELディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能であるが、以下の各実施形態においては、表示パネルとして液晶表示パネルを用いた液晶表示装置に本発明を適用した場合を代表例として説明する。
(第1の実施形態)
本発明の第1の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きいときに、FRC部10の動き補償処理を無効化するために、動きベクトル検出部11eの出力を強制的に0ベクトルにするものである。
図3は、本発明の第1の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、動き量判定部14、制御部15、切替部16、電極駆動部18、及び液晶表示パネル19を備えて構成されている。切替部16は、FRC部10内の動きベクトル検出部11eと内挿ベクトル評価部11fの間に設けられ、制御部15からの指示に従って、動きベクトル検出部11eからの動きベクトルを0ベクトル17へ切り替える。
動きベクトル検出部11eは、所定の演算により検出された動きベクトルを出力するとともに、動きベクトル検出演算中に算出されたベクトルが内挿ベクトル評価部11fにおいて設定された所定のベクトル評価演算範囲を超えたため、図32(B),(C)とともに前述した何らかの特殊な処理を施したブロックに対しては、OBフラグ“1”を出力する。尚、動きベクトル検出演算中に所定のベクトル評価演算範囲を超えたベクトルが算出されず、特殊な処理を施さなかったブロックに対しては、OBフラグ“0”を出力する。
動き量判定部14は、動きベクトル検出部11eによる動きベクトル検出演算中に所定のベクトル評価演算範囲を超えたことを意味するOBフラグ“1”の数をカウントし、1フレーム毎にこのカウント値が所定の閾値より大きいか否かを判定することによって、入力画像信号のフレーム間における動き量が所定値より大きいか否かを判別する。
このように、本実施形態の動き量判定部14は、動きベクトル検出部11eで算出された動きベクトルが所定のベクトル演算評価範囲を超えた1画面内のブロック数を所定値と比較することにより入力画像信号のフレーム間における動き量が所定の範囲を超えているか否かを判別しているが、上記の構成に限られないことは言うまでもない。
そして、制御部15は、上記各部を制御するためのCPUを備え、動き量判定部14により入力画像信号が所定値より大きい動き量を有する画像信号であると判定された場合、FRC部10における動き補償処理を無効化するように制御する。すなわち、本実施形態の液晶表示装置は、入力画像信号のフレーム間における動き量が所定値より大きいか否かを判別し、この判別結果に応じて、FRC部10の動き補償処理を制御するものである。
液晶表示パネル19は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶ディスプレイである。電極駆動部18は、FRC部10によりフレームレート変換された画像信号に基づいて液晶表示パネル19の走査電極及びデータ電極を駆動するための表示ドライバである。
液晶表示パネル19の駆動周波数は、FRC部10により変換されたフレーム周波数となる。従って、60Hzのフレーム周波数で入力された画像信号が、FRC部10で120Hzのフレーム周波数に変換された場合、液晶表示パネル19の駆動周波数は、120Hzとなる。但し、FRC処理によるフレーム周波数変換を行わない場合で、入力画像信号をそのまま表示出力する場合は、液晶表示パネル19の駆動周波数は、入力画像信号のフレーム周波数となる。
制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された場合、切替部16を0ベクトル17側に切り替えて、動きベクトル検出部11eで演算された動きベクトルを強制的に0ベクトルに置き換える。
また、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より小さい画像信号であると判定された場合、切替部16を動きベクトル検出部11e側に切り替えて、動きベクトル検出部11eで検出された動きベクトルを内挿ベクトル評価部11fに入力する。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、動きベクトルを0ベクトルにして動き補償処理を無効化することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第2の実施形態)
本発明の第2の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きいときに、FRC部10の動き補償処理を無効化するために、内挿ベクトル評価部11fからの内挿ベクトルを0ベクトルにして、異なる位置の画素間での内挿が生じないようにするものである。
図4は、本発明の第2の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、動き量判定部14、制御部15、切替部16、電極駆動部18、及び液晶表示パネル19を備えて構成されている。切替部16は、FRC部10内の内挿ベクトル評価部11fと内挿フレーム生成部12bの間に設けられ、制御部15からの指示に従って、内挿ベクトル評価部11fからの内挿ベクトルを0ベクトル17へ切り替える。
動きベクトル検出部11eは、所定の演算により検出された動きベクトルを内挿ベクトル評価部11fに出力するとともに、動きベクトル検出演算中に算出されたベクトルが内挿ベクトル評価部11fにおいて設定された所定のベクトル評価演算範囲を超えたか否かを示すOBフラグ情報をブロック毎に動き量判定部14に出力する。
動き量判定部14は、動きベクトル検出部11eから出力されたOBフラグ情報に基づいて、入力画像信号のフレーム間における動き量が所定値より大きいか否かを判定し、その判定結果を制御部15へ出力する。
制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された場合、切替部16を0ベクトル17側に切り替えて、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを0ベクトルにする。また、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より小さいと判定された場合、切替部16を内挿ベクトル評価部11f側に切り替えて、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを内挿フレーム生成部12bに入力する。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、強制的に内挿ベクトルを0ベクトルにして動き補償処理を無効化することにより、上記第1の実施形態と同様、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第3の実施形態)
本発明の第3の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きいときに、FRC部10の動き補償処理を無効化するために、内挿ベクトル評価部11fからの内挿ベクトルを0ベクトルにして、異なる位置の画素間での内挿が生じないようにするものである。
図5は、本発明の第3の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、動き量判定部14、制御部15、切替部16、電極駆動部18、及び液晶表示パネル19を備えて構成されている。切替部16は、FRC部10内の内挿ベクトル評価部11fと内挿フレーム生成部12bの間に設けられ、制御部15からの指示に従って、内挿ベクトル評価部11fからの内挿ベクトルを0ベクトル17へ切り替える。
動きベクトル検出部11eは、所定の演算により検出された動きベクトルと、動きベクトル検出演算中に算出されたベクトルが内挿ベクトル評価部11fにおいて設定された所定のベクトル評価演算範囲を超えたか否かを示すブロック毎のOBフラグ情報とを、内挿ベクトル評価部11fに出力する。
内挿ベクトル評価部11fは、動きベクトル検出部11eにより出力された動きベクトルを評価し、最適な内挿ベクトルを内挿ブロック毎に割り付ける。詳細には、被検出ブロックから動きベクトルが指し示す先の内挿ブロックに同等の動きベクトルを割り付ける。ところが、割り付けられた内挿ブロックは、被検出ブロックとは異なる検出ブロックからも指し示される場合がある。つまり、1つの内挿ブロックには複数本の動きベクトルが割り付けられる場合がある。このような場合は、複数本の動きベクトル毎にDFDを演算し、最もDFDが小さくなる(つまり、より正しい)動きベクトルを採用し割り付ける。
この時、割り付けられた動きベクトルに対応するOBフラグ情報も内挿ブロック毎に割り付ける。そして、この内挿ブロック毎のOBフラグ情報を動き量判定部14に出力する。
動き量判定部14は、内挿ベクトル評価部11fより出力される内挿ブロック毎に付与されたOBフラグ情報を用いて、入力画像信号のフレーム間における動き量が所定のベクトル評価演算範囲より大きいか否かを判定する。すなわち、割り付けられた動きベクトルを検出演算した際に所定のベクトル評価演算範囲を超えたことを意味するOBフラグ“1”の数をカウントし、1フレーム毎にこのカウント値が所定の閾値より大きいか否かを判定することによって、入力画像信号のフレーム間における動き量が所定値より大きいか否かを判定する。
制御部15は、動き量判定部14により入力画像信号におけるフレーム間の動き量が所定値より大きいと判定された場合、切替部16を0ベクトル17側に切り替えて、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを0ベクトルにする。また、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より小さいと判定された場合、切替部16を内挿ベクトル評価部11f側に切り替えて、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを内挿フレーム生成部12bに入力する。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、強制的に内挿ベクトルを0ベクトルにして動き補償処理を無効化することにより、上記第1の実施形態と同様、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第4の実施形態)
本発明の第4の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号のフレーム間における動き量が所定値より大きいときに、この入力画像信号を迂回経路側へ入力し、該入力画像信号のフレーム周波数に合わせて液晶表示パネル19の駆動周波数を変更するものである。すなわち、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、フレームレート変換を行わず、入力画像信号をそのまま液晶表示パネル19に表示出力するように切り替えるものである。
図6は、本発明の第4の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、デコード部21、動き量判定部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20を備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
ここで、入力画像信号が動きベクトル情報などを利用して圧縮された圧縮入力信号(例えば、MPEG、DivXなど)である場合は、この圧縮入力信号をデコード部21で画像信号に復元してFRC部10に入力される。この際、入力画像信号が動きベクトル情報を利用して圧縮された場合、復元の際に用いる動きベクトルをデコード部21から抽出することができる。本実施形態では、この抽出された動きベクトルを基に、動き量判定部14にて入力画像信号のフレーム間における動き量が所定値より大きいか否かを判定する。
詳細には、デコード部21から出力された動きベクトルの長さの1フレーム分の合計値あるいは平均値が所定の閾値より大きい場合、または、デコード部21から出力された動きベクトルの長さが所定の閾値より大きいものをブロック毎にカウントし、このカウント値が所定値より大きい場合を、フレーム間の動き量が所定値より大きい画像信号であると判定する。
尚、ここでは、デコード部21により抽出される動きベクトルを用いて、入力画像信号のフレーム間における動き量を判定しているが、もちろん第1乃至第3実施形態として上述したような動き量判定処理を採用してもよく、これに限らないことは言うまでもない。
制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された場合、切替部16を経路20側に切り替えて、FRC部10を迂回させる。また、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より小さいと判定された場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設け、FRC部10の出力信号と経路20の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
また、本実施形態では、制御部15は、液晶表示パネル19の駆動周波数を変更可能とし、フレーム間の動き量が所定値より大きい画像信号が入力された場合、入力画像信号を経路20側へ入力し、該入力画像信号のフレーム周波数に合わせて液晶表示パネル19の駆動周波数を変更する。
図7は、本発明の第4の実施形態に係る入力データと出力データの関係を示す図である。図7(A)は、経路20への入力データを示し、図7(B)は、経路20からの出力データを示す。図7(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。制御部15は、表示ドライバである電極駆動部18を制御して、液晶表示パネル19の駆動周波数を120Hzから60Hzに変更し、上記入力データを、図7(B)に示すように、60Hzのままフレームレート変換せずに経路20から出力させる。
液晶表示パネル19は、フレーム数変換されずに経路20から出力されたフレームを、駆動周波数60Hzで表示するため、このときの1フレーム当りの表示時間は約16.7msのままとなる。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、FRC処理を迂回させて、フレームレート変換自体を禁止することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第5の実施形態)
本発明の第5の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号のフレーム間における動き量が所定値より大きいときに、この入力画像信号を迂回経路側へ入力して、該入力画像信号を経路上のメモリに蓄積し、メモリから同一フレームの画像信号を複数回高速で繰り返し読み出して、フレームレート変換するものである。すなわち、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、動き補償型のフレームレート変換を行わず、入力画像信号を高速連続出力することによりフレームレート変換して、液晶表示パネル19へ表示出力するように切り替えるものである。
図8は、本発明の第5の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、デコード部21、動き量判定部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20と、経路20上にメモリ22とを備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
動き量判定部14は、デコード部21より出力される動きベクトル情報を用いて、入力画像信号のフレーム間における動き量が所定値より大きいか否かを判定する。
制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された場合、切替部16を経路20側に切り替えて、FRC部10の処理を迂回させ、入力画像信号をメモリ22に蓄積する。その後、メモリ22から同一フレームを複数回繰り返し読み出してフレーム挿入処理を行う。
また、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より小さいと判定された場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設けて、FRC部10の出力信号とメモリ22の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
本実施形態では、液晶表示パネル19の駆動周波数を変更させずに120Hzのままとする。制御部15及びメモリ22は、フレーム間の動き量が所定値より大きい画像信号が入力された場合、入力画像信号のフレーム間に、その前或いは後フレームの画像信号を挿入することにより、該入力画像信号のフレーム数を変換する手段を構成する。すなわち、電極駆動部18に入力される表示画像信号のフレームレート(フレーム数)は常に同一とされる。
図9は、本発明の第5の実施形態に係る入力データと出力データの関係を示す図である。図9(A)は、経路20への入力データを示し、図9(B)は、経路20からの出力データを示す。図9(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。上記入力データはメモリ22に一旦蓄積され、図9(B)に示すように、メモリ22から2倍の速度で繰り返し読み出されたフレームの画像信号(図中、フレームA)が出力される。
液晶表示パネル19は、同一フレームの画像信号が挿入された出力データを駆動周波数120Hzで表示する。なお、同一フレームの2回繰り返し読み出しによりフレーム数が変換されるため、このときの1フレーム当りの表示時間は約8.3msとなる。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、入力画像信号に対して動き補償による内挿処理を行わないようにすることにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。さらに、この場合、同じフレームを繰り返し読み出してフレームレート変換するため、液晶表示パネル19の駆動周波数を変更する必要がない。
(第6の実施形態)
本発明の第6の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号のフレーム間における動き量が所定値より大きいときに、この入力画像信号を迂回経路側へ入力して、該入力画像信号を経路上の線形補間内挿処理部に入力し、線形補間を施した画像信号を内挿するものである。すなわち、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。
図10は、本発明の第5の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、デコード部21、動き量判定部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20と、経路20上に線形補間内挿処理部23とを備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
動き量判定部14は、デコード部21より出力される動きベクトル情報を用いて、入力画像信号のフレーム間における動き量が所定値より大きい画像信号であるか否かを判定する。
制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された場合、切替部16を経路20側に切り替えて、FRC部10を迂回させ、入力画像信号を線形補間内挿処理部23に入力する。線形補間内挿処理部23は、フレーム間において線形補間処理を施した内挿フレームを挿入する。
また、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より小さいと判定された場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設けて、FRC部10の出力信号と線形補間内挿処理部23の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
本実施形態では、液晶表示パネル19の駆動周波数を変更させずに120Hzのままとする。すなわち、電極駆動部18に入力される表示画像信号のフレームレート(フレーム数)は常に同一とされる。線形補間内挿処理部23は、フレーム間の動き量が所定値より大きい画像信号が入力された場合、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿することにより、該入力画像信号のフレーム数を変換する手段を構成する。なお、線形補間処理とは、前述の非特許文献2に記載されているように、前フレームの信号と現フレームの信号からフレーム内挿比αを用いた線形補間により内挿フレームを得るものである。
図11は、本発明の第5の実施形態に係る入力データと出力データの関係を示す図である。図11(A)は、経路20への入力データを示し、図11(B)は、経路20からの出力データを示す。図11(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。上記入力データは線形補間内挿処理部23に入力され、図11(B)に示すように、フレーム間(ここではフレームA、フレームB間)において線形補間処理が施された画像信号(図中、フレームA+B)が内挿されて出力される。
液晶表示パネル19は、線形補間処理を施した画像信号が内挿された出力データを駆動周波数120Hzで表示する。なお、線形補間処理を施した画像信号の内挿によりフレーム数が変換されるため、このときの1フレーム当りの表示時間は約8.3msとなる。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、入力画像信号に対して動き補償による内挿処理を行わないようにすることにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。さらに、この場合、線形補間処理を施した画像信号を内挿して、フレームレート変換するため、液晶表示パネル19の駆動周波数を変更する必要がない。
(第7の実施形態)
本発明の第7の実施形態は、FRC部10を迂回させるための経路を設け、入力画像信号のフレーム間における動き量が所定値より大きいときに、この入力画像信号を迂回経路側へ入力し、該入力画像信号を経路上の黒レベル信号挿入処理部に入力し、黒レベル信号などの予め決められた単色画像信号を挿入するものである。すなわち、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、動き補償による内挿処理を行うのではなく、単色画像挿入処理を行うことで、フレームレート変換するように切り替えるものである。
図12は、本発明の第7の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、デコード部21、動き量判定部14、制御部15、切替部16、電極駆動部18、液晶表示パネル19、さらに、FRC部10を迂回させるための経路20と、経路20上に黒レベル信号挿入処理部24とを備えて構成されている。切替部16は、FRC部10の前段に設けられ、制御部15からの指示に従って、入力画像信号をFRC部10に入力するか、経路20に入力するかを切り替える。
動き量判定部14は、デコード部21より出力される動きベクトル情報を用いて、入力画像信号のフレーム間における動き量が所定値より大きいか否かを判定する。
制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された場合、切替部16を経路20側に切り替えて、FRC部10を迂回させ、入力画像信号を黒レベル信号挿入処理部24に入力する。黒レベル信号挿入処理部24は、例えば、メモリを用いて入力画像信号を時間軸圧縮(フレームレート変換)し、入力フレーム間に黒レベル信号などの予め決められた単色画像信号を挿入する。
また、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より小さいと判定された場合、切替部16をFRC部10側に切り替えて、入力画像信号に対してFRC処理(動き補償フレーム内挿処理)を行う。尚、切替部16をFRC部10の後段に設けて、FRC部10の出力信号と黒レベル信号挿入処理部24の出力信号とを切り替えて、液晶パネル19へ出力する構成としても良い。
本実施形態では、液晶表示パネル19の駆動周波数を変更させずに120Hzのままとする。すなわち、電極駆動部18に入力される表示画像信号のフレームレート(フレーム数)は常に同一とされる。黒レベル信号挿入処理部24は、動き量の大きい画像信号が入力された場合、入力画像信号のフレーム間に、黒レベル信号などの予め決められた単色画像信号を挿入することにより、該入力画像信号のフレーム数を変換する手段を構成する。また、黒レベル信号挿入処理の別の実施形態として、電極駆動部18により、所定期間(本例の場合、1/120秒)黒書き込み電圧を液晶表示パネル19に印加するように構成してもよい。
図13は、本発明の第6の実施形態に係る入力データと出力データの関係を示す図である。図13(A)は、経路20への入力データを示し、図13(B)は、経路20からの出力データを示す。図13(A)に示すように、60Hzのフレーム周波数で入力画像信号(入力データ)が経路20に入力された場合、1フレーム当りの表示時間は約16.7msとなる。上記入力データは黒レベル信号挿入処理部24に入力され、図13(B)に示すように、フレーム間(ここではフレームA、フレームB間)において黒レベル信号(図中、黒に色付けされたフレーム)が挿入されて出力される。
このように、入力画像信号の各フレーム間に黒画像信号を挿入することで、動きぼけによる画質劣化が改善され、さらに動き補償のエラーによる画質劣化も発生しないが、この場合、画像表示期間の短縮による表示輝度の低下を補償するために、液晶表示パネル19の背面に設けられるバックライト(図示せず)の発光輝度を上げる必要がある。
液晶表示パネル19は、黒レベル信号が挿入された出力データを駆動周波数120Hzで表示する。なお、黒レベル信号の挿入によりフレーム数が変換されるため、このときの1フレーム当りの表示時間は約8.3msとなる。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、入力画像信号に対して動き補償による内挿処理を行わないようにすることにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。さらに、この場合、単色画像信号を挿入して、フレームレート変換するため、液晶表示パネル19の駆動周波数を変更する必要がない。そしてまた、この場合、単色画像信号の挿入によってインパルス型表示方式に近づけることが可能であるため、動画質改善効果も維持することが可能となる。
尚、上記実施形態の他にも、入力画像信号のフレーム間における動き量が所定値より大きい場合には、入力フレームの原画像を所定の輝度比で複数のフレーム画像に分割して、フレームレート変換することにより、動き補償型のFRC処理に起因する画質劣化を防止しつつ、動画質改善効果を維持するようにしてもよい。
(第8の実施形態)
本発明の第8の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きいときに、内挿フレーム生成部における動き補償処理の補償強度を可変するように構成される。具体的には、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿フレームを生成する内挿フレーム生成部を備え、フレーム間の動き量が所定値より大きい画像信号が入力されたときに、加重加算比率を可変する。
図14は、本発明の第8の実施形態に係るFRC部10の要部構成例を示すブロック図で、FRC部10のフレーム生成部12は、内挿用フレームメモリ12a、内挿フレーム生成部12b、さらに、FRC部10における動き補償処理の補償強度を可変する補償強度可変部12e、を備えて構成される。図中、Vは内挿ベクトル、αはフレーム内挿比、βは補償強度(加重加算比率)を示す。
一般に、フレーム内挿処理の方法として、例えば、2フレーム間の線形補間内挿によるフレーム内挿と、動きベクトルを用いたフレーム内挿(動き補償内挿)が知られている。前者は、前フレームの信号と現フレームの信号からフレーム内挿比αによる線形補間を行うことで内挿フレームを得るものである。従って、この線形補間内挿を用いれば、FRC処理の動き補償のエラーによる画質劣化を防止できる。
一方、後者は、前フレームと現フレームから内挿フレームを得るために、前フレームの画像と現フレームの画像間の動きベクトルから内挿ベクトルVを検出し、その値(内挿ベクトルV)をフレーム内挿比αで分割したαVの大きさだけ前フレームの画像をずらした信号と、現フレームの画像を(1−α)Vだけずらした信号との加重加算により内挿フレームを得る。この動き補償型の内挿処理を用いれば、動画像そのものをとらえて補償するため、解像度の劣化がなく、良好な画質を得ることができるが、この処理に起因してフレーム間の動き量が大きい映像の画質が劣化してしまうことがある。
そこで、本実施形態では、フレーム生成部12に補償強度可変部12eを設けている。この補償強度可変部12eは、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された場合、加重加算比率βを可変する。この加重加算比率βは、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを加重加算する際の比率である。本実施形態の内挿フレーム生成部12bは、この加重加算比率βに従って、線形補間内挿と動き補償内挿とを加重加算して内挿フレームを生成する。
例えば、補償強度可変部12eは、入力画像信号のフレーム間における動き量が所定値より大きい場合、加重加算比率β=0とし、線形補間処理を施した画像信号を内挿フレームにして動き補償のエラーによる画質劣化を防止する。一方、入力画像信号のフレーム間における動き量が所定値より小さい場合、加重加算比率β=1とし、動き補償処理を施した画像信号を内挿フレームにして動画像の画質をより良好にする。
また、加重加算比率βは任意に可変設定できるため、0〜1の略中間の値に設定するようにしてもよい。これにより、内挿フレーム画像において動き補償も行いつつ、動き補償のエラーによる画質の劣化を抑制するように制御することができ、動きぼけによる画質劣化と、動き補償のエラーによる画質劣化との双方を適切に改善することが可能となる。
このようにして、フレーム間の動き量が所定値より大きい画像信号が入力された場合には、FRCにおける動き補償処理の強度を可変できる(弱くすることができる)ため、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等の影響を低減し、動き補償型のFRC処理に起因する画質劣化を効果的に抑制することができる。
尚、上述の各実施形態において、入力画像信号のフレーム間における動き量が大きいと判定されたフレームと、入力画像信号のフレーム間における動き量が小さいと判定されたフレームとが頻繁に切り替わることを防ぐために、現フレームに対して動き量が大きいか否かを判別する所定値を、前フレームにおいて動き量が大きいと判定されたか否かの情報に基づいて可変するようにしても良い。
例えば、前フレームで入力画像信号のフレーム間における動き量が大きいと判定された場合は、上記所定値を大きく設定し、前フレームで入力画像信号のフレーム間における動き量が小さいと判定された場合は、上記所定値を小さく設定する。つまり、入力画像信号のフレーム間における動き量が大きいか否かの判定にヒステリシスを持たせても良い。
また、入力画像信号のフレーム間における動き量が大きいと判定されたフレームと、入力画像信号のフレーム間における動き量が小さいと判定されたフレームとが頻繁に切り替わることを防ぐために、一度、入力画像信号のフレーム間における動き量が大きいと判定された場合は、その判定結果を所定の数フレーム期間にわたり継続して出力することにより、その後、数フレーム期間は入力画像信号のフレーム間における動き量が大きいフレームであるものとして処理を行うようにしても良い。
図15は、本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。ここでは、前述の第1乃至第3の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号のフレーム間における動き量が所定値より大きいどうかを判定し(ステップS1)、フレーム間の動き量が所定値より大きい画像信号であると判定された場合(YESの場合)、動きベクトルあるいは内挿ベクトルを0ベクトルにすることにより、FRC部10の動き補償処理を無効化する(ステップS2)。また、ステップS1において、フレーム間の動き量が所定値より小さい画像信号であると判定された場合(NOの場合)、FRC部10の動き補償処理を通常通りに実行する(ステップS3)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS4)。
図16は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第4乃至第7の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号のフレーム間における動き量が所定値より大きいかどうかを判定し(ステップS11)、フレーム間の動き量が所定値より大きい画像信号であると判定された場合(YESの場合)、FRC部10の動き補償フレーム内挿処理を迂回させて、入力画像信号を別の経路20に入力する(ステップS12)。
ここで、迂回させた経路20において、線形補間処理を施した画像信号のフレーム間内挿、同一フレームの画像信号のフレーム間挿入、黒レベル信号などの予め決められた単色画像信号のフレーム間挿入のいずれかの処理を施してフレームレート変換を行った画像信号を出力するか、或いは、そのまま入力画像信号を出力して、液晶表示パネル19の駆動周波数を変更するなどの処理を行う。
また、ステップS11において、フレーム間の動き量が所定値より小さい画像信号であると判定された場合(NOの場合)、FRC部10にて動き補償による内挿処理を施した画像信号を出力する(ステップS13)。最後に、画像を液晶表示パネル19から表示出力する(ステップS14)。
図17は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第8の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号のフレーム間における動き量が所定値より大きい画像信号であるかどうかを判定し(ステップS21)、フレーム間の動き量が所定値より大きい画像信号であると判定された場合(YESの場合)、FRC部10における動き補償処理の強度を可変(弱く)する(ステップS22)。また、フレーム間の動き量が所定値より小さい画像信号であると判定された場合(NOの場合)、FRC部10における動き補償処理の強度を通常通り強くする(ステップS23)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS24)。
以上説明したように、本発明によれば、入力画像信号のフレーム間における動き量が所定値より大きい場合、フレームレート変換(FRC)部における動き補償処理を無効化して表示出力することができるため、動き補償のエラーによる画質劣化を効果的に防止することができる。
次に、本発明の画像表示装置のさらに他の実施形態について説明する。本実施形態は、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対してのみ、FRC部10における動き補償処理を無効化するなどの手段を用いて、FRC処理に起因するフレーム間の動き量が大きい領域の画質劣化を防止することを主たる目的とする。
(第9の実施形態)
本発明の第9の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するために、フレーム間の動き量が所定値より大きい内挿ブロックの内挿ベクトルを0ベクトルとし、その部分だけ異なる位置の画素間での内挿が生じないようにするものである。
図18は、本発明の第9の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部15、電極駆動部18、及び液晶表示パネル19を備えて構成されている。FRC部10は、動きベクトル検出部11e、内挿ベクトル評価部11f、内挿フレーム生成部12b、タイムベース変換部12dを備え、さらに、内挿ベクトル評価部11fにより割り付けられた内挿ベクトルを内挿ブロック毎に蓄積する内挿ベクトルメモリ12fを備える。
動きベクトル検出部11eは、所定の演算により検出された動きベクトルを出力するとともに、動きベクトル検出演算中に算出されたベクトルが内挿ベクトル評価部11fにおいて設定された所定のベクトル評価演算範囲を超えたため、図32(B),(C)とともに前述した何らかの特殊な処理を施したブロックに対しては、OBフラグ“1”を出力する。
制御部15は、動きベクトル検出部11eによる動きベクトル検出演算中に所定のベクトル評価演算範囲を超えたことを意味するOBフラグ“1”が付与された画素あるいは該画素を含む領域に対しては、FRC部10における動き補償処理を無効化するように制御する。すなわち、本実施形態の液晶表示装置は、動きベクトル検出部11eより出力されたOBフラグ情報を基に、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するように制御するものである。
前述したように、液晶表示パネル19は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶ディスプレイである。電極駆動部18は、FRC部10によりフレームレート変換された画像信号に基づいて液晶表示パネル19の走査電極及びデータ電極を駆動するための表示ドライバである。
液晶表示パネル19の駆動周波数は、FRC部10により変換されたフレーム周波数となる。従って、60Hzのフレーム周波数で入力された画像信号が、FRC部10で120Hzのフレーム周波数に変換された場合、液晶表示パネル19の駆動周波数は、120Hzとなる。
図18において、内挿ベクトルメモリ12fは、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを内挿ブロック毎に蓄積する。制御部15は、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲を超えたことを意味するOBフラグ“1”が存在する場合、内挿ベクトルメモリ12fにアクセスし、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲を超えた画素領域に対応する内挿ブロックの内挿ベクトルを0ベクトルにする。また、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲内に収まった画素領域に対応する内挿ブロックについては、内挿ベクトルメモリ12fの内挿ベクトルをそのまま内挿フレーム生成部12bに入力する。
すなわち、制御部15は、内挿ベクトルメモリ12fにアクセスしたときに、フレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対応する内挿ブロックにフラグ情報を付与する。このフラグ情報は、内挿ブロックの内挿ベクトルを使わないようにするためのフラグであり、このフラグ情報が付与された内挿ブロックに対しては、内挿ベクトルの出力が0になるように制御する。このように、内挿ベクトルメモリ12fの内挿ベクトルを0にすることで、動き補償内挿を行わないようにすることができる。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画素領域が入力画像信号に含まれる場合には、該画素領域に対する動き補償処理を無効化することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第10の実施形態)
本発明の第10の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するために、フレーム間の動き量が所定値より大きい内挿ブロックの内挿ベクトルを0ベクトルとし、その部分だけ異なる位置の画素間での内挿が生じないようにするものである。
図19は、本発明の第10の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部15、電極駆動部18、及び液晶表示パネル19を備えて構成されている。FRC部10は、動きベクトル検出部11e、内挿ベクトル評価部11f、内挿フレーム生成部12b、タイムベース変換部12dを備え、さらに、内挿ベクトル評価部11fにより割り付けられた内挿ベクトルを内挿ブロック毎に蓄積する内挿ベクトルメモリ12fを備える。
動きベクトル検出部11eは、所定の演算により検出された動きベクトルと、動きベクトル検出演算中に算出されたベクトルが内挿ベクトル評価部11fにおいて設定された所定のベクトル評価演算範囲を超えたか否かを示すブロック毎のOBフラグ情報とを、内挿ベクトル評価部11fに出力する。
制御部15は、内挿ベクトル評価部11fにより出力された内挿ブロック毎のOBフラグ情報を基に、OBフラグ“1”が付与された画素あるいは該画素を含む領域に対しては、FRC部10における動き補償処理を無効化するように制御する。すなわち、本実施形態の液晶表示装置は、入力画像信号におけるフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するように制御するものである。
内挿ベクトル評価部11fは、動きベクトル検出部11eにより出力された動きベクトルを評価し、最適な内挿ベクトルを内挿ブロック毎に割り付ける。詳細には、被検出ブロックから動きベクトルが指し示す先の内挿ブロックに同等の動きベクトルを割り付ける。ところが、割り付けられた内挿ブロックは、被検出ブロックとは異なる検出ブロックからも指し示される場合がある。つまり、1つの内挿ブロックには複数本の動きベクトルが割り付けられる場合がある。このような場合は、複数本の動きベクトル毎のDFDを演算し、最もDFDが小さくなる(つまり、より正しい)動きベクトルを採用し割り付ける。
この時、割り付けられた動きベクトルに対応するOBフラグ情報も内挿ブロック毎に割り付ける。
図19において、内挿ベクトルメモリ12fは、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを内挿ブロック毎に蓄積する。制御部15は、内挿ベクトル評価部11fより出力される内挿ブロック毎に付与されたOBフラグ情報に基づき、OBフラグ“1”が存在する場合、内挿ベクトルメモリ12fにアクセスし、当該内挿ブロックの内挿ベクトルを0ベクトルにする。また、OBフラグ“0”が割り付けられた内挿ブロックについては、内挿ベクトルメモリ12fの内挿ベクトルをそのまま内挿フレーム生成部12bに入力する。
すなわち、制御部15は、内挿ベクトルメモリ12fにアクセスしたときに、フレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対応する内挿ブロックに対しては、内挿ベクトルの出力が0になるように制御する。このように、内挿ベクトルメモリ12fの内挿ベクトルを0にすることで、動き補償内挿を行わないようにすることができる。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画像領域が入力画像信号に含まれる場合には、該画像領域に対する動き補償処理を無効化することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第11の実施形態)
本発明の第11の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するために、フレーム間の動き量が所定値より大きい内挿ブロックの内挿ベクトルを0ベクトルとし、その部分だけ異なる位置の画素間での内挿が生じないようにするものである。
図20は、本発明の第11の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部15、電極駆動部18、及び液晶表示パネル19を備えて構成されている。FRC部10は、動きベクトル検出部11e、内挿ベクトル評価部11f、内挿フレーム生成部12b、タイムベース変換部12dを備える。
動きベクトル検出部11eは、所定の演算により検出された動きベクトルを出力するとともに、動きベクトル検出演算中に算出されたベクトルが内挿ベクトル評価部11fにおいて設定された所定のベクトル評価演算範囲を超えたため、図32(B),(C)とともに前述した何らかの特殊な処理を施したブロックに対しては、OBフラグ“1”を出力する。
制御部15は、動きベクトル検出部11eにより出力されたOBフラグ情報に基づき、OBフラグ“1”が付与された画素あるいは該画素を含む領域に対しては、FRC部10における動き補償処理を無効化するように制御する。すなわち、本実施形態の液晶表示装置は、入力画像信号におけるフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するように制御するものである。
図20において、内挿フレーム生成部12bは、内挿ベクトル評価部11fで割り付けられた内挿ベクトルから内挿フレームを生成する。制御部15は、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲を超えたことを意味するOBフラグ“1”が存在する場合、内挿フレーム生成部12bにアクセスし、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲を超えた画素領域に対応する内挿ブロックの内挿ベクトルを0ベクトルにする。
また、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲内に収まった画素領域に対応する内挿ブロックについては、内挿フレーム生成部12bが内挿ベクトルから内挿フレームを生成する。
すなわち、制御部15は、どの内挿ブロック(あるいはどの画素)の動き量が所定値より大きいかを示す情報(座標位置、領域情報など)を内挿フレーム生成部12bに渡し、内挿フレーム生成部12bは、制御部15からの指示に従って、該当する画素あるいはその画素を含む内挿ブロックの内挿ベクトルを0ベクトルにする。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対する動き補償処理を無効化することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第12の実施形態)
本発明の第12の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するために、フレーム間の動き量が所定値より大きい内挿ブロックの内挿ベクトルを0ベクトルとし、その部分だけ異なる位置の画素間での内挿が生じないようにするものである。
図21は、本発明の第12の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部15、電極駆動部18、及び液晶表示パネル19を備えて構成されている。FRC部10は、動きベクトル検出部11e、内挿ベクトル評価部11f、内挿フレーム生成部12b、タイムベース変換部12dを備える。
動きベクトル検出部11eは、所定の演算により検出された動きベクトルと、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲を超えたか否かを示すブロック毎のOBフラグ情報とを、内挿ベクトル評価部11fに出力する。
制御部15は、内挿ベクトル評価部11fにより出力された内挿ブロック毎のOBフラグ情報を基に、OBフラグ“1”が付与された画素あるいは該画素を含む領域に対しては、FRC部10における動き補償処理を無効化するように制御する。すなわち、本実施形態の液晶表示装置は、入力画像信号におけるフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対して、FRC部10の動き補償処理を無効化するように制御するものである。
内挿ベクトル評価部11fは、動きベクトル検出部11eにより出力された動きベクトルを評価し、最適な内挿ベクトルを内挿ブロック毎に割り付ける。詳細には、被検出ブロックから動きベクトルが指し示す先の内挿ブロックに同等の動きベクトルを割り付ける。ところが、割り付けられた内挿ブロックは、被検出ブロックとは異なる検出ブロックからも指し示される場合がある。つまり、1つの内挿ブロックには複数本の動きベクトルが割り付けられる場合がある。このような場合は、複数本の動きベクトル毎のDFDを演算し、最もDFDが小さくなる(つまり、より正しい)動きベクトルを採用し割り付ける。
この時、割り付けられた動きベクトルに対応するOBフラグ情報も内挿ブロック毎に割り付ける。
図21において、内挿フレーム生成部12bは、内挿ベクトル評価部11fで割り付けられた内挿ベクトルから内挿フレームを生成する。制御部15は、内挿ベクトル評価部11fより出力された内挿ブロック毎に付与されたOBフラグ情報に基づき、OBフラグ“1”が存在する場合、内挿フレーム生成部12bにアクセスし、当該内挿ブロックの内挿ベクトルを0ベクトルにする。また、OBフラグ“0”が割り付けられた内挿ブロックについては、内挿フレーム生成部12bが内挿ベクトルから内挿フレームを生成する。
すなわち、制御部15は、どの内挿ブロック(あるいはどの画素)の動き量が所定値より大きいかを示す情報(座標位置、領域情報など)を内挿フレーム生成部12bに渡し、内挿フレーム生成部12bは、制御部15からの指示に従って、該当する画素あるいはその画素を含む内挿ブロックの内挿ベクトルを0ベクトルにする。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、フレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対する動き補償処理を無効化することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
尚、上述の第9乃至第12の実施形態において、入力画像信号のフレーム間における動き量が大きい画素あるいは該画素を含む領域に対しては、FRC部10における動き補償処理を無効化するために、動きベクトル或いは内挿ベクトルを0ベクトルにした場合、この動き補償処理を無効化した領域と、入力画像信号のフレーム間における動き量が小さいと判定され、動き補償処理を施した領域との境界部分では、ベクトルの急激な変化が生じるため、この動き補償処理の有無が明らかに画像に現れて目立つ場合がある。
この弊害を改善するために、入力画像信号のフレーム間における動き量が大きい画素あるいは該画素を含む領域と、動き量が小さい画素あるいは該画素を含む領域との境界部分に対してローパスフィルタをかける等のフィルタ処理を施すことによって、動き補償処理の強度を連続的に変化させるのが望ましい。
このように、動き補償処理の強度を連続的に変化させることにより、動き量が大きい領域と小さい領域との境界部分の内挿画像を滑らかに連続する画像とすることができ、この境界が目立つのを抑制することが可能となる。尚、以下の実施形態についても、動き量が大きい領域とそれ以外の領域との境界部分に対してフィルタ処理を行うことで、動き補償処理の強度を連続的に変化させることが望ましい。
(第13の実施形態)
本発明の第13の実施形態は、FRC部10への入力経路とは別の経路上に線形補間内挿処理部を備え、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、線形補間内挿処理部側に切り替え、フレーム間の動き量が所定値より大きい部分にのみ線形補間を施した画像信号を内挿するものである。すなわち、フレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。
図22は、本発明の第13の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、デコード部21、動き量判定部14、制御部15、切替部25、さらに、FRC部10への入力経路とは別に設けられた経路26と、経路26上に線形補間内挿処理部27とを備えて構成されている。なお、電極駆動部18、液晶表示パネル19の記載は省略している。切替部25は、FRC部10の後段に設けられ、制御部15からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、線形補間内挿処理部27からの画像信号(線形補間画像)を出力させるかを切り替える。
ここで、入力画像信号が動きベクトル情報などを利用して圧縮された圧縮入力信号(例えば、MPEG、DivXなど)である場合は、この圧縮入力信号をデコード部21で画像信号に復元してFRC部10に入力される。この際、入力画像信号が動きベクトル情報を利用して圧縮された場合、復元の際に用いる動きベクトルをデコード部21から抽出することができる。本実施形態では、この抽出された動きベクトルを基に、動き量判定部14にて入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域を判定する。
動き量判定部14は、デコード部21より出力された動きベクトルの長さが所定の閾値より大きい画素あるいは該画素を含む領域を判定する。制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された画素あるいは該画素を含む領域に対しては、切替部25を経路26(線形補間内挿処理部27)側に切り替えて、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿して生成された表示画像信号を表示パネルに出力する。
線形補間内挿処理部27は、入力画像信号のフレーム間に、線形補間処理を施した内挿フレームを挿入する処理を行う。
また、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含まない領域に対しては、切替部25をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
なお、線形補間処理とは、前述の非特許文献2に記載されているように、前フレームの信号と現フレームの信号とからフレーム内挿比αによる線形補間を行うことで内挿フレームを得るものである。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対する動き補償処理を無効化することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第14の実施形態)
本発明の第14の実施形態は、FRC部10への入力経路とは別の経路上にメモリを備え、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、メモリ側に切り替え、フレーム間の動き量が所定値より大きい部分にのみ、メモリから同一フレームの画像信号を複数回高速で繰り返し読み出してフレームレート変換するものである。すなわち、フレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行うのではなく、入力画像信号を高速連続出力することにより、フレームレート変換するように切り替えるものである。
図23は、本発明の第14の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、デコード部21、動き量判定部14、制御部15、切替部25、さらに、FRC部10への入力経路とは別に設けられた経路26と、経路26上にメモリ28とを備えて構成されている。なお、電極駆動部18、液晶表示パネル19の記載は省略している。切替部25は、FRC部10の後段に設けられ、制御部15からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、メモリ28からの前フレームまたは後フレームの画像信号を出力させるかを切り替える。
動き量判定部14は、デコード部21より出力された動きベクトルの長さが所定の閾値より大きい画素あるいは該画素を含む領域を判定する。
制御部15は、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された画素あるいは該画素を含む領域に対しては、切替部25を経路26(メモリ28)側に切り替えて、入力画像信号のフレーム間に、前フレームまたは後フレームの表示画像信号を表示パネルに出力する。
メモリ28には、入力画像信号が蓄積されており、入力画像信号のフレーム間における動き量が大きい画素あるいは該画素を含む領域の画像信号が繰り返し読み出される。
また、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含まない領域に対しては、切替部25をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、通常の動画像表示時においては動き補償型のFRC処理により動画質を改善することができるとともに、入力画像信号のフレーム間における動き量が大きい画素あるいは該画素を含む領域に対する動き補償処理を無効化することにより、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等をなくし、動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
(第15の実施形態)
本発明の第15の実施形態は、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対しては、内挿フレーム生成部における動き補償処理の補償強度を可変するように構成される。具体的には、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿フレームを生成する内挿フレーム生成部を備え、フレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対して加重加算比率を可変する。
図24は、本発明の第15の実施形態に係るFRC部10の要部構成例を示すブロック図で、FRC部10のフレーム生成部12は、内挿用フレームメモリ12a、内挿フレーム生成部12b、さらに、FRC部10における動き補償処理の補償強度を可変する補償強度可変部12g、を備えて構成される。図中、Vは内挿ベクトル、αはフレーム内挿比、βは補償強度(加重加算比率)を示す。
一般に、フレーム内挿処理の方法として、例えば、2フレーム間の線形補間内挿によるフレーム内挿と、動きベクトルを用いたフレーム内挿(動き補償内挿)が知られている。前者は、前フレームの信号と現フレームの信号からフレーム内挿比αによる線形補間を行うことで内挿フレームを得るものである。従って、この線形補間内挿を用いれば、フレーム間の動き量が大きいことによる動き補償型のFRC処理に起因する画質劣化を効果的に防止することができる。
一方、後者は、前フレームと現フレームから内挿フレームを得るために、前フレームの画像と現フレームの画像間の動きベクトルから内挿ベクトルVを検出し、その値(内挿ベクトルV)をフレーム内挿比αで分割したαVの大きさだけ前フレームの画像をずらした信号と、現フレームの画像を(α―1)Vだけずらした信号との加重加算により内挿フレームを得る。この動き補償内挿を用いれば、動画像そのものをとらえて補償するため、解像度の劣化がなく、良好な画質を得ることができるが、この処理に起因してフレーム間の動き量が大きい部分は動きベクトル検出エラー等により画質が劣化してしまうことがある。
そこで、本実施形態では、フレーム生成部12に補償強度可変部12gを設けている。この補償強度可変部12gは、動き量判定部14により入力画像信号のフレーム間における動き量が所定値より大きいと判定された画素あるいは該画素を含む領域に対して加重加算比率βを可変する。この加重加算比率βは、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを加重加算する際の比率である。本実施形態の内挿フレーム生成部12bは、この加重加算比率βに従って、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して、線形補間内挿と動き補償内挿を加重加算して内挿フレームを生成する。
例えば、補償強度可変部12gは、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含む領域に対して加重加算比率β=0とし、線形補間処理を施した画像信号を内挿フレームにして動き量の大きい部分の画質劣化を防止する。また、入力画像信号のフレーム間における動き量が所定値より大きい画素あるいは該画素を含まない領域に対して加重加算比率β=1とし、動き補償処理を施した画像信号を内挿フレームにして動画質を良好にする。
また、加重加算比率βは任意に可変設定できるため、0〜1の略中間の値に設定するようにしてもよい。これにより、内挿フレーム画像において動き補償も行いつつ、入力画像信号のフレーム間における動き量が所定値より大きい部分の画質も劣化させないように制御することができ、動きぼけによる画質劣化と、フレーム間の動き量が大きいことによる画質劣化の双方を適切に改善することが可能となる。なお、FRC部10における補償強度の可変処理は、画素単位で行う方法、ブロック(領域)単位で行う方法のいずれの方法で行ってもよい。
このようにして、入力画像信号のフレーム間における動き量が大きい画素あるいは該画素を含む領域に対しては、FRCにおける動き補償処理の補償強度を可変できる(弱くすることができる)ため、フレーム間の動き量が大きいことによる動きベクトルの検出エラー、動き補償のエラー等の影響を低減し、動き補償型のFRC処理に起因する画質劣化を効果的に抑制することができる。
尚、上述の各実施形態において、入力画像信号のフレーム間における動き量が大きいと判定された画素あるいは該画素を含む領域と、入力画像信号のフレーム間における動き量が小さいと判定された画素あるいは該画素を含む領域とが頻繁に切り替わることを防ぐために、現フレームに対して動き量が大きいか否かを判別する所定値を、前フレームにおいて動き量が大きいと判定されたか否かの情報に基づいて可変するようにしても良い。
例えば、前フレームで入力画像信号のフレーム間における動き量が大きいと判定された画素あるいは該画素を含む領域については、上記所定値を大きく設定し、前フレームで入力画像信号のフレーム間における動き量が小さいと判定された画素あるいは該画素を含む領域については、上記所定値を小さく設定する。つまり、入力画像信号のフレーム間における動き量が大きいか否かの判定にヒステリシスを持たせても良い。
また、入力画像信号のフレーム間における動き量が大きいと判定された画素あるいは該画素を含む領域と、入力画像信号のフレーム間における動き量が小さいと判定された画素あるいは該画素を含む領域とが頻繁に切り替わることを防ぐために、一度、入力画像信号のフレーム間における動き量が大きいと判定された画素あるいは該画素を含む領域については、その判定結果を所定の数フレーム期間にわたり継続して出力することにより、その後、数フレーム期間は入力画像信号のフレーム間における動き量が大きいフレームであるものとして処理を行うようにしても良い。
図25は、本発明の画像表示装置による画像表示方法の他の一例を説明するためのフロー図である。ここでは、前述の第9乃至第12の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号のフレーム間における動き量が所定値より大きい画素(或いはブロック)かどうかを判定し(ステップS1)、フレーム間の動き量が所定値より大きい画素(或いはブロック)と判定された場合(YESの場合)、このフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域(内挿ブロック)の内挿ベクトルを0ベクトルにすることにより、FRC部10の動き補償処理を部分的に無効化する(ステップS2)。
また、ステップS1において、フレーム間の動き量が所定値より小さい画素(或いはブロック)と判定された場合(NOの場合)、FRC部10にて動き補償による内挿処理を施した画像信号を出力する(ステップS3)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS4)。
図26は、本発明の画像表示装置による画像表示方法の他の一例を説明するためのフロー図である。ここでは、前述の第13の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号のフレーム間における動き量が所定値より大きい画素(或いはブロック)かどうかを判定し(ステップS11)、フレーム間の動き量が所定値より大きい画素(或いはブロック)と判定された場合(YESの場合)、このフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域(内挿ブロック)に対して、線形補間画像を内挿した画像信号を出力することにより、FRC部10の動き補償内挿処理を部分的に行わないようにする(ステップS12)。
また、ステップS11において、フレーム間の動き量が所定値より小さい画素(或いはブロック)と判定された場合(NOの場合)、FRC部10にて動き補償による内挿処理を施した画像信号を出力する(ステップS13)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS14)。
図27は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第14の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号のフレーム間における動き量が所定値より大きい画素(或いはブロック)かどうかを判定し(ステップS21)、フレーム間の動き量が所定値より大きい画素(或いはブロック)と判定された場合(YESの場合)、このフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域(内挿ブロック)に対して、前或いは後フレーム画像を挿入した画像信号を出力することにより、FRC部10の動き補償内挿処理を部分的に行わないようにする(ステップS22)。
また、ステップS21において、フレーム間の動き量が所定値より小さい画素(或いはブロック)と判定された場合(NOの場合)、FRC部10にて動き補償による内挿処理を施した画像信号を出力する(ステップS23)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS24)。
図28は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第15の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、入力画像信号のフレーム間における動き量が所定値より大きい画素(或いはブロック)かどうかを判定し(ステップS31)、フレーム間の動き量が所定値より大きい画素(或いはブロック)と判定された場合(YESの場合)、このフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域(内挿ブロック)に対して、FRC部10における動き補償処理の補償強度を可変(弱く)する(ステップS32)。
また、ステップS31において、フレーム間の動き量が所定値より小さい画素(或いはブロック)と判定された場合(NOの場合)、FRC部10における動き補償処理の補償強度を通常通り強くする(ステップS33)。このようにしてフレーム周波数が変換された画像信号を、液晶表示パネル19から表示出力する(ステップS34)。
以上説明したように、本発明によれば、入力画像信号のフレーム間における動き量が所定値より大きい画素領域を部分的に含んでいるときに、このフレーム間の動き量が所定値より大きい画素あるいは該画素を含む領域に対して、フレームレート変換(FRC)部における動き補償処理を部分的に無効化して表示出力することができるため、動き補償による内挿処理に起因する動き量の大きい画像領域の画質劣化を効果的に防止することができる。
なお、上述の実施形態において、入力画像信号のフレーム間における動き量が所定値より大きいか否かを判定する方法の一例として、OBフラグ情報を用いる方法や、入力画像データに含まれている動きベクトル情報を利用する方法について説明したが、本発明では、これらに限らず、種々の動き量判定方法を適用することが可能である。
例えば、動きベクトル検出部11eにて動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲を超えた時に、図32(B)とともに前述したように、ベクトル評価演算範囲内の最大値でクリップした場合は、上述したようなOBフラグ情報を用いなくとも、動き量が過大であることを判定することができる。
すなわち、動きベクトル検出部11eにて出力された動きベクトルのX成分もしくはY成分のどちらかが、ベクトル評価演算範囲内の最大値と等しい場合、動きベクトル検出演算中に算出されたベクトルが所定のベクトル評価演算範囲を超えたとみなすことができるため、動きベクトル検出部11eで検出された動きベクトルの長さに基づいて、フレーム間の動き量が大きい画像信号、もしくはフレーム間の動き量が大きい画素あるいは該画素を含む領域を判定するようにしてもよい。
さらに、上述の実施形態において、ベクトル評価演算範囲に制限を設けなかった場合、または、ベクトル評価演算範囲を広く設定した場合は、前述したとおり、動きベクトルの検出において誤りが生じることが多くなるため、ベクトル評価演算範囲内であっても、出力された動きベクトルの長さが所定の閾値より大きい場合、入力画像信号のフレームにおける動き量が所定値大きいものとし、フレーム間の動き量が大きい画像信号、もしくはフレーム間の動き量が大きい画素あるいは該画素を含む領域を判定するようにしてもよい。
そしてまた、例えばカメラのパンニングを検出することが可能な場合、入力画像信号にカメラ・パラメータなどの関連データが付加されている場合、これを利用することによって、フレーム間の動き量が大きい画像信号を判定するようにしてもよい。
また、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像処理プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。