明 細 書
画像処理装置、画像処理方法、および画像表示装置
技術分野
[0001] この発明は主に、液晶表示装置等の応答速度を改善するための画像処理装置、 および画像処理方法に関する。
背景技術
[0002] 液晶パネルは、薄型 '軽量であるため、テレビジョン受信機、コンピュータのディスプ レイ装置、携帯情報端末の表示部等の表示装置として広く用いられている。しかし、 液晶は駆動電圧を印加して力 所定の透過率に到達するまでに一定の時間を要す るため、変化の早い動画に対応できないという欠点がある。こうした問題を解決するた め、フレーム間で階調値が変化する場合、 1フレーム以内に液晶が所定の透過率に 到達するよう、液晶に過電圧を印加する駆動方法が採用されている(特許文献 1)。 具体的には、 1フレーム前の画像データと現フレームの画像データとを画素毎に比較 し、階調値が変化して 、る場合はその変化量に対応する補正量を現フレームの画像 データに加算する。これ〖こより、 1フレーム前とで階調値が増加した場合は液晶パネ ルにお 、て通常よりも高 、駆動電圧が印加され、減少した場合は通常よりも低 ヽ電 圧が印加される。
[0003] 上記の方法を実施するためには、 1フレーム前の画像データを出力するためのフレ ームメモリが必要となる。近年、液晶パネルの大型化による表示画素数の増加に伴 い、フレームメモリの容量も大きくする必要が生じている。また、表示画素数が増える と、所定期間内(例えば 1フレーム期間内)にフレームメモリへの書き込みおよび読み 出しを行うデータ量が増えるので、書き込みおよび読み出しを制御するクロック周波 数を高くし、データの転送速度を増加させる必要が生じる。こうしたフレームメモリ、お よび転送速度の増加は、液晶表示装置のコストの上昇につながる。
[0004] こうした問題を解消するため、特許文献 2に記載された液晶駆動用画像処理回路 においては、画像データを符号ィ匕して力 フレームメモリに記憶することによりメモリ 容量の削減を図っている。また、符号化した画像データを復号化して得られる現フレ
一ムの復号化画像データと、符号化した画像データを 1フレーム期間遅延してから復 号ィ匕して得られる 1フレーム前の復号ィ匕画像データとの比較に基づ 、て画像データ の補正を行うことにより、静止画が入力された場合に、符号化'復号化の誤差に伴う 不要な過電圧が液晶に印加されるのを防ぐことができる。
[0005] 特許文献 1 :特許第 2616652号公報
特許文献 2:特開 2004- 163842号公報
発明の開示
発明が解決しょうとする課題
[0006] 動画像においては、画像データの最下位ビットに 1階調を加算したフレームの割合 を制御することで擬似的に中間調を発生させる処理 (ディザ処理)が行われて!/ヽる。 特許文献 2に記載の液晶駆動用画像処理回路においては、現フレームの復号化画 像データと、 1フレーム前の復号化画像データとの比較に基づ 、て画像データの補 正を行うので、上記のような処理が行われた画像データが入力された場合、フレーム 間における 1階調分の変化が符号化 ·復号ィ匕誤差により増幅されると、復号化された 画像を用 、て検出される画像データの時間的な変化量が大きくなるため、本来は必 要のない補正処理が画像データに対して行われることにより、液晶に不要な過電圧 が印加されるという問題が生じる。
[0007] 本発明は上記の問題に鑑みてなされたものであり、フレームメモリ容量削減のため に画像データの符号化 ·復号ィ匕を行う液晶駆動用画像処理回路において、擬似階 調を発生させる信号が加算された画像データが入力された場合であっても符号化' 復号化の誤差の影響を生じることなぐ画像データの補正を正確に行い、適切な補 正電圧を液晶に印加することが可能な画像処理装置を提供することを目的とする。 課題を解決するための手段
[0008] 本発明に係る第 1の画像処理装置は、画像の各画素の階調値を表す画像データ を、上記各画素における階調値の変化に基づいて補正して出力する画像処理装置 であって、
現フレームの画像を複数のブロックに分割し、各ブロックにおける画素データの大き さを表す代表値、および当該代表値に基づ 、て上記各ブロックにおける画素データ
を量子化した量子化値を含んで構成される、上記現フレームの画像に対応する第 1 の符号化画像データを出力する符号化手段と、
上記第 1の符号ィ匕画像データを復号ィ匕することにより上記現フレームの画像に対応 する第 1の復号化画像データを出力する復号化手段と、
上記第 1の符号ィヒ画像データを 1フレームに相当する期間遅延することにより、上記 現フレームの 1フレーム前の画像に対応する第 2の符号化画像データを出力する遅 延手段と、上記第 2の符号ィヒ画像データを復号ィヒすることにより、上記現フレームの 1フレーム前の画像に対応する第 2の復号化画像データを出力する復号化手段と、 上記第 1の符号ィ匕画像データと上記第 2の符号ィ匕画像データとを参照し、上記現フ レームの画像と上記 1フレーム前の画像との間における上記代表値の変化量、およ び上記量子化値の変化量を求め、これらの変化量に基づ 、て上記現フレームの各 ブロックにおける画素データの変化を表す制御信号を生成する符号データ判定手段 と、
上記制御信号に基づ 、て、上記現フレームの画像データと上記第 2の復号ィ匕画像 データのいずれかを画素毎に選択して 1フレーム前画像データを生成する 1フレーム 前画像演算手段と、
上記 1フレーム前画像データおよび上記現フレームの画像データに基づいて、当該 現フレームの画像の階調値を補正する画像データ補正手段とを備えたものである。 本発明に係る第 2の画像処理装置は、画像の各画素の階調値を表す画像データ を、前記各画素における階調値の変化に基づいて補正して出力する画像処理装置 であって、
現フレームの画像を表す画像データを符号ィ匕することにより、前記現フレームの画像 に対応する符号化画像データを出力する符号化手段と、
前記符号化画像データを復号化することにより前記現フレームの画像データに対応 する第 1の復号化画像データを出力する復号化手段と、
前記符号化画像データを 1フレームに相当する期間遅延する遅延手段と、 前記遅延手段により出力される前記符号化画像データを復号化することにより、前記 現フレームの 1フレーム前の画像データに対応する第 2の復号化画像データを出力
する復号化手段と、
前記第 1の復号化画像データと前記第 2の復号化画像データとの変化量、および前 記現フレームの画像データと前記第 1の復号ィヒ画像データとの誤差量を画素毎に求 め、前記変化量、および前記誤差量に基づいて、前記現フレームの画像データと前 記第 2の復号ィヒ画像データのいずれかを画素毎に選択して 1フレーム前画像データ を生成する手段と、
前記 1フレーム前画像データおよび前記現フレームの画像データに基づいて、当該 現フレームの画像の階調値を補正する画像データ補正手段とを備えたものである。 発明の効果
[0010] 本発明に係る第 1の画像処理装置によれば、 1の符号化画像データと第 2の符号 化画像データとを参照して、現フレームの画像と 1フレーム前の画像との間における 代表値の変化量、および量子化値の変化量を求め、これらの変化量に基づいて現フ レームの各ブロックにおける画素データの変化を表す制御信号を生成し、当該制御 信号に基づ 、て、現フレームの画像データと第 2の復号化画像データの 、ずれかを 画素毎に選択して 1フレーム前画像データを生成するので、擬似階調信号が加算さ れた画像データが入力された場合においても符号化'復号化の誤差の影響を受ける ことなく、適切な補正電圧を液晶に印加することが可能となる。
[0011] 本発明に係る第 2の画像処理装置によれば、第 1の復号化画像データと第 2の復 号化画像データとの間の変化量、および現フレームの画像データと第 1の復号ィ匕画 像データとの間の誤差量を画素毎に求め、変化量、および誤差量に基づいて、現フ レームの画像データと第 2の復号ィ匕画像データのいずれかを画素毎に選択すること により 1フレーム前画像データを生成するので、擬似階調信号が加算された画像デ ータが入力された場合においても符号化'復号ィ匕の誤差の影響を受けることなぐ適 切な補正電圧を液晶に印加することが可能となる。
図面の簡単な説明
[0012] [図 1]本発明に係る液晶駆動用画像処理装置の一実施形態を示すブロック図である [図 2]液晶の応答特性を示す図である。
[図 3] 1フレーム前画像データの生成工程について説明するための図である。
[図 4] 1フレーム前画像データの生成工程について説明するための図である。
[図 5] 1フレーム前画像データの生成工程について説明するための図である。
[図 6]本発明に係る液晶駆動用画像処理装置の動作を示すフローチャートである。
[図 7]変数 kl, k2の特性を示す図である。
[図 8]変数 ka, kb, kcおよび kdの特性を示す図である。
[図 9]画像データ補正部の内部構成の一例を示すブロック図である。
[図 10]ルックアップテーブルの構成を示す模式図である。
[図 11]液晶の応答速度の一例を示す図である。
[図 12]ルックアップテーブルに格納される補正量の一例を示す図である。
[図 13]画像データ補正部の内部構成の一例を示すブロック図である。
[図 14]ルックアップテーブルに格納される補正画像データの一例を示す図である。
[図 15]本発明に係る液晶駆動用画像処理部の一実施形態を示すブロック図である。
[図 16] 1フレーム前画像データの生成工程について説明するための図である。
[図 17]1フレーム前画像データの生成工程について説明するための図である。
[図 18] 1フレーム前画像データの生成工程について説明するための図である。
[図 19]本発明に係る液晶駆動用画像処理装置の動作を示すフローチャートである。
[図 20]本発明に係る画像処理部の一実施形態を示すブロック図である。
[図 21] 1フレーム前画像データ DqOの生成工程について説明するための図である。 圆 22]符号化'復号ィ匕誤差について説明するための図である。
[図 23] 1フレーム前画像データ DqOの生成工程について説明するための図である。 圆 24]符号化'復号ィ匕誤差について説明するための図である。
[図 25]画像処理部の動作を示すフローチャートである。
[図 26]係数 kl, k2の特性を示す図である。
符号の説明
1 入力端子、 2 受信部、 3 画像データ処理部、 4 符号化部、 5 遅延部、 6, 7 復号化部、 8 変化量算出部、 9 符号データ判定部、 10 1フレーム前 画像データ演算部、 11 画像データ補正部、 12 表示部、 13 誤差量検出部、
11a ルックアップテーブル、 l ib 補正部
発明を実施するための最良の形態
[0014] 実施の形態 1.
図 1は、本発明に係る画像処理装置を備えた液晶表示装置の構成を示すブロック 図である。受信部 2は、入力端子 1を介して入力される映像信号に対し、選局、復調 等の処理を行うことにより、 1フレーム分の画像 (現フレームの画像)を表す画像デー タ
Dilを画像データ処理部 3に順次出力する。画像データ処理部 3は、符号化部 4、遅 延部 5、復号化部 6, 7、変化量算出部 8、符号データ判定部 9、 1フレーム前画像演 算部 10、および画像データ補正部 11により構成される。画像データ処理部 3は、画 像データ Dilを階調値の変化に基づ 、て補正し、補正画像データ Dj 1を表示部 12 に出力する。表示部 12は、補正画像データ Dj lにより指定される所定の駆動電圧を 液晶に印加することにより画像を表示する。
[0015] 以下、画像データ処理部 3の動作について説明する。
符号ィ匕部 4は、 FBTCや GBTCなどのブロック符号ィ匕(BTC)を用いて画像データ Dilを符号化し、符号化画像データ Dalを出力する。具体的には、画像データ Dil を複数のブロックに分割し、各ブロックの画像データを、当該ブロックにおける画素デ ータの大きさを表す代表値に応じて設定される量子化閾値を用いて量子化すること により符号化画像データ Dalを生成する。この代表値としては、平均値 Lal、および ダイナミックレンジ Dalが用いられる。符号化画像データ Dalは、各ブロックにおける 画像データの平均値 Lal、ダイナミックレンジ Lbl、および画素データの量子化値 Q を含んで構成される。
[0016] 遅延部 5は、符号ィ匕画像データ Dalを 1フレームに相当する期間遅延し、 1フレー ム前の符号化画像データ DaOを出力する。ここで、符号化部 4における画像データ D ilの符号化率 (データ圧縮率)を高くするほど、符号化画像データ Dalを遅延するた めに必要な遅延部 5のメモリの容量を少なくすることができる。
[0017] 復号ィ匕部 6は、符号化画像データ Dalを復号化することにより、画像データ Dilに 対応する復号化画像データ Dblを出力する。また、復号化部 7は、遅延部 5により 1
フレームに相当する期間遅延された符号化画像データ DaOを復号化することにより、 1フレーム前の画像を表す復号ィ匕画像データ DbOを出力する。
[0018] 変化量算出部 8は、現フレームの画像データに対応する復号化画像データ Dblと 、 1フレーム前の画像データに対応する復号化画像データ DbOとの差分を画素毎に 求め、当該差分の絶対値を変化量 Dvlとして出力する。この変化量 Dvlは、画像デ ータ Dil、および復号ィ匕画像データ DbOとともに 1フレーム前画像演算部 10に入力 される。
[0019] 符号データ判定部 9には、符号化部 4から出力される符号化画像データ Dalと遅 延部 5から出力される 1フレーム前の符号化画像データ DaOが入力される。符号デー タ判定部 9は、現フレームおよび 1フレーム前の符号ィ匕画像データ Dal, DaOの変化 に基づいて、現フレームの画像における動画領域、および静止画領域を示す制御信 号 Dwlを各画素について出力する。すなわち、 1フレーム前とで階調値が変化する 画素、およびブロックについては制御信号 Dwl = 1が出力され、階調値の変化がな いか変化が小さい画素については制御信号 Dwl =0が出力される。
[0020] 具体的には、現フレームおよび 1フレーム前の各ブロックの平均値 LaO, Laiの変 化量 I Lai— LaO |、およびダイナミックレンジ LbO, Lblの変化量 | Lbl— LbO | をそれぞれ求め、これらの変化量が所定の閾値 (Tha, Thb)を越える場合はブロック の画素全体について制御信号 Dwl = 1を出力する。ブロックの画素全体について制 御信号 Dwl = 1が出力された場合、後段の 1フレーム前画像演算部 10は、各画素 における変化量 Dvlの大きさに基づいて動画、静止画の判別を画素毎に行う。すな わち、変化量 Dvlが所定の閾値 (Thv)を越える画素については動画を表し、変化量 Dvlが閾値以下の画素については静止画を表すものと判別する。
一方、変化量 I Lai— LaO | , | Lbl -LbO |が閾値以下の場合は、各画素にお ける量子化値 Ql, Q0の変化量 I Q1— Q0 Iに基づいて動画、静止画の判別を行 う。すなわち、変化量 I Ql— QO I力 ^または 1となる画素については静止画を表す と判別し、制御信号 Dwl =0を出力し、変化量が 1より大きい画素については動画と 判別して制御信号 Dwl = 1を出力する。
符号データ判定部 9から出力された制御信号 Dwlは、 1フレーム前画像演算部 10
に入力される。
[0021] 1フレーム前画像演算部 10は、制御信号 Dwlおよび変化量 Dvlの値に基づいて 画像データ Dilおよび 1フレーム前の復号化画像 DbOのいずれかを画素毎に選択し て 1フレーム前画像データ DqOを生成する。具体的には、制御信号 Dwl =0の画素 については静止画を表すものとして画像データ Dilを選択し、 Dw= lの画素につい ては更に変化量 Dvlを参照し、変化量 Dvlの値が小さい画素については静止画を 表すものとして画像データ Dilを選択し、変化量 Dvlの値が大きい画素については 動画を表すものとして復号化画像 DbOを選択する。 1フレーム前画像データ DqOは、 画像データ補正部 11に入力される。
[0022] 画像データ補正部 11は、画像データ Dilと、 1フレーム前画像データ DqOとの比較 により得られる 1フレーム間における階調値の変化に基づいて、液晶が 1フレーム期 間内に画像データ Dilにより指定される所定の透過率となるよう画像データ Dilを補 正し、補正画像データ Dj lを出力する。図 2は、補正画像データ Dj lに基づく駆動電 圧を液晶に印加した場合の応答特性を示す図である。図 2において、(a)は画像デ ータ Dil、(b)は補正画像データ Dj l、(c)は当該画像データ Dj lに基づく駆動電圧 を印加して得られる液晶の応答特性を示す図である。図 2 (c)において、破線により 示す特性は画像データ Dilに基づく駆動電圧を印加したときの液晶の応答特性であ る。図 2 (b)に示すように階調値が増力口'減少する場合、補正量 VI, V2を画像データ Dilに加算 '減算することにより、補正画像データ Djlが生成される。この補正画像デ ータ Dj lに基づく駆動電圧を液晶に印加することにより、図 2 (c)に示すように略 1フレ ーム期間内に液晶を画像データ Dilにより指定される所定の透過率に到達させるこ とがでさる。
[0023] 図 3〜5は、画像データ処理部 3における 1フレーム前画像データ DqOの生成工程 について説明するための図である。
以下、図 3〜5を参照して 1フレーム前画像データ DqOの生成工程を詳細に説明す る。以下の説明において、平均値の変化量 I Lai— LaO |の閾値 Tha、ダイナミック レンジの変化量 I Lbl— LbO I の閾値 Thb、および変化量 Dvの閾値 Thvをそれぞ れ、 Tha= 10, Thb = 20, Thv= 10とする。
[0024] 図 3は、ディザ処理により擬似階調信号が加算された静止画像が入力された場合 における 1フレーム前画像データ DqOの生成工程について説明するための図である 図 3 (a)および図 3 (d)は、 1フレーム前の画像データ DiO、および現フレームの画 像データ Dilの値をそれぞれ示している。図 3 (d)に示すように、ディザ処理により現 フレームの画像データ Dilにおける (b, B)の画素データに擬似階調信号が加算さ れたことにより、当該画素データが 59から 60に変化して 、る。
図 3 (b)および図 3 (e)は、図 3 (a)および図 3 (d)に示す画像データ DiO, Dilに対 応する符号化画像データ DaO, Dalをそれぞれ示している。図 3 (b)および図 3 (e) に示すように、図 3 (a)および図 3 (b)に示す画像データ DiO, Dilの平均値は LaO = Lal = 60、ダイナミックレンジは LbO=Lbl = 120となっている。なお、量子化値 QO , Q1は量子化ビット数を 2ビットとして求めている。
図 3 (c)および図 3 (f)は、図 3 (b)および図 3 (e)に示す符号ィ匕画像データ DaO, D a 1を復号化して得られる復号化画像データ DbO, Db 1をそれぞれ示して ヽる。
[0025] 図 3 (g)は、図 3 (a)および図 3 (d)に示す画像データ DiO, Dilとの差である画像の 実際の変化量を示し、図 3 (h)は、図 3 (c)および図 3 (f)に示す復号化画像データ D bO, Dblの変化量 Dvlを示している。図 3 (g)に示すように(b, B)の画素データの実 際の変化量は 1であるが、符号化'復号化の過程で発生する誤差の影響により、図 3 (h)に示すように(b, B)の画素データの変化量 Dvlは 40となる。
図 3 (i)は、図 3 (g)に示す実際の変化量と、図 3 (h)に示す変化量 Dvlとの誤差を 示している。符号化 '復号化誤差の影響により、擬似階調信号が加算された (b, B) における画素データに大きな誤差が発生していることが分かる。
[0026] 図 3 (j)は、図 3 (b)および図 3 (e)に示す符号化画像データ DaO, Dalに基づいて 出力される制御信号 Dwlを示している。図 3 (b)および図 3 (e)に示すように、現フレ ームおよび 1フレーム前の平均値の変化量は I Lai— LaO | =0、ダイナミックレンジ の変化量は I Lbl— LbO I =0であり、いずれも閾値 Tha= 10, Thb = 20以下とな つている。また、量子化値の変化量 I Ql— QO Iは , b)の画素において 1、その 他の画素においては 0となっている。したがって、符号判定部 9は全ての画素につい
て制御信号 Dwl =0を出力する。
[0027] 図 3 (k)は、図 3 (h)に示す変化量 Dvl、および図 3 (j)に示す制御信号 Dwlに基 づいて、図 3 (c)に示す復号化画像データ DbO、および図 3 (d)に示す画像データ Di 1のいずれかを画素毎に選択して生成される 1フレーム前画像データ DqOを示してい る。図 3 (h)に示すように(b, B)の画素データについては、変化量 Dvlが閾値 (Thv = 10)を越えて!/、る力 図 3 (j)に示すように制御信号 Dwlは全ての画素につ!、て 0 となっているので、 1フレーム前画像演算部 10は、全ての画素について現フレームの 画像データ Dilを選択して 1フレーム前画像データ DqOを生成する。
[0028] 図 3 (1)は、図 3 (a)に示す 1フレーム前の画像データ DiOと、図 3 (j)に示す 1フレー ム前画像データ DqOとの誤差を示している。図 3 (1)に示すように、制御信号 Dwlお よび変化量 Dvlに基づいて現フレームの画像データ Dilを 1フレーム前の画像デー タとして選択することにより、擬似階調信号による符号化'復号化誤差を修正すること ができる。つまり、符号化画像データ DaO, Dalに含まれるブロックの平均値の変化 量 I Lai— LaO |、ダイナミックレンジの変化量 | Lbl— LbO |、および量子化値の 変化量 I Ql— Q0 Iに基づいて画像の変化と、擬似階調とを判別し、擬似階調と判 別された場合は現フレームの画像データ Dilを選択することで、ディザ処理による符 号化'復号ィ匕誤差を防ぐことができる。
[0029] 図 4は、動画像が入力された場合における画像データ処理部 3の動作を説明する ための図である。
図 4 (a)および図 4 (d)は、 1フレーム前の画像データ DiO、および現フレームの画 像データ Dilの値をそれぞれ示して 、る。図 4 (a)および図 4 (d)に示す画像データ D iO, Dilを比較すると、 B列の画素データは 0から 59に変化し、 C列の画素データは 5 9力ら 60に変ィ匕し、 D列の画素データは 60から 0に変化して!/、る。
図 4 (b)および図 4 (e)は、図 4 (a)および図 4 (d)に示す画像データ DiO, Dilに対 応する符号化画像データ DaO, Dalをそれぞれ示している。図 4 (b)および図 4 (e) に示すように、図 4 (a)および図 4 (b)に示す画像データ DiO, Dilの平均値は LaO = Lai = 30、ダイナミックレンジは LbO=Lbl = 60となって! /、る。
図 4 (c)および図 4 (f)は、図 4 (b)および図 4 (e)に示す符号化画像データ DaO, D
a 1を復号化して得られる復号化画像データ DbO, Db 1をそれぞれ示して ヽる。
[0030] 図 4 (g)は、図 4 (a)および図 4 (d)に示す画像データ DiO, Dilとの差である画像の 実際の変化量を示し、図 4 (h)は、図 4 (c)および図 4 (f)に示す復号化画像データ D bO, Dblの変化量 Dvlを示している。
図 4 (i)は、図 4 (g)に示す実際の変化量と、図 4 (h)に示す変化量 Dvlとの誤差を 示している。
[0031] 図 4 (j)は、図 4 (b)および図 4 (e)に示す符号化画像データ DaO, Dalに基づ 、て 出力される制御信号 Dwlを示している。図 4 (b)および図 4 (e)に示すように、現フレ ームおよび 1フレーム前の平均値の変化量は I Lai— LaO | =0、ダイナミックレンジ の変化量は I Lbl— LbO I =0であり、いずれも閾値 Tha= 10, Thb = 20以下とな つている。また、量子化値の変化量 I Ql— Q0 Iは A, C列の画素において 0、 B, D 列の画素において 3となっている。したがって、符号判定部 9は、 A, C列の画素につ いて制御信号 Dwl =0を出力し、 B, D列の画素について制御信号 Dwl = 1を出力 する。
[0032] 図 4 (k)は、図 4 (h)に示す変化量 Dvl、および図 4 (j)に示す制御信号 Dwlに基 づいて、図 4 (c)に示す復号化画像データ DbO、および図 4 (d)に示す画像データ Di 1のいずれかを画素毎に選択して生成される 1フレーム前画像データ DqOを示してい る。図 4 (h)に示すように変ィ匕量 Dvlは、 B, D歹 IJにおいて 60となり、閾値 (Thv= 10) を越えており、また、図 4 (j)に示すように制御信号 Dwlは A, C列の画素について 0 となり、 B, D列の画素について 1となる。したがって 1フレーム前画像演算部 10は、 A , C列の画素について現フレームの画像データ Dilを選択し、 B, D列の画素につい て復号化画像データ DbOを選択して 1フレーム前画像データ DqOを生成する。
[0033] 図 4 (1)は、図 4 (a)に示す 1フレーム前の画像データ DiOと、図 4 (j)に示す 1フレー ム前画像データ DqOとの誤差を示している。図 4 (1)に示すように、制御信号 Dwlお よび変化量 Dvlに基づ ヽて現フレームの画像データ Dil、および復号化画像データ DbOを画素毎に選択することにより、 1フレーム前画像データ DqOを正確に生成する ことができる。また、図 4 (1)に示す誤差は、図 4 (i)に示す誤差よりも小さい。すなわち 、 1フレーム前画像データ DqOと画像データ DiOとの変化量の誤差は、復号化画像
データ DbO, Dblの変化量 Dvlの誤差よりも小さいことが分かる。
[0034] 図 5は、他の動画像が入力された場合における画像データ処理部 3の動作を説明 するための図である。
図 5 (a)および図 5 (d)は、 1フレーム前の画像データ DiO、および現フレームの画 像データ Dilの値をそれぞれ示して 、る。図 5 (a)および図 5 (d)に示す画像データ D iO, Dilを比較すると、 B列の画素データは 0から 59に変化し、 C列の画素データは 5 9力ら 60に変ィ匕し、 D歹 IJの画素データは 60力ら 120に変ィ匕している。
図 5 (b)および図 5 (e)は、図 5 (a)および図 5 (d)に示す画像データ DiO, Dilに対 応する符号化画像データ DaO, Dalをそれぞれ示している。図 5 (b)および図 5 (e)に 示すように、図 5 (a)および図 5 (b)に示す画像データ DiO, Dilの平均値は LaO = 3 0, 1^1 =60、ダィナミックレンジは1^0 = 60,: Lbl = 120となって!/ヽる。
図 5 (c)および図 5 (f)は、図 5 (b)および図 5 (e)に示す符号ィ匕画像データ DaO, D a 1を復号化して得られる復号化画像データ DbO, Db 1をそれぞれ示して ヽる。
[0035] 図 5 (g)は、図 5 (a)および図 5 (d)に示す画像データ DiO, Dilとの差である画像の 実際の変化量を示し、図 5 (h)は、図 5 (c)および図 5 (f)に示す復号化画像データ D bO, Dblの変化量 Dvlを示している。
図 5 (i)は、図 5 (g)に示す実際の変化量と、図 5 (h)に示す変化量 Dvlとの誤差を 示している。
図 5 (j)は、図 5 (b)および図 5 (e)に示す符号ィ匕画像データ DaO, Dalに基づいて 出力される制御信号 Dwlを示している。図 5 (b)および図 5 (e)に示すように、現フレ ームおよび 1フレーム前の平均値の変化量は I Lai— LaO | = 30、ダイナミックレン ジの変化量は I Lbl—LbO I =60となり、いずれも閾値 Tha= 10, Thb = 20を越 えているので、ブロックの画素全体について制御信号 Dw= lが出力される。
[0036] 図 5 (k)は、図 5 (h)に示す変化量 Dvl、および図 5 (j)に示す制御信号 Dwlに基 づいて、図 5 (c)に示す復号化画像データ DbO、および図 5 (d)に示す画像データ Di 1のいずれかを画素毎に選択して生成される 1フレーム前画像データ DqOを示してい る。図 5 (h)に示すように変ィ匕量 Dvlは、 B, C, D歹 IJにおいて 40, 20, 60となり、閾 値 (Thv= 10)を越えており、また、図 5 (k)に示すように制御信号 Dwlは全ての画
素について 1となっている。したがって、 1フレーム前画像演算部 10は A列の画素に ついて現フレームの画像データ Dilを選択し、 B, C, D列の画素について復号化画 像データ DbOを選択して 1フレーム前画像データ DqOを生成する。
[0037] 図 5 (1)は、図 5 (a)に示す 1フレーム前の画像データ DiOと、図 5 (k)に示す 1フレー ム前画像データ DqOとの誤差を示している。図 5 (1)に示すように、ブロックの平均値 の変化量 I Lai— LaO |、ダイナミックレンジの変化量 | Lbl— LbO |が所定の閾 値 (Tha, Thb)を越える場合、変化量 Dvlの大きさに基づいて現フレームの画像デ ータ Dil、および復号ィ匕画像データ DbOのいずれかを画素毎に選択することにより、 1フレーム前画像データ DqOを少ない誤差で正確に生成することができる。
[0038] 以上、図 3〜5に基づいて説明したように、符号化画像データ DaO, Dalから平均 値の変化量 I Lai— LaO |、ダイナミックレンジの変化量 | Lbl— LbO |、および画 素値の変化量 I Q1— QO Iを求め、これらの値に基づいて各画素が動画、静止画 のいずれを表すかを判別する制御信号 Dwlを出力し、当該制御信号 Dwl、および 変化量 Dvlに基づ ヽて復号化画像データ DbO、および画像データ Dilの ヽずれか を画素毎に選択して生成することにより、 1フレーム前画像データ DqOを正確に再生 することができる。これにより、擬似階調信号が加算された画像データ Dilが入力され た場合においても符号化'復号化の誤差の影響を受けることなぐ適切な補正電圧を 液晶に印加することが可能となる。
[0039] なお、符号化部 4における符号化方式として、 JPEG、 JPEG— LS、 JPEG2000と いった、画像データを周波数領域のデータに変換する符号ィ匕では、低周波成分をブ ロックの代表的値として用いることが考えられる。こうした静止画用の符号ィ匕方法は、 符号ィ匕前の画像データと復号化された画像データが完全に一致しない非可逆符号 化であっても適用することが可能である。
[0040] 図 6は、以上に説明した画像データ処理部 3の処理工程を示すフローチャートであ る。
まず、画像データ Dilが画像データ処理部 3に入力される(Stl)。符号化部 4は、 入力された画像データ Dilを符号化し、符号化画像データ Dalを出力する(St2)。 遅延部 5は、符号ィ匕画像データ Dalを 1フレーム期間遅延し、 1フレーム前の符号ィ匕
画像データ DaOを出力する(St3)。復号ィ匕部 7は、符号化画像データ DaOを復号化 し、 1フレーム前の画像データ DiOに対応する復号化画像データ DbOを出力する(St 4)。これらの処理に並行して、復号化部 6は、符号化画像データ Dalを復号化し、現 フレームの画像データ Dilに対応する復号ィ匕画像データ Dblを出力する(St5)。
[0041] 変化量算出部 8は、 1フレーム前の復号化画像データ DbOと、現フレームの復号化 画像データ Db 1との差分を画素毎に求め、この差分の絶対値を変化量 Dvlとして出 力する(St6)。この処理に平行して、符号データ判別部 9は、 1フレーム前の符号ィ匕 画像データ DaOと現フレームの符号化画像データ Dalを比較し、各ブロックの平均 値 LaO, Laiの変ィ匕量 | Lai— LaO |、およびダイナミックレンジ LbO, Lblの変ィ匕 量 I Lbl— LbO Iが所定の閾値 (Tha, Thb)を越える場合はブロックの画素全体に ついて制御信号 Dwl = 1を出力する。一方、変化量 I Lai— LaO | , | Lbl -LbO Iが閾値以下の場合、量子化値の変化量 I Q1— QO I力 ^または 1となる画素につ いては制御信号 Dwl =0を出力し、変化量 I Ql— QO I力^より大きい画素につい ては制御信号 Dwl = 1を出力する(St7)。
[0042] 1フレーム前画像演算部 10は、変化量 Dvlが所定の閾値 (Thv)より大きぐかつ、 制御信号 Dwlが 1となる画素については復号化画像データ DbOを 1フレーム前の画 像データとして選択し、変化量 Dvlが所定の閾値より小さいか、あるいは制御信号 D wlが 0となる画素については原画像データ Dilを 1フレーム前の画像データとして選 択することにより、 1フレーム前画像データ DqOを出力する(St8)。
[0043] 画像データ補正部 11は、 1フレーム前画像データ DqOと、画像データ DiOとの比較 によって得られる階調値の変化に基づいて、液晶が 1フレーム期間内に画像データ Dilにより指定される所定の透過率となるよう駆動するのに必要な補正量を求め、こ の補正量を用いて画像データ Dilを補正し、補正画像データ Djlを出力する(St9) 上記 Stl〜St9の処理力 画像データ Dilの各画素に対して実施される。
[0044] なお、 1フレーム前画像データ DqOは、以下の式(1)により算出してもよい。
DqO = min(kl,k2) X DbO+(l— min(kl ,k2》 X Dil …式( 1)
上記式(1)において、 kl, k2は、それぞれ変化量 Dvl、および制御信号 Dwlの大
きさに応じて 0から 1の値をとる変数である。なお、 min(kl, k2)は kl, k2のいずれか 小さい方の値である。
[0045] 図 7は、変化量 Dvlと kl、および制御信号 Dwlと k2との関係を示す図である。図 7
(a)に示すように、変ィ匕量 Dvlに対し、 2つの閾値 SHO, SHI (SHOく SH1)が予め 設定されており、 DvK SHOの場合は kl = 0、 SHO≤Dvl≤SHlの場合は 0≤kl ≤1、 0 1 >3111の場合は1^1 = 1となる。また、図 7 (b)に示すように、制御信号 Dw 1に対し 2つの閾値 SH2, SH3 (SH2く SH3)が予め設定されており、 DwK SHl の場合は k2 = 0、 SH2≤Dwl≤SH3の場合は 0≤k2≤l、 Dwl >SH3の場合は k 2= 1となる。
[0046] 式(1)に示すように、 kl, k2のいずれか一方が 0の場合は、画像データ Dilが 1フ レーム前画像データ DqOとして選択され、 kl、 k2の両方が 1の場合は、復号化画像 データ DbOが 1フレーム前画像データ DqOとして出力される。また、上記以外では、 k 1と k2の小さい方の値に基づいて、画像データ Dilと復号化画像データ DbOとの重 み付き平均が 1フレーム前画像データ DqOとして算出される。
[0047] このように、式(1)を用いることで、変化量 Dvlおよび制御信号 Dwlが閾値付近に ある場合であっても、より誤差の少ない理想的な 1フレーム前画像データ DqOを求め ることがでさる。
[0048] また、制御信号 Dwlは以下の式(2)により算出してもよい。
Dwl =kc X (l-max(ka, kb》 + kdX max(ka, kb) …式(2)
上記式(2)において、 ka, kbは、それぞれ平均値の変化量 I Lai— LaO |、およ びダイナミックレンジの変化量 I Lbl— LbO Iの大きさに応じて 0から 1の値をとる変 数である。また、 kcは、量子化値の変化量 I Ql— QO Iの大きさに応じて 0または 1 のいずれかの値をとる変数であり、 kdは所定の定数である。なお、 max (ka, kb)は k a, kbのいずれか大きい方の値である。
[0049] 図 8は、上記式(2)にける ka, kb, kc, kdの各値を示す図である。
図 8 (a)は、平均値の変化量 I Lai— LaO |と kaとの関係を示す図である。図 8 (a) に示す うに、平均値の変ィ匕量 I Lai -LaO |に対し、 2つの閾値 SH4, SH5 (SH 4く SH5)が予め設定されており、 I Lai— LaO |く SH4の場合は ka = 0、 SH4≤
I Lal -LaO | ≤SH5の場合 ίま 0≤ka≤ 1、 | Lal -LaO | >SH5の場合 ίま ka = 1となる。
[0050] 図 8 (b)は、ダイナミックレンジの変化量 I Lbl— LbO Iと kbとの関係を示す図であ る。図 8 (b)に示すように、ダイナミックレンジの変化量 I Lbl— LbO Iに対し、 2つの 閾値 SH6, SH7 (SH6く SH7)力予め設定されており、 |: Lbl— LbO |く SH6の 場合 ίま kb = 0、 SH6≤ I Lbl -LbO | ≤SH7の場合 ίま 0≤kb≤ 1、 | Lbl -LbO I >3117の場合は1^ = 1となる。
[0051] 図 8 (c) , (d)は、量子化値の変化量 I Ql— QO |と kc, kdとの関係をそれぞれ示 す図である。図 8 (c)に示す変数 kcは、対象となるブロックが静止画、または動きが小 さい画像と判断される場合、つまり、平均値の変化量が I Lal—LaO |く SH5となり 、ダイナミックレンジの変化量が I Lbl— LbO I く SH7となる場合に用いられる。一 方、図 8 (d)に示す定数 kd ( = l)は、ブロックが動画と判断された場合、つまり、平均 値の変化量が I Lai— LaO | ≥SH5となるかまたは、ダイナミックレンジの変化量が I Lbl -LbO I ≥SH7となる場合に用いられる。
[0052] 式(2)に示すように、 ka, kbの両方が 0の場合は、図 8 (c)に示す特性を有する kc が制御信号 Dwlとして選択され、 ka, kbのいずれか一方が 1の場合は、 kd= lが制 御信号 Dwlとして選択される。また、上記以外の場合、 kaと kbの大きい方の値に基 づいて、 kc, kdの重み付き平均が制御信号 Dwlとして算出される。
[0053] 実施の形態 2.
実施の形態 1において、画像データ補正部 11は、 1フレーム前画像データ DqOと 画像データ DiOとの比較により得られる階調値の変化に基づいて補正量を算出し、 補正画像データ Dj 1を生成するものとした力 ルックアップテーブル等のメモリ手段を 設け、予め格納した補正量を読み出して画像データ Dilを補正し、補正画像データ Dj 1を出力する構成としてもょ 、。
[0054] 図 9は、本実施の形態に係る画像データ補正部 11の内部構成を示すブロック図で ある。ルックアップテーブル 11aは、 1フレーム前画像データ DqO、および画像データ Dilを入力とし、両者の値に基づいて補正量 Delを出力する。
[0055] 図 10は、ルックアップテーブル 11aの構成の一例を示す模式図である。ルックアツ
プテーブル 11aには、画像データ Dil、および 1フレーム前画像データ DqOが読み 出しアドレスとして入力される。画像データ Dil、および 1フレーム前画像データ DqO がそれぞれ 8ビットの画像データの場合、ルックアップテーブル 11aには 256 X 256 のデータが補正量 Delとして格納される。ルックアップテーブル 11aは、画像データ Dil、ぉょび1フレーム前画像データ0 0の各値に対応する補正量0じ1 =(¾ (011, DqO)を読み出して出力する。補正部 l ibは、ルックアップテーブル 11aにより出力さ れた補正量 Delを画像データ Dilに加算し、補正画像データ Dj 1を出力する。
[0056] 図 11は、液晶の応答時間の一例を示す図であり、 X軸は画像データ Dilの値 (現画 像における階調値)、 y軸は 1フレーム前の画像データ DiOの値(1フレーム前の画像 における階調値)であり、 z軸は液晶が 1フレーム前の階調値に対応する透過率から 画像データ Dilの階調値に対応する透過率となるまでに要する応答時間を示してい る。ここで、現画像の階調値が 8ビットの場合、画像データおよび 1フレーム前の画像 データの階調値の組合せは 256 X 256通り存在するので、応答時間も 256 X 256通 り存在する。図 11にお ヽては階調値の組合せに対応する応答時間を 8 X 8通りに簡 略ィ匕して示している。
[0057] 図 12は、液晶が 1フレーム期間経過時に画像データ Dilにより指定される透過率と なるよう画像データ Dilに加算される補正量 Delの値を示す図である。画像データの 階調値が 8ビットの場合、補正量 Delは、画像データおよび 1フレーム前の画像デー タの階調値の組合せに対応して 256 X 256通り存在する。図 12においては階調値 の組合せに対応する補正量を 8 X 8通りに簡略ィ匕して示して 、る。
[0058] 図 11に示すように、液晶の応答時間は、画像データおよび 1フレーム前の画像デ 一タの階調値に応じて異なるため、ルックアップテーブル 11aには、画像データおよ び 1フレーム前の画像データの両階調値に対応する 256 X 256通りの補正量 Del力 S 格納される。液晶は特に、中間階調 (グレー)から高階調(白)に変化する際の応答速 度が遅い(液晶パネルの種類、あるいは動作モードによっては、逆あるいは、別の変 化が遅い場合もある。 ) o従って、中間階調を表す 1フレーム前画像データ DqOと、高 階調を表す画像データ Dilに対応する補正量 dt (Dil, DqO)の値を大きく設定する ことにより、応答速度を効果的に向上させることができる。また、液晶の応答特性は液
晶の材料、電極形状、温度などによって変化するので、こうした使用条件に対応する 補正量 Delを備えたルックアップテーブル 11aを用いることにより、液晶の特性に応 じて応答時間を制御することができる。
[0059] 以上のように、予め求められた補正量 Delを格納したルックアップテーブル 11aを 用いることにより、補正画像データ Dj lを出力する際の演算量を削減することができる
[0060] 図 13は、本実施の形態に係る画像データ補正部 11の他の内部構成を示すブロッ ク図である。図 13に示すルックアップテーブル 11cは、 1フレーム前画像データ DqO 、および画像データ Dilを入力とし、両者の値に基づいて補正画像データ Dj l = (Di 1, DqO)を出力する。ノレック ップテープノレ 11c【こ ίま、図 12【こ示す 256 X 256通りの 補正量 Dcl = (Dil, DqO)を、画像データ Dilに加算することにより得られる補正画 像データ Dj l = (Dil, DqO)が格納される。なお、補正画像データ Dj lは、表示部 1 2の表示可能な階調の範囲を超えな 、よう設定される。
[0061] 図 14は、ルックアップテーブル 11cに格納される補正画像データ Dj lの一例を示す 図である。画像データの階調値が 8ビットの場合、補正量 Delは、画像データおよび 1フレーム前の画像データの階調値の組合せに対応して 256 X 256通り存在する。 図 14においては階調値の組合せに対応する補正量を 8 X 8通りに簡略ィ匕して示して いる。
[0062] このように、予め求められた補正画像データ Djlをルックアップテーブル 11cに格納 し、画像データ Dil、および 1フレーム前画像データ DqOに基づいて対応する補正画 像データ Dj lを出力することにより、補正画像データ Dj lを出力する際の演算量をさ らに削減することができる。
[0063] 実施の形態 3.
図 15は、本発明に係る画像処理装置を備えた液晶表示装置の他の構成を示すブ ロック図である。本実施の形態に係る画像処理装置の画像データ処理部 3は、符号 化部 4、遅延部 5、復号化部 7、符号データ判定部 9、 1フレーム前画像演算部 10、 および画像データ補正部 11により構成される。図 1に示す画像データ処理部 3と等 価な構成にっ 、ては同一符号を付して 、る。
[0064] 本実施の形態に係る画像処理部 13において、 1フレーム前画像演算部 10は符号 データ判定部 9により出力される制御信号 Dwlのみに基づいて画像データ Dil、お よび復号化画像データ DbOを画素毎に選択し、 1フレーム前画像データ DqOを生成 する。すなわち、制御信号が Dwl = 1となる画素については復号ィ匕画像データ DbO を 1フレーム前の画像データとして選択し、制御信号が Dwl =0となる画素について は画像データ Dilを 1フレーム前の画像データとして選択することにより 1フレーム前 画像データ DqOを生成する。制御信号 Dwlの生成方法は実施の形態 1と同様であ る。
[0065] 図 16〜18は、本実施の形態に係る画像データ処理部 3における 1フレーム前画像 データ DqOの生成工程について説明するための図である。
以下、図 16〜18を参照して本実施の形態に係る 1フレーム前画像データ DqOの生 成工程を詳細に説明する。以下の説明において、平均値の変化量 I Lai— LaO | の閾値 Tha、およびダイナミックレンジの変化量 I Lbl— LbO I の閾値 Thbをそれぞ れ、 Tha= 10, Thb = 20とする。
[0066] 図 16は、ディザ処理により擬似階調信号が加算された静止画像が入力された場合 における 1フレーム前画像データ DqOの生成工程について説明するための図である 図 16 (a)および図 16 (d)は、 1フレーム前の画像データ DiO、および現フレームの 画像データ Dilの値をそれぞれ示している。図 16 (d)に示すように、ディザ処理によ り現フレームの画像データ Dilにおける (b, B)の画素データに擬似階調信号が加算 されたことにより、当該画素データが 59から 60に変化している。
図 16 (b)および図 16 (e)は、図 16 (a)および図 16 (d)に示す画像データ DiO, Dil に対応する符号化画像データ DaO, Dalをそれぞれ示している。図 16 (b)および図 16 (e)〖こ示すように、図 16 (a)および図 16 (b)に示す画像データ DiO, Dilの平均値 は LaO = La 1 = 60、ダイナミックレンジは LbO = Lb 1 = 120となって!/ヽる。
図 16 (c)は、図 16 (b)に示す符号化画像データ DaOを復号化して得られる復号ィ匕 画像データ DbOを示して!/、る。
図 16 (f)は、図 16 (a)および図 16 (d)に示す画像データ DiO, Dilとの差である画
像の実際の変化量を示して 、る。
[0067] 図 16 (g)は、図 16 (b)および図 16 (e)に示す符号ィ匕画像データ DaO, Dalに基づ V、て出力される制御信号 Dwlを示して 、る。図 16 (b)および図 16 (e)に示すように、 現フレームおよび 1フレーム前の平均値の変化量は I Lai— LaO | =0、ダイナミツ クレンジの変化量は I Lbl— LbO I =0であり、いずれも閾値 Tha= 10, Thb = 20 以下となっている。また、量子化値の変化量 I Ql— QO Iは(b, B)の画素において 1、その他の画素においては 0となっている。したがって、符号判定部 9は全ての画素 について制御信号 Dwl =0を出力する。
[0068] 図 16 (h)は、図 16 (g)に示す制御信号 Dwlに基づいて、図 16 (c)に示す復号ィ匕 画像データ DbO、および図 16 (d)に示す画像データ Dilのいずれかを画素毎に選 択して生成される 1フレーム前画像データ DqOを示している。図 16 (g)に示すように 制御信号 Dwlは全ての画素について 0となっている。したがって 1フレーム前画像演 算部 10は、全ての画素について現フレームの画像データ Dilを選択して 1フレーム 前画像データ DqOを生成する。
[0069] 図 16 (i)は、図 16 (a)に示す 1フレーム前の画像データ DiOと、図 16 (j)に示す 1フ レーム前画像データ DqOとの誤差を示している。図 16 (i)に示すように、制御信号 D wlのみに基づいて 1フレーム前画像データ DqOを生成する場合であっても、擬似階 調信号による符号化'復号化誤差を修正することができる。
[0070] 図 17は、動画像が入力された場合における画像データ処理部 3の動作を説明する ための図である。
図 17 (a)および図 17 (d)は、 1フレーム前の画像データ DiO、および現フレームの 画像データ Dilの値をそれぞれ示している。図 17 (a)および図 17 (d)に示す画像デ ータ DiO, Dilを比較すると、 B列の画素データは 0から 59に変化し、 C列の画素デ ータは 59から 60に変化し、 D列の画素データは 60から 0に変化して!/、る。
図 17 (b)および図 17 (e)は、図 17 (a)および図 17 (d)に示す画像データ DiO, Dil に対応する符号化画像データ DaO, Dalをそれぞれ示している。図 17 (b)および図 17 (e)に示すように、図 17 (a)および図 17 (b)に示す画像データ DiO, Dilの平均値 は LaO=Lal = 30、ダイナミックレンジは LbO=Lbl =60となっている。
図 17 (c)は、図 17 (b)に示す符号化画像データ DaOを復号化して得られる復号化 画像データ DbOを示して!/、る。
図 17 (f)は、図 17 (a)および図 17 (b)に示す画像データ DiO, Dilとの差である画 像の実際の変化量を示して 、る。
[0071] 図 17 (g)は、図 17 (b)および図 17 (e)に示す符号ィ匕画像データ DaO, Dalに基づ V、て出力される制御信号 Dwlを示して 、る。図 17 (b)および図 17 (e)に示すように、 現フレームおよび 1フレーム前の平均値の変化量は I Lai— LaO | =0、ダイナミツ クレンジの変化量は I Lbl— LbO I =0であり、いずれも閾値 Tha= 10, Thb = 20 以下となっている。また、量子化値の変化量 I Ql— QO Iは A, C列の画素におい て 0、 B, D列の画素において 3となっている。したがって、符号判定部 9は、 A, C列 の画素について制御信号 Dwl = 0を出力し、 B, D列の画素について制御信号 Dw 1 = 1を出力する。
[0072] 図 17 (h)は、図 17 (g)に示す制御信号 Dwlに基づいて、図 17 (c)に示す復号ィ匕 画像データ DbO、および図 17 (d)に示す画像データ Dilのいずれかを画素毎に選 択して生成される 1フレーム前画像データ DqOを示している。図 17 (g)に示すように 制御信号 Dwlは A, C列の画素について 0となり、 B, D列の画素について 1となる。 したがって 1フレーム前画像演算部 10は、 A, C列の画素について現フレームの画像 データ Dilを選択し、 B, D列の画素について復号ィ匕画像データ DbOを選択して 1フ レーム前画像データ DqOを生成する。
[0073] 図 17 (i)は、図 17 (a)に示す 1フレーム前の画像データ DiOと、図 17 (j)に示す 1フ レーム前画像データ DqOとの誤差を示している。図 17 (i)に示すように、制御信号 D wlに基づいて現フレームの画像データ Dil、および復号化画像データ DbOを画素 毎に選択することにより、 1フレーム前画像データ DqOを正確に生成することができる
[0074] 図 18は、他の動画像が入力された場合における画像データ処理部 3の動作を説明 するための図である。
図 18 (a)および図 18 (d)は、 1フレーム前の画像データ DiO、および現フレームの 画像データ Dilの値をそれぞれ示している。図 18 (a)および図 18 (d)に示す画像デ
ータ DiO, Dilを比較すると、 B列の画素データは 0から 59に変化し、 C列の画素デ ータは 59力ら 60に変ィ匕し、 D列の画素データは 60から 120に変化している。
図 18 (b)および図 18 (e)は、図 18 (a)および図 18 (d)に示す画像データ DiO, Dil に対応する符号化画像データ DaO, Dalをそれぞれ示している。図 18 (b)および図 18 (e)〖こ示すように、図 18 (a)および図 18 (b)に示す画像データ DiO, Dilの平均値 は LaO = 30, 1^1 =60、ダィナミックレンジは1^0 = 60,: Lbl = 120となって!/ヽる。 図 18 (c)は、図 18 (b)に示す符号化画像データ DaOを復号化して得られる復号ィ匕 画像データ DbOを示して!/、る。
図 18 (f)は、図 18 (a)および図 18 (b)に示す画像データ DiO, Dilとの差である画 像の実際の変化量を示して 、る。
[0075] 図 18 (g)は、図 18 (b)および図 18 (e)に示す符号ィ匕画像データ DaO, Dalに基づ V、て出力される制御信号 Dwlを示して 、る。図 18 (b)および図 18 (e)に示すように、 現フレームおよび 1フレーム前の平均値の変化量は I Lai— LaO | = 30、ダイナミツ クレンジの変化量は I Lbl— LbO I =60となり、いずれも閾値 Tha= 10, Thb = 20 を越えているので、ブロックの画素全体について制御信号 Dw= lが出力される。 図 18 (h)は、図 18 (g)に示す制御信号 Dwlに基づいて、図 18 (c)に示す復号ィ匕 画像データ DbO、および図 18 (d)に示す画像データ Dilのいずれかを画素毎に選 択して生成される 1フレーム前画像データ DqOを示している。図 18 (g)に示すように 制御信号 Dwlは全ての画素について 1となっているので、 1フレーム前画像演算部 1 0は全ての画素について復号ィ匕画像データ DbOを選択して 1フレーム前画像データ DqOを生成する。
[0076] 図 18 (i)は、図 18 (a)に示す 1フレーム前の画像データ DiOと、図 18 (f)に示す 1フ レーム前画像データ DqOとの誤差を示している。図 18 (i)に示すように、ブロックの平 均値の変化量 I Lai— LaO |、ダイナミックレンジの変化量 | Lbl— LbO |が所定 の閾値 (Tha, Thb)を越える場合、復号化画像データ DbOを 1フレーム前の画像デ ータとして選択することにより、 1フレーム前画像データ DqOを少ない誤差で正確に 生成することができる。
[0077] 以上、図 16〜18に基づいて説明したように、制御信号 Dwlのみに基づいて復号
化画像データ DbO、および画像データ Dilの 、ずれかを画素毎に選択して生成する ことによつても、擬似階調信号が加算された画像データ Dilが入力された場合におけ る符号化'復号化の誤差の影響を受けることなぐ 1フレーム前画像データ DqOを正 確に生成することができる。
[0078] 図 19は、以上に説明した本実施の形態に係る液晶駆動用画像処理部の処理工程 を示すフローチャートである。
まず、画像データ Dilが画像データ処理部 3に入力される(Stl)。符号化部 4は、 入力された画像データ Dilを符号化し、符号化画像データ Dalを出力する(St2)。 遅延部 5は、符号ィ匕画像データ Dalを 1フレーム期間遅延し、 1フレーム前の符号ィ匕 画像データ DaOを出力する(St3)。復号ィ匕部 7は、符号化画像データ DaOを復号ィ匕 し、 1フレーム前の画像データ DiOに対応する復号化画像データ DbOを出力する(St 4)。この処理に平行して、符号データ判別部 9は、 1フレーム前の符号ィ匕画像データ DaOと現フレームの符号化画像データ Dalを比較し、各ブロックの平均値の変化量
I Lal -LaO |、およびダイナミックレンジ LbO, Lblの変化量 | Lbl— LbO |が所 定の閾値 (Tha, Thb)を越える場合はブロックの画素全体につ 、て制御信号 Dwl = 1を出力する。一方、変化量 I Lai— LaO | , | Lbl -LbO |が閾値以下の場合 、量子化値の変化量 I Ql— QO I力 ^または 1となる画素については制御信号 Dwl =0を出力し、変化量が 1より大きい画素については制御信号 Dwl = 1を出力する( St7)。
[0079] 1フレーム前画像演算部 14は、制御信号 Dwlが 1となる画素については復号ィ匕画 像データ DbOを 1フレーム前の画像データとして選択し、制御信号 Dwlが 0となる画 素については画像データ Dilを 1フレーム前の画像データとして選択して、 1フレーム 前画像データ DqOとして出力する(Stl8)。
[0080] 画像データ補正部 11は、 1フレーム前画像データ DqOと、画像データ DiOとの比較 によって得られる階調値の変化に基づいて、液晶が 1フレーム期間内に画像データ Dilにより指定される所定の透過率となるよう駆動するのに必要な補正量を求め、こ の補正量を用いて画像データ Dilを補正し、補正画像データ Djlを出力する(St9)
上記 Stl〜Stl8の処理力 画像データ Dilの各画素に対して実施される。
[0081] 実施の形態 4.
図 20は、本発明に係る画像処理装置を備えた液晶表示装置の他の構成を示すブ ロック図である。本実施の形態に係る画像処理装置の画像データ処理部 3は、符号 化部 4、遅延部 5、復号化部 6, 7、変化量算出部 8、誤差量算出部 13、 1フレーム前 画像演算部 10、および画像データ補正部 11により構成される。図 20に示す画像デ ータ処理部 3と等価な構成については同一符号を付している。すなわち、誤差量算 出部 9以外の動作は実施の形態 1と同様である。
[0082] 誤差量算出部 9は、現フレームの画像データに対応する復号化画像データ Dblと 画像データ Dilとの差分を画素毎に求め、当該差分の絶対値を誤差量 Delとして出 力する。この誤差量 Delは、 1フレーム前画像演算部 10に入力される。
[0083] 1フレーム前画像演算部 10は、変化量 Dvlが所定の閾値 SHOより小さい画素、お よび変化量 Dvlが閾値 SHOより大きぐかつ変化量 Dvlが誤差量 De 1の 2倍となる 画素については画像データ Dilを 1フレーム前の画像データとして選択し、変化量 D V 1が閾値 SHOより大きく、かつ変化量 Dvlが誤差量 De 1の 2倍以外の値となる画素 については復号ィ匕画像データ DbOを 1フレーム前の画像データとして選択することに より、 1フレーム前画像データ DqOを生成する。 1フレーム前画像データ DqOは、画像 データ補正部 11に入力される。
[0084] 画像データ補正部 11は、画像データ Dilと、 1フレーム前画像データ DqOとの比較 により得られる 1フレーム間における階調値の変化に基づいて、液晶が 1フレーム期 間内に画像データ Dilにより指定される所定の透過率となるよう画像データ Dilを補 正し、補正画像データ Dj lを出力する。
[0085] 図 21は、ディザ処理により擬似階調信号が加算された静止画像が入力された場合 における 1フレーム前画像データ DqOの生成工程について説明するための図である 。以下の説明においては、 1フレーム前画像データ DqOを生成する際に用いる所定 の閾値 SH0の値を 8とする。
[0086] 図 21 (a)および図 21 (d)は、 1フレーム前の画像データ DiO、および現フレームの 画像データ Dilの値をそれぞれ示している。図 21 (d)に示すように、ディザ処理によ
り現フレームの画像データ Dilにおける (b, B)の画素データに擬似階調信号が加算 されたことにより、当該画素データが 59から 60に変化している。
図 21 (b) , (e)は、図 21 (a) , (d)に示す 1フレーム前の画像データ DiO、および現 フレームの画像データ Dilを FBTCにより符号化した符号化データを示している。こ こでは、各ブロックにおける平均値 La、およびダイナミックレンジ Lbを 8ビットとし、各 画素に 2ビットを割り当てて量子化を行って 、る。
図 21 (c) , (f)は、図 21 (b) , (e)に示す符号化データを復号化して得られる 1フレ ーム前の復号化画像データ DbO、および現フレームの復号化画像データ Dblを示 している。図 21 (f)に示すように、図 21 (c)に示す画像データ Dilの B列における階 調値 59の画素データに対応する復号ィ匕画像データ Dblにおける値は 40となってい るのに対し、ディザ処理により擬似階調信号が加算された (b, B)における階調値 60 の画素データに対応する復号ィ匕画像における値は 80となっている。
[0087] 図 21 (g)は、図 21 (a) , (d)に示す画像データ DiO, Dilとの差である画像の実際 の変化量を示し、図 21 (h)は、図 21 (c) , (f)に示す復号化画像データ DbO, Dblと の差分の絶対値である変化量 Dvlを示している。図 21 (g)に示すように、画像デー タ DiO, Dilの(b, B)における画素データの変化量は 1であるのに対し、符号化'復 号化誤差により復号化画像データ DbO, Dblの同画素データの変化量 Dvlは 40と なる。
図 21 (i)は、図 21 (d)に示す現フレームの画像データ Dilと、図 21 (f)に示す現フ レームの復号化画像データ Db 1との差分の絶対値である誤差量 De 1を示して ヽる。
[0088] 図 21 (j)は、図 21 (h)に示す変化量 Dvl、および図 21 (i)に示す誤差量 Delに基 づいて図 21 (a) , (f)にそれぞれ示す画像データ DiO、および復号化画像データ Db 0のいずれかを画素毎に選択して生成される 1フレーム前画像データ DqOを示してい る。図 21 (h)に示すように、変化量 Dvlは(b, B)以外の画素において全て 0となって いるので、 1フレーム前画像演算部 10は、 (b, B)以外の画素における 1フレーム前 の画像データとして画像データ Dilを選択する。一方、(b, B)の画素においては変 化量 Dvlの値は閾値 SH0より大きくなつており、また変化量 Dvl ( = 40)が誤差量 D el ( = 20)の 2倍となっているので、 1フレーム前画像演算部 10は、 (b, B)の画素に
おける 1フレーム前の画像データとして画像データ Dilを選択する。
[0089] 図 21 (k)は、 1フレーム前画像データ DqOと、 1フレーム前の画像データ DiOとの誤 差を示している。図 21 (k)に示すように、ディザ処理により擬似階調信号が加算され た (b, B)の画素における誤差は 1となっており、符号化'復号化誤差の影響が抑制さ れることが分力ゝる。
[0090] 図 22は、図 21に示す符号化'復号ィ匕誤差について説明するための図である。
図 22 (a)は、 8ビットの画像データ DiO, Dilの階調値を示し、図 22 (b)は、画像デ ータ DiO, Dilの量子化閾値を示している。図 22 (c)は、図 22 (a)に示す画像データ DiO, Dilの各階調値を図 22 (b)に示す量子化閾値を用いて 2ビットのデータに量子 化した量子化値を示している。図 22 (d)は、図 22 (c)に示す量子化値を 8ビットのデ ータに復元した復号化画像データ DbO, Db 1の階調値を示して 、る。
[0091] 図 22 (b)に示すように、画像データ DiO, Dilは、 20, 60, 100の閾値を用いて量 子化されるため、 0, 59, 60, 120の階調値に対応する量子化値は図 22 (c)に示す ように、それぞれ 0, 1, 2, 3となる。図 22 (c)に示す量子化値を復号化すると、画像 データ DiO, Dilにおける 0, 59, 60, 120の各階調値は図 22 (d)に示すように、そ れぞれ 0, 40, 80, 120となる。このため、画像データ DiO, Dilにおける 59, 60のよ うな、一方が量子化閾値以上、他方が量子化閾値未満となる 2つの階調値を復号ィ匕 すると、それぞれ 40, 80となり、実際の変化量は 1であるのに対し、復号化画像デー タ DbO, Dblから得られる変化量 Dvlは 40となり誤差が大きくなる。
[0092] 先に説明した通り 1フレーム前画像演算部 10は、変化量 Dvlが所定の閾値 SH0よ り大きく、かつ変化量 Dv 1が誤差量 De 1の 2倍となる画素にっ 、ては画像データ Di 1 を 1フレーム前の画像データとして選択し、変化量 Dvlが閾値 SH0より大きぐかつ 変化量 Dvlが誤差量 De 1の 2倍以外の値となる画素につ 、ては復号化画像データ DbOを 1フレーム前の画像データとして選択して 1フレーム前画像データ DqOを生成 するので、図 22 (d)に示す画像データ Dilにおける(b, B)の画素は静止画を示すも のと判別されるため、 1フレーム前の画像データとして画像データ Dilが選択される。 この結果、符号化'復号ィ匕誤差による変化量 Dvlの誤差の影響を受けることなく 1フ レーム前画像データ DiOを正確に生成することができる。すなわち、擬似階調信号が
加算された画像データ Dilが入力された場合においても符号化'復号化の誤差の影 響を受けることなく 1フレーム前画像データ Dqlを生成することができる。
[0093] 図 23は、動画像が入力された場合における 1フレーム前画像データ DqOの生成ェ 程について説明するための図である。以下の説明においては、 1フレーム前画像デ ータ DqOを生成する際に用 ヽる所定の閾値 SHOの値を 8とする。
図 23 (a)および図 23 (d)は、 1フレーム前の画像データ DiO、および現フレームの 画像データ Dilの値をそれぞれ示して ヽる。図 23 (a)および図 23 (d)に示す画像デ ータ DiO, Dilを比較すると、 B列の画素データは 0から 59に変化し、 C列の画素デ ータは 59から 60に変化し、 D列の画素データは 60から 0に変化して!/、る。
図 23 (b) , (e)は、図 23 (a) , (d)に示す 1フレーム前の画像データ DiO、および現 フレームの画像データ Dilを FBTCにより符号化した符号化データを示している。 図 23 (c) , (f)は、図 23 (b) , (e)に示す符号化データを復号化して得られる 1フレ ーム前の復号化画像データ DbO、および現フレームの復号化画像データ Dblを示 している。
[0094] 図 23 (g)は、図 23 (a) , (d)に示す画像データ DiO, Dilとの差である画像の実際 の変化量を示し、図 23 (h)は、図 23 (c) , (f)に示す復号化画像データ DbO, Dblと の差分の絶対値である変化量 Dvlを示して 、る。
図 23 (i)は、図 23 (d)に示す現フレームの画像データ Dilと、図 23 (f)に示す現フ レームの復号化画像データ Db 1との差分の絶対値である誤差量 De 1を示して ヽる。
[0095] 図 23 (j)は、図 23 (h)に示す変化量 Dvl、および図 23 (i)に示す誤差量 Delに基 づ 、て図 23 (a) , (f)にそれぞれ示す画像データ DiO、および復号化画像データ Db 0のいずれかを画素毎に選択して生成される 1フレーム前画像データ DqOを示してい る。図 23 (h)に示すように変ィ匕量 Dvlは、 B, D歹 IJにおいて 60となり、閾値(SH0 = 8 )を越えており、この変化量 Dvlは誤差量 Del ( = 1, 0)の 2倍以外の値となっている 。また、変化量 Dvlは、 A, C列において 0となり閾値以下となっている。したがって、 1フレーム前画像演算部 10は、 A, C列の画素について現フレームの画像データ Di 1を選択し、 B, D列の画素について復号ィ匕画像データ DbOを選択して 1フレーム前 画像データ DqOを生成する。
図 23 (k)は、 1フレーム前画像データ DqOと、 1フレーム前の画像データ DiOとの誤 差を示している。
[0096] 図 24は、図 23に示す符号化'復号ィ匕誤差について説明するための図である。
図 24 (a)は、 8ビットの画像データ DiO, Dilの階調値を示し、図 24 (b)は、画像デ ータ DiO, Dilの量子化閾値を示している。図 24 (c)は、図 24 (a)に示す画像データ DiO, Dilの各階調値を図 24 (b)に示す量子化閾値を用いて 2ビットのデータに量子 化した量子化値を示している。図 24 (d)は、図 24 (c)に示す量子化値を 8ビットのデ ータに復元した復号化画像データ DbO, Db 1の階調値を示して 、る。
[0097] 図 24 (b)に示すように、画像データ DiO, Dilは、 10, 30, 50の閾値を用いて量子 化されるため、 0, 59, 60の階調値に対応する量子化値は図 24 (c)に示すように、そ れぞれ 0, 60, 60となる。図 24 (c)に示す量子化値を復号化すると、画像データ DiO , Dilにおける 0, 59, 60の各階調値は図 24 (d)に示すように、それぞれ 0, 60, 60 となる。このため、画像データ DiO, Dilにおける 59, 60の階調値を復号化すると、い ずれも 60となり、 1階調分の誤差が生じる。
[0098] 前に説明した通り 1フレーム前画像演算部 10は、変化量 Dvlが所定の閾値 SH0よ り小さい画素については画像データ Dilを 1フレーム前の画像データとして選択し、 変化量 Dvlが閾値 SH0より大きぐかつ変化量 Dvlが誤差量 De 1の 2倍以外の値と なる画素については復号ィ匕画像データ DbOを 1フレーム前の画像データとして選択 して 1フレーム前画像データ DqOを生成する。この結果、動画像が入力された場合に おいても符号化'復号ィ匕誤差の影響を受けることなく 1フレーム前画像データ DiOを 正確に生成することができる。
[0099] 図 25は、以上に説明した本発明に係る画像処理装置における画像処理部 3の処 理工程を示すフローチャートである。
まず、画像データ Dilが画像データ処理部 3に入力される(Stl)。符号化部 4は、 入力された画像データ Dilを符号化し、符号化画像データ Dalを出力する(St2)。 遅延部 5は、符号ィ匕画像データ Dalを 1フレーム期間遅延し、 1フレーム前の符号ィ匕 画像データ DaOを出力する(St3)。復号ィ匕部 7は、符号化画像データ DaOを復号化 し、 1フレーム前の画像データ DiOに対応する復号化画像データ DbOを出力する(St
4)。これらの処理に並行して、復号化部 6は、符号化画像データ Dalを復号化し、現 フレームの画像データ Dilに対応する復号ィ匕画像データ Dblを出力する(St5)。
[0100] 変化量算出部 8は、現フレームの復号化画像データ Dblと 1フレーム前の復号ィ匕 画像データ DbOとの差分を画素毎に求め、この差分を変化量 Dvlとして出力する(S t6)。この処理に並行して、誤差量算出部 9は、現フレームの復号化画像データ Dbl と現フレームの画像データ Dilとの差分を求め、この差分を誤差量 De 1として出力す る(St7)。
[0101] 1フレーム前画像演算部 10は、変化量 Dvlが所定の閾値 SHOより小さい画素、お よび変化量 Dvlが所定の閾値 SHOより大きぐかつ変化量 Dvlが誤差量 Delの 2倍 となる画素については現フレームの画像データ Dilを 1フレーム前の画像データとし て選択し、変化量 Dvlの絶対値が所定の閾値 SHOより大きぐかつ変化量 Dvlが誤 差量 Delの 2倍以外の値となる画素については 1フレーム前の復号化画像データ Db 0を 1フレーム前の画像データとして選択することにより、 1フレーム前画像データ Dq 0を生成する(St8)。
[0102] 画像データ補正部 11は、 1フレーム前画像データ DqOと、画像データ DiOとの比較 によって得られる階調値の変化に基づいて、液晶が 1フレーム期間内に画像データ Dilにより指定される所定の透過率となるよう駆動するのに必要な補正量を求め、こ の補正量を用いて画像データ Dilを補正し、補正画像データ Djlを出力する(St9) 上記 Stl〜St9の処理力 画像データ Dilの各画素に対して実施される。
[0103] 以上において説明したように、本実施の形態に係る画像処理装置は、復号化画像 データ DbO, Db 1の変化量 Dvlが所定の閾値 SHOより小さ!/、画素につ!/、ては静止 画と判別して現フレームの画像データ Dilを 1フレーム前の画像データとして選択す る。そして、変化量 Dvlが閾値 SHOより大きい画素については、変化量 Dvlが誤差 量 Delの 2倍となる場合は静止画と判別して画像データ Dilを選択し、変化量 Dvl が誤差量 Delの 2倍以外の値となる場合は動画像と判別して復号化画像データ Db 0を選択して 1フレーム前画像データ DqOを生成する。これ〖こより、図 21に示すように 、一方が量子化閾値以上、他方が量子化閾値未満となるような階調値を含む画像デ
ータ Dil, DiOが入力された場合においても符号化'復号ィ匕の誤差の影響を受けるこ となく 1フレーム前画像データ Dqlが生成されるので、擬似階調信号が加算された画 像データが入力された場合であっても適切な補正電圧を液晶に印加することが可能 となる。
[0104] なお、 1フレーム前画像データ DqOは、以下の式(3)により算出してもよい。
DqO=kl X k2 X DbO+ (l -kl X k2) X Dil …式(3)
上記式(3)において、 klは変化量 Dvlに応じて変化する係数であり、 k2は変化量 Dvl、および誤差量 Delに応じて変化する係数である。
[0105] 図 26 (a)は、係数 klと変化量 Dvlとの関係を示す図であり、図 26 (b)は、係数 k2と 変化量 Dvl、および誤差量 Delとの関係を示す図である。図 26 (a)に示すように、変 化量 Dvlの絶対値に対し、 2つの閾値 SHO, SHl (SHOく SH1)が予め設定されて おり、 I Dvl I < SHOの場合 ίま kl = 0、 SHO≤ | Dvl | ≤SH1の場合 ίま 0≤kl≤ 1、 I Dvl I >SH1の場合は kl = lとなる。また、図 26 (b)に示すように、変化量 Dv 1と誤差量 Delを 2倍した値との差分の絶対値( I Dvl - 2 X De | )に対し、 2つの 閾値 SH2, SH3 (SH2く SH3)力予め設定されており、 | Dvl— 2 X Del | < SH2 の場合 ίま k2 = 0、 SH2≤ I Dvl - 2 X Del | ≤SH3の場合 ίま 0≤k2≤ 1、 SH3< I Dvl - 2 X Del | の場合は k2= lとなる。
[0106] 式(3)に示したとおり、係数 kl, k2のいずれか一方が 0の場合は画像データ Dilが 1フレーム前画像データ DqOとして選択され、 kl, k2の両方が 1の場合は復号ィ匕画 像データ DbOが 1フレーム前画像データ DqOとして出力される。また、上記以外の場 合は klと k2の積に基づいて、画像データ Dilと復号化画像データ DbOとの重み付き 平均が 1フレーム前画像データ DqOとして算出される。
[0107] 式(3)を用いることにより、変化量 Dvlの変化に応じて 1フレーム前画像データ Dql において、画像データ Dilと復号化画像データ DbOとの間の値を連続的に変化させ ることが可能となるので動画領域における画像の急激な変化を抑制することができる