JP5863092B2 - 画像処理回路、半導体装置、画像処理装置 - Google Patents

Description

本発明は、画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。

従来より、液晶ディスプレイにおける応答速度を高めるための技術として、オーバードライブ技術が知られている。液晶ディスプレイにおいては、その応答速度が遅いと、画像に残像や乱れが生じるという問題がある。

液晶ディスプレイはその性質上、白から黒への階調変化（またはその逆）の応答速度と比較して、中間階調から中間階調への階調変化の応答速度が遅い。このため、特に中間階調から中間階調への階調変化において、上記の問題が生じやすかった。

オーバードライブ技術は、階調変化に必要となる電圧よりも大きな電圧を液晶に与えることにより、液晶の応答速度を速める技術である。ただし与える電圧が大きすぎると、強調効果により画質が低下するため、電圧の調整が必要となる。

上記の調整を行うため、フレームを形成する各画素に設定される階調値（表示データ）を前後フレーム間で比較することにより、印加すべき電圧を決定する装置が開示・提案されている（例えば特許文献１を参照）。

特開２００３−１４３５５６号公報

しかしながら従来の装置では、画素に設定される階調値のフレーム間比較結果のみに基づいて、画素に印加すべき電圧を一意に決定していた。このため、画像の種別（例えば自然画、テキスト画、コンピュータグラフィックス等）によって、強調効果にばらつきが出てしまうという問題があった。

本発明は、本願の発明者により見出された上記の問題点に鑑み、オーバードライブ技術を用いて応答速度を高める画像処理回路であって、強調効果のばらつきを低減することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理回路は、画像データを記録する記録部と、入力された第１入力画像データと前記記録部に記録されている画像データであり前記第１入力画像データより先に入力された第２入力画像データとを用いて前記第１入力画像データに対して階調の強調処理を行い出力画像データを生成する強調処理部と、前記第１入力画像データ及び前記第２入力画像データの少なくとも一方に対して予め定められた画像評価を行い、前記画像評価の結果を示す評価値に基づいて前記強調処理における強調量を決定し、決定した前記強調量により前記強調処理を行うよう前記強調処理部へ指示する強調量調整部とを有する構成（第１の構成）とされている。

なお、上記第１の構成から成る画像処理回路は、前記強調量調整部が、前記画像評価において、前記強調処理部が強調処理の対象とする画素を含むｍ×ｎ画素（ｍ及びｎは２以上の自然数）を評価対象とすることを特徴とする構成（第２の構成）にするとよい。

また、上記第２の構成から成る画像処理回路は、前記強調量調整部が、前記第１入力画像データ、前記第２入力画像データ、または前記第１入力画像データと前記第２入力画像データとの差分である差分データを評価対象として前記画像評価を行うことを特徴とする構成（第３の構成）にするとよい。

また、上記第３の構成から成る画像処理回路は、前記強調処理部が、前記強調量の基準値を前記第１入力画像データ及び前記第２入力画像データに基づいて算出する基準値算出部と、前記強調量の増減を行うための係数を前記評価値に基づいて決定する係数算出部とを備える構成（第４の構成）にするとよい。

また、上記第３の構成から成る画像処理回路は、前記強調処理部が、入力画像データと出力画像データとを関連付けて格納した複数のＬＵＴ（Look Up Table）と、前記強調処理において用いられる前記ＬＵＴを前記評価値に基づいて決定する選択部とを備える構成（第５の構成）にするとよい。

また、本発明に係る半導体装置は、上記第１〜第５いずれかの構成から成る画像処理回路を集積化した構成（第６の構成）とされている。

また、本発明に係る画像処理装置は、上記第６の構成から成る半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、前記半導体装置から前記出力画像データが供給される出力部と、を有する構成（第７の構成）とされている。

また、上記第７の構成から成る画像処理装置は、前記出力部が、液晶ディスプレイである構成（第８の構成）にするとよい。

本発明によれば、入力画像データに対して強調処理を施す際に、強調処理の対象とする画素の周辺画素を評価対象として画像評価を行い、この評価結果に基づいて強調量を変化させる。これにより、入力画像データの特徴、例えば自然画やテキスト画等の画像種別に起因する強調効果のばらつきを低減することができる。

本発明に係る画像処理装置を示すブロック図 本発明に係る画像処理回路を示すブロック図 印加電圧と階調変化との関係を示す模式図 印加電圧と階調変化との関係を示す模式図 印加電圧と階調変化との関係を示す模式図 本発明に係る強調量調整部を示すブロック図 本発明に係る強調処理部の第１実施形態を示すブロック図 本発明に係る強調処理部の第２実施形態を示すブロック図

図１は、本発明に係る画像処理装置１を示すブロック図である。画像処理装置１は、撮像部１０（画像入力部）と、画像処理ＩＣ１１（半導体装置）と、出力部１２とを有する。

撮像部１０は、所定のレンズ群や撮像素子、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Devices）センサ等を備えており、被写体の光学像を結像させることで被写体の撮像処理、例えば３０フレーム毎秒の動画撮像を行う。なお、撮像部１０で生成された入力画像データは、画像処理ＩＣ１１に逐次出力される。なお、入力画像データの生成手段は、撮像部１０に限定されるものではなく、その他の画像入力部（メディア再生装置や放送受信装置など）を用いても構わない。

画像処理ＩＣ１１は、撮像部１０からの入力画像データに所定の画像処理を施し、画像処理が施された出力画像データを生成する。出力画像データは、出力部１２に逐次出力される。なお、画像処理ＩＣ１１が実施する画像処理の詳細については後述する。

出力部１２は、ＬＣＤ（Liquid Crystal Display）等のディスプレイ（例えば、車載モニタ）を備えており、画像処理ＩＣ１１によってオーバードライブ処理のなされた出力画像データを逐次表示する。

上記構成から成る画像処理装置１は、撮像部１０で得られた入力画像データに所定の画像処理を施して出力画像データを生成し、この出力画像データに応じた画像表示を行う。

次に、画像処理装置１で実施される画像処理の全体的な流れについて、図２を参照しながら説明する。

図２は、本発明に係る画像処理ＩＣ１１の詳細を示すブロック図である。画像処理ＩＣ１１は、撮像部１０で得られる入力画像を構成する各画素に対して、オーバードライブ処理を施すことにより、所望の出力画像を生成する半導体装置である。

図２に示すように、画像処理ＩＣ１１は、オーバードライブ処理部１００（強調処理部）と、オーバードライブ調整部２００（強調量調整部）とを集積化して成る。

オーバードライブ処理部１００は、画像処理ＩＣ１１の外部に設けられている装置より入力画像データであるＤＩを入力し、入力画像データにオーバードライブ処理を施す。そしてオーバードライブ処理により階調が強調された強調画像データを、出力画像データであるＤＯとして出力部１２へ出力する。

オーバードライブ調整部２００は、入力画像データに対して所定の評価処理（詳細は後述）を行い、評価結果を示す評価値αを算出する。そして評価値αを、オーバードライブ処理部１００へ与える。評価値αは、オーバードライブ処理部１００において、オーバードライブ処理における強調量の調整に用いられる。

オーバードライブ処理部１００が実施するオーバードライブ処理について、図３〜図５を用いて説明する。図３〜図５は、液晶ディスプレイの所定画素に印加される電圧と、電圧が印加された画素の階調変化とを示した模式図である。なお、各図の縦軸が階調値、横軸が経過時間を示している。

図中の太直線は、時間経過に伴う印加電圧の変化を示している。また図中の細曲線は、時間経過に伴う階調の変化を示している。また、図３で「フレームレート」と書かれた矢印の期間が、１フレームの画像を表示する時間を示している。

図３は、最小階調から最大階調へ変化させた場合、つまり黒から白へ変化させた場合を示している。図４は、オーバードライブ処理を用いず、第１の中間階調から、より階調値の高い第２の中間階調へ変化させた場合を示している。図５は、オーバードライブ処理を用いて、第１の中間階調から第２の中間階調へ変化させた場合を示している。

図３に示すように、階調の変化量が大きくなるほど前後フレーム間で印加電圧の差が大きくなるため、階調変化を示す細曲線が急激に変化し、１フレームで階調変化が完了している。これに対して図４では、階調の変化量が図３より小さいため、印加電圧の差も図３より小さくなっている。このため、液晶の特性により、階調変化がなだらかになり、階調変化が完了するのに３フレームを要している。

このように階調変化に遅延が発生するのを回避するため、図５に示すオーバードライブ処理を行う。図５に示すように、オーバードライブ処理では、所望の階調を得るために必要な印加電圧に加え過剰電圧（図中の上下矢印で示す電圧）を所定時間だけ液晶に与える。図５の例では、１フレーム期間だけ過剰電圧を与えている。これにより、階調変化が図４よりも急峻となり、１フレームで階調変化が完了している。

しかしながら、好適な過剰電圧の大きさ、つまり強調度合いは、入力画像データの画像特性に応じて異なる。例えば自然画とテキスト画とでは、好適な強調度合いが異なる。強調度合いが大きすぎると、表示画像の視認性が低下する等の問題が発生する。

このため本発明では、オーバードライブ調整部２００により、強調度合いの調整を行う。オーバードライブ調整部２００が実施する調整処理について、図６を用いて説明する。図６に示すように、オーバードライブ調整部２００は、前画像保持部２０１（記録部）と、評価部２０２と、減算器２０３とを含んでいる。

前画像保持部２０１は、入力画像データの入力を受けて、当該入力画像データをフレーム単位で記録する。これにより、最新の入力画像データ（第１入力画像データ）よりも１フレーム前の入力画像データ（第２入力画像データ）を保持する。１フレーム前の入力画像データ（以下、「前画像データ」という）は、評価部２０２、減算器２０３、及びオーバードライブ処理部１００へ与えられる（図中のＤＩ＿Ｐ）。

減算器２０３は、入力画像データと前画像データとから、両画像データのＲＧＢ値の差分を示す差分データを算出し、評価部２０２へ与える。なお前画像保持部２０１は、所定の周期で古い前画像データを破棄し、格納データの更新を行うものとする。

評価部２０２は、入力画像データ、前画像データ、及び差分データを用いて、所定の画像評価を行う。評価部２０２は、オーバードライブ処理部１００がオーバードライブ処理の対象とする画素（以下、「対象画素」という）と、対象画素を含むｍ×ｎ画素（ｍ及びｎは２以上の自然数）とについて、画像評価を行う。なおこの画像評価は、上記の３データの全てに対して行う形態でもよいし、或いは一部に対してのみ行う形態でもよい。

評価部２０２は、画像評価を行うことにより入力画像データの画像特性を検出し、画像種別を判別する。例えば、入力画像データがテキスト画、自然画、コンピュータグラフィックスのいずれであるか等を判別する。

より具体的には、例えばＪＰＥＧ形式の画像では、画像を所定のブロックに分割し、ブロック単位でＤＣＴ（Discrete Cosine Transform）変換を行い、空間領域から周波数領域へ変換している。このため、対象画素を含むｍ×ｎ画素、例えば対象画素を中心とする３×３の９画素について周波数成分を検出し、周波数成分の高低に基づいて、入力画像データの種別を判断する。

例えば自然画のように、画素毎にＲＧＢ値が変化しやすい画像ほど、周波数成分が高くなる傾向がある。逆にテキスト画のように、画素毎にＲＧＢ値が変化しにくい画像ほど、周波数成分が低くなる傾向がある。評価部２０２は、この傾向を利用して、入力画像データの種別を判別する。そして判別結果に応じた評価値αを、オーバードライブ処理部１００へ与える。

次に、評価値αを受けたオーバードライブ処理部１００が実施する処理について、図７及び図８を用いて説明する。図７は、第１の実施形態に係るオーバードライブ処理部１００の詳細を示している。また図８は、第２の実施形態に係るオーバードライブ処理部１００の詳細を示している。

図７に示すように、第１の実施形態のオーバードライブ処理部１００は、基準値算出部１０１と、係数算出部１０２と、乗算器１０３とを含んでいる。

基準値算出部１０１は、オーバードライブ処理を行うために必要となる過剰電圧（図５）を、入力画像データ（ＤＩ）と前画像データ（ＤＩ＿Ｐ）とより算出する。そして算出した値を、基準値として乗算器１０３へ出力する。なお、基準値の算出処理の詳細は、従来のオーバードライブ技術と同様であるため、ここでは説明を省略する。

係数算出部１０２は、評価部２０２より入力された評価値αに基づいて、係数βを算出する。係数βは、基準値算出部１０１により算出された基準値の増減を行うための数値であり、乗算器１０３へ出力される。

乗算器１０３は、基準値算出部１０１より入力された基準値と、係数算出部１０２より入力された係数βとを乗算する。これにより、基準値と係数βとの両方が反映された強調画像データが生成され、出力部１２へ出力される。

次に、第２の実施形態のオーバードライブ処理部１００について、図８を用いて説明する。図８に示すように、第２の実施形態のオーバードライブ処理部１００は、ＬＵＴマトリクス１０４と、選択信号生成部１０５（選択部）とを含んでいる。

ＬＵＴマトリクス１０４は、入力画像データに対して、ＬＵＴを用いた強調処理を行い、強調画像データを生成し、出力する。ＬＵＴマトリクス１０４は、ＬＵＴを格納した複数のレジスタ（図中のＬＵＴ１〜ＬＵＴＸ）と、セレクタとを含む。

レジスタは、画像処理装置１の生産時等に予め作成されたＬＵＴを格納する記録装置である。ＬＵＴは、輝度変換を行うための入出力対応テーブルであり、入力輝度に対する出力輝度を割り当てたテーブルである。ＬＵＴが異なれば、輝度変換の変換方法も異なる。変換方法には大きく分けて、線形変換と非線形変換がある。

通常、ＬＵＴのテーブル容量（格納数）は、階調分だけ存在する。例えば２５６階調なら２５６個のデータ格納数を持っている。このテーブルに、入力輝度に対する出力輝度を予め作成しておき、テーブルを参照することで輝度変換を行う。

セレクタは、複数のレジスタのいずれか１つを選択し、接続を行う。これによりＬＵＴマトリクス１０４は、接続されたレジスタに格納されているＬＵＴの読み出しが可能となる。セレクタは、いずれのレジスタを選択するかを、選択信号生成部１０５より送られてくるＳＥＬＥＣＴ信号に基づいて決定する。

選択信号生成部１０５は、評価部２０２より入力された評価値αに基づいてＳＥＬＥＣＴ信号を生成し、ＬＵＴマトリクス１０４へ与える。ＳＥＬＥＣＴ信号は、セレクタがＬＵＴ１〜ＬＵＴＸのいずれを接続するかを指定するための信号である。

これにより、評価値αが反映された強調画像データが生成され、出力部１２へ出力される。なお、評価値αの値に応じて出力すべきＳＥＬＥＣＴ信号を定めた情報は、予め画像処理装置１の生産時等に生成されて、選択信号生成部１０５に記録されているものとする。

以上に説明した本実施形態によれば、オーバードライブ処理を施す画素を含むｍ×ｎ画素の画像データに対して画像評価を行い、この評価結果に基づいて、階調を強調する度合いを動的に変化させる。

つまり、オーバードライブ処理における強調量（ひいては印加電圧）を、入力画像データの画像特性に応じて変化させる。これにより、入力画像データの画像特性に起因した、強調効果のばらつきを低減することができる。
＜その他の変形例＞

なお、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

また上記の実施形態では、係数算出部１０２により係数βを算出し、乗算器１０３により基準値に乗算しているが、基準値に加算するオフセット値を評価値αに基づいて算出し、オフセット値を加算器（不図示）により基準値に加算することにより、オーバードライブ処理における強調量の増減を行う形態でもよい。

また上記の実施形態では、評価部２０２が評価対処とする画素をｍ×ｎ画素（ｍ及びｎは２以上の自然数）としているが、ｍ及びｎのいずれか一方が１の値を取ることを許可する形態でもよい。例えば、１×５の画素を対象として、画像評価を行う形態でもよい。

また本発明の画像処理装置としては、例えばテレビジョン装置、ハードディスクレコーダ、ビデオカメラ等の装置のほか、インターネットを介して提供される画像コンテンツの再生機能を備えたパーソナルコンピュータ等を用いることができる。

本発明は、入力画像データにオーバードライブ処理を施して出力画像データを生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、入力画像データの画像特性に起因する強調効果のばらつきを低減する上で有用な技術である。

１ 画像処理装置
１０ 撮像部（画像入力部）
１１ 画像処理ＩＣ（半導体装置）
１２ 出力部
１００ オーバードライブ処理部（強調処理部）
１０１ 基準値算出部
１０２ 係数算出部
１０３ 乗算器
１０４ ＬＵＴマトリクス
１０５ 選択信号生成部（選択部）
２００ オーバードライブ調整部（強調量調整部）
２０１ 前画像保持部（記録部）
２０２ 評価部
２０３ 減算器

Claims (6)

1. 画像データを記録する記録部と、
   入力された第１入力画像データと、前記記録部に記録されている画像データであり前記第１入力画像データより先に入力された１フレーム前の入力画像データである第２入力画像データと、を用いて前記第１入力画像データに対して階調の強調処理を行い出力画像データを生成する強調処理部と、
   前記第２入力画像データに対して予め定められた画像評価を行い、前記画像評価の結果を示す評価値に基づいて前記強調処理における強調量を決定し、決定した前記強調量により前記強調処理を行うよう前記強調処理部へ指示する強調量調整部とを有し、
   前記強調量調整部は、前記画像評価において、前記強調処理部が強調処理の対象とする画素を含むｍ×ｎ画素（ｍ及びｎは２以上の自然数）を評価対象とし、前記ｍ×ｎ画素についてＤＣＴ（Discrete Cosine Transform）変換を行うことにより周波数成分を検出し、検出された周波数成分の高低に基づいて前記ｍ×ｎ画素の画像データの種別を判別し、前記強調処理部は前記判別結果に応じて前記強調処理における強調量を決定することを特徴とする画像処理回路。
2. 前記強調処理部は、前記強調量の基準値を前記第１入力画像データ及び前記第２入力画像データに基づいて算出する基準値算出部と、前記強調量の増減を行うための係数を前記評価値に基づいて決定する係数算出部とを備えることを特徴とする請求項１に記載の画像処理回路。
3. 前記強調処理部は、入力画像データと出力画像データとを関連付けて格納した複数のＬＵＴ（Look Up Table）と、前記強調処理において用いられる前記ＬＵＴを前記評価値に基づいて決定する選択部とを備えることを特徴とする請求項１に記載の画像処理回路。
4. 請求項１〜請求項３のいずれか１項に記載の画像処理回路を集積化したことを特徴とする半導体装置。
5. 請求項４に記載の半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、前記半導体装置から前記出力画像データが供給される出力部と、を有することを特徴とする画像処理装置。
6. 前記出力部は、液晶ディスプレイである請求項５に記載の画像処理装置。

Images