JP4470762B2 - 画像処理装置、表示コントローラ及び電子機器 - Google Patents

Description

本発明は、画像処理装置、表示コントローラ及び電子機器に関する。

携帯電話機等のカメラモジュールを内蔵する携帯型の電子機器においては、カメラモジュールが取り込んだ画像を液晶表示（Liquid Crystal Display：ＬＣＤ）パネル等の電気光学装置の画面に表示させることができるようになっている。この際、電気光学装置の画面サイズや、取り込んだ画像のデータを保存するメモリ容量を考慮して、取り込んだ画像のサイズが拡大されたり、縮小されたりする。

このような画像の拡大及び縮小を行う画像処理装置が、例えば特許文献１に開示されている。この画像処理装置では、処理前の画像の画素数を除数、処理後の画像の画素数を被除数として、画像の拡大又は縮小の倍率が求められる。そして、得られた倍率の逆数を累積加算することにより、処理後の画像の画素毎の線形補間のための補間係数が求められる。
特開平９−３２６９５８号公報

しかしながら、従来の画像処理装置では、処理後の画素を補間するための補間係数として、累積加算結果をそのまま用いていた。この補間係数を用いた画素の補間処理は、一種のフィルタ処理である。従って、累積加算結果をそのまま用いたとしても、所望のフィルタ特性関数を得ることができず、処理後の画像の劣化を招く場合がある。

また、拡大処理又は縮小処理により処理後の画像の空間周波数（Spatial frequency）が変化するため、フィルタ処理で得られるフィルタ特性関数もまた変化させる必要がある。それにもかかわらず、累積加算結果をそのまま画素の補間係数として用いると、拡大又は縮小の倍率によっては画質を劣化させてしまう。従って、拡大処理又は縮小処理後の画像の劣化を防止するためには、拡大又は縮小の倍率に応じて、画素の補間係数を変化させることが望ましい。

更にまた従来の画像処理装置では、処理前と処理後の画像の画素数を設定するようにしていたため、倍率の逆数を求めるために割り算器が必要となり、回路規模が大きくなる。

更にまた従来の画像処理装置では、倍率の逆数の累積加算結果を、画素カウンタのカウント値と比較する必要がある。そのため、電気光学装置の画面サイズの拡大に伴い、画素カウンタで用いる必要なビット数が増加してしまう。更に画素カウンタのビット数が定まってしまうため、画像サイズの上限が固定化されてしまい、電気光学装置の画面サイズの拡大に対応できなくなる場合がある。

更にまた従来の画像処理装置では、その制御を行うためのファームウェア（ソフトウェア）において、上述の処理前と処理後の画像の画素数の他に、画像の拡大又は縮小を指定する動作モードを設定する必要がある。このような画像処理装置を制御する場合、ファームウェアはエラー処理についても指定する必要があり、ファームウェアのコード量を増加させてしまう。

図１９（Ａ）に、従来の画像処理装置の制御を行うためのファームウェアのコードの一例を示す。

入力画像を指定するパラメータ、出力画像を指定するパラメータ、及び倍率の他に、拡大又は縮小を指定する動作のモードを指定する必要がある場合、画像処理装置に拡大処理を指示するフローと縮小処理を指示するフローのそれぞれに、エラー処理を盛り込む必要がある。このため、ファームウェアのコード量を増加させてしまう。

これに対して、画像処理装置に、画像の拡大又は縮小を指定する動作モードを設定する必要がない場合には、該画像処理装置を制御するファームウェアのコード量を大幅に削減できる。

図１９（Ｂ）に、画像の拡大又は縮小を指定する動作モードを設定する必要がない画像処理装置の制御を行うためのファームウェアのコードの一例を示す。

この場合、入力画像を指定するパラメータ、出力画像を指定するパラメータ、及び倍率のみを指定できればよいので、図１９（Ａ）に示すような各フローにエラー処理を盛り込むことなく、図１９（Ｂ）に示すようにファームウェアのコード量を小さくできる。

このように画像処理装置は、倍率を変更する度に動作モードを指定する必要がなく、設定された倍率に応じて画像の拡大及び縮小処理をシームレス（seamless）に実行できることが望ましい。

本発明は、以上のような技術的課題に鑑みてなされたものであり、その第１の目的とするところは、拡大又は縮小の倍率が変化しても処理後の画質の劣化を防止できる画像処理装置、表示コントローラ及び電子機器を提供することにある。

更に本発明の第２の目的は、回路規模を削減すると共に、拡大又は縮小を指定することなく、設定された倍率に応じて画像の拡大及び縮小処理を実行できる画像処理装置、表示コントローラ及び電子機器を提供することにある。

上記課題を解決するために本発明は、
入力画像の拡大及び縮小処理を行うための画像処理装置であって、
各係数メモリに、前記入力画像の拡大又は縮小処理後の画像の画素データを求めるための係数群が記憶される第１〜第Ｎ（Ｎは２以上の整数）の係数メモリと、
前記入力画像の画素データと前記第１〜第Ｎの係数メモリのいずれか１つからの係数群に含まれる係数との積和演算を行って前記拡大処理又は縮小処理後の画素データを生成するフィルタ演算部とを含み、
前記フィルタ演算部が、
前記入力画像を拡大する倍率又は前記入力画像を縮小する倍率に応じて前記第１〜第Ｎの係数メモリの中から選択された１つの係数メモリに記憶された係数を用いて前記拡大処理又は縮小処理後の画素データを生成する画像処理装置に関係する。

また本発明に係る画像処理装置では、
前記入力画像を拡大又は縮小する倍率の逆数が設定される倍率設定レジスタを含み、
前記倍率の逆数に基づき前記第１〜第Ｎの係数メモリの中から選択された１つの係数メモリから、前記倍率の逆数の累積加算結果の小数部の少なくとも一部に対応した係数を読み出すことができる。

また本発明に係る画像処理装置では、
前記入力画像又は処理後の画像の垂直同期信号に同期して、前記倍率の逆数に基づき前記第１〜第Ｎの係数メモリの中から１つの係数メモリを選択し、選択された係数メモリから前記係数を読み出すことができる。

上記のいずれかの発明における処理後の画素データは、一種のフィルタ処理後のデータである。そのため、拡大処理又は縮小処理により処理後の画像の空間周波数が変化するため、フィルタ処理で得られるフィルタ特性関数もまた変化させる必要がある。従って、拡大又は縮小の倍率に応じて係数を変化させないと、所望のフィルタ特性関数を得ることができず、処理後の画像の劣化を招く場合がある。上記のいずれかの発明によれば、拡大又は縮小の倍率に応じて、係数を変化させることができるので、処理後の画像の劣化を防止できる。

また本発明に係る画像処理装置では、
前記倍率の逆数を累積加算するアキュームレータを含み、
前記倍率の逆数の整数部が０のとき、前記入力画像に対して行われた拡大処理後の画像の画素データを出力し、
前記倍率の逆数の整数部が０ではないとき、前記入力画像に対して行われた縮小処理後の画像の画素データを出力し、
前記縮小処理時には、前記アキュームレータの累積加算結果に基づいて、前記入力画像を構成する画素単位に間引きすべきか否かを指定するバリッド信号を出力することができる。

本発明によれば、上記の効果に加えて、画像の拡大処理間及び縮小処理を行うために、倍率を求める目的で、処理前と処理後の画像の画素数を設定する必要がなくなるため、割り算器を省略する構成を採用できるようになる。更に、画像の拡大又は縮小処理を行うために累積加算される倍率の逆数の整数部に基づいて、画像の拡大処理又は縮小処理を行うことができる。従って、画像処理装置に対して拡大又は縮小を指定することなく、設定された倍率に応じて画像の拡大及び縮小処理をシームレスに実行できるようになる。このため、例えば図１９（Ｂ）に示すように、画像処理装置を制御するためのファームウェアのコード量を削減できるようになる。

更にまた縮小処理時において、画素単位に間引きすべきか否かを示すバリッド信号を出力できるようになるため、画像処理装置の後段の装置は、該バリッド信号に基づいて画素を容易に間引きすることが可能となる。そして、画像処理装置が縮小処理後の画素データを求めると共にバリッド信号を生成するため、縮小処理後の画素データを求めた後、別の手段でバリッド信号を生成する必要がなくなる。

また本発明に係る画像処理装置では、
前記入力画像の画素データと前記アキュームレータの出力とに基づいて積和演算を行って前記拡大処理又は縮小処理後の画素データを生成するフィルタ演算部を含み、
前記倍率の逆数の整数部が０の場合であって前記累積加算結果の整数部が０ではないとき、
前記フィルタ演算部の処理対象の画素データを更新し、該更新後の画素データと前記累積加算結果の小数部の少なくとも一部に対応した係数との積和演算を行って前記拡大処理後の画像の画素データを生成し、
前記倍率の逆数の整数部が０の場合であって前記累積加算結果の整数部が０のとき、
前記フィルタ演算部の処理対象の画素データを更新することなく、前回の画素データと前記累積加算結果の小数部の少なくとも一部に対応した係数との積和演算を行って前記拡大処理後の画像の画素データを生成し、
前記倍率の逆数の整数部が０でない場合であって前記累積加算結果の整数部が０ではないとき、
前記累積加算結果の整数部をデクリメントすると共に、前記フィルタ演算部の出力を更新せず、
前記倍率の逆数の整数部が０でない場合であって前記累積加算結果の整数部が０のとき、
前記倍率の逆数と前記アキュームレータの出力との加算結果の整数部をデクリメントすると共に、前記フィルタ演算部の処理対象の画素データと前記累積加算結果の小数部の少なくとも一部に対応した係数との積和演算を行って前記縮小処理後の画像の画素データを生成することができる。

本発明によれば、上記の効果に加えて、倍率の逆数の累積加算結果に基づく画像の拡大処理及び縮小処理を、ほぼ同じリソースで実現できるため、画像処理装置に対して拡大又は縮小を指定する必要がなく、設定された倍率に応じて画像の拡大及び縮小処理をシームレスに実行できる。

また本発明によれば、倍率の逆数の累積加算結果を、画素カウンタのカウント値と比較する必要がなくなる。そのため電気光学装置の画面サイズの拡大に伴い、画素カウンタで用いる必要なビット数が増加してしまう。更に画素カウンタのビット数が定まってしまうため、画像サイズの上限が固定化されてしまい、電気光学装置の画面サイズの拡大に対応できなくなる事態を回避できる。

また本発明は、
入力画像の画素データが入力される画素データ入力インタフェースと、
前記画素データ入力インタフェースを介して入力された前記入力画像の拡大又は縮小処理を行う第１のスケーラ回路と、
前記第１のスケーラ回路の処理後のデータを保存するフレームバッファと、
前記フレームバッファから読み出された画素データにより表される画像の拡大又は縮小処理を行う第２のスケーラ回路と、
前記第２のスケーラ回路の処理後のデータを出力するためのインタフェース処理を行う出力インタフェースとを含み、
前記第１及び第２のスケーラ回路の少なくとも１つは、
画像の水平方向の画素データに対して拡大又は縮小処理を行う水平方向画像処理部と、
前記画像の垂直方向の画素データに対して拡大又は縮小処理を行う垂直方向画像処理部とを含み、
前記水平方向画像処理部及び前記垂直方向画像処理部の少なくとも１つは、
上記のいずれか記載の画像処理装置を含む表示コントローラに関係する。

本発明によれば、拡大又は縮小の倍率が変化しても処理後の画質の劣化を防止できる表示コントローラを提供できる。

また本発明によれば、回路規模を削減すると共に、拡大又は縮小を指定することなく、設定された倍率に応じて画像の拡大及び縮小処理を実行できる表示コントローラを提供できる。

また本発明は、
表示パネルと、
上記記載の表示コントローラと、
前記表示コントローラによって供給される画素データに基づいて前記表示パネルを駆動する表示ドライバとを含む電子機器に関係する。

本発明によれば、拡大又は縮小の倍率が変化しても処理後の画質の劣化を防止できる電子機器を提供できる。

また本発明によれば、回路規模を削減すると共に、拡大又は縮小を指定することなく、設定された倍率に応じて画像の拡大及び縮小処理を実行できる電子機器を提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。

１． 画像処理装置
図１に、本実施形態における画像処理装置の構成の概要のブロック図を示す。

この画像処理装置１００は、入力画像の画素データに対し、画像の拡大処理及び縮小処理を行う。より具体的には、画像処理装置１００は、倍率設定レジスタ１０とシームレス画素処理部２０とを含む。倍率設定レジスタ１０には、入力画像を拡大又は縮小する倍率の逆数が設定される。シームレス画素処理部２０は、拡大又は縮小を指定されることなく、倍率設定レジスタ１０に設定された倍率の逆数に応じて、入力画像の画素データに対して拡大処理又は縮小処理を行い、処理後の画素データを出力する。

倍率設定レジスタ１０に設定された倍率の逆数の整数部が０のとき、シームレス画素処理部２０が、入力画像に対して行われた拡大処理後の画像の画素データを出力する。また倍率の逆数の整数部が０ではないとき、シームレス画素処理部２０が、入力画像に対して行われた縮小処理後の画像の画素データを出力する。

こうすることで、画像処理装置１００を制御するためのファームウェアは、倍率を指定する一方で、画像の拡大又は縮小を指定する動作モードを設定する必要がなくなる。そのため、図１９（Ｂ）に示すようにファームウェアのコード量を大幅に削減できる。

また画像処理装置１００のシームレス画素処理部２０は、倍率の逆数を累積加算するアキュームレータ３０を含むことができる。そして、シームレス画素処理部２０（アキュームレータ３０）は、縮小処理時において、アキュームレータ３０の累積加算結果に基づいて、入力画像を構成する画素単位に間引きすべきか否かを指定するバリッド信号validを出力することができる。

図２に、処理後の画素データとバリッド信号validとの関係の一例を示す。

バリッド信号validは、各画素の画素データ毎にＨレベル又はＬレベルに変化する。例えばバリッド信号validがＨレベルの期間の画素データが有効であることを示し、バリッド信号validがＬレベルの期間の画素データが無効であることを示す。従って、画像処理装置１００から、処理後の画素データ及びバリッド信号validを受けた回路では、バリッド信号validに基づいて、各画素の画素データについて、縮小処理によって間引きすべきか否かを判断できる。そのため、該回路では、バリッド信号validに基づいて、間引きすべきであると判断された画素データを、処理後の画素データから間引くことができる。

図１において、シームレス画素処理部２０は、更にフィルタ演算部４０を含むことができる。フィルタ演算部４０は、アキュームレータ３０の累積加算結果に対応したフィルタ係数を用いて、入力画像の画素データに対してフィルタ処理を行う。フィルタ処理後の画素データが、拡大又は縮小処理後の画素データとなる。即ち、フィルタ演算部４０は、拡大又は縮小処理後の画素の画素データに対して、１又は複数の画素間を補間するためにフィルタ処理を行う。そのため、シームレス画素処理部２０は、更に係数ルックアップテーブル（look-up table：ＬＵＴ）５０を含む。

係数ＬＵＴ５０には、フィルタ処理を行うためのフィルタ係数を予め設定しておく。そして、アキュームレータ３０の累積加算結果に対応したフィルタ係数が係数ＬＵＴ５０から読み出されるようにすることで、フィルタ演算部４０のフィルタ処理後の画像の画質劣化を防止できるようになる。

係数ＬＵＴ５０は、第１〜第Ｎ（Ｎは２以上の整数）の係数メモリ５２−１〜５２−Ｎを含む。各係数メモリに、入力画像の拡大又は縮小処理後の画像の画素データを求めるための係数が記憶される。そして倍率設定レジスタ１０に設定された倍率の逆数に応じて、第１〜第Ｎの係数メモリ５２−１〜５２−Ｎのいずれか１つの係数がフィルタ演算部４０に供給される。より具体的には、倍率の逆数に基づき第１〜第Ｎの係数メモリ５２−１〜５２−Ｎの中から選択された１つの係数メモリから、倍率の逆数の累積加算結果の小数部の少なくとも一部に対応した係数を読み出す。従って、フィルタ演算部４０は、入力画像を拡大する倍率又は入力画像を縮小する倍率に応じて第１〜第Ｎの係数メモリ５２−１〜５２−Ｎの中から選択された１つの係数メモリに記憶された係数を用いて拡大処理又は縮小処理後の画素データを生成することができる。

なお図１では、倍率設定レジスタ１０の設定値に応じて係数ＬＵＴ５０の第１〜第Ｎの係数メモリ５２−１〜５２−Ｎのいずれか１つが選択されるものとしているが、これに限定されるものではない。例えば係数メモリ選択レジスタを設け、係数メモリ選択レジスタの設定値に応じて係数ＬＵＴ５０の第１〜第Ｎの係数メモリ５２−１〜５２−Ｎのいずれか１つが選択されてもよい。

１．１ 画像の拡大処理と縮小処理
ここで本実施形態における画像の拡大処理と縮小処理の内容について、具体的に説明する。

図３に、本実施形態における画像の拡大処理及び縮小処理の説明図を示す。

図３では、画像の水平方向（水平走査方向）に元画像の画素が並ぶ場合に、これらの画素に対して処理を行う場合について説明するが、画像の垂直方向（垂直走査方向）に元画像の画素が並ぶ場合に、これらの画素に対して処理を行う場合も同様である。

図３では、各画素間のドットピッチが正規化された状態で、元画像の水平方向の画素Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４、Ｐ_５、・・・が並ぶ。即ち、元画像の水平方向の画素の各画素間の距離が１であるものとする。

拡大処理においては、元画像の画素Ｐ_１、Ｐ_２、・・・に対し、拡大処理後の画像の画素Ｐ_Ｚ１、Ｐ_Ｚ２、・・・が生成される。拡大処理後の画像の画素Ｐ_Ｚ１、Ｐ_Ｚ２、・・・は、間引きされることはない。

一方、縮小処理においては、元画像の画素Ｐ_１、Ｐ_２、・・・に対し、拡大処理後の画像の画素Ｐ_Ｓ１、Ｐ_Ｓ２、・・・が生成される。縮小処理後の画像の画素Ｐ_Ｓ１、Ｐ_Ｓ２、・・・のいずれかは間引きされるため、処理後の画像の画素Ｐ_Ｓ１、Ｐ_Ｓ２、・・・のそれぞれに対して間引きすべきか否かが指定される。この結果、図２に示すバリッド信号validが生成される。

ここで、元画像を１．５倍に拡大処理する場合について説明する。この場合、倍率の逆数が２／３（＝１／１．５）となる。

例えば、拡大処理後の画像の画素Ｐ_Ｚ１を元画像の画素Ｐ_１と一致させる。即ち、画素Ｐ_ｚ１の位置が０となり、画素Ｐ_ｚ１の画素データは、元画像の画素Ｐ_１の画素データとなる。この画素データは、ＲＧＢの各色成分の階調データを含むデータであったり、輝度成分及び２つの色差成分を含むデータであったりする。

その後、画素Ｐ_Ｚ１の付与値に２／３を累積加算していく。

この結果、まず画素Ｐ_Ｚ２の付与値から１を減算した値が、画素Ｐ_ｚ２の位置となる。即ち、画素Ｐ_ｚ２の位置は、元画像の画素Ｐ_１、Ｐ_２の間となる。このため、画素Ｐ_Ｚ２は補間画素として、その画素データは、例えば画素Ｐ_１、Ｐ_２の画素データを補間した値となる。

図４に、補間画素の画素データの説明図を示す。

図４では、元画像に対する処理後の補間画素Ｐ_ｃの位置が元画像の画素Ｐ_ａ、Ｐ_ｂの間となった場合に補間画素Ｐ_ｃの画素データを求めるものとする。補間画素Ｐ_ｃの位置が、画素Ｐ_ａから距離ｄ（０≦ｄ≦１）だけ離れているものとすると、画素Ｐ_ａ、Ｐ_ｂ間のドットピッチが正規化されているため、補間画素Ｐ_ｃの位置は画素Ｐ_ｂから距離（１−ｄ）だけ離れることになる。

ここで、画素Ｐの画素データをＤ（Ｐ）と表すと、補間画素Ｐ_ｃの画素データＤ（Ｐ_ｃ）は、次の式で求められる。

Ｄ（Ｐ_ｃ）＝（１−ｄ）×Ｄ（Ｐ_ａ）＋ｄ×Ｄ（Ｐ_ｂ） ・・・（１）
従って、補間画素の画素データは、補間係数としてのｄと元画像の画素データとの積和演算により求められる。

なお、ドットピットが正規化されているため、距離ｄは、補間画素Ｐ_ｃの位置を求めるために逆数の倍率を累積加算した結果の小数部に相当する。この小数部は、画素データの補間処理を行う際に、補間係数に関連付けられる。

ここでは、処理後の画像の画素の画素データが、元画像の２点の画素の画素データで補間されるものとして説明するが、元画像の３点以上の画素の画素データで補間されてもよい。

このように補間画素の画素データが求められるので、図３における画素Ｐ_ｚ２の画素データＤ（Ｐ_ｚ２）は、元画像の画素Ｐ１、Ｐ２の画素データから、次の式で求められる。

Ｄ（Ｐ_Ｚ２）＝（１−２／３）×Ｄ（Ｐ_１）＋２／３×Ｄ（Ｐ_２） ・・・（２）
続いて、画素Ｐ_ｚ３の付与値は、２／３＋２／３＝１＋１／３となるので、画素Ｐ_ｚ３の画素データＤ（Ｐ_ｚ３）は、元画像の画素Ｐ２、Ｐ３の画素データから次の式で求められる。

Ｄ（Ｐ_Ｚ３）＝（１−１／３）×Ｄ（Ｐ_２）＋１／３×Ｄ（Ｐ_３） ・・・（３）
以降、同様にして、画素Ｐ_ｚ４の画素データは、元画像の画素Ｐ_３の画素データとなり、画素Ｐ_ｚ５の画素データは元画像の画素Ｐ_３、Ｐ_４の画素データで補間された値となる。

以上のように、画素間のドットピッチを正規化した状態で、元画像の画素の画素データと、倍率の逆数を累積加算した結果の小数部に対応した係数とに基づいて、拡大処理後の画像の画素データを生成することができる。

次に、元画像を２／３倍に縮小処理する場合について説明する。この場合、倍率の逆数が１．５（＝１／（２／３））となる。

例えば、縮小処理後の画像の画素Ｐ_Ｓ１を元画像の画素Ｐ_１と一致させる。即ち、画素Ｐ_Ｓ１の位置が０となり、画素Ｐ_Ｓ１の画素データは、元画像の画素Ｐ_１の画素データとなる。

その後、画素Ｐ_Ｓ１の付与値を１だけ減算、若しくは（１．５−１）を加算していく。縮小処理の場合、逆数の倍率が１より大きい値となるため、処理後の画素の付与値をデクリメントする毎に、次の画素間で補間される。その結果、処理後の画素の付与値の整数部が０のとき、当該処理後の画素を有効とし、上述のように元画像の画素の画素データで補間される。そして、次の補間画素を求めるために、当該画素の付与値に（１．５−１）を加算する。

一方、処理後の画素の付与値の整数部が１のとき、当該処理後の画素を無効とし、次の補間画素を求めるために、当該画素の付与値を１だけ減算する。

従って、図３では、まず画素Ｐ_Ｓ１の付与値が０で、当該画素が有効となるため、画素Ｐ_Ｓ１の付与値に（１．５−１）が加算される。この結果、画素Ｐ_Ｓ２の付与値が０．５となり、この値が画素Ｐ_Ｓ２の位置となる。即ち、画素Ｐ_Ｓ２の位置は、元画像の画素Ｐ_２、Ｐ_３の間となる。このため、画素Ｐ_Ｓ２は補間画素として、その画素データは、例えば画素Ｐ_２、Ｐ_３の画素データを補間した値となる。ここでは、図４において、ｄが０．５である場合に相当する。

続いて、画素Ｐ_Ｓ３の付与値が、１．０（＝０．５＋１．５−１）となる。この付与値の整数部が１となるため、画素Ｐ_Ｓ３は間引きされる。

そして、画素Ｐ_Ｓ４の付与値が、０．０（＝１．０−１）となる。このため、画素Ｐ_Ｓ４が有効となる。

以上のように、画素間のドットピッチを正規化した状態で、処理後の画素の付与値をデクリメントしながら、倍率の逆数を累積加算していくことで、縮小処理後の画像の画素データを生成すると共に処理後の画素データを間引きすべきか否かを判断することができる。

本実施形態では、以上のような補間を行うための係数群が、倍率（又はその逆数）に応じて各係数メモリに予め記憶されており、倍率設定レジスタ１０の設定値に応じて選択された係数メモリの中から、累積加算結果の小数部の少なくとも一部に対応した係数が読み出され、フィルタ演算部４０に供されるようになっている。

以下では、このような画像の拡大処理及び縮小処理を実現する画像処理装置１００のハードウェア構成例について説明する。

１．２ アキュームレータ
図５に、図１のアキュームレータ３０の構成例のブロック図を示す。

ここでは、図６に示すように倍率設定レジスタ１０が１２ビット構成であり、上位３ビットに整数部のデータが設定され、下位９ビットに小数部のデータが設定されるものとする。

アキュームレータ３０は、モード判定部６０を含む。モード判定部６０は、倍率設定レジスタ１０に設定された１２ビットのデータのうち上位３ビットの設定値に応じたモード信号MODEを出力する。より具体的には、モード判定部６０は、該上位３ビットの設定値が０のとき、モード信号MODEをＬレベルにして、拡大処理を行う拡大処理モードを指定する。一方、モード判定部６０は、該上位３ビットの設定値が０ではないとき、モード信号MODEをＨレベルにして、縮小処理を行う縮小処理モードを指定する。

またアキュームレータ３０は、１２ビット構成の倍率アキュームレータレジスタ６２を含む。この倍率アキュームレータレジスタ６２の設定値は、初期化時には例えば「００００００００００００」に設定されているものとする。倍率アキュームレータレジスタ６２には、図示しない画素クロック又はラインクロックの変化点に同期して、倍率の逆数の累積加算結果が取り込まれる。画素クロックは、水平方向に並ぶ画素単位のクロックであり、ラインクロックは、１水平走査期間を１ラインとするライン単位のクロックである。

加算器６４は、倍率設定レジスタ１０に設定された倍率の逆数と倍率アキュームレータレジスタ６２に保存された値HACCum[8:0]とを加算して、AccAddData[11:0]として出力する。AccAddData[9]とモード信号MODEとの論理和演算結果が、シフトイネーブル信号ShiftEnableとして出力される。従って、縮小処理モードでは、シフトイネーブル信号ShiftEnableがＨレベルに固定される。このシフトイネーブル信号ShiftEnableは、フィルタ演算部４０の処理対象となる画素データを更新するためのシフト動作のイネーブル制御のための信号である。従って、拡大処理モードでは、累積加算結果であるHACCum[11:0]の整数部が０ではないとき、シフトイネーブル信号ShiftEnableがＨレベルとなって、フィルタ演算部の処理対象の画素データを更新し、HACCum[11:0]の整数部が０のとき、シフトイネーブル信号ShiftEnableがＬレベルとなって、フィルタ演算部の処理対象の画素データを更新しない。

AccAddData[8:0]の９ビットデータは、上位ビット付加部６６において「０００」が上位３ビットに付加されて１２ビットデータとして出力される。

一方、倍率アキュームレータレジスタ６２に保存された値HACCum[11:9]は、下位ビット付加部６８において、「０００００００００」が下位ビットに付加されて１２ビットデータとして出力される。この１２ビットデータは、加算器７０において、AccAddData[11:0]と加算された後、デクリメンタ７２において、加算器７０の加算結果の整数部の値がデクリメントされて、セレクタ７４に供給される。

倍率アキュームレータレジスタ６２に保存された値HACCum[11:0]は、デクリメンタ７６において、HACCum[11:0]の整数部の値がデクリメントされてセレクタ７４に供給される。

整数部解析部７８は、倍率アキュームレータレジスタ６２に保存された値HACCum[11:9]が０か否かを検出する。より具体的には整数部解析部７８が、HACCum[11:9]が０であることを検出したときＨレベルの検出信号を出力し、HACCum[11:9]が０ではないことを検出したときＬレベルの検出信号を出力する。この検出信号とモード信号MODEの反転信号との論理和演算結果が、バリッド信号validとして出力される。従って、拡大処理モードでは、バリッド信号validがＨレベルに固定される。なおHACCum[8:6]が、係数ＬＵＴ５０の各係数メモリのアドレスLUTadrとなる。図５では、３ビットのみが係数ＬＵＴ５０の各係数メモリの読み出しアドレスとして生成されるが、このビット数に限定されるものではない。従って、累積加算結果の小数部の少なくとも一部に基づいて係数ＬＵＴ５０の各係数メモリの読み出しアドレスを生成できればよい。

また整数部解析部７８からの検出信号は、セレクタ７４の選択制御信号となる。即ち、セレクタ７４は、整数部解析部７８の検出信号がＬレベルのとき、デクリメンタ７６の出力を選択出力する。一方、セレクタ７４は、整数部解析部７８の検出信号がＨレベルのとき、デクリメンタ７２の出力を選択出力する。従って、縮小処理モードでは、HACCum[11:9]が０でなくなるまで、倍率アキュームレータレジスタ６２に保存された値の整数部をデクリメントしていくことになる。このようなセレクタ７４の出力は、セレクタ８０に供給される。

セレクタ８０は、モード信号MODEがＬレベルのとき、上位ビット付加部６６の出力を選択出力する。セレクタ８０は、モード信号MODEがＨレベルのとき、セレクタ７４の出力を選択出力する。そしてセレクタ８０の出力が、倍率アキュームレータレジスタ６２に保存される。

次に、図５に示すアキュームレータ３０の動作について説明する。

図７に、図５のアキュームレータ３０の拡大処理モードの動作を模式的に示す。

図７において、図５と同一部分には同一符号を付し適宜説明を省略する。

倍率設定レジスタ１０に設定された倍率の逆数の整数部が０のとき、上述のようにモード信号MODEがＬレベルとなる。加算器６４は、倍率の逆数と倍率アキュームレータレジスタ６２に保存された値HACCum[8:0]とを加算する。その加算結果の第９ビット（HACCum[9]）により、シフトイネーブル信号ShiftEnableが生成される。HACCum[9]に基づいてシフトイネーブル信号ShiftEnableを生成するのは、拡大処理モードでは累積加算される倍率の逆数が１より小さいため、累積加算結果の整数部の最下位ビットを参照すれば、累積加算結果の整数部が０であるか否かを判断できるからである。

なお、加算結果は、再び倍率アキュームレータレジスタ６２に保存される。そして、倍率アキュームレータレジスタ６２に保存された値のうちHACCum[8:6]が、係数ＬＵＴ５０の各係数メモリに設定された係数を指定するためのアドレスLUTadrとして出力される。係数ＬＵＴ５０は、例えば倍率設定レジスタ１０の設定値に対応した係数メモリから、該アドレスLUTadrにより指定された係数を出力する。

図８に、図５のアキュームレータ３０の縮小処理モードの動作を模式的に示す。

図８において、図５と同一部分には同一符号を付し適宜説明を省略する。

倍率設定レジスタ１０に設定された倍率の逆数の整数部が０ではないとき、上述のようにモード信号MODEがＨレベルとなる。加算器６４、７０により、倍率の逆数と倍率アキュームレータレジスタ６２に保存された値HACCum[11:0]とが加算される。この加算結果の整数部の値は、デクリメンタ７２によりデクリメントされる。一方、倍率アキュームレータレジスタ６２に保存された値HACCum[11:0]の整数部の値は、デクリメンタ７６によりデクリメントされる。そして、倍率アキュームレータレジスタ６２に保存された値HACCum[11:9]が０か否かに応じてデクリメンタ７２、７６のいずれかの出力が選択されて、再び倍率アキュームレータレジスタ６２に取り込まれる。

倍率アキュームレータレジスタ６２のHACCum[8:6]は、係数ＬＵＴ５０の各係数メモリのアドレスLUTadrとして出力される。また、倍率アキュームレータレジスタ６２のHACCum[11:9]に基づいて、バリッド信号validが出力される。

従って、縮小処理モードでは、倍率アキュームレータレジスタ６２における累積加算結果に基づいて、画素単位に間引きすべきか否かを指定するバリッド信号validを出力することができる。

１．３ 係数ＬＵＴ
図９に、図１の係数ＬＵＴ５０の構成例のブロック図を示す。但し、図９において、図１と同一部分には同一符号を付し、適宜説明を省略する。

係数ＬＵＴ５０は、アドレス生成回路１２０と、係数記憶部１２２と、ＬＵＴ１２４と、アドレスデコーダ１２６とを含むことができる。アドレス生成回路１２０は、倍率設定レジスタ１０の設定値に基づいて、係数記憶部１２２のアドレスを生成する。係数記憶部１２２は、複数の記憶領域を有し、各記憶領域には第１〜第Ｎの係数メモリ５２−１〜５２−Ｎのいずれかの係数群が記憶されている。アドレス生成回路１２０は、係数記憶部１２２の複数の記憶領域のうちいずれか１つの記憶領域の先頭アドレスであって、倍率設定レジスタ１０に設定された倍率の逆数に対応したアドレスを生成する。より具体的には、アドレス生成回路１２０は、入力画像又は処理後の画像の１フレームの先頭を示す垂直同期信号VSYNCに同期して、上記のアドレスを生成する。

アドレス生成回路１２０からのアドレスにより指定される係数記憶部１２２の記憶領域に記憶される、第１〜第Ｎの係数メモリ５２−１〜５２−Ｎのいずれかの記憶情報は、ＬＵＴ１２４に展開される。アドレスデコーダ１２６は、アキュームレータ３０からのアドレスLUTadrをデコードし、ＬＵＴ１２４のいずれかの記憶領域を指定する。例えばＬＵＴ１２４は例えば８（＝２^３）組の係数群を保持し、アドレスデコーダ１２６により指定された係数群をフィルタ演算部４０に対して出力する。

こうすることで、係数ＬＵＴ５０は、倍率設定レジスタ１０に設定された倍率の逆数に応じて、第１〜第Ｎの係数メモリ５２−１〜５２−Ｎのいずれか１つの係数メモリのうち、アキュームレータ３０からのアドレスLUTadrで指定された係数をフィルタ演算部４０に出力できる。しかも、図１０に示すように、入力画像又は処理後の画像の１フレーム単位で、ＬＵＴ１２４の記憶情報を切り換えることができる。

従って、倍率の変化に伴い画像の空間周波数が変化した場合であっても、該倍率の変化に応じて係数メモリを変更できるので、フィルタ処理で得られるフィルタ特性関数もまた変化させることが可能となる。そのため、拡大処理又は縮小処理後の画像の劣化を防止できる。

なお図１０では、ＬＵＴ１２４が８組の係数群を保持するものとして説明したが、本実施形態が組数に限定されるものではないことは言うまでもない。

１．４ フィルタ演算部
図１１に、図１のアキュームレータ３０、係数ＬＵＴ５０及びフィルタ演算部４０の構成例のブロック図を示す。

図１１において、図１、図５及び図９と同一部分には同一符号を付し、適宜説明を省略する。図１１では、フィルタ演算部４０が４タップのフィルタ処理を行うものとするが、本実施形態がタップ数に限定されるものではない。

フィルタ演算部４０は、データバッファと４つのフリップフロップ（Flip-Flop：ＦＦ）とを含む。４つのフリップフロップは直列接続されたシフトレジスタを構成し、各フリップフロップにはクロックＣＬＫ（画素クロック又はラインクロック）が共通に供給される。そして、アキュームレータ３０からのシフトイネーブル信号ShiftEnableがＨレベルになると、データバッファから画素データを読み出し、クロックＣＬＫに同期してシフト動作を行う。

各フリップフロップの出力は、それぞれ乗算器に入力される。係数ＬＵＴ５０（より具体的には図９のＬＵＴ１２４）は、アキュームレータ３０からのアドレスLUTadrに対応した係数群ｈ０、ｈ１、ｈ２、ｈ３を出力する。アドレスLUTadrに対応して出力された係数群の各係数は、各乗算器に供給される。

各乗算器の出力は加算器に供給され、該加算器の出力が補間後の画素データとなる。この補間後の画素データは、拡大処理又は縮小処理後の画素データである。

ここで、各フリップフロップの出力をｇ０、ｇ１、ｇ２、ｇ３、加算器の出力をＤ（Ｐ）とすると、Ｄ（Ｐ）は次式で表される。

Ｄ（Ｐ）＝ｇ０×ｈ０＋ｇ１×ｈ１＋ｇ２×ｈ２＋ｇ３×ｈ３ ・・（４）
そして、画像処理装置１００は、倍率設定レジスタ１０に設定された倍率の逆数の整数部が０の場合には入力画像の画素データに対して拡大処理を行い、該倍率の逆数の整数部が０ではない場合には入力画像の画素データに対して縮小処理を行うことができる。

図１２に、本実施形態における画像処理装置１００の拡大処理の一例の説明図である。

図１２では、拡大の倍率が２．５（倍率の逆数が０．４）の例を示している。拡大処理では、処理後のすべての画素が有効である。

即ち、画像処理装置１００は、倍率の逆数の整数部が０の場合であってアキュームレータ３０の累積加算結果の整数部が０ではないとき、図５及び図７で説明したようにシフトイネーブル信号ShiftEnableをＨレベルに変化させて、図１１のフィルタ演算部４０のシフトレジスタのシフト動作を行わせる。こうすることで、フィルタ演算部４０の処理対象の画素データを更新できる。そして、該更新後の画素データとアキュームレータ３０の累積加算結果の小数部の少なくとも一部（図７のHACCum[8:6]）に対応した係数との積和演算を行って拡大処理後の画像の画素データを生成することができる。

また画像処理装置１００は、倍率の逆数の整数部が０の場合であってアキュームレータ３０の累積加算結果の整数部が０のとき、図５及び図７で説明したようにシフトイネーブル信号ShiftEnableをＬレベルに変化させて、図１１のフィルタ演算部４０のシフトレジスタのシフト動作をディセーブル状態に設定する。こうすることで、フィルタ演算部４０の処理対象の画素データを更新させずに済む。そして、フィルタ演算部４０で前回用いられた画素データとアキュームレータ３０の累積加算結果の小数部の少なくとも一部（図７のHACCum[8:6]）に対応した係数との積和演算を行って拡大処理後の画像の画素データを生成することができる。

従って、図１２では、累積加算結果が１．２、１．０の場合（Ｅ１、Ｅ２、Ｅ３、Ｅ４）に、シフトイネーブル信号ShiftEnableをＨレベルに変化させ、シフト動作後の画素データに対して補間後の画素データを生成している。そして、その他の場合に、シフトイネーブル信号ShiftEnableをＬレベルに変化させ、前回の処理対象の画素データに対して、新たな補間画素の位置に対応した係数を用いて補間後の画素データを生成している。

図１３に、本実施形態における画像処理装置１００の縮小処理の一例の説明図である。

図１３では、縮小の倍率が０．４（倍率の逆数が２．５）の例を示している。縮小処理では、シフトイネーブル信号ShiftEnableは常にＨレベルとなる。

即ち、画像処理装置１００は、倍率の逆数の整数部が０でない場合であってアキュームレータ３０の累積加算結果の整数部が０ではないとき、バリッド信号validをＬレベル変化させて当該処理後の画素を間引き対象とし、図８に示すようにデクリメンタ７６により累積加算結果（その整数部）をデクリメントするのみで、フィルタ演算部４０の出力を更新しない。

また画像処理装置１００は、倍率の逆数の整数部が０でない場合であってアキュームレータ３０の累積加算結果の整数部が０のとき、倍率の逆数と累積加算結果（アキュームレータ３０の出力）との加算結果の整数部をデクリメンタ７２によりデクリメントする。そして、フィルタ演算部４０の処理対象の画素データと累積加算結果の小数部の少なくとも一部に対応した係数との積和演算を行って縮小処理後の画像の画素データを生成することができる。

従って、図１３では、累積加算結果が１．５、２．０、１．０の場合（Ｆ１、Ｆ２、Ｆ３）に、バリッド信号validをＬレベルに変化させる。そして、その他の場合、バリッド信号validをＨレベルに変化させ、シフト動作後の画素データに対して補間後の画素データを生成している。

以上のように、本実施形態における画像処理装置１００は、倍率設定レジスタ１０に設定された倍率の逆数に応じて、入力画像を拡大処理又は縮小処理した画像の画素データを生成することができる。そしてこの画像処理装置１００は、倍率の逆数を求めるための割り算器を不要にできる。また、倍率の逆数の累積加算結果を、画素カウンタのカウント値と比較する必要がなくなる。そのため、画素カウンタで用いるビット数が増加してしまうことがなくなり、画素カウンタのビット数に制限されることなく、電気光学装置の画面サイズの拡大に対応できるようになる。

２． 表示コントローラ
次に、本実施形態における画像処理装置１００が適用される表示コントローラについて説明する。

図１４に、本実施形態における画像処理装置１００が適用される表示コントローラの構成例のブロック図を示す。

表示コントローラ２００は、カメラインタフェース（Interface：Ｉ／Ｆ）（広義には画素データ入力Ｉ／Ｆ）２１０と、第１及び第２のスケーラ回路２２０、２３０と、フレームバッファ２４０と、ＲＧＢＩ／Ｆ（広義には出力Ｉ／Ｆ）２５０とを含む
カメラＩ／Ｆ２１０には、入力画像の画素データが入力される。より具体的には、カメラＩ／Ｆ２１０には、ＣＣＤカメラやＣＭＯＳカメラを内蔵するカメラモジュールからの画像の画素データが入力される。そしてカメラＩ／Ｆ２１０は、該画素データのインタフェース処理（カメラモジュールとの間の受信処理や、信号のバッファリング）を行い、インタフェース処理後の画素データを第１のスケーラ回路２２０に出力する。

第１のスケーラ回路２２０は、カメラＩ／Ｆ２１０からの入力画像の画素データに対して拡大又は縮小処理を行う。

フレームバッファ２４０は、例えばＲＧＢＩ／Ｆ２５０に接続される表示ドライバが駆動する電気光学装置の少なくとも１フレーム（１画面）分の画素データを記憶する。第１のスケーラ回路２２０の処理後のデータは、このフレームバッファ２４０に保存される。

第２のスケーラ回路２３０は、フレームバッファ２４０から読み出された画素データにより表される画像の拡大又は縮小処理を行う。

ＲＧＢＩ／Ｆ２５０は、第２のスケーラ回路２３０の処理後のデータを出力するためのインタフェース処理を行う。ＲＧＢＩ／Ｆ２５０は、第２のスケーラ回路２３０からの画素データのインタフェース処理（表示ドライバとの間の送信処理や、信号のバッファリング）を行い、インタフェース処理後のＲＧＢ形式の画素データを図示しない表示ドライバに出力する。ＲＧＢＩ／Ｆ２５０は、例えば同期信号発生回路を含み、電気光学装置を駆動するための表示用の同期信号（１フレームの走査期間である１垂直走査期間を規定する垂直同期信号VSYNC、１水平走査期間を規定する水平同期信号HSYNC、ドットクロックDCLK等）を生成し、該同期信号を表示ドライバに供給することができる。このときＲＧＢＩ／Ｆ２５０は、各フレームの画素データを垂直同期信号に同期させ、且つ各画素データをドットクロックに同期させて出力する。

そして、第１及び第２のスケーラ回路２２０、２３０の少なくとも１つは、画像の水平方向の画素データに対して拡大又は縮小処理を行う水平方向画像処理部と、画像の垂直方向の画素データに対して拡大又は縮小処理を行う垂直方向画像処理部とを含む。更に水平方向画像処理部及び垂直方向画像処理部の少なくとも１つは、本実施形態における画像処理装置１００を含む。

なお表示コントローラ２００は、第２のスケーラ回路２３０の出力をＹＵＶ形式に変換した画素データを、ＲＧＢ形式の画素データと同様に出力できるようになっている。そのため、表示コントローラ２００は、ＹＵＶＩ／Ｆ２７０を含むことができる。ＹＵＶＩ／Ｆ２７０は、第２のスケーラ回路２３０からの画素データのインタフェース処理（ＣＲＴ装置との間の送信処理や、信号のバッファリング）を行い、インタフェース処理後のＹＵＶ形式の画素データを図示しないＣＲＴ装置に出力する。

また表示コントローラ２００は、フレームバッファ２４０の保存データに対して圧縮処理又は伸張処理を行うＪＰＥＧ回路２８０を含むことができる。ＪＰＥＧ回路２８０は、フレームバッファ２４０の保存データを読み出して、ＪＰＥＧ規格に従った圧縮処理又は伸張処理を行い、処理後のデータをフレームバッファ２４０に書き戻すことができる。

更に表示コントローラ２００は、ホストＩ／Ｆ２９０を含むことができる。ホストＩ／Ｆ２９０には、図示しないホストからのデータが入力される。このとき、ホストＩ／Ｆ２９０は、インタフェース処理（ホストとの間の受信処理や、信号のバッファリング）を行い、インタフェース処理後のデータをフレームバッファ２４０に供給する。また、フレームバッファ２４０から読み出されたデータを、ホストＩ／Ｆ２９０を介してホストに供給できるようになっている。この場合、ホストＩ／Ｆ２９０は、インタフェース処理（ホストとの間の送信処理や、信号のバッファリング）を行い、インタフェース処理後のデータをホストに出力する。

図１５に、図１４の第１のスケーラ回路２２０の構成例のブロック図を示す。

図１５において、図１４と同一部分には同一符号を付し、適宜説明を省略する。図１５の第１のスケーラ回路２２０の各部は、システムクロックに同期して動作する。カメラＩ／Ｆ２１０を介して外部入力データとして入力された画素データは、カメラＩ／Ｆ２１０からの外部クロックに同期して入力バッファ３００にバッファリングされる。

クロック生成回路３０２は、システムクロックをピクセルシフトに基づいてマスク制御されるシフトクロックと、該システムクロックをピクセルバリッドに基づいてマスク制御されるピクセルクロックとを生成する。

第１のスケーラ回路２２０は、入力画像の垂直方向の画素データに対して拡大又は縮小処理を行う垂直方向画像処理部３１０と、該入力画像の水平方向の画素データに対して拡大又は縮小処理を行う水平方向画像処理部３２０とを含む。

垂直方向画像処理部３１０は、垂直倍率設定レジスタ（図示せず）と、垂直スケーリング回路３１２と、垂直アキュームレータ回路３１４とを含む。垂直倍率設定レジスタ（図示せず）は、図１の倍率設定レジスタ１０の機能を有する。垂直スケーリング回路３１２は、図１の係数ＬＵＴ５０及びフィルタ演算部４０の機能を有する。垂直アキュームレータ回路３１４は、図１のアキュームレータ３０の機能を有する。図示しないホストが、垂直倍率設定レジスタに、画像の垂直方向の倍率の逆数を設定する。また該ホストが、垂直スケーリング回路３１２の係数ＬＵＴに含まれる係数記憶部に、予め複数の倍率（又はその逆数）に対応した複数の係数メモリの記憶情報を設定する。

水平方向画像処理部３２０は、水平倍率設定レジスタ（図示せず）と、水平スケーリング回路３２２と、水平アキュームレータ回路３２４とを含む。水平倍率設定レジスタ（図示せず）は、図１の倍率設定レジスタ１０の機能を有する。水平スケーリング回路３２２は、図１の係数ＬＵＴ５０及びフィルタ演算部４０の機能を有する。水平アキュームレータ回路３２４は、図１のアキュームレータ３０の機能を有する。図示しないホストが、水平倍率設定レジスタに、画像の水平方向の倍率の逆数を設定する。また該ホストが、水平スケーリング回路３２２の係数ＬＵＴに含まれる係数記憶部に、予め複数の倍率（又はその逆数）に対応した複数の係数メモリの記憶情報を設定する。

垂直アキュームレータ回路３１４は、垂直倍率設定レジスタに設定された倍率の逆数を累積加算し、係数ＬＵＴのアドレスである垂直補間座標と、バリッド信号validに相当するラインバリッドと、シフトイネーブル信号ShiftEnableに相当するラインシフトを出力する。垂直スケーリング回路３１２は、垂直補間座標に対応する係数と、入力バッファ３００からの画素データとの積和演算を行い、水平スケーリング回路３２２に対して出力する。また垂直スケーリング回路３１２は、ラインバリッドをラインイネーブルとして水平スケーリング回路３２２に出力する。

水平アキュームレータ回路３２４は、水平倍率設定レジスタに設定された倍率の逆数を累積加算し、係数ＬＵＴのアドレスである水平補間座標と、バリッド信号validに相当するピクセルバリッドと、シフトイネーブル信号ShiftEnableに相当するピクセルシフトを出力する。

図１６に、ピクセルクロック、ピクセルバリッド及び画素データとの関係を示す。図１６では、拡大処理時のピクセルクロック及び画素データの関係と、縮小処理時のピクセルクロック、ピクセルバリッド及び画素データの関係とを示している。

図１５において、水平スケーリング回路３２２は、水平補間座標に対応する係数と、垂直スケーリング回路３１２からの出力データとの積和演算を行い、演算結果を出力バッファ３０４に出力する。また水平スケーリング回路３２２は、ピクセルバリッドをラインイネーブルとして出力バッファ３０４に出力する。

出力バッファ３０４には、ピクセルクロックに同期して、水平スケーリング回路３２２からの出力データが格納される。このとき、ラインイネーブルがアクティブのデータのみが、出力バッファ３０４に格納される。

こうすることで、垂直方向画像処理部３１０で縮小処理時に有効（拡大処理時は常に有効）にされた画素データに対して、水平方向画像処理部３２０が拡大処理又は縮小処理を行うことができる。そして、水平方向画像処理部３２０で縮小処理時に有効（拡大処理時は常に有効）にされた画素データのみが、出力バッファ３０４に格納される。

なおアドレス生成回路３０６は、フレームバッファ２４０の書き込みアドレスを生成すると共に、垂直アキュームレータ回路３１４からのラインバリッドと、水平アキュームレータ回路３２４からのピクセルバリッドとに基づいて、フレームバッファ２４０へのライトイネーブルを生成することができる。

この結果、出力バッファ３４０に格納された画素データが、フレームバッファ２４０に保存される。

図１７に、図１４の第２のスケーラ回路２３０の構成例のブロック図を示す。

図１７において、図１４と同一部分には同一符号を付し、適宜説明を省略する。図１７の第２のスケーラ回路２３０の各部は、システムクロックに同期して動作する。

アドレス生成回路４００によって生成されたアドレスに基づいてフレームバッファ２４０から読み出されたデータは、入力バッファ４０２にバッファリングされる。

クロック生成回路４０４は、システムクロックをピクセルシフトに基づいてマスク制御されるシフトクロックと、該システムクロックをピクセルバリッドに基づいてマスク制御されるピクセルクロックとを生成する。

第２のスケーラ回路２３０は、入力画像（フレームバッファ２４０に格納された画素データにより表される画像）の垂直方向の画素データに対して拡大又は縮小処理を行う垂直方向画像処理部４１０と、該入力画像の水平方向の画素データに対して拡大又は縮小処理を行う水平方向画像処理部４２０とを含む。

垂直方向画像処理部４１０は、垂直倍率設定レジスタ（図示せず）と、垂直スケーリング回路４１２と、垂直アキュームレータ回路４１４とを含む。垂直倍率設定レジスタ（図示せず）は、図１の倍率設定レジスタ１０の機能を有する。垂直スケーリング回路４１２は、図１の係数ＬＵＴ５０及びフィルタ演算部４０の機能を有する。垂直アキュームレータ回路４１４は、図１のアキュームレータ３０の機能を有する。図示しないホストが、垂直倍率設定レジスタに、画像の垂直方向の倍率の逆数を設定する。また該ホストが、垂直スケーリング回路４１２の係数ＬＵＴに含まれる係数記憶部に、予め複数の倍率（又はその逆数）に対応した複数の係数メモリの記憶情報を設定する。

水平方向画像処理部４２０は、水平倍率設定レジスタ（図示せず）と、水平スケーリング回路４２２と、水平アキュームレータ回路４２４とを含む。水平倍率設定レジスタ（図示せず）は、図１の倍率設定レジスタ１０の機能を有する。水平スケーリング回路４２２は、図１の係数ＬＵＴ５０及びフィルタ演算部４０の機能を有する。水平アキュームレータ回路４２４は、図１のアキュームレータ３０の機能を有する。図示しないホストが、水平倍率設定レジスタに、画像の水平方向の倍率の逆数を設定する。また該ホストが、水平スケーリング回路４２２の係数ＬＵＴに含まれる係数記憶部に、予め複数の倍率（又はその逆数）に対応した複数の係数メモリの記憶情報を設定する。

垂直方向画像処理部４１０の機能は、図１５の垂直方向画像処理部３１０と同様であるため説明を省略する。水平方向画像処理部４２０の機能は、図１５の水平方向画像処理部３２０と同様であるため説明を省略する。

垂直アキュームレータ回路４１４からのラインシフトは、アドレス生成回路４００に供給される。水平アキュームレータ回路４２４からのピクセルシフトは、アドレス生成回路４００に供給される。アドレス生成回路４００は、ラインシフト及びピクセルシフトに基づいてフレームバッファ２４０の読み出しアドレスを生成する。

水平スケーリング回路４２２は、水平補間座標に対応する係数と、垂直スケーリング回路４１２からの出力データとの積和演算を行い、演算結果を出力バッファ４０６に出力する。

出力バッファ４０６には、ピクセルクロックに同期して、水平スケーリング回路４２２からの出力データが格納される。このとき、ラインイネーブルがアクティブのデータのみが、出力バッファ４０６に格納される。

こうすることで、垂直方向画像処理部４１０で縮小処理時に有効（拡大処理時は常に有効）にされた画素データに対して、水平方向画像処理部４２０が拡大処理又は縮小処理を行うことができる。そして、水平方向画像処理部４２０で縮小処理時に有効（拡大処理時は常に有効）にされた画素データのみが、出力バッファ４０６に格納される。

この結果、出力バッファ４０６に格納された画素データが、ＲＧＢＩ／Ｆ２５０又はＹＵＶＩ／Ｆ２７０に出力される。

３． 電子機器
図１８に、本実施形態における電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。

携帯電話機７００は、図１７の表示コントローラ２００を含む。携帯電話機７００は、カメラモジュール７１０を含む。カメラモジュール７１０は、ＣＣＤカメラを含み、ＣＣＤカメラで撮像した画像のデータを表示コントローラ２００に供給する。

携帯電話機７００は、表示パネル６３０を含む。表示パネル６３０として、液晶表示パネルを採用できる。この場合、表示パネル６３０は、表示ドライバ６２０によって駆動される。表示パネル６３０は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ６２０は、複数の走査線の１又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画素データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。

表示コントローラ２００は、表示ドライバ６２０に接続され、表示ドライバ６２０に対してＲＧＢフォーマットの画素データを供給する。画素データのＲＧＢフォーマットとＹＵＶフォーマットの間の変換は、表示コントローラ２００内で行うことができる。

ホスト７２０は、表示コントローラ２００に接続される。ホスト７２０は、表示コントローラ２００を制御する。またホスト７２０は、アンテナ７２２を介して受信された画素データを、変復調部７３０で復調した後、表示コントローラ２００に供給できる。表示コントローラ２００は、この画素データに基づき、表示ドライバ６２０により表示パネル６３０に表示させる。

ホスト７２０は、カメラモジュール７１０で生成された画素データを変復調部７３０で変調した後、アンテナ７２２を介して他の通信装置への送信を指示できる。

ホスト７２０は、操作入力部７４０からの操作情報に基づいて画素データの送受信処理、カメラモジュール７１０の撮像、表示パネルの表示処理を行う。

なお、図１８では、表示パネル６３０として液晶表示パネルを例に説明したが、これに限定されるものではない。表示パネル６３０は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画素データを供給する表示コントローラに適用できる。また表示コントローラ２００が、ＹＵＶ形式の画素データを、図示しない出力端子を介して接続されるＣＲＴ装置に対して出力してもよい。

なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。

また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。

本実施形態における画像処理装置の構成の概要のブロック図。 処理後の画素データとバリッド信号との関係の一例を示す図。 本実施形態における画像の拡大処理及び縮小処理の説明図。 補間画素の画素データの説明図。 図１のアキュームレータの構成例のブロック図。 倍率設定レジスタの設定データの整数部及び小数部の説明図。 図５のアキュームレータの拡大処理モードの動作を模式的に示す図。 図５のアキュームレータの縮小処理モードの動作を模式的に示す図。 図１の係数ＬＵＴの構成例のブロック図。 図９の係数ＬＵＴの動作説明図。 図１のアキュームレータ、係数ＬＵＴ及びフィルタ演算部の構成例のブロック図。 本実施形態における画像処理装置の拡大処理の一例の説明図。 本実施形態における画像処理装置の縮小処理の一例の説明図。 本実施形態における画像処理装置が適用される表示コントローラの構成例のブロック図。 図１４の第１のスケーラ回路の構成例のブロック図。 ピクセルクロック、ピクセルバリッド及び画素データとの関係を示す図。 図１４の第２のスケーラ回路の構成例のブロック図。 本実施形態における電子機器の構成例のブロック図。 図１９（Ａ）、図１９（Ｂ）はファームウェアのコードの一例の説明図。

符号の説明

１０ 倍率設定レジスタ、 ２０ シームレス画素処理部、 ３０ アキュームレータ、
４０ フィルタ演算部、 ５０ 係数ＬＵＴ、
５２−１〜５２−Ｎ 第１〜第Ｎの係数メモリ、 ６０ モード判定部、
６２ 倍率アキュームレータレジスタ、 ６４、７０ 加算器、
６６ 上位ビット付加部、 ６８ 下位ビット付加部、 ７２、７６ デクリメンタ、
７４、８０ セレクタ、 ７８ 整数解析部、 １００ 画像処理装置、
１２０ アドレス生成回路、 １２２ 係数記憶部、 １２４ ＬＵＴ、
１２６ アドレスデコーダ、 ２００ 表示コントローラ、 ２１０ カメラＩ／Ｆ、
２２０ 第１のスケーラ回路、 ２３０ 第２のスケーラ回路、
２４０ フレームバッファ、 ２５０ ＲＧＢＩ／Ｆ、 ２７０ ＹＵＶＩ／Ｆ、
２８０ ＪＰＥＧ回路、 ２９０ ホストＩ／Ｆ

Claims (6)

1. 入力画像の拡大及び縮小処理を行うための画像処理装置であって、
   各係数メモリに、前記入力画像の拡大又は縮小処理後の画像の画素データを求めるための複数の係数を含む係数群が記憶される第１〜第Ｎ（Ｎは２以上の整数）の係数メモリと、
   前記入力画像の画素データと補間係数との積和演算を行って前記拡大処理又は縮小処理後の画素データを生成するフィルタ演算部とを含み、
   １つの係数メモリが、前記入力画像を拡大する倍率又は前記入力画像を縮小する倍率に応じて、前記第１〜第Ｎの係数メモリの中から選択され、
   前記補間係数は、前記倍率の逆数の累積加算結果の小数部の一部のみに対応して、前記１つの係数メモリに記憶された１つの係数群に含まれる複数の係数の中から選択されることを特徴とする画像処理装置。
2. 請求項１において、
   前記入力画像又は処理後の画像の垂直同期信号に同期して、前記倍率の逆数に基づき前記第１〜第Ｎの係数メモリの中から前記１つの係数メモリを選択し、選択された前記１つの係数メモリから前記１つの係数群を読み出すことを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記倍率の逆数を累積加算するアキュームレータを含み、
   前記倍率の逆数の整数部が０のとき、前記入力画像に対して行われた拡大処理後の画像の画素データを出力し、
   前記倍率の逆数の整数部が０ではないとき、前記入力画像に対して行われた縮小処理後の画像の画素データを出力し、
   前記縮小処理時には、前記アキュームレータの累積加算結果に基づいて、前記入力画像を構成する画素単位に間引きすべきか否かを指定するバリッド信号を出力することを特徴とする画像処理装置。
4. 請求項３において、
   前記入力画像の画素データと前記アキュームレータの出力とに基づいて積和演算を行って前記拡大処理又は縮小処理後の画素データを生成するフィルタ演算部を含み、
   前記倍率の逆数の整数部が０の場合であって前記累積加算結果の整数部が０ではないとき、
   前記フィルタ演算部の処理対象の画素データを更新し、該更新後の画素データと前記累積加算結果の小数部の一部のみに対応した補間係数との積和演算を行って前記拡大処理後の画像の画素データを生成し、
   前記倍率の逆数の整数部が０の場合であって前記累積加算結果の整数部が０のとき、
   前記フィルタ演算部の処理対象の画素データを更新することなく、前回の画素データと前記累積加算結果の小数部の一部のみに対応した補間係数との積和演算を行って前記拡大処理後の画像の画素データを生成し、
   前記倍率の逆数の整数部が０でない場合であって前記累積加算結果の整数部が０ではないとき、
   前記累積加算結果の整数部をデクリメントすると共に、前記フィルタ演算部の出力を更新せず、
   前記倍率の逆数の整数部が０でない場合であって前記累積加算結果の整数部が０のとき、
   前記倍率の逆数と前記アキュームレータの出力との加算結果の整数部をデクリメントすると共に、前記フィルタ演算部の処理対象の画素データと前記累積加算結果の小数部の一部のみに対応した補間係数との積和演算を行って前記縮小処理後の画像の画素データを生成することを特徴とする画像処理装置。
5. 入力画像の画素データが入力される画素データ入力インタフェースと、
   前記画素データ入力インタフェースを介して入力された前記入力画像の拡大又は縮小処理を行う第１のスケーラ回路と、
   前記第１のスケーラ回路の処理後のデータを保存するフレームバッファと、
   前記フレームバッファから読み出された画素データにより表される画像の拡大又は縮小処理を行う第２のスケーラ回路と、
   前記第２のスケーラ回路の処理後のデータを出力するためのインタフェース処理を行う出力インタフェースとを含み、
   前記第１及び第２のスケーラ回路の少なくとも１つは、
   画像の水平方向の画素データに対して拡大又は縮小処理を行う水平方向画像処理部と、
   前記画像の垂直方向の画素データに対して拡大又は縮小処理を行う垂直方向画像処理部とを含み、
   前記水平方向画像処理部及び前記垂直方向画像処理部の少なくとも１つは、
   請求項１乃至４のいずれか記載の画像処理装置を含むことを特徴とする表示コントローラ。
6. 表示パネルと、
   請求項５記載の表示コントローラと、
   前記表示コントローラによって供給される画素データに基づいて前記表示パネルを駆動する表示ドライバとを含むことを特徴とする電子機器。

Images