JP4397242B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置に関し、特に解像度変換処理及び、ＹＵＶから別フォーマットのＹＵＶへのフォーマット変換（以下ＹＵＶフォーマット変換処理と呼ぶ）を行う画像処理装置及び画像処理方法に関する。

携帯電話機や、デジタルスチルカメラなど各種マルチメディア機器では、画像の解像度変換処理や、ＲＧＢからＹＵＶ、あるいはその逆のＹＵＶからＲＧＢへのフォーマット変換、ＹＵＶフォーマット変換処理など様々な画像処理が行われている。

このような画像処理は、ソフトウェア的手段により実施可能であるが、その場合、計算時間がかかるという問題から、拡大／縮小などの画像処理をハードウェアで実施する技術が知られている（例えば、特許文献１参照）。

画像の解像度変換処理及びフォーマット変換を行う画像処理装置には、主に以下の３つのタイプがある。
図１０、１１、１２は従来の画像処理装置のブロック図である。

図１０で示す従来の画像処理装置８００ａは、画像処理装置８００ａの各部を制御するＣＰＵ（Central Processing Unit）８０１、バス占有を制御するバスアービタ８０２、アドレスをデコードしてモジュールを選択する信号を生成するアドレスデコーダ８０３、ＶＲＡＭ（Video Random Access Memory）８０４ａを制御するメモリコントローラ８０４、画像の解像度変換処理を行うスケーラ８０５、フォーマット変換を行うフォーマットコンバータ８０６と、その他の画像処理を行う画像処理モジュール８０７−１、…、８０７−ｎが、それぞれシステムバス８０８に接続されている構成である。

スケーラ８０５は、例えば、ＹＵＶフォーマットの画像の解像度変換処理を行う場合、通常、Ｙ、Ｕ、Ｖの全ての成分に対して同じ拡大縮小率を適用して、画像を拡大または縮小する。

また、フォーマットコンバータ８０６は、ＲＧＢからＹＵＶ、あるいはその逆のＹＵＶからＲＧＢへのフォーマット変換、ＹＵＶフォーマット変換処理などの各種フォーマット変換処理を行う。

なお、ＹＵＶフォーマットとは、「人間の目は明るさの変化には敏感だが、色の変化には鈍感である」という性質を利用し、色度を抑え、輝度により広い帯域やビット数を割り当てることにより、少ない損失で効率の良い伝送や圧縮を実現するフォーマットである。サブサンプリングする際の色差成分の間引き方によって、いくつかのフォーマットに分かれる。主なものに、ＹＵＶ４４４（１画素あたり１つの“Ｕ”と１つの“Ｖ”を持つ。色差成分の間引きなし）、ＹＵＶ４２２（水平方向に並んだ２画素で１つの“Ｕ”と１つの“Ｖ”を共有する。水平方向で色差成分を間引く）、ＹＵＶ４１１（水平方向に並んだ４画素で１つの“Ｕ”と１つの“Ｖ”を共有する。水平方向で色差成分を間引く）、ＹＵＶ４２０（２×２のブロック（４画素）で１つの“Ｕ”と１つの“Ｖ”を共有する。ブロックで色差成分を間引く）、ＹＵＶ４１０（４×４のブロック（１６画素）で１つの“Ｕ”と１つの“Ｖ”を共有する。ブロックで色差成分を間引く）がある。

一方、図１１で示す従来の画像処理装置８００ｂは、スケーラ８０５と、フォーマットコンバータ８０６とがローカルで接続され、それらが１つのモジュール８０９としてシステムバス８０８に接続されている構成である。その他の構成要素は、図１０と同様であるので符号を同一とし、説明を省略する。

また、図１２で示す従来の画像処理装置８００ｃは、ある画像処理モジュール８０７−ｉがその中にフォーマットコンバータ８０６を内蔵している構成である。その他の構成要素は、図１０と同様であるので符号を同一とし、説明を省略する。

以上の図１０、１１、１２において、解像度変換処理とフォーマット変換を両方行う場合の、従来の処理を以下に説明する。
図１３、１４は、従来の画像処理装置における、解像度変換処理及びフォーマット変換を両方行う際の処理の流れを説明するフローチャートである。

なお、ここでは、ＹＵＶ画像に対してまず解像度変換処理を行い、続いてＹＵＶフォーマット変換処理を行った場合の処理の流れを示している。また、どちらの変換も処理は単位ブロックの画像データごとに行う。また、フレームバッファは、図１０〜１２のＶＲＡＭ８０４ａに対応している。

処理が開始すると、ＣＰＵ８０１により制御されたメモリコントローラ８０４によって、フレームバッファから解像度変換処理を行う際の補間に必要な、例えば、４×４ピクセルの単位ブロックの画像データを読み出す（ステップＳ５０）。読み出された画像データは、ＣＰＵ８０１の制御のもとシステムバス８０８を介して、スケーラ８０５に送出され、スケーラ８０５で解像度変換処理が行われる（ステップＳ５１）。

読み出した画像データに対する解像度変換処理が終了すると、解像度変換処理後の画像データを再び、ＣＰＵ８０１の制御のもとシステムバス８０８を介して、ＶＲＡＭ８０４ａへ書き込む（ステップＳ５２）。以上の処理を１水平方向について繰り返し行う。１水平方向の処理が終了した場合にはステップＳ５４の処理に進む（ステップＳ５３）。１水平方向についての解像度変換処理が終了すると、垂直方向アドレスを遷移させて（ステップＳ５４）、次の行について、ステップＳ５０からステップＳ５４の処理を繰り返す。垂直方向の処理が全て終了した場合にはステップＳ５６の処理へ進む（ステップＳ５５）。以上のようにして１つの処理成分、例えば、輝度ＹについてのステップＳ５０〜５５の処理が終わると、処理成分数Ｎ＝Ｎ＋１として（ステップＳ５６）、例えば、次に色差Ｕを用いて上記のステップＳ５０〜５６の処理を繰り返す。ＹＵＶ全てについて上記の処理が終了した場合（Ｎ＝３）には、ステップＳ５８に進む（ステップＳ５７）。

図１５は、通常の解像度変換処理の様子を示す図である。
ここでは、簡単のために、ＹＵＶ４２０フォーマットの８×８ピクセルの画像を水平・垂直方向ともに２倍に拡大し、１６×１６ピクセルの画像を得る場合について説明している。１マスは１ピクセルを表している。ＹＵＶ４２０フォーマットでは色差成分Ｕ、Ｖの数は輝度成分の１／４であるから、図のように間引き分を詰めた形で描くと、色差成分Ｕ、Ｖの拡大前のサイズは４×４ピクセルである。このような画像データに対し、バイキュービック法、バイリニア法、ニアレストネイバー法などの各種画素補間方式を用いて、８×８ピクセルの画像を２倍に拡大し、１６×１６ピクセルの画像が得られる。なお、色差成分Ｕ、Ｖは、２倍に拡大して間引き分を詰めた形で描くと８×８ピクセルとなる。

このようにして、例えば、ＱＶＧＡ画像（３２０×２４０ピクセル）に対しても同様に、Ｙ、Ｕ、Ｖの全ての成分を２倍することで、ＶＧＡ画像（６４０×４８０ピクセル）に変換することができる。

ステップＳ５８からの処理は、ＹＵＶフォーマット変換処理である。
解像度変換処理の場合と同様に、ＹＵＶフォーマット変換処理を行う際も、ＶＲＡＭ８０４ａからブロック単位で画像データを読み出す（ステップＳ５８）。そして読み出した画像データをフォーマットコンバータ８０６に送出し、例えば、ＹＵＶ４２０からＹＵＶ４２２など、ＹＵＶの別フォーマットへの変換を行う（ステップＳ５９）。フォーマット変換後の画像データは、再び、ＶＲＡＭ８０４ａに書き込まれる（ステップＳ６０）。以上の処理を１水平方向について繰り返し行う。１水平方向について処理が終了した場合には、ステップＳ６２の処理に進む（ステップＳ６１）。１水平方向についてのフォーマット変換が終了すると、垂直方向アドレスを遷移させて（ステップＳ６２）、次の行について、ステップＳ５８からステップＳ６２の処理を繰り返す。垂直方向の処理が全て終了した場合にはステップＳ６４の処理に進む（ステップＳ６３）。以上のようにして一方の色差成分（Ｕ成分またはＶ成分）についての処理が終わると、処理成分数Ｎ＝Ｎ＋１として（ステップＳ６４）、残りの１つの色差成分についても同様に上記のステップＳ５８〜Ｓ６４の処理を繰り返す。Ｕ成分、Ｖ成分両方について上記の処理が終了すると（Ｎ＝２）、解像度変換処理及びフォーマット変換の処理を終了する（ステップＳ６５）。
特開２０００−３５７２２４号公報

しかし、上記のように従来では解像度変換処理とＹＵＶフォーマット変換処理の両方を行う作業は、それぞれフレームバッファに別々にアクセスして行っているので、出力画像を得るまでに長い処理時間を要するという問題があった。

通常、静止画や動画を扱う、マルチメディア処理システムにおいては、解像度変換処理やフォーマット変換の他にも、動画エンコード・デコードや静止画圧縮・解凍、カメラ画像の色補間など、負荷の重い処理が多数共存しており、出力画像を得るまでに多大な処理時間を要してしまう。

また、画像処理モジュール数の増加は回路面積の増加につながり、特に、実装面積が限られる携帯機器向けシステムなどに適用する際には大きな問題となる。
本発明はこのような点に鑑みてなされたものであり、解像度変換処理およびＹＵＶフォーマット変換処理を１つのスケーラで同時に行うことが可能な画像処理装置を提供することを目的とする。

また、本発明の他の目的は、解像度変換処理及びＹＵＶフォーマット変換処理を同時に行うことが可能な画像処理方法を提供することである。

上記目的を達成するために、解像度変換処理およびＹＵＶフォーマット変換処理を行う以下のような画像処理装置が提供される。
この画像処理装置は、入力画像のＹＵＶフォーマット情報と、出力画像のＹＵＶフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率と、輝度または２つの色差成分のいずれの成分を処理するかを指定する処理成分指定情報とを格納する設定情報格納部と、前記入力画像のＹＵＶフォーマット情報と、前記出力画像のＹＵＶフォーマット情報及び、前記処理成分指定情報で指定される処理成分に応じた値としてテーブル化された補正係数を用いて、前記水平方向または前記垂直方向の拡大縮小率を補正する補正部と、補正した前記拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する拡大縮小率格納部と、第１ブロックサイズの前記入力画像に対して、前記拡大縮小率格納部に格納された拡大縮小率に基づく間隔で第２ブロックサイズのウインドウを移動させることで解像度変換処理を行う解像度変換処理部と、を有する。

また、上記目的を達成するために、解像度変換処理およびＹＵＶフォーマット変換処理を行う以下のような画像処理装置が提供される。
この画像処理装置は、入力画像のＹＵＶフォーマット情報と、出力画像のＹＵＶフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率と、輝度または２つの色差成分の処理の順序を指定する処理順序指定情報とを格納する設定情報格納部と、前記処理順序指定情報に応じて、処理成分を設定する処理成分設定部と、前記入力画像のＹＵＶフォーマット情報と、前記出力画像のＹＵＶフォーマット情報及び、設定される前記処理成分に応じた値としてテーブル化された補正係数を用いて、前記水平方向または前記垂直方向の拡大縮小率を補正する補正部と、補正した前記拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する拡大縮小率格納部と、第１ブロックサイズの前記入力画像に対して、前記拡大縮小率格納部に格納された拡大縮小率に基づく間隔で第２ブロックサイズのウインドウを移動させることで解像度変換処理を行う解像度変換処理部と、を有する。

また、上記目的を達成するために、解像度変換処理およびＹＵＶフォーマット変換処理を行う以下のような画像処理方法が提供される。
この画像処理方法は、入力画像のＹＵＶフォーマット情報と、出力画像のＹＵＶフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率を入力し、前記入力画像のＹＵＶフォーマット情報及び前記出力画像のＹＵＶフォーマット情報を参照し、さらに、輝度または２つの色差成分からなる３つの処理成分のうちいずれを処理するかに応じて、前記入力画像のＹＵＶフォーマット情報、前記出力画像のＹＵＶフォーマット情報及び前記処理成分に応じた値としてテーブル化された補正係数を決定し、前記補正係数にて、前記処理成分それぞれについて、入力された前記水平方向または前記垂直方向の拡大縮小率を補正し、第１ブロックサイズの前記入力画像に対して、前記拡大縮小率に基づく間隔で第２ブロックサイズのウインドウを移動させることで解像度変換処理を行う。

本発明では、入力画像のＹＵＶフォーマット情報と、出力画像のＹＵＶフォーマット情報及び、処理成分指定情報に応じて、もとの水平方向または垂直方向の拡大縮小率を補正し、補正した拡大縮小率を用いた解像度変換処理するので、解像度変換処理と同時にＹＵＶフォーマット変換処理を行うことができる。

これにより、フレームバッファへのアクセス回数が減少し、処理時間を短縮することができる。また、ＹＵＶフォーマット変換処理をフォーマットコンバータではなく、スケーラで行うことが可能であるので、フォーマットコンバータの機能を削減でき、全体の回路面積を削減することができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の第１の実施の形態の画像処理装置の特徴部を示す図である。
また、図２は、本発明の第１の実施の形態の画像処理装置の構成を示す図である。

また、図３は、本発明の第１の実施の形態の画像処理装置のスケーラの構成を示す図である。
以下、説明の都合上、図２で示す画像処理装置の構成から説明する。

本発明の第１の実施の形態の画像処理装置１００は、画像処理装置１００の各部を制御するＣＰＵ１０１、バス占有を制御するバスアービタ１０２、アドレスをデコードしてモジュールを選択する信号を生成するアドレスデコーダ１０３、ＶＲＡＭ１０４ａを制御するメモリコントローラ１０４、画像の解像度変換処理を行うスケーラ２００、ＲＧＢからＹＵＶフォーマット、あるいはその逆のＹＵＶフォーマットからＲＧＢへのフォーマット変換などのフォーマット変換処理を行うフォーマットコンバータ１０５、その他の画像処理を行う画像処理モジュール１０６−１、…、１０６−ｎが、それぞれシステムバス１０７に接続されている構成となっている。

スケーラ２００は、従来と同様に画像の解像度変換処理を行うが、本発明の第１の実施の形態のスケーラ２００は、ＹＵＶフォーマット変換処理を解像度変換処理と同時に行うことが可能である。

図３のように、スケーラ２００は、解像度変換処理を行う解像度変換処理部２１０と、システムバス１０７を介して入力されたデータを保持して解像度変換処理部２１０に入力する入力バッファ２２０と、解像度変換処理部２１０からの出力データを保持してシステムバス１０７に送出する出力バッファ２３０と、解像度変換処理時に画素の重み付けを決める演算係数を出力する係数部２４０と、また、本発明の特徴部であるレジスタ部１０を有している。

入力バッファ２２０は、ＶＲＡＭ１０４ａ（図２参照）に格納された拡大・縮小処理の対象となるソースデータを、スケーラ２００からメモリコントローラ１０４への読み出し要求、あるいはＣＰＵ１０１からの書き込み要求により保持する。

出力バッファ２３０は、ＶＲＡＭ１０４ａに出力する拡大・縮小処理後のデータを保持する。
係数部２４０は、解像度変換処理時に参照するウインドウにおける画素の、例えば、２×２ピクセルならば４画素の、それぞれの重み付けを決める係数を格納し、解像度変換処理部２１０に出力する。この係数は画質を決める１要因となり、例えば、Ｂ−スプライン係数などが用いられる。

さらに、解像度変換処理部２１０は、入力制御部２１１、出力制御部２１２、積和演算器２１３、演算制御部２１４からなる。
入力制御部２１１は、メモリコントローラ１０４に対してＶＲＡＭ１０４ａに格納された画像データの読み出し要求を発行する。また、積和演算器２１３に必要な画像データを出力する。

出力制御部２１２は、演算結果を出力バッファ２３０に書き込む。またメモリコントローラ１０４に対して拡大・縮小処理後のデータの書き込み要求を発行する。
積和演算器２１３は、ある演算ポイントを処理するとき、例えば近傍の２×２ピクセルを参照するならばＫ０×Ｄ０＋Ｋ１×Ｄ１＋Ｋ２×Ｄ２＋Ｋ３×Ｄ３の演算を行う。ここで、Ｋ０〜Ｋ３は係数部２４０から出力される演算係数、Ｄ０〜Ｄ３は画素データ（その画素におけるＹ、Ｕ、Ｖの値）である。

演算制御部２１４は、解像度変換処理の開始・終了や割り込み発行などの制御を行う。
レジスタ部１０は、本発明の第１の実施の形態の画像処理装置１００の特徴部であり、解像度変換処理を行う際の拡大縮小率を設定する。

本発明の第１の実施の形態の画像処理装置１００におけるレジスタ部１０は、図１に示すように、各種設定情報を格納する設定情報格納部１１と、ＹＵＶフォーマット変換処理のために、設定情報格納部１１に格納された水平方向の拡大縮小率（以下Ｘ−拡大縮小率と表記する場合もある）と、垂直方向の拡大縮小率（以下Ｙ−拡大縮小率と表記する場合もある）を補正する補正部１２と、補正した拡大縮小率を格納する拡大縮小率格納部１３とを有している。

設定情報格納部１１は、入力画像のＹＵＶフォーマット情報（以下入力ＹＵＶフォーマットと略す）と、出力画像のＹＵＶフォーマット情報（以下出力ＹＵＶフォーマットと略す）と、Ｘ−拡大縮小率及びＹ−拡大縮小率と、輝度または２つの色差成分のいずれの成分を処理するかを指定する処理成分指定情報を格納する複数のレジスタ１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅを有している。

これらの情報は、例えば、図示しない入力インターフェースを介したユーザの入力により、図２で示したＣＰＵ１０１の制御のもと、設定情報格納部１１に格納される。
なお、図示を省略したが、設定情報格納部１１には、以上の情報のほかにも、処理開始やモード指定情報、割り込みステータス、割り込みイネーブル、ソースデータ転送開始アドレス、解像度変換処理後のデータの転送開始アドレス、入力画像（＝Ｙ成分）の水平方向サイズ、出力画像（＝Ｙ成分）の水平及び垂直方向サイズなどが格納される。

補正部１２は、設定情報格納部１１に格納された入力ＹＵＶフォーマットと、出力ＹＵＶフォーマット及び、処理成分指定情報に応じて、Ｘ−拡大縮小率、Ｙ−拡大縮小率を補正する。具体的には、入力ＹＵＶフォーマット、出力ＹＵＶフォーマットと、処理成分指定情報に応じて、水平方向の拡大縮小率の補正係数Ａｘと、垂直方向の拡大縮小率の補正係数Ａｙを求める。補正係数Ａｘは、設定情報格納部１１に格納されたＸ−拡大縮小率に乗算することでこれを補正し、補正係数Ａｙは、Ｙ−拡大縮小率に乗算することでこれを補正する。

なお、補正係数Ａｘ、Ａｙは、以下に示すようなテーブルで与えられ、補正部１２に格納されている。
図４は、補正部に格納される補正係数決定テーブルの例である。

図のように、入力ＹＵＶフォーマットと、出力ＹＵＶフォーマット、及び処理成分指定情報で指定される処理成分に応じて、補正係数Ａｘ、Ａｙが求まる。例えば、入力ＹＵＶフォーマットがＹＵＶ４４４で、出力ＹＵＶフォーマットをＹＵＶ４２２としたい場合、処理成分が輝度（Ｙ）成分ならば、補正係数Ａｘ、Ａｙともに１であり、処理成分が、色差（ＵまたはＶ）成分ならば、補正係数Ａｘは１／２、補正係数Ａｙは１となる。なお、入力ＹＵＶフォーマットと出力ＹＵＶフォーマットが等しい通常の解像度変換処理の場合は、処理成分によらず補正係数Ａｘ＝Ａｙ＝１である。この場合については図示を省略している。

また、ＹＵＶフォーマット変換処理では輝度成分の間引きをすることはないので、輝度成分を処理するときの補正係数Ａｘ、Ａｙは常に１である。
前述したように、拡大縮小率の補正は補正係数Ａｘ、Ａｙを乗算することにより行うが、図４を見てわかるように、１と２と４という因子しかないため、実際はビットシフト演算で事足りてしまう。例えば、補正係数ＡｘまたはＡｙが１／２の場合は、拡大縮小率を１ビット右シフト、補正係数ＡｘまたはＡｙが４の場合は、２ビット左シフトすればよい。よって、補正部１２は、シフトレジスタで実現可能である。

拡大縮小率格納部１３は、補正した拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する。補正処理後のＸ−拡大縮小率はレジスタ１３ａに、補正処理後のＹ−拡大縮小率はレジスタ１３ｂにそれぞれ設定される。

以下、８×８ピクセルのＹＵＶ４２０フォーマットの画像を、２倍の１６×１６ピクセルのＹＵＶ４２２フォーマットの画像に変換する場合を例にして、本発明の第１の実施の形態の画像処理装置１００の動作を説明する。

図５は、本発明の第１の実施の形態の画像処理装置における、解像度変換処理及びフォーマット変換を両方行う際の処理の流れを説明するフローチャートである。
処理が開始すると、ＣＰＵ１０１により制御されたメモリコントローラ１０４によって、ＶＲＡＭ１０４ａ（フレームバッファ）から解像度変換処理を行う際の補間に必要な単位ブロックの画像データを読み出す（ステップＳ１０）。読み出された画像データは、ＣＰＵ１０１の制御のもとシステムバス１０７を介して、スケーラ２００に送出され、スケーラ２００で解像度変換処理及びＹＵＶフォーマット変換処理が行われる（ステップＳ１１）。

８×８ピクセルのＹＵＶ４２０フォーマットの画像を、２倍の１６×１６ピクセルのＹＵＶ４２２フォーマットの画像に変換する場合、ＣＰＵ１０１の制御のもと、図１のレジスタ部１０の設定情報格納部１１には、レジスタ１１ａに入力のＹＵＶ４２０フォーマット、レジスタ１１ｂに出力のＹＵＶ４２２フォーマットが設定される。また、レジスタ１１ｃには水平方向の拡大縮小率の“２”が、レジスタ１１ｄにも、垂直方向の拡大縮小率の“２”が設定される。また、例えば、Ｙ成分をはじめに処理する場合、レジスタ１１ｅには、処理成分としてＹ成分が設定される。

Ｙ成分について処理を行う場合は、図４で示したように、補正部１２において求められる補正係数Ａｘ、Ａｙはともに“１”になる。したがって、拡大縮小率格納部１３のレジスタ１３ａ、１３ｂに設定される拡大縮小率は、設定情報格納部１１のレジスタ１１ｃ、１１ｄに設定されたものと同じ、“２”になる。図３で示した解像度変換処理部２１０では、拡大縮小率格納部１３のレジスタ１３ａ、１３ｂに設定された拡大縮小率を用いて解像度変換処理を行う。

色差成分であるＵ成分またはＶ成分について処理を行う場合は、補正部１２は、図４で示したような補正係数決定テーブルを参照して補正係数Ａｘ、Ａｙを決定する。ＹＵＶ４２０からＹＵＶ４２２に変換する場合には、水平方向の補正係数Ａｘは“１”、垂直方向の補正係数Ａｙは“２”となる。ここで求めた補正係数Ａｘ、Ａｙを、設定情報格納部１１のレジスタ１１ｃ、１１ｄに設定された拡大縮小率に掛け合わせる。“２”の補正係数Ａｙの乗算は、１ビット左シフトで実現される。これにより、Ｘ−拡大縮小率、Ｙ−拡大縮小率ともに“２”であったものが、Ｘ−拡大縮小率は“２”で、Ｙ−拡大縮小率は“４”となり、新たな拡大縮小率として拡大縮小率格納部１３のレジスタ１３ａ、１３ｂにそれぞれ設定される。

解像度変換処理部２１０における解像度変換処理は、以下のように実施される。
図６は、水平方向に２倍の解像度変換処理を行う様子を示す図であり、（Ａ）はある処理のときの処理位置を示し、（Ｂ）は（Ａ）の次の処理における処理位置を示している。

解像度変換処理の際、ＶＲＡＭ１０４ａから読み出した画像データの単位ブロックのソース画素５０に対して、例えば、２×２ピクセルのサイズのウインドウ５１を移動させる。ここで、図６（Ａ）のようにウインドウ５１内のソース画素５０ａ、５０ｂ、５０ｃ、５０ｄを参照して積和演算により処理位置５２の値を得る。なお、図６（Ａ）における処理位置５２は、縦横ともちょうど画素間の中点にあるとしている。

積和演算器２１３では、演算制御部２１４の制御のもとＫ０×Ｄ０＋Ｋ１×Ｄ１＋Ｋ２×Ｄ２＋Ｋ３×Ｄ３の演算を行い、その処理位置５２における値を求める。演算係数Ｋ０〜Ｋ３は、ウインドウ５１内のソース画素５０ａ、５０ｂ、５０ｃ、５０ｄと処理位置５２との距離によって決まる。図６（Ａ）の場合は、ソース画素５０ａ、５０ｂ、５０ｃ、５０ｄ全て同じ重み付けになる。

次の処理のために、ウインドウ５１を動かす処理ピッチは、拡大縮小率格納部１３のレジスタ１３ａ、１３ｂにそれぞれ設定された拡大縮小率の逆数となる。水平方向の拡大縮小率が２倍の場合、処理ピッチは水平方向に１／２ピクセル間隔となる。図６（Ｂ）は、図６（Ａ）の次の処理における処理位置５３を示している。ウインドウ５１を水平方向に１／２ピクセル分移動している。このとき、ウインドウ５１内には、ソース画素５０ｃ、５０ｄがそれぞれ１つ分と、ソース画素５０ａ、５０ｂ、５０ｅ、５０ｆがそれぞれ半分の割合で存在する。この場合は、例えば、右側のソース画素５０ｅ、５０ｆを参照するというルールを決めておく。図６（Ｂ）のようなときの重み付けは、処理位置５３と距離が近いソース画素５０ｃ、５０ｄの重み付けが、右側のソース画素５０ｅ、５０ｆより重くなる。

このように、ウインドウ５１を水平方向に１／２ピクセル間隔で移動し、ウインドウ５１ごとに値を得ていくことによって、水平方向に２倍の解像度変換処理を行うことができる。なお、フレームバッファに格納された原画像の右端にウインドウ５１が来たときに、参照するソース画素５０がなくなる場合がある。このときは、例えば、右端のソース画素５０を右側に引き延ばして処理を行う。

同様にウインドウ５１を垂直方向に１／２ピクセル間隔で移動して得ていくことで、垂直方向に２倍の解像度変換処理を行うことができる。
また、このほかの拡大縮小率でも同様に、拡大縮小率格納部１３のレジスタ１３ａ、１３ｂに設定された拡大縮小率の逆数の処理ピッチで水平または垂直方向にウインドウ５１を移動して値を得ていくことで、所定の拡大縮小率の解像度変換処理を行うことができる。例えば、水平方向に２ピクセル間隔でウインドウ５１を移動させて値を得ていくことによって、１／２倍の解像度変換処理を行うことができる。

読み出した画像データについて解像度変換処理が終わると、得られた画像データは、出力制御部２１２の制御のもと出力バッファ２３０からシステムバス１０７に送出され、メモリコントローラ１０４の制御のもとＶＲＡＭ（フレームバッファ）１０４ａに書き込まれる（ステップＳ１２）。

以上のステップＳ１０〜Ｓ１２の処理を１水平方向について繰り返し行う。１水平方向の処理が終了した場合にはステップＳ１４の処理に進む（ステップＳ１３）。１水平方向についての解像度変換処理が終了すると、垂直方向アドレスを遷移させて（ステップＳ１４）、ステップＳ１０からステップＳ１４の処理を繰り返す。垂直方向の処理が全て終了した場合にはステップＳ１６の処理へ進む（ステップＳ１５）。以上のようにして１つの処理成分、例えば、輝度ＹについてのステップＳ１０〜１５の処理が終わると、処理成分数Ｎ＝Ｎ＋１とする（ステップＳ１６）。その後、ＣＰＵ１０１の制御のもと、設定情報格納部１１の処理成分設定情報としてレジスタ１１ｅに、例えば、色差Ｕを設定して、上記のステップＳ１０〜１６の処理を繰り返す。ＹＵＶ全てについて上記の処理が終了した場合（Ｎ＝３）には、処理を終了する（ステップＳ１７）。

図７は、８×８ピクセルのＹＵＶ４２０フォーマットの画像から、１６×１６ピクセルのＹＵＶ４２２フォーマットの画像への解像度変換処理及びＹＵＶフォーマット変換処理の様子を示した図である。

ＹＵＶ４２０フォーマットの画像は、２×２のブロック（４画素）で１つの“Ｕ”と１つの“Ｖ”を共有し、ブロックで色差成分を間引いているフォーマットである。つまり、８×８ピクセルの画像の場合、色差成分（Ｕ成分、Ｖ成分）のサイズは、間引き分を詰めると、４×４ピクセルとなる。

一方、ＹＵＶ４２２フォーマットの画像は、水平方向に並んだ２画素で１つの“Ｕ”と１つの“Ｖ”を共有し、水平方向で色差成分を間引いているフォーマットである。１６×１６ピクセルの画像の場合、色差成分（Ｕ成分、Ｖ成分）のサイズは、間引き分を詰めると、８×１６ピクセルとなる。

本発明では、前述のように、補正部１２にてＸ−拡大縮小率とＹ−拡大縮小率とを補正して、Ｙ成分に対してはＸ−拡大縮小率とＹ−拡大縮小率ともに２倍のままで、色差成分Ｕ、Ｖに対しては、垂直方向に補正係数Ａｙの“２”を掛けることによって、Ｙ−拡大縮小率を４倍とする。これによって、８×８ピクセルから１６×１６ピクセルへの２倍の解像度変換処理と、ＹＵＶ４２０フォーマットの画像から、ＹＵＶ４２２フォーマットの画像へのＹＵＶフォーマット変換処理を同時に行うことができる。

このように、本発明の第１の実施の形態の画像処理装置１００によれば、解像度変換処理部２１０で用いる拡大縮小率を、出力画像のＹＵＶフォーマットに合わせて補正することで、解像度変換処理とＹＵＶフォーマット変換処理を、同時に、スケーラ２００にて行うことができる。

これにより、フレームバッファへのアクセス回数が減少し、処理時間を短縮することができる。また、ＹＵＶフォーマット変換処理をフォーマットコンバータ１０５ではなく、スケーラ２００で行うことが可能であるので、フォーマットコンバータの機能を削減でき、全体の回路面積を削減することができる。

次に本発明の第２の実施の形態の画像処理装置について説明する。
本発明の第２の実施の形態の画像処理装置は、第１の実施の形態におけるレジスタ部１０に相当する部分が異なっている。他の構成要素についてはほぼ同一の構成である。

図８は、本発明の第２の実施の形態の画像処理装置の特徴部を示す図である。
本発明の第２の実施の形態の画像処理装置の特徴部であるレジスタ部２０は、第１の実施の形態におけるレジスタ部１０に相当する部分である。設定情報格納部２１は、第１の実施の形態のレジスタ部１０と同様に、各種設定情報が設定されるレジスタ２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅを有している。しかし、第１の実施の形態におけるレジスタ部１０と異なり、処理成分指定情報の代わりに処理順序指定情報が格納される。

補正部２２と、補正後の拡大縮小率が格納されるレジスタ２３ａ、２３ｂを有した拡大縮小率格納部２３は、第１の実施の形態のレジスタ部１０と同様の構成である。しかし、第２の実施の形態におけるレジスタ部２０では、処理順序指定情報に応じた順序で、解像度変換処理及びＹＵＶフォーマット変換処理を行う処理成分を、補正部２２に対し設定する処理成分設定部２４を有している。

処理順序指定情報は、例えば、ユーザの入力に応じて、ＣＰＵ１０１の制御のもと設定情報格納部２１に設定される。処理する成分（Ｙ、Ｕ、Ｖ成分）の順序を指定する情報である。

このような構成のレジスタ部２０を有した第２の実施の形態の画像処理装置（全体の構成は図１で示した第１の実施の形態の画像処理装置１００と同一であるので図示を省略）の動作について簡単に説明する。

第２の実施の形態の画像処理装置の動作は、図５で示した処理フローとほぼ同様となるが、ステップＳ１６の処理において、１つの処理成分についての処理終了フラグを検出すると、処理順序指定情報に応じて処理成分設定部２４は、自動的に次の処理成分に更新される。

これによって、１つの処理成分についての処理が終わった際に、処理成分を設定しなおす必要がなくなる。
なお、上記第１及び第２の実施の形態では、例えば、補正部１２、２２においてハードウェアで、高速にＸ−拡大縮小率、Ｙ−拡大縮小率を補正して、解像度変換処理部２１０にて、解像度変換処理及びＹＵＶフォーマット変換処理が同時に行えるようにした場合について説明した。しかし、例えばユーザの入力に応じて、ＣＰＵ１０１が、例えば、図示しないＲＯＭ（Read Only Memory）に格納された図４のような補正係数決定テーブルを参照して補正係数を決定し、ソフトウェア的に解像度変換処理部２１０にて使用するＸ−拡大縮小率、Ｙ−拡大縮小率を補正するようにしても良い。以下に、その処理の概略を示す。

図９は、本発明の実施の形態の画像処理方法を示すフローチャートである。
処理が開始すると、例えばユーザより、図示しない入力インターフェースを介して、入力ＹＵＶフォーマット、出力ＹＵＶフォーマット、Ｘ−拡大縮小率及びＹ−拡大縮小率といった設定情報を入力する（ステップＳ２０）。

その後ＣＰＵ１０１は、入力された入力ＹＵＶフォーマット、出力ＹＵＶフォーマットを参照し、さらに、輝度または２つの色差成分からなる３つの処理成分のうちいずれを処理するかに応じて、例えば、図示しないＲＯＭに格納された図４のような補正係数決定テーブルにより、補正係数Ａｘ、Ａｙを決定する（ステップＳ２１）。

次にその補正係数Ａｘ、Ａｙを、入力されたＸ−拡大縮小率及びＹ−拡大縮小率に掛け合わせることによって、Ｘ−拡大縮小率及びＹ−拡大縮小率を補正する（ステップＳ２２）。

最後に、ステップＳ２２の処理で補正したＸ−拡大縮小率及びＹ−拡大縮小率を用いて、解像度変換処理部２１０にて、図５で示したようなステップＳ１０からＳ１７の処理を行う。この際、ステップＳ１７の処理で処理成分が更新されると、図９のステップＳ２１、Ｓ２２の処理で補正した処理成分におけるＸ−拡大縮小率及びＹ−拡大縮小率を用いてＹＵＶそれぞれについての解像度変換処理をスケーラ２００で行う（ステップＳ２３）。

ステップＳ２３の解像度変換処理において、ステップＳ２１、Ｓ２２で補正したＸ−拡大縮小率及びＹ−拡大縮小率を用いることで、スケーラ２００で解像度変換処理と同時にＹＵＶフォーマット変換処理を行うことができる。これにより、解像度変換処理とＹＵＶフォーマット変換処理を別々に行うよりも処理時間を短くできる。また、ＹＵＶフォーマット変換処理をスケーラ２００で行うことができるので、フォーマットコンバータ１０５の回路規模を縮小でき、画像処理装置全体の回路面積を小さくすることができる。

なお、上記ではＹＵＶと表記しているが、ＹＣｂＣｒ表記に置き換えてもよい。つまり、ＵをＣｂ、ＶをＣｒと置き換えても本発明は同様に適用可能である。Ｙはどちらも国際照明委員会（ＣＩＥ：Commission Internationale del' Eclairage）が定めた色度図のＹ軸である。

本発明は、例えば、携帯電話機や、デジタルスチルカメラなど各種マルチメディア機器において画像処理を行う際に適用される。

本発明の第１の実施の形態の画像処理装置の特徴部を示す図である。 本発明の第１の実施の形態の画像処理装置の構成を示す図である。 本発明の第１の実施の形態の画像処理装置のスケーラの構成を示す図である。 補正部に格納される補正係数決定テーブルの例である。 本発明の第１の実施の形態の画像処理装置における、解像度変換処理及びフォーマット変換を両方行う際の処理の流れを説明するフローチャートである。 水平方向に２倍の解像度変換処理を行う様子を示す図であり、（Ａ）はある処理のときの処理位置を示し、（Ｂ）は（Ａ）の次の処理における処理位置を示している。 ８×８ピクセルのＹＵＶ４２０フォーマットの画像から、１６×１６ピクセルのＹＵＶ４２２フォーマットの画像への解像度変換処理及びＹＵＶフォーマット変換処理の様子を示した図である。 本発明の第２の実施の形態の画像処理装置の特徴部を示す図である。 本発明の実施の形態の画像処理方法を示すフローチャートである。 従来の画像処理装置のブロック図である。 従来の画像処理装置のブロック図である。 従来の画像処理装置のブロック図である。 従来の画像処理装置における、解像度変換処理及びフォーマット変換を両方行う際の処理の流れを説明するフローチャートである（その１）。 従来の画像処理装置における、解像度変換処理及びフォーマット変換を両方行う際の処理の流れを説明するフローチャートである（その２）。 通常の解像度変換処理の様子を示す図である。

１０ レジスタ部
１１ 設定情報格納部
１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ、１３ａ、１３ｂ レジスタ
１２ 補正部
１３ 拡大縮小率格納部

Claims (5)

1. 解像度変換処理およびＹＵＶフォーマット変換処理を行う画像処理装置において、
   入力画像のＹＵＶフォーマット情報と、出力画像のＹＵＶフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率と、輝度または２つの色差成分のいずれの成分を処理するかを指定する処理成分指定情報とを格納する設定情報格納部と、
   前記入力画像のＹＵＶフォーマット情報と、前記出力画像のＹＵＶフォーマット情報及び、前記処理成分指定情報で指定される処理成分に応じた値としてテーブル化された補正係数を用いて、前記水平方向または前記垂直方向の拡大縮小率を補正する補正部と、
   補正した前記拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する拡大縮小率格納部と、
   第１ブロックサイズの前記入力画像に対して、前記拡大縮小率格納部に格納された拡大縮小率に基づく間隔で第２ブロックサイズのウインドウを移動させることで解像度変換処理を行う解像度変換処理部と、
   を有することを特徴とする画像処理装置。
2. 前記補正部は、所定ビットのビットシフトにより前記拡大縮小率を補正することを特徴とする請求項１記載の画像処理装置。
3. 解像度変換処理およびＹＵＶフォーマット変換処理を行う画像処理装置において、
   入力画像のＹＵＶフォーマット情報と、出力画像のＹＵＶフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率と、輝度または２つの色差成分の処理の順序を指定する処理順序指定情報とを格納する設定情報格納部と、
   前記処理順序指定情報に応じて、処理成分を設定する処理成分設定部と、
   前記入力画像のＹＵＶフォーマット情報と、前記出力画像のＹＵＶフォーマット情報及び、設定される前記処理成分に応じた値としてテーブル化された補正係数を用いて、前記水平方向または前記垂直方向の拡大縮小率を補正する補正部と、
   補正した前記拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する拡大縮小率格納部と、
   第１ブロックサイズの前記入力画像に対して、前記拡大縮小率格納部に格納された拡大縮小率に基づく間隔で第２ブロックサイズのウインドウを移動させることで解像度変換処理を行う解像度変換処理部と、
   を有することを特徴とする画像処理装置。
4. 前記補正部は、所定ビットのビットシフトにより前記拡大縮小率を補正することを特徴とする請求項３記載の画像処理装置。
5. 解像度変換処理およびＹＵＶフォーマット変換処理を行う画像処理方法において、
   入力画像のＹＵＶフォーマット情報と、出力画像のＹＵＶフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率を入力し、
   前記入力画像のＹＵＶフォーマット情報及び前記出力画像のＹＵＶフォーマット情報を参照し、さらに、輝度または２つの色差成分からなる３つの処理成分のうちいずれを処理するかに応じて、前記入力画像のＹＵＶフォーマット情報、前記出力画像のＹＵＶフォーマット情報及び前記処理成分に応じた値としてテーブル化された補正係数を決定し、
   前記補正係数にて、前記処理成分それぞれについて、入力された前記水平方向または前記垂直方向の拡大縮小率を補正し、
   第１ブロックサイズの前記入力画像に対して、前記拡大縮小率に基づく間隔で第２ブロックサイズのウインドウを移動させることで解像度変換処理を行うこと、
   を特徴とする画像処理方法。

Images