JP4361991B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に単板式電子カメラ装置などで撮影された２次元のカラー画像信号から高画質の画像を生成する画像処理装置に関するものである。
【０００２】
【従来の技術】
一般に、単板式のカラーＣＣＤなどの撮像部を用いて撮影を行う電子撮像装置では、複数の色（原色）のうちの１色の画素値しか有しない、２次元平面上にマトリクス状に配列された多数の画素からなる画像から、画素値の補間処理を行うことにより、各画素ごとにすべての色情報（ＲＧＢあるいは輝度値と色差信号）をもつ画像を生成している。
【０００３】
ここで、撮像部で得られた画像を、その画像より少ない画素数の表示装置で表示するには、原画像の大きさを縮小する必要がある。この場合、原画像を構成する画素を単純に間引くと、原画像が持つ情報が欠落して、いわゆるエイリアッシングノイズが発生し、得られた画像がスムーズに繋がらない。したがって、画像サイズを縮小する場合、ローパスフィルタで原画像の高域成分を減衰させた後、原画像の画素間隔より大きな間隔で再びサンプリングするといった処理が必要となる。
【０００４】
従来、このような画像縮小処理としては、画素ラインごとにアナログあるいはデジタルローパスフィルタと再サンプリング回路を設ける場合もあるが、ＤＳＰ（ディジタル信号演算処理回路）を用いて、原画像の各画素ごとにすべての色情報をもつ中間画像を生成した後、フィルタ演算処理（コンボリューション演算）を行う方法が多く用いられている。
【０００５】
この種の演算処理としては、中間画像の各画素について、サブマトリクスと呼ぶ所定領域に含まれる複数の画素ごとにローパスフィルタ処理し、そのサブマトリクスを少ずつ重なる部分を残しながら原画像上をシフトさせていくという処理が用いられる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の方法では、フィルタ演算処理を行う前に、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要があるため、画像の記録を必要としない静止画像を得て表示する場合、例えばディジタルスチルカメラで構図決めのためにそのファインダーに画像を表示する場合でも、ファインダーという比較的画素数の少ない小さなサイズの画像を得るためだけに、わざわざ画素数の多い大きなサイズの中間画像を生成していた。
【０００７】
このために処理時間がかかりリアルタイムで画像が得られないため、上記のような比較的迅速な画像更新表示が求められる構図決めといった機能を実用レベルで実現できないという問題点があった。
また、記録用の高画質画像を得るよりも多くの演算処理を高速で行う必要があるため、それらに伴って電力消費が増大し、例えばデジタルスチルカメラ等の電池で動く機器では、十分な稼働時間が得られないという問題点があった。
【０００８】
本発明はこのような課題を解決するためのものであり、多くの処理や消費電力を必要とすることなく高速で高画質の縮小画像が得られる画像処理装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
このような目的を達成するために、本発明による画像処理装置は、２次元平面上にマトリクス状に配置された多数の画素からなり、かつ各画素がそれぞれ個別の色フィルタを有する撮像素子から得られた所定色情報のレベルを示す画素値のみを有する元の画像信号から、この画像信号の１／ｎ（ｎは２以上の整数）の大きさの２次元平面上に配置された各補間点ごとにすべての色情報のレベルを示す画素値を有する新たな画像信号を生成する画像処理装置であって、画像信号から画素ライン方向および画素列方向にｎ画素間隔で選択された補間点について、その補間点を中心とするｍ×ｍ画素（ｍは２以上の整数）の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部を備えるものである。
【００１０】
さらに、補間点を中心とし前記補間領域を含むより広い範囲のＭ×Ｍ画素（Ｍはｍおよびｎより大きい整数）の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値の高い周波数成分を補正するための画素補正成分を生成する補正成分算出部と、補正部とを備え、この補正部において、補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色情報の補間画素値に加算または減算して当該補間画素値を補正し、その補間点における各色情報の新たな画素値として出力するようにしたものである。
【００１１】
また、補正部で、補間点の間隔ｎが補間領域の大きさｍ以下の場合、補間画素値に画素補正成分を加算することにより、補間点における新たな画素値を算出するようにしたものである。また、補正部で、補間点の間隔ｎが補間領域の大きさｍより大きい場合、補間画素値から画素補正成分を減算することにより、補間点における新たな画素値を算出するようにしたものである。
【００１２】
また、補正成分算出部で、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値のみを用いて、その補間点に対応する画素補正成分を算出するようにしたものである。また、補間部で、高次で補間された補間画素値であって、かつ高域強調する空間周波数特性を有する補間画素値を算出するようにしたものである。
【００１３】
さらに、補間部で、画像信号からＭ画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれたＭ個の画素ブロックからなる補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点における補間画素値を順次算出し、補正成分算出部で、補間部における補間画素値の算出に用いた補正領域と同じ補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力するようにしたものである。
【００１４】
また、画像信号を構成する各画素値をＭ画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれたＭ個の画素ブロックから補正領域を構成し、その補正領域に対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、補間部で、この領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点における補間画素値を順次算出出力し、補正成分算出部で、領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力するようにしたものである。
【００１５】
さらに、補間部で、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いるようにしたものである。また、補正成分算出部で、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いるようにしたものである。
【００１６】
【発明の実施の形態】
次に、本発明について図面を参照して説明する。
図１は本発明の第１の実施の形態である画像処理装置のブロック図である。
同図において、画像処理装置１０には、入力される画像信号１で構成される２次元平面上から少なくとも画素ライン方向または画素列方向にｎ画素間隔（ｎは２以上の整数）で選択された補間点について、その補間点を中心とするｍ画素×ｍ画素（ｍは２以上の整数）の補間領域内に位置する同一色の周囲画素の画素値を用いて、その補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値５として出力する補間部４が設けられている。
【００１７】
また、補間点の周辺に位置する画素であって、補間部４で用いる補間領域を含むより広いＭ画素×Ｍ画素（Ｍはｎおよびｍより大きい整数）の補正領域内に位置する複数の画素の画素値を用いて、補間点の画素値を補正する画素補正成分７を生成する補正成分算出部６と、この補正成分算出部６で得られた画素補正成分７を用いて、補間部４から出力された補間点における各色情報の補間画素値５を補正し、その補間点における各色情報の新たな画素値９として出力する補正部８とが設けられている。
【００１８】
以下では、画像信号１として、単板式のカラーＣＣＤなどの撮像素子から出力される画像信号、すなわちＲＧＢの各画素が略市松状に配列されたいわゆるベイヤ配列の画像信号を用いた場合について説明するが、これに限定されるものではない。また本発明は、入力される画像信号１で構成される２次元平面上から少なくとも画素ライン方向または画素列方向のいずれか一方向に１／ｎだけ縮小する場合に適用できるとともに、画素ライン方向および画素列方向の両方向に１／ｎだけ縮小する場合に適用できる。
【００１９】
次に、図２を参照して、本発明の第１の実施における概略動作について説明する。図２は第１の実施の形態における概略動作を示す説明図であり、（ａ）は画像信号の２次元平面画像、（ｂ）は各領域の設定例、（ｃ）は所望の画像信号の２次元平面画像を示している。ここでは、入力される画像信号１で構成される２次元平面画像１Ａの大きさを画素ライン方向に１／３（ｎ＝３）に縮小して、新たな画像信号９からなる２次元平面画像９Ａを得る例について説明するが、画素列方向にのみ縮小する場合、さらには画素ライン方向および画素列方向の両方向に縮小する場合についても同様である。
【００２０】
図２では、補間領域の大きさｍをｍ＝３とし、補正領域の大きさＭをＭ＝５とした例が示されている。この場合、補間点１１Ａ，１１Ｂ‥は、図２（ａ）に示すように、２次元平面画像１Ａ上から画素ライン方向ｉおよび画素列方向ｊに３（ｎ＝３）画素間隔で選択され、所望の２次元平面画像９Ａを構成する画素９１Ａ，９１Ｂ‥となる。
【００２１】
図２（ｂ）において、１２Ａは補間点１１Ａを中心とする３画素×３画素（ｍ＝３）の補間領域であり、補間部４ではこの補間領域１２Ａに含まれる画素の画素値を用いて、補間点１１Ａにおける補間画素値５が算出される。また、１３Ａは補間点１１Ａを中心とする５画素×５画素（Ｍ＝５）の補正領域であり、補正成分算出部６ではこの補正領域１３Ａに含まれる画素の画素値を用いて、補間点１１Ａにおける画素補正成分７を算出する。
【００２２】
次に、図３および図４を参照して、本発明の第１の実施の形態による画像処理動作の詳細について説明する。図３および図４は本発明の第１の実施の形態による画像処理動作の詳細を示す説明図であり、特に図３ではＲ画素上に補間点が設定された場合が例示されており、図４ではＲ画素ライン上のＧ画素上に補間点が設定された場合が例示されている。
【００２３】
まず、図３を参照して、Ｒ画素上に補間点が設定された場合の処理動作について説明する。図３において、（ａ）は画素配置例、（ｂ）は補正成分算出用のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。
【００２４】
補間部４では、入力される画像信号１の各画素のうち、図３（ａ）に示すような補間点Ｘ₃₃の周囲直近に位置する所定画素の画素値を用いて、その中心に設定されている補間点（Ｘ₃₃）における補間輝度値５（Ｇ₃₃，Ｒ₃₃，Ｂ₃₃）を算出する。特に、各補間輝度値５は、補間点Ｘ₃₃の周囲近傍すなわち補間点Ｘ₃₃を中心とする３画素×３画素の補間領域１２内に位置する同一色の周囲画素の画素値を用いて、図３（ｃ）に示す数式により算出される。
【００２５】
これと並行して、補正成分算出部６では、補間部４で用いた補間点Ｘ₃₃の周囲に位置する所定画素の画素値と、図３（ｂ）に示すフィルタ係数および補正倍率（重み係数）ｇｆとを用いて、図３（ｃ）に示す数式により、補間点における各色情報の画素値を補正する画素補正成分７（ＨＦ₃₃）が生成される。特に、画素補正成分７の算出に用いる画素として、補間部４での補間処理に用いた補間領域と比較して、その補間領域を含み、さらにその補間領域より広い範囲、ここではフィルタ係数に対応する５画素×５画素の補正領域１３内に位置する所定画素が用いられる。
【００２６】
したがって、補間部４で算出される補間画素値５には、補間点を中心とする画素領域における空間周波数の高い成分は含まれないが、画素補正成分７には、その画素領域における高い空間周波数成分が含まれることになる。そして、補正部８では、図３（ｃ）の数式に示されているように、画素補正成分７が加算（あるいは積算）されて、各色情報の補間画素値５が補正され、補間点（Ｘ₃₃）における各色情報の新たな画素値９（Ｇ'₃₃，Ｒ'₃₃，Ｂ'₃₃）が算出される。
【００２７】
次に、図４を参照して、Ｒ画素ライン上のＧ画素上に補間点が設定された場合の処理動作について説明する。図４において、（ａ）は画素配置例、（ｂ）補正成分算出力のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。Ｒ画素ライン上のＧ画素上に補間点が設定された場合の処理動作は、図３で示したＲ画素上に補間点が設定された場合の処理動作と比較して、補間点が画素ライン方向に１画素分シフトしたものと見なすことができる。
【００２８】
したがって、補間部４、補正成分算出部６および補正部８での処理動作は、両者ともほぼ同じとなる。但し、補間点（Ｘ₃₄）が元々Ｇ画素であるため、補間部４で補間画素値５を算出するための数式、および補正成分算出部６で画素補正成分７を算出するための数式が、図４（ｃ）のように変化する。また、補正成分算出部６で画素補正成分７を算出するためのフィルタ係数が図４（ｂ）のように変化する。
【００２９】
このように、本発明は、２次元平面画像１Ａ上から画素ライン方向ｉおよび画素列方向ｊにｎ画素間隔で各補間点１１Ａを選択し、補間部４において補間点１１Ａを中心とする補間領域１２Ａ内に位置する同一色の画素の画素値から、その補間点１１Ａにおける各補間画素値５をそれぞれ算出するとともに、補正成分算出部６において補間部４で用いる補間領域１２Ａを含むより広い範囲の補正領域１３Ａ内に位置する複数の画素の画素値から、その補間点１１Ａでの画素補正成分７を算出し、補正部８においてこの画素補正成分７を用いて各補間画素値５を補正するようにしたものである。
【００３０】
したがって、補間部４における補間領域１２Ａを用いた補間では損なわれてしまう成分が、補間領域１２Ａを含むより広い範囲の補正領域１３Ａから算出された画素補正成分７により補われ、高い空間周波数成分を含む新たな画素値が得られる。これにより、補間領域の画素を用いた補間処理と、画像サイズ縮小に伴う画素情報の欠落を抑制するためのフィルタ演算処理とを並列的に一括して処理することができる。
【００３１】
このことから、従来のように、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要がなくなり、多くの処理を必要とすることなく、各画素ごとにすべての色情報を持つ縮小サイズの画像を十分な画質で得ることができる。したがって、例えばディジタルスチルカメラで構図決めのためにそのファインダーに画像を表示する場合、大きな消費電力を必要とすることなく高速かつ高画質で表示できる。
【００３２】
また、補正成分算出部６において、画素補正成分７を算出する場合、図３および図４に示すように、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではＧ画素の画素値のみを用いて画素補正成分７を算出している。したがって、補正部８において各色情報の画素の画素値に対して、輝度成分についてのみ補正することができ、色バランスを変化させることもない。また、輝度成分を代表する画素は、通常、画素数が多く、最も高い周波数成分を有しているので、同色の画素のみから補間した画素値に比べて、より高い周波数成分を含む新たな画素値を得ることができる。
【００３３】
次に、図５を参照して、本発明の第２の実施の形態について説明する。
図５は本発明の第２の実施の形態による画像処理動作を示す説明図であり、（ａ）は画素配置例、（ｂ）補正成分算出力のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。前述した第１の実施の形態では、画素上に補間点を設定した場合について説明したが、補間点については画素と同じ位置に限定されるものではなく、画素位置からずれた位置すなわち画素と画素との間に設定してもよい。
【００３４】
本実施の形態では、画素間に補間点ａを設定した場合について説明する。
図５（ａ）では、図２（ａ）の補間点Ｘ₃₃であるＲ画素Ｒ₃₃から右上にずれた４つ画素の間、Ｒ画素Ｒ₃₃、Ｇ画素Ｇ₃₂、Ｇ画素Ｇ₄₃およびＢ画素Ｂ₄₂に囲まれた位置に補間点ａが設定さている。この場合、補間部４では、図５（ｃ）に示す数式に基づき、補間点ａを含む２画素×２画素（ｍ＝２）の補間領域１４Ｇまたは３画素×３画素（ｍ＝３）の補間領域１４Ｒ，１４Ｂに含まれる同一色の周囲画素から補間画素値５（Ｇａ，Ｒａ，Ｂａ）が算出される。
【００３５】
これと並行して、補正成分算出部６では、補間点ａの周囲に位置する複数の画素であって、補間部４で用いた補間領域を含むより広い範囲の画素の画素値と、図５（ｂ）に示すフィルタ係数および補正倍率（重み係数）ｇｆとを用いて、図５（ｃ）に示す数式により、補間点ａにおける各色情報の画素値を補正する画素補正成分７（ＨＦａ）が生成される。特に、画素補正成分７の算出に用いる画素として、補間部４での補間処理に用いた補間点の周囲の画素の範囲と比較して、補間点ａを中心としたより広い範囲、ここではフィルタ係数に対応する４画素×４画素（Ｍ＝４）の補正領域１５内に位置する所定画素が用いられる。
【００３６】
したがって、補間部４で算出される補間画素値５には、補間点を中心とする画素領域での高い空間周波数成分が含まれないが、画素補正成分７には、その画素領域と係数に応じた特性で高い空間周波数成分が含まれることになる。その後、補正部８では、図５（ｃ）の数式に示されているように、画素補正成分７が加算（あるいは積算）されて、各色情報の補間画素値５が補正され、補間点ａにおける各色情報の新たな画素値９（Ｇ'ａ，Ｒ'ａ，Ｂ'ａ）が算出される。
【００３７】
図６は補間点の設定位置を示す説明図である。図５では、Ｒ画素Ｒ₃₃の右上に補間点ａを設定した場合について説明したが、補間点ａの設定位置は、このほか図６（ａ）〜図６（ｃ）に示すようにＲ画素Ｒ₃₃の左上、右下および左下の各位置に設定する場合が考えられる。なお、図６（ａ）については、図５（ａ）の画素配置例を左右反転（または９０゜回転）させたものとみなすことができ、図５（ｂ）のフィルタ係数を左右反転（または９０゜回転）させて用いればよい。
【００３８】
また、図６（ｂ），図６（ｃ）については、図５および図６（ｂ）についてＲ画素とＢ画素とが入れ替わったものと見なすことができ、ＲとＢとを入れ替えて算出すればよい。したがって、いずれの場合も、図５（ｃ）の数式と同様にして、補間点ａを含む２画素×２画素または３画素×３画素の補間領域内の画素から補間画素値５が算出され、その補間領域より広い４画素×４画素の補正領域内の所定画素から画素補正成分７が算出される。
【００３９】
図５では、Ｒ画素の右上に補間点が位置する場合について説明したが、補間点がＧ画素やＢ画素の右上に位置する場合については、図５および図６で示したいずれかの場合に対応する。例えば、Ｒ画素ライン上のＧ画素の右上に補間点ａを設定した場合、着目画素と補間点との位置関係は、図６（ａ）と一致する。したがって、図５および図６（ａ）〜（ｃ）に示した４パターンですべての場合の処理を実行できる。
【００４０】
このように、補間点を画素位置からずれた位置に設定した場合でも、前述の第１の実施の形態と同様にして新たな画素値を算出でき、比較的簡素な処理により高い空間周波数成分を有する十分な画質の画像を得ることができる。また、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではＧ画素の画素値のみを用いて画素補正成分７を算出ようにしたので、補正部８において各色情報の画素の画素値に対して、ほぼ輝度成分についてのみ補正することができ、色バランスを変化させることもない。
【００４１】
また、補正成分算出に用いた４画素×４画素（Ｍ＝４）の領域のように、この領域の１辺の画素数Ｍが偶数の場合、１画素ごとに画素補正成分７の空間周波数特性は異なるが、これは方向が異なるだけで特性そのものは同じである。したがって、１辺の画素数Ｍが奇数の場合に比べて補間点位置に起因する画素補正成分７の特性変化が少ないので、より高画質の画像が得られる。
【００４２】
次に、図７を参照して、本発明の第３の実施の形態について説明する。
図７は第３の実施の形態による画像処理装置を示すブロック図である。
前述した図１では、補間部４および補正成分算出部６において画像信号１を直接取り込む場合について説明したが、本実施の形態では図７に示すように領域値算出部２を設けて画像信号１を取り込んで前処理し、補間部４Ａおよび補正成分算出部６Ａに分配するようにしたものである。
【００４３】
図７において、２は画像信号１を取り込み、補間点を中心とする処理対象画素からなるサブマトリクス上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値３として算出出力する領域値算出部である。そして、領域値算出部２で得られた各領域値３は、画素ブロックの取込みに同期して並列出力される。
【００４４】
一方、補間部４Ａおよび補正成分算出部６Ａで行われる処理は、前述の図１の補間部４および補正成分算出部６と同様であるが、画像信号１を直接取り込むのではなく、領域値算出部２から並列出力される各領域値３を選択的に用いて、対応するサブマトリクスの補間点における補間画素値５および画素補正成分７を順次算出出力する。
【００４５】
図８は第３の実施の形態における概略動作を示す説明図であり、（ａ）は画像信号の２次元平面画像、（ｂ）は各領域の設定例を示している。また図９は領域値算出部の動作を示す説明図であり、（ａ）は補正領域、（ｂ）は補正領域に設定された領域群、（ｃ）は各領域値の算出式を示している。
【００４６】
領域値算出部２では、図８（ａ）に示すように、画像信号１を構成する各画素値をＭ画素ライン数分（ｊ方向）、ここでは画素補正成分７の算出に必要な画素ライン数として５画素ライン分だけ並列して同一画素列ごとに画素ブロック２１として順次取込む。
【００４７】
そして、図８（ｂ）に示すように、これら連続して取り込んだＭ個（ｉ方向）、ここでは画素補正成分７の算出に必要な画素列数として５画素列分の画素ブロック２１から補正領域と同じ大きさのサブマトリクス２２を構成している。これにより、サブマトリクス２２が、２次元平面画像上をｉ方向に１画素分ずつシフトしていくことになる。
【００４８】
領域値算出部２では、このようにして構成したサブマトリクス２２のうち、図９（ｂ）に示す予め設定されている各画素領域Ａ〜Ｆごとに、図９（ｃ）の算出式に基づき、その画素領域に属する画素の画素値の和すなわち領域値３を算出するとともに、これら各領域値を画素ブロック２１の取込みに同期して並列出力する。そして、補間部４Ａおよび補正成分算出部６Ａでは、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力する。
【００４９】
なお、各画素領域は、後段の補間部４Ａおよび補正成分算出部６Ａで用いる数式に基づき設定すればよく、図９（ｂ）には、前述の第１の実施の形態で用いた補間処理および画像補正成分算出処理を用いる場合の画素領域Ａ〜Ｆが示されている。以下では、この画素領域Ａ〜Ｆが設定されている場合を例として説明する。
【００５０】
図１０は領域値算出部の構成例を示すブロック図である。図１０において、２１〜２５は、それぞれ直列接続された４つの１ピクセルクロックディレイ２１１〜２１４，２２１〜２２４，２３１〜２３４，２４１〜２４４，２５１〜２５４からなるシフトレジスタであり、それぞれ画素ブロック２１の各画素値Ｖi1〜Ｖi5ごとに並列的に設けられている。なお、１ピクセルクロックディレイ（以下、ディレイという）とは、画素ライン方向（ｉ方向）のクロック信号に同期して、入力された画素値を遅延出力するラッチ回路である。
【００５１】
したがって、連続する５つの画素ブロック２１が順次取り込まれた場合、シフトレジスタ２１〜２５の各ディレイの出力から、サブマトリクス２２の各画素位置における画素値が出力される。そして、加算器２０１〜２０７により、各画素領域ごとにそれに属する画素と対応するディレイの出力がすべて加算され、それぞれの領域値が得られる。
【００５２】
例えば、加算器２０１では、図９（ｂ）の領域Ａに対応するディレイ２２１，２２３，２４１，２４３が加算され領域値Ａが得られる。このようにして、領域値算出部２では、取り込まれたサブマトリクス２２から各領域値３が算出され並列的に出力される。
【００５３】
図１１は補間部および補正成分算出部の構成例を示すブロック図である。補間部４ＡはそれぞれＲ画素，Ｂ画素およびＧ画素に関する補間処理を行うＲ補間部４１、Ｂ補間部４２およびＧ補間部４３から構成されている。これら補間部４１〜４３では、積算器（除算器）や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。
【００５４】
そして、実際の補間点の位置を示すＯ／Ｅ信号およびＲ／Ｂ信号、あるいはＯ／Ｅ信号のみに基づき、対応する補間画素値がセレクタ４１Ａ〜４３Ａにより選択出力され、補間点における補間画素値５（Ｒ，Ｂ，Ｇ）として出力される。なお、Ｒ／Ｂ信号とは、補間点がＲ画素ライン上にあるのかＢ画素ライン上にあるのかを示すＲ／Ｂ信号であり、Ｏ／Ｅ信号とは、補間点がＧ画素上にあるのか否かを示す信号である。
【００５５】
これと同様にして、補間成分算出部６Ａでも、積算器（除算器）や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。そして、実際の補間点の位置を示すＯ／Ｅ信号に基づき、対応する補間画素値がセレクタ６１により選択出力され、補間点における画素補正成分７（ＨＦ）として出力される。なお、画素補正成分の算出に用いるフィルタ係数の各係数として、２の累乗値の和を用いるとともに、これら各係数の和が２の累乗となる係数を用いることにより、補間成分算出部６Ａで用いる積算器（除算器）をビットシフト回路で構成することができ、回路構成の大幅な簡略化を実現できる。
【００５６】
図１２は補正部の構成例を示すブロック図である。同図において、８１は画素補正成分７に対して２の累乗値を積算（除算）する複数の積算器からなる積算部であり、各積算器が互いに並列接続されている。８２は補正倍率（重み係数）ｇｆに基づき積算部８１の各積算器の出力のうちの１つ以上を選択的に加算する加算器である。
【００５７】
８４は補間画素値５（Ｒ，Ｂ，Ｇ）に対して加算器８２の出力８３を個別に加算し、画素補正成分７により補正された補間点における新たな画素値９（Ｒ’，Ｂ’，Ｇ’）として出力する加算器、８５は補間画素位置に同期しその間隔を周期とするクロックφｎに応じて加算器８４の出力を保持出力し、入力された画像信号１の１／ｎの大きさの画像を構成する新たな画素値９を出力するラッチである。
【００５８】
したがって、補正倍率ｇｆを任意に選択入力することにより、このｇｆに応じた強さだけ補間画素値５を補正することができる。また、積算部８１として、２の累乗値を積算する複数の積算器で構成するようにしたので、簡素な回路構成で任意の補正倍率ｇｆを画素補正成分７に積算できる。なお、画素補正成分７の基準レベルが補間点の位置に応じて変化する場合は、補間点の位置情報に応じて、ｇｆを自動的に切り替え選択することにより、画像補正成分７の基準レベルを調整できる。
【００５９】
このように、第３の実施の形態では、領域値算出部２を設けて、サブマトリクス２２上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値３として算出するとともに、これら各領域値３を画素ブロック２１の取込みに同期して並列出力し、補間部４Ａおよび補正成分算出部６Ａにおいて、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクス２２の補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。
【００６０】
したがって、画素ブロック２１の取込みに同期して、サブマトリクスが画像信号１の２次元平面画像上を１画素ずつシフトしていくとともに、そのサブマトリクスに対応する補間点における各色情報の補間画素値として、画素補正成分７により補正された新たな補間画素値が得られる。そして、入力された画像信号１から画素ライン方向および画素列方向にｎ画素間隔で選択された補間画素に同期して、新たな補間画素値が保持出力され、結果として画素ブロック２１の取込みに同期したパイプライン処理が実現できる。
【００６１】
これにより、ＤＳＰなどを用いて数値演算することにより補間処理を行う場合と比較して、より高速に十分な画質の補間画素値を算出できる。なお、本実施の形態では、第１の実施の形態を基本として説明したが、第２の実施の形態にも、補正成分算出処理に必要な画素ライン数分および画素列分について回路を構成すれ、前述と同様の作用効果が得られる。
【００６２】
さらに、本実施の形態を第２の実施の形態に適用した場合は、必要な画素数が減ってバッファメモリあるいはディレイのためのラッチが削減され、必要な回路面積は減少する。特に、バッファメモリに保持すべきデータのライン数が減るということは、最近のように画素数の多いデジタルスチルカメラのような撮像装置の場合、極めて効果が高い。
【００６３】
また、本実施の形態では、加算器８４の後段にラッチ８５を設けて、入力された画像信号１から画素ライン方向および画素列方向にｎ画素間隔で選択された補間画素に同期して、加算器８４の出力を保持出力するようにした場合について説明したが、これに限定されるものではない。例えば、領域値算出部２（図１０参照）の出力段に、クロックφｎに基づき領域値Ａ〜Ｆを保持出力するラッチを設けた場合でも、ｎ画素間隔で新たな画素値９が得られる。
【００６４】
この場合には、そのラッチより後段の回路部分には、１画素ごとではなくｎ画素ごとに信号が出力されることになる。したがって、これら回路部分での処理動作の速度を低下でき、消費電力を低減できる。理論的には、領域値算出部２の各加算器２０１〜２０７の入力段にラッチを設けた場合に、低減できる消費電力量が最大となる。
【００６５】
次に、図１３を参照して、本発明の第４の実施の形態について説明する。
前述した図２（ｂ）では、補間点１１Ａの補間領域１２Ａと、補間点１１Ｂの補間領域１２Ｂとが接しており、補間点１１Ａ，１１Ｂの画素間隔ｎと補間領域１２Ａ，１２Ｂの大きさｍとが等しい場合（ｎ＝ｍ＝３）について説明した。ここで、補間点の画素間隔ｎが大きくなり、補間領域が離間する場合（ｎ＞ｍ）、補間部４での補間処理に用いられない画素が生じる。
【００６６】
したがって、ｎ＞ｍの場合は、補正成分を加算ではなく減算することによりこれら補間処理に用いられなかった画素値を補正後の画素値に反映するようにしたものである。図１３では、加算器８２と加算器８４との間に、加算器８２の出力８３の極性を反転させるインバータ８７と、このインバータ８７の出力と加算器８２の出力８３のいずれかを選択するセレクタ８６とを設け、ｍ，ｎの大小を比較する比較器８８の比較結果に基づきセレクタ８６を制御している。
【００６７】
ここでは、比較器８８においてｎ≦ｍと判断された場合は、セレクタ８６の入力Ａが出力８９として選択出力され、加算器８２の出力８３がそのまま加算器８４へ出力される。したがって、ｎ≦ｍの場合は、加算器８４において補間画素値５に画素補正成分７が加算されることになる。
【００６８】
一方、ｎ＞ｍと判断された場合は、セレクタ８６の入力Ｂが出力８９として選択されて、加算器８２の出力８３をインバータ８７で反転したものが加算器８４へ出力される。この結果、ｎ＞ｍの場合は、加算器８４において補間画素値５から画素補正成分７が減算されることになる。この場合、これら補正に用いた画素の係数は正の値となり、補正領域にローパスフィルタをかけたときと同様の効果が得られる。
【００６９】
なお、各色情報ごとに補間領域の大きさｍが違う場合には、補正部８において各色情報ごとに補正するようにしてもよい。例えば、各色情報ｘ（但し、ｘ＝｛Ｒ，Ｇ，Ｂ｝）ごとの補間領域の大きさをｍｘとして、
ｘ’＝ｘ＋ＨＦ（ｎ≦ｍｘのとき）
ｘ’＝ｘ−ＨＦ（ｎ＞ｍｘのとき）
により補正できる。
【００７０】
また、原画像において、ＲやＢのように、Ｇより画素数が少ないものの、補間領域の大きさｍｘが補間点の間隔ｎと等しい場合（ｍｘ＝ｎ）は、補正部８において画素補正成分７による補間値５の補正を行わず、
ｘ’＝ｘ
とするようにして、３段階に補正するようにしてもよい。
【００７１】
【発明の効果】
以上説明したように、本発明は、画像信号から画素ライン方向および画素列方向にｎ画素間隔で選択された補間点について、その補間点を中心とするｍ×ｍ画素（ｍは２以上の整数）の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部と、補間点を中心とし前記補間領域を含むより広い範囲のＭ×Ｍ画素（Ｍはｍおよびｎより大きい整数）の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部とを設け、補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色情報の補間画素値を補正するとともに、その補間点における各色情報の新たな画素値として出力するようにしたので、補間領域の画素を用いた補間処理と、画像サイズ縮小に伴う画素情報の欠落を抑制するためのフィルタ演算処理とを並列的に一括して処理することができる。したがって、従来のように、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要がなくなり、各画素ごとにすべての色情報を持つ縮小サイズの画像を、大きな消費電力を必要とすることなく高速かつ高画質で表示できる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態による画像処理装置のブロック図である。
【図２】 第１の実施の形態における概略動作を示す説明図である。
【図３】 第１の実施の形態による画像処理動作（Ｒ画素上に補間点が設定された場合）を示す説明図である。
【図４】 第１の実施の形態による画像処理動作（Ｒ画素ライン上のＧ画素上に補間点が設定された場合）を示す説明図である。
【図５】 第２の実施の形態による画像処理動作を示す説明図である。
【図６】 補間点の設定位置を示す説明図である。
【図７】 第３の実施の形態による画像処理装置を示すブロック図である。
【図８】 第３の実施の形態における概略動作を示す説明図である。
【図９】 領域値算出部の動作を示す説明図である。
【図１０】 領域値算出部の構成例を示すブロック図である。
【図１１】 補間部および補正成分算出部の構成例を示すブロック図である。
【図１２】 補正部の構成例を示すブロック図である。
【図１３】 第４の実施の形態による補正部の構成例を示すブロック図である。
【符号の説明】
１…画像信号、２…領域値算出部、３…領域値、４，４Ａ…補間部、５，５Ａ…補間画素値、６…補正成分算出部、７…画素補正成分、８…補正部、９…画素値（補間・補正後）、１０…画像処理装置、１１Ａ，１１Ｂ…補間点、１２，１２Ａ，１２Ｂ，１４Ｒ，１４Ｇ，１４Ｂ…補間領域、１３，１３Ａ，１３Ｂ，１５…補正領域、２１…画素ブロック、２２…サブマトリクス、８６…セレクタ、８７…インバータ、８８…比較器。

Claims (8)

1. ２次元平面上にマトリクス状に配置された多数の画素からなり、かつ各画素がそれぞれ個別の色フィルタを有する撮像素子から得られた所定色情報のレベルを示す画素値のみを有する元の画像信号から、この画像信号の１／ｎ（ｎは２以上の整数）の大きさの２次元平面上に配置された各補間点ごとにすべての色情報のレベルを示す画素値を有する新たな画像信号を生成する画像処理装置であって、
   画像信号から少なくとも画素ライン方向または画素列方向にｎ画素間隔で選択された補間点について、その補間点を中心とするｍ×ｍ画素（ｍは２以上の整数）の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部と、
   補間点を中心とし前記補間領域を含むより広い範囲のＭ×Ｍ画素（Ｍはｍおよびｎより大きい整数）の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値の高い周波数成分を補正するための画素補正成分を生成する補正成分算出部と、
   この補正成分算出部で得られた補間点に対応する画素補正成分を、補間部から出力されたその補間点における各色情報の補間画素値に加算または減算して当該補間画素値を補正し、その補間点における各色情報の新たな画素値として出力する補正部とを備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記補正部は、補間点の間隔ｎが補間領域の大きさｍ以下の場合、補間画素値に画素補正成分を加算することにより、補間点における新たな画素値を算出することを特徴とする画像処理装置。
3. 請求項１記載の画像処理装置において、
   前記補正部は、補間点の間隔ｎが補間領域の大きさｍより大きい場合、補間画素値から画素補正成分を減算することにより、補間点における新たな画素値を算出することを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記補正成分算出部は、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値のみを用いて、その補間点に対応する画素補正成分を算出することを特徴とする画像処理装置。
5. 請求項１記載の画像処理装置において、
   前記補間部は、画像信号からＭ画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれたＭ個の画素ブロックからなる補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点における補間画素値を順次算出し、
   前記補正成分算出部は、前記補間部における補間画素値の算出に用いた前記補正領域と同じ補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力することを特徴とする画像処理装置。
6. 請求項１記載の画像処理装置において、
   画像信号を構成する各画素値をＭ画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれたＭ個の画素ブロックから補正領域を構成し、その補正領域に対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、
   前記補間部は、この領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点における補間画素値を順次算出出力し、
   前記補正成分算出部は、前記領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力することを特徴とする画像処理装置。
7. 請求項１記載の画像処理装置において、
   前記補間部は、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いることを特徴とする画像処理装置。
8. 請求項１記載の画像処理装置において、
   前記補正成分算出部は、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いることを特徴とする画像処理装置。

Images