JP4361991B2

JP4361991B2 - Image processing device

Info

Publication number: JP4361991B2
Application number: JP23355799A
Authority: JP
Inventors: 俊博笹井
Original assignee: メディア・テック・ユーエスエイ・インコーポレーテッド
Priority date: 1999-08-20
Filing date: 1999-08-20
Publication date: 2009-11-11
Anticipated expiration: 2019-08-20
Also published as: DE60023619T2; EP1081937A2; EP1081937B1; JP2001086522A; US6654492B1; DE60023619D1; EP1081937A3

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に単板式電子カメラ装置などで撮影された２次元のカラー画像信号から高画質の画像を生成する画像処理装置に関するものである。
【０００２】
【従来の技術】
一般に、単板式のカラーＣＣＤなどの撮像部を用いて撮影を行う電子撮像装置では、複数の色（原色）のうちの１色の画素値しか有しない、２次元平面上にマトリクス状に配列された多数の画素からなる画像から、画素値の補間処理を行うことにより、各画素ごとにすべての色情報（ＲＧＢあるいは輝度値と色差信号）をもつ画像を生成している。
【０００３】
ここで、撮像部で得られた画像を、その画像より少ない画素数の表示装置で表示するには、原画像の大きさを縮小する必要がある。この場合、原画像を構成する画素を単純に間引くと、原画像が持つ情報が欠落して、いわゆるエイリアッシングノイズが発生し、得られた画像がスムーズに繋がらない。したがって、画像サイズを縮小する場合、ローパスフィルタで原画像の高域成分を減衰させた後、原画像の画素間隔より大きな間隔で再びサンプリングするといった処理が必要となる。
【０００４】
従来、このような画像縮小処理としては、画素ラインごとにアナログあるいはデジタルローパスフィルタと再サンプリング回路を設ける場合もあるが、ＤＳＰ（ディジタル信号演算処理回路）を用いて、原画像の各画素ごとにすべての色情報をもつ中間画像を生成した後、フィルタ演算処理（コンボリューション演算）を行う方法が多く用いられている。
【０００５】
この種の演算処理としては、中間画像の各画素について、サブマトリクスと呼ぶ所定領域に含まれる複数の画素ごとにローパスフィルタ処理し、そのサブマトリクスを少ずつ重なる部分を残しながら原画像上をシフトさせていくという処理が用いられる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の方法では、フィルタ演算処理を行う前に、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要があるため、画像の記録を必要としない静止画像を得て表示する場合、例えばディジタルスチルカメラで構図決めのためにそのファインダーに画像を表示する場合でも、ファインダーという比較的画素数の少ない小さなサイズの画像を得るためだけに、わざわざ画素数の多い大きなサイズの中間画像を生成していた。
【０００７】
このために処理時間がかかりリアルタイムで画像が得られないため、上記のような比較的迅速な画像更新表示が求められる構図決めといった機能を実用レベルで実現できないという問題点があった。
また、記録用の高画質画像を得るよりも多くの演算処理を高速で行う必要があるため、それらに伴って電力消費が増大し、例えばデジタルスチルカメラ等の電池で動く機器では、十分な稼働時間が得られないという問題点があった。
【０００８】
本発明はこのような課題を解決するためのものであり、多くの処理や消費電力を必要とすることなく高速で高画質の縮小画像が得られる画像処理装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
このような目的を達成するために、本発明による画像処理装置は、２次元平面上にマトリクス状に配置された多数の画素からなり、かつ各画素がそれぞれ個別の色フィルタを有する撮像素子から得られた所定色情報のレベルを示す画素値のみを有する元の画像信号から、この画像信号の１／ｎ（ｎは２以上の整数）の大きさの２次元平面上に配置された各補間点ごとにすべての色情報のレベルを示す画素値を有する新たな画像信号を生成する画像処理装置であって、画像信号から画素ライン方向および画素列方向にｎ画素間隔で選択された補間点について、その補間点を中心とするｍ×ｍ画素（ｍは２以上の整数）の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部を備えるものである。
【００１０】
さらに、補間点を中心とし前記補間領域を含むより広い範囲のＭ×Ｍ画素（Ｍはｍおよびｎより大きい整数）の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値の高い周波数成分を補正するための画素補正成分を生成する補正成分算出部と、補正部とを備え、この補正部において、補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色情報の補間画素値に加算または減算して当該補間画素値を補正し、その補間点における各色情報の新たな画素値として出力するようにしたものである。
【００１１】
また、補正部で、補間点の間隔ｎが補間領域の大きさｍ以下の場合、補間画素値に画素補正成分を加算することにより、補間点における新たな画素値を算出するようにしたものである。また、補正部で、補間点の間隔ｎが補間領域の大きさｍより大きい場合、補間画素値から画素補正成分を減算することにより、補間点における新たな画素値を算出するようにしたものである。
【００１２】
また、補正成分算出部で、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値のみを用いて、その補間点に対応する画素補正成分を算出するようにしたものである。また、補間部で、高次で補間された補間画素値であって、かつ高域強調する空間周波数特性を有する補間画素値を算出するようにしたものである。
【００１３】
さらに、補間部で、画像信号からＭ画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれたＭ個の画素ブロックからなる補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点における補間画素値を順次算出し、補正成分算出部で、補間部における補間画素値の算出に用いた補正領域と同じ補正領域に含まれる各画素の画素値を用いて、その補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力するようにしたものである。
【００１４】
また、画像信号を構成する各画素値をＭ画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれたＭ個の画素ブロックから補正領域を構成し、その補正領域に対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部をさらに備え、補間部で、この領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点における補間画素値を順次算出出力し、補正成分算出部で、領域値算出部から並列出力される各領域値を選択的に用いて、対応する補正領域の補間点の画素値を補正するための画素補正成分を順次算出出力するようにしたものである。
【００１５】
さらに、補間部で、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いるようにしたものである。また、補正成分算出部で、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いるようにしたものである。
【００１６】
【発明の実施の形態】
次に、本発明について図面を参照して説明する。
図１は本発明の第１の実施の形態である画像処理装置のブロック図である。
同図において、画像処理装置１０には、入力される画像信号１で構成される２次元平面上から少なくとも画素ライン方向または画素列方向にｎ画素間隔（ｎは２以上の整数）で選択された補間点について、その補間点を中心とするｍ画素×ｍ画素（ｍは２以上の整数）の補間領域内に位置する同一色の周囲画素の画素値を用いて、その補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値５として出力する補間部４が設けられている。
【００１７】
また、補間点の周辺に位置する画素であって、補間部４で用いる補間領域を含むより広いＭ画素×Ｍ画素（Ｍはｎおよびｍより大きい整数）の補正領域内に位置する複数の画素の画素値を用いて、補間点の画素値を補正する画素補正成分７を生成する補正成分算出部６と、この補正成分算出部６で得られた画素補正成分７を用いて、補間部４から出力された補間点における各色情報の補間画素値５を補正し、その補間点における各色情報の新たな画素値９として出力する補正部８とが設けられている。
【００１８】
以下では、画像信号１として、単板式のカラーＣＣＤなどの撮像素子から出力される画像信号、すなわちＲＧＢの各画素が略市松状に配列されたいわゆるベイヤ配列の画像信号を用いた場合について説明するが、これに限定されるものではない。また本発明は、入力される画像信号１で構成される２次元平面上から少なくとも画素ライン方向または画素列方向のいずれか一方向に１／ｎだけ縮小する場合に適用できるとともに、画素ライン方向および画素列方向の両方向に１／ｎだけ縮小する場合に適用できる。
【００１９】
次に、図２を参照して、本発明の第１の実施における概略動作について説明する。図２は第１の実施の形態における概略動作を示す説明図であり、（ａ）は画像信号の２次元平面画像、（ｂ）は各領域の設定例、（ｃ）は所望の画像信号の２次元平面画像を示している。ここでは、入力される画像信号１で構成される２次元平面画像１Ａの大きさを画素ライン方向に１／３（ｎ＝３）に縮小して、新たな画像信号９からなる２次元平面画像９Ａを得る例について説明するが、画素列方向にのみ縮小する場合、さらには画素ライン方向および画素列方向の両方向に縮小する場合についても同様である。
【００２０】
図２では、補間領域の大きさｍをｍ＝３とし、補正領域の大きさＭをＭ＝５とした例が示されている。この場合、補間点１１Ａ，１１Ｂ‥は、図２（ａ）に示すように、２次元平面画像１Ａ上から画素ライン方向ｉおよび画素列方向ｊに３（ｎ＝３）画素間隔で選択され、所望の２次元平面画像９Ａを構成する画素９１Ａ，９１Ｂ‥となる。
【００２１】
図２（ｂ）において、１２Ａは補間点１１Ａを中心とする３画素×３画素（ｍ＝３）の補間領域であり、補間部４ではこの補間領域１２Ａに含まれる画素の画素値を用いて、補間点１１Ａにおける補間画素値５が算出される。また、１３Ａは補間点１１Ａを中心とする５画素×５画素（Ｍ＝５）の補正領域であり、補正成分算出部６ではこの補正領域１３Ａに含まれる画素の画素値を用いて、補間点１１Ａにおける画素補正成分７を算出する。
【００２２】
次に、図３および図４を参照して、本発明の第１の実施の形態による画像処理動作の詳細について説明する。図３および図４は本発明の第１の実施の形態による画像処理動作の詳細を示す説明図であり、特に図３ではＲ画素上に補間点が設定された場合が例示されており、図４ではＲ画素ライン上のＧ画素上に補間点が設定された場合が例示されている。
【００２３】
まず、図３を参照して、Ｒ画素上に補間点が設定された場合の処理動作について説明する。図３において、（ａ）は画素配置例、（ｂ）は補正成分算出用のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。
【００２４】
補間部４では、入力される画像信号１の各画素のうち、図３（ａ）に示すような補間点Ｘ₃₃の周囲直近に位置する所定画素の画素値を用いて、その中心に設定されている補間点（Ｘ₃₃）における補間輝度値５（Ｇ₃₃，Ｒ₃₃，Ｂ₃₃）を算出する。特に、各補間輝度値５は、補間点Ｘ₃₃の周囲近傍すなわち補間点Ｘ₃₃を中心とする３画素×３画素の補間領域１２内に位置する同一色の周囲画素の画素値を用いて、図３（ｃ）に示す数式により算出される。
【００２５】
これと並行して、補正成分算出部６では、補間部４で用いた補間点Ｘ₃₃の周囲に位置する所定画素の画素値と、図３（ｂ）に示すフィルタ係数および補正倍率（重み係数）ｇｆとを用いて、図３（ｃ）に示す数式により、補間点における各色情報の画素値を補正する画素補正成分７（ＨＦ₃₃）が生成される。特に、画素補正成分７の算出に用いる画素として、補間部４での補間処理に用いた補間領域と比較して、その補間領域を含み、さらにその補間領域より広い範囲、ここではフィルタ係数に対応する５画素×５画素の補正領域１３内に位置する所定画素が用いられる。
【００２６】
したがって、補間部４で算出される補間画素値５には、補間点を中心とする画素領域における空間周波数の高い成分は含まれないが、画素補正成分７には、その画素領域における高い空間周波数成分が含まれることになる。そして、補正部８では、図３（ｃ）の数式に示されているように、画素補正成分７が加算（あるいは積算）されて、各色情報の補間画素値５が補正され、補間点（Ｘ₃₃）における各色情報の新たな画素値９（Ｇ'₃₃，Ｒ'₃₃，Ｂ'₃₃）が算出される。
【００２７】
次に、図４を参照して、Ｒ画素ライン上のＧ画素上に補間点が設定された場合の処理動作について説明する。図４において、（ａ）は画素配置例、（ｂ）補正成分算出力のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。Ｒ画素ライン上のＧ画素上に補間点が設定された場合の処理動作は、図３で示したＲ画素上に補間点が設定された場合の処理動作と比較して、補間点が画素ライン方向に１画素分シフトしたものと見なすことができる。
【００２８】
したがって、補間部４、補正成分算出部６および補正部８での処理動作は、両者ともほぼ同じとなる。但し、補間点（Ｘ₃₄）が元々Ｇ画素であるため、補間部４で補間画素値５を算出するための数式、および補正成分算出部６で画素補正成分７を算出するための数式が、図４（ｃ）のように変化する。また、補正成分算出部６で画素補正成分７を算出するためのフィルタ係数が図４（ｂ）のように変化する。
【００２９】
このように、本発明は、２次元平面画像１Ａ上から画素ライン方向ｉおよび画素列方向ｊにｎ画素間隔で各補間点１１Ａを選択し、補間部４において補間点１１Ａを中心とする補間領域１２Ａ内に位置する同一色の画素の画素値から、その補間点１１Ａにおける各補間画素値５をそれぞれ算出するとともに、補正成分算出部６において補間部４で用いる補間領域１２Ａを含むより広い範囲の補正領域１３Ａ内に位置する複数の画素の画素値から、その補間点１１Ａでの画素補正成分７を算出し、補正部８においてこの画素補正成分７を用いて各補間画素値５を補正するようにしたものである。
【００３０】
したがって、補間部４における補間領域１２Ａを用いた補間では損なわれてしまう成分が、補間領域１２Ａを含むより広い範囲の補正領域１３Ａから算出された画素補正成分７により補われ、高い空間周波数成分を含む新たな画素値が得られる。これにより、補間領域の画素を用いた補間処理と、画像サイズ縮小に伴う画素情報の欠落を抑制するためのフィルタ演算処理とを並列的に一括して処理することができる。
【００３１】
このことから、従来のように、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要がなくなり、多くの処理を必要とすることなく、各画素ごとにすべての色情報を持つ縮小サイズの画像を十分な画質で得ることができる。したがって、例えばディジタルスチルカメラで構図決めのためにそのファインダーに画像を表示する場合、大きな消費電力を必要とすることなく高速かつ高画質で表示できる。
【００３２】
また、補正成分算出部６において、画素補正成分７を算出する場合、図３および図４に示すように、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではＧ画素の画素値のみを用いて画素補正成分７を算出している。したがって、補正部８において各色情報の画素の画素値に対して、輝度成分についてのみ補正することができ、色バランスを変化させることもない。また、輝度成分を代表する画素は、通常、画素数が多く、最も高い周波数成分を有しているので、同色の画素のみから補間した画素値に比べて、より高い周波数成分を含む新たな画素値を得ることができる。
【００３３】
次に、図５を参照して、本発明の第２の実施の形態について説明する。
図５は本発明の第２の実施の形態による画像処理動作を示す説明図であり、（ａ）は画素配置例、（ｂ）補正成分算出力のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。前述した第１の実施の形態では、画素上に補間点を設定した場合について説明したが、補間点については画素と同じ位置に限定されるものではなく、画素位置からずれた位置すなわち画素と画素との間に設定してもよい。
【００３４】
本実施の形態では、画素間に補間点ａを設定した場合について説明する。
図５（ａ）では、図２（ａ）の補間点Ｘ₃₃であるＲ画素Ｒ₃₃から右上にずれた４つ画素の間、Ｒ画素Ｒ₃₃、Ｇ画素Ｇ₃₂、Ｇ画素Ｇ₄₃およびＢ画素Ｂ₄₂に囲まれた位置に補間点ａが設定さている。この場合、補間部４では、図５（ｃ）に示す数式に基づき、補間点ａを含む２画素×２画素（ｍ＝２）の補間領域１４Ｇまたは３画素×３画素（ｍ＝３）の補間領域１４Ｒ，１４Ｂに含まれる同一色の周囲画素から補間画素値５（Ｇａ，Ｒａ，Ｂａ）が算出される。
【００３５】
これと並行して、補正成分算出部６では、補間点ａの周囲に位置する複数の画素であって、補間部４で用いた補間領域を含むより広い範囲の画素の画素値と、図５（ｂ）に示すフィルタ係数および補正倍率（重み係数）ｇｆとを用いて、図５（ｃ）に示す数式により、補間点ａにおける各色情報の画素値を補正する画素補正成分７（ＨＦａ）が生成される。特に、画素補正成分７の算出に用いる画素として、補間部４での補間処理に用いた補間点の周囲の画素の範囲と比較して、補間点ａを中心としたより広い範囲、ここではフィルタ係数に対応する４画素×４画素（Ｍ＝４）の補正領域１５内に位置する所定画素が用いられる。
【００３６】
したがって、補間部４で算出される補間画素値５には、補間点を中心とする画素領域での高い空間周波数成分が含まれないが、画素補正成分７には、その画素領域と係数に応じた特性で高い空間周波数成分が含まれることになる。その後、補正部８では、図５（ｃ）の数式に示されているように、画素補正成分７が加算（あるいは積算）されて、各色情報の補間画素値５が補正され、補間点ａにおける各色情報の新たな画素値９（Ｇ'ａ，Ｒ'ａ，Ｂ'ａ）が算出される。
【００３７】
図６は補間点の設定位置を示す説明図である。図５では、Ｒ画素Ｒ₃₃の右上に補間点ａを設定した場合について説明したが、補間点ａの設定位置は、このほか図６（ａ）〜図６（ｃ）に示すようにＲ画素Ｒ₃₃の左上、右下および左下の各位置に設定する場合が考えられる。なお、図６（ａ）については、図５（ａ）の画素配置例を左右反転（または９０゜回転）させたものとみなすことができ、図５（ｂ）のフィルタ係数を左右反転（または９０゜回転）させて用いればよい。
【００３８】
また、図６（ｂ），図６（ｃ）については、図５および図６（ｂ）についてＲ画素とＢ画素とが入れ替わったものと見なすことができ、ＲとＢとを入れ替えて算出すればよい。したがって、いずれの場合も、図５（ｃ）の数式と同様にして、補間点ａを含む２画素×２画素または３画素×３画素の補間領域内の画素から補間画素値５が算出され、その補間領域より広い４画素×４画素の補正領域内の所定画素から画素補正成分７が算出される。
【００３９】
図５では、Ｒ画素の右上に補間点が位置する場合について説明したが、補間点がＧ画素やＢ画素の右上に位置する場合については、図５および図６で示したいずれかの場合に対応する。例えば、Ｒ画素ライン上のＧ画素の右上に補間点ａを設定した場合、着目画素と補間点との位置関係は、図６（ａ）と一致する。したがって、図５および図６（ａ）〜（ｃ）に示した４パターンですべての場合の処理を実行できる。
【００４０】
このように、補間点を画素位置からずれた位置に設定した場合でも、前述の第１の実施の形態と同様にして新たな画素値を算出でき、比較的簡素な処理により高い空間周波数成分を有する十分な画質の画像を得ることができる。また、画像信号の輝度成分を代表する色情報を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではＧ画素の画素値のみを用いて画素補正成分７を算出ようにしたので、補正部８において各色情報の画素の画素値に対して、ほぼ輝度成分についてのみ補正することができ、色バランスを変化させることもない。
【００４１】
また、補正成分算出に用いた４画素×４画素（Ｍ＝４）の領域のように、この領域の１辺の画素数Ｍが偶数の場合、１画素ごとに画素補正成分７の空間周波数特性は異なるが、これは方向が異なるだけで特性そのものは同じである。したがって、１辺の画素数Ｍが奇数の場合に比べて補間点位置に起因する画素補正成分７の特性変化が少ないので、より高画質の画像が得られる。
【００４２】
次に、図７を参照して、本発明の第３の実施の形態について説明する。
図７は第３の実施の形態による画像処理装置を示すブロック図である。
前述した図１では、補間部４および補正成分算出部６において画像信号１を直接取り込む場合について説明したが、本実施の形態では図７に示すように領域値算出部２を設けて画像信号１を取り込んで前処理し、補間部４Ａおよび補正成分算出部６Ａに分配するようにしたものである。
【００４３】
図７において、２は画像信号１を取り込み、補間点を中心とする処理対象画素からなるサブマトリクス上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値３として算出出力する領域値算出部である。そして、領域値算出部２で得られた各領域値３は、画素ブロックの取込みに同期して並列出力される。
【００４４】
一方、補間部４Ａおよび補正成分算出部６Ａで行われる処理は、前述の図１の補間部４および補正成分算出部６と同様であるが、画像信号１を直接取り込むのではなく、領域値算出部２から並列出力される各領域値３を選択的に用いて、対応するサブマトリクスの補間点における補間画素値５および画素補正成分７を順次算出出力する。
【００４５】
図８は第３の実施の形態における概略動作を示す説明図であり、（ａ）は画像信号の２次元平面画像、（ｂ）は各領域の設定例を示している。また図９は領域値算出部の動作を示す説明図であり、（ａ）は補正領域、（ｂ）は補正領域に設定された領域群、（ｃ）は各領域値の算出式を示している。
【００４６】
領域値算出部２では、図８（ａ）に示すように、画像信号１を構成する各画素値をＭ画素ライン数分（ｊ方向）、ここでは画素補正成分７の算出に必要な画素ライン数として５画素ライン分だけ並列して同一画素列ごとに画素ブロック２１として順次取込む。
【００４７】
そして、図８（ｂ）に示すように、これら連続して取り込んだＭ個（ｉ方向）、ここでは画素補正成分７の算出に必要な画素列数として５画素列分の画素ブロック２１から補正領域と同じ大きさのサブマトリクス２２を構成している。これにより、サブマトリクス２２が、２次元平面画像上をｉ方向に１画素分ずつシフトしていくことになる。
【００４８】
領域値算出部２では、このようにして構成したサブマトリクス２２のうち、図９（ｂ）に示す予め設定されている各画素領域Ａ〜Ｆごとに、図９（ｃ）の算出式に基づき、その画素領域に属する画素の画素値の和すなわち領域値３を算出するとともに、これら各領域値を画素ブロック２１の取込みに同期して並列出力する。そして、補間部４Ａおよび補正成分算出部６Ａでは、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力する。
【００４９】
なお、各画素領域は、後段の補間部４Ａおよび補正成分算出部６Ａで用いる数式に基づき設定すればよく、図９（ｂ）には、前述の第１の実施の形態で用いた補間処理および画像補正成分算出処理を用いる場合の画素領域Ａ〜Ｆが示されている。以下では、この画素領域Ａ〜Ｆが設定されている場合を例として説明する。
【００５０】
図１０は領域値算出部の構成例を示すブロック図である。図１０において、２１〜２５は、それぞれ直列接続された４つの１ピクセルクロックディレイ２１１〜２１４，２２１〜２２４，２３１〜２３４，２４１〜２４４，２５１〜２５４からなるシフトレジスタであり、それぞれ画素ブロック２１の各画素値Ｖi1〜Ｖi5ごとに並列的に設けられている。なお、１ピクセルクロックディレイ（以下、ディレイという）とは、画素ライン方向（ｉ方向）のクロック信号に同期して、入力された画素値を遅延出力するラッチ回路である。
【００５１】
したがって、連続する５つの画素ブロック２１が順次取り込まれた場合、シフトレジスタ２１〜２５の各ディレイの出力から、サブマトリクス２２の各画素位置における画素値が出力される。そして、加算器２０１〜２０７により、各画素領域ごとにそれに属する画素と対応するディレイの出力がすべて加算され、それぞれの領域値が得られる。
【００５２】
例えば、加算器２０１では、図９（ｂ）の領域Ａに対応するディレイ２２１，２２３，２４１，２４３が加算され領域値Ａが得られる。このようにして、領域値算出部２では、取り込まれたサブマトリクス２２から各領域値３が算出され並列的に出力される。
【００５３】
図１１は補間部および補正成分算出部の構成例を示すブロック図である。補間部４ＡはそれぞれＲ画素，Ｂ画素およびＧ画素に関する補間処理を行うＲ補間部４１、Ｂ補間部４２およびＧ補間部４３から構成されている。これら補間部４１〜４３では、積算器（除算器）や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。
【００５４】
そして、実際の補間点の位置を示すＯ／Ｅ信号およびＲ／Ｂ信号、あるいはＯ／Ｅ信号のみに基づき、対応する補間画素値がセレクタ４１Ａ〜４３Ａにより選択出力され、補間点における補間画素値５（Ｒ，Ｂ，Ｇ）として出力される。なお、Ｒ／Ｂ信号とは、補間点がＲ画素ライン上にあるのかＢ画素ライン上にあるのかを示すＲ／Ｂ信号であり、Ｏ／Ｅ信号とは、補間点がＧ画素上にあるのか否かを示す信号である。
【００５５】
これと同様にして、補間成分算出部６Ａでも、積算器（除算器）や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。そして、実際の補間点の位置を示すＯ／Ｅ信号に基づき、対応する補間画素値がセレクタ６１により選択出力され、補間点における画素補正成分７（ＨＦ）として出力される。なお、画素補正成分の算出に用いるフィルタ係数の各係数として、２の累乗値の和を用いるとともに、これら各係数の和が２の累乗となる係数を用いることにより、補間成分算出部６Ａで用いる積算器（除算器）をビットシフト回路で構成することができ、回路構成の大幅な簡略化を実現できる。
【００５６】
図１２は補正部の構成例を示すブロック図である。同図において、８１は画素補正成分７に対して２の累乗値を積算（除算）する複数の積算器からなる積算部であり、各積算器が互いに並列接続されている。８２は補正倍率（重み係数）ｇｆに基づき積算部８１の各積算器の出力のうちの１つ以上を選択的に加算する加算器である。
【００５７】
８４は補間画素値５（Ｒ，Ｂ，Ｇ）に対して加算器８２の出力８３を個別に加算し、画素補正成分７により補正された補間点における新たな画素値９（Ｒ’，Ｂ’，Ｇ’）として出力する加算器、８５は補間画素位置に同期しその間隔を周期とするクロックφｎに応じて加算器８４の出力を保持出力し、入力された画像信号１の１／ｎの大きさの画像を構成する新たな画素値９を出力するラッチである。
【００５８】
したがって、補正倍率ｇｆを任意に選択入力することにより、このｇｆに応じた強さだけ補間画素値５を補正することができる。また、積算部８１として、２の累乗値を積算する複数の積算器で構成するようにしたので、簡素な回路構成で任意の補正倍率ｇｆを画素補正成分７に積算できる。なお、画素補正成分７の基準レベルが補間点の位置に応じて変化する場合は、補間点の位置情報に応じて、ｇｆを自動的に切り替え選択することにより、画像補正成分７の基準レベルを調整できる。
【００５９】
このように、第３の実施の形態では、領域値算出部２を設けて、サブマトリクス２２上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値３として算出するとともに、これら各領域値３を画素ブロック２１の取込みに同期して並列出力し、補間部４Ａおよび補正成分算出部６Ａにおいて、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクス２２の補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。
【００６０】
したがって、画素ブロック２１の取込みに同期して、サブマトリクスが画像信号１の２次元平面画像上を１画素ずつシフトしていくとともに、そのサブマトリクスに対応する補間点における各色情報の補間画素値として、画素補正成分７により補正された新たな補間画素値が得られる。そして、入力された画像信号１から画素ライン方向および画素列方向にｎ画素間隔で選択された補間画素に同期して、新たな補間画素値が保持出力され、結果として画素ブロック２１の取込みに同期したパイプライン処理が実現できる。
【００６１】
これにより、ＤＳＰなどを用いて数値演算することにより補間処理を行う場合と比較して、より高速に十分な画質の補間画素値を算出できる。なお、本実施の形態では、第１の実施の形態を基本として説明したが、第２の実施の形態にも、補正成分算出処理に必要な画素ライン数分および画素列分について回路を構成すれ、前述と同様の作用効果が得られる。
【００６２】
さらに、本実施の形態を第２の実施の形態に適用した場合は、必要な画素数が減ってバッファメモリあるいはディレイのためのラッチが削減され、必要な回路面積は減少する。特に、バッファメモリに保持すべきデータのライン数が減るということは、最近のように画素数の多いデジタルスチルカメラのような撮像装置の場合、極めて効果が高い。
【００６３】
また、本実施の形態では、加算器８４の後段にラッチ８５を設けて、入力された画像信号１から画素ライン方向および画素列方向にｎ画素間隔で選択された補間画素に同期して、加算器８４の出力を保持出力するようにした場合について説明したが、これに限定されるものではない。例えば、領域値算出部２（図１０参照）の出力段に、クロックφｎに基づき領域値Ａ〜Ｆを保持出力するラッチを設けた場合でも、ｎ画素間隔で新たな画素値９が得られる。
【００６４】
この場合には、そのラッチより後段の回路部分には、１画素ごとではなくｎ画素ごとに信号が出力されることになる。したがって、これら回路部分での処理動作の速度を低下でき、消費電力を低減できる。理論的には、領域値算出部２の各加算器２０１〜２０７の入力段にラッチを設けた場合に、低減できる消費電力量が最大となる。
【００６５】
次に、図１３を参照して、本発明の第４の実施の形態について説明する。
前述した図２（ｂ）では、補間点１１Ａの補間領域１２Ａと、補間点１１Ｂの補間領域１２Ｂとが接しており、補間点１１Ａ，１１Ｂの画素間隔ｎと補間領域１２Ａ，１２Ｂの大きさｍとが等しい場合（ｎ＝ｍ＝３）について説明した。ここで、補間点の画素間隔ｎが大きくなり、補間領域が離間する場合（ｎ＞ｍ）、補間部４での補間処理に用いられない画素が生じる。
【００６６】
したがって、ｎ＞ｍの場合は、補正成分を加算ではなく減算することによりこれら補間処理に用いられなかった画素値を補正後の画素値に反映するようにしたものである。図１３では、加算器８２と加算器８４との間に、加算器８２の出力８３の極性を反転させるインバータ８７と、このインバータ８７の出力と加算器８２の出力８３のいずれかを選択するセレクタ８６とを設け、ｍ，ｎの大小を比較する比較器８８の比較結果に基づきセレクタ８６を制御している。
【００６７】
ここでは、比較器８８においてｎ≦ｍと判断された場合は、セレクタ８６の入力Ａが出力８９として選択出力され、加算器８２の出力８３がそのまま加算器８４へ出力される。したがって、ｎ≦ｍの場合は、加算器８４において補間画素値５に画素補正成分７が加算されることになる。
【００６８】
一方、ｎ＞ｍと判断された場合は、セレクタ８６の入力Ｂが出力８９として選択されて、加算器８２の出力８３をインバータ８７で反転したものが加算器８４へ出力される。この結果、ｎ＞ｍの場合は、加算器８４において補間画素値５から画素補正成分７が減算されることになる。この場合、これら補正に用いた画素の係数は正の値となり、補正領域にローパスフィルタをかけたときと同様の効果が得られる。
【００６９】
なお、各色情報ごとに補間領域の大きさｍが違う場合には、補正部８において各色情報ごとに補正するようにしてもよい。例えば、各色情報ｘ（但し、ｘ＝｛Ｒ，Ｇ，Ｂ｝）ごとの補間領域の大きさをｍｘとして、
ｘ’＝ｘ＋ＨＦ（ｎ≦ｍｘのとき）
ｘ’＝ｘ−ＨＦ（ｎ＞ｍｘのとき）
により補正できる。
【００７０】
また、原画像において、ＲやＢのように、Ｇより画素数が少ないものの、補間領域の大きさｍｘが補間点の間隔ｎと等しい場合（ｍｘ＝ｎ）は、補正部８において画素補正成分７による補間値５の補正を行わず、
ｘ’＝ｘ
とするようにして、３段階に補正するようにしてもよい。
【００７１】
【発明の効果】
以上説明したように、本発明は、画像信号から画素ライン方向および画素列方向にｎ画素間隔で選択された補間点について、その補間点を中心とするｍ×ｍ画素（ｍは２以上の整数）の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色情報の画素値をそれぞれ補間算出し、各色情報ごとにその補間点における補間画素値として出力する補間部と、補間点を中心とし前記補間領域を含むより広い範囲のＭ×Ｍ画素（Ｍはｍおよびｎより大きい整数）の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部とを設け、補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色情報の補間画素値を補正するとともに、その補間点における各色情報の新たな画素値として出力するようにしたので、補間領域の画素を用いた補間処理と、画像サイズ縮小に伴う画素情報の欠落を抑制するためのフィルタ演算処理とを並列的に一括して処理することができる。したがって、従来のように、原画像の各画素ごとにすべての色情報をもつ中間画像を生成する必要がなくなり、各画素ごとにすべての色情報を持つ縮小サイズの画像を、大きな消費電力を必要とすることなく高速かつ高画質で表示できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による画像処理装置のブロック図である。
【図２】第１の実施の形態における概略動作を示す説明図である。
【図３】第１の実施の形態による画像処理動作（Ｒ画素上に補間点が設定された場合）を示す説明図である。
【図４】第１の実施の形態による画像処理動作（Ｒ画素ライン上のＧ画素上に補間点が設定された場合）を示す説明図である。
【図５】第２の実施の形態による画像処理動作を示す説明図である。
【図６】補間点の設定位置を示す説明図である。
【図７】第３の実施の形態による画像処理装置を示すブロック図である。
【図８】第３の実施の形態における概略動作を示す説明図である。
【図９】領域値算出部の動作を示す説明図である。
【図１０】領域値算出部の構成例を示すブロック図である。
【図１１】補間部および補正成分算出部の構成例を示すブロック図である。
【図１２】補正部の構成例を示すブロック図である。
【図１３】第４の実施の形態による補正部の構成例を示すブロック図である。
【符号の説明】
１…画像信号、２…領域値算出部、３…領域値、４，４Ａ…補間部、５，５Ａ…補間画素値、６…補正成分算出部、７…画素補正成分、８…補正部、９…画素値（補間・補正後）、１０…画像処理装置、１１Ａ，１１Ｂ…補間点、１２，１２Ａ，１２Ｂ，１４Ｒ，１４Ｇ，１４Ｂ…補間領域、１３，１３Ａ，１３Ｂ，１５…補正領域、２１…画素ブロック、２２…サブマトリクス、８６…セレクタ、８７…インバータ、８８…比較器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing device, and more particularly to an image processing device that generates a high-quality image from a two-dimensional color image signal photographed by a single-plate electronic camera device or the like.
[0002]
[Prior art]
In general, in an electronic image pickup apparatus that takes an image using an image pickup unit such as a single-plate color CCD, it is arranged in a matrix on a two-dimensional plane that has only one pixel value of a plurality of colors (primary colors). In addition, an image having all color information (RGB or luminance value and color difference signal) is generated for each pixel by performing pixel value interpolation processing from an image composed of a large number of pixels.
[0003]
Here, in order to display an image obtained by the imaging unit on a display device having a smaller number of pixels than that image, it is necessary to reduce the size of the original image. In this case, if pixels constituting the original image are simply thinned out, information held in the original image is lost, so-called aliasing noise occurs, and the obtained image is not smoothly connected. Therefore, when the image size is reduced, it is necessary to perform a process of attenuating the high frequency component of the original image with a low-pass filter and then sampling again at an interval larger than the pixel interval of the original image.
[0004]
Conventionally, as such image reduction processing, an analog or digital low-pass filter and a re-sampling circuit may be provided for each pixel line, but a DSP (digital signal arithmetic processing circuit) is used for each pixel of the original image. A method of performing filter calculation processing (convolution calculation) after generating an intermediate image having all color information is often used.
[0005]
In this type of arithmetic processing, each pixel in the intermediate image is subjected to low-pass filter processing for each of a plurality of pixels included in a predetermined area called a sub-matrix, and the sub-matrix is shifted on the original image while leaving a portion that overlaps little by little. The process of letting go is used.
[0006]
[Problems to be solved by the invention]
However, in the conventional method, it is necessary to generate an intermediate image having all the color information for each pixel of the original image before performing the filter calculation process, so that a still image that does not require image recording is obtained. When displaying, for example, when displaying an image on the finder for composition determination with a digital still camera, just to obtain a small size image with a relatively small number of pixels called a finder, An intermediate image was generated.
[0007]
For this reason, since processing time is required and an image cannot be obtained in real time, there has been a problem that a function such as composition determination requiring relatively quick image update display as described above cannot be realized at a practical level.
In addition, since it is necessary to perform more arithmetic processing at a higher speed than to obtain a high-quality image for recording, power consumption increases accordingly, and for example, a device that operates on a battery such as a digital still camera is sufficiently operated. There was a problem that time could not be obtained.
[0008]
An object of the present invention is to solve such a problem, and an object of the present invention is to provide an image processing apparatus capable of obtaining a high-quality reduced image at high speed without requiring much processing and power consumption.
[0009]
[Means for Solving the Problems]
In order to achieve such an object, an image processing apparatus according to the present invention is obtained from an image pickup device that includes a large number of pixels arranged in a matrix on a two-dimensional plane, and each pixel has an individual color filter. Interpolation points arranged on a two-dimensional plane having a size of 1 / n (n is an integer of 2 or more) of the image signal from the original image signal having only pixel values indicating the level of the predetermined color information. An image processing apparatus that generates a new image signal having pixel values indicating all color information levels for each interpolation point selected from the image signal in the pixel line direction and the pixel column direction at n pixel intervals. The pixel value of each color information at the interpolation point is interpolated using the pixel value of the same color pixel located in the interpolation area of m × m pixels (m is an integer of 2 or more) centered on the interpolation point. , Each color information Those comprising an interpolation unit to output as an interpolated pixel value at the interpolation point.
[0010]
Furthermore, a wider range of M × M pixels (M is m and n) centering on the interpolation point and including the interpolation area. Greater than A correction component calculation unit that generates a pixel correction component for correcting a high frequency component of the pixel value of the interpolation point using pixel values of a plurality of pixels located in an (integer) correction region, and a correction unit. In this correction unit, the pixel correction component corresponding to the interpolation point obtained by the correction component calculation unit is used to add or subtract to the interpolation pixel value of each color information at the interpolation point output from the interpolation unit. The interpolation pixel value is corrected and output as a new pixel value of each color information at the interpolation point.
[0011]
In the correction unit, when the interpolation point interval n is less than or equal to the size m of the interpolation region, a new pixel value at the interpolation point is calculated by adding a pixel correction component to the interpolation pixel value. is there. In the correction unit, when the interpolation point interval n is larger than the size m of the interpolation region, a new pixel value at the interpolation point is calculated by subtracting the pixel correction component from the interpolation pixel value. is there.
[0012]
Further, the correction component calculation unit calculates a pixel correction component corresponding to the interpolation point using only pixel values of a plurality of pixels having color information representing the luminance component of the image signal. The interpolation unit calculates interpolation pixel values that have been interpolated at a higher order and have spatial frequency characteristics that emphasize the high frequency range.
[0013]
Further, the interpolation unit sequentially captures the same number of M pixel lines from the image signal as pixel blocks for each of the same pixel columns, and is included in the correction region including the M pixel blocks captured in succession. The interpolation pixel value at the interpolation point of the correction area is sequentially calculated using the pixel value of each pixel to be included in the correction component calculation unit and included in the same correction area as the correction area used to calculate the interpolation pixel value in the interpolation unit The pixel correction component for correcting the pixel value of the interpolation point in the correction area is sequentially calculated and output using the pixel value of each pixel.
[0014]
In addition, each pixel value constituting the image signal is taken in parallel as many as the number of M pixel lines and sequentially taken as a pixel block for each identical pixel column, so that a correction area is obtained from these continuously taken M pixel blocks. The sum of the pixel values of the pixels included in each area preset for the correction area is calculated as the area value for each area, and each area value is synchronized with the capture of the pixel block. A region value calculation unit that outputs in parallel is further provided, and the interpolation unit selectively uses each region value output in parallel from the region value calculation unit, and sequentially calculates and outputs the interpolation pixel value at the interpolation point of the corresponding correction region. Then, the correction component calculation unit sequentially calculates and outputs pixel correction components for correcting the pixel value of the interpolation point of the corresponding correction region by selectively using each region value output in parallel from the region value calculation unit. Like One in which the.
[0015]
Further, the interpolation unit calculates the interpolation pixel value at the interpolation point from the sum of the product of the pixel value of each pixel used at the time of interpolation calculation and the coefficient corresponding to each pixel, and each coefficient is the sum of powers of 2 as these coefficients. And a coefficient in which the sum of the coefficients is a power of 2 is used. Further, the correction component calculation unit calculates a correction component from the sum of the product of the pixel value of each pixel used at the time of calculating the correction component and the coefficient corresponding to each pixel, and each coefficient is calculated from the sum of powers of 2. And a coefficient whose sum of coefficients is a power of 2 is used.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Next, the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an image processing apparatus according to the first embodiment of the present invention.
In the figure, the image processing apparatus 10 is selected at n pixel intervals (n is an integer of 2 or more) at least in the pixel line direction or pixel column direction from the two-dimensional plane constituted by the input image signal 1. For the interpolation point, the pixel values of surrounding pixels of the same color located in the interpolation area of m pixels × m pixels (m is an integer of 2 or more) centered on the interpolation point are used for each color information at the interpolation point. An interpolation unit 4 is provided that interpolates and calculates pixel values and outputs each pixel value as an interpolated pixel value 5 at each interpolation point.
[0017]
In addition, the pixels located around the interpolation point are wider M pixels × M pixels (M is n and m) including the interpolation region used in the interpolation unit 4. Greater than A correction component calculation unit 6 for generating a pixel correction component 7 for correcting the pixel value of the interpolation point using pixel values of a plurality of pixels located in an (integer) correction region, and the correction component calculation unit 6 A correction unit 8 that corrects the interpolated pixel value 5 of each color information at the interpolation point output from the interpolation unit 4 using the pixel correction component 7 and outputs as a new pixel value 9 of each color information at the interpolation point. Is provided.
[0018]
In the following, a case where an image signal output from an image sensor such as a single-plate color CCD, that is, a so-called Bayer array image signal in which RGB pixels are arranged in a substantially checkered pattern will be described as the image signal 1. However, the present invention is not limited to this. In addition, the present invention can be applied to a case where the image signal 1 is reduced by 1 / n in at least one of the pixel line direction and the pixel column direction from the two-dimensional plane formed by the input image signal 1, and the pixel line direction and This can be applied to the case of reducing by 1 / n in both directions of the pixel column direction.
[0019]
Next, with reference to FIG. 2, a schematic operation in the first embodiment of the present invention will be described. 2A and 2B are explanatory diagrams showing a schematic operation in the first embodiment, in which FIG. 2A is a two-dimensional planar image of an image signal, FIG. 2B is a setting example of each region, and FIG. 2C is a desired image signal. A two-dimensional planar image is shown. Here, the size of the two-dimensional planar image 1A composed of the input image signal 1 is reduced to 1/3 (n = 3) in the pixel line direction, and the two-dimensional planar image composed of the new image signal 9 is obtained. Although an example of obtaining 9A will be described, the same applies to the case of reducing only in the pixel column direction, and further to the case of reducing in both the pixel line direction and the pixel column direction.
[0020]
FIG. 2 shows an example in which the size m of the interpolation area is m = 3 and the size M of the correction area is M = 5. In this case, as shown in FIG. 2A, the interpolation points 11A, 11B,... Are selected from the two-dimensional planar image 1A in the pixel line direction i and the pixel column direction j at intervals of 3 (n = 3) pixels. The pixels 91A, 91B,... Constituting the desired two-dimensional planar image 9A.
[0021]
In FIG. 2B, 12A is an interpolation region of 3 pixels × 3 pixels (m = 3) centered on the interpolation point 11A, and the interpolation unit 4 uses the pixel values of the pixels included in the interpolation region 12A. The interpolation pixel value 5 at the interpolation point 11A is calculated. 13A is a correction area of 5 pixels × 5 pixels (M = 5) centered on the interpolation point 11A, and the correction component calculation unit 6 uses the pixel values of the pixels included in the correction area 13A to interpolate the interpolation points. The pixel correction component 7 in 11A is calculated.
[0022]
Next, details of the image processing operation according to the first embodiment of the present invention will be described with reference to FIGS. 3 and 4 are explanatory diagrams showing details of the image processing operation according to the first embodiment of the present invention. In particular, FIG. 3 illustrates a case where an interpolation point is set on the R pixel. 4 illustrates a case where an interpolation point is set on the G pixel on the R pixel line.
[0023]
First, the processing operation when an interpolation point is set on the R pixel will be described with reference to FIG. 3, (a) is a pixel arrangement example, (b) is a filter coefficient for correction component calculation, and (c) is a mathematical formula showing interpolation processing, correction component calculation processing, and correction processing.
[0024]
In the interpolation unit 4, among the pixels of the input image signal 1, an interpolation point X as shown in FIG. ₃₃ Using the pixel value of a predetermined pixel located in the immediate vicinity of the interpolation point (X ₃₃ ) Interpolated luminance value 5 (G ₃₃ , R ₃₃ , B ₃₃ ) Is calculated. In particular, each interpolated luminance value 5 has an interpolation point X ₃₃ Around the area, that is, the interpolation point X ₃₃ Is calculated by the mathematical formula shown in FIG. 3C using pixel values of surrounding pixels of the same color located in the interpolation region 12 of 3 pixels × 3 pixels centering on.
[0025]
In parallel with this, the correction component calculation unit 6 uses the interpolation point X used in the interpolation unit 4. ₃₃ 3C, the pixel values of the predetermined pixels located around the area, the filter coefficient and the correction magnification (weighting coefficient) gf shown in FIG. 3B, and the numerical information shown in FIG. Pixel correction component 7 for correcting the pixel value (HF ₃₃ ) Is generated. In particular, the pixel used for calculation of the pixel correction component 7 includes the interpolation area compared to the interpolation area used in the interpolation processing in the interpolation unit 4, and further corresponds to the filter coefficient in this case, which is wider than the interpolation area. A predetermined pixel located in the correction area 13 of 5 pixels × 5 pixels is used.
[0026]
Therefore, the interpolation pixel value 5 calculated by the interpolation unit 4 does not include a component having a high spatial frequency in the pixel region centered on the interpolation point, but the pixel correction component 7 has a high spatial frequency in the pixel region. Ingredients will be included. Then, as shown in the equation of FIG. 3C, the correction unit 8 adds (or integrates) the pixel correction component 7 to correct the interpolation pixel value 5 of each color information, and the interpolation point (X ₃₃ ), The new pixel value 9 (G ′ ₃₃ , R ' ₃₃ , B ' ₃₃ ) Is calculated.
[0027]
Next, with reference to FIG. 4, the processing operation when an interpolation point is set on the G pixel on the R pixel line will be described. 4, (a) is a pixel arrangement example, (b) a filter coefficient of correction component calculation power, and (c) is a mathematical formula showing interpolation processing, correction component calculation processing, and correction processing. The processing operation when the interpolation point is set on the G pixel on the R pixel line is compared with the processing operation when the interpolation point is set on the R pixel shown in FIG. It can be considered that the pixel is shifted by one pixel in the direction.
[0028]
Accordingly, the processing operations in the interpolation unit 4, the correction component calculation unit 6 and the correction unit 8 are almost the same. However, the interpolation point (X ₃₄ ) Is originally a G pixel, an equation for calculating the interpolation pixel value 5 by the interpolation unit 4 and an equation for calculating the pixel correction component 7 by the correction component calculation unit 6 are as shown in FIG. To change. Further, the filter coefficient for calculating the pixel correction component 7 by the correction component calculation unit 6 changes as shown in FIG.
[0029]
As described above, the present invention selects each interpolation point 11A at n pixel intervals in the pixel line direction i and the pixel column direction j from the two-dimensional planar image 1A, and the interpolation unit 4 interpolates the interpolation point 11A as a center. Each interpolation pixel value 5 at the interpolation point 11A is calculated from the pixel values of pixels of the same color located within 12A, and a wider range including the interpolation region 12A used by the interpolation unit 4 in the correction component calculation unit 6 The pixel correction component 7 at the interpolation point 11A is calculated from the pixel values of a plurality of pixels located in the correction region 13A, and the correction unit 8 uses the pixel correction component 7 to correct each interpolation pixel value 5. It is a thing.
[0030]
Therefore, the component that is lost in the interpolation using the interpolation region 12A in the interpolation unit 4 is supplemented by the pixel correction component 7 calculated from the correction region 13A in a wider range including the interpolation region 12A, and a high spatial frequency component is obtained. A new pixel value containing is obtained. Thereby, the interpolation process using the pixels in the interpolation area and the filter calculation process for suppressing the loss of pixel information due to the image size reduction can be collectively processed in parallel.
[0031]
This eliminates the need to generate an intermediate image having all the color information for each pixel of the original image as in the prior art, and all the color information for each pixel is obtained without requiring much processing. It is possible to obtain a reduced-size image with sufficient image quality. Therefore, for example, when an image is displayed on the viewfinder for composition determination with a digital still camera, it can be displayed at high speed and high image quality without requiring large power consumption.
[0032]
Further, when the pixel correction component 7 is calculated in the correction component calculation unit 6, as shown in FIGS. 3 and 4, pixel values of a plurality of pixels having color information representing the luminance component of the image signal, for example, a Bayer array In this image signal, the pixel correction component 7 is calculated using only the pixel value of the G pixel. Therefore, the correction unit 8 can correct only the luminance component with respect to the pixel value of each color information pixel, and does not change the color balance. In addition, since the pixel representing the luminance component usually has the highest number of pixels and the highest frequency component, a new pixel that includes a higher frequency component than the pixel value interpolated from only pixels of the same color. A value can be obtained.
[0033]
Next, a second embodiment of the present invention will be described with reference to FIG.
FIG. 5 is an explanatory diagram showing an image processing operation according to the second embodiment of the present invention, where (a) is a pixel arrangement example, (b) a filter coefficient of correction component calculation power, (c) is an interpolation process, and correction is performed. It is a mathematical formula showing a component calculation process and a correction process. In the first embodiment described above, the case where the interpolation point is set on the pixel has been described. However, the interpolation point is not limited to the same position as the pixel, and the position shifted from the pixel position, that is, the pixel and the pixel You may set between.
[0034]
In the present embodiment, a case where an interpolation point a is set between pixels will be described.
In FIG. 5A, the interpolation point X in FIG. ₃₃ R pixel R ₃₃ Between the four pixels shifted to the upper right from the R pixel R ₃₃ , G pixel G ₃₂ , G pixel G ₄₃ And B pixel B ₄₂ An interpolation point a is set at a position surrounded by. In this case, the interpolation unit 4 has a 2 pixel × 2 pixel (m = 2) interpolation region 14G including the interpolation point a or 3 pixels × 3 pixels (m = 3) based on the mathematical formula shown in FIG. An interpolation pixel value 5 (Ga, Ra, Ba) is calculated from surrounding pixels of the same color included in the interpolation regions 14R, 14B.
[0035]
In parallel with this, the correction component calculation unit 6 includes a plurality of pixels located around the interpolation point a, and the pixel values of a wider range of pixels including the interpolation region used in the interpolation unit 4, and FIG. A pixel correction component 7 (HFa) for correcting the pixel value of each color information at the interpolation point a is calculated by using the filter coefficient and the correction magnification (weighting coefficient) gf shown in FIG. Generated. In particular, as a pixel used for calculation of the pixel correction component 7, a wider range around the interpolation point a compared to the range of pixels around the interpolation point used in the interpolation processing in the interpolation unit 4, here a filter A predetermined pixel located in the correction area 15 of 4 pixels × 4 pixels (M = 4) corresponding to the coefficient is used.
[0036]
Therefore, the interpolated pixel value 5 calculated by the interpolating unit 4 does not include a high spatial frequency component in the pixel region centered on the interpolation point, but the pixel correction component 7 depends on the pixel region and the coefficient. Therefore, a high spatial frequency component is included. Thereafter, the correction unit 8 adds (or integrates) the pixel correction component 7 to correct the interpolated pixel value 5 of each color information, as shown in the equation of FIG. A new pixel value 9 (G′a, R′a, B′a) of each color information is calculated.
[0037]
FIG. 6 is an explanatory diagram showing the set position of the interpolation point. In FIG. 5, R pixel R ₃₃ In the above description, the interpolation point a is set on the upper right side of the pixel. However, the setting position of the interpolation point a is not limited to the R pixel R as shown in FIGS. 6 (a) to 6 (c). ₃₃ It is conceivable to set the positions at the upper left, lower right and lower left positions. 6A can be regarded as the pixel arrangement example of FIG. 5A left-right reversed (or rotated 90 °), and the filter coefficient of FIG. 5B is reversed left-right (or 90 ° rotation).
[0038]
6 (b) and 6 (c), it can be considered that the R pixel and the B pixel are interchanged in FIGS. 5 and 6 (b), and R and B are interchanged. That's fine. Therefore, in any case, the interpolation pixel value 5 is calculated from the pixels in the interpolation region of 2 pixels × 2 pixels or 3 pixels × 3 pixels including the interpolation point a in the same manner as the mathematical expression of FIG. A pixel correction component 7 is calculated from predetermined pixels in a correction region of 4 pixels × 4 pixels wider than the interpolation region.
[0039]
In FIG. 5, the case where the interpolation point is located on the upper right side of the R pixel has been described. However, the case where the interpolation point is located on the upper right side of the G pixel and the B pixel is performed in any of the cases shown in FIGS. Correspond. For example, when the interpolation point a is set at the upper right of the G pixel on the R pixel line, the positional relationship between the pixel of interest and the interpolation point coincides with FIG. Therefore, the process in all cases can be executed with the four patterns shown in FIGS. 5 and 6A to 6C.
[0040]
Thus, even when the interpolation point is set at a position shifted from the pixel position, a new pixel value can be calculated in the same manner as in the first embodiment described above, and a high spatial frequency component can be obtained by relatively simple processing. An image having sufficient image quality can be obtained. In addition, since the pixel correction component 7 is calculated using only the pixel values of a plurality of pixels having color information representative of the luminance component of the image signal, for example, the pixel value of the G pixel in the image signal of the Bayer array, the correction unit In FIG. 8, only the luminance component can be corrected for the pixel value of each color information pixel, and the color balance is not changed.
[0041]
Further, when the number of pixels M on one side of this region is an even number, such as a region of 4 pixels × 4 pixels (M = 4) used for correction component calculation, the spatial frequency characteristics of the pixel correction component 7 for each pixel. Are different, but they have the same characteristics, only in different directions. Therefore, since the characteristic change of the pixel correction component 7 due to the interpolation point position is less than that in the case where the number of pixels M on one side is an odd number, a higher quality image can be obtained.
[0042]
Next, a third embodiment of the present invention will be described with reference to FIG.
FIG. 7 is a block diagram showing an image processing apparatus according to the third embodiment.
In FIG. 1 described above, the case where the image signal 1 is directly captured by the interpolation unit 4 and the correction component calculation unit 6 has been described. However, in the present embodiment, the region signal calculation unit 2 is provided as shown in FIG. Are preprocessed and distributed to the interpolation unit 4A and the correction component calculation unit 6A.
[0043]
In FIG. 7, reference numeral 2 denotes an image signal 1, and for each pixel area set in advance on a sub-matrix composed of pixels to be processed centered on an interpolation point, the sum of the pixel values of the pixels belonging to that pixel area is calculated. An area value calculation unit that calculates and outputs the area value 3. Each region value 3 obtained by the region value calculation unit 2 is output in parallel in synchronization with the capture of the pixel block.
[0044]
On the other hand, the processing performed by the interpolation unit 4A and the correction component calculation unit 6A is the same as that of the interpolation unit 4 and the correction component calculation unit 6 in FIG. 1 described above, but does not directly capture the image signal 1, but calculates the region value. The area value 3 output in parallel from the unit 2 is selectively used to sequentially calculate and output the interpolated pixel value 5 and the pixel correction component 7 at the interpolation point of the corresponding submatrix.
[0045]
FIG. 8 is an explanatory diagram showing a schematic operation in the third embodiment. FIG. 8A shows a two-dimensional plane image of an image signal, and FIG. 8B shows a setting example of each region. FIG. 9 is an explanatory diagram showing the operation of the region value calculation unit, where (a) is a correction region, (b) is a region group set in the correction region, and (c) is a calculation formula for each region value. Yes.
[0046]
In the region value calculation unit 2, as shown in FIG. 8A, each pixel value constituting the image signal 1 is equal to the number of M pixel lines (j direction), here, the pixel lines necessary for calculating the pixel correction component 7 As a number, the pixel blocks 21 are sequentially taken in parallel for the same pixel column in parallel by 5 pixel lines.
[0047]
Then, as shown in FIG. 8B, correction is performed from the pixel block 21 for five pixel columns as the number of pixel columns necessary for the calculation of the pixel correction component 7 in this case (M direction), i. A sub-matrix 22 having the same size as the region is formed. As a result, the sub-matrix 22 is shifted by one pixel in the i direction on the two-dimensional planar image.
[0048]
In the region value calculation unit 2, among the sub-matrix 22 configured as described above, for each of the preset pixel regions A to F shown in FIG. 9B, the region value calculation unit 2 is based on the calculation formula of FIG. The sum of the pixel values of the pixels belonging to the pixel region, that is, the region value 3 is calculated, and these region values are output in parallel in synchronization with the capture of the pixel block 21. Then, the interpolation unit 4A and the correction component calculation unit 6A sequentially calculate and output the interpolated pixel value and the pixel correction component at the interpolation point of the corresponding sub-matrix by selectively using each region value output in parallel.
[0049]
Each pixel region may be set based on mathematical expressions used in the subsequent interpolation unit 4A and the correction component calculation unit 6A. FIG. 9B shows the interpolation processing used in the first embodiment described above. Pixel areas A to F in the case of using the image correction component calculation process are shown. Hereinafter, a case where the pixel areas A to F are set will be described as an example.
[0050]
FIG. 10 is a block diagram illustrating a configuration example of the region value calculation unit. In FIG. 10, reference numerals 21 to 25 denote shift registers each including four 1-pixel clock delays 211 to 214, 221 to 224, 231 to 234, 241 to 244, and 251 to 254 connected in series. The pixel values Vi1 to Vi5 are provided in parallel. Note that a one-pixel clock delay (hereinafter referred to as delay) is a latch circuit that delays and outputs an input pixel value in synchronization with a clock signal in the pixel line direction (i direction).
[0051]
Therefore, when five consecutive pixel blocks 21 are sequentially fetched, the pixel value at each pixel position of the sub-matrix 22 is output from the output of each delay of the shift registers 21 to 25. Then, the adders 201 to 207 add the outputs of the delays corresponding to the pixels belonging to each pixel region, and obtain the respective region values.
[0052]
For example, the adder 201 adds the delays 221, 223, 241, and 243 corresponding to the area A in FIG. 9B to obtain the area value A. In this way, the region value calculation unit 2 calculates each region value 3 from the captured submatrix 22 and outputs it in parallel.
[0053]
FIG. 11 is a block diagram illustrating a configuration example of the interpolation unit and the correction component calculation unit. The interpolating unit 4A includes an R interpolating unit 41, a B interpolating unit 42, and a G interpolating unit 43 that perform interpolating processes relating to R pixels, B pixels, and G pixels, respectively. In these interpolation units 41 to 43, a plurality of interpolation pixel values corresponding to the position of the interpolation point are calculated in parallel using an integrator (divider) or an adder.
[0054]
Then, based on the O / E signal and R / B signal indicating the actual position of the interpolation point, or only the O / E signal, the corresponding interpolation pixel value is selected and output by the selectors 41A to 43A, and the interpolation pixel value at the interpolation point is selected. 5 (R, B, G) is output. The R / B signal is an R / B signal indicating whether the interpolation point is on the R pixel line or the B pixel line, and the O / E signal is an interpolation point on the G pixel. This is a signal indicating whether or not.
[0055]
Similarly, in the interpolation component calculation unit 6A, a plurality of interpolation pixel values corresponding to the position of the interpolation point are calculated in parallel using an integrator (divider) or an adder. Then, based on the O / E signal indicating the position of the actual interpolation point, the corresponding interpolation pixel value is selected and output by the selector 61 and output as the pixel correction component 7 (HF) at the interpolation point. In addition, as each coefficient of the filter coefficient used for calculating the pixel correction component, a sum of powers of 2 is used, and a coefficient in which the sum of these coefficients is a power of 2 is used in the interpolation component calculation unit 6A. The integrator (divider) can be constituted by a bit shift circuit, and the circuit configuration can be greatly simplified.
[0056]
FIG. 12 is a block diagram illustrating a configuration example of the correction unit. In the figure, reference numeral 81 denotes an integration unit composed of a plurality of integrators that integrate (divide) power values of 2 with respect to the pixel correction component 7, and the integrators are connected in parallel to each other. Reference numeral 82 denotes an adder that selectively adds one or more of the outputs of the accumulators of the accumulator 81 based on the correction magnification (weight coefficient) gf.
[0057]
84 individually adds the output 83 of the adder 82 to the interpolated pixel value 5 (R, B, G), and a new pixel value 9 (R ′, B ′) at the interpolation point corrected by the pixel correction component 7. , G ′), and an adder 85 outputs and holds the output of the adder 84 in accordance with a clock φn synchronized with the interpolation pixel position and having the interval as a cycle, and is 1 / n of the input image signal 1 This is a latch that outputs a new pixel value 9 constituting an image of a size.
[0058]
Therefore, by arbitrarily selecting and inputting the correction magnification gf, the interpolated pixel value 5 can be corrected by an intensity corresponding to the gf. Further, since the integrating unit 81 is configured by a plurality of integrators that integrate powers of 2, an arbitrary correction magnification gf can be integrated with the pixel correction component 7 with a simple circuit configuration. When the reference level of the pixel correction component 7 changes according to the position of the interpolation point, the reference level of the image correction component 7 is set by automatically switching and selecting gf according to the position information of the interpolation point. Can be adjusted.
[0059]
As described above, in the third embodiment, the region value calculation unit 2 is provided, and for each pixel region set in advance on the sub-matrix 22, the sum of the pixel values of the pixels belonging to the pixel region is stored in the region. While calculating as value 3, these region values 3 are output in parallel in synchronism with the capture of the pixel block 21, and the region values output in parallel are selectively used in the interpolation unit 4A and the correction component calculation unit 6A. Thus, the interpolation pixel value and the pixel correction component at the interpolation point of the corresponding sub-matrix 22 are sequentially calculated and output.
[0060]
Therefore, in synchronization with the capture of the pixel block 21, the sub-matrix shifts one pixel at a time on the two-dimensional plane image of the image signal 1, and the interpolated pixel value of each color information at the interpolation point corresponding to the sub-matrix. A new interpolated pixel value corrected by the pixel correction component 7 is obtained. Then, a new interpolation pixel value is held and output in synchronization with the interpolation pixel selected from the input image signal 1 in the pixel line direction and the pixel column direction at an n pixel interval, and as a result, synchronized with the capture of the pixel block 21. Pipeline processing can be realized.
[0061]
As a result, it is possible to calculate an interpolated pixel value having sufficient image quality at a higher speed than in the case where the interpolation process is performed by performing a numerical operation using a DSP or the like. Although the present embodiment has been described based on the first embodiment, a circuit is configured for the number of pixel lines and the number of pixel columns necessary for the correction component calculation process in the second embodiment as well. The same effects as described above can be obtained.
[0062]
Further, when this embodiment is applied to the second embodiment, the number of necessary pixels is reduced, the number of buffer memories or latches for delay is reduced, and the required circuit area is reduced. In particular, the reduction in the number of lines of data to be held in the buffer memory is extremely effective in an imaging apparatus such as a digital still camera having a large number of pixels as recently.
[0063]
Further, in the present embodiment, a latch 85 is provided after the adder 84 so that the addition is performed in synchronization with interpolation pixels selected from the input image signal 1 in the pixel line direction and the pixel column direction at an interval of n pixels. Although the case where the output of the device 84 is held and output has been described, the present invention is not limited to this. For example, even when a latch that holds and outputs the region values A to F based on the clock φn is provided in the output stage of the region value calculation unit 2 (see FIG. 10), a new pixel value 9 is obtained at an interval of n pixels.
[0064]
In this case, a signal is output not for every pixel but for every n pixels in the circuit portion subsequent to the latch. Therefore, the processing operation speed in these circuit portions can be reduced, and the power consumption can be reduced. Theoretically, when a latch is provided at the input stage of each of the adders 201 to 207 of the region value calculation unit 2, the power consumption that can be reduced is maximized.
[0065]
Next, a fourth embodiment of the present invention will be described with reference to FIG.
In FIG. 2B described above, the interpolation region 12A of the interpolation point 11A and the interpolation region 12B of the interpolation point 11B are in contact with each other, and the pixel interval n of the interpolation points 11A and 11B and the size m of the interpolation regions 12A and 12B. The case where and are equal (n = m = 3) has been described. Here, when the pixel interval n of the interpolation points becomes large and the interpolation regions are separated (n> m), pixels that are not used for the interpolation processing in the interpolation unit 4 occur.
[0066]
Therefore, when n> m, the correction component is subtracted instead of added to reflect the pixel value that has not been used for the interpolation processing in the corrected pixel value. In FIG. 13, an inverter 87 that inverts the polarity of the output 83 of the adder 82 between the adder 82 and the adder 84, and a selector that selects either the output of the inverter 87 or the output 83 of the adder 82. 86, and the selector 86 is controlled based on the comparison result of the comparator 88 that compares the magnitudes of m and n.
[0067]
Here, when n ≦ m is determined by the comparator 88, the input A of the selector 86 is selected and output as the output 89, and the output 83 of the adder 82 is output to the adder 84 as it is. Therefore, when n ≦ m, the pixel correction component 7 is added to the interpolated pixel value 5 in the adder 84.
[0068]
On the other hand, when it is determined that n> m, the input B of the selector 86 is selected as the output 89, and the output 83 of the adder 82 inverted by the inverter 87 is output to the adder 84. As a result, when n> m, the pixel correction component 7 is subtracted from the interpolated pixel value 5 in the adder 84. In this case, the coefficients of the pixels used for the correction are positive values, and the same effect as when the low-pass filter is applied to the correction area can be obtained.
[0069]
When the size m of the interpolation area is different for each color information, the correction unit 8 may correct each color information. For example, assuming that the size of the interpolation area for each color information x (where x = {R, G, B}) is mx,
x ′ = x + HF (when n ≦ mx)
x ′ = x−HF (when n> mx)
Can be corrected.
[0070]
In the original image, when the number of pixels is smaller than G, such as R and B, but the size mx of the interpolation area is equal to the interval n of the interpolation points (mx = n), the correction unit 8 performs the pixel correction component. The interpolation value 5 is not corrected by 7,
x ′ = x
Thus, the correction may be made in three stages.
[0071]
【The invention's effect】
As described above, according to the present invention, m × m pixels (m is an integer equal to or greater than 2) centered on an interpolation point selected at an n pixel interval in the pixel line direction and the pixel column direction from the image signal. ) Using the pixel values of the pixels of the same color located in the interpolation area of (), interpolating and calculating the pixel value of each color information at the interpolation point, and outputting the interpolation pixel value at that interpolation point for each color information; , A wider range of M × M pixels centered around the interpolation point and including the interpolation area (M is m and n Greater than A correction component calculation unit that generates a pixel correction component for correcting the pixel value of the interpolation point using the pixel values of a plurality of pixels located in an (integer) correction region. Using the pixel correction component corresponding to the interpolated point, the interpolated pixel value of each color information at the interpolated point output from the interpolating unit is corrected and output as a new pixel value of each color information at the interpolated point. Therefore, the interpolation process using the pixels in the interpolation area and the filter calculation process for suppressing the loss of pixel information due to the image size reduction can be collectively processed in parallel. Therefore, unlike the conventional case, it is not necessary to generate an intermediate image having all color information for each pixel of the original image, and a reduced size image having all color information for each pixel requires large power consumption. Display at high speed and high image quality.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a schematic operation in the first embodiment.
FIG. 3 is an explanatory diagram showing an image processing operation (when an interpolation point is set on an R pixel) according to the first embodiment;
FIG. 4 is an explanatory diagram showing an image processing operation (when an interpolation point is set on a G pixel on an R pixel line) according to the first embodiment;
FIG. 5 is an explanatory diagram showing an image processing operation according to the second embodiment.
FIG. 6 is an explanatory diagram showing a setting position of an interpolation point.
FIG. 7 is a block diagram illustrating an image processing apparatus according to a third embodiment.
FIG. 8 is an explanatory diagram showing a schematic operation in the third embodiment.
FIG. 9 is an explanatory diagram showing an operation of a region value calculation unit.
FIG. 10 is a block diagram illustrating a configuration example of a region value calculation unit.
FIG. 11 is a block diagram illustrating a configuration example of an interpolation unit and a correction component calculation unit.
FIG. 12 is a block diagram illustrating a configuration example of a correction unit.
FIG. 13 is a block diagram illustrating a configuration example of a correction unit according to a fourth embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image signal, 2 ... Area value calculation part, 3 ... Area value, 4, 4A ... Interpolation part, 5, 5A ... Interpolation pixel value, 6 ... Correction component calculation part, 7 ... Pixel correction component, 8 ... Correction part, 9 ... Pixel value (after interpolation / correction), 10 ... Image processing device, 11A, 11B ... Interpolation point, 12, 12A, 12B, 14R, 14G, 14B ... Interpolation region, 13, 13A, 13B, 15 ... Correction region, 21 ... Pixel block, 22 ... Submatrix, 86 ... Selector, 87 ... Inverter, 88 ... Comparator.

Claims

An original image signal composed of a large number of pixels arranged in a matrix on a two-dimensional plane, each pixel having only a pixel value indicating the level of predetermined color information obtained from an image sensor having an individual color filter. To a new image signal having pixel values indicating the level of all color information for each interpolation point arranged on a two-dimensional plane having a size of 1 / n (n is an integer of 2 or more) of the image signal. An image processing device for generating
For the interpolation points selected at least in the pixel line direction or the pixel column direction from the image signal at n pixel intervals, the same points are located in the interpolation area of m × m pixels (m is an integer of 2 or more) centered on the interpolation points. An interpolation unit that calculates the pixel value of each color information at the interpolation point using the pixel value of the color pixel, and outputs the interpolation pixel value at the interpolation point for each color information;
A pixel at the interpolation point using pixel values of a plurality of pixels located in a correction region of a wider range of M × M pixels (M is an integer greater than m and n) centering on the interpolation point and including the interpolation region A correction component calculation unit that generates a pixel correction component for correcting a frequency component having a high value;
The pixel correction component corresponding to the interpolation point obtained by the correction component calculation unit is added to or subtracted from the interpolation pixel value of each color information at the interpolation point output from the interpolation unit to correct the interpolation pixel value, and An image processing apparatus comprising: a correction unit that outputs a new pixel value of each color information at an interpolation point.

The image processing apparatus according to claim 1.
The correction unit calculates a new pixel value at the interpolation point by adding a pixel correction component to the interpolation pixel value when the interval n between the interpolation points is equal to or smaller than the size m of the interpolation region. Processing equipment.

The image processing apparatus according to claim 1.
The correction unit calculates a new pixel value at the interpolation point by subtracting a pixel correction component from the interpolation pixel value when the interval n between the interpolation points is larger than the size m of the interpolation region. Processing equipment.

The image processing apparatus according to claim 1.
The correction component calculation unit calculates a pixel correction component corresponding to the interpolation point using only pixel values of a plurality of pixels having color information representing the luminance component of the image signal. .

The image processing apparatus according to claim 1.
The interpolating unit is sequentially fetched as a pixel block for each identical pixel column in parallel by the number of M pixel lines from the image signal, and is included in a correction area composed of these M pixel blocks that are successively fetched. Using the pixel value of each pixel, sequentially calculate the interpolation pixel value at the interpolation point of the correction area,
The correction component calculation unit corrects the pixel value of the interpolation point of the correction region using the pixel value of each pixel included in the same correction region as the correction region used for calculation of the interpolation pixel value in the interpolation unit. An image processing apparatus that sequentially calculates and outputs pixel correction components.

The image processing apparatus according to claim 1.
Each pixel value constituting the image signal is arranged in parallel by the number of M pixel lines and sequentially taken in as a pixel block for each same pixel column, so that a correction area is formed from these continuously taken up M pixel blocks. The sum of the pixel values of the pixels included in each area preset for the correction area is calculated as the area value for each area, and these area values are output in parallel in synchronization with the capture of the pixel block. A region value calculation unit for
The interpolation unit selectively uses each region value output in parallel from the region value calculation unit, sequentially calculates and outputs the interpolation pixel value at the interpolation point of the corresponding correction region,
The correction component calculation unit sequentially calculates and outputs pixel correction components for correcting the pixel value of the interpolation point of the corresponding correction region by selectively using the region values output in parallel from the region value calculation unit. An image processing apparatus.

The image processing apparatus according to claim 1.
The interpolation unit calculates an interpolated pixel value at an interpolation point from the sum of the product of the pixel value of each pixel used at the time of interpolation calculation and a coefficient corresponding to each pixel, and each coefficient is calculated from the sum of powers of 2. An image processing apparatus using a coefficient whose sum is a power of 2.

The image processing apparatus according to claim 1.
The correction component calculation unit calculates a correction component from the sum of the product of the pixel value of each pixel used at the time of calculating the correction component and a coefficient corresponding to each pixel, and each coefficient includes a sum of powers of 2. An image processing apparatus using coefficients whose sum of coefficients is a power of 2.