JPWO2012169140A1 - 画像処理装置及び画像処理方法並びにデジタルカメラ - Google Patents

Abstract

画像処理装置において、単板カラー撮像素子から得られた原画像から、表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部１０２と、この縮小された画像に基づいて、表示モニターの色画素配列に対応できる１種類以上の色配列画像を生成する色再配列表示データ生成処理部１０３とを有して、原画像の色情報で構成される１種類以上の表示用縮小画像を生成する。従って、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を生成処理して表示する際に、最小のフレーム遅延で高速に表示できる。

Description

本発明は、単板カラー撮像素子から得られる原画像を縮小した画像を表示する際に、高速で省電力な動作を実現するのに好適な、画像処理装置及び画像処理方法並びにデジタルカメラに関する。

近年、大判サイズの撮像素子を搭載した一眼デジタルカメラにおいて、光学ビューファインダーと可動ミラーとを搭載しないミラーレス一眼デジタルカメラが注目を浴びている。ミラーレスな一眼デジタルカメラの特徴は、撮影被写体を液晶モニターで確認しながら構図決めを実施して、静止画撮影や動画撮影ができることであり、普及型のデジタルカメラや携帯カメラにおいても標準的な撮影方法となっている。

前述のように一般的なデジタルカメラは、専用の液晶モニターを搭載しており、撮影被写体を液晶モニターで確認しながら構図決めを実施し、同時に顔認識や動き認識などを実施して特定エリアの露出やフォーカスを自動で調整して、静止画撮影や動画撮影を行う。

このようなデジタルカメラに代表される撮像装置では、カラー画像を撮像するために、撮像素子上に色分解フィルタが設けられている。例えば、ベイヤー方式の色分解フィルタでは、撮像素子の画素に対応して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色フィルタが市松模様に配置されている。つまり、ベイヤー配列では、画素並びにおけるセンサー読み出し方向及び垂直方向の両方向に、同じ色成分のフィルタが１画素おきに並ぶ。このような色分解フィルタを通して撮像された撮像素子出力となる画像データは、画像処理により被写体の色を再現するため、入力前段処理においては、ベイヤー配列が保持されるように扱う必要がある。

撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を生成処理して表示する際は、原画像を基にダイナミックレンジ調整やホワイトバランスをとりながら、各画素についてＲ／Ｇ／Ｂの情報を得るような同時化処理を行った後、一般的に扱われるＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー画像処理を経て、液晶モニターの表示サイズに合うように縮小リサイズ処理を実施し、モニター特性に合うような表示処理を実施して、専用モニターに表示する。

図１０は、一般的なデジタルカメラの内部信号処理ブロックの概念図を示す。

同図において、光学レンズ１１を通過した被写体の光学像は、撮像素子面で結像し、撮像素子から出力される。単板式撮像素子の原画像（１面）であるベイヤー配列のＲＡＷ画像データ１０１は、ＤＣレベル調整、ゲイン調整などを前処理部１０５で実施し、メモリー制御部１０７を介してメモリー部１０８に一旦書き込まれた後、次の処理にてメモリー制御部１０７を介してメモリー部１０８から読み出され、画像信号処理部１０９に入力される。画像信号処理部１０９では、ベイヤー配列のＲＡＷ画像からＹ／Ｃｒ／Ｃｂのデータ型に変換する画像信号処理が行われる。

画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換すると共に、表示用画像サイズに縮小するために、縮小リサイズ処理を実施して、所望の表示サイズ画像を生成する。生成された表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。

また同時に、画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、顔検出用画像サイズに縮小するために、輝度信号Ｙに対して縮小リサイズ処理を実施して、所望の顔検出用の輝度画像データを生成する。メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出用サイズの輝度信号Ｙのデータ型画像は、顔検出処理部１０６から再度メモリー制御部１０７を介してメモリー部１０８から適宜読み出され、画像内の顔の位置、大きさなどの顔情報を抽出し、その抽出結果情報はメモリー制御部１０７を介してメモリー部１０８に書き込まれる。ＣＰＵ１１４は、メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出情報を読み出し、顔検出情報より顔位置を示す表示情報に変換し、表示データを生成して、メモリー部１０８に書き込む。同時に、ＣＰＵ１１４は、顔認識情報を基に特定エリアの露出やフォーカスを自動で調整する。

前記メモリー部１０８に書き込まれた表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、表示処理部１１７に入力される。このとき、前記の顔位置を示す表示情報も同時にメモリー部１０８から読み出され表示処理部１１７に入力される。

表示処理部１１７に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像と顔位置を示す表示情報とは、表示処理部１１７でモニター１１８のモニターの特性に合わせたデータ仕様に変換されて、モニター１１８に出力され、表示される。

また、規格化されたサイズでの動画記録を行う場合は、前記と同様に、原画像１０１を画像信号処理部１０９でＹ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、画像信号処理＆縮小リサイズ処理部１０９で縮小リサイズ処理を実施して、所望の動画記録サイズ画像を生成する。

生成された動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。メモリー部１０８に書き込まれた動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、圧縮伸張部１１０に入力される。圧縮伸張部１１０に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像は、ＭＪＰＥＧやＭＰＥＧ、Ｈ２６４などの動画像コーデック方式を用いてデータ圧縮され、再度メモリー制御部１０７を介してメモリー部１０８に書き込まれる。圧縮された動画データは、再度メモリー制御部１０７を介してメモリー部１０８から読み出され、記録メディアインターフェース１１１を介して記録メディア１１２に書き込まれる。

図１１は、記述した一般的なデジタルカメラの内部信号処理の流れを示す詳細図を示す。

同図では、任意の２次元サイズのベイヤー配列のＲＡＷ画像データ１０１が入力される期間を第１フレーム期間として、入力されたＲＡＷ画像データ１０１はこの第１フレーム期間に前処理部１０５での処理が実施される。次の第２フレーム期間では、画像信号処理部１０９の処理が実施され、第３フレーム期間では、表示処理部１１７での処理が実施されて、モニター１１８に表示される。そして、この第３フレーム期間以降では、顔検出部１０６での検出処理が実施されると共に、圧縮伸張部１１０での処理が実施されて、記録メディアインターフェース１１１を介して記録メディア１１２に圧縮データが記録される。

ここで、前記第１〜第３フレーム期間での処理手続きの順番に着目した場合、入力されたＲＡＷ画像１０１は相対的に最短２フレーム期間遅れてモニター１１８に表示される。

また、従来、例えば特許文献１〜３には、ＲＧＢデータからなるＲＡＷ画像を前処理で縮小リサイズする技術として、原画像としてのＲＧＢのＲＡＷデータをリサイズするに際し、最初の処理において独立のＲ、Ｇ、Ｂデータに色分離し、又は、同色画素の混合により間引きする方法が開示されている。そして、これ等特許文献１〜３では、デジタルカメラの撮影時に、撮影被写体を液晶モニターで確認しながら構図決めを実施する際には、前記の方法で縮小した１種類のＲＧＢベイヤー配列のＲＡＷデータを一旦メモリ部に取り込み、その後、Ｙ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施し、液晶モニターの仕様と特性に合うような表示処理を実施して、専用モニターに表示しながら、同時にＹ／Ｃｒ／Ｃｂのデータを圧縮して記録するという信号処理を行っている。

特開２００３−３４６１４３号公報 特開２００１−２４５１４１号公報 特開２００２−８４５４７号公報

しかしながら、前記図９及び図１０に示した従来の信号処理では課題がある。即ち、任意の１種類のＲＡＷ画像をＹ／Ｃｒ／Ｃｂのデータ型に変換する信号処理を行った後、複数サイズの縮小画像処理を行っている点に起因して、次の２つの課題がある。

（１）撮影被写体を確認しながら構図決めを実施するモニターモード及び動画記録モードでは、大サイズのＲＡＷ画像データをその大サイズのまま画像信号処理してＹ／Ｃｒ／Ｃｂデータ変換し、その後に縮小画像処理を実施するため、そのＹ／Ｃｒ／Ｃｂデータ型変換に伴う冗長処理に起因して、モニターモード表示にフレーム遅延が発生し、被写体の動きに対してリアルタイムな表示ができなくなり、静止画撮影時のシャッターチャンスを逃す場合が生じる。

（２）縮小リサイズ処理は記録画像数を減らす処理であり、極力画像処理の前段で実施すれば、後段処理でのメモリーアクセス量を減らすことが可能であるが、従来のようにＹ／Ｃｒ／Ｃｂのデータ型に変換した後に縮小リサイズを実施する場合には、この際に間引かれて捨てられるデータはＹ／Ｃｒ／Ｃｂのデータ型への変換処理が冗長処理となる。また、このＹ／Ｃｒ／Ｃｂのデータ型への変換処理は、メモリーバッファを経由して処理されるため、画像サイズに対する処理量に比例してＩ／Ｏバッファの電力消費も伴い、省電力観点でも効率が悪い。

同様に、特許文献１〜３の開示技術では、撮像素子の高画素化と動画記録対応の高速読み出し処理技術が進む中、処理の前段階にてＲＡＷ画像を縮小しているが、デジタルカメラの撮影において、液晶モニター上で撮影被写体を確認しながら構図決めを実施しつつ、顔認識などの各種認識動作を同時に行いながら、リアルタイムのオートフォーカス（ＡＦ）やオートエクスポージャー（ＡＥ）等を実施するモニターモードの状態では、メモリーバッファを経由するＹ／Ｃｒ／Ｃｂのデータ型への変換処理を行っており、この変換処理がモニター表示及び画像認識などのフレーム遅延の主要因となる。

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像処理装置において、原画像が入力されるフレーム時間内で、撮像素子から出力される大サイズＲＡＷ原画像から表示用の小サイズのＲＡＷ画像を生成処理して、モニターに表示することを可能にすることにある。

前記目的を達成するため、本発明では、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、ＲＡＷ原画像からモニター表示画像用の小サイズＲＡＷ画像を生成処理することとし、これにより、表示モニターへのフレーム遅延の発生しない表示動作を、高速で実現する画像処理装置及び画像処理方法を提供する。

具体的に、請求項１記載の発明の画像処理装置は、色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部とを有することを特徴とする。

請求項２記載の発明の画像処理装置は、色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部と、前記色再配列データ生成処理部により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる１種類以上の色配列表示データを生成する色再配列表示データ生成処理部とを有することを特徴とする。

請求項３記載の発明は、前記請求項１又は２記載の画像処理装置において、前記色再配列表示データ生成処理部から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するデータパスと、前記色再配列表示データ生成処理部から前記表示用縮小画像を、メモリー部を介して前記表示処理部に入力するデータパスとを更に有し、撮影時の動作モードに応じて、前記メモリー部を制御するメモリー制御部が、前記表示用縮小画像を、前記色再配列データ生成処理部から前記表示処理部に直接入力するか、前記メモリー部を介して前記表示処理部に入力するかの画像入力データパス制御を選択的に行うことを特徴とする。

請求項４記載の発明は、前記請求項１〜３の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部の縮小リサイズ処理と、前記色再配列データ生成処理部の色再配列データ生成処理とは、原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能であることを特徴とする。

請求項５記載の発明は、前記請求項１〜４の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位の第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、この片方向のみ縮小リサイズ処理された１つの複数色配列データに基づいて、前記第１の縮小リサイズ処理と直交する垂直方向の第２の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。

請求項６記載の発明は、前記請求項５の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第１の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された１種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記１種類の複数色配列ＲＡＷデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。

請求項７記載の発明は、前記請求項６記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理された１種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成することを特徴とする。

請求項８記載の発明は、前記請求項１〜４の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、前記片方向のみ縮小リサイズ処理された２種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

請求項９記載の発明は、前記請求項８記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記２種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

請求項１０記載の発明は、前記請求項９記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

請求項１１記載の発明は、前記請求項５〜１０の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、水平方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、前記色キャリアデータを色差分データに変換する色キャリア反転復調処理部と、前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理部と、前記縮小リサイズ処理部による縮小リサイズ後の色差分データを１画素毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する色キャリア変調処理部と、前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。

請求項１２記載の発明は、前記請求項５〜１０の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、垂直方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理部と、前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理部と、前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理部と、前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから１ライン毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する垂直方向色差分データ反転変調処理部と、前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。

請求項１３記載の発明は、前記請求項１〜１２の何れか１項に記載の画像処理装置において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする。

以上により、本発明では、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズの画像に縮小リサイズ処理すると共に、このリサイズされた画像に基づいて、原画像の色情報で構成される表示用縮小画像を生成する。従って、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。

以上説明したように、本発明によれば、撮影被写体を確認しながら構図決めを実施するモニターモードの状態で、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズのＲＡＷ画像に縮小処理してモニタに表示するので、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。

図１は本発明の実施形態に係る画像処理装置を搭載する撮像装置の全体構成図である。 図２は同実施形態に係る画像処理装置の概略構成を示す図である。 図３は同画像処理装置において前処理部から表示処理部へフレーム遅延なしで直接データ伝送する構成を示す図である。 図４は同画像処理装置において前処理部から表示処理部へメモリー部を介して１フレーム遅延で表示処理部へデータ伝送する構成を示す図である。 図５は同画像処理装置の前処理部の内部構成を示す図である。 図６は同画像処理装置の前処理部の他の内部構成を示す図である。 図７は同前処理部に備える水平方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。 図８（ａ）はラインメモリの書き込み読み出し動作を示す図、同図（ｂ）は同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す図である。 図９は同前処理部に備える垂直方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。 図１０は従来の一般的なデジタルカメラの内部信号処理装置のブロック構成を示す図である。 図１１は同従来のデジタルカメラの内部信号処理の流れを示す図である。

以下、本発明に係る画像処理装置及び画像処理方法の好ましい実施形態について図面に従って説明する。

図１は、本発明の実施形態に係る画像処理装置を搭載する撮像装置の構成図を示す。

同図において、この撮像装置１０は、前記背景技術で説明した図１０の構成と同様に、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア１１２に記録する単板式のデジタルカメラである。

図１中の基本構成部の動作は図１０で説明した内容と同様である。図１０と図１の構成において、本発明に関わる大きな相違点は２つある。即ち、
（１）前処理部１０５の内部で実施する画像処理機能と、
（２）前処理部１０５から表示処理部１１７へ直接データ伝送する機能とである。

先ず、図１の構成図の各基本構成部の説明を行う。

撮像部１２は、ＣＣＤ型又はＣＭＯＳ型等に代表される撮像素子（図示せず）を有しており、撮像素子の受光面には多数のフォトダイオード（感光画素）が２次元的に配列されており、図示しない光学レンズを通過した被写体情報を光電変換する。撮像素子は、各画素に対応する位置に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかの色が存在するような所定の色配列のカラーフィルタを有し、受光素子たるフォトダイオードに入射する光の色選択を行う。本実施形態ではベイヤー配列で説明する。

前記撮像部１２から出力される画像データはＲＡＷ画像と呼ばれ、Ａ／Ｄ変換処理によりデジタル信号に変換されたものである。ベイヤー配列のＲＡＷ画像データ１０１は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。尚、実際の撮像素子の結像面では、ベイヤー配列のＲＡＷ画像データ１０１に示した画素配列の構造がセンサー読み出し方向及び垂直方向に周期的に繰り返される。勿論、本発明の実施上、カラーフィルタ配列構造は、ベイヤー配列に限定されず、Ｇストライプ等、様々な配列構造が可能である。また、本実施形態では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、黄（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、緑（Ｇ）からなる補色フィルタを用いたり、原色と補色との任意の組み合わせや、白（Ｗ）を用いたりすることも可能である。

前記Ａ／Ｄ変換されたＲＡＷ画像データ１０１は、撮像装置１０の動作モードに従った必要な信号処理を経て、又は信号処理を省略して、記録メディア１１２に記録される。

撮影モードにおいては、モニター１１８に被写体画像が表示される。本実施形態の撮像装置１０は、撮影モードとして、ＪＰＥＧ形式による静止画像記録が可能であると共に、ＭＰＥＧ形式などの動画圧縮記録が可能である。また、Ａ／Ｄ変換した直後のＲＡＷ画像データ１０１をそのまま記録することもできる。

撮影被写体を確認しながら構図決めを実施するモニターモードの状態から、ＪＰＥＧ形式で静止画記録する場合を説明する。

先ず、Ａ／Ｄ変換されたベイヤー配列ＲＡＷ画像データ１０１は前処理部１０５でモニターサイズに縮小リサイズされると共に、モニター１１８の色画素配列に変換され、直接にデータパスＤＰｔｈ（１）から表示処理部１１７にリアルタイムに表示データＲＧＢ（２）として出力される。モニター特性に合わせた画質調整は、前処理部１０５又は表示処理部１１７で行われる。このフレーム遅延のないモニターモードの状態では、各種認識動作が同時に行われる。

前記前処理部１０５では、ベイヤー配列ＲＡＷ画像データ１０１を表示サイズに縮小リサイズする際、顔検出用に輝度成分のみのデータＹが同時に生成されて、メモリー制御部１０７を介してメモリー部１０８に書き込まれる。

顔検出処理部１０６は、メモリー制御部１０７を介してメモリー部１０８から検出用サイズのＹデータを適宜読み出す。表示サイズよりも小さいサイズのＹデータに対して顔検出処理を行う場合は、画像信号処理部１０９を用いて縮小リサイズ処理を実施して、再度メモリー部１０８に検出用サイズＹデータを書き込んだ後、そのＹデータを適宜読み出す。顔検出処理部１０６は、その読み出したＹデータから画像内の顔の位置・大きさなどの顔情報を検出し、メモリー制御部１０７を介して、その検出結果情報をメモリー部１０８に書き込む。

ＣＰＵ１１４は、メモリー部１０８に書き込まれた顔検出情報をメモリー制御部１０７を介して読み出し、その検出結果より顔位置を示す情報を表示サイズに変換生成し、表示データとしてメモリー部１０８に書き込む。更に、顔検出情報は、前記のＡＥ（オートエクスポージャー）制御及び自動焦点調節（オートフォーカス＝ＡＦ）制御に必要な演算を行うオート演算部（図示せず）から得られる情報と合わせてＣＰＵ１１４で処理され、人物被写体の任意の位置に対する焦点評価値演算の結果に基づいてレンズ駆動用モータ（図示せず）を制御し、光学レンズ１１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。前記顔位置情報を示す表示データは、メモリー制御部１０７を介してメモリー部１０８から読み出されて、表示処理部１１７に入力される。表示処理部１１７に入力された顔位置情報を示す表示データは、表示処理部１１７でモニター１１８のモニターの特性にあわせた入力データ仕様に変換され、前記表示データＲＧＢ（２）と重ねてモニター１１８に表示される。

次に、前記モニターモードの状態から、ＪＰＥＧ形式で静止画記録動作へ移行する場合を説明する。

静止画記録モードに移行すると、撮像部１２から撮像素子の全画素数となるＲＡＷ原画像１０１が出力される。ＲＡＷ原画像１０１は、前処理部１０５で前処理を実施され、メモリー制御部１０７を介してメモリー部１０８に書き込まれる。その後、ＲＡＷ原画像１０１はメモリー制御部１０７を介して画像信号処理部１０９に送られる。

画像信号処理部１０９では、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理等の各種処理を実施し、ＣＰＵ１１４からのコマンドに従って画像信号を処理する。これら各種処理の一部となるホワイトバランス（ＷＢ）調整、ガンマ補正等は前処理部１０５で実施する場合もある。前処理部１０５及び画像信号処理部１０９は、メモリー制御部１０７を介して処理途中の画像を一時記憶できるメモリー部１０８を利用しながら、画像信号の処理を行う。

前記前処理部１０５と画像信号処理部１０９とにおいて所定の信号処理を経た画像データは、圧縮伸張部１１０に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮される。

圧縮された画像データは、記録メディアＩ／Ｆ（インターフェース）部１１１を介して記録メディア１１２に記録される。記録メディア１１２は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。

前記ＣＰＵ１１４は、所定のプログラムに従って本撮像装置１０を統括制御する制御部であり、操作パネル１１３からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ１１５には、ＣＰＵ１１４が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ１１６はＣＰＵ１１４の作業用領域として利用される。

前記操作パネル１１３は、撮像装置１０に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目等の所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等各種の操作手段を含む。また各種スイッチは、タッチパネル上のエリアスイッチでも実現される。

前記ＣＰＵ１１４は、操作パネル１１３から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モード等）に従い、撮像部１２を制御すると共に、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア１１２の読み書き制御等を行う。

例えば、フレーム遅延のないモニターモードから静止画取り込みの移行に際して、ＣＰＵ１１４は、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ１１４は、必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管等の閃光発光管（発光部）の発光を制御する。

前処理部１０５は、後に詳細説明する本発明の特徴となる画像処理機能を有すると共に、ＡＥ制御及びＡＦ制御に必要な演算を行うオート演算部（図示せず）を含み、静止画撮影の場合は、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算等を行い、その演算結果をＣＰＵ１１４に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ１１４は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。こうして取り込まれたＲＡＷ画像データ１０１は、記録モードに従って所定の画像処理を実施して記録メディア１１２に記録される。

動画撮影の場合は前記一連の画像処理が動画記録の間連続的に処理される。尚、圧縮形式は、ＪＰＥＧ方式を用いたＭＰＥＧ、又はその他の方式を採用してもよく、使用される圧縮形式に対応したフレーム連続的に動作する圧縮処理が用いられる。

（前処理部での画像処理の内容）
次に、前記のように構成された図１中の撮像装置１０において、本発明の特徴となる前処理部１０５の内部で実施する画像処理機能ついて説明する。

図２は、原画像となるＲＡＷ画像データの色情報で構成される１種類以上の表示用縮小画像を生成すると共に色再配列ＲＡＷデータ生成する本発明の画像処理の概略を示す図である。

図２において、単板カラー撮像素子から得られたＲＡＷ画像データ１０１は、前処理部１０５の内部処理機能となるＲＡＷデータ縮小リサイズ処理部１０２でモニター表示サイズのＲＡＷ画像データに縮小リサイズされると共に、色再配列データ生成処理部１０３で基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを生成して、出力される。

前記４種類のベイヤー配列データに注目すると、任意の画素位置に対してＲ、Ｇ、Ｂの全ての色が存在することになり、色再配列表示データ生成処理部２０１、２０３、２０５を用いて原画像のＲ、Ｇ、Ｂの色を選択処理することにより、例えば次の（１）〜（３）の色再配列表示データを生成して、モニター１１８の入力仕様に合わせた色配列の表示データを生成することができる。
（１）独立したＲプレーンデータ、Ｇプレーンデータ、Ｂプレーンデータの３面で構成される色再配列表示データ２０２
（２）Ｇプレーンデータ、ＢとＲの市松配置データの２面で構成される色再配列表示データ２０４
（３）Ｇプレーンデータ、ＢとＲの縦ストライプ配置データの２面で構成される色再配列表示データ２０６
前記色再配列表示データ生成処理部２０１、２０３、２０５を用いれば、前記（１）〜（３）に示す色配列表示データ以外にも、任意の色配列構成の表示データの生成が可能である。尚、色再配列データ生成処理部１０３は４種類の色再配列データ１０４ａ〜１０４ｄを生成したが、そのうち１つの色再配列データ（例えば１０４ａ）がそのままモニター１１８の入力仕様に合致した色配列の表示データである場合には、この１種類の色再配列表示データのみを生成して、直接モニター１１８に出力すればよい。

そして、最小フレーム遅延で原画像をモニター表示するという本発明の特徴を具現化するために、前記生成した色再配列表示データを図１に示したデータパスＤＰｔｈ（１）を介して直接に表示処理部１１７に入力すると共に、データパスＤＰｔｈ（２）を介してメモリー部１０８に一旦記憶し再度読み出して表示処理部１１７に入力できる構成をとる。

図３は、前処理部１０５から表示処理部１１７へフレーム遅延なしで直接データ伝送する構成を示す。

図３に示す構成では、撮像素子から出力されるＲＡＷ原画像１０１が前処理部１０５に入力される期間を第１フレーム期間として、この同じ第１フレーム期間内でのパイプライン処理により、Ｇプレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６を図１に示したデータパスＤＰｔｈ（１）を介して表示処理部１１７に直接入力してモニター１１８で表示する。この場合は、フレーム遅延を発生させず、被写体原画像をモニターに表示することができる。

図４は、前処理部１０５から表示処理部１１７へメモリー部１１８を介して１フレーム遅延で表示処理部１１７へデータ伝送する構成を示す。

図４に示す構成では、撮像素子から出力されるＲＡＷ原画像１０１が前処理部１０５に入力される期間を第１フレーム期間として、この同じ第１フレーム期間内のパイプライン処理で生成した緑（Ｇ）プレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６をデータパスＤＰｔｈ（２）を介してメモリー制御部１０７を介してメモリー部１０８に書き込む。そして、次の第２フレーム期間でその表示データ２０６を表示処理部１１７に入力してモニター１１８で表示する。この場合のフレーム遅延は、１フレーム期間として、被写体原画像をモニター１１８に表示することができる。

尚、表示データに関しては、Ｇプレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６として説明したが、図２で説明したように、任意の色配列構成と多面構成を持つ表示データに関しても、同様のフレーム遅延をもってモニター１１８で表示できる。

（縮小リサイズ処理部及び色再配列データ生成処理部の第１の具体例）
図５は、前処理部１０５の内部信号処理となるＲＡＷデータ縮小リサイズ部１０２と色再配列データ生成処理部１０３との具体的構成を示す図である。

図５に示す構成において、表示用サイズに縮小された基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ〜１０４ｄの生成に際し、本実施形態の画像処理では、単板カラー撮像素子から得られたＲＡＷ画像データ１０１に対して、入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部５０１と、その水平方向にリサイズされた画像データを一時的に格納するメモリー部（記憶装置）５０３と、メモリー部５０３から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って２種類のベイヤー配列データ５０５、５０６を生成する垂直縮小リサイズ処理＆色再配列データ生成処理部５０４と、水平方向及び垂直方向で縮小リサイズ処理された２種類のベイヤー配列データのそれぞれに対して再度入力ライン方向に２種類のベイヤー配列データを生成する色再配列データ生成処理部５０７、５０８を有する。

図５を用いて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ〜１０４ｄを生成する場合について説明する。

入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部５０１において表示サイズへの縮小リサイズを実施する際、水平方向に表示サイズの水平サイズとなる縮小比率Ｋ１で水平方向にのみ縮小した画像データ５０２を生成する。

前記水平縮小リサイズされた画像データ５０２は、ラインデータ単位に一時的にメモリー部５０３に書き込まれる。同時にメモリー部５０３から複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。垂直縮小リサイズ処理部＆色再配列データ生成処理部５０４を用いて垂直方向に表示サイズの垂直サイズとなる水平と同様の比率Ｋ１で縮小し、垂直方向に偶数ラインと奇数ラインとの色を置換することにより、色配列が異なる２種類の表示用サイズベイヤー配列データ５０５、５０６を得る。

次いで、前記２種類のベイヤー配列データ５０５、５０８のそれぞれに対して、再度入力ライン方向に２種類のベイヤー配列データを生成する色再配列データ生成処理部５０７、５０８でそれぞれに水平方向に偶数画素と奇数画素との色を置換することにより、更に２種類のベイヤー配列データを生成する。これにより、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。

（縮小リサイズ処理部及び色再配列データ生成処理部の第２の具体例）
図６は、前処理部１０５の内部信号処理となるＲＡＷデータ縮小リサイズ部１０２及び色再配列データ生成処理部１０３の構成の第２の具体例を示す。

図６に示す構成において、表示用サイズに縮小された基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４の生成に際し、本実施形態の画像処理は、単板カラー撮像素子から得られたＲＡＷ画像データ１０１に対して、入力ライン方向に任意サイズの画像に縮小し且つ２種類のベイヤー配列データ６０２、６０３を生成する水平縮小リサイズ＆色再配列データ生成処理部６０１と、その水平リサイズされた２種類のベイヤー配列データをそれぞれに一時的に格納するメモリー部６０４、６０５と、それぞれのメモリー部６０４、６０５から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って更にそれぞれに２種類のベイヤー配列データを生成して、合計４種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを生成する垂直縮小リサイズ処理＆色再配列データ生成処理部６０６、６０７とを有する。

以下、図６の構成の動作として、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する場合について説明する。

入力ライン方向に任意サイズの画像に縮小し且つ２種類のベイヤー配列データ６０２、６０３を生成する水平縮小リサイズ処理＆色再配列データ生成処理部６０１において表示サイズへの縮小リサイズを実施する際、先ず水平方向に表示サイズの水平サイズとなる縮小比率Ｋ１で水平方向にのみ縮小したベイヤー配列データ生成する。合わせて水平方向に偶数画素と奇数画素との色を置換することにより、２種類のベイヤー配列データ６０２、６０３を生成する。

前記水平縮小リサイズされた２種類のベイヤー配列データ６０２、６０３は、ラインデータ単位に一時的にメモリー部６０４、６０５にそれぞれ独立に書き込まれる。同時に、前記メモリー部６０４、６０５からそれぞれに複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。２つの垂直縮小リサイズ＆色再配列データ生成処理部６０６、６０７を用いて、垂直方向に表示サイズの垂直サイズとなる水平と同様の比率Ｋ１で縮小する。合わせてそれぞれ垂直方向に偶数ラインと奇数ラインとの色を置換することにより、色配列が異なる２種類の表示用サイズベイヤー配列データを生成して、合計４種類の表示用サイズベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを得る。

以上の処理により、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。

（縮小リサイズ処理及び色再配列データ生成処理の概略）
図７は、ＲＡＷデータ縮小リサイズ処理部１０２と色再配列データ生成処理部１０３において、色配列情報が異なる４種類のベイヤー配列データ１０４を生成するに際し、入力ライン方向に任意サイズの画像に縮小すると共に、合わせて水平方向に偶数画素と奇数画素との色を置換することにより、２種類のベイヤー配列データ７１０、７１１を生成する内部処理構成の一例を示す。本内部処理構成では、図５に示したＲＡＷデータ水平方向縮小リサイズ処理部５０１、水平方向色再配列データ生成処理部５０７、５０８、及び図６のＲＡＷデータ水平方向縮小リサイズ＆水平方向色再配列データ生成処理部６０１を実現する。

図８は、水平リサイズされた画像データをラインデータ単位で一時的に保持するメモリー部５０３、６０４、６０７を用いて、複数のラインメモリにラインデータを書き込む方法と、複数のラインメモリ８０１から同時に複数の水平方向ラインデータを読み出す一例を示す図である。

図９は、複数の水平方向縮小ラインデータを用いて、入力ライン方向と直交する垂直方向に縮小リサイズを行うと共に、合わせて垂直方向に偶数ラインと奇数ラインとの色を置換することにより２種類のベイヤー配列データ９２３、９２５を生成する内部処理構成の一例である。本内部処理構成では、図５及び図６に示したＲＡＷデータ垂直方向縮小リサイズ＆色再配列データ生成処理部５０４、６０６、６０７を実現する
図７でセンサー読み出し方向の水平縮小リサイズ処理と色再配列処理を選択的に実施し、その出力を図８に示すラインメモリに書き込み、同時にセンサー読み出し方向の水平縮小リサイズ処理画像のうちまとまった複数ライン分のデータをラインメモリから読み出し、図９に示すような複数ライン上のセンサー読み出し方向の同一位置のデータに対して縦方向の同時処理で複数の垂直方向縮小リサイズ処理と色再配列処理とを行う。

このとき、垂直方向縮小リサイズ処理は、前記のセンサー読み出し方向の水平縮小リサイズ処理とは別の処理となり、複数のライン単位の動作出力をライン単位で利用するか否かの判定処理のもと、ライン間欠的な出力として垂直方向に比率の違う縮小リサイズ画像を得る。

更に、図５に示す第１の具体例においては、任意の画像に対しては図７に示す内部処理のうち、センサー読み出し方向の色再配列処理のみを選択的に再度実施して、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。

本実施形態の画像処理機能の主眼は画像処理の流れと、処理手続きとの組み合わせと順序にあり、図５に示す第１の具体例では、図７の処理→図８の処理→図９の処理→図７の処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。一方、図６に示す第２の具体例では、図７の処理→図８の処理→図９の並列処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。

尚、図７、図８及び図９に示す処理は、ＲＡＷデータを縮小リサイズ処理し且つ複数の色再配列処理をするに際して、折り返しノイズの発生しない高画質で解像感のある縮小ＲＡＷデータを生成する一手法であり、本発明は高画質な縮小処理の基本となる内部アルゴリズムをこの一手法に一義的に規定するものでない。しかしながら、本内部処理アルゴリズムは、冗長処理を削減するという本発明の目的のもと、処理手続きが少なく且つ高画質な縮小処理を実現できる方法であり、本発明の画像処理を実現する上での好適な縮小処理かつ色再配列処理アルゴリズムとなる。

（水平方向の縮小リサイズ処理及び色再配列データ生成処理の具体例）
次に、図７を用いて、図５及び図６に示した水平方向縮小リサイズ処理及び水平方向色再配列データ生成処理部５０１、５０７、５０８、６０１の処理で適用する、センサー読み出し方向の水平縮小リサイズ処理と色再配列処理との詳細を説明する。

センサー読み出し方向の水平縮小リサイズ処理部５０１は、１次元のパイプライン処理であって、図７に示すように、ＲＡＷ画像１０１からライン単位のＲＡＷライン画像７０１に対するフィルタ処理により輝度データを抽出する色キャリア除去フィルタ処理部（フィルタ処理部）７０２と、色キャリアデータを抽出する色キャリア抽出フィルタ処理部（フィルタ処理部）７０４と、変調された色キャリアデータに対して色反転復調して連続した色差分データを出力する色キャリア反転復調処理部７０５と、得られた輝度データと色差分データとに対してそれぞれ独立して縮小リサイズを行う輝度信号センサー読み出し方向縮小リサイズ処理部７０６及び色差分信号センサー読み出し方向縮小リサイズ処理部７０７と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部（色キャリア変調処理部）７０８と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第１の色配列データ７１０を生成する第１の色配列再現処理部（色再配列データ生成処理部）７０９と、変調後の色キャリアデータの符号を反転する符号反転処理部７１１と、リサイズ後のレベル調整された輝度データと変調後の符号反転色キャリアデータとを再合成して、最終的な第２の色配列データ７１３を生成する第２の色配列再現処理部（色再配列データ生成処理部）７１２とにより、構成される。

色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部７０８と、第１の色配列再現処理部７０９と、符号反転処理部７１１と、第２の色配列再現処理部７１２とであり、これ等の処理は、図７中に破線で囲んだ色再配列データ生成処理部２０に含まれる。

次に、図７に示したセンサー読み出し方向の水平縮小リサイズ処理機能を用いて、ベイヤー配列の画像を処理する場合を説明する。

原画像であるＲＡＷ画像１０１は、ベイヤー配列の画素配置を反映したモザイク状の画像であり、通常、撮像部１２からライン単位で読み出される。この原画像のライン単位のＲＡＷライン画像データ７０１は、赤（Ｒ）と緑（Ｇ）との情報が画素毎に繰り返されるＲＧラインと、青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返されるＢＧラインとの２種類となる。図７中では、ＢＧラインに関わる信号情報のみを示す。

これら２種類のラインデータは、２画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部７０２を経て、ＲＧラインに関しては赤（Ｒ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｒ＋Ｇ）｝が出力され、ＢＧラインに関しては青（Ｂ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｂ＋Ｇ）｝が出力される。

また、前記２種類のラインデータは、２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部７０４を経て、ＲＧラインに関してはナイキスト周波数で変調されたＲＧライン色キャリアデータが出力され、ＢＧラインに関してはナイキスト周波数で変調されたＢＧライン色キャリアデータが出力される。前記ナイキスト周波数で変調されたＲＧライン色キャリアデータ及びＢＧライン色キャリアデータは、１画素毎に符号反転する色キャリア反転復調処理部７０５により、連続したＲＧライン色差分データ、及びＢＧライン色差分データとして出力される。

前記抽出された輝度データと色差分データとに対してそれぞれ同一縮小比率でセンサー読み出し方向の縮小リサイズを実施するに際しては、縮小後の折り返しノイズを抑えるために、図７中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施するが、効率的な処理として、色キャリア除去フィルタ処理部７０２と色キャリア抽出フィルタ処理部７０４とにより、周波数特性の制限を同時に適用処理する方法がよく、この方法Ｇ実装方法として効率的である。この際、色差用帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定し、輝度用帯域制限の２分の１以下に設定する。帯域制限された輝度データは、輝度信号センサー読み出し方向縮小リサイズ処理部７０６により、縮小比率に合わせて線形補間間引き処理が行われる。一方、帯域制限された色差分データは、色差分信号センサー読み出し方向の水平縮小リサイズ処理部５０７により、縮小比率に合わせて線形補間間引き処理が行われる。

ライン毎にセンサー読み出し方向に水平縮小リサイズされた２種類の連続的な色差分データ｛β（Ｒ−Ｇ）、β（Ｂ−Ｇ）｝は、２画素周期で変化するナイキスト周波数で変調するための等価処理として、１画素毎に符号を反転する色差分データ反転変調処理部７０８での処理を実施する。その結果、それぞれのラインデータ上で画素毎に符号の異なる第１の｛β（Ｒ−Ｇ）、−β（Ｒ−Ｇ）｝、｛β（Ｂ−Ｇ）、−β（Ｂ−Ｇ）｝という２種類の縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとなる。同時に、前記色キャリアデータの符号を反転する符号反転処理部７１１により、それぞれのラインデータ上で画素毎に符号の異なる第２の｛―β（Ｒ−Ｇ）、β（Ｒ−Ｇ）｝、｛―β（Ｂ−Ｇ）、β（Ｂ−Ｇ）｝という２種類の縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとなる。

リサイズされた縮小ライン輝度データは、リサイズされた色キャリアデータとの加算処理である色配列再現処理部７０９において、ライン毎に、前記第１及び第２の縮小ＲＧライン色キャリアデータと、前記第１及び第２の縮小ＢＧライン色キャリアデータとが再合成され、赤（Ｒ）と緑（Ｇ）の情報が画素毎に繰り返す縮小リサイズされたＲＧライン・ＧＲライン、及び青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返す縮小リサイズされたＢＧライン７１０・ＧＢライン７１３として出力される。

前記ＲＧラインの再合成を数式で示す。先ず、輝度データ｛α（Ｒ＋Ｇ）｝、色キャリアデータ｛β（Ｒ−Ｇ）、−β（Ｒ−Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｒ＋Ｇ）｝、色キャリアデータ｛０．５（Ｒ−Ｇ）、−０．５（Ｒ−Ｇ）｝となる。画素毎に輝度データと色キャリアデータとを加算して行くと、０．５｛（Ｒ＋Ｇ）＋（Ｒ−Ｇ）｝、０．５｛（Ｒ＋Ｇ）−（Ｒ−Ｇ）｝…が繰り返される。すなわち、Ｒ、Ｇ、Ｒ、Ｇ…としてＲＧラインデータが再生する。色キャリアデータの符号が反転すると、Ｇ、Ｒ、Ｇ、Ｒ…としてＧＲラインデータが再生する。

ＢＧラインでも同様にして、輝度データ｛α（Ｂ＋Ｇ）｝、色キャリアデータ｛β（Ｂ−Ｇ）、−β（Ｂ−Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｂ＋Ｇ）｝、色キャリアデータ｛０．５（Ｂ−Ｇ）、−０．５（Ｂ−Ｇ）｝となる。画素毎に輝度データと色キャアデータとを加算して行くと、０．５｛（Ｂ＋Ｇ）＋（Ｂ−Ｇ）｝、０．５｛（Ｂ＋Ｇ）−（Ｂ−Ｇ）｝…が繰り返される。すなわち、Ｂ、Ｇ、Ｂ、Ｇ…としてＢＧラインデータが再生する。色キャリアデータの符号が反転すると、Ｇ、Ｂ、Ｇ、Ｂ…としてＧＢラインデータが再生する。

図７に示したセンサー読み出し方向の水平縮小リサイズ処理機能は、図５において示した処理部５０１、５０７、５０８や図６に示した処理部６０１を実施する際に使用できる。

図５の水平方向縮小リサイズ処理部５０１では色配列が異なる２種類の縮小ラインデータのうち１つを次の処理へ出力する。また、色再配列データ生成処理部５０７、５０８では、水平方向の縮小処理は実施せず、色配列が異なる２種類の縮小ラインデータを出力する。更に、図６の水平方向縮小リサイズ＆色再配列データ生成処理部６０１では、水平方向の縮小処理された、色配列が異なる２種類の縮小ラインデータを出力する。

次に、図８を用いて、前記水平縮小リサイズ処理部５０１、水平縮小リサイズ処理＆色再配列データ生成処理部６０１で処理された縮小ＲＡＷ画像データを一時的に、メモリー部５０３、６０４、６０５の一例としての複数のラインメモリに書き込むと同時に、それ等の複数のラインメモリから複数の水平方向縮小ラインＲＡＷデータを読み出す場合の詳細を説明する。

図８（ａ）は、複数のラインメモリの書き込み読み出し動作を示す。同図（ｂ）は、同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す。図８（ａ）及び図（ｂ）において、８０１は８ラインからなるラインメモリである。８０２は、前記ラインメモリ８０１に対してのデータ書き込みサイクルを示し、８ラインに対する書き込み制御として１ラインずつ順番にリング状に巡回させながら書き込んでいく。８０３は、ラインメモリ８０１に対してのデータ読み出しサイクルを示し、８ラインのうち７ライン分のメモリデータをまとめて選択しながら、書き込み制御と同様、順番にリング状に巡回させながら読み出して行く。

図８（ａ）及び（ｂ）の例では、使用する複数のラインメモリ８０１の容量を最小限とするために、リング状の巡回書き込みに対する、７ライン同時巡回読み出しの先頭ラインの位置を書き込みラインよりも１ライン遅らせた位置としている。また、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることができる。

こうして、水平方向のＲＡＷ縮小リサイズ画像５０２、６０２、６０３のうちまとまった複数ライン分のＲＡＷリサイズデータを図８（ａ）及び（ｂ）に示すラインメモリ８０１からまとめて読み出すことにより、複数ライン上のセンサー読み出し方向の同一位置データ８０４に対して、図５に示す第１の具体例では、垂直方向縮小リサイズ＆色再配列データ処理部５０４で縦方向に処理を行い、ＲＡＷリサイズ画像５０５、６０６得る。図６に示す第２の具体例では、垂直方向縮小リサイズ＆色再配列データ処理部６０６、６０７で縦方向に処理を行って、色配列の異なる４種類のＲＡＷリサイズ画像１０４を得る。

このとき、垂直方向縮小リサイズ＆色再配列データ処理部５０４、６０６、６０８での処理は、センサー読み出し方向の水平縮小リサイズ処理部５０１とは異なる処理となり、複数のラインを入力とする任意の画像処理出力データに対して、ライン単位で有効データとして利用するか否かの判定処理のもと出力するか否かで出力ライン数を減らすことにより、垂直方向の縮小リサイズ処理を実施する。

（垂直方向の縮小リサイズ処理及び色再配列データ処理の具体例）
図９は、前記垂直方向縮小リサイズ＆色再配列データ処理５０４、６０６、６０８により、色配列情報が異なる２種類のベイヤー配列データを生成するに際し、入力ライン方向に対して垂直方向に任意サイズの画像に縮小すると共に、合わせて垂直方向に偶数ライン上と奇数ライン上との色を置換することにより、２種類のベイヤー配列データ７１０、７１１を生成する内部処理構成の一例を示す。

図９の垂直方向縮小リサイズ＆色再配列データ処理５０４、６０６、６０８は、図７に示したセンサー読み出し方向の水平縮小リサイズ処理と同様に、輝度信号処理と色差分信号処理との２系統処理として実施する。

詳細説明に際して、図９では、入力データとして７ライン分のＲＡＷ画像に対して垂直方向に同一水平位置となる７画素を１つの処理単位として処理を実施する場合を例示している。

図９に示す垂直方向縮小リサイズ＆色再配列データ処理は、前記７ライン分のＲＡＷ画像から垂直方向に輝度データを抽出する色キャリア除去フィルタ処理部（フィルタ処理部）９０３と、垂直方向の色キャリアデータを抽出する色キャリア抽出フィルタ処理部（フィルタ処理部）９１２と、垂直方向に変調された色キャリアデータに対して色反転復調して垂直方向に連続した色差分データを出力する色キャリア反転復調処理部（垂直方向色キャリア反転復調処理部）９１６と、得られた垂直方向ライン輝度データ９０９と色差分データとに対して独立して垂直方向縮小リサイズを行う輝度信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）９１０及び色差分信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）９１８と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部（垂直方向色差分データ反転変調処理部）９２０と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第１の色配列データ９２３を生成する第１の色配列再現処理部９２２と、変調後の色キャリアデータの符号を反転する符号反転処理部９２６と、リサイズ後のレベル調整された輝度データと変調後の符号反転された色キャリアデータとを再合成して、最終的な第２の色配列データ９２５を生成する第２の色配列再現処理部９２４とにより、構成される。

色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部９２０と、第１の色配列再現処理部９２２と、符号反転処理部９２６と、第２の色配列再現処理部９２４とであり、これ等の処理は図９中に破線で囲んだ色再配列データ生成処理部３０に含まれる。

前記図９に示した垂直方向縮小リサイズ＆色再配列データ処理機能を用いて、ベイヤー配列の画像を縮小リサイズ処理＆色再配列データ処理する場合について、詳細に説明する。

図９の垂直方向の処理単位９０１に示すように、水平リサイズ処理後のＲＡＷ画像は、ベイヤー配列の画素配置を反映したモザイク状の配列を保持しており、図８に示すようにライン単位でラインメモリ８０１に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。図８に示した本実施形態では、８ラインからなるラインメモリ８０１を利用し、７ライン分のデータがまとめて出力される。

水平リサイズ処理後の７ライン単位の入力データに対する第１の垂直方向の処理単位は、ライン上のセンサー読み出し方向の同一位置の垂直方向注目データに対して垂直方向に青（Ｂ）と緑（Ｇ）との情報が画素毎に繰り返されるＢＧ垂直処理単位９０１と、垂直方向に緑（Ｇ）と赤（Ｒ）との情報が画素毎に繰り返されるＧＲ垂直処理単位９０２との２種類となる。

これら２種類の垂直方向の処理単位となるデータは、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、前記色キャリアを除去する色キャリア除去フィルタ処理部９０３において、７ラインデータ中の５ライン分の輝度データＹ１〜Ｙ３を用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な輝度データが３種類生成される。本実施形態では、色キャリア除去フィルタ処理部９０３にて垂直方向にそれぞれ５画素の輝度データＹ１〜Ｙ３を用いて、３種類のライン輝度データ９０９を出力している。それぞれの輝度データＹ１〜Ｙ３は、垂直方向のＢＧ垂直処理単位９０１に関しては青（Ｂ）と緑（Ｇ）の平均値となる輝度データ、次の垂直方向のＧＲ垂直処理単位９０２に関しては緑（Ｇ）と赤（Ｒ）の平均値となる輝度データが水平方向に交互に出力される。

また、前記２種類の垂直方向の処理単位９０１、９０２は、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部９１２の７ラインデータ中の５ライン分のデータを用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な色キャリアデータＣ１〜Ｃ３（９１３〜９１５）が３種類生成される。ＢＧ垂直処理単位９０１のＢＧ垂直方向に関しては、ナイキスト周波数で変調されたＢＧ色キャリア成分データが出力され、ＧＲ垂直処理単位９０２のＧＲ垂直方向に関しては、ナイキスト周波数で変調されたＧＲ色キャリア成分データが出力される。

垂直方向にナイキスト周波数で変調されたそれぞれ３つのＢＧ色キャリア成分データ及びＧＲ色キャリア成分データは、垂直方向に１画素毎（１ライン動作毎）に符号反転する色キャリア変転復調処理部９１６により、垂直方向に連続したＲ−Ｇデータ、Ｂ−Ｇデータとして出力される。ここでは、垂直方向の画素データ位置を輝度データＹ１〜Ｙ３と同一位置となるように色差分データＣ１〜Ｃ３を出力する。

垂直方向に抽出された前記３ラインデータからなる輝度データＹ１〜Ｙ３と色差分データＣ１〜Ｃ３とに対して、それぞれ同一比率の垂直方向の縮小リサイズを実施するに際して、縮小後の折り返しノイズを抑えるために、図９中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施することが望ましい。輝度データＹ１〜Ｙ３と色差分データＣ１〜Ｃ３との３ラインに対して処理することも可能であるが、効率的な処理としては、色キャリア除去フィルタ処理部９０３と色キャリア抽出フィルタ処理部９１２とにより、周波数特性の制限を同時に適用処理する方法が実装方法として効率的である。この際、色差分データの帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定して、輝度用データの帯域制限の２分の１以下に設定することが望ましい。

輝度信号垂直方向縮小リサイズ処理部９１０は、前記垂直方向に帯域制限された輝度データＹ１〜Ｙ３の３つのライン輝度データ９０９を用いて垂直方向での線形補間を行い、ライン単位で縮小比率に合わせてライン間引き出力する。一方、色差分信号垂直方向縮小リサイズ処理部９１８は、３つの色差分ラインデータを用いて垂直方向に前記輝度データと同様の線形補間を行い、ライン単位で垂直縮小比率に合わせてライン間引き出力する。

前記垂直方向のライン間引きで縮小リサイズされた色差分データは、垂直方向に２画素周期で変化するナイキスト周波数で変調するための等価処理として、有効ライン出力毎に符号を反転する色差分データ反転変調処理部９２０での処理が実施されて、垂直方向に第１の垂直色キャリアデータ９２１が生成される。この第１の垂直色キャリアデータ９２１を符号反転処理部９２６で符号反転し、第２の垂直色キャリアデータ９２７を生成する。

前記垂直方向のライン間引きで垂直方向に縮小リサイズされたライン輝度データ９１１と、前記第１の垂直色キャリアデータ９２１とは、第１の色配列再現処理部９２２で加算処理が実施され、垂直方向に青（Ｂ）と緑（Ｇ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＢＧデータ９２３、及び図示しない垂直方向に緑（Ｇ）と赤（Ｒ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＧＲデータとして、水平方向に交互に出力される。

前記垂直方向のライン間引きで垂直縮小リサイズされたライン輝度データ９１１と、前記第２の垂直色キャリアデータ９２７とは、第２の色配列再現処理部９２４で加算処理されて、垂直方向に緑（Ｇ）と青（Ｂ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＧＢデータ９２５、及び図示しない垂直方向に赤（Ｒ）と緑（Ｇ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＲＧデータとして、水平方向に交互に出力される。

垂直方向での２種類の色再配列に関わる処理は、前記第１の色配列再現処理部９２２と、第２の色配列再現処理部９２４とにより実施され、図５に示す２種類のベイヤー配列データ５０５、５０６、図６に示す２種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄとして出力される。

以上説明したように、図５に示す第１の実施形態では、図７の処理→図８の処理→図９の処理→図７の処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。

また、図６に示す第２の実施形態では、図７の処理→図８の処理→図９の並列処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。

その後、図２に示した色再配列表示データ生成処理部２０１、２０３、２０５を用いて原画像の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色を選択処理することにより、モニターの入力仕様に合わせた色配列の表示データを生成することができる。

尚、本発明を実施する手段は、専用の画像処理装置（画像再生装置や画像加工装置）に限らず、パソコンであってもよい。また、画像処理は、その処理の一部又は全部をハードウェア（信号処理回路）に限らず、ソフトウェアで実現してもよい。

また、画像処理に使用する画像処理プログラムは、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、その画像処理プログラムは、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。

以上説明した通り、本発明に係る画像処理装置及び画像処理方法は、特に単板カラー撮像素子から得られる原画像を縮小処理して表示する際に好適な画像データサイズ変換表示処理装置、電子スチルカメラ、画像データサイズ変換表示処理プログラム等として有用である。

１０ 撮像装置
１１ 光学レンズ
１２ 撮像部
１０１ ベイヤー配列のＲＡＷ画像データ
１０４ ４種類のベイヤー配列データ
１０５ 前処理部
１０７ メモリー制御部
１０８ メモリー部
１０９ 画像信号処理部
１１０ 圧縮伸張処理部
１１１ 記録メディアＩ／Ｆ部
１１２ 記録メディア
１１３ 操作パネル
１１４ ＣＰＵ
１１５ ＲＯＭ
１１６ ＲＡＭ
１１７ 表示処理部
１１８ モニター
ＤＰｔｈ（１）、ＤＰｔｈ（２） データパス
１０２ 縮小リサイズ処理部
１０３ 色再配列データ生成処理部
１０４ａ〜１０４ｄ ４種類のベイヤー配列データ
２０１、２０３、２０５ 色再配列表示データ生成処理部
２０２、２０４、２０６ 色再配列表示データ
５０１ ＲＡＷデータ水平方向縮小リサイズ処理部
５０２ 水平方向にのみ縮小した画像データ
５０３、６０４、６０５ メモリー部（記憶装置）
５０４、６０６、６０７ ＲＡＷデータ垂直方向リサイズ処理＆色再配列処理部
５０５、５０６ ２種類の表示用サイズベイヤー配列データ
５０７、５０８ 水平方向色再配列データ生成処理部
６０１ ＲＡＷデータ水平方向縮小リサイズ＆色再配列データ生成処理部
６０２、６０３ 水平方向にのみ縮小した２種類の画像データ
７０１ ＲＡＷライン画像データ
７０２ 色キャリア除去フィルタ処理部（フィルタ処理部）
７０３ ライン輝度データ
７０４ 色キャリア抽出フィルタ処理部（フィルタ処理部）
７０５ 色差分データ復調処理部
７０６ 輝度信号センサー読み出し方向縮小リサイズ処理部
７０７ 色差分信号センサー読み出し方向縮小リサイズ処理部
７０８ 色キャリア変調処理部（色キャリア変調処理部）
７０９ 第１の色配列再現処理部（色再配列データ生成処理部）
７１０ 第１の縮小色配列データ
７１１ 符号反転処理部
７１２ 第２の色配列再現処理部（色再配列データ生成処理部）
７１３ 第２の縮小色配列データ
８０１ ラインメモリ
８０２ ラインメモリに対してのデータ書き込みサイクル
８０３ ラインメモリに対してのデータ読み出しサイクル
８０４ 複数ライン上のセンサー読み出し方向の同一位置のデータ
９０１ 第１の垂直方向の処理単位
９０２ 第２の垂直方向の処理単位
９０３ 色キャリア除去フィルタ処理部（フィルタ処理部）
９０４、９０５、９０６ ライン輝度データ
９０９ ３種類のライン輝度データ
９１０ 輝度信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）
９１１ 垂直方向縮小ライン輝度データ
９１２ 色キャリア抽出フィルタ処理部（フィルタ処理部）
９１３、９１４、９１５ 色キャリアデータ
９１６ 色キャリア変転復調処理部（垂直方向色キャリア反転復調処理部）
９１８ 色差分信号垂直方向縮小リサイズ処理部
（垂直方向縮小リサイズ処理部）
９１９ 垂直方向縮小色差分データ
９２０ 色差分データ反転変調処理部（垂直方向色差分データ反転変調処理部）
３０ 色再配列データ生成処理部
９２１ 第１の垂直色キャリアデータ
９２２ 第１の垂直色配列再現処理部
９２３ 第１の縮小色配列データ
９２４ 第２の垂直色配列再現処理部
９２５ 第２の縮小色配列データ
９２６ 符号反転処理部
９２７ 第２の垂直色キャリアデータ

本発明は、単板カラー撮像素子から得られる原画像を縮小した画像を表示する際に、高速で省電力な動作を実現するのに好適な、画像処理装置及び画像処理方法並びにデジタルカメラに関する。

近年、大判サイズの撮像素子を搭載した一眼デジタルカメラにおいて、光学ビューファインダーと可動ミラーとを搭載しないミラーレス一眼デジタルカメラが注目を浴びている。ミラーレスな一眼デジタルカメラの特徴は、撮影被写体を液晶モニターで確認しながら構図決めを実施して、静止画撮影や動画撮影ができることであり、普及型のデジタルカメラや携帯カメラにおいても標準的な撮影方法となっている。

前述のように一般的なデジタルカメラは、専用の液晶モニターを搭載しており、撮影被写体を液晶モニターで確認しながら構図決めを実施し、同時に顔認識や動き認識などを実施して特定エリアの露出やフォーカスを自動で調整して、静止画撮影や動画撮影を行う。

このようなデジタルカメラに代表される撮像装置では、カラー画像を撮像するために、撮像素子上に色分解フィルタが設けられている。例えば、ベイヤー方式の色分解フィルタでは、撮像素子の画素に対応して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色フィルタが市松模様に配置されている。つまり、ベイヤー配列では、画素並びにおけるセンサー読み出し方向及び垂直方向の両方向に、同じ色成分のフィルタが１画素おきに並ぶ。このような色分解フィルタを通して撮像された撮像素子出力となる画像データは、画像処理により被写体の色を再現するため、入力前段処理においては、ベイヤー配列が保持されるように扱う必要がある。

撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を生成処理して表示する際は、原画像を基にダイナミックレンジ調整やホワイトバランスをとりながら、各画素についてＲ／Ｇ／Ｂの情報を得るような同時化処理を行った後、一般的に扱われるＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー画像処理を経て、液晶モニターの表示サイズに合うように縮小リサイズ処理を実施し、モニター特性に合うような表示処理を実施して、専用モニターに表示する。

図１０は、一般的なデジタルカメラの内部信号処理ブロックの概念図を示す。

同図において、光学レンズ１１を通過した被写体の光学像は、撮像素子面で結像し、撮像素子から出力される。単板式撮像素子の原画像（１面）であるベイヤー配列のＲＡＷ画像データ１０１は、ＤＣレベル調整、ゲイン調整などを前処理部１０５で実施し、メモリー制御部１０７を介してメモリー部１０８に一旦書き込まれた後、次の処理にてメモリー制御部１０７を介してメモリー部１０８から読み出され、画像信号処理部１０９に入力される。画像信号処理部１０９では、ベイヤー配列のＲＡＷ画像からＹ／Ｃｒ／Ｃｂのデータ型に変換する画像信号処理が行われる。

画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換すると共に、表示用画像サイズに縮小するために、縮小リサイズ処理を実施して、所望の表示サイズ画像を生成する。生成された表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。

また同時に、画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、顔検出用画像サイズに縮小するために、輝度信号Ｙに対して縮小リサイズ処理を実施して、所望の顔検出用の輝度画像データを生成する。メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出用サイズの輝度信号Ｙのデータ型画像は、顔検出処理部１０６から再度メモリー制御部１０７を介してメモリー部１０８から適宜読み出され、画像内の顔の位置、大きさなどの顔情報を抽出し、その抽出結果情報はメモリー制御部１０７を介してメモリー部１０８に書き込まれる。ＣＰＵ１１４は、メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出情報を読み出し、顔検出情報より顔位置を示す表示情報に変換し、表示データを生成して、メモリー部１０８に書き込む。同時に、ＣＰＵ１１４は、顔認識情報を基に特定エリアの露出やフォーカスを自動で調整する。

前記メモリー部１０８に書き込まれた表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、表示処理部１１７に入力される。このとき、前記の顔位置を示す表示情報も同時にメモリー部１０８から読み出され表示処理部１１７に入力される。

表示処理部１１７に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像と顔位置を示す表示情報とは、表示処理部１１７でモニター１１８のモニターの特性に合わせたデータ仕様に変換されて、モニター１１８に出力され、表示される。

また、規格化されたサイズでの動画記録を行う場合は、前記と同様に、原画像１０１を画像信号処理部１０９でＹ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、画像信号処理＆縮小リサイズ処理部１０９で縮小リサイズ処理を実施して、所望の動画記録サイズ画像を生成する。

生成された動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。メモリー部１０８に書き込まれた動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、圧縮伸張部１１０に入力される。圧縮伸張部１１０に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像は、ＭＪＰＥＧやＭＰＥＧ、Ｈ２６４などの動画像コーデック方式を用いてデータ圧縮され、再度メモリー制御部１０７を介してメモリー部１０８に書き込まれる。圧縮された動画データは、再度メモリー制御部１０７を介してメモリー部１０８から読み出され、記録メディアインターフェース１１１を介して記録メディア１１２に書き込まれる。

図１１は、記述した一般的なデジタルカメラの内部信号処理の流れを示す詳細図を示す。

同図では、任意の２次元サイズのベイヤー配列のＲＡＷ画像データ１０１が入力される期間を第１フレーム期間として、入力されたＲＡＷ画像データ１０１はこの第１フレーム期間に前処理部１０５での処理が実施される。次の第２フレーム期間では、画像信号処理部１０９の処理が実施され、第３フレーム期間では、表示処理部１１７での処理が実施されて、モニター１１８に表示される。そして、この第３フレーム期間以降では、顔検出部１０６での検出処理が実施されると共に、圧縮伸張部１１０での処理が実施されて、記録メディアインターフェース１１１を介して記録メディア１１２に圧縮データが記録される。

ここで、前記第１〜第３フレーム期間での処理手続きの順番に着目した場合、入力されたＲＡＷ画像１０１は相対的に最短２フレーム期間遅れてモニター１１８に表示される。

また、従来、例えば特許文献１〜３には、ＲＧＢデータからなるＲＡＷ画像を前処理で縮小リサイズする技術として、原画像としてのＲＧＢのＲＡＷデータをリサイズするに際し、最初の処理において独立のＲ、Ｇ、Ｂデータに色分離し、又は、同色画素の混合により間引きする方法が開示されている。そして、これ等特許文献１〜３では、デジタルカメラの撮影時に、撮影被写体を液晶モニターで確認しながら構図決めを実施する際には、前記の方法で縮小した１種類のＲＧＢベイヤー配列のＲＡＷデータを一旦メモリ部に取り込み、その後、Ｙ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施し、液晶モニターの仕様と特性に合うような表示処理を実施して、専用モニターに表示しながら、同時にＹ／Ｃｒ／Ｃｂのデータを圧縮して記録するという信号処理を行っている。

特開２００３−３４６１４３号公報 特開２００１−２４５１４１号公報 特開２００２−８４５４７号公報

しかしながら、前記図９及び図１０に示した従来の信号処理では課題がある。即ち、任意の１種類のＲＡＷ画像をＹ／Ｃｒ／Ｃｂのデータ型に変換する信号処理を行った後、複数サイズの縮小画像処理を行っている点に起因して、次の２つの課題がある。

（１）撮影被写体を確認しながら構図決めを実施するモニターモード及び動画記録モードでは、大サイズのＲＡＷ画像データをその大サイズのまま画像信号処理してＹ／Ｃｒ／Ｃｂデータ変換し、その後に縮小画像処理を実施するため、そのＹ／Ｃｒ／Ｃｂデータ型変換に伴う冗長処理に起因して、モニターモード表示にフレーム遅延が発生し、被写体の動きに対してリアルタイムな表示ができなくなり、静止画撮影時のシャッターチャンスを逃す場合が生じる。

（２）縮小リサイズ処理は記録画像数を減らす処理であり、極力画像処理の前段で実施すれば、後段処理でのメモリーアクセス量を減らすことが可能であるが、従来のようにＹ／Ｃｒ／Ｃｂのデータ型に変換した後に縮小リサイズを実施する場合には、この際に間引かれて捨てられるデータはＹ／Ｃｒ／Ｃｂのデータ型への変換処理が冗長処理となる。また、このＹ／Ｃｒ／Ｃｂのデータ型への変換処理は、メモリーバッファを経由して処理されるため、画像サイズに対する処理量に比例してＩ／Ｏバッファの電力消費も伴い、省電力観点でも効率が悪い。

同様に、特許文献１〜３の開示技術では、撮像素子の高画素化と動画記録対応の高速読み出し処理技術が進む中、処理の前段階にてＲＡＷ画像を縮小しているが、デジタルカメラの撮影において、液晶モニター上で撮影被写体を確認しながら構図決めを実施しつつ、顔認識などの各種認識動作を同時に行いながら、リアルタイムのオートフォーカス（ＡＦ）やオートエクスポージャー（ＡＥ）等を実施するモニターモードの状態では、メモリーバッファを経由するＹ／Ｃｒ／Ｃｂのデータ型への変換処理を行っており、この変換処理がモニター表示及び画像認識などのフレーム遅延の主要因となる。

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像処理装置において、原画像が入力されるフレーム時間内で、撮像素子から出力される大サイズＲＡＷ原画像から表示用の小サイズのＲＡＷ画像を生成処理して、モニターに表示することを可能にすることにある。

前記目的を達成するため、本発明では、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、ＲＡＷ原画像からモニター表示画像用の小サイズＲＡＷ画像を生成処理することとし、これにより、表示モニターへのフレーム遅延の発生しない表示動作を、高速で実現する画像処理装置及び画像処理方法を提供する。

具体的に、請求項１記載の発明の画像処理装置は、色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報を基準画素位置に対して再配列して構成される２次元の複数色配列データから１種類以上の表示用縮小画像を生成する色再配列データ生成処理部とを有することを特徴とする。

請求項２記載の発明の画像処理装置は、前記請求項１記載の画像処理装置において、前記色再配列データ生成処理部により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる１種類以上の色配列表示データを生成する色再配列表示データ生成処理部を有することを特徴とする。

請求項３記載の発明は、前記請求項１又は２記載の画像処理装置において、前記色再配列表示データ生成処理部から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するデータパスと、前記色再配列表示データ生成処理部から前記表示用縮小画像を、メモリー部を介して前記表示処理部に入力するデータパスとを更に有し、撮影時の動作モードに応じて、前記メモリー部を制御するメモリー制御部が、前記表示用縮小画像を、前記色再配列データ生成処理部から前記表示処理部に直接入力するか、前記メモリー部を介して前記表示処理部に入力するかの画像入力データパス制御を選択的に行うことを特徴とする。

請求項４記載の発明は、前記請求項１〜３の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部の縮小リサイズ処理と、前記色再配列データ生成処理部の色再配列データ生成処理とは、原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能であることを特徴とする。

請求項５記載の発明は、前記請求項１〜４の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位の第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、この片方向のみ縮小リサイズ処理された１つの複数色配列データに基づいて、前記第１の縮小リサイズ処理と直交する垂直方向の第２の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。

請求項６記載の発明は、前記請求項５の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第１の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された１種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記１種類の複数色配列ＲＡＷデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。

請求項７記載の発明は、前記請求項６記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理された１種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成することを特徴とする。

請求項８記載の発明は、前記請求項１〜４の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、前記片方向のみ縮小リサイズ処理された２種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

請求項９記載の発明は、前記請求項８記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記２種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

請求項１０記載の発明は、前記請求項９記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。

請求項１１記載の発明は、前記請求項５〜１０の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、水平方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、前記色キャリアデータを色差分データに変換する色キャリア反転復調処理部と、前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理部と、前記縮小リサイズ処理部による縮小リサイズ後の色差分データを１画素毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する色キャリア変調処理部と、前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。

請求項１２記載の発明は、前記請求項５〜１０の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、垂直方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理部と、前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理部と、前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理部と、前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから１ライン毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する垂直方向色差分データ反転変調処理部と、前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。

請求項１３記載の発明は、前記請求項１〜１２の何れか１項に記載の画像処理装置において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする。

以上により、本発明では、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズの画像に縮小リサイズ処理すると共に、このリサイズされた画像に基づいて、原画像の色情報で構成される表示用縮小画像を生成する。従って、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。

以上説明したように、本発明によれば、撮影被写体を確認しながら構図決めを実施するモニターモードの状態で、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズのＲＡＷ画像に縮小処理してモニタに表示するので、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。

図１は本発明の実施形態に係る画像処理装置を搭載する撮像装置の全体構成図である。 図２は同実施形態に係る画像処理装置の概略構成を示す図である。 図３は同画像処理装置において前処理部から表示処理部へフレーム遅延なしで直接データ伝送する構成を示す図である。 図４は同画像処理装置において前処理部から表示処理部へメモリー部を介して１フレーム遅延で表示処理部へデータ伝送する構成を示す図である。 図５は同画像処理装置の前処理部の内部構成を示す図である。 図６は同画像処理装置の前処理部の他の内部構成を示す図である。 図７は同前処理部に備える水平方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。 図８（ａ）はラインメモリの書き込み読み出し動作を示す図、同図（ｂ）は同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す図である。 図９は同前処理部に備える垂直方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。 図１０は従来の一般的なデジタルカメラの内部信号処理装置のブロック構成を示す図である。 図１１は同従来のデジタルカメラの内部信号処理の流れを示す図である。

以下、本発明に係る画像処理装置及び画像処理方法の好ましい実施形態について図面に従って説明する。

図１は、本発明の実施形態に係る画像処理装置を搭載する撮像装置の構成図を示す。

同図において、この撮像装置１０は、前記背景技術で説明した図１０の構成と同様に、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア１１２に記録する単板式のデジタルカメラである。

図１中の基本構成部の動作は図１０で説明した内容と同様である。図１０と図１の構成において、本発明に関わる大きな相違点は２つある。即ち、
（１）前処理部１０５の内部で実施する画像処理機能と、
（２）前処理部１０５から表示処理部１１７へ直接データ伝送する機能とである。

先ず、図１の構成図の各基本構成部の説明を行う。

撮像部１２は、ＣＣＤ型又はＣＭＯＳ型等に代表される撮像素子（図示せず）を有しており、撮像素子の受光面には多数のフォトダイオード（感光画素）が２次元的に配列されており、図示しない光学レンズを通過した被写体情報を光電変換する。撮像素子は、各画素に対応する位置に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかの色が存在するような所定の色配列のカラーフィルタを有し、受光素子たるフォトダイオードに入射する光の色選択を行う。本実施形態ではベイヤー配列で説明する。

前記撮像部１２から出力される画像データはＲＡＷ画像と呼ばれ、Ａ／Ｄ変換処理によりデジタル信号に変換されたものである。ベイヤー配列のＲＡＷ画像データ１０１は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。尚、実際の撮像素子の結像面では、ベイヤー配列のＲＡＷ画像データ１０１に示した画素配列の構造がセンサー読み出し方向及び垂直方向に周期的に繰り返される。勿論、本発明の実施上、カラーフィルタ配列構造は、ベイヤー配列に限定されず、Ｇストライプ等、様々な配列構造が可能である。また、本実施形態では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、黄（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、緑（Ｇ）からなる補色フィルタを用いたり、原色と補色との任意の組み合わせや、白（Ｗ）を用いたりすることも可能である。

前記Ａ／Ｄ変換されたＲＡＷ画像データ１０１は、撮像装置１０の動作モードに従った必要な信号処理を経て、又は信号処理を省略して、記録メディア１１２に記録される。

撮影モードにおいては、モニター１１８に被写体画像が表示される。本実施形態の撮像装置１０は、撮影モードとして、ＪＰＥＧ形式による静止画像記録が可能であると共に、ＭＰＥＧ形式などの動画圧縮記録が可能である。また、Ａ／Ｄ変換した直後のＲＡＷ画像データ１０１をそのまま記録することもできる。

撮影被写体を確認しながら構図決めを実施するモニターモードの状態から、ＪＰＥＧ形式で静止画記録する場合を説明する。

先ず、Ａ／Ｄ変換されたベイヤー配列ＲＡＷ画像データ１０１は前処理部１０５でモニターサイズに縮小リサイズされると共に、モニター１１８の色画素配列に変換され、直接にデータパスＤＰｔｈ（１）から表示処理部１１７にリアルタイムに表示データＲＧＢ（２）として出力される。モニター特性に合わせた画質調整は、前処理部１０５又は表示処理部１１７で行われる。このフレーム遅延のないモニターモードの状態では、各種認識動作が同時に行われる。

前記前処理部１０５では、ベイヤー配列ＲＡＷ画像データ１０１を表示サイズに縮小リサイズする際、顔検出用に輝度成分のみのデータＹが同時に生成されて、メモリー制御部１０７を介してメモリー部１０８に書き込まれる。

顔検出処理部１０６は、メモリー制御部１０７を介してメモリー部１０８から検出用サイズのＹデータを適宜読み出す。表示サイズよりも小さいサイズのＹデータに対して顔検出処理を行う場合は、画像信号処理部１０９を用いて縮小リサイズ処理を実施して、再度メモリー部１０８に検出用サイズＹデータを書き込んだ後、そのＹデータを適宜読み出す。顔検出処理部１０６は、その読み出したＹデータから画像内の顔の位置・大きさなどの顔情報を検出し、メモリー制御部１０７を介して、その検出結果情報をメモリー部１０８に書き込む。

ＣＰＵ１１４は、メモリー部１０８に書き込まれた顔検出情報をメモリー制御部１０７を介して読み出し、その検出結果より顔位置を示す情報を表示サイズに変換生成し、表示データとしてメモリー部１０８に書き込む。更に、顔検出情報は、前記のＡＥ（オートエクスポージャー）制御及び自動焦点調節（オートフォーカス＝ＡＦ）制御に必要な演算を行うオート演算部（図示せず）から得られる情報と合わせてＣＰＵ１１４で処理され、人物被写体の任意の位置に対する焦点評価値演算の結果に基づいてレンズ駆動用モータ（図示せず）を制御し、光学レンズ１１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。前記顔位置情報を示す表示データは、メモリー制御部１０７を介してメモリー部１０８から読み出されて、表示処理部１１７に入力される。表示処理部１１７に入力された顔位置情報を示す表示データは、表示処理部１１７でモニター１１８のモニターの特性にあわせた入力データ仕様に変換され、前記表示データＲＧＢ（２）と重ねてモニター１１８に表示される。

次に、前記モニターモードの状態から、ＪＰＥＧ形式で静止画記録動作へ移行する場合を説明する。

静止画記録モードに移行すると、撮像部１２から撮像素子の全画素数となるＲＡＷ原画像１０１が出力される。ＲＡＷ原画像１０１は、前処理部１０５で前処理を実施され、メモリー制御部１０７を介してメモリー部１０８に書き込まれる。その後、ＲＡＷ原画像１０１はメモリー制御部１０７を介して画像信号処理部１０９に送られる。

画像信号処理部１０９では、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理等の各種処理を実施し、ＣＰＵ１１４からのコマンドに従って画像信号を処理する。これら各種処理の一部となるホワイトバランス（ＷＢ）調整、ガンマ補正等は前処理部１０５で実施する場合もある。前処理部１０５及び画像信号処理部１０９は、メモリー制御部１０７を介して処理途中の画像を一時記憶できるメモリー部１０８を利用しながら、画像信号の処理を行う。

前記前処理部１０５と画像信号処理部１０９とにおいて所定の信号処理を経た画像データは、圧縮伸張部１１０に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮される。

圧縮された画像データは、記録メディアＩ／Ｆ（インターフェース）部１１１を介して記録メディア１１２に記録される。記録メディア１１２は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。

前記ＣＰＵ１１４は、所定のプログラムに従って本撮像装置１０を統括制御する制御部であり、操作パネル１１３からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ１１５には、ＣＰＵ１１４が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ１１６はＣＰＵ１１４の作業用領域として利用される。

前記操作パネル１１３は、撮像装置１０に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目等の所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等各種の操作手段を含む。また各種スイッチは、タッチパネル上のエリアスイッチでも実現される。

前記ＣＰＵ１１４は、操作パネル１１３から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モード等）に従い、撮像部１２を制御すると共に、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア１１２の読み書き制御等を行う。

例えば、フレーム遅延のないモニターモードから静止画取り込みの移行に際して、ＣＰＵ１１４は、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ１１４は、必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管等の閃光発光管（発光部）の発光を制御する。

前処理部１０５は、後に詳細説明する本発明の特徴となる画像処理機能を有すると共に、ＡＥ制御及びＡＦ制御に必要な演算を行うオート演算部（図示せず）を含み、静止画撮影の場合は、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算等を行い、その演算結果をＣＰＵ１１４に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ１１４は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。こうして取り込まれたＲＡＷ画像データ１０１は、記録モードに従って所定の画像処理を実施して記録メディア１１２に記録される。

動画撮影の場合は前記一連の画像処理が動画記録の間連続的に処理される。尚、圧縮形式は、ＪＰＥＧ方式を用いたＭＰＥＧ、又はその他の方式を採用してもよく、使用される圧縮形式に対応したフレーム連続的に動作する圧縮処理が用いられる。

（前処理部での画像処理の内容）
次に、前記のように構成された図１中の撮像装置１０において、本発明の特徴となる前処理部１０５の内部で実施する画像処理機能ついて説明する。

図２は、原画像となるＲＡＷ画像データの色情報で構成される１種類以上の表示用縮小画像を生成すると共に色再配列ＲＡＷデータ生成する本発明の画像処理の概略を示す図である。

図２において、単板カラー撮像素子から得られたＲＡＷ画像データ１０１は、前処理部１０５の内部処理機能となるＲＡＷデータ縮小リサイズ処理部１０２でモニター表示サイズのＲＡＷ画像データに縮小リサイズされると共に、色再配列データ生成処理部１０３で基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを生成して、出力される。

前記４種類のベイヤー配列データに注目すると、任意の画素位置に対してＲ、Ｇ、Ｂの全ての色が存在することになり、色再配列表示データ生成処理部２０１、２０３、２０５を用いて原画像のＲ、Ｇ、Ｂの色を選択処理することにより、例えば次の（１）〜（３）の色再配列表示データを生成して、モニター１１８の入力仕様に合わせた色配列の表示データを生成することができる。
（１）独立したＲプレーンデータ、Ｇプレーンデータ、Ｂプレーンデータの３面で構成される色再配列表示データ２０２
（２）Ｇプレーンデータ、ＢとＲの市松配置データの２面で構成される色再配列表示データ２０４
（３）Ｇプレーンデータ、ＢとＲの縦ストライプ配置データの２面で構成される色再配列表示データ２０６
前記色再配列表示データ生成処理部２０１、２０３、２０５を用いれば、前記（１）〜（３）に示す色配列表示データ以外にも、任意の色配列構成の表示データの生成が可能である。尚、色再配列データ生成処理部１０３は４種類の色再配列データ１０４ａ〜１０４ｄを生成したが、そのうち１つの色再配列データ（例えば１０４ａ）がそのままモニター１１８の入力仕様に合致した色配列の表示データである場合には、この１種類の色再配列表示データのみを生成して、直接モニター１１８に出力すればよい。

そして、最小フレーム遅延で原画像をモニター表示するという本発明の特徴を具現化するために、前記生成した色再配列表示データを図１に示したデータパスＤＰｔｈ（１）を介して直接に表示処理部１１７に入力すると共に、データパスＤＰｔｈ（２）を介してメモリー部１０８に一旦記憶し再度読み出して表示処理部１１７に入力できる構成をとる。

図３は、前処理部１０５から表示処理部１１７へフレーム遅延なしで直接データ伝送する構成を示す。

図３に示す構成では、撮像素子から出力されるＲＡＷ原画像１０１が前処理部１０５に入力される期間を第１フレーム期間として、この同じ第１フレーム期間内でのパイプライン処理により、Ｇプレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６を図１に示したデータパスＤＰｔｈ（１）を介して表示処理部１１７に直接入力してモニター１１８で表示する。この場合は、フレーム遅延を発生させず、被写体原画像をモニターに表示することができる。

図４は、前処理部１０５から表示処理部１１７へメモリー部１１８を介して１フレーム遅延で表示処理部１１７へデータ伝送する構成を示す。

図４に示す構成では、撮像素子から出力されるＲＡＷ原画像１０１が前処理部１０５に入力される期間を第１フレーム期間として、この同じ第１フレーム期間内のパイプライン処理で生成した緑（Ｇ）プレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６をデータパスＤＰｔｈ（２）を介してメモリー制御部１０７を介してメモリー部１０８に書き込む。そして、次の第２フレーム期間でその表示データ２０６を表示処理部１１７に入力してモニター１１８で表示する。この場合のフレーム遅延は、１フレーム期間として、被写体原画像をモニター１１８に表示することができる。

尚、表示データに関しては、Ｇプレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６として説明したが、図２で説明したように、任意の色配列構成と多面構成を持つ表示データに関しても、同様のフレーム遅延をもってモニター１１８で表示できる。

（縮小リサイズ処理部及び色再配列データ生成処理部の第１の具体例）
図５は、前処理部１０５の内部信号処理となるＲＡＷデータ縮小リサイズ部１０２と色再配列データ生成処理部１０３との具体的構成を示す図である。

図５に示す構成において、表示用サイズに縮小された基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ〜１０４ｄの生成に際し、本実施形態の画像処理では、単板カラー撮像素子から得られたＲＡＷ画像データ１０１に対して、入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部５０１と、その水平方向にリサイズされた画像データを一時的に格納するメモリー部（記憶装置）５０３と、メモリー部５０３から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って２種類のベイヤー配列データ５０５、５０６を生成する垂直縮小リサイズ処理＆色再配列データ生成処理部５０４と、水平方向及び垂直方向で縮小リサイズ処理された２種類のベイヤー配列データのそれぞれに対して再度入力ライン方向に２種類のベイヤー配列データを生成する色再配列データ生成処理部５０７、５０８を有する。

図５を用いて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ〜１０４ｄを生成する場合について説明する。

入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部５０１において表示サイズへの縮小リサイズを実施する際、水平方向に表示サイズの水平サイズとなる縮小比率Ｋ１で水平方向にのみ縮小した画像データ５０２を生成する。

前記水平縮小リサイズされた画像データ５０２は、ラインデータ単位に一時的にメモリー部５０３に書き込まれる。同時にメモリー部５０３から複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。垂直縮小リサイズ処理部＆色再配列データ生成処理部５０４を用いて垂直方向に表示サイズの垂直サイズとなる水平と同様の比率Ｋ１で縮小し、垂直方向に偶数ラインと奇数ラインとの色を置換することにより、色配列が異なる２種類の表示用サイズベイヤー配列データ５０５、５０６を得る。

次いで、前記２種類のベイヤー配列データ５０５、５０８のそれぞれに対して、再度入力ライン方向に２種類のベイヤー配列データを生成する色再配列データ生成処理部５０７、５０８でそれぞれに水平方向に偶数画素と奇数画素との色を置換することにより、更に２種類のベイヤー配列データを生成する。これにより、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。

（縮小リサイズ処理部及び色再配列データ生成処理部の第２の具体例）
図６は、前処理部１０５の内部信号処理となるＲＡＷデータ縮小リサイズ部１０２及び色再配列データ生成処理部１０３の構成の第２の具体例を示す。

図６に示す構成において、表示用サイズに縮小された基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４の生成に際し、本実施形態の画像処理は、単板カラー撮像素子から得られたＲＡＷ画像データ１０１に対して、入力ライン方向に任意サイズの画像に縮小し且つ２種類のベイヤー配列データ６０２、６０３を生成する水平縮小リサイズ＆色再配列データ生成処理部６０１と、その水平リサイズされた２種類のベイヤー配列データをそれぞれに一時的に格納するメモリー部６０４、６０５と、それぞれのメモリー部６０４、６０５から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って更にそれぞれに２種類のベイヤー配列データを生成して、合計４種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを生成する垂直縮小リサイズ処理＆色再配列データ生成処理部６０６、６０７とを有する。

以下、図６の構成の動作として、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する場合について説明する。

入力ライン方向に任意サイズの画像に縮小し且つ２種類のベイヤー配列データ６０２、６０３を生成する水平縮小リサイズ処理＆色再配列データ生成処理部６０１において表示サイズへの縮小リサイズを実施する際、先ず水平方向に表示サイズの水平サイズとなる縮小比率Ｋ１で水平方向にのみ縮小したベイヤー配列データ生成する。合わせて水平方向に偶数画素と奇数画素との色を置換することにより、２種類のベイヤー配列データ６０２、６０３を生成する。

前記水平縮小リサイズされた２種類のベイヤー配列データ６０２、６０３は、ラインデータ単位に一時的にメモリー部６０４、６０５にそれぞれ独立に書き込まれる。同時に、前記メモリー部６０４、６０５からそれぞれに複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。２つの垂直縮小リサイズ＆色再配列データ生成処理部６０６、６０７を用いて、垂直方向に表示サイズの垂直サイズとなる水平と同様の比率Ｋ１で縮小する。合わせてそれぞれ垂直方向に偶数ラインと奇数ラインとの色を置換することにより、色配列が異なる２種類の表示用サイズベイヤー配列データを生成して、合計４種類の表示用サイズベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを得る。

以上の処理により、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。

（縮小リサイズ処理及び色再配列データ生成処理の概略）
図７は、ＲＡＷデータ縮小リサイズ処理部１０２と色再配列データ生成処理部１０３において、色配列情報が異なる４種類のベイヤー配列データ１０４を生成するに際し、入力ライン方向に任意サイズの画像に縮小すると共に、合わせて水平方向に偶数画素と奇数画素との色を置換することにより、２種類のベイヤー配列データ７１０、７１３を生成する内部処理構成の一例を示す。本内部処理構成では、図５に示したＲＡＷデータ水平方向縮小リサイズ処理部５０１、水平方向色再配列データ生成処理部５０７、５０８、及び図６のＲＡＷデータ水平方向縮小リサイズ＆水平方向色再配列データ生成処理部６０１を実現する。

図８は、水平リサイズされた画像データをラインデータ単位で一時的に保持するメモリー部５０３、６０４、６０７を用いて、複数のラインメモリにラインデータを書き込む方法と、複数のラインメモリ８０１から同時に複数の水平方向ラインデータを読み出す一例を示す図である。

図９は、複数の水平方向縮小ラインデータを用いて、入力ライン方向と直交する垂直方向に縮小リサイズを行うと共に、合わせて垂直方向に偶数ラインと奇数ラインとの色を置換することにより２種類のベイヤー配列データ９２３、９２５を生成する内部処理構成の一例である。本内部処理構成では、図５及び図６に示したＲＡＷデータ垂直方向縮小リサイズ＆色再配列データ生成処理部５０４、６０６、６０７を実現する
図７でセンサー読み出し方向の水平縮小リサイズ処理と色再配列処理を選択的に実施し、その出力を図８に示すラインメモリに書き込み、同時にセンサー読み出し方向の水平縮小リサイズ処理画像のうちまとまった複数ライン分のデータをラインメモリから読み出し、図９に示すような複数ライン上のセンサー読み出し方向の同一位置のデータに対して縦方向の同時処理で複数の垂直方向縮小リサイズ処理と色再配列処理とを行う。

このとき、垂直方向縮小リサイズ処理は、前記のセンサー読み出し方向の水平縮小リサイズ処理とは別の処理となり、複数のライン単位の動作出力をライン単位で利用するか否かの判定処理のもと、ライン間欠的な出力として垂直方向に比率の違う縮小リサイズ画像を得る。

更に、図５に示す第１の具体例においては、任意の画像に対しては図７に示す内部処理のうち、センサー読み出し方向の色再配列処理のみを選択的に再度実施して、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。

本実施形態の画像処理機能の主眼は画像処理の流れと、処理手続きとの組み合わせと順序にあり、図５に示す第１の具体例では、図７の処理→図８の処理→図９の処理→図７の処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。一方、図６に示す第２の具体例では、図７の処理→図８の処理→図９の並列処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。

尚、図７、図８及び図９に示す処理は、ＲＡＷデータを縮小リサイズ処理し且つ複数の色再配列処理をするに際して、折り返しノイズの発生しない高画質で解像感のある縮小ＲＡＷデータを生成する一手法であり、本発明は高画質な縮小処理の基本となる内部アルゴリズムをこの一手法に一義的に規定するものでない。しかしながら、本内部処理アルゴリズムは、冗長処理を削減するという本発明の目的のもと、処理手続きが少なく且つ高画質な縮小処理を実現できる方法であり、本発明の画像処理を実現する上での好適な縮小処理かつ色再配列処理アルゴリズムとなる。

（水平方向の縮小リサイズ処理及び色再配列データ生成処理の具体例）
次に、図７を用いて、図５及び図６に示した水平方向縮小リサイズ処理及び水平方向色再配列データ生成処理部５０１、５０７、５０８、６０１の処理で適用する、センサー読み出し方向の水平縮小リサイズ処理と色再配列処理との詳細を説明する。

センサー読み出し方向の水平縮小リサイズ処理部５０１は、１次元のパイプライン処理であって、図７に示すように、ＲＡＷ画像１０１からライン単位のＲＡＷライン画像７０１に対するフィルタ処理により輝度データを抽出する色キャリア除去フィルタ処理部（フィルタ処理部）７０２と、色キャリアデータを抽出する色キャリア抽出フィルタ処理部（フィルタ処理部）７０４と、変調された色キャリアデータに対して色反転復調して連続した色差分データを出力する色キャリア反転復調処理部７０５と、得られた輝度データと色差分データとに対してそれぞれ独立して縮小リサイズを行う輝度信号センサー読み出し方向縮小リサイズ処理部７０６及び色差分信号センサー読み出し方向縮小リサイズ処理部７０７と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部（色キャリア変調処理部）７０８と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第１の色配列データ７１０を生成する第１の色配列再現処理部（色再配列データ生成処理部）７０９と、変調後の色キャリアデータの符号を反転する符号反転処理部７１１と、リサイズ後のレベル調整された輝度データと変調後の符号反転色キャリアデータとを再合成して、最終的な第２の色配列データ７１３を生成する第２の色配列再現処理部（色再配列データ生成処理部）７１２とにより、構成される。

色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部７０８と、第１の色配列再現処理部７０９と、符号反転処理部７１１と、第２の色配列再現処理部７１２とであり、これ等の処理は、図７中に破線で囲んだ色再配列データ生成処理部２０に含まれる。

次に、図７に示したセンサー読み出し方向の水平縮小リサイズ処理機能を用いて、ベイヤー配列の画像を処理する場合を説明する。

原画像であるＲＡＷ画像１０１は、ベイヤー配列の画素配置を反映したモザイク状の画像であり、通常、撮像部１２からライン単位で読み出される。この原画像のライン単位のＲＡＷライン画像データ７０１は、赤（Ｒ）と緑（Ｇ）との情報が画素毎に繰り返されるＲＧラインと、青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返されるＢＧラインとの２種類となる。図７中では、ＢＧラインに関わる信号情報のみを示す。

これら２種類のラインデータは、２画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部７０２を経て、ＲＧラインに関しては赤（Ｒ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｒ＋Ｇ）｝が出力され、ＢＧラインに関しては青（Ｂ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｂ＋Ｇ）｝が出力される。

また、前記２種類のラインデータは、２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部７０４を経て、ＲＧラインに関してはナイキスト周波数で変調されたＲＧライン色キャリアデータが出力され、ＢＧラインに関してはナイキスト周波数で変調されたＢＧライン色キャリアデータが出力される。前記ナイキスト周波数で変調されたＲＧライン色キャリアデータ及びＢＧライン色キャリアデータは、１画素毎に符号反転する色キャリア反転復調処理部７０５により、連続したＲＧライン色差分データ、及びＢＧライン色差分データとして出力される。

前記抽出された輝度データと色差分データとに対してそれぞれ同一縮小比率でセンサー読み出し方向の縮小リサイズを実施するに際しては、縮小後の折り返しノイズを抑えるために、図７中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施するが、効率的な処理として、色キャリア除去フィルタ処理部７０２と色キャリア抽出フィルタ処理部７０４とにより、周波数特性の制限を同時に適用処理する方法がよく、この方法Ｇ実装方法として効率的である。この際、色差用帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定し、輝度用帯域制限の２分の１以下に設定する。帯域制限された輝度データは、輝度信号センサー読み出し方向縮小リサイズ処理部７０６により、縮小比率に合わせて線形補間間引き処理が行われる。一方、帯域制限された色差分データは、色差分信号センサー読み出し方向の水平縮小リサイズ処理部５０７により、縮小比率に合わせて線形補間間引き処理が行われる。

ライン毎にセンサー読み出し方向に水平縮小リサイズされた２種類の連続的な色差分データ｛β（Ｒ−Ｇ）、β（Ｂ−Ｇ）｝は、２画素周期で変化するナイキスト周波数で変調するための等価処理として、１画素毎に符号を反転する色差分データ反転変調処理部７０８での処理を実施する。その結果、それぞれのラインデータ上で画素毎に符号の異なる第１の｛β（Ｒ−Ｇ）、−β（Ｒ−Ｇ）｝、｛β（Ｂ−Ｇ）、−β（Ｂ−Ｇ）｝という２種類の縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとなる。同時に、前記色キャリアデータの符号を反転する符号反転処理部７１１により、それぞれのラインデータ上で画素毎に符号の異なる第２の｛―β（Ｒ−Ｇ）、β（Ｒ−Ｇ）｝、｛―β（Ｂ−Ｇ）、β（Ｂ−Ｇ）｝という２種類の縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとなる。

リサイズされた縮小ライン輝度データは、リサイズされた色キャリアデータとの加算処理である色配列再現処理部７０９において、ライン毎に、前記第１及び第２の縮小ＲＧライン色キャリアデータと、前記第１及び第２の縮小ＢＧライン色キャリアデータとが再合成され、赤（Ｒ）と緑（Ｇ）の情報が画素毎に繰り返す縮小リサイズされたＲＧライン・ＧＲライン、及び青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返す縮小リサイズされたＢＧライン７１０・ＧＢライン７１３として出力される。

前記ＲＧラインの再合成を数式で示す。先ず、輝度データ｛α（Ｒ＋Ｇ）｝、色キャリアデータ｛β（Ｒ−Ｇ）、−β（Ｒ−Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｒ＋Ｇ）｝、色キャリアデータ｛０．５（Ｒ−Ｇ）、−０．５（Ｒ−Ｇ）｝となる。画素毎に輝度データと色キャリアデータとを加算して行くと、０．５｛（Ｒ＋Ｇ）＋（Ｒ−Ｇ）｝、０．５｛（Ｒ＋Ｇ）−（Ｒ−Ｇ）｝…が繰り返される。すなわち、Ｒ、Ｇ、Ｒ、Ｇ…としてＲＧラインデータが再生する。色キャリアデータの符号が反転すると、Ｇ、Ｒ、Ｇ、Ｒ…としてＧＲラインデータが再生する。

ＢＧラインでも同様にして、輝度データ｛α（Ｂ＋Ｇ）｝、色キャリアデータ｛β（Ｂ−Ｇ）、−β（Ｂ−Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｂ＋Ｇ）｝、色キャリアデータ｛０．５（Ｂ−Ｇ）、−０．５（Ｂ−Ｇ）｝となる。画素毎に輝度データと色キャアデータとを加算して行くと、０．５｛（Ｂ＋Ｇ）＋（Ｂ−Ｇ）｝、０．５｛（Ｂ＋Ｇ）−（Ｂ−Ｇ）｝…が繰り返される。すなわち、Ｂ、Ｇ、Ｂ、Ｇ…としてＢＧラインデータが再生する。色キャリアデータの符号が反転すると、Ｇ、Ｂ、Ｇ、Ｂ…としてＧＢラインデータが再生する。

図７に示したセンサー読み出し方向の水平縮小リサイズ処理機能は、図５において示した処理部５０１、５０７、５０８や図６に示した処理部６０１を実施する際に使用できる。

図５の水平方向縮小リサイズ処理部５０１では色配列が異なる２種類の縮小ラインデータのうち１つを次の処理へ出力する。また、色再配列データ生成処理部５０７、５０８では、水平方向の縮小処理は実施せず、色配列が異なる２種類の縮小ラインデータを出力する。更に、図６の水平方向縮小リサイズ＆色再配列データ生成処理部６０１では、水平方向の縮小処理された、色配列が異なる２種類の縮小ラインデータを出力する。

次に、図８を用いて、前記水平縮小リサイズ処理部５０１、水平縮小リサイズ処理＆色再配列データ生成処理部６０１で処理された縮小ＲＡＷ画像データを一時的に、メモリー部５０３、６０４、６０５の一例としての複数のラインメモリに書き込むと同時に、それ等の複数のラインメモリから複数の水平方向縮小ラインＲＡＷデータを読み出す場合の詳細を説明する。

図８（ａ）は、複数のラインメモリの書き込み読み出し動作を示す。同図（ｂ）は、同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す。図８（ａ）及び図（ｂ）において、８０１は８ラインからなるラインメモリである。８０２は、前記ラインメモリ８０１に対してのデータ書き込みサイクルを示し、８ラインに対する書き込み制御として１ラインずつ順番にリング状に巡回させながら書き込んでいく。８０３は、ラインメモリ８０１に対してのデータ読み出しサイクルを示し、８ラインのうち７ライン分のメモリデータをまとめて選択しながら、書き込み制御と同様、順番にリング状に巡回させながら読み出して行く。

図８（ａ）及び（ｂ）の例では、使用する複数のラインメモリ８０１の容量を最小限とするために、リング状の巡回書き込みに対する、７ライン同時巡回読み出しの先頭ラインの位置を書き込みラインよりも１ライン遅らせた位置としている。また、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることができる。

こうして、水平方向のＲＡＷ縮小リサイズ画像５０２、６０２、６０３のうちまとまった複数ライン分のＲＡＷリサイズデータを図８（ａ）及び（ｂ）に示すラインメモリ８０１からまとめて読み出すことにより、複数ライン上のセンサー読み出し方向の同一位置データ８０４に対して、図５に示す第１の具体例では、垂直方向縮小リサイズ＆色再配列データ処理部５０４で縦方向に処理を行い、ＲＡＷリサイズ画像５０５、６０６得る。図６に示す第２の具体例では、垂直方向縮小リサイズ＆色再配列データ処理部６０６、６０７で縦方向に処理を行って、色配列の異なる４種類のＲＡＷリサイズ画像１０４を得る。

このとき、垂直方向縮小リサイズ＆色再配列データ処理部５０４、６０６、６０７での処理は、センサー読み出し方向の水平縮小リサイズ処理部５０１とは異なる処理となり、複数のラインを入力とする任意の画像処理出力データに対して、ライン単位で有効データとして利用するか否かの判定処理のもと出力するか否かで出力ライン数を減らすことにより、垂直方向の縮小リサイズ処理を実施する。

（垂直方向の縮小リサイズ処理及び色再配列データ処理の具体例）
図９は、前記垂直方向縮小リサイズ＆色再配列データ処理部５０４、６０６、６０７により、色配列情報が異なる２種類のベイヤー配列データを生成するに際し、入力ライン方向に対して垂直方向に任意サイズの画像に縮小すると共に、合わせて垂直方向に偶数ライン上と奇数ライン上との色を置換することにより、２種類のベイヤー配列データ９２３、９２５を生成する内部処理構成の一例を示す。

図９の垂直方向縮小リサイズ＆色再配列データ処理部５０４、６０６、６０７は、図７に示したセンサー読み出し方向の水平縮小リサイズ処理と同様に、輝度信号処理と色差分信号処理との２系統処理として実施する。

詳細説明に際して、図９では、入力データとして７ライン分のＲＡＷ画像に対して垂直方向に同一水平位置となる７画素を１つの処理単位として処理を実施する場合を例示している。

図９に示す垂直方向縮小リサイズ＆色再配列データ処理は、前記７ライン分のＲＡＷ画像から垂直方向に輝度データを抽出する色キャリア除去フィルタ処理部（フィルタ処理部）９０３と、垂直方向の色キャリアデータを抽出する色キャリア抽出フィルタ処理部（フィルタ処理部）９１２と、垂直方向に変調された色キャリアデータに対して色反転復調して垂直方向に連続した色差分データを出力する色キャリア反転復調処理部（垂直方向色キャリア反転復調処理部）９１６と、得られた垂直方向ライン輝度データ９０９と色差分データとに対して独立して垂直方向縮小リサイズを行う輝度信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）９１０及び色差分信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）９１８と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部（垂直方向色差分データ反転変調処理部）９２０と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第１の色配列データ９２３を生成する第１の色配列再現処理部９２２と、変調後の色キャリアデータの符号を反転する符号反転処理部９２６と、リサイズ後のレベル調整された輝度データと変調後の符号反転された色キャリアデータとを再合成して、最終的な第２の色配列データ９２５を生成する第２の色配列再現処理部９２４とにより、構成される。

色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部９２０と、第１の色配列再現処理部９２２と、符号反転処理部９２６と、第２の色配列再現処理部９２４とであり、これ等の処理は図９中に破線で囲んだ色再配列データ生成処理部３０に含まれる。

前記図９に示した垂直方向縮小リサイズ＆色再配列データ処理機能を用いて、ベイヤー配列の画像を縮小リサイズ処理＆色再配列データ処理する場合について、詳細に説明する。

図９の垂直方向の処理単位９０１に示すように、水平リサイズ処理後のＲＡＷ画像は、ベイヤー配列の画素配置を反映したモザイク状の配列を保持しており、図８に示すようにライン単位でラインメモリ８０１に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。図８に示した本実施形態では、８ラインからなるラインメモリ８０１を利用し、７ライン分のデータがまとめて出力される。

水平リサイズ処理後の７ライン単位の入力データに対する第１の垂直方向の処理単位は、ライン上のセンサー読み出し方向の同一位置の垂直方向注目データに対して垂直方向に青（Ｂ）と緑（Ｇ）との情報が画素毎に繰り返されるＢＧ垂直処理単位９０１と、垂直方向に緑（Ｇ）と赤（Ｒ）との情報が画素毎に繰り返されるＧＲ垂直処理単位９０２との２種類となる。

これら２種類の垂直方向の処理単位となるデータは、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、前記色キャリアを除去する色キャリア除去フィルタ処理部９０３において、７ラインデータ中の５ライン分の輝度データＹ１〜Ｙ３を用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な輝度データが３種類生成される。本実施形態では、色キャリア除去フィルタ処理部９０３にて垂直方向にそれぞれ５画素の輝度データＹ１〜Ｙ３を用いて、３種類のライン輝度データ９０９を出力している。それぞれの輝度データＹ１〜Ｙ３は、垂直方向のＢＧ垂直処理単位９０１に関しては青（Ｂ）と緑（Ｇ）の平均値となる輝度データ、次の垂直方向のＧＲ垂直処理単位９０２に関しては緑（Ｇ）と赤（Ｒ）の平均値となる輝度データが水平方向に交互に出力される。

また、前記２種類の垂直方向の処理単位９０１、９０２は、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部９１２の７ラインデータ中の５ライン分のデータを用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な色キャリアデータＣ１〜Ｃ３（９１３〜９１５）が３種類生成される。ＢＧ垂直処理単位９０１のＢＧ垂直方向に関しては、ナイキスト周波数で変調されたＢＧ色キャリア成分データが出力され、ＧＲ垂直処理単位９０２のＧＲ垂直方向に関しては、ナイキスト周波数で変調されたＧＲ色キャリア成分データが出力される。

垂直方向にナイキスト周波数で変調されたそれぞれ３つのＢＧ色キャリア成分データ及びＧＲ色キャリア成分データは、垂直方向に１画素毎（１ライン動作毎）に符号反転する色キャリア変転復調処理部９１６により、垂直方向に連続したＲ−Ｇデータ、Ｂ−Ｇデータとして出力される。ここでは、垂直方向の画素データ位置を輝度データＹ１〜Ｙ３と同一位置となるように色差分データＣ１〜Ｃ３を出力する。

垂直方向に抽出された前記３ラインデータからなる輝度データＹ１〜Ｙ３と色差分データＣ１〜Ｃ３とに対して、それぞれ同一比率の垂直方向の縮小リサイズを実施するに際して、縮小後の折り返しノイズを抑えるために、図９中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施することが望ましい。輝度データＹ１〜Ｙ３と色差分データＣ１〜Ｃ３との３ラインに対して処理することも可能であるが、効率的な処理としては、色キャリア除去フィルタ処理部９０３と色キャリア抽出フィルタ処理部９１２とにより、周波数特性の制限を同時に適用処理する方法が実装方法として効率的である。この際、色差分データの帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定して、輝度用データの帯域制限の２分の１以下に設定することが望ましい。

輝度信号垂直方向縮小リサイズ処理部９１０は、前記垂直方向に帯域制限された輝度データＹ１〜Ｙ３の３つのライン輝度データ９０９を用いて垂直方向での線形補間を行い、ライン単位で縮小比率に合わせてライン間引き出力する。一方、色差分信号垂直方向縮小リサイズ処理部９１８は、３つの色差分ラインデータを用いて垂直方向に前記輝度データと同様の線形補間を行い、ライン単位で垂直縮小比率に合わせてライン間引き出力する。

前記垂直方向のライン間引きで縮小リサイズされた色差分データは、垂直方向に２画素周期で変化するナイキスト周波数で変調するための等価処理として、有効ライン出力毎に符号を反転する色差分データ反転変調処理部９２０での処理が実施されて、垂直方向に第１の垂直色キャリアデータ９２１が生成される。この第１の垂直色キャリアデータ９２１を符号反転処理部９２６で符号反転し、第２の垂直色キャリアデータ９２７を生成する。

前記垂直方向のライン間引きで垂直方向に縮小リサイズされたライン輝度データ９１１と、前記第１の垂直色キャリアデータ９２１とは、第１の色配列再現処理部９２２で加算処理が実施され、垂直方向に青（Ｂ）と緑（Ｇ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＢＧデータ９２３、及び図示しない垂直方向に緑（Ｇ）と赤（Ｒ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＧＲデータとして、水平方向に交互に出力される。

前記垂直方向のライン間引きで垂直縮小リサイズされたライン輝度データ９１１と、前記第２の垂直色キャリアデータ９２７とは、第２の色配列再現処理部９２４で加算処理されて、垂直方向に緑（Ｇ）と青（Ｂ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＧＢデータ９２５、及び図示しない垂直方向に赤（Ｒ）と緑（Ｇ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＲＧデータとして、水平方向に交互に出力される。

垂直方向での２種類の色再配列に関わる処理は、前記第１の色配列再現処理部９２２と、第２の色配列再現処理部９２４とにより実施され、図５に示す２種類のベイヤー配列データ５０５、５０６、図６に示す２種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄとして出力される。

以上説明したように、図５に示す第１の実施形態では、図７の処理→図８の処理→図９の処理→図７の処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。

また、図６に示す第２の実施形態では、図７の処理→図８の処理→図９の並列処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。

その後、図２に示した色再配列表示データ生成処理部２０１、２０３、２０５を用いて原画像の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色を選択処理することにより、モニターの入力仕様に合わせた色配列の表示データを生成することができる。

尚、本発明を実施する手段は、専用の画像処理装置（画像再生装置や画像加工装置）に限らず、パソコンであってもよい。また、画像処理は、その処理の一部又は全部をハードウェア（信号処理回路）に限らず、ソフトウェアで実現してもよい。

また、画像処理に使用する画像処理プログラムは、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、その画像処理プログラムは、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。

以上説明した通り、本発明に係る画像処理装置及び画像処理方法は、特に単板カラー撮像素子から得られる原画像を縮小処理して表示する際に好適な画像データサイズ変換表示処理装置、電子スチルカメラ、画像データサイズ変換表示処理プログラム等として有用である。

１０ 撮像装置
１１ 光学レンズ
１２ 撮像部
１０１ ベイヤー配列のＲＡＷ画像データ
１０４ ４種類のベイヤー配列データ
１０５ 前処理部
１０７ メモリー制御部
１０８ メモリー部
１０９ 画像信号処理部
１１０ 圧縮伸張処理部
１１１ 記録メディアＩ／Ｆ部
１１２ 記録メディア
１１３ 操作パネル
１１４ ＣＰＵ
１１５ ＲＯＭ
１１６ ＲＡＭ
１１７ 表示処理部
１１８ モニター
ＤＰｔｈ（１）、ＤＰｔｈ（２） データパス
１０２ 縮小リサイズ処理部
１０３ 色再配列データ生成処理部
１０４ａ〜１０４ｄ ４種類のベイヤー配列データ
２０１、２０３、２０５ 色再配列表示データ生成処理部
２０２、２０４、２０６ 色再配列表示データ
５０１ ＲＡＷデータ水平方向縮小リサイズ処理部
５０２ 水平方向にのみ縮小した画像データ
５０３、６０４、６０５ メモリー部（記憶装置）
５０４、６０６、６０７ ＲＡＷデータ垂直方向リサイズ処理
＆色再配列処理部
５０５、５０６ ２種類の表示用サイズベイヤー配列データ
５０７、５０８ 水平方向色再配列データ生成処理部
６０１ ＲＡＷデータ水平方向縮小リサイズ＆色再配列データ生成処理部
６０２、６０３ 水平方向にのみ縮小した２種類の画像データ
７０１ ＲＡＷライン画像データ
７０２ 色キャリア除去フィルタ処理部（フィルタ処理部）
７０３ ライン輝度データ
７０４ 色キャリア抽出フィルタ処理部（フィルタ処理部）
７０５ 色差分データ復調処理部
７０６ 輝度信号センサー読み出し方向縮小リサイズ処理部
７０７ 色差分信号センサー読み出し方向縮小リサイズ処理部
７０８ 色キャリア変調処理部（色キャリア変調処理部）
７０９ 第１の色配列再現処理部（色再配列データ生成処理部）
７１０ 第１の縮小色配列データ
７１１ 符号反転処理部
７１２ 第２の色配列再現処理部（色再配列データ生成処理部）
７１３ 第２の縮小色配列データ
８０１ ラインメモリ
８０２ ラインメモリに対してのデータ書き込みサイクル
８０３ ラインメモリに対してのデータ読み出しサイクル
８０４ 複数ライン上のセンサー読み出し方向の同一位置のデータ
９０１ 第１の垂直方向の処理単位
９０２ 第２の垂直方向の処理単位
９０３ 色キャリア除去フィルタ処理部（フィルタ処理部）
９０４、９０５、９０６ ライン輝度データ
９０９ ３種類のライン輝度データ
９１０ 輝度信号垂直方向縮小リサイズ処理部
（垂直方向縮小リサイズ処理部）
９１１ 垂直方向縮小ライン輝度データ
９１２ 色キャリア抽出フィルタ処理部（フィルタ処理部）
９１３、９１４、９１５ 色キャリアデータ
９１６ 色キャリア変転復調処理部（垂直方向色キャリア反転復調処理部）
９１８ 色差分信号垂直方向縮小リサイズ処理部
（垂直方向縮小リサイズ処理部）
９１９ 垂直方向縮小色差分データ
９２０ 色差分データ反転変調処理部
（垂直方向色差分データ反転変調処理部）
３０ 色再配列データ生成処理部
９２１ 第１の垂直色キャリアデータ
９２２ 第１の垂直色配列再現処理部
９２３ 第１の縮小色配列データ
９２４ 第２の垂直色配列再現処理部
９２５ 第２の縮小色配列データ
９２６ 符号反転処理部
９２７ 第２の垂直色キャリアデータ

Claims (27)

1. 色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、
   単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、
   前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部とを有する
   ことを特徴とする画像処理装置。
2. 色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、
   単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、
   前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部と、
   前記色再配列データ生成処理部により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる１種類以上の色配列表示データを生成する色再配列表示データ生成処理部とを有する
   ことを特徴とする画像処理装置。
3. 前記請求項１又は２記載の画像処理装置において、
   前記色再配列表示データ生成処理部から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するデータパスと、
   前記色再配列表示データ生成処理部から前記表示用縮小画像を、メモリー部を介して前記表示処理部に入力するデータパスとを更に有し、
   撮影時の動作モードに応じて、前記メモリー部を制御するメモリー制御部が、前記表示用縮小画像を、前記色再配列データ生成処理部から前記表示処理部に直接入力するか、前記メモリー部を介して前記表示処理部に入力するかの画像入力データパス制御を選択的に行う
   ことを特徴とする画像処理装置。
4. 前記請求項１〜３の何れか１項に記載の画像処理装置において、
   前記縮小リサイズ処理部の縮小リサイズ処理と、前記色再配列データ生成処理部の色再配列データ生成処理とは、
   原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能である
   ことを特徴とする画像処理装置。
5. 前記請求項１〜４の何れか１項に記載の画像処理装置において、
   前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
   前記原画像に対してセンサー読み出し方向のライン単位の第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、
   この片方向のみ縮小リサイズ処理された１つの複数色配列データに基づいて、前記第１の縮小リサイズ処理と直交する垂直方向の第２の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
   前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
   ことを特徴とする画像処理装置。
6. 前記請求項５の画像処理装置において、
   前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
   前記原画像に対して前記第１の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された１種類の複数色配列データを記憶装置に書き込み、
   前記記憶装置から前記１種類の複数色配列ＲＡＷデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の色配列データを生成し、
   前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
   ことを特徴とする画像処理装置。
7. 前記請求項６記載の画像処理装置において、
   前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
   前記原画像に対して前記第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理された１種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
   前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成する
   ことを特徴とする画像処理装置。
8. 前記請求項１〜４の何れか１項に記載の画像処理装置において、
   前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
   前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、
   前記片方向のみ縮小リサイズ処理された２種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
   ことを特徴とする画像処理装置。
9. 前記請求項８記載の画像処理装置において、
   前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
   前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の複数色配列データを記憶装置に書き込み、
   前記記憶装置から前記２種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
   ことを特徴とする画像処理装置。
10. 前記請求項９記載の画像処理装置において、
    前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    ことを特徴とする画像処理装置。
11. 前記請求項５〜１０の何れか１項に記載の画像処理装置において、
    前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    水平方向縮小リサイズ処理及び色再配列データ生成処理について、
    前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、
    前記色キャリアデータを色差分データに変換する色キャリア反転復調処理部と、
    前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理部と、
    前記縮小リサイズ処理部による縮小リサイズ後の色差分データを１画素毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する色キャリア変調処理部と、
    前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含む
    ことを特徴とする画像処理装置。
12. 前記請求項５〜１０の何れか１項に記載の画像処理装置において、
    前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    垂直方向縮小リサイズ処理及び色再配列データ生成処理について、
    前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理部と、
    前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理部と、
    前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理部と、
    前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから１ライン毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する垂直方向色差分データ反転変調処理部と、
    前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含む
    ことを特徴とする画像処理装置。
13. 前記請求項１〜１２の何れか１項に記載の画像処理装置において、
    前記原画像は、
    原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像である
    ことを特徴とする画像処理装置。
14. 色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理方法であって、
    単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理工程と、
    前記縮小リサイズ処理工程により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理工程とを有する
    ことを特徴とする画像処理方法。
15. 色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理方法であって、
    単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理工程と、
    前記縮小リサイズ処理工程により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理工程と、
    前記色再配列データ生成処理工程により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる１種類以上の色配列表示データを生成する色再配列表示データ生成処理工程とを有する
    ことを特徴とする画像処理方法。
16. 前記請求項１４又は１５記載の画像処理方法において、
    前記色再配列表示データ生成処理工程から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するか、
    前記色再配列表示データ生成処理工程から前記表示用縮小画像をメモリー部を介して前記表示処理部に入力するかを、
    撮影時の動作モードに応じて選択的に切り換える
    ことを特徴とする画像処理方法。
17. 前記請求項１４〜１６の何れか１項に記載の画像処理方法において、
    前記縮小リサイズ処理工程の縮小リサイズ処理と、前記色再配列データ生成処理工程の色再配列データ生成処理とは、
    原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能である
    ことを特徴とする画像処理方法。
18. 前記請求項１４〜１７の何れか１項に記載の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    前記原画像に対してセンサー読み出し方向のライン単位の第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、
    この片方向のみ縮小リサイズ処理された１つの複数色配列データに基づいて、前記第１の縮小リサイズ処理と直交する垂直方向の第２の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
    前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
    ことを特徴とする画像処理方法。
19. 前記請求項１８の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    前記原画像に対して前記第１の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された１種類の複数色配列データを記憶装置に書き込み、
    前記記憶装置から前記１種類の複数色配列ＲＡＷデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の色配列データを生成し、
    前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
    ことを特徴とする画像処理方法。
20. 前記請求項１９記載の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    前記原画像に対して前記第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理された１種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
    前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成する
    ことを特徴とする画像処理方法。
21. 前記請求項１４〜１７の何れか１項に記載の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、
    前記片方向のみ縮小リサイズ処理された２種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    ことを特徴とする画像処理方法。
22. 前記請求項２１記載の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の複数色配列データを記憶装置に書き込み、
    前記記憶装置から前記２種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    ことを特徴とする画像処理方法。
23. 前記請求項２２記載の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    ことを特徴とする画像処理方法。
24. 前記請求項１８〜２３の何れか１項に記載の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    水平方向縮小リサイズ処理及び色再配列データ生成処理について、
    前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理工程と、
    前記色キャリアデータを色差分データに変換する色キャリア反転復調処理工程と、
    前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理工程と、
    前記縮小リサイズ処理工程による縮小リサイズ後の色差分データを１画素毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する色キャリア変調処理工程と、
    前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理工程とを含む
    ことを特徴とする画像処理方法。
25. 前記請求項１８〜２３の何れか１項に記載の画像処理方法において、
    前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    垂直方向縮小リサイズ処理及び色再配列データ生成処理について、
    前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理工程と、
    前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理工程と、
    前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理工程と、
    前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから１ライン毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する垂直方向色差分データ反転変調処理工程と、
    前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理工程とを含む
    ことを特徴とする画像処理方法。
26. 前記請求項１４〜２５の何れか１項に記載の画像処理方法において、
    前記原画像は、
    原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像である
    ことを特徴とする画像処理方法。
27. 前記請求項１〜１３の何れか１項にの画像処理装置を搭載した
    ことを特徴とするデジタルカメラ。