WO2010016166A1 - 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路 - Google Patents

Abstract

　単板カラー撮像素子から得られた原画像、すなわちＣＣＤＲＡＷ画像（６０１）をベイヤー配列に対応したＲ，Ｇ，Ｂデータに色分離せずライン単位のフィルタ処理（６０２，６０６）により輝度データと色キャリアデータとを抽出し、色キャリアデータに色差データ復調処理（６０７）とメディアンノイズ除去処理（６０８）とを施したうえ、輝度データと色差データとにそれぞれ特性の異なる帯域制限フィルタ処理（６０３，６０９）を実施する。更に、輝度データと色差データとに対して独立してリサイズ処理（６０４，６１０）を行い、リサイズ後の色差データから色キャリアデータへの変調処理（６１１）を経て、色キャリアデータとリサイズ後の輝度信号との再合成による色配列再現処理（６１２）を実施する。

Description

撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路

　本発明は、撮像装置、画像処理方法、画像処理プログラム及び画像処理機能を実装した半導体集積回路に係り、特に単板カラー撮像素子から得られる原画像の縮小処理、拡大処理や、ゆがみ補正に好適な画像データサイズ変換処理装置、電子スチルカメラ、画像データサイズ変換処理プログラム、半導体集積回路等に関するものである。

　撮影レンズを通過する被写体像をＣＣＤ、ＭＯＳセンサ等の撮像素子で撮像し、当該撮像素子から出力される画像データに対して所定の画像処理を行うデジタルカメラが知られている。一般的なデジタルカメラは、撮像素子から得られる画像信号を１０ビット又は１２ビット又は１４ビットのデジタルデータに変換し、様々な画像処理を施した後、ＪＰＥＧ符号化等の圧縮方式に従って画像データを圧縮して記録媒体に記録するようになっている。記録された画像は、既に様々な画像処理が施されているので、ユーザ自身が再生画像に対して更なる画像処理を施すと画質が劣化する場合がある。

　さて、カメラ内で画像処理を実施せず、撮像素子から出力される画素毎のアナログ信号をＡ／Ｄ変換した後、画像処理を加えない生（ＲＡＷ）の状態でデジタルデータをそのまま記録する方式が一眼レフデジタルカメラの機能として普及してきている。使い方としてカメラ側では未加工のＲＡＷデータを記録しておき、パソコン等の外部装置によって画像の再現（現像）処理を行うことにより、高品質のプリントやユーザの目的に合致したより高度な画像編集を実現するものである。

　このような撮像装置には、カラー画像を撮像するために撮像素子上に色分解フィルタが設けられている。例えば、ベイヤー方式の色分解フィルタでは、撮像素子の画素に対応して、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色フィルタが市松模様に配置されている。つまり、ベイヤー配列では画素並びにおける水平方向及び垂直方向の両方向に、同じ色成分のフィルタが１画素おきに並ぶ。このような色分解フィルタを通して撮像された画像データは、ベイヤー配列が保持されるように扱う必要がある。ベイヤー配列がくずれると、画像データから被写体の色を再現できなくなるからである。

　ＲＡＷ形式のデータは、ＪＰＥＧ形式等のデータに比べてファイルサイズが大きく、再生処理に時間がかかる。ＲＡＷデータの再生は、１画素について１色の情報しかない大サイズの原画像データをもとに、ガンマ補正をかけたりホワイトバランスをとったりしつつ、各画素についてＲ／Ｇ／Ｂの情報を得るような同時化処理を行い、最終的に再現画像を得なければならない。画面内の細部の再現性までをも確認する場合には、このような大サイズの画像を取り扱う必要があるが、例えばデジタルカメラの液晶モニタを用いて色の再現性を確認するだけの場合（色調や色の感じを確認したい場合）、あるいは、明るさの程度やガンマ補正のかけ具合を変更したときの結果確認等には、それほど大きな画像を用いなくても小さな画像で十分確認することが可能である。

　また撮像素子の高画素化と高速読み出し処理技術が進む中、スモールＲＡＷと呼ばれる原画像より小さい画像記録モード時での撮影や、ＨＤムービーに代表されるサイズが規格化された動画撮影を行う場合、処理の前段階にてＲＡＷ画像を縮小して再生処理や記録処理を行うことにより、後処理での冗長処理を省略できるので処理時間を大幅に短縮でき、システムの省電力アプローチも可能にする。

　以上のように、ＲＡＷデータの処理結果を高速表示するため、あるいはプレビュー用画像ファイルサイズの最小化又はＲＡＷ形式データのスモールサイズ記録、サイズが規格化された動画記録等の目的でＲＡＷ画像の縮小処理が行われることがある。

　従来、原画像としてのＲＧＢのＲＡＷデータをリサイズする際、最初の処理で独立のＲ，Ｇ，Ｂデータに色分離し、もしくは同色画素の混合により間引きする方法をとっていた（特許文献１～３参照）。あるいは、フルサイズの画像処理後のＹＣｒＣｂデータにＬＰＦ（ローパスフィルタ）をかけた後、縮小リサイズしたデータを１つのスモールＲＡＷファイルとしていた（特許文献４参照）。
特開２００３－３４６１４３号公報 特開２００１－２４５１４１号公報 特開２００２－８４５４７号公報 特開２００７－１５８５０９号公報

　特許文献１～３の技術では、原画像としてのＲＧＢのＲＡＷデータをリサイズする際、最初の処理で独立のＲ，Ｇ，Ｂデータに色分離し、もしくは同色画素の混合により間引きする方法をとっていたので、ＲＡＷデータにて空間配置されたＲＧＢデータを色分離する際、サンプリングや画素加算による間引きによって低域に折り返ったナイキスト近傍の高域成分はＬＰＦで除去できないため、縮小後に再配置した縮小ＲＡＷデータ上で高域の偽信号が発生する。その結果、画像に偽色が現れたり、解像感の劣化が発生し、原画像の撮像特徴を十分に生かした縮小ＲＡＷ画像を得ることができないという欠点があった。

　また、特許文献４の技術では、フルサイズの画像処理後に縮小リサイズ処理を実施していたが、縮小リサイズ処理は記録画素数を減らす処理であり、画像処理後に縮小リサイズ処理により間引かれて捨てられるデータは冗長処理となり、省電力観点で効率が悪い。更にＬＳＩ等のハードウェアに実装する場合は外部のメモリバッファを経由して処理されるため、処理量に比例してＬＳＩのＩ／Ｏバッファの電力消費も伴う。

　本発明はこのような事情に鑑みてなされたもので、原画像をリサイズする際に、偽輝度信号、偽色を低減しながらも解像感を保持することができる撮像装置及び画像処理方法並びにそれを実現する画像処理プログラム及び半導体集積回路を提供することを目的とする。

　前記目的を達成するため、本発明は、色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小又は拡大のリサイズ画像を生成するにあたり、原画像をＲ，Ｇ，Ｂデータに色分離した後にリサイズ処理を実施するのではなく、原画像から得た輝度データと色差データとの２系統のリサイズ処理を実施することとしたものである。

　具体的に説明すると、本発明によれば、原画像からライン単位のフィルタ処理により輝度データと色キャリアデータとを抽出するフィルタ処理と、前記色キャリアデータに対してノイズ除去を行うノイズ除去処理と、ノイズ除去された色キャリアデータを色差データに変換する色差データ復調処理と、抽出された輝度データと前記色差データとにそれぞれ特性の異なるフィルタ処理を実施する帯域制限フィルタ処理と、輝度データと色差データとに対して独立してリサイズを行うリサイズ処理と、リサイズ後の色差データを色キャリアデータに再変換する色キャリア変調処理と、リサイズ後の輝度データと変調後の色キャリアデータとを再合成し最終的な複数色配列データを生成する色配列再現処理とを実施する。

　ライン単位の輝度データと色差データとに対してライン位置に応じてリサイズ比率を連続的に変更してリサイズを行うこととすれば、原画像のデジタル画像信号からライン単位でリサイズ比率の異なる画像を生成することも可能である。

　本発明によれば、例えば、同時化等の信号処理が行われていない原画像（ＲＡＷ画像）の縮小画像を生成するにあたり、原画像の輝度信号成分と各色信号成分との再現帯域を崩すことがないように、輝度信号成分と色差信号成分との２次元的再現帯域に相似な帯域特性を有するＬＰＦを施し、ＬＰＦ処理後の画像から輝度信号成分と色差信号成分とのリサイズ処理を行って画素数を変更し、２つの信号を重畳処理してリサイズ画像を得ている。画素のリサイズ比率は、原画像と最終的に生成すべき画像との比率に依存して設定される。こうして得られたリサイズ画像は、リサイズ前における原画像の再現特性の特徴を反映したものとなっている。これにより、再現処理時間の短縮化を達成できるとともに、最終画像における偽信号の発生を防止しつつ、各色信号の最大解像感を保持することができる。

　より具体的には、本発明によれば、ＲＡＷデータにて空間配置されたＲＧＢデータをＲ／Ｇ／Ｂの３色に色分離せず、輝度データに関してはリサイズ後のサイズに合わせた輝度ＬＰＦをかけてリサイズ処理するので、高域輝度成分が低域に折り返さず、かつ解像度を確保できる。色データに関しては特性の異なるフィルタ処理（高域除去性能が高い）で低域成分抽出してリサイズして輝度信号に重畳することにより、縮小ＲＡＷデータ上で高域の偽信号の発生が抑えられ、偽色を低減しながらも解像感を保持することができる。

　また、連続的な輝度データと色差データとに対してリサイズ処理を実施するにあたり、リサイズ比率を可変にすることにより、簡単な構成で偽色を低減しながらも解像感を保持してゆがみ補正を実現することができる。

　また、縮小リサイズ処理を前処理で実施することとすれば、原画像のサイズに対して小さなサイズでの表示処理や記録処理を実現することで後段処理量を減らすことができ、省電力観点で効率が良い。

図１は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。 図２（ａ）はカラーフィルタのハニカム配列の例を、図２（ｂ）はベイヤー配列の例をそれぞれ示す概念図である。 図３は、本発明の実施形態に係る画像処理方法の概略を示す図である。 図４は、図３中の２ステップのリサイズ処理にフレームメモリを利用する例を示す概念図である。 図５は、図３中の２ステップのリサイズ処理に複数ラインからなるラインメモリを利用する例を示す概念図である。 図６は、図３中のＲＡＷデータ水平方向リサイズ処理の詳細手順を示す図である。 図７は、図５の例を実施する場合のラインメモリの書き込み読み出し動作を示す概念図である。 図８は、図７の次のタイミングにおける同ラインメモリの書き込み読み出し動作を示す概念図である。 図９は、ラインメモリを利用する場合の図３中のＲＡＷデータ垂直方向リサイズ処理の詳細手順を示す図である。 図１０は、カラーフィルタのベイヤー配列における各色の２次元的再現帯域を示す図である。 図１１（ａ）はＣＺＰ（サーキュラーゾーンプレート）画像をＲ，Ｇ，Ｂデータに色分離した後に水平方向に１／２のリサイズ処理を実施した場合の縮小ＲＡＷ画像の図であり、図１１（ｂ）は同画像に本発明の輝度データと色差データとの２系統の縮小リサイズ処理を実施した場合の縮小ＲＡＷ画像の図である。 図１２（ａ）は広角レンズで発生する樽型特性を示す入力画像を示す図であり、図１２（ｂ）は当該入力画像に対してライン単位のリサイズ処理を水平方向及び垂直方向に実施することによる補正結果を示す図である。 図１３は、本発明のリサイズ処理機能をデジタル信号処理ＬＳＩの入力部にデジタル回路として実装した場合の半導体集積回路のブロック図である。 図１４は、本発明のリサイズ処理機能をＭＯＳイメージセンサの出力前でのデジタル回路として実装した場合の半導体集積回路のブロック図である。 図１５は、本発明のリサイズ処理機能をＭＯＳイメージセンサのアナログ出力をＡ／Ｄ変換するアナログフロントエンドＬＳＩの出力前でのデジタル回路として実装した場合の半導体集積回路のブロック図である。

符号の説明

１０　撮像装置
１２　撮像部
１０１　光学レンズ
１０２　光学ＬＰＦ（ローパスフィルタ）
１０３　カラーフィルタ
１０４　撮像素子
１０５　ＡＦＥ（アナログフロントエンド）部
１０６　前処理部
１０７　メモリ制御部
１０８　画像メモリ
１０９　画像信号処理部
１１０　圧縮伸張部
１１１　記録メディアＩ／Ｆ（インターフェース）部
１１２　記録メディア
１１３　操作パネル
１１４　ＣＰＵ
１１５　ＲＯＭ
１１６　ＲＡＭ
１１７　表示処理部
１１８　モニタＩ／Ｆ部
１２０　ＲＡＷリサイズ処理部
１３１　デジタル信号処理ＬＳＩ
１４１　ＭＯＳイメージセンサ（ＬＳＩ）
１５１　アナログフロントエンドＬＳＩ
３０１　ＣＣＤＲＡＷ画像
３０２　ＲＡＷデータ水平方向リサイズ処理
３０３　ＣＣＤＲＡＷリサイズ画像
３０４　ＲＡＷデータ垂直方向リサイズ処理
３０５　ＣＣＤＲＡＷリサイズ画像
４００　フレームメモリ
５００　ラインメモリ
６０１　ライン単位のＣＣＤＲＡＷ画像
６０２　色キャリア除去フィルタ処理
６０３　輝度用帯域制限フィルタ処理
６０４　輝度信号水平方向縮小リサイズ処理
６０５　ゲインレベル調整処理
６０６　色キャリア抽出フィルタ処理
６０７　色差データ復調処理
６０８　メディアンノイズ除去処理
６０９　色差用帯域制限フィルタ処理
６１０　色差信号水平方向縮小リサイズ処理
６１１　色キャリア変調処理
６１２　色配列再現処理
７０１　ラインメモリ
７０２　データ書き込みサイクル
７０３　データ読み出しサイクル
７０４　複数ライン上の水平方向同一位置のデータ
９０１　７画素からなる処理単位
９０２　色キャリア除去フィルタ処理
９０３　輝度用帯域制限フィルタ処理
９０４　輝度信号垂直方向縮小リサイズ処理
９０５　色キャリア抽出フィルタ処理
９０６　色差データ復調処理
９０７　メディアンノイズ除去処理
９０８　色差用帯域制限フィルタ処理
９０９　色差信号垂直方向縮小リサイズ処理
９１０　色キャリア変調処理
９１１　色配列再現処理
９１２　ゲインレベル調整処理

　以下、添付図面に従って本発明に係る画像処理方法及び画像処理プログラムの好ましい実施の形態について詳説する。

　図１は、本発明の実施形態に係る撮像装置の構成図である。この撮像装置１０は、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア１１２に記録する単板式のデジタルカメラである。撮像部１２は、光学レンズ１０１、光学ＬＰＦ１０２、カラーフィルタ１０３、撮像素子１０４、ＡＦＥ（アナログフロントエンド）部１０５を含む。

　撮像素子１０４は、ＣＣＤ型又はＣＭＯＳ型等に代表されるイメージセンサである。撮像素子１０４の受光面には多数のフォトダイオード（感光画素）が２次元的に配列されており、光学レンズ１０１を通過した被写体情報を光電変換する。光学ＬＰＦ１０２は、撮像素子１０４の画素ピッチ等に依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現（信号処理）後の最終画像におけるエリアジング発生を防止する。

　カラーフィルタ１０３は、撮像素子１０４の各画素に対応する位置にＲ，Ｇ，Ｂのいずれかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。

　図２（ａ）及び図２（ｂ）は、ＲＧＢ原色タイプのカラーフィルタ配列の例を示す。図２（ａ）に示したハニカム配列は、受光素子（フォトダイオード）の幾何学的な形状の中心が行方向及び列方向に１／２ピッチずつずらして配置されている。図２（ｂ）に示したベイヤー配列は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。なお、実際の撮像素子１０４の結像面では、図２（ａ）及び図２（ｂ）に示した画素配列の構造が水平方向及び垂直方向に周期的に繰り返される。もちろん、本発明の実施上、カラーフィルタ１０３の配列構造は、図２（ａ）及び図２（ｂ）に示した例に限定されず、Ｇストライプ等様々な配列構造が可能である。また、本例では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、黄（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、緑（Ｇ）からなる補色フィルタを用いたり、原色と補色との任意の組み合わせや白（Ｗ）を用いたりすることも可能である。

　図１の光学レンズ１０１を通過した光は、光学ＬＰＦ１０２とカラーフィルタ１０３とを通過して撮像素子１０４に入射する。撮像素子１０４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

　撮像素子１０４は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子１０４の動作（露光、読み出し等）はＣＰＵ１１４により制御される。

　撮像素子１０４から出力された画像信号はＡＦＥ部１０５に送られ、アナログゲイン、ＣＤＳ（相関二重サンプリング）等の処理後、Ａ／Ｄ変換処理によりデジタル信号に変換される。

　またＣＭＯＳ型に代表される撮像素子１０４においては高速読み出しを実現する手段として、当該撮像素子１０４内にノイズ処理部とＡ／Ｄ変換器とを実装し、直接デジタル信号として出力する形態もある。

　Ａ／Ｄ変換された画像データは、撮像装置１０の動作モードに従い必要な信号処理を経て、又は信号処理を省略して記録メディア１１２に記録される。本例の撮像装置１０は、ＪＰＥＧ形式による画像記録が可能であるとともに、Ａ／Ｄ変換した直後の画像（以下、ＣＣＤＲＡＷ画像という。）を記録することができる。

　ＪＰＥＧ形式で記録する場合、Ａ／Ｄ変換された画像データは前処理部１０６を経て画像信号処理部１０９に送られる。前処理部１０６と画像信号処理部１０９とは、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理等の各種処理を実施する処理手段であり、ＣＰＵ１１４からのコマンドに従って画像信号を処理する。これら前処理部１０６及び画像信号処理部１０９は、メモリ制御部１０７を介して処理途中の画像を一時記憶できる画像メモリ１０８を備えており、この画像メモリ１０８を利用しながら画像信号の処理を行う。

　前処理部１０６と画像信号処理部１０９とにおいて所定の信号処理を経た画像データは、圧縮伸張部１１０に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮される。なお、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。

　圧縮された画像データは、記録メディアＩ／Ｆ（インターフェース）部１１１を介して記録メディア１１２に記録される。記録メディア１１２は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。

　その一方、ＣＣＤＲＡＷ画像を記録するモードの場合、ＡＦＥ部１０５のＡ／Ｄ変換によってデジタル化された画像データは同時化その他の信号処理を経ずにメモリ制御部１０７、記録メディアＩ／Ｆ部１１１を介して記録メディア１１２に記録される。すなわち、ＣＣＤＲＡＷ画像は、ガンマ補正、ホワイトバランス調整、同時化等の信号処理が行われていない画像であり、カラーフィルタ１０３の配列パターンに対応して画素毎に異なる色情報を１つだけ保持しているモザイク状の画像である。もちろん圧縮処理も行われていないので、大きなファイルサイズを有する。なお、ＣＣＤＲＡＷ画像を記録メディア１１２に記録する際においては、可逆的な圧縮を行って記録してもよいし、非圧縮のデータを記録してもよい。

　ＣＰＵ１１４は、所定のプログラムに従って本撮像装置１０を統括制御する制御部であり、操作パネル１１３からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ１１５にはＣＰＵ１１４が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ１１６はＣＰＵ１１４の作業用領域として利用される。

　操作パネル１１３は、撮像装置１０に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目等所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等各種の操作手段を含む。

　ＣＰＵ１１４は、操作パネル１１３から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モード等）に従い、撮像素子１０４等の撮像部１２を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア１１２の読み書き制御等を行う。

　例えば、ＣＰＵ１１４は、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ１１４は必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管等の閃光発光管（発光部）の発光を制御する。

　前処理部１０６は、ＡＥ制御及びＡＦ制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算等を行い、その演算結果をＣＰＵ１１４に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ１１４は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１０１を合焦位置に移動させるとともに、絞りや電子シャッタを制御して、露出制御を行う。こうして取り込まれた画像データは、記録モードに従って記録メディア１１２に記録される。なお、１１７は表示処理部、１１８はモニタＩ／Ｆ部である。

　次に、上記のように構成された撮像装置１０によって記録されたＣＣＤＲＡＷ画像を取り扱う画像処理装置及びその画像処理方法について説明する。撮像装置１０によって記録されたＣＣＤＲＡＷ画像は、専用の画像処理装置又はパソコン等によって再現（現像）処理される。あるいは、図１中の前処理部１０６及び画像信号処理部１０９で再現（現像）処理を実施することも可能である。

　図３は、ＣＣＤＲＡＷ画像から縮小画像を生成する画像処理の手順の概略を示す図である。以下、本画像処理を図１中の前処理部１０６及び画像信号処理部１０９で実施する場合を説明する。

　図３に示すように、単板式の原画像（１面）であるＣＣＤＲＡＷ画像３０１を縮小リサイズする処理を、ＲＡＷデータ水平方向リサイズ処理３０２とＲＡＷデータ垂直方向リサイズ処理３０４との２ステップの処理として行う。ＣＣＤＲＡＷ画像３０１は水平方向リサイズ処理３０２で水平方向がリサイズされたＣＣＤＲＡＷリサイズ画像３０３となり、垂直方向リサイズ処理３０４で更に垂直方向がリサイズされたＣＣＤＲＡＷリサイズ画像３０５となる。

　上記２ステップのリサイズ処理３０２，３０４を実施するに際しては２つの形態がある。その概略を図４及び図５にそれぞれ示す。

　図４においては、２ステップのリサイズ処理３０２，３０４のバッファとしてフレームメモリ４００を用いる。水平方向リサイズ処理３０２の後のＣＣＤＲＡＷリサイズ画像３０３を一旦フレームメモリ４００に全て書き込み、当該ＣＣＤＲＡＷリサイズ画像３０３を読み出す際に縦方向に読み出して垂直方向リサイズ処理３０４を行い、最終のＣＣＤＲＡＷリサイズ画像３０５を得る。このとき垂直方向リサイズ処理３０４は、水平方向リサイズ処理３０２と同一の処理である。

　図５においては、２ステップのリサイズ処理３０２，３０４のバッファとして複数ラインからなるラインメモリ５００を用いる。水平方向リサイズ処理３０２を実施しながらその出力をラインメモリ５００に書き込み、同時にＣＣＤＲＡＷリサイズ画像３０３のうちまとまった複数ライン分のＣＣＤＲＡＷリサイズデータをラインメモリ５００から読み出し、複数ライン上の水平方向の同一位置のデータに対して縦方向に垂直方向リサイズ処理３０４を行い、最終のＣＣＤＲＡＷリサイズ画像３０５を得る。このとき、垂直方向リサイズ処理３０４は水平方向リサイズ処理３０２とは別の処理となり、複数のライン単位の動作出力をライン単位で利用するか否かの判定処理のもと出力する。

　図６を用いて、水平方向リサイズ処理３０２の詳細を説明する。水平方向リサイズ処理３０２は１次元のパイプライン処理であり、ＣＣＤＲＡＷ画像６０１からライン単位のフィルタ処理により輝度データを抽出する色キャリア除去フィルタ処理６０２と、色キャリアデータを抽出する色キャリア抽出フィルタ処理６０６と、変調された色キャリアデータに対して色反転復調して連続した色差データを出力する色差データ復調処理６０７と、連続した色差データに対してノイズ除去を行うメディアンノイズ除去処理６０８と、抽出された前記輝度データと前記色差データとにそれぞれ特性の異なるフィルタ処理を実施する輝度用帯域制限フィルタ処理６０３及び色差用帯域制限フィルタ処理６０９と、輝度データと色差データとに対して独立して縮小リサイズを行う輝度信号水平方向縮小リサイズ処理６０４及び色差信号水平方向縮小リサイズ処理６１０と、リサイズ後の色差データを色キャリアデータに再変換してゲインレベル調整を行う色キャリア変調処理６１１と、リサイズ後の輝度データのゲインレベル調整処理６０５と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理６１２とを含む。

　図６に詳細を示した水平方向リサイズ処理機能を用いてベイヤー配列の画像を処理する場合を説明する。この処理プロセスは、例えば、ＣＣＤＲＡＷ処理結果のプレビュー表示をする場合や、縮小ＲＡＷ画像撮影をする場合や、撮像素子１０４の画素数よりも小さい規格サイズで記録される動画撮影をするために用いられる。

　図６に示すように、原画像であるＣＣＤＲＡＷ画像６０１はベイヤー配列の画素配置を反映したモザイク状の画像であり、通常撮像素子１０４からライン単位で読み出される。この原画像のライン単位の入力データは、ＲとＧの情報が画素毎に繰り返されるＲＧラインと、ＢとＧの情報が画素毎に繰り返されるＢＧラインとの２種類となる。これら２種類のラインデータは２画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理６０２を経て、ＲＧラインに関してはＲとＧの平均値となる輝度データ｛α（Ｒ＋Ｇ）｝が出力され、ＢＧラインに関してはＢとＧの平均値となる輝度データ｛α（Ｂ＋Ｇ）｝が出力される。

　また、前記２種類のラインデータは２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理６０６を経て、ＲＧラインに関してはナイキスト周波数で変調されたＲ－Ｇ成分データが出力され、ＢＧラインに関してはナイキスト周波数で変調されたＢ－Ｇ成分データが出力される。前記ナイキスト周波数で変調されたＲ－Ｇ成分データ及びＢ－Ｇ成分データは１画素毎に符号反転する色差データ復調処理６０７により、連続したＲ－Ｇデータ、Ｂ－Ｇデータとして出力される。これらの連続したＲ－Ｇデータ及びＢ－Ｇデータに関して更にメディアンノイズ除去処理６０８を実施することで、撮像素子出力に含まれるランダムノイズ成分を除去する。

　抽出された前記２種類の輝度データと色差データとに対してそれぞれ同一比率の水平方向の縮小リサイズを実施するに際して縮小後の折り返しノイズを抑えるために、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理６０３と、色差用帯域制限フィルタ処理６０９とを実施する。この際、色差用帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定し、輝度用帯域制限の２分の１以下に設定することが望ましい。帯域制限された輝度データは、輝度信号水平方向縮小リサイズ処理６０４により縮小比率に合わせて線形補間間引きが行われる。一方、帯域制限された色差データは、色差信号水平方向縮小リサイズ処理６１０により縮小比率に合わせて線形補間間引きが行われる。

　水平方向にリサイズされた色差データ｛β（Ｒ－Ｇ）、β（Ｂ－Ｇ）｝は、２画素周期で変化するナイキスト周波数で変調するための等価処理として、１画素毎に符号を反転する色キャリア変調処理６１１を実施する。その結果、｛β（Ｒ－Ｇ）、－β（Ｒ－Ｇ）｝、｛β（Ｂ－Ｇ）、－β（Ｂ－Ｇ）｝となる。

　一方、リサイズされた輝度データは、ゲインレベル調整処理６０５を実施した後、リサイズされた色キャリアデータとの加算処理である色配列再現処理６１２における再合成により、ＲとＧの情報が画素毎に繰り返すリサイズされたＲＧライン、及びＢとＧの情報が画素毎に繰り返すリサイズされたＢＧラインとして出力される。

　ＲＧラインの再合成を数式で示す。まず、輝度データ｛α（Ｒ＋Ｇ）｝、色キャリアデータ｛β（Ｒ－Ｇ）、－β（Ｒ－Ｇ）｝にてα＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｒ＋Ｇ）｝、色キャリアデータ｛０．５（Ｒ－Ｇ）、－０．５（Ｒ－Ｇ）｝となる。画素毎に輝度データを加算していくと、０．５｛（Ｒ＋Ｇ）＋（Ｒ－Ｇ）｝，０．５｛（Ｒ＋Ｇ）－（Ｒ－Ｇ）｝，・・・が繰り返される。すなわち、Ｒ，Ｇ，Ｒ，Ｇ，・・・としてＲＧラインデータが再生する。

　ＢＧラインでも同様にして、輝度データ｛α（Ｂ＋Ｇ）｝、色キャリアデータ｛β（Ｂ－Ｇ）、－β（Ｂ－Ｇ）｝にてα＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｂ＋Ｇ）｝、色キャリアデータ｛０．５（Ｂ－Ｇ）、－０．５（Ｂ－Ｇ）｝となる。画素毎に輝度データを加算していくと、０．５｛（Ｂ＋Ｇ）＋（Ｂ－Ｇ）｝，０．５｛（Ｂ＋Ｇ）－（Ｂ－Ｇ）｝，・・・が繰り返される。すなわち、Ｂ，Ｇ，Ｂ，Ｇ，・・・としてＢＧラインデータが再生する。

　なお、輝度データと色差データとに対する係数をα、βとして加算処理前でゲイン調整して合成データのゲインが入力と同等となるよう処理したが、目的は輝度信号と色差信号との２種類の信号成分からＲＧＢの独立の１つの色成分を発生することにあるので、必ずしも演算前にゲイン調整する必要はなく、ＲＧＢの独立の色成分にした後でゲイン調整をしてもよい。

　また、メディアンノイズ除去処理６０８に関しては、連続したＲ－ＧデータとＢ－Ｇデータとに対して実施するとしているが、色キャリア抽出フィルタ処理６０６の前の１画素おきの同色画素に実施してもよい。

　また、図６に示した水平方向リサイズ処理機能を用いて拡大処理を実施する場合も、処理の流れは上記同様の処理となる。ただし、拡大処理時は入力データ数に対して出力データ数が多くなるため、リサイズ処理６０４，６１０の後段処理を高速に実施するか、連続的な入力データを一時的に停止するとともに、リサイズ処理６０４，６１０の前段処理も同期して停止することにより、拡大処理を実現する。

　また、ＲＧＢベイヤー配列での水平方向リサイズ処理機能を説明したが、ハニカム配列でも本発明を実施可能である。具体的にはハニカム配列においてライン単位のデータを抽出した場合、図２（ａ）のハニカム配列より、奇数ラインはＲとＢが周期的に繰り返し、偶数ラインは連続的なＧ信号となる。偶数ラインに関しては色の変調成分は存在しないが、本発明の方法にてＧ信号を輝度データと見立てて処理を実施することができる。また、変調成分の存在しないＧ信号のみの偶数ラインに関しては色キャリア変調処理６１１にて出力のゲインを０として色配列再現処理６１２における再合成により、ＲとＢの情報が画素毎に繰り返すリサイズされたＲＢラインと、Ｇの情報が連続的に並ぶリサイズされたＧラインとして出力される。

　図６に示した水平方向リサイズ処理機能は、図４において示した２ステップのリサイズ処理３０２，３０４を実施する際に使用できる。このとき垂直方向リサイズ処理３０４は、水平方向リサイズ処理３０２と同一の処理となる。

　次に、図５に示すように２ステップのリサイズ処理３０２，３０４のバッファとして複数ラインからなるラインメモリ５００を用いる場合の詳細を説明する。

　図７は、この場合のラインメモリの書き込み読み出し動作を示す。図８は、図７の次のタイミングにおける同ラインメモリの書き込み読み出し動作を示す。図７及び図８において７０１は、８ラインからなるラインメモリである。７０２はラインメモリ７０１に対してのデータ書き込みサイクルを示し、８ラインに対する書き込み制御として１ラインずつ順番にリング状に巡回させながら書き込んでいく。７０３はラインメモリ７０１に対してのデータ読み出しサイクルを示し、８ラインのうち７ラインのメモリデータをまとめて選択しながら、書き込み制御と同様、順番にリング状に巡回させながら読み出していく。

　図７及び図８の例では、使用するラインメモリ７０１の容量を最小限とするために、リング状の巡回書き込みに対する、７ライン同時巡回読み出しの先頭ラインの位置を書き込みラインより１ライン遅らせた位置としている。また、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることもできる。

　こうしてＣＣＤＲＡＷリサイズ画像３０３のうちまとまった複数ライン分のＣＣＤＲＡＷリサイズデータを図７及び図８に示すラインメモリ７０１からまとめて読み出すことにより、複数ライン上の水平方向の同一位置のデータ７０４に対して縦方向に垂直方向リサイズ処理３０４を行い、ＣＣＤＲＡＷリサイズ画像３０５を得る。このとき、垂直方向リサイズ処理３０４は水平方向リサイズ処理３０２とは異なる処理となり、複数のライン単位の任意の処理出力をライン単位で利用するか否かの判定処理のもと出力するか否かで入力ライン数に対する出力ライン数を変更して垂直方向リサイズ処理３０４を実現する。

　図９は、図７及び図８のラインメモリ７０１を利用する場合の図３中の垂直方向リサイズ処理３０４の詳細手順を示している。この垂直方向リサイズ処理３０４は、垂直方向に実施する基本処理を１ライン分のパイプライン処理として実施し、入力ライン数に対して有効ラインとして後段で使用するかどうかの判断処理をもって出力ライン数を制御する。

　図９の垂直方向リサイズ処理３０４も図６の水平方向リサイズ処理３０２と同様に、輝度信号処理と色差信号処理との２系統処理として実施する。ただし、図９では、入力データとして７ライン分のＣＣＤＲＡＷ画像に対して垂直方向に同一水平位置となる７画素を１つの処理単位９０１として処理を実施する。

　図９の垂直方向リサイズ処理３０４は、前記７ライン分のＣＣＤＲＡＷ画像から垂直方向の輝度データを抽出する色キャリア除去フィルタ処理９０２と、垂直方向の色キャリアデータを抽出する色キャリア抽出フィルタ処理９０５と、垂直方向に変調された色キャリアデータに対して色反転復調して垂直方向に連続した色差データを出力する色差データ復調処理９０６と、垂直方向に連続した色差データに対してノイズ除去を行うメディアンノイズ除去処理９０７と、抽出された前記輝度データと前記色差データとに対してそれぞれ垂直方向に特性の異なるフィルタ処理を実施する輝度用帯域制限フィルタ処理９０３及び色差用帯域制限フィルタ処理９０８と、輝度データと色差データとに対して独立して縮小リサイズを行う輝度信号垂直方向縮小リサイズ処理９０４及び色差信号垂直方向縮小リサイズ処理９０９と、リサイズ後の色差データを色キャリアデータに再変換してゲインレベル調整を行う色キャリア変調処理９１０と、リサイズ後の輝度データのゲインレベル調整処理９１２と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理９１１とを含む。

　図９に詳細を示した垂直方向リサイズ処理機能を用いてベイヤー配列の画像を縮小リサイズ処理する場合を説明する。この処理プロセスは、例えば、ＣＣＤＲＡＷ処理結果のプレビュー表示をする場合や、縮小ＲＡＷ画像撮影する場合や、撮像素子１０４の画素数よりも小さい規格サイズで記録される動画撮影をするために用いられる。

　図９の処理単位９０１に示すように、水平リサイズ処理後のＣＣＤＲＡＷ画像はベイヤー配列の画素配置を反映したモザイク状の配列を保持しており、図７及び図８に示すようにライン単位でラインメモリ７０１に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。本説明では８ラインからなるラインメモリ７０１を利用し、７ラインの出力がまとめて出力される。

　水平リサイズ処理後の７ライン単位の入力データ、すなわち図９の処理単位９０１は、ライン上の水平方向の同一位置の垂直方向注目データに対して垂直方向にＲとＧの情報が画素毎に繰り返されるＲＧラインと、垂直方向にＢとＧの情報が画素毎に繰り返されるＢＧラインとの２種類となる。

　これら２種類の垂直方向のラインデータは垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、前記色キャリアを除去する色キャリア除去フィルタ処理９０２のＹ１～Ｙ５で処理をされ、輝度データが生成される。本実施形態では、Ｙ１～Ｙ５のフィルタにてそれぞれ３画素のデータを用いて、５種類の輝度データを出力している。垂直方向のＲＧラインに関してはＲとＧの平均値となる輝度データが出力され、次の垂直方向のＢＧラインに関してはＢとＧの平均値となる輝度データが出力される。

　また、前記２種類の垂直方向のラインデータは垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理９０５の色差１～色差６で処理され、ＲＧラインに関してはナイキスト周波数で変調されたＲ－Ｇ成分データが出力され、ＢＧラインに関してはナイキスト周波数で変調されたＢ－Ｇ成分データが出力される。

　垂直方向にナイキスト周波数で変調されたそれぞれ６つのＲ－Ｇ成分データ及びＢ－Ｇ成分データは、垂直方向に１画素毎に符号反転する色差データ復調処理９０６により、垂直方向に連続したＲ－Ｇデータ、Ｂ－Ｇデータとして出力される。ここでは輝度データと垂直方向の重心をそろえてライン数をＹ１～Ｙ５と同一とするため、２ラインの平均値出力をＣ１～Ｃ５の出力としている。

　これらの垂直方向に連続した５つのＲ－Ｇデータ及びＢ－Ｇデータに関して更にメディアンノイズ除去処理９０７を実施することで、撮像素子出力に含まれるランダムノイズ成分を除去する。

　垂直方向に抽出された前記２種類の輝度データと色差データとに対してそれぞれ同一比率の垂直方向の縮小リサイズを実施するに際して縮小後の折り返しノイズを抑えるために、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理９０３と、色差用帯域制限フィルタ処理９０８とを実施する。この際、色差用帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定し、輝度用帯域制限の２分の１以下に設定することが望ましい。垂直方向に帯域制限された輝度データは、輝度信号垂直方向縮小リサイズ処理９０４により、縮小比率に合わせてＣＣＤＲＡＷリサイズ画像３０３の７ライン入力の垂直方向での線形補間が行われ、ライン単位で縮小比率に合わせてライン間引き出力される。一方、垂直方向に帯域制限された色差データは、色差信号垂直方向縮小リサイズ処理９０９により、縮小比率に合わせてＣＣＤＲＡＷリサイズ画像３０３の７ライン入力の垂直方向での輝度データと同様の線形補間が行われ、ライン単位で縮小比率に合わせてライン間引き出力される。

　垂直方向のライン間引きでリサイズされた色差データは、垂直方向の２画素周期で変化するナイキスト周波数で変調するための等価処理として、ライン出力毎に符号を反転する色キャリア変調処理９１０を実施する。一方、垂直方向のライン間引きでリサイズされた輝度データは、ゲインレベル調整処理９１２を実施した後、垂直方向のライン間引きでリサイズされた色キャリアデータとの加算処理である色配列再現処理９１１における再合成により、垂直方向にＲとＧの情報が画素毎に繰り返す水平垂直ともにリサイズされたＲＧライン、及び垂直方向にＢとＧの情報が画素毎に繰り返す水平垂直ともにリサイズされたＢＧラインとして出力される。

　なお、メディアンノイズ除去処理９０７に関しては、連続したＲ－ＧデータとＢ－Ｇデータとに対して実施するとしているが、色キャリア抽出フィルタ処理９０５の前の１画素おきの同色画素に実施してもよい。

　また、本実施形態では縮小リサイズを説明しているが、図９に示した垂直方向リサイズ処理機能を用いて拡大処理を実施する場合も、処理の流れは上記同様の処理となる。ただし、拡大処理時は入力データのライン数に対して出力データのライン数が多くなるため、リサイズ処理９０４，９０９の後段処理を高速に実施するか、連続的な入力データを一時的に停止するとともに、リサイズ処理９０４，９０９の前段処理も同期して停止することにより、拡大処理を実現する。

　以上のようにして得られたＣＣＤＲＡＷリサイズ画像３０５を図１の画像信号処理部１０９に入力して信号処理を行い、最終的な画像、例えばプレビュー表示画像や、撮像素子１０４の画素数よりも小さい規格サイズで記録される動画撮影画像に変換する。

　次に、図６及び図９中の帯域制限フィルタ処理６０３，６０９；９０３，９０８の詳細について説明する。上述のように、ＣＣＤＲＡＷ画像３０１を縮小リサイズして所定の処理を行うことを考えるとき、縮小率に従って帯域制限フィルタを設計することが重要となる。この帯域制限フィルタの帯域特性は、輝度データの場合は縮小率×ｆｓ（ただし、ｆｓはサンプリング周波数）とすればよいが、色差データに関しては輝度データの１／２となるように縮小率×ｆｓ／２とすることが望ましい。これに反し画一的にフィルタ処理を施すと、元々サンプリング周波数の高い輝度データにとっては解像感の点で劣化が生じ、元々サンプリング周波数の低い色差データにとっては偽信号の点で劣化が生じてしまう。

　そこで、本発明の実施形態では、ＣＣＤＲＡＷ画像３０１について輝度データと色差データとにそれぞれ独立に設定した帯域制限フィルタ処理６０３，６０９；９０３，９０８を施す構成とし、各信号に施すべき帯域制限フィルタの帯域特性は、輝度データは縮小率×ｆｓ、色差データは縮小率×ｆｓ／２とするとともに、その２次元的特性を元の輝度データと色差データとの再現帯域に相似させる。

　図１０は、ベイヤー配列における各色の２次元的再現帯域を示す。これは、ベイヤー配列の場合について、サンプリング定理に基づく各色の再現帯域を空間周波数座標（規格化していない絶対的な空間周波数の座標系）上に表した図である。Ｒ，Ｂ信号の２次元的再現帯域は矩形となり、Ｇ信号の２次元再現帯域は菱形になる。

　なお、図１０から明らかなように、ベイヤー配列におけるＲ，Ｂ信号の再現帯域と、Ｇ信号の再現帯域とは、互いに４５度回転させた関係になっている。大きさの違いは、Ｇ信号のサンプリング点の多さによるものである。

　以上のような帯域制限フィルタ処理６０３，６０９；９０３，９０８を採用することにより、各色のサンプリング周波数を犠牲にすることなく、画像再現後の偽色発生を最小限に抑制することが可能になる。

　図１１（ａ）及び図１１（ｂ）は、実際のベイヤー配列のＣＣＤＲＡＷ画像としてＣＺＰ（サーキュラーゾーンプレート）画像に対して水平方向に１／２のリサイズ処理を実施した場合の縮小ＲＡＷデータ結果を示す。図１１（ａ）の処理画像は、ＣＣＤＲＡＷ画像にて空間配置されたベイヤー配列のＲＧＢデータをＲ／Ｇ／Ｂの３色に色分離した後に縮小リサイズを実施した結果である。図１１（ｂ）の処理画像は、本発明の輝度データと色差データとの２系統の縮小リサイズ処理を実施した結果である。

　図１１（ａ）と図１１（ｂ）との比較により、本発明の実施形態によれば、大サイズのＣＣＤＲＡＷ画像から同じ再現帯域の特徴を有する縮小ＲＡＷ画像を生成することができ、最終画像における偽色の発生を防止できるとともに、輝度信号の最大解像感を保持できることが判る。

　次に、本発明のＣＣＤＲＡＷ画像のリサイズ処理を利用した画像のゆがみ補正について説明する。

　図１２（ａ）は広角レンズで発生する樽型特性を示すＣＣＤＲＡＷ画像の図である。図１２（ｂ）は当該ＣＣＤＲＡＷ画像に対してライン単位のリサイズ処理を水平方向及び垂直方向に実施した結果の図である。

　樽型特性をもって撮像された原画像のデジタル画像信号からライン単位でリサイズ処理を実施する際、ライン単位でリサイズの比率を変更することによりゆがみを補正することができる。ライン単位の処理は、上記実施形態と同様に、原画像からライン単位のフィルタ処理により輝度データと色キャリアデータとを抽出するフィルタ処理工程と、前記色キャリアデータに対してノイズ除去を行うノイズ除去工程と、ノイズ除去された色キャリアデータを色差データに変換する色差データ復調工程と、抽出された輝度データと前記色差データとにそれぞれ特性の異なる帯域制限フィルタ処理を実施する帯域制限フィルタ処理工程と、ライン単位の輝度データと色差データとに対してライン位置に応じてリサイズ比率を連続的に変更してリサイズを行う連続任意比率可変リサイズ処理工程と、リサイズ後のライン単位の色差データを色キャリアデータに再変換する色キャリア変調工程と、リサイズ後のライン単位の輝度データと変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理工程とを含む。

　処理に際してはライン位置に応じてリサイズ比率を連続的に変更する必要があり、リサイズ比率は光学レンズ１０１の特性に依存するため、光学レンズ１０１の特性データを図１のＲＯＭ１１５に予め登録する等しておき、撮像素子１０４の画素数に合わせてＣＰＵ１１４により、図３のＲＡＷデータ水平方向リサイズ処理３０２及びＲＡＷデータ垂直方向リサイズ処理３０４に補正データを設定して、２ステップのリサイズ処理３０２，３０４を実施する。

　また、光学レンズ１０１の特性による現象として倍率色収差とよばれる現象がある。ＣＣＤＲＡＷ画像に対してリサイズ処理を実施する際、画像処理のライン毎に抽出される色差データに対してライン位置に応じてリサイズ比率を連続的に変更してリサイズを行う連続任意比率可変リサイズ処理工程において、輝度データに対する色差データの任意比率を色収差に伴う輝度データとのずれを補正する値に設定するとともに、リサイズ後のライン輝度データとリサイズ処理後にサイズが異なるライン色差データとの中心位置が一致するようラインデータの読み出しを実施することにより補正できる。

　なお、本発明を実施する手段を専用の画像処理装置とする場合、その形態として半導体集積回路の内部に実装して実現することができる。半導体集積回路に実装する場合は、代表的な３種類の実装形態とその複合形態とがある。図１３、図１４及び図１５にその概略図を示す。

　図１３中の１３１は、本発明の画像処理方法に基づいたアーキテクチャで実現されたデジタル回路、すなわちＲＡＷリサイズ処理部１２０を実装したデジタル信号処理ＬＳＩであって、当該デジタル信号処理ＬＳＩ１３１の入力部に前記デジタル回路を実装した半導体集積回路である。

　図１４中の１４１は、本発明の画像処理方法に基づいたアーキテクチャで実現されたデジタル回路、すなわちＲＡＷリサイズ処理部１２０を実装したＭＯＳイメージセンサであって、ＣＭＯＳ型に代表される撮像素子１０４においては高速読み出しを実現する手段として、当該撮像素子１０４内にノイズ処理部とＡ／Ｄ変換器とを実装し、直接デジタル信号として出力する形態があり、Ａ／Ｄ変換器を内蔵するデジタル出力可能な当該ＭＯＳイメージセンサ１４１の出力部に前記デジタル回路を実装した半導体集積回路である。

　図１５中の１５１は、本発明の画像処理方法に基づいたアーキテクチャで実現されたデジタル回路、すなわちＲＡＷリサイズ処理部１２０を実装したアナログフロントエンドＬＳＩであって、Ａ／Ｄ変換器を内蔵してデジタル出力可能な当該アナログフロントエンドＬＳＩ１５１の出力部に前記デジタル回路を実装した半導体集積回路である。

　また、本発明を実施する手段は専用の画像処理装置（画像再生装置や画像加工装置、半導体集積回路）に限らず、パソコンであってもよい。また、画像処理はその処理の一部又は全部をハードウェア（信号処理回路）に限らず、ソフトウェアで実現してもよい。

　また、本発明の画像処理プログラムは、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、本発明の画像処理プログラムは、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。

産業上の利用の可能性

　以上説明してきたとおり、本発明に係る撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路は、原画像をリサイズする際に偽輝度信号、偽色を低減しながらも解像感を保持することができるので、特に単板カラー撮像素子から得られる原画像の縮小処理、拡大処理や、ゆがみ補正に好適な画像データサイズ変換処理装置、電子スチルカメラ、画像データサイズ変換処理プログラム、半導体集積回路等として有用である。

Claims (20)

1. 　色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号を取り扱う撮像装置であって、
   　前記原画像からライン単位のフィルタ処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、
   　前記色キャリアデータに対してノイズ除去を行うノイズ除去部と、
   　ノイズ除去された色キャリアデータを色差データに変換する色差データ復調部と、
   　抽出された輝度データと前記色差データとにそれぞれ特性の異なる帯域制限フィルタ処理を実施する帯域制限フィルタ処理部と、
   　輝度データと色差データとに対して独立して縮小リサイズ又は拡大リサイズを行うリサイズ処理部と、
   　リサイズ後の色差データを色キャリアデータに再変換する色キャリア変調部と、
   　リサイズ後の輝度データと変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理部とを含むことを特徴とする撮像装置。
2. 　請求項１記載の撮像装置において、
   　前記原画像に対してのライン単位の１次元処理により片方向のみリサイズ処理された複数色配列データをもとにして再度のリサイズ処理を実施することにより、２次元的にリサイズ処理された複数色配列データを生成する機能を更に有することを特徴とする撮像装置。
3. 　請求項１記載の撮像装置において、
   　前記原画像に対してのライン単位の１次元処理により片方向のみリサイズ処理された複数色配列データを一旦記憶装置に書き込み、前記記憶装置から前記リサイズ処理された複数色配列データを読み出すときに書き込み時のライン方向と直交する方向にライン単位で読み出して再度のリサイズ処理を実施することにより、２次元的にリサイズ処理された複数色配列データを生成する機能を更に有することを特徴とする撮像装置。
4. 　請求項１記載の撮像装置において、
   　前記原画像に対してのライン単位の１次元処理により片方向のみリサイズ処理された複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら同時に複数ラインのデータを読み出し、当該読み出した複数ラインデータの水平方向の同一位置の垂直方向注目データ群から輝度データと色キャリアデータとを抽出して再度の処理を実施し、かつ入力ライン数に対する出力ラインを増減する処理を実施することにより、２次元的にリサイズ処理された複数色配列データを生成する機能を更に有することを特徴とする撮像装置。
5. 　請求項１記載の撮像装置において、
   　前記リサイズ処理部は、ライン単位の輝度データと色差データとに対してライン位置に応じてリサイズ比率を連続的に変更してリサイズを行う機能を有することを特徴とする撮像装置。
6. 　請求項５記載の撮像装置において、
   　前記リサイズ処理部は、輝度データに対する色差データの任意比率を違う値に設定するとともに、リサイズ後のライン輝度データとサイズが異なるライン色差データとの中心位置が一致するようにラインデータの読み出し出力調整を行う機能を有することを特徴とする撮像装置。
7. 　請求項１記載の撮像装置において、
   　前記原画像は、原色フィルタ又は補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする撮像装置。
8. 　請求項１記載の撮像装置において、
   　前記原画像は、原色フィルタ又は補色フィルタによりライン単位で周期性をもって色配列された複数色の画素と、他のラインにて周期性を持たない単一色の画素とを有する単板カラー撮像素子を用いて取得された画像であることを特徴とする撮像装置。
9. 　色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号を取り扱う画像処理方法であって、
   　前記原画像からライン単位のフィルタ処理により輝度データと色キャリアデータとを抽出するフィルタ処理工程と、
   　前記色キャリアデータに対してノイズ除去を行うノイズ除去工程と、
   　ノイズ除去された色キャリアデータを色差データに変換する色差データ復調工程と、
   　抽出された輝度データと前記色差データとにそれぞれ特性の異なる帯域制限フィルタ処理を実施する帯域制限フィルタ処理工程と、
   　輝度データと色差データとに対して独立して縮小リサイズ又は拡大リサイズを行うリサイズ処理工程と、
   　リサイズ後の色差データを色キャリアデータに再変換する色キャリア変調工程と、
   　リサイズ後の輝度データと変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理工程とを含むことを特徴とする画像処理方法。
10. 　請求項９記載の画像処理方法において、
    　前記原画像に対してのライン単位の１次元処理により片方向のみリサイズ処理された複数色配列データをもとにして再度のリサイズ処理を実施することにより、２次元的にリサイズ処理された複数色配列データを生成する工程を更に有することを特徴とする画像処理方法。
11. 　請求項９記載の画像処理方法において、
    　前記原画像に対してのライン単位の１次元処理により片方向のみリサイズ処理された複数色配列データを一旦記憶装置に書き込み、前記記憶装置から前記リサイズ処理された複数色配列データを読み出すときに書き込み時のライン方向と直交する方向にライン単位で読み出して再度のリサイズ処理を実施することにより、２次元的にリサイズ処理された複数色配列データを生成する工程を更に有することを特徴とする画像処理方法。
12. 　請求項９記載の画像処理方法において、
    　前記原画像に対してのライン単位の１次元処理により片方向のみリサイズ処理された複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら同時に複数ラインのデータを読み出し、当該読み出した複数ラインデータの水平方向の同一位置の垂直方向注目データ群から輝度データと色キャリアデータとを抽出して再度の処理を実施し、かつ入力ライン数に対する出力ラインを増減する処理を実施することにより、２次元的にリサイズ処理された複数色配列データを生成する工程を更に有することを特徴とする画像処理方法。
13. 　請求項９記載の画像処理方法において、
    　前記リサイズ処理工程は、ライン単位の輝度データと色差データとに対してライン位置に応じてリサイズ比率を連続的に変更してリサイズを行う工程を有することを特徴とする画像処理方法。
14. 　請求項１３記載の画像処理方法において、
    　前記リサイズ処理工程は、輝度データに対する色差データの任意比率を違う値に設定するとともに、リサイズ後のライン輝度データとサイズが異なるライン色差データとの中心位置が一致するようにラインデータの読み出し出力調整を行う工程を有することを特徴とする画像処理方法。
15. 　請求項９記載の画像処理方法において、
    　前記原画像は、原色フィルタ又は補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする画像処理方法。
16. 　請求項９記載の画像処理方法において、
    　前記原画像は、原色フィルタ又は補色フィルタによりライン単位で周期性をもって色配列された複数色の画素と、他のラインにて周期性を持たない単一色の画素とを有する単板カラー撮像素子を用いて取得された画像であることを特徴とする画像処理方法。
17. 　色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号を取り扱う画像処理プログラムであって、
    　前記原画像からライン単位のフィルタ処理により輝度データと色キャリアデータとを抽出するフィルタ処理機能と、
    　前記色キャリアデータに対してノイズ除去を行うノイズ除去機能と、
    　ノイズ除去された色キャリアデータを色差データに変換する色差データ復調機能と、
    　抽出された輝度データと前記色差データとにそれぞれ特性の異なる帯域制限フィルタ処理を実施する帯域制限フィルタ処理機能と、
    　輝度データと色差データとに対して独立して縮小リサイズ又は拡大リサイズを行うリサイズ処理機能と、
    　リサイズ後の色差データを色キャリアデータに再変換する色キャリア変調機能と、
    　リサイズ後の輝度データと変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理機能とをコンピュータに実現させることを特徴とする画像処理プログラム。
18. 　請求項９記載の画像処理方法に基づいたアーキテクチャで実現されたデジタル回路を実装したデジタル信号処理ＬＳＩであって、当該デジタル信号処理ＬＳＩの入力部に前記デジタル回路を実装したことを特徴とする半導体集積回路。
19. 　請求項９記載の画像処理方法に基づいたアーキテクチャで実現されたデジタル回路を実装したＭＯＳイメージセンサであって、Ａ／Ｄ変換器を内蔵するデジタル出力可能な前記ＭＯＳイメージセンサの出力部に前記デジタル回路を実装したことを特徴とする半導体集積回路。
20. 　請求項９記載の画像処理方法に基づいたアーキテクチャで実現されたデジタル回路を実装したアナログフロントエンドＬＳＩであって、Ａ／Ｄ変換器を内蔵してデジタル出力可能な前記アナログフロントエンドＬＳＩの出力部に前記デジタル回路を実装したことを特徴とする半導体集積回路。

Images