JP4249152B2

JP4249152B2 - 画像処理回路

Info

Publication number: JP4249152B2
Application number: JP2005135138A
Authority: JP
Inventors: 元佐々木
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2005-05-06
Filing date: 2005-05-06
Publication date: 2009-04-02
Anticipated expiration: 2020-11-06
Also published as: JP2005245032A

Description

本発明は、デジタルスチルカメラなどのデジタル撮影装置で撮像した画像データの画像処理回路に関する。

図２６は、一般的なデジタルスチルカメラ１００の構成を示す概略図である。図示するように、搭載されたＣＣＤセンサやＣＭＯＳセンサなどの撮像素子１０５で撮像した原画像信号はデジタル画像信号にＡ／Ｄ変換された後に画像処理部１０６に取り込まれ、画素補間処理、色空間変換処理および輪郭強調処理などの種々の画像処理を施される。画像処理を施された画像データは液晶モニタ１０９などのファインダーに表示される。一般に、撮像素子１０５は、全画素を構成する奇数ラインのみからなる奇数フィールドと偶数ラインのみからなる偶数フィールドとから画像信号を時間的に異なるタイミングで読出すインターレース方式と、画像信号を各ラインから順次読出すプログレッシブ方式との何れかで駆動される。尚、図２６において、符号１０１は光学レンズ、１０２は色補正フィルタ、１０３は光学ＬＰＦ（ローパスフィルタ）、１０４は色フィルタアレイ、１０７は撮像素子１０５などを駆動制御する駆動部、１１１は外部機器と接続する外部インターフェースを示している。

このようなデジタルスチルカメラ１００の動作は次の通りである。最初、液晶モニタ１０９には、撮像素子１０５の全画素のうち所定の複数ラインを間引きして解像度を若干落とした画像信号が上記画像処理部１０６で画像処理を受けた後にファインダーを通して撮影者に対してビデオ表示される（ファインダー動作）。

撮影者は液晶モニタ１０９で被写体画像を確認しつつ撮影ボタンを押すと、撮像素子１０５の全ラインからインターレース方式あるいはプログレッシブ方式で画素データが読み出される（全画素読出し動作）。その画素データはＡ／Ｄ変換され画像処理部１０６で画像処理された後、ＪＰＥＧ圧縮などを施された後に内蔵メモリ１０８やメモリカード１１０などの記憶媒体に格納される。このような全画素読出し動作を図２７を参照して詳説すると、インターレース方式で駆動される撮像素子１０５から最初に読み出される第１フィールドの画素データ（ＣＣＤデータ）と次に読み出される第２フィールドの画素データとはそれぞれＡ／Ｄ変換された後に、一旦内蔵メモリ１０８に設けた原画像データバッファ１０８ａに蓄積される（ステップ１００）。次にハードウェアで構成されるリアルタイム・プロセッシング・ユニット（以下、ＲＰＵと呼ぶ。）１２０は、原画像データバッファ１０８ａに格納した第１フィールドおよび第２フィールドの画素データを順次読み出し、画素補間処理、色空間変換処理および輪郭強調処理などの画像処理を実時間処理にて実行し、その処理データを処理データバッファ１０８ｂに出力し蓄積させる（ステップ１０１）。次に、ＣＰＵ（中央制御部）１２１は処理データバッファ１０８ｂから処理データを読出し、一時記憶データバッファ１０８ｃを用いてＪＰＥＧ（Joint Photographic Experts Group）圧縮などをソフトウェア処理にて施した後に上記メモリカードなどの記憶媒体１２２に格納する（ステップ１０２）。

尚、撮像素子１０５がプログレッシブ方式で駆動される場合は、ＣＣＤデータを原画像データバッファ１０８ａに一旦記憶すること無く、ＲＰＵ１２０に直接出力して上記ステップ１０１〜１０２の処理を実行することができる。

しかしながら、従来、撮像素子１０５の駆動クロックの周波数はＲＰＵ１２０の駆動クロック周波数の最大値を超えない範囲で一定値に低く抑えられているため、ファインダー表示のフレームレートが小さいという問題があった。すなわち、上記ファインダー動作時には撮像素子１０５から間引きされた低解像度のＣＣＤデータが出力されるからＲＰＵ１２０の負荷は小さく、上記全画素読出し時には撮像素子１０５の全ラインから高解像度のＣＣＤデータが出力されるからＲＰＵ１２０の負荷はおよそ２倍以上大きくなる。しかし、撮像素子１０５の駆動クロック周波数は、全画素読出し動作時およびファインダー動作時の両期間を通じてＲＰＵ１２０に許容される最大駆動クロック周波数を超えない範囲で一定値に抑えられているため、ファインダー表示のフレームレートが小さくなり、ファインダーに表示されるビデオ画像の画質が低下してしまう。

また全画素読出し動作時においては、撮像素子からの画素データの転送速度が画素転送クロックによって規定される。そして画素の補間処理を行うと、画素転送クロックの一周期ごとに、２画素分の画素データが得られる。しかし画素転送クロックをそのままガンマ補正処理や色空間変換処理、輪郭強調処理などの後処理に採用すると、画素転送クロックの１周期の間で２画素に対してこれらの後処理をしなければならないという問題がある。

以上の問題に鑑みて本発明が解決しようとするところは、実時間での画像処理を確実に実行して画像処理の信頼性を高め得る画像処理回路を提供する点にある。

上記課題を解決するため、請求項１に係る発明は、色フィルタアレイを有する撮像センサと、前記撮像センサから読出した画素データに対して実時間の画素補間処理であって、複数の画素の画素データを用いて、前記複数の画素に囲まれた画素における欠落した色成分の画素データの画素補間を実行し前記画素データの転送速度を規定する画素転送クロックの１周期毎に複数ラインの補間画素データを出力する画素補間処理部と、前記画素補間処理部から出力される複数ラインの補間画素データを格納するバッファ部と、前記画素補間処理部から出力される複数ラインの補間画素データをライン順次に前記バッファ部に転送するようにチャンネル制御するＤＭＡ（ダイレクト・メモリ・アクセス）コントローラと、前記バッファ部に格納された前記補間画素データを読み出して、さらに画像処理を実行する後処理部と、を備えることを特徴とするものである。

請求項１に係る画像処理回路によれば、ＤＭＡコントローラのチャンネル制御により上記画素補間処理部にライン順次に画素データが格納されるため、上記後処理部はその画素データを読み出してライン順次に画像処理を実行することが可能となる。

図１は、本発明の実施の形態に係るデジタルスチルカメラ１の全体構成を示す概略図である。このデジタルスチルカメラ１は、ＡＦ（オートフォーカス）機能や自動絞り機能などを備えた光学機構１１を備えており、この光学機構１１を通じて被写体画像がＣＣＤ（電荷結合素子）センサ１２で撮像される。このとき必要に応じて撮影タイミングに同期され光量を調節された光をストロボ３０から発して被写体に照射してもよい。撮像した被写体の原画像データはアナログ信号処理回路１３に取り込まれデジタル画像信号にＡ／Ｄ変換される。そのデジタル画像信号はリアルタイム・プロセッシング・ユニット（以下、ＲＰＵと略す。）１４において画素補間処理、色空間変換処理、輪郭補正処理およびフィルタリングなどの所定の画像処理を実時間処理（リアルタイム処理）にて施される。画像処理を受けた画像信号はファインダーとして機能するＬＣＤ２３で表示されたり、またはＣＰＵ１７にてＪＰＥＧ圧縮処理などのソフトウェア処理を受けた後に、メインバス１０を通してメモリカード２７に転送して格納されたり、外部インターフェース（Ｉ／Ｆ）２８を通じてパーソナルコンピュータなどの外部機器に出力される。尚、ＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）、ＲＤＲＡＭ（Rambus DRAM）などからなる主メモリ２６には、後に詳述するようにＲＰＵ１４で処理したデータを一時的に格納するバッファ領域や、ＣＰＵ１７でソフトウェア処理を実行する際に一時的に利用されるバッファ領域などが設けられている。

尚、図１において、符号１５はＣＣＤセンサ１２を駆動するＣＣＤ駆動回路、１６はＲＰＵ１４およびＣＣＤ駆動回路１５などの動作タイミングを規律するタイミングジェネレータ、１８はＰＬＬ発振回路、１９はＣＰＵ１７の補助演算装置（コプロセッサ）を示し、また符号２０はディスプレイモジュール、２１はデジタルエンコーダ２１、２２はＬＣＤ２３を駆動するＬＣＤ駆動回路を示している。またクロックジェネレータ２９は、ＰＬＬ発信回路１８から供給されるクロック信号を分周することで、ＲＰＵ１４、タイミングジェネレータ１６、ＣＰＵ１７およびデジタルエンコーダ２１などの全モジュールの駆動クロックを生成する。

また、主メモリ２６、外部インターフェース２８およびメモリカード２７は、ＤＭＡ（ダイレクトメモリアクセス）コントローラ２４やＪＰＥＧ処理部２５と共にメインバス１０を介して相互にバス接続されており、これら各モジュール間のデータ転送は、ＤＭＡコントローラ２４の制御によりＣＰＵ１７を介さずにメインバス１０を通じて直接実行することが可能である。これによりＣＰＵ１７の負荷が軽減すると共に、主メモリ２６の記憶領域を効率的に利用することが可能となる。

またファインダー動作時、すなわち被写体画像をＬＣＤ（ファインダー）２３で表示する時は、ＣＣＤ駆動回路１５によりＣＣＤセンサ１２は、ファインダーの解像度に合わせて所定のラインを間引いた複数ラインの画像信号を出力するよう駆動される。この間引いたＣＣＤデータはアナログ信号処理回路１３でＡ／Ｄ変換されＲＰＵ１４で画像処理を受けた後に、メインバス１０を介してディスプレイモジュール２０に転送される。ディスプレイモジュール２０に出力された画像データはデジタルエンコーダ２１およびＬＣＤ駆動回路２２によりＬＣＤ２３にてビデオ表示される。このようにして撮影者はＬＣＤ２３に表示された被写体画像を確認しつつ、被写体の構図や適正露出などを調節することができる。

そして撮影者が撮影ボタンを押すなどして撮影指令が発せられると、全画素読出し動作に処理が移行し、ＣＰＵ１７の制御により前記ファインダー動作が解除されると同時にクロックジェネレータ２９はタイミングジェネレータ１６の駆動パルスを変更する。次にＣＣＤ駆動回路１５によりＣＣＤセンサ１２は全画素の信号電荷を出力するように駆動される。ＣＣＤセンサ１２から読み出された画像信号は、後述するようにＲＰＵ１４で実時間の画像処理を施された後に圧縮され、カードインターフェース２７Ａを通じてメモリカード２７などの記憶媒体に格納されたり、外部インターフェース２８を通じてパーソナル・コンピュータなどの外部機器に出力されたりする。

前記ＣＣＤセンサ１２は既存のものでよく、一般的には電荷蓄積部と電荷転送部とを内部に備えており、上記全画素読出し動作時には感光部を構成する奇数ラインのみからなる奇数フィールドと偶数ラインのみからなる偶数フィールドとからそれぞれ画像信号を時間的に異なるタイミングで読出すインターレース（飛び越し走査）方式で駆動され、上記ファインダー動作時には所定のラインを間引いた複数ラインから画像信号を順次読出す間引きプログレッシブ方式で駆動される。本実施の形態では撮像センサとしてＣＣＤセンサ１２を採用しているが、本発明ではこれに限らずＣＭＯＳセンサでもよい。

また前記ＲＰＵ１４は、図２に示すように、デジタル画像信号を画素単位で処理する単一画素処理部（Single Pixel Processing Block）１４ａと、後に詳述する画素補間を実行する画素補間処理部（Pixel Interpolation Processing Block）１４ｂ、ガンマ特性を補正（ガンマ補正）するガンマ処理部（Gamma Processing Block）１４ｃと、色空間変換・色抑圧処理部（Color Space Conversion & False Color Suppression Block）１４ｄと、空間フィルタ・コアリング処理部（Spatial Filter & Coring Block）１４ｅと、これら各部１４ａ〜１４ｅで処理した画像データをメインバス１０に出力する出力部（Resizing Block）１４ｆとを備えている。尚、前記ＲＰＵ１４で実行できない画像処理はＣＰＵ１７でソフトウェアを用いて実行される。これにより、全ての画像処理をＣＰＵ１７でソフトウェア処理する場合と比べると、数倍乃至数十倍の処理速度の向上が可能となり、またＣＰＵ１７の処理負担が軽減するため消費電力を低減することが可能となる。

実施の形態１．
図３，４は、以上の構成を有するデジタルスチルカメラ１において、実施の形態１に係る画像信号処理の流れを示す概略構成図である。図３は、ファインダー動作時の画像信号処理の流れを示す図、図４は、全画素読出し動作時の画像信号処理の流れを示す図である。また図５は、ファインダー動作時の各種データの信号波形を示す概略図、図６は、全画素読出し動作時の各種データの信号波形を示す概略図である。

本実施の形態１においては、上記ファインダー動作時においてＣＣＤセンサ１２を駆動し画素データの転送速度を規定する画素転送クロックの周波数は、上記全画素読出し動作時の画素転送クロックの周波数よりも高い値に設定されることが特徴である。ファインダー動作時のＣＣＤセンサ１２は、図５に示すような信号波形をもつ画素転送クロックで駆動され、上述したようにファインダー（ＬＣＤ２３）の解像度に合わせて所定の水平ラインを間引いた複数ラインから画素データを出力するように制御される。図３に示すようにこのファインダー動作期間には、ＣＣＤセンサ１２に高速な画素転送クロックが働く。間引きされたＣＣＤデータは上記アナログ信号処理回路１３でＡ／Ｄ変換された後にＲＰＵ１４に入力し、画素補間処理や色空間変換処理、輪郭強調処理などの画像処理を実時間処理にて施された後、主メモリ２６に転送され処理データバッファ２６ａに一時的に格納される（ステップ１）。このとき、図５に示すように主メモリ２６からＲＰＵ１４へ入力するデータ信号は無く、また図５に示すような画像処理後の「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」の各データ信号がＲＰＵ１４から主メモリ２６に出力される。

次に、処理データバッファ２６ａに格納された画像データはメインバス１０を介してディスプレイモジュール２０に読み出され、ファインダー機能を有するＬＣＤ２３に表示される（ステップ２）。ＲＰＵ１４で画像処理したデータを一旦処理データバッファ２６ａに格納する理由は、ＣＣＤセンサ１２からの読出しレートとディスプレイモジュール２０の読出しレートとが異なるためである。

次に、上記全画素読出し動作時に処理が移行すると、図４に示すようにＣＣＤセンサ１２に低速な画素転送クロックが働く。ＣＰＵ１７はクロックジェネレータ２９を制御してＣＣＤセンサ１２のファインダー動作を解除させ、ＣＣＤセンサ１２の画素転送クロック周波数をＲＰＵ１４の処理クロック周波数の最大値以下になるように切り換え、ＣＣＤセンサ１２の全画素をインターレース方式で読出すように制御させる。図４に示すように、ＣＣＤセンサ１２から最初に読み出される第１フィールド（偶数フィールドおよび奇数フィールドの何れか一方）の画素データは、アナログ信号処理回路１３でＡ／Ｄ変換された後に主メモリ２６に設けた原画像データバッファ２６ｂに転送され一時的に格納される（ステップ１０）。

次にＣＣＤセンサ１２から読み出される第２フィールドの画素データは、アナログ信号処理回路１３でＡ／Ｄ変換された後にＲＰＵ１４に順次入力する。この時、ＲＰＵ１４はその第２フィールドの読出しと同期させて前記原画像データバッファ２６ｂに一時格納した第１フィールドを読み出し、第１フィールドおよび第２フィールドの双方の画素データに対して画像処理を実行する。その処理データはメインバス１０を介して主メモリ２６に設けた処理データバッファ２６ａに転送され格納される（ステップ１１）。

尚、上記ステップ１０，１１において、原画像データバッファ２６ｂとＲＰＵ１４間およびＲＰＵ１４と処理データバッファ２６ａ間のデータ転送は、ＤＭＡコントローラ２４の制御によりＣＰＵ１７を介さず直接行われることが望ましい。これによりＣＰＵ１７の負荷を軽減でき、データの処理速度を高めることが可能となる。

上記ＲＰＵ１４における画像処理は次の通りである。上記単一画素処理部１４ａは、デジタル画像信号の画素毎に乗算および加算の一方または双方の演算を行うことで、複数フレーム間における経時的平均化処理と、単一フレーム内でのシェーディング補正処理との何れか一方を選択的に行うブロックである。一般に、ＣＣＤセンサ１２で被写体などを撮影するときに、光学機構１１で使用するレンズの光学的性質に起因して中心位置と較べてその周辺光量が低下する現象はシェーディングと呼ばれている。前記シェーディング補正処理では、そのシェーディングを緩和するために各画素における輝度値などのゲイン調整が実行される。

また画素補間処理部１４ｂおよびガンマ処理部１４ｃは、一旦主メモリ２６に格納した画像データをＤＭＡコントローラ２４の制御によりメインバス１０を介して取り込むことができる。尚、ＲＰＵ１４の初段の単一画素処理部１４ａだけでなく、画素補間処理部１４ｂおよびガンマ処理部１４ｃにもメインバス１０を介して画像データを直接入力できるから、ＣＰＵ１７で画像処理を施した画像データを単一画素処理部１４ａを経由させずに、直接、画素補間処理部１４ｂおよびガンマ処理部１４ｃに入力させて処理することができる。

また色空間変換・色抑圧処理部１４ｄは、原信号がカラー画像信号の場合にＲＧＢの３色系や４色系（ＹＭＣＧ系など）で表現される画像データを他の色空間座標系に変換する色空間変換機能と、画像中の明部と暗部の色抑圧（クロマサプレス；偽色防止）を行う色抑圧機能とを備えている。色空間変換機能で使用される変換先の座標系には、ＮＴＳＣ（National Television System Commitee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣ_bＣ_r座標系などを使用すればよい。例えば、色成分変換にＹＣ_bＣ_r座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃ_b，Ｃ_rとからなるＹＣ_bＣ_r成分の座標系へと変換される。ＹＣ_bＣ_r成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮することが可能となる。

一般に画像に現れる暗部は様々なノイズの影響を受けやすい性質をもつため、暗部ではできるだけ発色を抑制することが自然な画質を出力することにつながる。一方、画像に現れる明部は当該明部を撮像した撮像素子やその他の種々のハードウェア部品の特性に応じて変調がかかり易い部分であり、ホワイトバランスが狂い易い部分であるため、出来るだけ発色を抑圧することが自然な画質を出力することにつながる。これらを考慮して前記色抑圧機能では画像に現れる明部および暗部の発色が抑圧される。

さらに空間フィルタ・コアリング処理部１４ｅで処理された画像信号は出力部１４ｆを通じてメインバス１０に出力され、一旦処理データバッファ２６ａに格納される。次に処理データバッファ２６ａに格納した処理データはＣＰＵ１７に転送される。ＣＰＵ１７は、主メモリ２６に設けた一時記憶データバッファ２６ｃを利用し、処理データバッファ２６ａから転送された画像データに対してＪＰＥＧ圧縮などのソフトウェア処理を施した後に、上記メモリカード２７や外部インターフェース２８を介して接続された外部機器の記憶媒体３１に転送し格納させる（ステップ１２）。

このように本実施の形態１に係るデジタルスチルカメラ１は、ファインダー動作時の画素転送クロックの周波数をＲＰＵ１４の最大クロック周波数と同程度に高くして画素転送クロックを高速に設定し、全画素読出し動作時には画素転送クロック周波数をファインダー動作時のそれよりも小さい値に切り換えて設定している。従来は図７の説明図に例示されるように、ファインダー動作期間すなわち間引き動作期間および全画素読出し期間を通して、画素転送クロック周波数はＲＰＵ１４などのハードウェアの最大クロック周波数（１００ＭＨｚ）を超えない範囲で一定値（５０ＭＨｚ）に設定されていた。よって、ＲＰＵ１４は、ファインダー動作期間中、その画素転送クロック周波数で読み出されたデータを処理クロック周波数５０ＭＨｚで処理し、他方、全画素読出し期間中、第１フィールドの画素データの読出し時、当該画素データは主メモリに転送され格納されるからＲＰＵ１４の処理クロックは０ＭＨｚであり、第２フィールドの画素データの読出し時には、ＲＰＵ１４は処理クロック周波数１００ＭＨｚで当該第１フィールドと第２フィールドとを合わせた画素データを処理していた。しかしながら、これでは上述したようにファインダー表示のフレームレートが低いという問題がある。

これに対して本実施の形態１では、図８の説明図に例示するように、ファインダー動作期間中の画素転送クロック周波数は、ＲＰＵ１４などのハードウェアを駆動する最大クロック周波数１００ＭＨｚに設定され、他方で全画素読出し期間中は図７に示した従来例と同じ画素転送クロック周波数と処理クロック周波数とが設定されており、画素転送クロック周波数はファインダー動作期間と全画素読出し期間との間で切り換えられる。このようにファインダー動作期間中、ＲＰＵ１４の駆動クロック周波数の最大値に画素転送クロック周波数を設定し、ファインダー表示のフレームレートを高めることが可能となる。

実施の形態２．
次に、本発明の実施の形態２について説明する。ＣＣＤセンサ１２の画素上に配列される色フィルタアレイには各種あるが、例えばベイヤー方式の原色系色フィルタアレイの基本形は、図９に示すように各画素上に色フィルタを「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｒ」，「Ｇ」，…の順序で配列した奇数ラインと、色フィルタを「Ｇ（緑色成分）」，「Ｂ（青色成分）」，「Ｇ」，「Ｂ」，…の順序で配列した偶数ラインとを垂直方向に亘り交互に配列したものである。太線枠３３ａで囲まれる２×２＝４画素（ピクセル）の「Ｒ」，「Ｇ」，「Ｇ」，「Ｂ」で１組の色が表現されている。また図示しないが補色タイプ（ＹＭＣＧ系またはＹＭＣＫ系）の色フィルタアレイも存在する。ＹＭＣＧ系色フィルタアレイとしては、色フィルタを「Ｃ（シアン色成分）」，「Ｍ（マゼンダ色成分）」，「Ｃ」，「Ｍ」，…の順序で配列した奇数ラインと、色フィルタを「Ｙ（イエロー色成分）」，「Ｇ（緑色成分）」，「Ｙ」，「Ｇ」，…の順序で配列した偶数ラインとを垂直方向に亘り交互に配列したものがある。

図１０に示すようにこのような色フィルタアレイを有するＣＣＤセンサ１２から出力された画素データは、ＲＰＵ１４の画素補間処理部１４ｂに設けたラインメモリ４１Ａ，４１Ｂ，…，４１Ｅの各ブロックにライン毎に順次格納される。これらラインメモリ４１Ａ〜４１Ｅに格納され太線枠４０で囲まれる５×５＝２５画素の画素データに対して画素補間ユニット（図示せず）を適用することで中央ブロックＰ２２における画素補間値が算出される。上記ベイヤー方式の原色系色フィルタおよびＹＭＣＧ系色フィルタアレイの場合、画素補間ユニットを適用するブロックＰ００〜Ｐ４４のうちブロックＰ２２に格納した画素データと同じ色成分をもつ画素データは、ハッチングを施されたＰ００，Ｐ０２，Ｐ０４，Ｐ２０，Ｐ２４，Ｐ４０，Ｐ４２，Ｐ４４を付したブロックに格納されている。例えば、ブロックＰ０２，Ｐ４２に対応する画素を通るラインが存在した場合、両ブロックＰ０２，Ｐ４２に格納した画素データの平均値または中間値を算出し画素補間値としてブロックＰ２２に格納できる。またブロックＰ２０，Ｐ２４を通るライン、ブロックＰ００，Ｐ４４を通るライン、およびブロックＰ０４，Ｐ４０を通るラインがそれぞれ存在した場合も前述と同様に画素補間値を算出できる。

また図１０に示したように５×５画素に画素補間ユニットを適用する代わりに、図１１に例示するように上記画素補間処理部１４ｂに３本のラインメモリ４１Ａ，４１Ｂ，４１Ｃを設け、これらラインメモリのブロックＰ００〜Ｐ２２に格納され太線枠４３で囲まれる３×３＝９画素データに対して画素補間ユニット（図示せず）を適用してもよい。これらラインメモリ４１Ａ〜４１Ｃに、図９に示した原色系色フィルタアレイもしくは上記ＹＭＣＧ系色フィルタアレイを有するＣＣＤセンサから画素データが入力した場合、中央ブロックＰ１１に対して斜め四方のブロックＰ００，Ｐ０２，Ｐ２０，Ｐ２２に格納された画素データは同じ色成分となる。例えば、中央ブロックＰ１１に格納した画素データの色成分が「Ｂ」の場合は、その斜め四方のブロックＰ００，Ｐ０２，Ｐ２０，Ｐ２２に格納した画素データの色成分は全て「Ｒ」となる。その斜め四方のブロックＰ００，Ｐ０２，Ｐ２０，Ｐ２２に格納した画素データの平均値または中間値を画素補間値として中央ブロックＰ１１に格納することができる。

実際には、画素補間処理部１４ｂには図１０，１１に示したような各種画素補間ユニットが複数組み込まれており、画素補間ユニットはＲＰＵ１４を駆動するドライバ回路やドライバ・ソフトウェアなどの設定により適宜選択されるように構成されている。

本実施の形態２では、上記ファインダー動作期間中、ファインダー（ＬＣＤ２３）の解像度に合わせて所定の水平ラインを間引いた複数ラインの画素データがＣＣＤセンサ１２から出力される。その画素データは、図１２に例示するようにＲＰＵ１４の画素補間処理部１４ｂに設けたラインメモリ４１Ａ，４１Ｂ，４１Ｃ，…４１Ｅにライン毎に順次格納される。このようなラインメモリに格納した５×５画素（＝２５画素）の画素データに対して上記画素補間ユニットを適用することで中央ブロックの画素データの補間値が算出される。

他方、上記全画素読出し期間中、図４に示すようにＣＣＤセンサ１２は上記偶数フィールドおよび奇数フィールドのうち一方の第１フィールドを出力し、この第１フィールドは主メモリ２６に設けた原画像データバッファ２６ｂに一時的に格納される（ステップ１０）。次に、ＣＣＤセンサ１２から読出した第２フィールドと、この第２フィールドの読出しと同期して原画像データバッファ２６ｂから読み出される第１フィールドとを、図１３（ａ）に例示するようにＲＰＵ１４に設けたラインメモリ４１Ａ〜４１Ｆに一時的に記憶する。図示するラインメモリ４１Ａに第２フィールドの画素データがバッファリングされている場合、ラインメモリ４１Ｃ，４１Ｅには先に読出した第２フィールドの画素データがバッファリングされ、ラインメモリ４１Ｂ，４１Ｄ，４１Ｆには第１フィールドの画素データがバッファリングされる。

本実施の形態２では、画素転送クロックの１読出し周期（Ｔ）のうち半周期（Ｔ／２）には、図１３（ａ）に示すように画素補間ユニットをラインメモリ４１Ａ〜４１Ｅの太線枠４０で囲まれたブロックに適用し、残る半周期（Ｔ／２）には、図１３（ｂ）に示すように垂直方向に１段ずれたラインメモリ４１Ｂ〜４１Ｆの太線枠４０で囲まれたブロックに適用することが特徴である。これにより垂直方向の上下２ラインのラインメモリ４１Ｃ，４１Ｄの画素データに対して時分割で画素補間処理を実行でき、１読出し周期（Ｔ）に２画素の補間値を効率良く算出することが可能となる。このとき、図６に示すように、１読出し周期（Ｔ）に上ラインと下ラインの画素補間後の「Ｒ」，「Ｇ」，「Ｂ」のデータ信号を生成できる。このように、ＲＰＵ１４の処理速度が十分に速い場合には時分割で画素補間ユニットを共用できるから、回路構成を削減し、装置の省電力化と低コスト化を図ることが可能となる。

尚、本実施の形態２では５×５画素の画素データに対して上記画素補間ユニットを適用したが、この代わりに３×３画素の画素データに対して上記画素補間ユニットを適用してもよい。

また上記実施の形態１に係る画像処理回路に本実施の形態２を適用した場合、ファインダー動作期間中、画素転送クロックが高速に設定され、全画素読出し期間中は画素転送クロックが低速に設定されることから、時分割処理が容易となり画素補間処理を効率的に行うことが可能となる。また全画素読出し動作時、画素転送クロックの読出し周期毎に、第１フィールドの画素データと第２フィールドの画素データとが同期してＲＰＵ１４に入力するが、その読出し周期毎に両フィールドの画素データを一括して画素補間処理することが可能となる。

実施の形態３．
次に、本発明の実施の形態３に係る画像処理回路について説明する。上記実施の形態２に係る画像処理方法ではＲＰＵ１４の処理速度が高速である場合には実効が現れ易いが、ＲＰＵ１４の処理速度が低速である場合には実効が上がらないときがある。かかる場合に対処すべく本実施の形態３では、ＲＰＵ１４が複数の画素補間ユニットを有し、画素転送クロックの読出し周期（Ｔ）毎に、複数ラインの各画素データに一対一で画素補間ユニットを適用し、複数の画素補間処理を並列で行うことが特徴である。以下、ＲＰＵ１４に２個の画素補間ユニットを組み込んだ場合を例に挙げて本実施の形態３の画像処理方法を詳説する。

上記ファインダー動作期間中は、図１４に例示するように、図１２で示した説明図と同じ処理が実行される。すなわち、画素転送クロックの１読出し周期（Ｔ）の間に、ラインメモリ４１Ａ〜４１Ｅに格納され太線枠５０で囲まれた５×５画素の画素データに対して画素補間ユニットを適用することで補間された画素データが算出される。

次に上記全画素読出し期間中は、図１５に例示するように、ＲＰＵ１４は画素転送クロックの１読出し周期（Ｔ）の間に、ラインメモリ４１Ａ〜４１Ｅに格納され太線枠５０Ａで囲まれた５×５画素の画素データに対して第１の画素補間ユニットを適用して補間された画素データＡを算出し、これと並行してラインメモリ４１Ｂ〜４１Ｆに格納され点線枠５０Ｂで囲まれた５×５画素の画素データに対して第２の画素補間ユニットを適用して補間された画素データＢを算出する。これにより画素転送クロックの１周期（Ｔ）の間に、垂直方向の上下２ラインのラインメモリ４１Ｃ，４１Ｄの各画素データに対して画素補間処理を並列実行できる。

このように本実施の形態３によれば、画素転送クロックの１読出し周期（Ｔ）の間に、ＲＰＵ１４に組み込んだ画素補間ユニットの個数分の並行した画素補間処理を実行できるから、高速な画像処理を実現することが可能となる。また上記実施の形態１と本実施の形態３との組み合わせでは、全画素読出し動作時に、画素転送クロックの読出し周期毎に、第１フィールドの画素データと第２フィールドの画素データとが同期してＲＰＵ１４に入力するが、その読出し周期毎に両フィールドの画素データを一括して画素補間処理することが可能となる。

上記したように、全画素読出し動作時において実施の形態２，３で算出した補間画素データは、画素転送クロックの１周期（Ｔ）毎に画素補間処理部１４ｂから２画素分出力される。画素補間処理部１４ｂで用いた画素転送クロックをそのまま後のガンマ処理部１４ｃ以降で用いると、画素転送クロックの１周期の間に２画素に対し、ガンマ補正処理や色空間変換処理、輪郭強調処理などの画像処理をしなければならないという問題がある。この問題を解決し得る画像処理方法を以下の実施の形態４〜６で説明する。

実施の形態４．
本実施の形態４に係る画像処理回路では、上記ＣＣＤセンサ１２を駆動し画素データの転送速度を規定する画素転送クロック周波数（ｆ１）と、上記ガンマ処理部１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィルタ・コアリング処理部１４ｅおよび出力部１４ｆで構成される後処理部において画素データの処理速度を規定する画素処理クロック周波数（ｆ２）とが個別に設定され、画素処理クロック周波数（ｆ２）が画素転送クロック周波数（ｆ１）の２倍以上の値に設定される。

具体的には、画素補間処理部１４ｂで使用する画素処理クロックは、ＣＣＤのタイプにより、画素転送クロックに等しい場合と後処理部で使用する画素処理クロックに等しい場合との２通りあるが、本実施の形態４では画素補間処理部１４ｂで使用する画素処理クロックが画素転送クロックに等しい場合を例に挙げて説明する。図１６に示すように、画素補間処理部１４ｂで画素転送クロック（周波数：ｆ１）を用い、且つ後処理部１４ｃ〜１４ｆで画素処理クロック（周波数：ｆ２≧２×ｆ１）を用いる。上記全画素読出し動作時において、主メモリ２６に設けた原画像データバッファ２６ｂに記憶した上記第１フィールドの画素データがＲＰＵ１４にＤＭＡ転送され、併行してその第１フィールドの画素データの読出しと同期された上記第２フィールドの画素データが読み出されＲＰＵ１４に入力する。ＲＰＵ１４に入力する第１および第２フィールドの画素データは、上記単一画素処理部１４ａ（図示せず）で処理された後に画素補間処理部１４ｂに入力する。次いで、第１および第２フィールドの画素データは上記実施の形態２，３のような画素補間方法で処理され、画素転送クロックの１周期（１／ｆ１）の間に２ラインの２個の画素データが後処理部１４ｃ〜１４ｆに出力され、後処理部１４ｃ〜１４ｆは、画素処理クロックの１周期（１／ｆ２）の間に１画素ずつガンマ補正処理などの画像処理を実行する。後処理部１４ｃ〜１４ｆから出力される画素データは主メモリ２６に設けた処理データバッファ２６ａにＤＭＡ転送される。

このように本実施の形態４によれば、後処理部１４ｃ〜１４ｆの処理レートは画素補間処理部１４ｂの処理レート以上になるから、実時間（リアルタイム）の画像処理を確実に実行でき画像処理の信頼性を高めることが可能となる。

実施の形態５．
次に、図１７は、本発明の実施の形態５に係る画像信号処理の流れを示す概略構成図である。上記実施の形態４と同様に、画素補間処理部１４ｂには画素転送クロック（周波数：ｆ１）を用い、後処理部１４ｃ〜１４ｆには画素処理クロック（周波数：ｆ２≧２×ｆ１）を用いている。上記実施の形態２，３で述べた通り、全画素読出し動作時では、図１３，１４に示すように画素転送クロックの１周期（Ｔ）にラインメモリ４１Ｃ，４１Ｄから２個の画素データが２ラインのデータとして出力される。

図１７に示すように２本のライン１，２から出力された画素データはマルチプレキサ５１で多重化され直列に並べ換えられて１本の出力として主メモリ２６に設けたレート調節用バッファ２６ｄにＤＭＡ転送される。より具体的には、図１８に示すように画素補間処理部１４ｂに設けたラインメモリ４１Ｋ，４１Ｌに格納された「Ｌ１」，「Ｌ２」で示される画素データは補間を受けた後に、マルチプレキサ５１で多重化されＦＩＦＯ（Fast-In Fast-Out）メモリ（図示せず）を介してレート調節用バッファ２６ｄにＤＭＡ転送され、Ｌ１，Ｌ２，Ｌ１，Ｌ２，Ｌ１，Ｌ２，…の配列でレート調節用バッファ２６ｄに格納される。

次に、後処理部１４ｃ〜１４ｆは、前記レート調節用バッファ２６ｄに格納した画素データを１画素おきのアドレス指定により読出す。これにより、後処理部１４ｃ〜１４ｆは、Ｌ１，Ｌ１，…，Ｌ１，Ｌ２，Ｌ２，…，Ｌ２のようにライン順次に画素データを読出して画像処理を施すことが可能となる。

実施の形態６．
図１９は、本発明の実施の形態６に係る画像信号処理の流れを示す概略図である。上記実施の形態４と同様に、後処理部１４ｃ〜１４ｆで用いる画素処理クロック周波数は、画素補間処理部１４ｂで用いる画素転送クロック周波数の２倍以上の値に設定される。上記全画素読出し時において、上記第１および第２フィールドの画素データは互いに同期してＲＰＵ１４に入力し、単一画素処理部１４ａ（図示せず）で処理された後に画素補間処理部１４ｂに入力する。画素転送クロックの１周期中に、画素補間処理部１４ｂで補間を受けた２ラインの２個の画素データはそれぞれ、図示するライン１、ライン２の各ライン毎に出力され、ＦＩＦＯメモリ（図示せず）を介してレート調節用バッファ２６ｄにＤＭＡ転送される。またそれら各出力ライン毎に上記ＤＭＡコントローラ２４のチャンネルが割り当てられており、ＤＭＡコントローラ２４はメモリサイクルを監視し分配することで、画素データをライン順次にレート調節用バッファ２６ｄに転送し格納させる。これにより、レート調節用バッファ２６ｄにはライン順次に画素データが配列し格納されることとなる。

レート調節用バッファ２６ｄに格納された画素データは、先頭から順番に読み出されＦＩＦＯメモリ（図示せず）にＤＭＡ転送された後に、後処理部１４ｃ〜１４ｆに出力される。後処理部１４ｃ〜１４ｆは入力する画素データに対して上記画素処理クロックを用いて色空間変換処理や輪郭強調処理などを実行した後、その処理データは主メモリ２６に設けた処理データバッファ２６ａにＤＭＡ転送される。

従って、本実施の形態６によれば、ＤＭＡコントローラ２４のチャンネル制御により画素補間処理部１４ｂから出力される画素データをライン順次に並べ換えてレート調節用バッファ２６ｄに格納するから、後処理部１４ｃ〜１４ｆで一連の画像処理をライン順次に実行することが可能となる。

実施の形態７．
図２０は、本発明の実施の形態７に係る画像信号処理の流れを示す概略図である。上記実施の形態４と同様に、後処理部１４ｃ〜１４ｆで用いる画素処理クロック周波数は、画素補間処理部１４ｂで用いる画素転送クロック周波数の２倍以上の値に設定される。上記全画素読出し時において、上記第１および第２フィールドの画素データは互いに同期してＲＰＵ１４に入力し、単一画素処理部１４ａ（図示せず）で処理された後に画素補間処理部１４ｂに入力する。

画素補間処理部１４ｂで補間を受けた２ライン分の画素データはそれぞれ、図示するライン１，２の各ライン毎に出力され、ＲＰＵ１４に組み込んだ第１ラインメモリ５３に各ライン毎に書き込まれる。次に第１ラインメモリ５３に格納された２ライン分の画素データは、第１ラインメモリ５３への書込み速度の２倍の速度で各ライン毎に読み出されライン順次に後処理部１４ｃ〜１４ｆに入力し、ガンマ補正や色空間変換などの画像処理を施される。またこの第１ラインメモリ５３からの画素データの読出しと並行して、第２ラインメモリ５４に画素補間を受けた新たな２ライン分の画素データが格納される。

第１ラインメモリ５３に格納した画素データが読み出され、第２ラインメモリ５４に新たな２ライン分の画素データが格納された後は、その第２ラインメモリ５４の画素データが第１ラインメモリ５３への書込み速度の２倍の速度で各ライン毎に読み出されライン順次に後処理部１４ｃ〜１４ｆに入力し、ガンマ補正などの画像処理を施される。並行して第１ラインメモリ５３には画素補間を受けた新たな２ライン分の画素データが格納される。後処理部１４ｃ〜１４ｆで画像処理を受けた画素データは主メモリ２６に設けた処理データバッファ２６ａにＤＭＡ転送される。

尚、本実施の形態７では２ライン分の画素データを格納できるシングルポートメモリ５３，５４を２個用いたが、これらの代わりに４ライン分の画素データを格納できるデュアルポートメモリを用いてもよい。

このように本実施の形態７では、ＲＰＵ１４の内部で画素補間処理部１４ｂから出力される画素データをライン順次に並べ換えて後処理部１４ｃ〜１４ｆに出力することが可能となる。

実施の形態４〜７の変形例１．
上記実施の形態４〜７に係る画像処理回路を、上記画素転送クロックの１周期の間に２画素データ出力するＣＣＤセンサに適用することが可能である。上記実施の形態で用いたＣＣＤセンサ１２は、画素転送クロックの１周期の間に１画素データを１ラインから取り出すものであるが、主にプログレッシブ方式ＣＣＤセンサとして、読出し速度向上のため画素転送クロックの１周期の間に２ラインからそれぞれ２画素データを取り出すＣＣＤセンサも存在する。図２１は上記実施の形態で用いたＣＣＤセンサ１２の構造（インタライン転送ＣＣＤの構造）を示す概略図である。図２１に示すように、複数のフォトダイオードを線状に配列してなる電荷蓄積部８０，８０，…の各列の間には垂直転送ＣＣＤ８１，８１，…が配列されており、最終行の垂直転送ＣＣＤ８１に隣接して１本の水平転送ＣＣＤ８２が設けられている。図２１において電荷蓄積部８０を構成する各画素上には「Ｒ」，「Ｇ」，「Ｂ」の色成分の記号を付した。電荷蓄積部８０の各フォトダイオードにおける蓄積電荷は各水平ライン毎に垂直転送ＣＣＤ８１に転送され、垂直転送ＣＣＤ８１は並列に垂直転送方向８３へ信号電荷を転送する。水平転送ＣＣＤ８２は、１ライン分の信号が入力する度にその信号を水平方向に転送し、出力回路（センスアンプ）８４を介して１個の信号出力端子８５から外部へ出力する。

次に、図２２は、画素転送クロックの１周期の間に２ラインの画素データを出力するＣＣＤ構造を示す概略図である。図２２において符号９０は電荷蓄積部、９１は電荷蓄積部９０，…の各列の間に配列された垂直伝送ＣＣＤ、９２Ａ，９２Ｂは水平転送ＣＣＤを示している。電荷蓄積部９０，…の各フォトダイオードにおける蓄積電荷は垂直転送ＣＣＤ９１，…に転送された後に、垂直転送方向９３に２本の水平ライン毎に並列に転送される。２ラインの信号はそれぞれ第１水平転送ＣＣＤ９２Ａおよび第２水平転送ＣＣＤ９２Ｂにより水平方向に同時に転送され、出力回路（センスアンプ）９４Ａ，９４Ｂを介して信号出力端子９５Ａ，９５Ｂから出力される。このように画素転送クロックの１周期に２ラインの画素データが出力されるため、図２１に示すＣＣＤ構造と比べると２倍の速度で画素データを読出すことが可能となる。

そこで、本変形例１では、上記実施の形態４におけるＲＰＵ１４の画素補間処理部１４ｂに、上記第１フィールドおよび第２フィールドの画素データの代わりに図２２に示した２ラインの画素データを入力し、上記後処理部１４ｃ〜１４ｆで用いる画素処理クロック周波数（ｆ２）を、図２２の構造をもつＣＣＤセンサを駆動する画素転送クロック周波数（ｆ１）の２倍以上の値に設定する。これにより後処理部１４ｃ〜１４ｆの処理レートを画素補間処理部１４ｂの処理レート以上にして実時間の画像処理を効率よく行うことが可能となる。

さらに、画素補間処理部１４ｂへの入力データを図２２に示した２ラインの画素データに置き換えて上記実施の形態５〜７の何れかの構成を採用することが望ましい。これにより画素補間処理部１４ｂから出力される２ラインの補間画素データをライン順次に変換して後処理することが可能となる。

実施の形態４〜７の変形例２．
また、上記実施の形態４〜７に係る画像処理回路を、以下に説明するハニカム型画素配列の撮像素子に適用することも可能である。図２３は、ハニカム型画素配列を説明するための概略図である。図２３において各単位画素セル上に「Ｒ」，「Ｇ」，「Ｂ」の色フィルタの記号を付した。このような撮像素子からは仮想線７０₁〜７０₅に沿ったラインの画素データが読み出される。これら各ラインの画素データはさらに「Ｇ」のラインとそれ以外の色成分のラインとに分解されて、図２４に示すようにラインメモリ（レジスタ）に蓄積される。すなわち、図２３に示す仮想線７０₁のラインの画素データは、図２４に示すラインメモリの組７１に格納されるが、「Ｒ」，「Ｂ」，「Ｒ」，…の色成分の画素データはラインメモリ７１Ａに１画素おきに格納される。尚、記号「Ｉ」は何れの画素データも蓄積されていないブロックを意味する。他方、「Ｇ」，「Ｇ」，…の色成分の画素データはラインメモリ７１Ａ上の「Ｉ」ブロックと垂直方向に隣接するように１画素おきにラインメモリ７１Ｂに格納される。図２３に示す他の仮想線７０₂〜７０₅のライン上の画素データも、それぞれ仮想線７０₁の場合と同様に図２４に示すラインメモリ７２〜７５に格納される。

このような形態で格納した画素データに対して、画素転送クロックの１周期毎に２ライン毎に画素補間処理が実行される。画素補間方法の一例を図２５を参照しつつ以下に説明する。先ず、図２５（ａ）に示すようにラインメモリ７３Ａの「Ｒ」成分のブロックについて、水平方向両側の「Ｂ」成分の平均値または中間値を「Ｂ’（青色成分）」として補間し、当該「Ｒ」成分に対して斜め四方のラインメモリ７２Ｂ，７３Ｂの「Ｇ」成分の平均値または中間値を「Ｇ’（緑色成分）」として補間する。次に、図２５（ｂ）に示すようにラインメモリ７３Ｂの「Ｇ」成分のブロックについて、斜め四方の「Ｂ」，「Ｂ」，「Ｒ」，「Ｒ」の同一色成分の平均値または中間値を「Ｒ’（赤色成分）」、「Ｂ’（青色成分）」として補間する。そして、図２５（ｃ）に示すように図２５（ｂ）で補間した色成分の平均値または中間値を算出することで、何れの画素データも蓄積されていないブロックの「Ｒ’’（赤色成分）」，「Ｇ’’（緑色成分）」，「Ｂ’’（青色成分）」を補間する。この種の画素補間方法により画素転送クロックの１周期の間に２本のラインメモリからそれぞれ２個の補間画素データが出力される。

従って、ハニカム型画素配列の撮像素子に対して画素補間処理に用いる画素転送クロックをそのまま後の画像処理（ガンマ補正処理、色空間変換、色抑圧処理など）に用いた場合、画素転送クロックの１周期の間に２ラインの２個の補間画素データを同時に処理しなければならないという上述の問題が生ずる。この問題を解決すべく、上記実施の形態４におけるＲＰＵ１４の画素補間処理部１４ｂに、上記第１フィールドおよび第２フィールドの画素データの代わりに前記ハニカム型画素配列の撮像素子から出力される２ラインの画素データを入力し、上記後処理部１４ｃ〜１４ｆで用いる画素処理クロック周波数（ｆ２）を、ハニカム型画素配列の撮像素子を駆動する画素転送クロック周波数（ｆ１）の２倍以上の値に設定することができる。これによりハニカム型画素配列の撮像センサから出力される画素データに対して、後処理部１４ｃ〜１４ｆで画素補間処理部１４ｂの処理レートに対応し得る速度で画像処理することが可能となる。さらに、２ラインで出力される補間画素データをライン順次に変換して後処理すべく、上記実施の形態５〜７の何れかの構成を採用することが好ましい。

本発明の実施の形態に係るデジタルスチルカメラの全体構成を示す概略図である。本発明の実施の形態に係るリアルタイム・プロセッシング・ユニット（ＲＰＵ）を構成する機能ブロックを示す概略図である。本発明の実施の形態１に係る画像信号処理の流れを示す概略構成図である。実施の形態１に係る画像信号処理の流れを示す概略構成図である。実施の形態１に係る画像処理回路の信号波形を模式的に示す図である。実施の形態１に係る画像処理回路の信号波形を模式的に示す図である。従来の画像処理回路において、ファインダー動作期間および全画素読出し期間の各期間中の画素クロック周波数とＲＰＵの処理クロック周波数とを例示した従来図である。実施の形態１に係る画像処理回路において、ファインダー動作期間および全画素読出し期間の各期間における画素クロック周波数とＲＰＵの処理クロック周波数とを例示した説明図である。ベイヤー方式の色フィルタアレイの基本形を示す図である。実施の形態１に係る画像処理回路の画素補間ユニットの例を示す図である。画素補間ユニットの他の例を示す図である。本発明の実施の形態２に係る画素補間処理を説明するための概略図である。実施の形態２に係る画素補間処理を説明するための概略図である。本発明の実施の形態３に係る画素補間処理を説明するための概略図である。実施の形態３に係る画素補間処理を説明するための概略図である。本発明の実施の形態４に係る画素補間処理を説明するための概略図である。本発明の実施の形態５に係る画像信号処理の流れを示す概略図である。実施の形態５に係る画像信号処理を説明するための概略図である。本発明の実施の形態６に係る画像信号処理の流れを示す概略図である。本発明の実施の形態７に係る画像信号処理の流れを示す概略図である。１ラインの画素データを出力するＣＣＤ構造の例を示す概略図である。２ラインの画素データを出力するＣＣＤ構造の例を示す概略図である。ハニカム型画素配列を説明するための概略図である。図２３に示す画素配列をもつ撮像素子から読出した画素データを格納したラインメモリ群を示す模式図である。（ａ）〜（ｃ）は、画素補間方法の一例を示す説明図である。一般的なデジタルスチルカメラの概略構成を示すブロック図である。従来の画像信号処理の流れの例を示す概略図である。

符号の説明

１デジタルスチルカメラ
２６主メモリ
２６ａ処理データバッファ
２６ｂ原画像データバッファ
２６ｃ一時記憶データバッファ
３１記憶媒体

Claims

色フィルタアレイを有する撮像センサと、
前記撮像センサから読出した画素データに対して実時間の画素補間処理であって、複数の画素の画素データを用いて、前記複数の画素に囲まれた画素における欠落した色成分の画素データの画素補間を実行し前記画素データの転送速度を規定する画素転送クロックの１周期毎に複数ラインの補間画素データを出力する画素補間処理部と、
前記画素補間処理部から出力される複数ラインの補間画素データを格納するバッファ部と、
前記画素補間処理部から出力される複数ラインの補間画素データをライン順次に前記バッファ部に転送するようにチャンネル制御するＤＭＡ（ダイレクト・メモリ・アクセス）コントローラと、
前記バッファ部に格納された前記補間画素データを読み出して、さらに画像処理を実行する後処理部と、
を備えることを特徴とする画像処理回路。