JP4250511B2

JP4250511B2 - 撮像装置

Info

Publication number: JP4250511B2
Application number: JP2003399322A
Authority: JP
Inventors: 泰彦塩見
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-11-28
Filing date: 2003-11-28
Publication date: 2009-04-08
Anticipated expiration: 2023-11-28
Also published as: JP2005159995A

Description

本発明は、例えばデジタルカメラ等として適用される撮像装置及び撮像方法に関し、特に高速な画像処理や多機能のカメラシステムを構成する場合の応用技術に適用されるものである。

従来、デジタルカメラ等として適用される撮像装置としては、例えば図７に示すような構成のデジタルスチルカメラがある。なお、図示の例では、撮影者自身による不図示のカメラ操作スイッチ (カメラのメインＳＷ及びレリーズＳＷで構成される)の状態変化を全体制御ＣＰＵ１１６が検出し、その他の各回路ブロックへの電源供給及び初期設定を行うようにする。

撮影画面範囲内の被写体像は、主撮影光学系１１８を通して撮像素子（この場合ではＣＣＤ）１００上に結像し、この撮像素子１００からの出力信号をＣＤＳ／ＡＧＣ／ＡＤ回路１０３を介して各画素毎に順々に所定のデジタル信号に変換する。

ここで、撮像手段（撮像素子）１００は、全体の駆動タイミングを決定しているタイミングジェネレータ（ＴＧ／ＳＳＧ）１０２からの信号に基づき、各画素毎の水平駆動並びに垂直駆動のためのドライバー回路１０１の出力で所定駆動することにより、画像信号出力を発生する。

ＣＤＳ／ＡＧＣ／ＡＤ回路１０３の出力信号は、補正ブロック１０４に入力し、ここで撮像素子１００と主撮影光学系１１８との組み合わせ等で生ずるシェーディング補正を実行したり、センサ固有のパターンノイズを除去するための補正を実行する。

以上のように、補正ブロック１０４の出力は、フロントメモリコントローラ１０５を介してバッファメモリ１０６へ順々にフレームデータとして記憶し、カメラの連写撮影時の画像を一時的に記憶してゆくことになる。

なお、図示したようにフロントメモリコントローラ１０５は、タイミングジェネレータ１０２と同期して動作するタイミング制御ブロック１０７の信号に基づいて動作することにより、撮像素子１００との同期をとっている。

最低でも１駒以上の撮影が完了した時点で、フロントメモリコントローラ１０５の制御により、撮影データを記憶しているバッファメモリ１０６のデータを、リアメモリコントローラ１０８を介してワークメモリ１１１へ一時的に転送する。

なお、このリアメモリコントローラ１０８は、同様にタイミングジェネレータ１０２と同期して動作するタイミング制御ブロック１０９の信号に基づいて動作する。

次に、ワークメモリ１１１のデータを、同じバスＡに接続されているカラー処理処理ブロック１１２にて色補間処理やマトリックス補正等のいわゆる絵作りを実施してＲ，Ｇ，Ｂ更にはＹ，Ｃｒ，Ｃｂの変換処理を行ってその結果を再度ワークメモリ１１１に記憶する。

ワークメモリ１１１に記憶したデータは、ＪＰＥＧ処理ブロック１１３を介して所定の圧縮フォーマットに基づきデータ圧縮し、その結果をカードコントローラ１１４を介してカードメモリ１１５(通常では、フラッシュメモリ等の不揮発性メモリを使用する。)に記憶する。

また、逆に撮影済みの画像データを観察する場合には、カードメモリ１１５に圧縮記憶さレータデータをＪＰＥＧ処理ブロック１１３を通して通常の撮影画素毎のデータに伸張し、その結果をワークメモリ１１１へ転送することにより、不図示のモニター表示手段を通して外部表示することができる。

一方、カメラ全体の制御に関しては、全体制御ＣＰＵ１１６が、同じバスＢに接続されたインストラクションメモリ１１７に記憶してあるインストラクションコードに従って命令を実行し、レンズ制御手段１１９を介して主撮影光学系１１８を駆動制御すると共に、通信Ｉ／Ｆ１１０を介して画像に添付する様々な情報をカードメモリのデータとして記録する。

特開２０００−２５３３０５号公報

上述したように、通常のデジタルカメラにおける画像処理の場合、途中迄連写撮影駒を生データとしてバッファメモリに記憶しておきながら、順次後方の処理ブロックに転送してカラー処理及びＪＰＥＧ処理を実行するが、実際の動作の中では撮像素子からの読み出し速度をより高速化させることにより、いわゆるプロ仕様の銀塩カメラと同等の８駒／秒以上のスペックを実現することが可能となってきている。

撮像素子の読み出し速度を上げる方法としては、タイミングジェネレータの駆動クロックの周波数をアップさせてドライバーの駆動を単に高速化させる方法や、撮像素子からの読み出しを２つ以上の出力から同時に実行し、その後のバッファメモリに記憶するまにおける処理をその読み出し出力数に合わせた複数ラインで並列に行う方法が提案されている。

しかしながら、前述したように、バッファメモリの内容をメモリコントローラを介してワークメモリに展開した後、そのデータを順次カラー処理ブロックに引き渡した上で所定のＲ，Ｇ，Ｂ画像データ若しくはＹ，Ｃｒ，Ｃｂ画像データに変換して再度ワークメモリに順次一時的に記憶し、更に引き続きこのデータをＪＰＥＧ処理ブロックへ転送する場合には、いわゆるラスターブロック変換に伴う８×８単位におけるブロック単位における読み出しを図示した各ブロック間に接続されたバスＡを介して行うため、この処理ではバスＡをかなりの頻度で占有してしまう。

また、ＪＰＥＧ処理を介して実際に圧縮した画像データはカードメモリに記憶することになるが、この場合、カードメモリ自体の書き込み速度がネックとなり、当然のことながらＪＰＥＧ処理した結果をワークメモリから掃出する速度が遅くなってしまい、結果的にはワークメモリに多くのデータが溜まった状態となる。

この結果、撮影者自身にとっては、如何にカメラの駒速がアップしたとしても、実際の後処理の遅さがネックとなり、バッファメモリ又はワークメモリの容量を相当数増加させない限り、連写撮影した後のレリーズ動作に直ぐには移行できないという撮影上の不具合が発生してしまう。

本発明は、上記の課題に鑑みてなされたものであり、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して信頼性の高い撮像装置及び方法を提供することを目的とする。

本発明の撮像装置は、被写体像を撮像し電気信号に変換する撮像部と、複数の画像処理部と、前記撮像部から出力された1フレーム分の第１の電気信号を、前記複数の画像処理部のうちの一つの画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の次に出力された1フレーム分の第２の電気信号を、前記複数の画像処理部のうちの他の一つの画像処理部で画像処理を行うように制御する制御部とを備える。
本発明の撮像装置の一態様では、前記画像処理は、色処理を含む。
本発明の撮像装置の一態様では、前記色処理は、輝度信号及び色差信号を生成する処理を含む。
本発明の撮像装置の一態様では、前記画像処理は、圧縮処理を含む。
本発明の撮像装置の一態様では、前記画像処理は、色処理及び圧縮処理を含む。
本発明の撮像装置の一態様では、前記制御部は、前記第１の電気信号を圧縮処理している期間中に、前記第２の信号を色処理するように前記複数の画像処理部を制御する。
本発明の撮像装置は、被写体像を撮像し電気信号に変換する撮像部と、複数の画像処理部と、前記撮像部から出力された1フレーム分の電気信号を、前記複数の画像処理部のうちの一つの画像処理部で第１のパラメータを用いて色処理している期間中に、前記複数の画像処理部のうちの他の一つの画像処理部で前記第１のパラメータと異なる第２のパラメータを用いて色処理するように制御する制御部とを備える。
本発明の撮像装置の一態様では、前記色処理は、輝度信号及び色差信号を生成する処理を含む。
本発明の撮像装置は、被写体像を撮像し電気信号に変換する撮像部と、複数の画像処理部と、前記撮像部から出力された1フレーム分の電気信号を、前記複数の画像処理部のうちの一つの画像処理部で前記1フレーム分の電気信号を第１の方式で圧縮処理している期間中に、前記複数の画像処理部のうちの他の一つの画像処理部で前記第１の方式と異なる第２の方式を用いて圧縮処理するように制御する制御部とを備える。
本発明の撮像装置の一態様では、前記撮像部と前記複数の画像処理部との間に、前記撮像部で生じるノイズ成分を補正する補正部を更に備え、前記撮像部からの電気信号は、同じ前記補正部を介して前記複数の画像処理部へ入力される。

本発明によれば、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して、通常画像処理の遅さによって連写撮影時の駒数が制限されるという問題点を大幅に改善し、信頼性の高い撮像装置及び方法が実現する。

本願の第１の発明は、撮影画像をそのまま取り込み、撮影画像を一時記憶する一時記憶手段を構成するフロントブロックに関してはこれを１つとし、実際に絵作りを行うためのカラー処理ブロック、ＪＰＥＧ処理ブロック、カードメモリコントローラ及びカードメモリを含み画像処理手段を構成するリアブロックに関しては、同一機能を有するものを２つ以上並列で接続配置する構成とする。

具体的には、連写撮影時に１駒目については一方のリアブロックで処理し、その処理動作中に既に２駒目の撮影が完了している場合には、その撮影駒に対しての画像処理を他方のリアブロックで処理するというように、撮影の奇数駒と偶数駒で処理ブロックを切り替えるという方法が考えられる。

本願の第２の発明は、第１の発明と同様のブロック構成の中で、カメラの撮影モードが１つの撮影駒に対して複数の異なる画像処理を実行するというモードに設定されている場合を想定し、例えば一方のリアブロックでは、最初の撮影駒に対して非可逆圧縮の処理（いわゆるLossy処理）を実行する一方、画像処理の他方のリアブロックでは同一の撮影駒に対して可逆圧縮の処理（いわゆるLoss Less処理）を実行するという方法が考えられる。

また、上記の圧縮タイプそのものを変更するだけではなく、同一の撮影駒に対してカラー処理のパラメータそのものを複数の組み合わせで変化させ、そのうえで第１のパラメータ設定を行った画像を一方のリアブロックで処理し、第２のパラメータ設定を行った画像を他方のリアブロックで処理する方法も考えられる。

以下、本発明を適用した及び方法の具体例について、図面を参照しながら詳細に説明する。
図１は、本実施形態による撮像装置全体のハードウェア構成を示すブロック図である。図示の例では、撮影者自身による不図示のカメラ操作スイッチ (カメラのメインＳＷ及びレリーズＳＷで構成される)の状態変化を全体制御ＣＰＵ２５が検出し、その他の各回路ブロックへの電源供給並びに初期設定を開始する。

この撮像装置は、被写体像を結像し、その像データを各画素毎に電気信号に変換する撮像手段である撮像素子１と、撮像手段から出力された電気信号を一時的に記憶する一時記憶手段となるフロントブロック３１と、フロントブロック３１に記憶されている電気信号を読み出してこれを処理し、画像信号を生成する画像処理手段となるリアブロック３２，３３とを有して構成される。ここで、並列接続されたリアブロック３２，３３はフロントブロック３１に記憶されている電気信号をそれぞれ個別に処理自在とされている。

ここで、撮像素子１、フロントブロック３１及びリアブロック３２，３３を備えた同一構成の撮像装置において、リアブロック３２では第１のパラメータにより、リアブロック３３では第２のパラメータにより処理し、１つの撮影画像に対して異なる画像処理を同時に実行するようにしても良い。

フロントブロック３１は、撮像素子１から出力された電気信号を一時的に記憶するためのフロントメモリコントローラ６及びバッファメモリ７と、メモリコントローラ６の撮像素子１との同期をとるためのタイミング制御ブロック８とを含み構成されている。ここで通常、補正ブロック５、フロントメモリコントローラ６及びタイミング制御ブロック８が全体で１つのチップで構成されるが、本発明では便宜上、その機能に着目して、メモリコントローラ６、バッファメモリ７及びタイミング制御ブロック８からフロントブロック３１が構成されるものと規定する。

リアブロック３２は、いわゆる絵作り動作を行うためのリアメモリコントローラ９と、リアメモリコントローラ９を動作させるための信号を出力するタイミング制御ブロック１０と、ＪＰＥＧ処理ブロック１４、カラー処理ブロック１３及びワークメモリ１２と、ワークメモリ１２に記憶された画像データをカードコントローラ１５を介して記憶するカードメモリ１６と、通信Ｉ／Ｆ１１とを有し、リアメモリコントローラ８、ＪＰＥＧ処理ブロック１４、カラー処理ブロック１３、ワークメモリ１２、カードコントローラ１５及び通信Ｉ／Ｆ１１がバスＡ１に接続されている。

リアブロック３３も、リアブロック３２と同様に、絵作り動作を行うためのリアメモリコントローラ１７と、リアメモリコントローラ１７を動作させるための信号を出力するタイミング制御ブロック１８と、ＪＰＥＧ処理ブロック２２、カラー処理ブロック２１及びワークメモリ２０と、ワークメモリ２０に記憶された画像データをカードコントローラ２３を介して記憶するカードメモリ２４と、通信Ｉ／Ｆ１９とを有し、リアメモリコントローラ１７、ＪＰＥＧ処理ブロック２２、カラー処理ブロック２１、ワークメモリ２０、カードコントローラ２３及び通信Ｉ／Ｆ１９がバスＡ２に接続されている。

（第１の実施形態）
撮影画面範囲内の被写体像は、主撮影光学系２７を通して撮像素子（この場合にはＣＣＤ）１上に結像し、この撮像素子１からの出力信号をＣＤＳ／ＡＧＣ／ＡＤ回路４を介して各画素毎に相関二重サンプリング、ゲイン設定、ＡＤ変換を順次実施し、順々に所定のデジタル信号に変換する。

ここで、撮像素子１は、全体の駆動タイミングを決定しているタイミングジェネレータ（ＴＧ／ＳＳＧ）３からの信号に基づき、各画素毎の水平駆動並びに垂直駆動のためのドライバー回路２の出力で所定駆動することにより画像信号出力を発生する。

ＣＤＳ／ＡＧＣ／ＡＤ回路４の出力信号は、補正ブロック５に入力し、ここで撮像素子１と主撮影光学系２７との組み合わせ等で生ずるシェーディング補正を実行したり、センサ固有のパターンノイズを除去するための補正を実行するためのものであり、２次元画像データの水平方向及び垂直方向に対して、内部に組み込んでいる乗算回路や加算回路及びデータ記憶用のメモリを使って各画素毎の補正を行う。

以上のような処理を行った後、補正ブロック５の出力を、フロントメモリコントローラ６を介してバッファメモリ７（通常、ＳＤＲＡＭ等のメモリで構成される）へ順々にフレームデータとして記憶し、カメラの連写撮影時の画像を一時的に記憶していくことになる。

なお、図示したようにフロントメモリコントローラ６は、タイミングジェネレータ３と同期して動作するタイミング制御ブロック８の信号に基づいて動作することで撮像素子１との同期をとっていて、上述したように撮像素子１からのセンサ信号をＣＤＳ／ＡＧＣ／ＡＤ回路４、補正回路ブロック５を順次通して所定のバス巾データに変換し、バースト（連続）書き込みによってバッファメモリへデータを転送する。

ここで上述のように、補正ブロック５、フロントメモリコントローラ６、タイミング制御ブロック８は、全体でフロントブロックとして通常１つのチップで構成されている。

所定サイズの画像の書き込みが完了した時点で、フロントメモリコントローラ６は撮影データを記憶しているバッファメモリ７のデータをリアメモリコントローラ９を介してワークメモリ１２へ一時的に転送する。

なお、このリアメモリコントローラ９は、同様にタイミングジェネレータ３と同期して動作するタイミング制御ブロック１０の信号に基づいて動作する。

次に、このリアメモリコントローラ９は、ワークメモリ１２のデータを同じバスＡ１に接続されているカラー処理ブロック１３に順次転送し、いわゆる絵作り動作を行う。
この動作に関しては、図４に示したカラー処理ブロックの内部構成図を使って説明する。
バスＡを介してワークメモリから入力した画像データは、データ入出力Ｉ／Ｆ５０を通してここで所定のデータ巾に変換した後、色補間ブロック５２へ入力するが、ここではまず通常センサの画素配列がいわゆるベイヤー配列で構成されているものに対して、色補間処理を行ってＲＧＢの３プレーンのデータに変換する。

この色補間処理に続いて、マトリックス補正ブロック５３へ入力し、センサ固有のカラーフィルターの持つ分光特性から所望の色を出力するためのマトリックス補正を実行してＲ，Ｇ，ＢからＲ，Ｇ，Ｂへの変換を行う。
次にガンマ変換ブロック５４へ入力して、通常ＣＤＳ／ＡＧＣ／ＡＤでデジタルデータに変換したデータ巾１２ビットを８ビットに変換する処理を行い、所定のダイナミックレンジに入るようにデータの変換いわゆるγ変換を行う。
続いてＲ，Ｇ，Ｂ→Ｙ，Ｃｒ，Ｃｂ変換ブロック５５へ入力してＲ，Ｇ，ＢからＹ，Ｃｒ，Ｃｂの色変換処理を行った後、偽色除去ブロック５６へ入力してＣｒ，Ｃｂ成分に対する偽色除去処理を行う。

ここで、偽色除去処理としては、いわゆるサンプリング周波数と画像周波数との関係から生ずる色モアレ等の発生に対してメディアンフィルター（中間値フィルター）を使用する等が挙げられる。

更に、エッジ強調ブロック５７へ入力し、いわゆる画像の中間周波数付近のゲインを持ち上げるエッジ強調処理を行って画像の輪郭強調等の加工を行った後、解像度変換ブロック５８へ入力して所定の画像サイズにリサイズする。

ここで、所定の画像サイズにリサイズする場合には、実際にフィルター処理を行ってから間引き処理を行うことになるが、水平及び垂直方向に対して同等の処理を行う。

以上の動作を１フレーム分順々に行ってゆき、その結果をデータ入出力Ｉ／Ｆ５０を介して再度ワークメモリ１２上の別領域上に展開してゆくことになる。

以上の動作が図１に示した実際のカラー処理ブロック１３の実際の動作であるが、各ブロックの動作は基本的にパラメータ設定ブロック５１を介してその特性の設定を自由に全体制御ＣＰＵ２５からのデータによって変更可能であり、撮影駒毎に絵作り条件を変更することができる。

続いて、リアメモリコントローラ９は、このワークメモリ１２に展開したカラー処理後のデータを同じバスＡ１に接続されているＪＰＥＧ処理ブロック１４に順次転送し、ここで実際の画像の圧縮処理を実行する。

このＪＰＥＧ処理ブロック１４の動作に関しては、図５及び図６に示した内部構成図を使って説明する。
図５は、いわゆる非可逆タイプのＪＰＥＧ処理に関するものであり、ＤＣＴ変換をベースにした周波数変換を基本としている。

初めに、上述した方法でカラー処理を行った結果を記憶しているワークメモリ１２の画像処理後のデータを、データ入出力Ｉ／Ｆ６０を介して読み込み、ラスターブロック変換ブロック６３へ入力して、画像データを水平８画素、垂直８画素単位における２次元単位におけるブロックに変換する。

次に、ＤＣＴ変換ブロック６４にデータを入力し、ここでは８×８ブロック単位でいわゆる周波数成分毎の８×８のデータに変換するＤＣＴ変換を行い、２次元単位における低周波成分から高周波成分への係数を算出する。

次に、量子化ブロック６５へ入力して上記ＤＣＴ変換で算出した係数値に対する量子化を行うが、この量子化に関しては事前に値が設定されている量子化テーブル６１の値に基づいて各係数毎の除算にて実現している。

更に、この量子化した結果を所定のスキャン方向に沿ってデータを読み出しながら、ハフマン符号化ブロック６６へ入力して、ここではやはり事前に値が設定されているハフマンテーブル６２の値に沿ったエントロピー符号化を実施する。

上記の方法で圧縮したデータを再度データ入出力Ｉ／Ｆ６０を介してワークメモリ１２の所定領域内に書き戻すことにより、一連の圧縮処理を終了する。

一方、別のタイプのＪＰＥＧ処理としては可逆タイプの圧縮方法があるが、この方法に関しては図６の内部ブロック構成図を用いて説明を行う。
図６は、いわゆるＤＰＣＭをベースにした可逆タイプのＪＰＥＧ処理に関するものである。初めに、上述した方法でカラー処理を行った結果を記憶しているワークメモリ１２の画像処理後のデータを、データ入出力Ｉ／Ｆ７０を介して読み込み、ＤＰＣＭ変換ブロック７２へ入力して、予測値との差分データとして画像データを変換する。

次に、このＤＰＣＭ変換したデータを読み出しながらハフマン符号化ブロック７３へ入力して、ここでは事前に値が設定されているハフマンテーブル７１の値に沿ったエントロピー符号化を実施する。

上記の方法で圧縮したデータを再度データ入出力Ｉ／Ｆ７０を介してワークメモリ１２の別の所定領域内に書き戻すことにより、一連の圧縮処理を終了する。

以上の方法により、ＪＰＥＧ処理ブロック１４を介して所定の圧縮フォーマットに基づきデータ圧縮したうえで、その圧縮データをカードコントローラ１５を介してカードメモリ１６(通常、フラッシュメモリ等の不揮発性メモリを使用する。)に記憶する。

また、逆に撮影済みの画像データを観察する場合には、上記カードメモリ１６に圧縮記憶されたデータをＪＰＥＧ処理ブロック１４（但し前述した図５及び図６のＪＰＥＧ処理ブロック構成図の中では圧縮したデータを伸張するブロックは記載していない。）を通して通常の撮影画素毎のデータに伸張し、その結果をワークメモリ１２へ転送することで、不図示のモニター表示手段を通して撮影画像を縮小して外部表示することができる。

以上が図１の破線で示したいわゆる画像の後処理を行うリアブロック３２の構成を説明したものであるが、全く同様にフロントメモリコントローラ６を介して出力されるデータを後処理するリアブロック３３が存在する。

このリアブロック３３では、フロントメモリコントローラ６を介してバッファメモリ７に記憶した撮影画像を、リアメモリコントローラ１７を介してワークメモリ２０へ転送する。
更に、リアメモリコントローラ１７はタイミング制御ブロック１８からのタイミング信号に基づいて、ワークメモリ２０のデータを読み出してカラー処理ブロック２１へ転送し、ここで前述した方法に沿って実際の絵作り処理を行い、その結果を再度ワークメモリ２０へ転送する。

続いて、リアメモリコントローラ１７はワークメモリ２０に記憶した画像処理後のデータを読み出してＪＰＥＧ処理ブロック２２へ転送し、ここで前述した方法に沿ってＪＰＥＧ圧縮処理を行い、その圧縮データを再度ワークメモリ２０へ書き戻すことになる。

更に、この圧縮後のデータをカードコントローラ２３を介してカードメモリ２４へ書き込み撮影画像の記録を完了する。

一方、カメラ全体の制御及び上記コントローラに対するシーケンス制御に関しては、全体制御ＣＰＵ２５が、バスＢに接続されているインストラクションメモリ２６に記憶してあるインストラクションコードに従って命令を実行することで動作を行い、レンズ制御手段２８を介して主撮影光学系２７を駆動制御（レンズ内のフォーカス駆動や絞り駆動制御する。）したり、不図示のシャッター制御手段を介して実際のシャッター露光制御を行い、通信Ｉ／Ｆ１１を介してリアブロック３２内における撮影処理画像に対してヘッダー情報を付加したり、撮影条件等の情報をカードメモリ内のデータとして付加したりして記録する。

同様に、リアブロック３３に対しても通信Ｉ／Ｆ１９を介して上記と同様の処理を行って、様々な情報を付加して記録する。

以上が図１に示した全体ブロックの構成に関する説明であるが、次に、上記フロントブロックからリアブロック３２及びリアブロック３３へのデータ受け渡し方法に関して、図２に示した撮影シーケンスタイミング図を用いて説明を行う。

図２は、実際のカメラで連写撮影等を行った場合のタイミングを簡単に表したものであるが、一番上にシャッター露光タイミングを示しており、この場合連写撮影動作としてほぼ同間隔で撮影を行い１０駒目まにおける撮影を行っている。

その下には、センサ読出しタイミングを示しており、各駒共にシャッター露光完了と同時にセンサ読出しを行い、前述したようにフロントメモリコントローラ６の制御に従ってバッファメモリ７に撮影画像データを書き込んでいる。

その下には、リアメモリコントローラ９の制御により上記バッファメモリ７の記憶画像をワークメモリ１２に転送している様子を示しており、上記１駒目の撮影画像がバッファメモリ７に書き込み完了した時点で動作を開始（実際にはバッファメモリに全ての画像を記憶する前に動作を開始することも可能）する。

その下には、リアブロック３２におけるカラー処理の動作タイミングの様子を示し、その下は同様にリアブロック３２におけるＪＰＥＧ処理の動作タイミングの様子を示しており、更にその下にはリアブロック３２におけるカード書込み処理の動作タイミングの様子を示している。

以上のように各ブロックでは、１駒目の撮影画像に対して少しずつ開始タイミングをずらしながら処理を行ってゆく。

その下には、リアブロック３２の通信Ｉ／Ｆ処理の動作タイミングを示しており、この図にあるように初めに全体制御ＣＰＵ２５からの命令でリアメモリコントローラ９に対して１駒目の撮影画像の制御開始動作を指示する。

更に、リアブロック３２における１駒目のカード書込み動作が完了した時点で、リアメモリコントローラ９からの完了割り込み信号を全体制御ＣＰＵ２５へ伝達して１駒目の処理が完了したことを通知する。

次に、２駒目の撮影画像に対する処理の場合には、図２の一番下に示したリアブロック３３の通信Ｉ／Ｆ処理の動作タイミングに示したように、リアブロック３２における１駒目の各処理動作が完了する前に、全体制御ＣＰＵ２５からの命令でリアメモリコントローラ１７に対して２駒目の撮影画像の制御開始動作を指示する。

この指示により、リアブロック３３内のリアメモリコントローラ１７は、フロントブロック内のバッファメモリ７のデータをワークメモリ２０へ転送するが、このタイミングを図２の下から５番目のタイミングで示している。

その下には、リアブロック３３におけるカラー処理の動作タイミングの様子を示しており、その下には、同様にリアブロック３３におけるＪＰＥＧ処理の動作タイミングの様子を示している。更にその下には、リアブロック３３におけるカード書込み処理の動作タイミングの様子を示している。

以上のように各ブロックでは、２駒目の撮影画像に対して少しずつ開始タイミングをずらしながら処理を行ってゆく。
その下には、前述したようにリアブロック３３の通信Ｉ／Ｆ処理の動作タイミングを示しており、リアブロック３３における撮影画像２駒目のカード書込み動作が完了した時点で、リアメモリコントローラ１７からの完了割り込み信号を全体制御ＣＰＵ２５へ伝達して撮影画像２駒目の処理が完了したことを通知する。

このように、リアブロック３２における１駒目の画像処理が完了する前に、２駒目の撮影画像に対する画像処理を開始するので１駒目の撮影画像と２駒目の撮影画像は別々のカードメモリに記憶することになる。

更に、この構成の場合リアブロック３３における画像処理を完了する前に、３駒目に対する処理をリアブロック３２で開始する構成となっており、非常に高速な画像処理をいわゆるインターリーブ処理を行うことで実現している。

なお、この図２で示したタイミングでは、奇数撮影駒に対する処理はリアブロック３２であり、偶数撮影駒に対する処理はリアブロック３３で処理する構成となっているが、必ずしもこのような撮影駒に限定する必要はなく、処理を開始する前に動作が完了しているブロックを使用する方法も考えられる。

例えば、１駒目の処理がリアブロック３２で完了する前に、２駒目の処理がリアブロック３３で完了した場合（１駒目と２駒目はこのタイミング図では時間差があるが、処理が進むにつれリアブロック３２とリアブロック３３が処理を開始するタイミングは近づいていき、処理時間が逆転する場合もある。）には、３駒目の処理はリアブロック３３で続けて行うことも可能である。

これは、各リアブロック内のリアメモリコントローラからの処理完了割り込みを各通信Ｉ／Ｆブロックを介して全体制御ＣＰＵ２５が検出することで、次の撮影駒に対する処理をどちらのブロックで実行するかを決定することによって実現している。

以上説明したように、本実施形態によれば、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して信頼性の高い撮像装置が実現する。即ち、カメラの高速連写撮影時などにおいて、撮像素子からの画像データを高速に読み出し、一時的にそのままの形（ＲＡＷデータ形式）でバッファメモリに連続的に記憶してゆきながら、１駒目の撮影画像に対する処理を一方の処理ブロックで開始する一方で、２駒目の撮影画像に対する処理もほぼ同時に他方の処理ブロックで開始するという方法を採る。これにより、通常画像処理の遅さによって連写撮影時の駒数が制限されるという問題点が大幅に改善される。

また、このようなマルチ処理を実行する際に、単に奇数駒に対する処理は一方のリアブロックで行い、偶数駒に対する処理は他方のリアブロックで行うというような固定的な処理システムのみならず、その時々で画像処理が完了しており、次の処理を開始できる準備が整っているリアブロックを優先的に使用するというような、より高機能のマルチ処理システムを構成することにより、更に高速な撮像装置が実現される

（第２の実施形態）
次に本発明の第２の実施例について、図３のタイミングチャート用いて説明を行う。
この実施形態では、撮像装置の全体構成に関しては図１と全く同じであるが、図１のリアブロック３２内のＪＰＥＧ処理ブロック１４については、例えば前述したような図５に示したＤＣＴ変換を基にした非可逆タイプの圧縮処理を実行するものとし、他方、リアブロック３３内のＪＰＥＧ処理ブロック２２については、例えば前述したような図６に示したＤＰＣＭ変換を基にした可逆タイプの圧縮処理を実行するものとする。

なお、当然のことながら、リアブロック３２内のＪＰＥＧ処理ブロック１４を可逆タイプの圧縮処理とし、リアブロック３３内のＪＰＥＧ処理ブロック２２を非可逆タイプの圧縮処理としても構わない。

図３は、実際のカメラで連写撮影等を行った場合のタイミングを簡単に表したものであり、一番上にシャッター露光タイミングを示しており、この場合連写撮影動作としてほぼ同間隔で撮影を行い１０駒目までにおける撮影を行っている。

その下には、リアブロック３２におけるカラー処理の動作タイミングの様子を示し、その下は同様にリアブロック３２におけるＪＰＥＧ処理の動作タイミングの様子を示しており、更にその下には、リアブロック３２におけるカード書込み処理の動作タイミングの様子を示している。ここで、ＪＰＥＧ処理に関しては、図５に示したＤＣＴ変換による非可逆タイプの圧縮処理を行うものとする。

その下には、リアブロック３２の通信Ｉ／Ｆ処理の動作タイミングを示しており、この図３に示すように、初めに全体制御ＣＰＵ２５からの命令によりリアメモリコントローラ９に対して１駒目の撮影画像の制御開始動作を指示する。

更に、リアブロック３２における１駒目のカード書込み動作が完了した時点で、リアメモリコントローラ９からの完了割り込み信号を全体制御ＣＰＵ２５へ伝達して１駒目の処理（この場合１駒目を非可逆タイプのＪＰＥＧ処理で実行）が完了したことを通知する。

同時に、上記の動作と同じタイミングでリアブロック３３に対しても１駒目の撮影画像に対する処理を開始するが、この撮影画像に対する処理の場合には、図３の一番下に示したリアブロック３３の通信Ｉ／Ｆ処理の動作タイミングに示すように、リアブロック３２における１駒目の各処理動作を開始するタイミングと同時に、ＣＰＵ２５からの命令によりリアメモリコントローラ１７に対して１駒目の撮影画像の制御開始動作を指示する。

この指示により、リアブロック３３内のリアメモリコントローラ１７は、フロントブロック内のバッファメモリ７のデータをワークメモリ２０へ転送する。このタイミングを図３の下から５番目のタイミングで示している。

その下には、リアブロック３３におけるカラー処理の動作タイミングの様子を示しており、その下には、同様にリアブロック３３におけるＪＰＥＧ処理の動作タイミングの様子を示し、更にその下には、リアブロック３３におけるカード書込み処理の動作タイミングの様子を示している。ここで、ＪＰＥＧ処理に関しては図６に示したＤＰＣＭ変換による可逆タイプの圧縮処理を行うものとする。

その下には、前述したようにリアブロック３３の通信Ｉ／Ｆ処理の動作タイミングを示しており、リアブロック３３における撮影画像１駒目のカード書込み動作が完了した時点で、リアメモリコントローラ１７からの完了割り込み信号を全体制御ＣＰＵ２５へ伝達して撮影画像１駒目の処理（この場合、１駒目を可逆タイプのＪＰＥＧ処理で実行する。）が完了したことを通知する。

このように、リアブロック３２では、１駒目の撮影画像に対する画像処理（非可逆タイプの圧縮処理）を実行し、同時にリアブロック３３では、１駒目の撮影画像に対する画像処理（可逆タイプの圧縮処理）を実行するので、１つの撮影画像に対して同時に異なる圧縮方法に基づく画像を形成し、非可逆タイプの圧縮画像と可逆タイプの圧縮画像は別々のカードメモリに記憶することになる。

２駒目以降の撮影画像に対する処理も全く同様であり、通信Ｉ／Ｆ１１及び１９を介して全体制御ＣＰＵ２５がリアメモリコントローラ９及び１７に対して制御開始の指示を与えることにより、１駒目と全く同様の処理を開始する。

また、上記構成の場合、リアブロック３２，３３で圧縮の方法を変えることにより、別々の画像処理を実行していたが、カラー処理ブロック１３，２１における処理方法を変えることにより、１つの撮影画像に対して異なる画像処理を実行する方法もある。

この場合には、図４に示したカラー処理ブロックの構成図の中で、パラメータ設定手段１５１の設定値をリアブロック３２，３３で変更することにより、例えば色補間やマトリックス補正のパラメータを変更するといった色処理の異なった画像を同時に形成したり、又解像度変換手段のパラメータを変更することにより、異なる画像サイズのファイルを同時に形成するということが可能となる。

以上説明したように、本実施形態によれば、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して信頼性の高い撮像装置が実現する。即ち、１つの撮影画像に対して複数の画像処理を実行して複数の異なる画像を同時に形成するような撮像システムの場合に、カメラの高速連写撮影時などで撮像素子からの画像データを高速に読み出して、一時的にそのままの形（ＲＡＷデータ形式）でバッファメモリに連続的に記憶していきながら、１駒目の撮影画像に対して一方の処理ブロックで第１の画像パラメータによる画像処理を実行し、同時に１駒目の撮影画像に対して他方の処理ブロックで第２の画像パラメータによる画像処理を実行することにより、ほぼ同時に異なる画像を作成できる。そのため、通常１回の撮影データに対して２回の画像処理を行わねばならない場合と比較して、より高速に複数の画像データを形成することが可能となる。

特にこの場合、複数の外部メモリカードとの組み合わせにより、例えば一方の外部メモリカードには非可逆タイプのLossy圧縮画像を、他方の外部メモリカードには可逆タイプのLoss Less圧縮画像を記録することができ、ユーザに対しての画像タイプ毎の容易な分類機能を提供すると共に撮影時の高速性を実現することが可能となる。

なお、第１及び第２の本実施形態では、２つのリアブロック３２，３３が並列接続された場合を例示したが、本発明はこの構成に限定されるものではなく、３つ以上のリアブロックを並列接続し、撮影状況等に適合させて適宜切り替えるように構成しても良い。

第１及び第２の実施形態に係る撮像装置全体のハードウェア構成を示すブロック図である。第１の実施形態に係る実際の動作タイミングを表したタイミング図である。第２の実施形態に係る実際の動作タイミングを表したタイミング図である。本発明に係る画像処理の構成を示すブロック図である。本発明に係る非可逆タイプの圧縮処理の構成を示すブロック図である。本発明に係る可逆タイプの圧縮処理の構成を示すブロック図である。従来の撮像装置全体のハードウェア構成を示すブロック図である。

符号の説明

１撮像素子
２ドライバー回路
３ＴＧ／ＳＳＧ
４ＣＤＳ／ＡＧＣ／ＡＤ回路
５補正ブロック
６フロントメモリコントローラ
７バッファメモリ
８，１０，１８タイミング制御ブロック
１１，１９通信Ｉ／Ｆ
１２，２０ワークメモリ
１３，２１カラー処理ブロック
１４，２２ＪＰＥＧ処理ブロック
１５，２３カードコントローラ
１６，２４カードメモリ
２５全体制御ＣＰＵ
２６インストラクションメモリ
２７主撮影光学系
２８レンズ制御手段
３１フロントブロック
３２，３３リアブロック

Claims

被写体像を撮像し電気信号に変換する撮像部と、
複数の画像処理部と、
前記撮像部から出力された1フレーム分の第１の電気信号を、前記複数の画像処理部のうちの一つの画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の次に出力された1フレーム分の第２の電気信号を、前記複数の画像処理部のうちの他の一つの画像処理部で画像処理を行うように制御する制御部と
を備えることを特徴とする撮像装置。
前記画像処理は、色処理を含むことを特徴とする請求項１に記載の撮像装置。
前記色処理は、輝度信号及び色差信号を生成する処理を含むことを特徴とする請求項２に記載の撮像装置。
前記画像処理は、圧縮処理を含むことを特徴とする請求項１に記載の撮像装置。
前記画像処理は、色処理及び圧縮処理を含むことを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記第１の電気信号を圧縮処理している期間中に、前記第２の信号を色処理するように前記複数の画像処理部を制御することを特徴とする請求項１に記載の撮像装置。
被写体像を撮像し電気信号に変換する撮像部と、
複数の画像処理部と、
前記撮像部から出力された1フレーム分の電気信号を、前記複数の画像処理部のうちの一つの画像処理部で第１のパラメータを用いて色処理している期間中に、前記複数の画像処理部のうちの他の一つの画像処理部で前記第１のパラメータと異なる第２のパラメータを用いて色処理するように制御する制御部と
を備えることを特徴とする撮像装置。
前記色処理は、輝度信号及び色差信号を生成する処理を含むことを特徴とする請求項７に記載の撮像装置。
被写体像を撮像し電気信号に変換する撮像部と、
複数の画像処理部と、
前記撮像部から出力された1フレーム分の電気信号を、前記複数の画像処理部のうちの一つの画像処理部で前記1フレーム分の電気信号を第１の方式で圧縮処理している期間中に、前記複数の画像処理部のうちの他の一つの画像処理部で前記第１の方式と異なる第２の方式を用いて圧縮処理するように制御する制御部と
を備えることを特徴とする撮像装置。
前記撮像部と前記複数の画像処理部との間に、前記撮像部で生じるノイズ成分を補正する補正部を更に備え、
前記撮像部からの電気信号は、同じ前記補正部を介して前記複数の画像処理部へ入力されることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。