JP3854833B2

JP3854833B2 - 撮像装置およびその信号処理方法およびプログラム及び記憶媒体

Info

Publication number: JP3854833B2
Application number: JP2001273014A
Authority: JP
Inventors: 浩近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-09-10
Filing date: 2001-09-10
Publication date: 2006-12-06
Anticipated expiration: 2021-09-10
Also published as: CN1404297A; US20030048366A1; JP2003087803A; US7227572B2; CN1191722C

Description

【０００１】
【発明の属する技術分野】
本発明は、ホワイトバランス演算を行う撮像装置に関するものである。
【０００２】
【従来の技術】
従来、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ等の撮像素子で撮像した静止画像を撮像するデジタルカメラ等の撮像装置が市販されている。
【０００３】
これらの撮像装置では、撮像素子からの出力データを一旦バッファメモリへ取り込んで撮影処理を行い、さらに画像処理及び圧縮処理を施して再度バッファメモリへ格納する現像圧縮処理を行った後、取り外し可能なカード上の記録媒体へ書き込む処理が行われるのが一般的である。
【０００４】
このような撮像装置の撮影処理におけるホワイトバランス制御に関しては、従来、以下の手順で実行されていた。まず撮像素子からメモリに取り込まれた信号処理されていない未処理の生データ（以降ＲＡＷ画像データと呼ぶ）を読み出し、読み出された画像データ中の白と認識される画像データを所定のアルゴリズムにより抽出してホワイトバランス（ＷＢ）係数を決定し（以降この処理をＷＢ演算と呼ぶ）、演算の結果得られるＷＢ係数を色信号に乗じることで白データの補正を行う方法が用いられている。
【０００５】
そして、１行おきにインターレース走査で読み出されるフレーム読み出し方式の撮像素子を用いた場合、２フィールドで１画面分のＲＡＷ画像データが生成されるが、撮像素子の色フィルタ配列が図７に示すようなベイヤー配列の場合、1フィールド読み出しただけではＲ信号とＧ信号しかえられず、全ての色情報は得られない。ホワイトバランスの演算では少なくともＲ，Ｂ信号が必要であり、ＷＢ演算のアルゴリズムでは、ＲＧＢの全ての信号を用いて生成される輝度信号を必要とするケースもある。つまり、１行おきにインターレース走査で読み出されるフレーム読み出し方式の撮像素子を用いた場合、従来は２フィールド、つまり１フレーム（画面）分のＲＡＷデータがメモリに書き込まれるのを待ってから、ＷＢ演算を開始していた。そのため、ＷＢの演算に時間を考慮しなければならず、例えば、静止画の連続撮影の際には、撮像コマ間の時間を短縮化するための妨げの原因となっていた。
【０００６】
【発明が解決しようとする課題】
本願発明は、上述した問題を解決したものであり、ホワイトバランスの処理の短縮化を目的とするものである。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本願発明によれば、第１、第２、第３の異なる色成分を含む色フィルタを備え、被写体像を撮像して１画面分の画像データを取得する撮像手段を有する撮像装置において、
前記撮像手段から、１フィールド期間ごとに１ラインおきにインターレース走査して、前記第１と前記第２の色成分を含む第１フィールドと、前記第２と前記第３の色成分を含む第２フィールドを１フレーム期間で順次読み出して出力する読み出し手段と、
前記読み出し手段から出力された画像データ中の複数の色成分信号に基づいてホワイトバランス係数を演算するホワイトバランス演算手段と、
前記ホワイトバランス演算手段は、前記読み出し手段により、前記第１フィールドで前記第１と前記第２の色成分を読み出し、前記第２フィールドで前記第２と前記第３の色成分を読み出すことによって、前記第１フィールドの読み出し終了後、前記第２フィールド目の画像データの読み出し動作と並行してホワイトバランス係数を演算することを特徴とする撮像装置を提供する。
【０００８】
また、第１、第２、第３の異なる色成分を含む色フィルタを備え、被写体像を撮像して１画面分の画像データを取得する撮像手段を有する撮像装置の信号処理方法であって、
前記撮像手段から、１フィールド期間ごとに１ラインおきにインターレース走査して、前記第１フィールドで前記第１と前記第２の色成分を読み出し、前記第２フィールドで前記第２と前記第３の色成分を１フレーム期間で順次読み出して出力することによって、前記第１フィールドの読み出し終了後、第２フィールド目の画像データの読み出し動作と並行して前記撮像手段から出力された画像データ中の複数の色成分信号に基づいてホワイトバランス係数を演算することを特徴とする撮像装置の信号処理方法を提供する。
【０００９】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００１０】
図１は、本発明の実施の一形態である、インターレース走査の１行読み出しを行うことにより全画面の画像出力を１フレーム期間で読み出すフレーム読み出し方式の撮像素子を使用して静止画を撮影する撮像装置の構成を示す図である。
【００１１】
図１において、撮像装置本体１００は以下の構成を有する。撮影レンズ１０は、ズームレンズおよびフォーカスレンズを含む。光学ファインダ１１は被写体像を確認するためのものである。シャッター１２は絞り機能を兼用している。撮像素子１４はＣＣＤなどによって構成され、図７に示すような原色モザイクフィルタを介して光学像を電気信号に変換する。前置処理回路１５は内部に撮像素子１４の出力ノイズ除去のためのＣＤＳ（相関2重サンプリング）回路やＡＧＣ（自動利得制御）回路を含む。Ａ／Ｄ変換器１６は前置処理回路１５から出力されるアナログ信号をデジタル信号に変換する。
【００１２】
タイミング発生回路（ＴＧ）１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給し、タイミングは信号処理IC２２により制御される。
【００１３】
信号処理ＩＣ２２はＣＰＵ５０からの指示により、Ａ／Ｄ変換器１６からのデータ或いはＤＲＡＭ３０からのデータに対して所定の画素補間処理や色変換処理、拡大・縮小、画像データ形式変換を行う。また、ＤＭＡコントローラ、Ｄ／Ａ変換器、画像データを圧縮伸長する圧縮・伸長回路を内蔵している。さらに信号処理ＩＣ２２は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果をＤＲＡＭ３０に保存する。ＣＰＵ５０はこの演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行っている。
【００１４】
画像表示部ＴＦＴＬＣＤ等から成り、ＤＲＡＭ３０に書き込まれた表示用の画像データは信号処理ＩＣ２２内部のＤ／Ａ変換器（不図示）を介して画像表示部２８により表示される。すなわち、記録した画像を再生するだけでなく画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。画像表示部２８は画像の他、各種情報・モード設定状況の表示にも使用される。また、画像表示部２８は、ＣＰＵ５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には装置本体１００の電力消費を大幅に低減することが出来る。また、画像表示部２８の表示部分をカメラ本体側に向けることで表示部分を保護しつつ格納することが可能であり、この場合は検知ＳＷ９８により、格納状態を検知して画像表示部２８の表示動作を停止することが出来る。
【００１５】
ＤＲＡＭ３０は撮影した非圧縮データの一時格納、ＡＦ／ＡＥ／ＡＷＢ／ＥＦ演算結果の保持、画像表示部２８への表示用画像の保持、圧縮画像データの保持等に使用されるメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００１６】
ズーム制御回路は撮影レンズ１０および光学ファインダ１１のズーミングを制御する。
【００１７】
コネクタ４６はアクセサリーシューとも呼ばれ、外部ストロボ装置４００との電気接点や機械的な固定手段を備えている。外部ストロボ装置４００は、アクセサリーシューと接続するためのコネクタ４０２，外部ストロボ４０４を有する。また、内蔵ストロボ４８はＴＴＬ調光機能を有している。
【００１８】
ＣＰＵ５０はデジタルカメラ装置１００全体を制御ものであり、信号処理ＩＣ２２によってＤＲＡＭ３０に格納されたＡＦ／ＡＥ／ＡＷＢ／ＥＦの演算結果に基づき、ＡＦ／ＡＥ／ＡＷＢ／ＥＦ制御を行う他、信号処理ＩＣ２２に対するデータフロー制御、各種キースキャン動作、ズーム制御、周辺モジュールとの通信等を行っている。メモリ５２はＣＰＵ５０の動作用の変数等を記憶する。
【００１９】
通知部５４はＣＰＵ５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、装置本体１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００２０】
通知部５４の表示内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、ストロボ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、等がある。
【００２１】
フラッシュメモリ５６は電気的に消去・記録可能であり、ＣＰＵ５０を動作させるために必要なプログラムやカメラ固有の調整データ等があらかじめ書き込まれている。
【００２２】
以下主な操作部材の具体的な説明を行う。
【００２３】
モードダイヤルスイッチ６０は２段構造となっており、下段には電源オフ（ＯＦＦ）、撮影モード、再生モードの３つの状態が切換可能である。また、上段には撮影時、目的・シーンに合わせてユーザが設定する各種撮影モードが割り当てられており、全自動撮影モード（ＡＵＴＯ）、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、パンフォーカスモード、ポートレートモード、風景モード、夜景モード、色効果モード、スティッチアシストモード、動画撮影モードの各モードを切り替え設定することが出来る。
【００２４】
シャッタースイッチ６４は２段階のスイッチＳＷ１，ＳＷ２で構成されている。シャッターボタン６４を半押しすることでＳＷ１がＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理）処理等の動作開始を指示する。さらにシャッターボタンを全押しすることによりＳＷ２がＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、信号処理ＩＣ３０を介してＤＲＡＭ３０に画像データを書き込む。次に信号処理ＩＣ３０はＣＰＵ５０からの指示に従って、ＤＲＡＭ３０から画像データを読み出し、色補正、画素補間、色変換等の画像処理を行った後、圧縮処理を行い、記録媒体２００に画像データを書き込む。
【００２５】
ストロボ切替ＳＷ６８は、撮影時のストロボの発光モードを強制発光・非発光・自動発光の各モードに切り替える。
【００２６】
ドライブモード切替ボタン７８はボタンを押す度に、サイクリックに単写／連写／セルフタイマーの切り替えを行う。
【００２７】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びＣＰＵ５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給し、必要に応じて通知部５４、画像表示部２８に電池残量表示を行う。
【００２８】
８２及び８４はコネクタであり、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源供給部である。
【００２９】
記録媒体２００はメモリカードやハードディスク等からなり、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ装置１００とのインタフェース２０４、デジタルカメラ装置１００と接続を行うコネクタ２０６を備えている。コネクタ９２はメモリカードやハードディスク等の記録媒体と接続を行う。
【００３０】
検知部９８は、画像表示部２８の表示部分を撮像装置１００に向けて格納した格納状態にあるかどうかを検知することが出来る検知ＳＷ、電池蓋が開けられたことを検出する電池蓋開閉検出ＳＷ、外部ストロボ４０４の装着状態検出ＳＷ等が含まれる。
【００３１】
図２及び図３は本実施の形態における撮像装置１００の主ルーチンのフローチャートである。図２及び図３を用いて、撮像装置１００の主動作を説明する。
【００３２】
ＣＰＵ５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（Ｓ２０３）、表示部２８の表示を終了状態に変更し、絞り兼用シャッター１２を閉じて撮像部を保護する。そして、フラグや制御変数等を含む必要なパラメータや設定値、設定モードをメモリ５２に記録し、電源制御部８０により画像表示部２８を含むデジタルカメラ装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ２０５）、Ｓ２０３に戻る。
【００３３】
モードダイアル６０が撮影モードに設定されていたならば（Ｓ２０３）、Ｓ２０６に進む。モードダイアル６０がその他のモードに設定されていたならば（Ｓ２０３）、ＣＰＵ５０は選択されたモードに応じた処理を実行し（Ｓ２０４）、処理を終えたならばＳ２０３に戻る。
【００３４】
ＣＰＵ５０は、電源制御部８０により電池等により構成される電源８６の残容量や動作状況が撮像装置１００の動作に問題があるか否かを判断し（Ｓ２０６）、問題があるならば画像表示部２８あるいは通知部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ２０８）、Ｓ２０３に戻る。
【００３５】
電力供給部８６に問題が無いならば（Ｓ２０６）、ＣＰＵ５０は記録媒体２００の動作状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断し（Ｓ２０７）、問題があるならば画像表示部２８あるいは表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ２０８）、Ｓ２０３に戻る。
【００３６】
記録媒体２００の動作状態に問題が無いならば（Ｓ２０７）、Ｓ２０８に進む。
【００３７】
その後、スルー画像（静止画を撮影する前後にファインダ機能として表示させるための撮像素子１４によって撮像された動画像）を画像表示部２８に表示するための撮影準備の初期化を行い（Ｓ２０８）、準備が完了したらスルー画像を画像表示部２８に表示開始する（Ｓ２０９）。
【００３８】
次にスルー画像表示状態における静止画撮影時のカメラ動作について図３を参照しながら説明する。
【００３９】
モードダイアル６０が変更されていたら（Ｓ３０１）、Ｓ２０３に戻りダイアル状態をチェックする。変更されていなければ、次に検知部９８ドライブモード切替ボタン７８、ストロボ切替ＳＷ６８の少なくともいずれかに変化がないかをチェックし（Ｓ３０４）、もし変更があれば変更された個所に応じた処理を行う（Ｓ３０５）。
【００４０】
シャッタースイッチSW1が押されていないならば（Ｓ３０６）、スルー画表示を継続して行うための処理を行う。さらに信号処理ＩＣ２２が撮像素子１４から得られた信号に対して所定の測光演算を行いその演算結果をＤＲＡＭ３０に格納する。ＣＰＵ５０はこの演算結果を元にスルー画像に対するＡＥ・ＡＷＢ処理を行う（Ｓ３０７）。その後Ｓ３０１に戻る。
【００４１】
Ｓ３０６においてシャッタースイッチＳＷ１が押されたならば、ＣＰＵ５０は、ＤＲＡＭ３０に格納されているフォーカス情報および測光用情報に基づいて、測距演算を行い撮影レンズ１０の焦点を被写体に合わせ、測光演算を行い撮影モード毎のプログラム線図に従って得られた絞り値に絞り兼用シャッター１２を制御する（Ｓ３０８）。
【００４２】
次にＳＷ２の状態をチェックする（Ｓ３０９）。まだＳＷ２が押されていなければ、その後再度シャッターＳＷ１の状態を見て（Ｓ３１０）シャッタースイッチSW1が離されたらＳ３０７へ戻る。ＳＷ１が押されていた場合には再びＳＷ２の状態を監視しつづける（Ｓ３０９）。
【００４３】
Ｓ３０９において、ＳＷ２が押された場合は、現状の測光結果及び撮影モード毎のプログラム線図を参照して、撮影時のシャッター速度・撮像出力ゲイン・ストロボ発光等の設定を最終的に決定する（Ｓ３１１）。さらに画像表示部２８に表示していたスルー画像表示を停止し、撮影シーケンスに移行する（Ｓ３１２）。
【００４４】
まず一連の撮影動作を行う撮影処理を実行する（Ｓ３１３）。撮影処理後ＤＲＡＭ３０には、撮像素子１４からＡ／Ｄ変換器１６を通して読み出された信号処理前の未処理の画像データ（以降このデータをＲＡＷ画像データと呼ぶこととする）が保存されている。信号処理ＩＣ２２はＣＰＵ５０からの指示に従い、このＲＡＷデータをＤＲＡＭ３０から読み出し、まず撮影処理で得られたＷＢ係数をもとに色補正（ホワイトバランス補正）を行う（Ｓ３１４）。
【００４５】
そして、ＪＰＥＧなどの所定の現像・圧縮処理を行い処理後の画像データをＤＲＡＭ３０内に保存する（Ｓ３１５）。そして、処理後の画像データを表示用画像に変換し再びＤＲＡＭ３０に格納する。この表示用画像データを信号処理ＩＣ２２が所定のレートで読み出し、Ｄ／Ａ変換後、画像表示部２８に出力することにより、撮影された静止画の確認画像表示を行う（Ｓ３１６）。Ｓ３１５でＤＲＡＭ３０に保存された圧縮画像データを記録媒体２００へ書き込み（Ｓ３１７）、Ｓ３０７へ戻る。
【００４６】
図４は、ステップＳ３１３の撮影処理の詳細を示す動作処理フローチャートである。
【００４７】
ＣＰＵ５０は、撮像素子１４から出力されたＲＡＷ画像データをＤＲＡＭ３０に一時保存するためのＤＲＡＭ書込み設定を行う（Ｓ４０１）。ＤＲＡＭ３０への書き込みは、インターレース読み出しに従い、1ラインおきに書き込まれるようにＤＭＡコントローラに対して書き込みアドレスの設定を行う。
【００４８】
そして、タイミング発生回路１８に対して電子シャッター停止指令を出して露光を開始させるとともに、絞り兼用シャッター１２のシャッター閉じタイミングを、予め決定したシャッター秒時に従ってＣＰＵ内蔵タイマにセットする（Ｓ４０２）。ＣＰＵ内蔵タイマは指定された時間が経過したところで絞り兼用シャッター１２を全閉するパルスを出力するように設計されている。
【００４９】
次にシャッター１２が閉じるのを待って（Ｓ４０３）、Ｓ４０１で設定したＤＲＡＭ領域のうち、まずＳ４０１で行った書き込み設定に応じて第1フィールドに対する書き込み開始命令を発行するとともに撮像素子１４から第1フィールドの画像データ（奇数列）を読み出すようタイミング発生器１８に対して指示を出す（Ｓ４０４）。さらに、ＤＲＡＭ３０に対する第1フィールドのＲＡＷ画像データ書き込み動作が完了すると（Ｓ４０５）、第２フィールドに対する書き込み開始命令を発行するとともに撮像素子１４から第２フィールドの画像データ（偶数列）を読み出すようタイミング発生器１８に対して指示を出す（Ｓ４０６）。
【００５０】
ＤＲＡＭ３０に対する第1フィールドのＲＡＷ画像データ書き込み動作が完了すると（Ｓ４０５）、第２フィールドに対する書き込み開始命令を発行するとともに撮像素子１４から第２フィールドの画像データを読み出すようタイミング発生器１８に対して指示を出す（Ｓ４０６）。
【００５１】
第２フィールドのＸライン目のＤＲＡＭ３０に対する書き込み動作が終了したかどうかを判断し（Ｓ４０７）、Ｘライン目の書き込み動作が終了した場合、信号処理ＩＣ２２はＤＲＡＭ３０に第２フィールドの途中まで書き込まれている画像データを第１フィールドの１ライン目、第２フィールドの１ライン目、第１フィールドの２ライン目…といったように、撮像素子１４からの第２フィールドの画像データの読み出し動作が完了する前に図７の上から順に画像データを読み出してＷＢ演算をスタートさせる（Ｓ４０７）。次にＤＲＡＭ３０に対する第２フィールドのＲＡＷデータ書き込み動作の完了を待って（Ｓ４０９）、完了したら次の撮影が迅速に行えるようにメカシャッターの開き動作、電子シャッター動作の再開等などの撮影後処理を行う（Ｓ４１０）。さらにＷＢ（ホワイトバランス）係数の演算が終了したかどうかを判断し（Ｓ４１１）、完了した場合１枚の静止画の撮影処理を終了する。
【００５２】
ここで、Ｓ４０７におけるＸライン目の決定方法について説明する。このＸライン目の決定方法については、第２フィールドへのＤＲＡＭ書き込み完了がＷＢ演算時のＤＲＡＭ読み出し完了よりも先に終わることを保証する必要がある。
【００５３】
図５は、Ｘ＝２とした場合の、ＤＲＡＭに読み出される画素とＷＢ係数の演算開始の様子を示したタイミングチャートである。
【００５４】
図５において、時刻ｔ０のタイミングでタイミング発生器１８から第１フィールドの読み出しパルスが出力されると、図７に示すような撮像素子１４の受光部に蓄積された画像データのうちＲおよびＧの色フィルタを持つ画素が１ラインおきに撮像素子１４、前置処理回路１５、Ａ／Ｄ変換器１６、信号処理ＩＣ２２を通してＤＲＡＭへ出力される。図５では時刻ｔ１の時点で全画素のうち半分（奇数ライン）が完全にＤＲＡＭ３０に格納される。
【００５５】
次に時刻ｔ２でタイミング発生器１８から第２フィールド読み出しパルスが出力されると、受光部に蓄積された画像データのうち残りの半分、すなわちＧおよびＢの色フィルタに対応する偶数ラインの画像データが同様にＤＲＡＭ３０へ出力される。そして、時刻ｔ３の時点で第２フィールドの２ライン目までＢおよびＧの画像データが読み出された時点で、ＷＢ係数演算用のメモリ読み出しが開始され、時刻ｔ４で全画素がＤＲＡＭ３０に格納される。そして時刻ｔ５でＷＢ係数演算におけるメモリ読み出しが終了する。
【００５６】
図６はＸ＝２とした場合の、時刻ｔ３におけるＤＲＡＭ３０内のＲＡＷ画像データの配置をイメージ化したものである。図６に示すように、ＤＲＡＭ３０内ではインターレース状に１ラインおきにデータを書き込む設定となっている。
【００５７】
図６において、１ライン〜４ライン目まで全色がそろった状態となっているが、この部分についてはＷＢ係数の演算が可能である。６ライン以降の偶数ラインについては、時刻ｔ３の時点では行われていないため、データが存在しない状態となっている。
【００５８】
本実施形態のインターレース読み出し型撮像素子１４において、
（撮像素子の画素データの読み出し速度）×２＞（ＷＢ係数演算時のＤＲＡＭ３０からの画素データの読み出し速度）
の関係が成り立っていれば、第２フィールド画像データのＤＲＡＭ３０への書き込み動作を、ＷＢ係数演算のＤＲＡＭ読み出しが追い越すことはないため、Ｘは余裕を見て数ライン程度に設定しておけばよいことになる。
【００５９】
上式の関係が成り立っていない場合は、図５において、第２フィールド画像データのＤＲＡＭ３０への取り込みに要する時間をＴｗ、ＷＢ演算時のメモリ読み出しに要する時間をＴｒとした時、
ｔ３−ｔ２＞Ｔｗ−Ｔｒ
が成立するようにｔ２を決定すれば、第２フィールド画像データのＤＲＡＭ３０への書き込み動作に対して、ＷＢ係数演算のためのＤＲＡＭ読み出しが追い越すことはなくなる。
【００６０】
以上説明したように、本実施形態の撮像装置１００においては、撮像素子１４から読み出した全ての画像データがＤＲＡＭ３０に格納される前に、ホワイトバランス係数演算用のメモリ読み出し動作を開始させている。このため、撮影後、ホワイトバランス処理動作が完了するまでの時間が大幅に短縮できる。本実施形態では、画像表示部２８において、静止画像を確認するための画像表示をホワイトバランス処理動作後に行っているが、この確認画像の表示がなされるまでの時間が短時間で済むため撮影後のストレスから解放されるという、大きなメリットがある。
【００６１】
上記実施形態においては１枚静止画像撮影におけるホワイトバランス処理を示したが、本実施の形態のホワイトバランス処理動作を静止画の連続撮影に適用することもできる。この場合、画像撮影のコマ間の時間を短縮させることができる。例えば、静止画の連続撮影を行う際、ホワイトバランスの係数の演算処理を１枚目の静止画の撮影だけ行い、２枚目以降の撮影画像に対しては１枚目のものと同じものを使って処理される構成が考えられている。本実施の形態により、２枚目以降の連写間隔に対して１枚目と２枚目の間の連写間隔が長くなることが緩和され、１枚目からほぼ等間隔で静止画の連続撮影を行うことができるようになった。
【００６２】
なお、本実施の形態において，ホワイトバランス係数の演算処理速度（ＤＲＡＭ３０からの画像データの読み出し速度）が、撮像素子１４からの画像データの読み出し速度よりも十分に早いときには、撮像素子１４からの２フィールド目に読み出された画像データをＤＲＡＭ３０に格納せずにホワイトバランス係数の演算を行うこともできる。この場合、撮像素子１４からの２フィールド目に読み出される画像データに連動してＤＲＡＭ３０に格納されている第１フィールド目の画像データを順次読み出すことによって達成されることになる。
【００６３】
また、図３のＳ３０７のスルー画像表示におけるホワイトバランスの処理は、画像表示部２８に表示されるに耐えることができる画像処理を行うだけでよいので、図４に示すような処理は必要ない。
【００６４】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、インターネットなどのネットワークを介して画像信号処理装置に供給し、撮像装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００６５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態のＣＰＵ５０の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００６７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００６９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明の撮像装置に不可欠なモジュールを、記憶媒体に格納することになる。
【００７０】
【発明の効果】
以上説明したように、本願発明によれば、被写体像を撮像して１フィールド期間ごとに１ラインおきの画素をインターレース走査して第１フィールド、第２フィールドの画像を順次出力することによって１画面分の画像データを取得し、撮影後ホワイトバランス演算を撮像素子からの画像データの読み出し動作と一部を並行して実行するようにしたので、例えば、撮像素子から１画面分を２フィールドとした全画像データを読み出し終了後にホワイトバランス演算を行うよりも、高画質の画像データを１フレーム期間で得られることにより、撮影後の画像確認のための表示が出るまでの時間を短縮することができる。
【図面の簡単な説明】
【図１】本実施の形態における撮像装置のブロック図。
【図２】本実施の形態における撮像装置の主ルーチンの動作処理フローチャート。
【図３】本実施の形態における撮像装置の主ルーチンの動作処理フローチャート。
【図４】本実施の形態における撮像装置の静止画撮像動作における動作処理フローチャート。
【図５】本実施の形態における撮像素子１４からの画像データの読み出しとＤＲＡＭ３０における画像データの書き込み／読み出しのタイミングチャートの一例を示す図。
【図６】本実施の形態における第２フィールドの２ライン目まで書き込まれたときのDRAM３０内における画像データの配置をイメージ化した図。
【図７】撮像素子１４の色フィルタ配列の一例を示す図。
【符号の説明】
１４撮像素子
２２信号処理ＩＣ
２８画像表示部
３０ＤＲＡＭ
５０ＣＰＵ
６４シャッタースイッチ

Claims

第１、第２、第３の異なる色成分を含む色フィルタを備え、被写体像を撮像して１画面分の画像データを取得する撮像手段を有する撮像装置において、
前記撮像手段から、前記画像データを１フィールド期間ごとに１ラインおきにインターレース走査して、前記第１と前記第２の色成分を含む第１フィールドと、前記第２と前記第３の色成分を含む第２フィールドを１フレーム期間で順次読み出して出力する第１の読み出し手段と、
前記読み出し手段から出力された画像データを一時的に順次記憶する記憶手段と、
前記記憶手段に記憶された画像データを読み出す第２の読み出し手段と、
前記第２の読み出し手段によって前記記憶手段から前記第１フィールド目で読み出された前記第１と前記第２の色成分の信号と前記第２フィールド目で読み出された前記第２と前記第３の色成分の信号に基づいて、前記第１フィールドの読み出し終了後、前記第１の読み出し手段における前記第２フィールド目の画像データの読み出し動作と並行してホワイトバランス係数を演算するホワイトバランス演算手段と、
前記第２の読み出し手段における画像データの読み出しの速度が前記第１の読み出し手段における読み出し速度の２倍よりも遅くなるように前記第２の読み出し手段の読み出しタイミングを制御する制御手段と、を有することを特徴とする撮像装置。
請求項１において、前記制御手段は、前記記憶手段に対する前記第１の読み出し手段から出力された１画面分の画像データの書き込み動作が完了したあとに前記ホワイトバランス係数の演算が終了するように前記第２の読み出し手段の動作タイミングを制御することを特徴とする撮像装置。
請求項１において、前記ホワイトバランス演算手段によるホワイトバランス係数の演算にともなって、該ホワイトバランス係数に基づいてホワイトバランス処理された画像データを表示する表示手段と、を有することを特徴とする撮像装置。
第１、第２、第３の異なる色成分を含む色フィルタを備え、被写体像を撮像して１画面分の画像データを取得する撮像手段を有する撮像装置の信号処理方法であって、
前記撮像手段から、前記画像データを１フィールド期間ごとに１ラインおきにインターレース走査して、前記第１と前記第２の色成分を含む第１フィールドと、前記第２と前記第３の色成分を含む第２フィールドを１フレーム期間で順次読み出して出力する第１の読み出しステップと、
前記読み出しステップにおいて出力された画像データを一時的に順次記憶する記憶ステップと、
前記記憶ステップにおいて記憶された画像データを読み出す第２の読み出しステップと、
前記第２の読み出しステップにおいて前記第１フィールド目で読み出された前記第１と前記第２の色成分の信号と前記第２フィールド目で読み出された前記第２と前記第３の色成分の信号に基づいて、前記第１フィールドの読み出し終了後、前記第１の読み出しステップにおける第２フィールド目の画像データの読み出し動作と並行して前記撮像手段から出力された画像データ中の複数の色成分信号に基づいてホワイトバランス係数を演算するホワイトバランス演算ステップと、
前記第２の読み出しステップにおける画像データの読み出しの速度が前記第１の読み出しステップにおける読み出し速度の２倍よりも遅くなるように前記第２の読み出しステップの読み出しタイミングを制御する制御ステップと、
ことを特徴とする撮像装置の信号処理方法。
請求項４において、前記制御ステップは、前記記憶ステップにおいて前記第１の読み出しステップから出力された１画面分の画像データの書き込み動作が完了したあとに前記ホワイトバランス係数の演算が終了するように前記第２の読み出しステップの動作タイミングを制御する撮像装置の信号処理方法。
請求項４において、前記制御ステップにおいてホワイトバランス係数の演算にともなって、該ホワイトバランス係数に基づいてホワイトバランス処理された画像を表示する表示ステップとを有することを特徴とする撮像装置の信号処理方法。
請求項４ないし請求項６に記載の信号処理方法を格納したプログラム。
請求項７に記載のプログラムを記憶した記憶媒体。