JP4590421B2

JP4590421B2 - 撮像装置及び撮像方法

Info

Publication number: JP4590421B2
Application number: JP2007076629A
Authority: JP
Inventors: 亮司久保
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-03-23
Filing date: 2007-03-23
Publication date: 2010-12-01
Anticipated expiration: 2022-11-07
Also published as: JP2007251954A

Description

本発明は、撮像装置及び撮像方法に関する。

従来の撮像装置の一例として、電子カメラの動作について説明する。
図７は、従来の電子カメラの撮像動作を示す図である。
まず、スイッチ（例えばシャッタボタン）の押下などにより撮像記録命令が成されると、電子カメラは、シャッタを駆動し露光を行い、適正期間露光後、撮像素子の読み出しを行う。そして撮像素子からの画像信号をＡ／Ｄ変換器を介して画像データに変換して電子カメラ内のメモリなどに記憶する。次にメモリ上の（メモリに記憶されている）画像データに対し補正（キズ補正）を行う。これは撮像素子には欠陥画素が存在することがありこれを補償するためである。

そしてメモリ上の画像データを再び読み出し、ホワイトバランス処理を行うための積分等のデータ処理及び演算を行う。これは公知の技術であるため、詳細についてはここでは触れない。そして、演算することによって得られたホワイトバランス係数を加味しつつ画像処理がなされ、ＹＵＶデータへの変換を経て、さらに圧縮処理が施された画像データ（以下、記録画像データとする）を再びメモリに記憶する。また同時にＹＵＶデータは小さくリサイズされ、さらにこれも圧縮処理が施されメモリに記憶する。

さらに各種撮影条件データなども付加されこれもメモリに記憶する。これにより撮影画像データに関する処理が完成し、この後、電子カメラに着脱可能な記録媒体にそれらのデータを撮影画像データと関連付けて記録する。また、撮影後すぐに記録媒体に記録した記録画像データを電子カメラが備える液晶画面などの表示装置で確認できるように、前記圧縮処理された記録画像データを再び伸張し、表示装置に表示するのに適したサイズにリサイズしてこれを表示していた。

また、一度のシャッタボタンの押下で複数の連続した画像を撮像する連写機能を具備する電子カメラがある。この連写撮影時には、上記の記録画像データを得る動作を繰り返し行うことで、連続した記録画像データを得る。なお、ホワイトバランス係数を連写画像における２枚目以降も共通に利用する場合には、ホワイトバランス処理を行うためのデータ処理及び演算は連写の初めの画像データにのみ行っていた。また、連写時も前記撮影画像を表示装置などで確認することが可能であり、同様に圧縮処理された撮影画像データを再び伸張し、表示装置に表示するのに適したサイズにリサイズしてこれを表示していた。

特開２００２−２１８４７９号公報

しかしながら、上述したような電子カメラにおいて、上述した処理を行うと、１回の撮影処理が終了するまでに時間がかかってしまう。このため、次の撮影を素早く行うことができず、所望のシャッタチャンスを逃してしまうことがあるという問題がある。また、連写時においても連写間隔は同様に長くなってしまっていた。また、連写を行う毎に撮影画像の表示装置への表示を行った場合さらに次の撮影が可能となる時間間隔が長くなるという問題がある。更には、電子カメラが備える表示装置には撮影後の静止画像が連写毎に順次更新されて表示されていくため、表示装置のみで被写体を追従しながら連写撮影を行うことが非常に困難であるという問題がある。尚、以下の説明において、普通の撮影を上述した連写（撮影）に対して単写（撮影）と呼ぶこととする。

この発明は、上述した事情を考慮してなされたもので、単写時及び連写時における撮影間隔の短縮を実現する撮像装置を提供することを目的とする。
また、本発明は、連写時における表示装置への連続した画像データの表示を可能にするための撮像装置を提供することを目的とする。

そこで、本発明は、被写体からの光を画像データに変換して出力する撮像手段と、前記撮像手段より得られる画像データを表示する表示手段と、前記撮像手段より得られる画像データに画像処理を施す画像処理手段と、前記撮像手段から第１の被写体の画像データを読み出し中に、前記画像処理手段に前記画像データのホワイトバランス処理のための積分処理をさせて、前記ホワイトバランス処理のための積分処理及び前記第１の被写体の画像データの読み出し終了後に前記表示手段に第２の被写体の画像データの表示をさせ、前記第２の被写体の画像データの表示の終了後に前記第１の被写体の画像データに対して前記積分処理の結果に基づくホワイトバランス補正処理を行なうように制御する制御手段とを具備することを特徴とする。

また、本発明は、第１の被写体からの光を画像データに変換して表示を行う第１の表示工程と、前記第１の表示工程の終了後、前記第１の被写体の画像データを撮像する第１の撮像工程と、前記第１の撮像工程より得られる前記第１の被写体の画像データを読み出す第１の読み出し工程と、前記第１の読み出し工程における前記第１の被写体の画像データの読み出し中に、前記第１の被写体の画像データのホワイトバランス処理のための積分処理を開始する画像処理工程と、前記画像処理工程及び前記第１の読み出し工程の終了後に第２の被写体からの光を画像データに変換して表示を行う第２の表示工程と、前記第２の表示工程の終了後、前記第２の被写体の画像データを撮像する第２の撮像工程と、前記第２の撮像工程より得られる前記第２の被写体の画像データを読み出す第２の読み出し工程とを有し、前記第２の読み出し工程における前記第２の被写体の画像データの読み出し中に前記第１の被写体の画像データに対して前記積分処理の結果に基づくホワイトバランス補正処理を行なうことを特徴とする。

本発明によれば、撮影後素早く電子ファインダ（表示手段）へ被写体像を表示することができるため、すぐに電子ファインダで被写体を追従することが可能となり、快適な操作感を得ることができる。また、これにより、被写体像の表示が遅いことによってシャッタチャンスを逃すことを防ぐことができる。

以下、図面を用いて本発明の撮像装置の一実施形態として電子カメラについて説明する。
図１は、本発明の一実施形態における電子カメラの概略構成を示すブロック図である。尚、本実施形態の電子カメラは、被写体像を電気信号に変換して画像データとして着脱可能な記録媒体に記録する装置である。図１において、１は、レンズであり、後述する撮像素子３に被写体像を結像するためのレンズである。２は、シャッタであり後述する撮像素子３への露光量を調整する。３は、撮像素子であり、光電変換を行うことでレンズ１により受光面に結像された被写体像に応じた画像信号を出力する。また、撮像素子３の受光面（撮像面）に配列される各画素には数種類の色（例えば赤、緑、青）のカラーフィルタが付与されていて、各透過する光の波長帯域を制限している。

４は、信号処理回路部であり、撮像素子３より出力される画像信号に、各種の補正、クランプ等を行う。５は、Ａ／Ｄ変換器であり、信号処理回路部４より出力される画像信号（アナログ信号）をディジタル信号に変換する。６は、画像処理回路部（画像信号処理部）であり、Ａ／Ｄ変換器５より入力される画像データ（ディジタル信号）に各種処理及び画像データの圧縮伸張を行う。尚、Ａ／Ｄ変換器５より入力される画像データを特にＲＡＷ（ロウ）画像データとし、画像処理回路部６が各種処理及び圧縮伸長した後の画像データを記録画像データとして以下の説明で区別する。上述したＲＡＷ画像データとは、撮像素子３から出力される画素毎の色情報が処理されていない状態での画像データである。また、記録画像データとは、後述する電子カメラに着脱可能な記録媒体に記録するために圧縮伸長した画像データである。

７は、メモリであり、上述したＲＡＷ画像データや記録画像データ及び各種データを記憶する。このメモリ７は、ＲＡＷ画像データを少なくとも２枚分記憶するＲＡＷ画像データ領域７１，７２を有する。さらに、メモリ７は、後述する記録媒体に記録する直前の記録画像データを複数撮影分、一時保管するための画像ファイル領域７３を有する。

８は、画像表示回路であり、電子カメラ本体に装備或いは装着される液晶表示部などの表示装置を具備して、Ａ／Ｄ変換器５又はメモリ７からのＲＡＷ画像データが画像処理回路部６を介して入力されると、そのＲＡＷ画像データに応じた画像を表示装置に表示するための処理を行う。ここで表示装置とは、具体的には撮影時に撮像素子３の受光面に結像されている被写体像や記録済みの画像データを確認するための電子ファインダ（以下、ＥＶＦとする）がある。尚、本実施形態に示したように画像表示回路に表示装置を具備する形態に限らず、電子カメラが出力する映像信号を受信する表示装置により画像を表示する形態などであってもよい。１１はタイミング発生部であり、撮像素子３及びＡ／Ｄ変換器５に各種タイミング信号を出力する。

９は、スイッチ群であり、電子カメラの各種動作及び動作モードを指示するための複数のスイッチより構成される。また、スイッチ群９の状態は、後述する全体制御部１０が検知する構成であり、スイッチ群９の形態（押しボタン、ダイアル、など）は対応する機能やデザインなどに応じて種々の形態を用いて好適である。また、スイッチ群９は電子カメラの動作モードとして、少なくとも電源オフモード、記録モード、再生モードを指示するスイッチを含む。また、スイッチ群９は、後述する記録媒体１２を検出する記録媒体蓋検出手段や、電子カメラ用のバッテリを覆う蓋（図示せず）の開閉を検出するバッテリ蓋検出手段などを少なくとも兼ね備える。

１０は、全体制御部であり、電子カメラ全体の制御をプログラムに従って行うＣＰＵ（中央演算装置）やメモリなどで構成される。例えば、全体制御部１０は図１に示すように、タイミング制御の基準となるタイマである内部タイマ１５や、ＣＰＵで処理する情報を一時的に保存するメモリであるＲＡＭ１６を具備する。また、１４はＥＥＰＲＯＭであり、全体制御部１０の動作プログラムを格納する不揮発性のメモリである。１２は、記録媒体であり、上述した記録画像データの記録又は読み出しを行うための着脱可能な記録媒体である。１３は記録媒体Ｉ／Ｆ（インターフェース）部であり、記録媒体１２と電子カメラとのデータの受け渡しを行う。

＜ＥＶＦ（電子ファインダ）モードの動作説明＞
上記構成において、電子カメラでの撮影時に利用者が被写体の確認を行う電子ファインダモードについて説明する。まず、全体制御部１０は、スイッチ群９による電子ファインダモードの指示が成されると、シャッタ２を開制する。次に、シャッタ２の開制により受光した光が適正露光となるようタイミング発生部１１が、撮像素子３の露光時間及び電荷読み出しタイミングを制御して電子シャッタを実現するタイミング信号を発生する。次に、撮像素子３の出力する画像信号は信号処理回路部４で色毎のゲイン補正及びクランプなど各種処理が成される。次に、Ａ／Ｄ変換器５によりアナログ−ディジタル変換が成され画像信号がＲＡＷ画像データに変換される。

次に、画像処理回路部６が、各種信号処理やＥＶＦへ画像を表示するためのリサイズを行い、処理後の画像データがメモリ７に一旦記憶される。次に、メモリ７に記憶された画像データは、再び読み出され画像表示回路８の処理により、ＥＶＦへの画像の表示が行われる。以上の撮像素子３の読み出しからＥＶＦへの画像表示をリアルタイムで繰り返すことにより電子ファインダモードが実現される。

＜単写の動作説明＞
図１に示した電子カメラおける通常の撮影時（単写）の動作について、図を用いて説明する。図２は、図１に示した電子カメラにおける通常の撮影時の動作を示す図である。尚、図２の処理が開始される前提として、電子カメラの電源がオンで、撮像素子３に結像される被写体像をＥＶＦ表示している状態であるとする。まず、電子カメラを起動して最初（１枚目）の撮影における動作について説明する。

例えば、利用者がスイッチ群９を操作することにより全体制御部１０に撮像記録命令が成されると、図１に示した電子カメラは全体制御部１０の制御により以下に示す撮像記録処理を開始する。まず、図２に示すように、ステップＳ２００にて電子カメラはＥＶＦ表示を停止する。これは、例えば全体制御部１０が画像処理回路部６を制御することで画像表示回路８への映像データの供給が停止されるためである。

次に、ステップＳ２０１にて全体制御部１０は、記録媒体１２に記録するための画像を得るためにシャッタ２を駆動することにより本露光動作を開始する。次に、ステップＳ２０２にて全体制御部１０は、適正期間露光後、撮像素子３から画像信号の読み出しを開始するようタイミング発生部１１を制御する。読み出された画像信号は信号処理回路部４で、色毎のゲイン補正及びクランプなど各種処理が成される。その後、Ａ／Ｄ変換器５によりアナログ−ディジタル変換が成され、画像処理回路部６を介してメモリ７のＲＡＷ画像データ領域７１，７２のどちらか一方に順次記憶されていく。この時、画像処理回路部６では、信号処理等は行わずメモリ７のＲＡＷ画像データ領域７１又は７２にＲＡＷ画像データで記憶する。このためメモリ７のＲＡＷ画像データ領域７１又は７２には、実質的に撮像素子３が出力する画像信号をディジタル化した画像データがそのまま記憶される。

次に、ステップＳ２０３にて撮像素子３の読み出し中に、メモリ７のＲＡＷ画像データ領域７１又は７２に既に記憶済みのＲＡＷ画像データの有無を判断する。ここでは、本電子カメラ起動後最初の撮影を想定しているため、既に記憶されたＲＡＷ画像データは存在しないとして（ステップＳ２０３のＮｏ）、次のステップＳ２０４へ進む。次のステップＳ２０４では、メモリ７のＲＡＷ画像データ領域７１又は７２に順次記憶中のＲＡＷ画像データを読み出し、ホワイトバランス（以下、ＷＢとする）処理を行うために撮像素子３の色フィルタに対応した各ＲＡＷ画像データを画像処理回路部６が積分して（ＷＢ積分処理）、このＷＢ積分処理データを再びメモリ７に記憶する。

尚、撮像素子３には、その画像信号の読み出し方法により一般に２種類存在し、１ラインおきに２フィールド（第１フィールドと第２フィールド）に分けて読み出されるインターレース読み出し型と、１ラインずつ順に読み出されるノンインターレース読み出し型とがある。図５（ａ）は、インターレース読み出し型の撮像素子３を用いた場合の撮像処理のタイムチャートを示す図である。図５（ａ）に示すように、撮像素子３の読み出し時、第２フィールド目を読み出し始めたところでフレームとしての画素が出揃うためこの時点から前記ＷＢ積分処理を開始する。

また、ノンインターレース読み出し型の撮像素子３を用いた場合は、撮像素子３の読み出しを開始したところでフレームとしての画素が出揃うためこの時点から前記ＷＢ積分処理を開始することができる。いずれにせよ、撮像素子３から読み出した画像信号を基にしたＲＡＷ画像データをメモリ７のＲＡＷ画像データ領域７１又は７２に記憶してゆくと同時に、メモリ７の同一のＲＡＷ画像データ領域７１又は７２より記憶中のＲＡＷ画像データを読み出しながらＷＢ積分処理を行う。このため、全体制御部１０及び画像処理回路部６は、読み出しが書き込みを追い越さないように制御する。

次に、上述したＷＢ積分処理が終了した時点で、ステップＳ２０６にてＥＶＦ表示処理を開始する。この表示処理は、予め不図示のメモリに保持しておいた電子カメラの絞り、電子シャッタ速度、ＷＢ係数は撮影直前の状態と同じ状態を初期設定とすることで実現する。次に、ステップＳ２０７にて全体制御部１０は、ＷＢ積分処理データを用いてＷＢ演算を行い本露光動作において撮影された画像のＷＢ係数を決定する。

次に、ステップＳ２０８にて、電子カメラは撮像素子３の画素キズ（欠陥画素）に対応する処理を行う。これは、撮像素子３には欠陥画素が存在することがありこれを補償するために行う処理である。具体的には、メモリ７のＲＡＷ画像データ領域７１又は７２に記憶されたＲＡＷ画像データに対して欠陥画素データを抽出して補正を行う。尚、欠陥画素の補正方法は、現在利用されている種々の補正方法を用いて好適である。以上の動作により電子カメラは１枚目の画像データの撮影動作を終了する。

次に、図１に示した電子カメラにおける通常撮影時の２枚目以降の撮影動作について図２を用いて説明する。
まず、１枚目の撮影と同様に全体制御部１０に２枚目の撮像記録命令が成されると、ステップＳ２００にて電子カメラはＥＶＦ表示を停止する。次に、ステップＳ２０１にてシャッタ２を駆動し適正期間の露光後、ステップＳ２０２にて撮像素子３より画像信号の読み出しを開始する。

この画像信号は、信号処理回路部４で、色毎のゲイン補正及びクランプなど各種処理が成され、さらに、Ａ／Ｄ変換器５によりアナログ−ディジタル変換が成される。次に、画像処理回路部６を介してメモリ７のＲＡＷ画像データ領域７１，７２のどちらか一方に順次記憶されていく。ここでメモリ７のＲＡＷ画像データ領域７１、７２には、前回の撮影のＲＡＷ画像データを第一の領域（例えばＲＡＷ画像データ領域７１）に記憶したとすると、本２枚目の撮影のＲＡＷ画像データは、第二の領域（例えばＲＡＷ画像データ領域７２）に記憶することになる。

次に、ステップＳ２０３にて撮像素子３の読み出し中に、メモリ７に既に記憶されたＲＡＷ画像データの有無を判断する。ここでは、２枚目の撮影を想定しているため、既に前回撮影されたＲＡＷ画像データが記憶されているので（ステップＳ２０３のＹｅｓ）、ステップＳ２０５にて画像処理回路部６は、１回目の撮影で得たＲＡＷ画像データの画像処理を行う。これと同時に画像処理回路部６は、メモリ７のＲＡＷ画像データ領域７２に記憶された今回撮影分（２枚目）のＲＡＷ画像データを再び読み出してＷＢ積分処理を行う。尚、２枚目のＲＡＷ画像データに対するＷＢ積分処理の開始タイミングは、図５（ｂ）に示すように前記１枚目の撮影時と同様である。また、ステップＳ２０５にて画像処理回路部６が１枚目のＲＡＷ画像データの画像処理を開始するタイミングは、図５（ｂ）に示すように撮像素子３からの読み出し開始に応じて開始する。

ここで上述した画像処理とは、画像処理回路部６が、メモリ７に記憶された前回撮影分のＲＡＷ画像データを読み出し、前回撮影時に算出したＷＢ係数を加味しつつ画像処理が行われＹＵＶデータに変換し、さらに圧縮処理を施しメモリ７の画像ファイル領域７３へ記憶する処理を有するものとする。また同時にＹＵＶデータは小さくリサイズされ、さらにこれも圧縮処理が施され、サムネイル画像としてメモリ７の画像ファイル領域７３に記憶されるものとする。さらに各種撮影条件データなども付加されこれもメモリ７の画像ファイル領域７３に記憶するものとする。これにより前回撮影分の画像ファイルが画像ファイル領域７３に完成したことになる。なお、画像ファイル構造については、公知の規格が存在するためここではこれに準ずるものとし詳細はここでは触れない。

次に、上述したＷＢ積分処理と前回撮影したＲＡＷ画像データの画像処理とがともに終了した時点で、ステップＳ２０６にて電子カメラはリアルタイムに撮影されているＥＶＦ表示処理を開始する。この時の絞り、電子シャッタ速度、ＷＢは同様に撮影直前の状態と同じく設定する。次に、ステップＳ２０７にてＷＢ積分処理データを用いて全体制御部１０がＷＢ演算を行い本露光動作において撮影された画像のＷＢ係数を決定する。次に、ステップＳ２０８にて、撮像素子３の画素キズに対応するためメモリ７のＲＡＷ画像データ領域に記憶されたＲＡＷ画像データに対し補正を行う。以上により電子カメラは２枚目の撮影動作を終了する。

この時点でメモリ７のＲＡＷ画像データ領域７１又は７２には、２枚目のＲＡＷ画像データが記憶されていることになり、さらにメモリ７の画像ファイル領域７３には、１枚目の画像ファイルが記憶されていることになる。そしてこの後、電子カメラは前回撮影分の画像ファイルデータを再びメモリ７の画像ファイル領域７３から読み出し、画像処理回路部６及び記録媒体制御Ｉ／Ｆ部１３を介して記録媒体１２に記録する。

尚、上述したステップＳ２０５において、前回撮影したＲＡＷ画像データの画像処理を行うと説明したが、上述した画像処理のうちサムネイル画像作成のための処理と、及び各種撮影条件データの付加と、メモリ７の画像ファイル領域７３へ記憶する処理については、ステップＳ２０６にてＥＶＦ表示処理を開始した後でもよい。更には、それらの処理は、上述したステップＳ２０６、Ｓ２０７、Ｓ２０８のいずれかのステップの後に行ってもよい。

また、３枚目以降の電子カメラにおける撮影動作も上述した２枚目の撮影動作と同様である。ただし、前回（２枚目の）撮影のＲＡＷ画像データはメモリ７のＲＡＷ画像データ領域の第二の領域（例えばＲＡＷ画像データ領域７２）に記憶しているため、３枚目のＲＡＷ画像データはメモリ７のＲＡＷ画像データ領域の第一の領域（例えばＲＡＷ画像データ領域７１）に記憶することになる。以降、電子カメラは、メモリ７のＲＡＷ画像データ領域７１、７２に交互に取得したＲＡＷ画像データを記憶することになる。そしてこの後、前回撮影分の画像ファイルデータをメモリ７の画像ファイル領域７３から読み出し、画像処理回路部６、記録媒体制御Ｉ／Ｆ部１３を介して、記録媒体１２に記録する。

以上説明したように、ｎ枚目（ｎは１以上の整数）の撮影を終了した時点では、このｎ枚目のＲＡＷ画像データは処理されずメモリ７のＲＡＷ画像データ領域７１又は７２に記憶されており、ｎ枚目のＲＡＷ画像データを用いたＷＢ積分処理も終えていることになる。そして、ｎ−１枚目のメモリ７に記録済みのＲＡＷ画像データに対して画像処理することで生成した画像ファイルデータが、画像ファイル領域７３に記録される。

ここで上述した撮影動作が終了した時点において、例えばメモリ７に記憶中のＲＡＷ画像データが消失してしまう（又はその可能性がある）事態を避けるための電子カメラの動作について説明する。
図３は、図１に示した電子カメラにおいてメモリ７に保存中のＲＡＷ画像データの処理を示す図である。尚、図３に示す処理を行うのは、電子カメラが以下に示す１〜６の状態や事態となった場合である。
１．全体制御部１０にスイッチ群９による電源Ｏｆｆの指示が成された。
２．全体制御部１０にスイッチ群９による撮影モードの変更、或いは、撮影モード以外のモードの指示が成された。尚、撮影モード以外のモードとは、例えば記録媒体１２に記録された画像を再生する再生モードや、外部コンピュータと接続してデータの転送を行うＰＣモードや、装置の各種初期設定を行うＳｅｔＵｐモードなどである。
３．全体制御部１０の具備する内部タイマ１５により所定時間に渡り本電子カメラの操作が行われなかったことが検出されたことによりオートシャットオフ機構が働いた。
４．全体制御部１０により電源電圧が所定レベル以下になったことが検出された。
５．全体制御部１０に記録媒体１２又は不図示の電池又はその両方を覆う蓋が開けられたことが検出された。
６．全体制御部１０に本電子カメラ上の何らかのエラーが発生したことが検出された。

上述した状態や事態となった場合に、図３に示すように、電子カメラは、ステップＳ２２０にてＥＶＦ表示を停止する。次に、全体制御部１０は、ステップＳ２２１にてメモリ７のＲＡＷ画像データ領域７１、７２における未処理のＲＡＷ画像データの有無を判断する。ここで、未処理のＲＡＷ画像データが存在する場合（ステップＳ２２１のＹｅｓ）には、次のステップＳ２２２へ進み、最終撮影画像データ処理を行う。この最終撮影画像データ処理とは、メモリ７に記憶されたＲＡＷ画像データを一旦読み出し、これに最後の撮影時に算出したＷＢ係数を加味しつつ画像処理回路部６内で処理が行われＹＵＶデータを経て、さらに圧縮処理が施されメモリ７の画像ファイル領域７３に記憶する処理である。

また、画像処理回路部６は、同時にＹＵＶデータを小さくリサイズして、さらにこれも圧縮処理を施し、サムネイル画像としてメモリ７の画像ファイル領域７３に記憶する。さらに、各種撮影条件データなども付加されこれもメモリ７の画像ファイル領域７３に記憶する。これにより最終撮影画像分の画像ファイルが画像ファイル領域７３に完成したことになる。なお、画像ファイル構造については、公知の規格が存在するためここではこれに準ずるものとし詳細はここでは触れない。そして、この画像ファイルデータを再びメモリ７の画像ファイル領域７３から読み出し、画像処理回路部６及び記録媒体制御Ｉ／Ｆ部１３を介して、記録媒体１２に記録する。以上によりステップＳ２２２の最終撮影画像データ処理を終了する。

次に、記録媒体１２への記録終了後に、例えば全体制御部１０にスイッチ群９による電源Ｏｆｆの指示が成された場合であれば、電子カメラの各種電源を落とす等の終了処理を実行して電源Ｏｆｆ動作を終了する。
また、上述した図３の処理を行う他の状態や事態（上述した２〜６）の場合においても、電源Ｏｆｆ時の処理同様に未処理の最終撮影画像データの処理及び記録媒体１２への記録を行った後に、状態や事態に対応する処理を行う。例えば、全体制御部１０は、スイッチ群９により他の撮影モード又は撮影モード以外のモードを指示された場合には、画像処理後に記録媒体１２への記録を行った後に他の撮影モード又は撮影モード以外のモードへの移行に必要な処理を行う。

また、電子カメラにおいてＥＶＦ表示を非動作にし、不図示の光学ファインダのみによる撮影を行う場合は、図２に示したＥＶＦ表示処理（ステップＳ２０６）は行わない。また、光学ファインダによる撮影時は、撮影動作が終了した（ステップＳ２０８）時点で、以下の１〜３のいずれかの場合に上述した電源Ｏｆｆ時の処理同様、未処理の最終撮影画像データの処理及び記録媒体１２への記録を行う。
１．スイッチ群９の撮影指示スイッチ又は撮影準備指示スイッチが放されていることが全体制御部１０で検出された。
２．スイッチ群９の撮影指示スイッチ又は撮影準備指示スイッチが押されておりその後これらのスイッチが放されたことが全体制御部１０で検出された。
３．これらのスイッチが放されたことが全体制御部１０で検出されてから所定時間経過したことが検出された。

以上に示したように、本実施形態における電子カメラは、通常撮影時に撮像素子３より得た第１のＲＡＷ画像データをメモリ７に記録しながらＷＢ積分の処理を行うことができる。その上、その後のＥＶＦの表示開始は本露光動作の直前の状態情報を用いることによりすばやく行うことができる。また、電子カメラは、第１のＲＡＷ画像データの次に撮像した第２のＲＡＷ画像データを撮像素子３より読み取っている最中に第１のＲＡＷ画像データの画像処理（ホワイトバランス処理やＹＵＶデータへの変換処理や圧縮処理など）を行うことができる。以上により、本実施形態の電子カメラは、従来に比べて通常撮像時（単写時）における撮影間隔の短縮を実現することができる。

＜連写動作の説明＞
次に、図１に示した電子カメラおける連写の撮影時の動作について、図を用いて説明する。図４は、図１に示した電子カメラにおける連写での撮影時の動作を示す図である。尚、図４の処理が開始される前提として、電子カメラの電源がオンで、撮像素子３に結像される被写体像をＥＶＦ表示している状態であるとする。まず、電子カメラにおける連写の最初（１枚目）の撮影における動作について説明する。

例えば、利用者がスイッチ群９を操作することにより全体制御部１０に撮像記録命令が成されると、図１に示した電子カメラは全体制御部１０の制御により以下に示す撮像記録処理を開始する。まず、図３に示すように、ステップＳ２１０にて電子カメラはＥＶＦ表示を停止する。これは、全体制御部１０が画像処理回路部６を制御することで画像表示回路８への映像データの供給を停止することで実現する。

次に、ステップＳ２１１にて全体制御部１０は、シャッタ２を駆動し露光を行う。次に、ステップＳ２１２にて全体制御部１０は、適正期間露光後、撮像素子３から画像信号の読み出しを開始するようタイミング発生部１１を制御する。読み出された画像信号は信号処理回路部４で、色毎のゲイン補正及びクランプなど各種処理が成される。その後、Ａ／Ｄ変換器５によりアナログ−ディジタル変換が成され、画像処理回路部６を介してメモリ７のＲＡＷ画像データ領域７１，７２のどちらか一方に順次記憶されていく。この時、画像処理回路部６では、信号処理等は行わずメモリ７のＲＡＷ画像データ領域７１又は７２にＲＡＷ画像データで記憶する。このためメモリ７のＲＡＷ画像データ領域７１又は７２には、実質的に撮像素子３が出力する画像信号をディジタル化した画像データがそのまま記憶される。

次に、ステップＳ２１３にて撮像素子３の読み出し中に、メモリ７のＲＡＷ画像データ領域７１又は７２に既に記憶済みのＲＡＷ画像データの有無を判断する。ここでは、本電子カメラ起動後最初の撮影を想定しているため、既に記憶されたＲＡＷ画像データは存在しないとして（ステップＳ２１３のＮｏ）、次のステップＳ２１４へ進む。次のステップＳ２１４では、メモリ７のＲＡＷ画像データ領域７１又は７２に順次記憶中のＲＡＷ画像データを読み出し、ＷＢ処理を行うために撮像素子３の色フィルタに対応した各ＲＡＷ画像データを画像処理回路部６が積分して、このＷＢ積分処理データを再びメモリ７に記憶する。

図６（ａ）は、インターレース読み出し型の撮像素子３を用いた場合の撮像処理のタイムチャートを示す図である。図６（ａ）に示すように、撮像素子３の読み出し時、第２フィールド目を読み出し始めたところでフレームとしての画素が出揃うためこの時点から前記ＷＢ積分処理を開始する。

次に、上述したＷＢ積分処理が終了した時点で、ステップＳ２１６にてＥＶＦ表示処理を開始する。この時、予め不図示のメモリに記憶しておいた電子カメラの絞り、電子シャッタ速度、ＷＢ係数は撮影直前の状態と同じ設定とする。次に、ステップＳ２１７にて全体制御部１０は、ＷＢ積分処理データを用いてＷＢ演算を行い撮影画像のＷＢ係数を決定する。

次に、ステップＳ２１８にて、電子カメラは撮像素子３の欠陥画素に対応する処理を行う。これは、撮像素子３には欠陥画素が存在することがありこれを補償するために行う処理である。具体的には、メモリ７のＲＡＷ画像データ領域７１又は７２に記憶されたＲＡＷ画像データに対して欠陥画素データを抽出して補正を行う。尚、欠陥画素の補正方法は、現在利用されている種々の補正方法を用いて好適である。以上の動作により電子カメラは連写の１枚目の画像データの撮影動作を終了する。

次に、ステップＳ２１９にて、全体制御部１０は次の撮影指示の有無を確認する。ここでは、連写時の１枚目の撮像処理が終わった状態なので、次の撮像指示があり（ステップＳ２１９のＹｅｓ）、２枚目の撮像を行うためステップＳ２１０へ戻る。

次に、図１に示した電子カメラにおける連写時の２枚目以降の撮影動作について図３を用いて説明する。
上述したように、ステップＳ２１０にて電子カメラはＥＶＦ表示を停止する。次に、ステップＳ２１１にてシャッタ２を駆動し適正期間の露光後、ステップＳ２１２にて撮像素子３より画像信号の読み出しを開始する。

次に、ステップＳ２１３にて撮像素子３の読み出し中に、メモリ７に既に記憶されたＲＡＷ画像データの有無を判断する。ここでは、２枚目の撮影を想定しているため、既に前回撮影されたＲＡＷ画像データが記憶されているので（ステップＳ２１３のＹｅｓ）、ステップＳ２１５にて画像処理回路部６は、１回目の撮影で得たＲＡＷ画像データの画像処理を行う。尚、ステップＳ２１５にて画像処理回路部６がＲＡＷ画像データの画像処理を開始するタイミングは、図６（ｂ）に示すように撮像素子３からの読み出し開始に応じて開始する。また、図４及び図６（ｂ）に示すように、２回目からはＷＢ積分処理を行わない。これにより、ホワイトバランス処理が統一され連写で撮像した一連の画像データの色も統一される。

ここで上述した画像処理においては、単写動作のときの実施の形態におけるステップＳ２０５の処理と同様の処理がおこなわれるものとする。

次に、上述したＷＢ積分処理と前回撮影したＲＡＷ画像データの画像処理とがともに終了した時点で、ステップＳ２１６にて電子カメラはＥＶＦ表示処理を開始する。この表示処理は、絞り、電子シャッタ速度、ＷＢは同様に撮影直前の状態と同じく設定することで達成される。次に、ステップＳ２１８にて、撮像素子３の欠陥画素に対応するためメモリ７のＲＡＷ画像データ領域に記憶されたＲＡＷ画像データに対し補正を行う。以上により電子カメラは連写時の２枚目の撮影動作を終了する。

この時点でメモリ７のＲＡＷデータ領域には、２枚目のＲＡＷ画像データが記憶されていることになり、さらにメモリ７の画像ファイル領域７３には、１枚目の画像ファイルが記憶されていることになる。

尚、上述したステップＳ２１５において、前回撮影したＲＡＷ画像データの画像処理を行うと説明したが、上述した画像処理のうちサムネイル画像作成のための処理と、及び各種撮影条件データの付加と、メモリ７の画像ファイル領域７３へ記憶する処理については、ステップＳ２１６にてＥＶＦ表示処理を開始した後でもよい。更には、それらの処理は、上述したステップＳ２１６、Ｓ２１７、Ｓ２１８のいずれかのステップの後に行ってもよい。

また、連写時の３枚目以降の電子カメラにおける撮影動作も上述した２枚目の撮影動作と同様である。ただし、前回（２枚目の）撮影のＲＡＷ画像データはメモリ７のＲＡＷ画像データ領域の第二の領域（例えばＲＡＷ画像データ領域７２）に記憶しているため、３枚目のＲＡＷ画像データはメモリ７のＲＡＷ画像データ領域の第一の領域（例えばＲＡＷ画像データ領域７１）に記憶することになる。以降、電子カメラは、メモリ７のＲＡＷ画像データ領域７１、７２に交互に取得したＲＡＷ画像データを記憶することになる。

そして全体制御部１０にスイッチ群９による撮像記録命令が解除されて、一連の連写動作が終了した場合（ステップＳ２１９のＮｏ）には、メモリ７の画像ファイル領域７３にそれまで蓄積された連写の一連の画像ファイルデータを読み出し、画像処理回路部６及び記録媒体制御Ｉ／Ｆ部１３を介して、記録媒体１２にすべて記録する。

ここで、継続して連写を行うと、ステップＳ２１５でメモリ７の画像ファイル領域７３がいっぱいになることがある。この場合には、画像ファイル領域７３中の最も古い画像ファイルを読み出し、画像処理回路部６及び記録媒体制御Ｉ／Ｆ部１３を介して、記録媒体１２に記録していき、少なくとも１枚分の画像ファイルを画像ファイル領域７３に記憶できるまで、これを繰り返し画像ファイル領域７３の空き容量を増加させる。

以上説明したように、ｎ枚目（ｎは１以上の整数）の撮影を終了した時点で、このｎ枚目のＲＡＷ画像データは処理されずメモリ７のＲＡＷ画像データ領域７１又は７２に記憶されている。また、ｎ−１枚目のメモリ７に記録済みのＲＡＷ画像データに対して画像処理を行い、画像ファイルデータを画像ファイル領域７３に記録する。

ここで上述した連写の撮影動作が終了した時点において、例えばメモリ７に記憶中のＲＡＷ画像データが消失してしまう（又はその可能性がある）事態を避けるための電子カメラの動作は上述の単写撮影の動作と同様であるので説明を省略する。

また、電子カメラにおいてＥＶＦ表示を非動作にし、不図示の光学ファインダのみによる撮影を行う場合は、図３に示したＥＶＦ表示処理（ステップＳ２１６）は行わない。また、光学ファインダによる撮影時は、撮影動作が終了した（ステップＳ２１９）時点ですぐに、もしくは撮影動作が終了した時点から所定時間経過後に、上述した電源Ｏｆｆ時の処理同様、未処理の最終撮影画像データの処理及び記録媒体１２への記録を行う。以上により、電子カメラは連写時において連続したＥＶＦ表示を行うことができる。これにより、連写時にＥＶＦ表示を見ながら動く被写体を追従することができる。

尚、上記実施形態では、撮像装置として電子カメラを示したがこの限りではなく、静止画を撮像する機能を有する種々の装置に適用することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、インターネットなどのネットワークを介して撮像装置に供給し、撮像装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の全体制御部１０の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明の撮像装置に不可欠なモジュールを、記憶媒体に格納することになる。

以上、上述したように本実施形態によれば、従来に比べて撮影時の処理を省いているので撮影シーケンスの短縮化を図ることができる。これにより、撮影後素早く電子ファインダ（表示手段）へ被写体像を表示することができるため、すぐに電子ファインダで被写体を追従することが可能となり、快適な操作感を得ることができる。更には、被写体像の表示が遅いことによってシャッタチャンスを逃すことを防ぐことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明の一実施形態における電子カメラの概略構成を示すブロック図である。図１に示した電子カメラにおける通常の撮影時の動作を示す図である。図１に示した電子カメラにおいてメモリ７に保存中のＲＡＷ画像データの処理を示す図である。図１に示した電子カメラにおける連写での撮影時の動作を示す図である。単写時のインターレース読み出し型の撮像素子３を用いた場合の撮像処理のタイムチャートを示す図である。連写時のインターレース読み出し型の撮像素子３を用いた場合の撮像処理のタイムチャートを示す図である。従来の電子カメラの撮影動作のタイムチャートを示す図である。

符号の説明

１レンズ
２シャッタ
３撮像素子
４信号処理回路部
５Ａ／Ｄ変換器
６画像処理回路部
７メモリ
８画像表示回路
９スイッチ群
１０全体制御部
１１タイミング発生部
１２記録媒体
１３記録媒体制御Ｉ／Ｆ部
１４ＥＥＰＲＯＭ
１５内部タイマ
１６ＲＡＭ
７１、７２ＲＡＷ画像データ領域
７３画像ファイル領域

Claims

被写体からの光を画像データに変換して出力する撮像手段と、
前記撮像手段より得られる画像データを表示する表示手段と、
前記撮像手段より得られる画像データに画像処理を施す画像処理手段と、
前記撮像手段から第１の被写体の画像データを読み出し中に、前記画像処理手段に前記画像データのホワイトバランス処理のための積分処理をさせて、前記ホワイトバランス処理のための積分処理及び前記第１の被写体の画像データの読み出し終了後に前記表示手段に第２の被写体の画像データの表示をさせ、前記第２の被写体の画像データの表示の終了後に前記第１の被写体の画像データに対して前記積分処理の結果に基づくホワイトバランス補正処理を行なうように制御する制御手段と
を具備することを特徴とする撮像装置。
前記撮像手段は、２フィールドで１フレームの画像データを読み出し、前記画像処理手段は、前記撮像手段が２フィールド分を読み出し終了する前に前記画像データの積分処理を行なうことを特徴とする請求項１に記載の撮像装置。
第１の被写体からの光を画像データに変換して表示を行う第１の表示工程と、
前記第１の表示工程の終了後、前記第１の被写体の画像データを撮像する第１の撮像工程と、
前記第１の撮像工程より得られる前記第１の被写体の画像データを読み出す第１の読み出し工程と、
前記第１の読み出し工程における前記第１の被写体の画像データの読み出し中に、前記第１の被写体の画像データのホワイトバランス処理のための積分処理を開始する画像処理工程と、
前記画像処理工程及び前記第１の読み出し工程の終了後に第２の被写体からの光を画像データに変換して表示を行う第２の表示工程と、
前記第２の表示工程の終了後、前記第２の被写体の画像データを撮像する第２の撮像工程と、
前記第２の撮像工程より得られる前記第２の被写体の画像データを読み出す第２の読み出し工程とを有し、
前記第２の読み出し工程における前記第２の被写体の画像データの読み出し中に前記第１の被写体の画像データに対して前記積分処理の結果に基づくホワイトバランス補正処理を行なうこと
を特徴とする撮像方法。
前記第１の撮像工程、及び前記第２の撮像工程は、２フィールドで１フレームの画像データを読み出す工程であり、
前記画像処理工程において、前記第１の撮像工程、及び前記第２の撮像工程により２フィールド分を読み出し終了する前に前記画像データの積分処理を行なうことを特徴とする請求項３に記載の撮像方法。