JP4035543B2 - 撮像装置 - Google Patents

Description

本発明は、撮影レンズを介して取り込まれた被写体の光学像を撮像素子で光電変換して得られた画像信号からデジタル画像データを生成する撮像装置に関する。

一般的なデジタルカメラのホワイトバランス制御（以下ＷＢと記す場合もある）は、被写体から反射する反射光を分析して得られたスペクトル分布から光源の種類を特定し、その光源の種類に基づいてなされる。即ち、特定された光源の種類に応じてホワイトバランス制御値を変化させて、光源色に依らない色再現が得られるようにしている。ＣＣＤなどの撮像素子は駆動方法によって出力される信号レベルのバランスが異なるため、反射光の分析に際しては分光感度に応じた補正が行われる。例えば、ＣＣＤの駆動方法としては、フィールド読み出しやフレーム読み出しが知られている。フィールド読み出しは、ＣＣＤの垂直方向の２画素ずつを加算させて読み出す駆動方式であり、一般に動画の撮影に用いられる。また、フレーム読み出しは、ＣＣＤの垂直方向の２画素を加算させずに１画素ずつ読み出す方式であり、一般に静止画の撮影に用いられる。

また、動画の撮影中に所望のタイミングで静止画を撮影できるデジタルビデオカメラが知られている。特許文献１には、この種のデジタルビデオカメラにおける動画撮影中の静止画撮影において、ＣＣＤの駆動方式の違いに起因する画像の色再現性の変化を低減、防止する技術が開示されている。特許文献１によれば、上記のような駆動方式の違いによるＣＣＤの感度の違いを吸収するために、両駆動方式におけるＣＣＤの感度差が予め記憶される。そして、静止画撮影の駆動方式に適用すべき露光量が、動画撮影の駆動方式で得られた信号と記憶された感度差を用いて決定される。特許文献１によれば、駆動方式の切り換えに応じてホワイトバランス係数が適切に設定されることになる。

また、特許文献２に記載されたデジタルカメラは、動画撮影中の静止画撮影において、ＣＣＤの動画用の駆動を一旦停止させ、静止画用の駆動に切り替えて静止画を撮影し、再び動画用の駆動に戻る制御について説明している。更に、特許文献２には、動画撮影中の静止画撮影において、静止画撮影によって欠落した動画フレームに対応する代替フレームを生成することが記載されている。
特開２００１−０６９４０９号公報 特開２００４−２０１２８２号公報

一般に、デジタルビデオカメラにおいて、動画撮影中の静止画撮影を行う場合、上述のように動画撮影と静止画撮影ではＣＣＤの駆動形態は異なる。この駆動形態の変化はＣＣＤの分光感度特性の変化をもたらすので、駆動形態に応じた現像処理パラメータの変更が必要である。たとえば、駆動形態に応じてホワイトバランス係数を切り替えるといったような処理が必要である。しかしながら、特許文献２では、駆動形態に応じた現像処理の変更については考慮されていない。特許文献２では、静止画撮影の直前の動画撮影による最終フレームを代替フレームとして利用するので動画における画像の色味の連続性が保たれる。しかしながら、静止画像も動画用のパラメータにより現像処理が行われてしまい、動画中静止画撮影による静止画像の分光感度の違いを補正できない。よって、思い通りの静止画像が得られなくなってしまう可能性がある。また、特許文献１では、動画撮影中の静止画撮影において現像処理のパラメータを変更することが示されているが、代替フレームについては記載がない。

更に、特許文献２では、静止画撮影の直前の動画フレームを利用するので、動画の動きがとまってしまい、不自然さを覚える可能性もある。よって、代替フレームの生成方法として、静止画像を縮小することが考えられる。このようにすれば、静止画撮影の直前の動画フレームを利用した場合に比べて、動画の動きの不自然さが改善される。そこで、静止画像を縮小して代替フレームを生成するような構成に特許文献２を適用することも考えられる。しかしながら、その場合、動画中の静止画撮影では、ＣＣＤのフレーム読み出しが行われる。こうして得られた静止画像を縮小して代替フレームとして用いると、動画の撮影は１フィールド読み出しによって行われている為、動画中静止画撮影の期間とその前後で色の連続性が保たれないという問題が生じる。

このように、従来のデジタルビデオカメラでは、動画中の静止画撮影で得られた静止画像と、その際に動画中に挿入すべき代替フレームの両方に思い通りの色味を持たせることはできない。

本発明は上記の課題に鑑みてなされたものであり、その目的は、動画撮影中静止画撮影の際に、動画像と静止画像とに適切な画像処理を施すことを可能にすることにある。

上記の課題を解決するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
動画撮影中における静止画撮影機能を有する撮像装置であって、
動画撮影中に静止画撮影を実行して静止画像を取得する静止画撮影手段と、
前記静止画撮影手段の静止画撮影の際の動画像に対応する代替画像を前記静止画像を利用して生成する生成手段と、
前記静止画像と前記代替画像に対して、それぞれ独立にホワイトバランス制御値を設定する設定手段と、
前記設定手段で設定されたホワイトバランス制御値を用いて、前記静止画像と前記代替画像を画像処理する画像処理手段とを備える。

また、本発明の他の態様による撮像装置は以下の構成を備える。すなわち、
動画撮影中における静止画撮影機能を有する撮像装置であって、
動画撮影中に静止画撮影を実行して静止画像を取得する静止画撮影手段と、
前記静止画撮影手段の静止画撮影の際の動画フレームに対応する代替フレーム画像を前記静止画像を利用して生成する生成手段と、
前記静止画撮影の際の光源状態に追従したパラメータを用いて前記静止画像を画像処理し、前記静止画撮影の際の光源状態への追従を抑制したパラメータにより前記代替画像を画像処理する画像処理手段とを備える。

また、本発明によれば上記撮像装置の制御方法が提供される。

本発明によれば、動画撮影中の静止画撮影の際に、動画像と静止画像とに適切な画像処理を施すことが可能となる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

図１は、本実施形態による撮像装置（デジタルビデオカメラ）１００の構成を示すブロック図である。撮影レンズ１０、絞り機能を備えるシャッター１２を通して撮像素子１４上に光学像が結像される。撮像素子１４はこの光学像を電気信号に変換し、アナログ信号を出力する。なお、撮像素子１４としてはＣＣＤ，ＣＭＯＳセンサ等、周知の素子を利用できる。Ａ／Ｄ変換器１６は撮像素子１４から出力されたアナログ信号をデジタルデータに変換する。

タイミング発生回路１８は、メモリ制御回路２２及びシステム制御部５０により制御され、撮像素子１４、 Ａ／Ｄ変換器１６、 Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。画像処理回路２０は、 Ａ／Ｄ変換器１６からのデジタルデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、この演算結果をシステム制御部５０に供給する。システム制御部５０は、得られた演算結果に基づいて、露光制御部４０、測距制御部４２に対して制御を行い、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。さらに、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６からのデジタルデータは、画像処理回路２０とメモリ制御回路２２を介して、或いは直接にメモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に画像データとして書き込まれる。

画像表示メモリ２４に書き込まれた画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示２８は、例えばＴＦＴ ＬＣＤ等から構成される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ビューファインダー（ＥＶＦ）機能を実現することが可能である。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能である。画像表示部２８の表示をＯＦＦにした場合には、撮像装置１００における電力消費を大幅に低減することが出来る。従って、光学ファインダー１０４を用いて撮影を行う際に画像表示部２８の表示をＯＦＦとし、省電力を図ることが可能となる。

メモリ３０には、撮影した静止画像や動画像が格納される。メモリ３０は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

圧縮伸長回路３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、シャッター１２が備える絞り機能を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能を実現する。測距制御部４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は撮影レンズ１０のズーミングを制御する。バリア制御部４６はバリアである保護部材１０２の動作を制御する。４８はフラッシュであり、通常のフラッシュ機能のほかに、ＡＦ補助光の投光機能やフラッシュ調光機能も有する。システム制御部５０は、撮像した画像データに対して画像処理回路２０が行った演算の結果に基づいて、露光制御部４０、測距制御部４２を制御する。こうして、露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御される。

システム制御部５０は撮像装置１００の全体を制御する。メモリ５２は、システム制御部５０の動作用の定数、変数、プログラム等を記憶する。メモリ５２はまた、ＡＥで用いるプログラム線図も格納している。なお、プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値の関係を定義したテーブルである。

提示部５４は、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等をユーザに提示する。提示部５４は、各種情報を表示するための液晶表示器（ＬＣＤ）やＬＥＤ、スピーカ（発音素子）等の組み合わせで構成され、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置される。また、提示部５４の一部の機能は、光学ファインダー１０４内に設置されている。提示部５４の表示器等に表示する内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆの動作表示、日付け・時刻表示、等がある。また、提示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等で構成される。

６０、６１、６２、６４、６６及び７０は、システム制御部５０へ各種の動作指示を入力するためのユーザインターフェースを構成する。操作部は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。動画ボタン６１は動画撮影の開始と終了を指示するためのボタンである。動画撮影されていないときに動画ボタン６１が押下されると動画撮影開始となり、動画撮影中に動画ボタン６１が押下されると動画撮影終了となる。

６２はシャッタースイッチ（ＳＷ１）で、不図示のシャッターボタンの操作途中でＯＮとなる。シャッタースイッチ６２のＯＮ入力により、システム制御部５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

６４はシャッタースイッチ（ＳＷ２）で、不図示のシャッターボタンの操作完了でＯＮとなる。シャッタースイッチ６４のＯＮ入力により、システム制御部５０は、撮影に関わる一連の動作、即ち、露光処理、現像処理、記録処理を実行する。露光処理は、撮像素子１２から読み出した信号が、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してデジタルデータとしてメモリ３０に書き込まれる。現像処理では、画像処理回路２０やメモリ制御回路２２がデジタルデータに対して演算を施し、デジタル画像データが取得され、メモリ３０に書き込まれる。記録処理では、メモリ３０から画像データが読み出され、圧縮伸長回路３２で圧縮され、記録媒体２００或いは２１０に書き込まれる。

動画中静止画ＷＢ切替部６６は、動画撮影中の静止画撮影においてＷＢの動作を設定するためのユーザインターフェースを提供する。本実施形態では、色再現性優先モード、動画優先モード、静止画優先モードの３種類のモードから１つを選択することが出来る。

操作部７０は各種ボタンやタッチパネル等からなる。例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。これらの構成により、電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
電源制御部８０はコネクタ８２とコネクタ８４を介して電源部８６に接続される。電源部８６としては、アルカリ電池やリチウム電池等の一次電池やＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等を用いることができる。

インターフェース９０及び９４はメモリカードやハードディスク等の記録媒体と内部バスを接続する。コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体との接続を行うコネクタである。記録媒体検知部９８は、コネクタ９２及びコネクタ９６の各々に記録媒体が装着されているか否かを検知する。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標））カード等の規格に準拠したものを用いて構成して構わない。

更に、コネクタ９２，９６に通信カードを装着することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。そのような通信を実現するインターフェース９０，９４、コネクタ９２，９６としては、例えば、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標））カード等の規格に準拠したものが挙げられる。また、その場合の通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等が挙げられる。

保護部材１０２は、撮像装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。光学ファインダ１０４は、画像表示部２８による電子ビューファインダー機能を使用すること無しに、撮影を行うことを可能とする。また、上述したように、光学ビューファインダー１０４内には、提示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。コネクタ／アンテナ１１２は通信部１１０により撮像装置１００を他の機器と接続するためのものであり、接続形態が有線であればコネクタであり、無線通信であればアンテナである。

記録媒体２００（２１０）はメモリカード或いはハードディスク等である。記録媒体２００（２１０）は、半導体メモリや磁気ディスク等から構成される記録部２０２（２１２）、撮像装置１００とのインタフェース２０４（２１４）、撮像装置１００と接続を行うためのコネクタ２０６（２０６）を備えている。

以上のような構成を備えた本実施形態の撮像装置１００の動作について以下に詳細に説明する。

なお、本実施形態の撮像装置１００は、動画ボタン６１の操作によって開始した動画撮影中に、シャッタースイッチ６２，６４を操作することで静止画の撮影を行うことができる。また、動画撮影時と静止画撮影時では撮像素子１４の駆動形態を切り替えるものとする。このような駆動形態の切り換えとしては、例えば、特許文献１に記載されているような駆動形態の切り換えを適用できる。即ち、静止画撮影時には、所定の基板電圧を印加して撮像素子１４よりフレーム読み出しを行う。また、動画撮影時には基板電圧をフレーム読み出し時よりも高くして、フィールド読み出し（垂直方向の複数画素（例えば２画素）を加算して読み出す）を行う。

図２、図３、図４は本実施形態における撮像装置１００の主ルーチンのフローチャートである。図２、図３、図４を用いて、撮像装置１００の主動作を説明する。なお、図２〜図４に示される処理はシステム制御部５０が備えるＣＰＵがメモリ５２等に格納された制御プログラムを実行することで実現される。よって、以下の各ステップの説明において、画像処理回路２０や露光制御部４０による処理は、システム制御部５０の指示により実行される。

電池交換等の電源投入により図２に示す処理が開始される。まず、ステップＳ２０１において、システム制御部５０はフラグや制御変数等を初期化する。また、ステップＳ２０２において、画像表示部２８の画像表示をＯＦＦ状態に初期設定する。次に、システム制御部５０は、ステップＳ２０３において、モードダイアル６０の設定位置を判断する。

モードダイアル６０が電源ＯＦＦに設定されていたならばステップＳ２０５へ進み終了処理を行なう。終了処理において、システム制御部５０は、提示部５４の各表示を終了状態に変更し、保護部材１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により画像表示部２８を含む撮像装置１００の各部の不要な電源を遮断する等の処理を行う。そしてステップＳ２０３へ戻る。

ステップＳ２０３において、モードダイアル６０が撮影モードに設定されていると判定された場合は、ステップＳ２０６へ進む。また、ステップＳ２０３において、モードダイアル６０がその他のモードに設定されていると判定された場合は、処理はステップＳ２０４へ進む。ステップＳ２０４において、システム制御部５０は選択されたモードに応じた処理を実行し、処理を終えたならばステップＳ２０３に戻る。なお、本実施形態においてはステップＳ２０６以降の動画撮影モードについて詳細に説明し、他のモードによる動作の説明は上記の記載にとどめる。

以下、モードダイアル６０が動画撮影モードに設定されている場合の動作を説明する。まず、ステップＳ２０６において、システム制御部５０は、電源制御部８０を用いて電源８６の残容量や動作情況が撮像装置１００の動作に支障をきたすか否かを判断する。電源８６の状態が装置の動作に支障をきたすようであれば、ステップＳ２０８へ進み、提示部５４を用いて画像や音（音声）により所定の警告の提示を行う。そして、ステップＳ２０３へ戻る。

電源８６に問題が無ければ処理はステップＳ２０７へ進み、システム制御部５０は記録媒体２００及び／又は２１０の状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する。問題があればステップＳ２０８へ進み、提示部５４を用いて画像や音（音声）により所定の警告を提示し、ステップＳ２０３に戻る。記録媒体２００及び／又は２１０の動作状態に問題が無ければステップＳ２０９へ進む。

ステップＳ２０９において、システム制御部５０は、スルー画像（静止画を撮影する前後にファインダー機能として表示させるための撮像素子１４によって撮像された動画像）を画像表示部２８に表示するための撮影準備としての初期化を行う。撮影準備が完了したら、ステップＳ２１０において、画像表示部２８によるスルー画像表示を開始する。なお、スルー画像表示の状態においては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータが、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示される。こうして、スルー画像表示により電子ビューファインダー機能が実現される。

次にスルー画像表示状態における動画撮影時のカメラ動作について図３、図４のフローチャートを参照しながら説明する。

ステップＳ３０１では、モードダイアル６０が変更されたか否か（動画撮影モードから他のモードへ設定が変わったか否か）が判定される。変更されていたならばステップＳ２０３に戻りモードダイアル６０の状態をチェックする。変更されていなければ、ステップＳ３０２に進む。

ステップＳ３０２では、動画ボタン６１が押されたか否かが判定される。押されていなければステップＳ３０３へ進み、上記スルー画像表示を継続して行う。そしてステップＳ３０４において、システム制御部５０は、画像処理回路２０に撮像素子１４から得られた信号に対して所定の測光演算を行わせ、その演算結果をメモリ３０に格納させる。システム制御部５０はこの演算結果に基づいて露光制御部４０を用いてスルー画像に対するＡＥ処理を行う。その後ステップＳ３０１に戻る。

一方、ステップＳ３０２において動画ボタン６１が押されたならば、ステップＳ３０５以降の処理を実行し、動画撮影を開始する。まず、以下のステップＳ３０５〜Ｓ３０８に示される動画撮影撮影の開始処理を行い、その後、図４に示すような定常的な動画撮影処理が行われるものとする。

ステップＳ３０５において、画像処理回路２０は撮像素子１４から得られた信号に対してオートフォーカス（ＡＦ）のための所定の測距演算を行いその演算結果をメモリ３０に格納する。システム制御部５０はこの測距演算結果を元に測距制御部４４を用いてＡＦ処理を行い、撮影レンズ１０の焦点を被写体に合わせる。ステップＳ３０６では画像処理回路２０が撮像素子１４から得られた信号に対して測光演算を行い、測光結果をメモリ３０に格納する。システム制御部５０はこの演算結果を元に露光制御部４０を用いてスルー画像に対するＡＥ処理を行う。

ステップＳ３０７において、撮像装置１００は動画撮影処理、即ち一連の撮影動作（露光処理及び現像処理）を実行する。ステップＳ３０８ではステップＳ３０７で撮像された画像をスルー画像として画像表示部２８に表示して、動画撮影撮影の開始処理を完了する。その後、モードダイアル６０の設定が変更されるか、再び動画ボタン６１が押されるまで、動画撮影及び記録（ステップＳ４０３〜Ｓ４０７）が行われる。

図４は、定常的な動画撮影の処理を示すフローチャートである。

ステップＳ４０１において、モードダイアル６０が変更されたか否かを判定する。変更されていたならば、当該動画撮影を終了し、ステップＳ２０３に戻る。変更されていなければ、ステップＳ４０２に進む。ステップＳ４０２において、動画ボタンが押されたと判定された場合は、当該動画撮影を終了してステップＳ２０３に戻る。ステップＳ４０２において動画ボタン６１が押されていないならばステップＳ４０３に進み、動画撮影が継続される。

ステップＳ４０３では、一連の撮影動作（露光処理）が実行される。この撮影動作により、メモリ３０には撮像素子１４からＡ／Ｄ変換器１６を通して読み出された信号処理前の未処理画像データが保存される。ステップＳ４０４では、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測光演算を行い、その演算結果をメモリ３０に格納する。システム制御部５０はこの演算結果を元に露光制御部４０を用いてＡＥ処理を行う。また、上述したようなＡＦ処理を実行してもよい。ステップＳ４０５では、画像処理回路２０が、ステップＳ４０３で保存された画像データをメモリ３０から読み出し、所定の演算により光源の種類（色温度）を推定し、対応するホワイトバランス制御値を決定する。得られたホワイトバランス制御値は、動画用ホワイトバランス制御値としてメモリ３０に格納される。

ステップＳ４０６では、ステップＳ４０３で撮像された画像をスルー画像として画像表示部２８に表示する。そして、ステップＳ４０７では、メモリ３０に保存された画像データに対して、上記決定された動画用ホワイトバランス制御値を用いた色補正（ホワイトバランス）を含む現像処理を行う。そして、現像処理で得られた画像データにＪＰＥＧなどの所定の圧縮処理を施し、圧縮画像データをメモリ３０内に保存する。そして、メモリ３０に保存された圧縮画像データを動画ファイルとして記録媒体２００へ書き込む。

さて、本実施形態では、上記のように動画撮影が行われている間に、シャッタースイッチ６２，６４の押下により静止画撮影が指示されると、動画撮影中の静止画撮影（以下、静止画撮影という場合は、この動画撮影中の静止画撮影を意味する）が開始される。このため、ステップＳ４０８では、シャッタースイッチ６２（ＳＷ１）が押されているか否かを判定する。押されていないならば、動画撮影を継続して行うため、ステップＳ４０１に処理を戻す。ステップＳ４０８においてシャッタースイッチ６２（ＳＷ１）が押されたならば、ステップＳ４０９に進む。ステップＳ４０９では、静止画撮影の処理を行う。ステップＳ４０９による静止画撮影の処理は図５を用いて後述する。一連の静止画撮影動作を終えると、処理はステップＳ４０１へ戻り、当該動画撮影が継続されることになる。

図５は、ステップＳ４０９における動画撮影中の静止画撮影の処理を示すフローチャートである。

ステップＳ５０１においてシャッタースイッチ６２（ＳＷ１）が押されているか否かを判定する。押されていない場合は、静止画撮影は行わずに動画撮影を継続して行うために、本処理を終了する。ステップＳ５０１においてシャッタースイッチ６２（ＳＷ１）が押されたと判定された場合はステップＳ５０２に進む。ステップＳ５０２、Ｓ５０３では、ステップＳ３０５、ステップＳ３０６と同様にＡＦ処理とＡＥ処理を実行する。

ステップＳ５０４でシャッタースイッチ６４（ＳＷ２）が押されたか否かを判定する。押されていなければステップＳ５０１へ戻る。シャッタースイッチ６４が押されたと判定された場合は、ステップＳ５０５に進み、当該静止画撮影のための一連の撮影動作を行う。撮影動作を処理すると、メモリ３０には、撮像素子１４からＡ／Ｄ変換器１６を通して読み出された信号処理前の未処理画像データ（静止画像生（ＲＡＷ）データ）が保存される。

ステップＳ５０６において、画像処理回路２０は、静止画像生データをメモリ３０から読み出し、該データに基づいてホワイトバランス制御値を算出する。そして、このホワイトバランス制御値をメモリ３０に格納する。ステップＳ５０７では、当該静止画撮影において取得された静止画像生データと、当該静止画生データから派生された代替フレームの生データの現像処理において使用されるホワイトバランス制御値（静止画用ホワイトバランス制御値と代替フレーム用ホワイトバランス制御値）を決定する。これらのホワイトバランス制御値の決定処理の詳細は図６を用いて後述する。

続いて、ステップＳ５０８では、ステップＳ５０５でメモリ３０に格納された静止画生データに縮小処理を施し、当該静止画撮影によって欠落した動画フレームの代替フレームとして利用するための縮小画像（代替フレームの生データ）を得る。なお、縮小処理においては、動画撮影によって得られる画像データに近いデータを得るために、動画撮影の駆動形態に倣った処理を行なう。例えば、動画撮影時にフィールド読み出しが行われているのであれば、垂直方向の２画素ずつのデータを加算した情報を用いて縮小画像を得ることにより、フィールド読み出しに近い状態の縮小画像を得る。

次にステップＳ５０９において、ステップＳ５０５でメモリ３０に格納された静止画生データに対して、ステップＳ５０７で決定された静止画用ホワイトバランス制御値を用いた色補正（ホワイトバランス）を含む現像処理を行う。そして、現像処理で得られた画像データにＪＰＥＧなどの所定の圧縮処理を施し、得られた圧縮画像データを静止画ファイルとしてメモリ３０内に保存する。

ステップＳ５１０では、ステップＳ５０８で得られた縮小画像に対して、ステップＳ５０７で得られた代替フレーム用ホワイトバランス制御値を用いた色補正（ホワイトバランス）等を含む現像処理を施す。そして、現像処理で得られた画像データに対してＪＰＥＧ等で圧縮処理を施し、欠落フレームに対する代替フレームとしてステップＳ４０７で作成中の動画ファイルに追加する。

以上で、動画撮影中の静止画撮影を終了する。

図６は静止画撮影におけるホワイトバランス制御値の設定処理を示すフローチャートである。本処理では、動画中静止画ＷＢ切替部６６のモード設定に応じて、静止画生データの現像に使用すべき静止画用ホワイトバランス制御値と、縮小画像の現像処理に使用すべき代替フレーム用ホワイトバランス制御値を決定する。

ステップＳ６０１において、動画中静止画ＷＢ切替部６６によって設定された動画中の静止画撮影におけるホワイトバランスの設定を参照する。この設定が、「動画優先モード」であればステップＳ６０２に進む。

ステップＳ６０２ではステップＳ４０５で得られた動画用ホワイトバランス制御値をメモリ３０から読み出し、代替フレーム用ホワイトバランス制御値としてメモリ３０に格納する。そして、ステップＳ６０３において、ステップＳ６０２で読み出した動画用ホワイトバランス制御値を静止画用ホワイトバランス制御値へ変換する。この変換は、動画撮影時と静止画撮影時の撮像素子１４の駆動形態の違いに起因した分光感度の違いを吸収するためのものである。詳細は、図９を用いて後述する。変換されたホワイトバランス制御値は静止画用ホワイトバランス制御値としてメモリ３０に格納される。

ステップＳ６０１で「動画優先モード」ではない場合はステップＳ６０４において、動画中静止画ＷＢ切替部６６による設定が「静止画優先モード」か否かを判定する。設定が静止画優先モードであればステップＳ６０５に進む。

ステップＳ６０５ではステップＳ６０２と同様にメモリ３０から動画用ホワイトバランス制御値を取得し、これを代替フレーム用ホワイトバランス制御値としてメモリ３０に格納する。続いて、ステップＳ６０６において、ステップＳ５０６で静止画生データから取得したホワイトバランス制御値をメモリ３０から読み出し、これを静止画用ホワイトバランス制御値としてメモリ３０に格納する。

また、ステップＳ６０４で動画中静止画ＷＢ切替部６６の設定が「静止画優先モード」でない場合は、「色再現性優先モード」であるとして、ステップＳ６０７に進む。

ステップＳ６０７では、ステップＳ５０６で静止画生データから得られたホワイトバランス制御値をメモリ３０から読み出し、これを静止画用ホワイトバランス制御値としてメモリ３０に格納する。続いてステップＳ６０８では、ステップＳ６０７でメモリ３０に格納した静止画用ホワイトバランス制御値を動画用ホワイトバランス制御値へ変換し、代替フレーム用ホワイトバランス制御値としてメモリ３０に格納する。この変換処理は、ステップＳ６０３の変換処理とは逆方向の変換となる。変換方法については図９を用いて後述する。

以上で、静止画用ホワイトバランス制御値と代替フレーム用ホワイトバランス制御値が求められ、ステップＳ５０７における静止画用ＷＢ処理が完了する。

図７に、上記処理、即ち動画中静止画ＷＢ切替部６６によって設定されるホワイトバランス制御値を、各モード別に示す。上述したように、本実施形態では、「色再現性優先モード」、「動画優先モード」、「静止画優先モード」の３種類の設定が可能である。
・色再現性優先モードでは、静止画撮影の生データから得られたホワイトバランス制御値を用いて静止画像及び代替フレームを取得するので、その時点の光源状態を反映した、高い色再現性を得ることができる。
・動画優先モードでは、静止画像及び代替フレームの両方に動画撮影時のホワイトバランス制御値に準拠したものが用いられる。即ち、静止画撮影時点の光源状態は反映されない。このモードでは、動画撮影時の色味が代替フレーム画像と静止画像に適用され、動画中静止画撮影を行ったときにファインダーで表示されている色味を動画と静止画の双方に適用することが可能となる。
・静止画優先モードでは、代替フレーム画像には動画用ホワイトバランス制御値が用いられるので、動画撮影時の色味が引き継がれ、動画は色の連続性が保たれる（静止画撮影時点の光源状態は反映されない）。一方、静止画像に対しては当該静止画生データに基づいて得られたホワイトバランス制御値が用いられる。このため、光源状態が反映され、静止画は色再現性を求めることが可能となる。このように、動画中静止画撮影の期間とその前後で動画の色の連続性を保ちながら、動画中の静止画撮影画像は被写体光源に追従させることが可能である。

図８は、動画中の静止画撮影における時間方向のシーケンスを図示したタイミングチャートである。

動画撮影が継続している状態において、シャッタースイッチの信号ＳＷ２が入力されると、静止画像の撮影を実行する。このとき、得られた静止画像を縮小した画像を動画の代替フレームとして用いる。代替フレームは動画像ファイルに組み込まれる。静止画撮影期間の長さに応じて、代替フレームを複数枚並べてもよい。動画中静止画撮影が完了した後は動画撮影を再開する。なお、ＳＷ２信号の入力直後に１フレーム分の黒画像が挿入されているが、これはなくてもかまわない。

図９は、動画用ホワイトバランス制御値と静止画用のホワイトバランス制御値の相互変換を行う方法の一例を示した図である。図９は、動画用のＣＣＤ駆動形態と静止画用のＣＣＤ駆動形態の違いに起因した分光感度の差を、ＸＹ色度図で表現されたＣｘ、Ｃｙの座標上において示したものである。すなわち、予めＣＣＤの各駆動毎の分光感度を計測しておき、これをＣｘ、Ｃｙ座標上で示したものであり、図のDIFF_CXとDIFF_CYが駆動形態に起因した分光感度の差を表している。

例えば動画用のホワイトバランス制御値がMovCx、MovCyで表現されるとき、DIFF_Cx、DIFF_CY分だけ補正することで、静止画用のホワイトバランス制御値Still_Cx、Still_Cyを得ることができる。また、逆に、静止画用のホワイトバランス制御値を動画用のホワイトバランス制御値に変換することもできる。ここではＸＹ色度図で表現した分光感度補正について説明したが、ＲＧＢの各色に対するカラーゲインに所定の係数を掛けることで補正するなど、他の補正手段であっても構わない。また、各光源の種類（色温度）に対応した動画用ホワイトバランス制御値と静止画用ホワイトバランス制御値の対応をテーブルとして保持しておき、ステップＳ６０３、Ｓ６０８ではこれを参照して変換処理を行なうようにしてもよい。

図１０は動画撮影中に被写体光源の変化にホワイトバランス制御が追従する様子を示した図である。動画撮影中、図示した光源１に対して最適なホワイトバランス制御値がＣｘ１であるとき、時間Ｔ１において光源１から光源２へ切り替わった際のホワイトバランス制御値の時間的な変化を示している。本実施形態では、図４のステップＳ４０５において、時間Ｔ１で光源１から光源２への切り替わりを検出すると、時間Tmoveだけ要して光源２に適切なホワイトバランス制御値Ｃｘ３へと徐々に変化させる。すなわち、光源１から光源２への追従を完了する。ホワイトバランス制御値が光源の変化の検出に応じて急変すると、画像の色味が急変してしまい、違和感を覚える。これを防止するために、時間Tmoveが設定されている。

図１０に示すように、光源の切り替わりを検出してから時間Tmoveかけて追従が完了するため、追従の途中、図示した時間Ｔ２で静止画が撮影される場合がある。このとき、追従途中のＣｘ値はＣｘ２である。このような場合、図７等で説明した動画優先モードにおける代替フレーム画像と静止画像、及び静止画優先モードの代替フレーム画像に対しては図示したＣｘ２近傍の値（厳密には、その直前の画像フレーム取得時におけるホワイトバランス制御値）が適用される。また、色再現性優先モードにおける代替フレーム画像と静止画像、及び静止画優先モードにおける静止画像に対しては、Ｔ２の時点であっても、その時点の光源に追従したホワイトバランス制御値、即ちＣｘ３に相当するホワイトバランス制御値が用いられることになる。

この観点から、色再現優先モードでは代替フレーム画像、静止画像ともに静止画撮影時の光源に追従したパラメータで現像処理が行なわれる。それに対して、動画優先モードにおける静止画像や、動画優先モード及び静止画優先モードにおける代替フレームに対する光源追従性は、色再現優先モード時の光源追従性よりも制限されたものとなる（動画撮影時の光源状態が維持される）。

なお、上記実施形態では、図７に示す３つのモード（色再現性優先モード、動画優先モード、静止画優先モード）より１つを選択可能な構成としたが、いずれか１つのモードを備えた撮像装置であってもよいし、任意の２つのモードの組み合わせを備えた撮像装置であってもよいことはいうまでもない。また、現像処理のパラメータとしてホワイトバランス制御値を示したが、本実施形態によるパラメータの切り換えをホワイトバランス制御値以外の他のパラメータに適用してもよい。

以上説明したように、上記実施形態によれば、動画撮影中に静止画を撮影する場合において、静止画像から代替フレームを派生させる際に、代替フレーム画像と静止画像の各々に、独立してホワイトバランス制御値を設定することが可能となる。このため、動画の色の連続性を損なうことなく、静止画像に対しては被写体光源への追従を行うこと（静止画優先モード）や、動画中の静止画撮影直前の色味を代替フレームと動画中静止画像の双方に適用する（動画優先モード）こと、更に、動画と動画中静止画が共に被写体光源への追従を果たすこと（色再現性優先モード）が可能となる。さらに、動画中静止画撮影で得られた静止画像と代替フレーム画像のホワイトバランス制御値を、撮像素子１４の分光感度に応じて補正変換する。このため、動画撮影と静止画撮影における撮像素子１４の駆動方式の違いによる影響を良好に排除できる。

実施形態における撮像装置の構成を示すブロック図である。 実施形態における撮像装置の主ルーチンの動作処理を説明するフローチャートである。 実施形態における撮像装置の動画記録開始の動作処理を説明するフローチャートである。 実施形態における撮像装置の動画撮影の動作処理を説明するフローチャートである。 実施形態における撮像装置の動画撮影中の静止画撮影処理を説明するフローチャートである。 実施形態における撮像装置の動画撮影中の静止画撮影におけるホワイトバランスの設定処理を説明するフローチャートである。 実施形態における撮像装置の動画撮影中の静止画撮影におけるホワイトバランス処理の設定の一覧を示す図である。 実施形態における撮像装置の動画撮影中の静止画撮影のタイミングチャートである。 実施形態における撮像装置の動画撮影中の静止画撮影のホワイトバランス処理において分光感度に応じた補正変換の一例を示す図である。 実施形態における撮像装置の動画撮影中の静止画撮影のホワイトバランス処理において光源の変化が検出された場合の、ＷＢ係数の時間方向の変化を示した図である。

Claims (9)

1. 動画撮影中における静止画撮影機能を有する撮像装置であって、
   動画撮影中に静止画撮影を実行して静止画像を取得する静止画撮影手段と、
   前記静止画撮影手段の静止画撮影の際の動画像に対応する代替画像を前記静止画像を利用して生成する生成手段と、
   前記静止画像と前記代替画像に対して、それぞれ独立にホワイトバランス制御値を設定する設定手段と、
   前記設定手段で設定されたホワイトバランス制御値を用いて、前記静止画像と前記代替画像を画像処理する画像処理手段とを備えることを特徴とする撮像装置。
2. 前記動画撮影と前記静止画撮影における撮像素子の駆動形態の違いにより生じる分光感度特性の違いを打ち消すようにホワイトバランス制御値を変換するための変換係数を保持する保持手段を更に備え、
   前記設定手段は、
   前記静止画像からホワイトバランス制御値を算出して、該算出されたホワイトバランス制御値を当該静止画像のためのホワイトバランス制御値に設定し、
   前記算出されたホワイトバランス制御値を、前記変換係数を用いて変換し、変換されたホワイトバランス制御値を前記代替フレーム画像のためのホワイトバランス制御値に設定することを特徴とする請求項１に記載の撮像装置。
3. 前記動画撮影と前記静止画撮影における撮像素子の駆動形態の違いにより生じる分光感度特性の違いを打ち消すようにホワイトバランス制御値を変換するための変換係数を保持する保持手段を更に備え、
   前記設定手段は、
   前記動画撮影において前記静止画像撮影の直前まで使用されていたホワイトバランス制御値を前記代替画像のためのホワイトバランス制御値に設定し、
   前記設定されたホワイトバランス制御値を前記変換係数で変換して得られたホワイトバランス制御値を前記静止画像のためのホワイトバランス制御値に設定することを特徴とする請求項１に記載の撮像装置。
4. 前記設定手段は、
   前記静止画像からホワイトバランス制御値を算出して、該算出されたホワイトバランス制御値を当該静止画像のためのホワイトバランス制御値に設定し、
   前記動画撮影において前記静止画像撮影前に使用されていたホワイトバランス制御値を前記代替画像のためのホワイトバランス制御値に設定することを特徴とする請求項１に記載の撮像装置。
5. 前記静止画撮影手段により取得される静止画像の画素数は前記動画撮影において取得される画素数よりも多く、
   前記生成手段は、前記静止画像の情報量を縮小して前記代替画像として前記動画像を生成することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記動画撮影と前記静止画撮影では、撮像素子からの信号の読み込み方法が異なることを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 動画撮影中における静止画撮影機能を有する撮像装置であって、
   動画撮影中に静止画撮影を実行して静止画像を取得する静止画撮影手段と、
   前記静止画撮影手段の静止画撮影の際の動画フレームに対応する代替フレーム画像を前記静止画像を利用して生成する生成手段と、
   前記静止画撮影の際の光源状態に追従したパラメータを用いて前記静止画像を画像処理し、前記静止画撮影の際の光源状態への追従を抑制したパラメータにより前記代替画像を画像処理する画像処理手段とを備えることを特徴とする撮像装置。
8. 動画撮影中における静止画撮影機能を有する撮像装置の制御方法であって、
   動画撮影中に静止画撮影を実行して静止画像を取得する静止画撮影工程と、
   前記静止画撮影工程の静止画撮影の際の動画像に対応する代替画像を前記静止画像を利用して生成する生成工程と、
   前記静止画像と前記代替画像に対して、それぞれ独立にホワイトバランス制御値を設定する設定工程と、
   前記設定工程で設定されたホワイトバランス制御値を用いて、前記静止画像と前記代替画像を画像処理する画像処理工程とを備えることを特徴とする撮像装置の制御方法。
9. 動画撮影中における静止画撮影機能を有する撮像装置の制御方法であって、
   動画撮影中に静止画撮影を実行して静止画像を取得する静止画撮影工程と、
   前記静止画撮影工程の静止画撮影の際の動画フレームに対応する代替フレーム画像を前記静止画像を利用して生成する生成工程と、
   前記静止画撮影の際の光源状態に追従したパラメータを用いて前記静止画像を画像処理し、前記静止画撮影の際の光源状態への追従を抑制したパラメータにより前記代替画像を画像処理する画像処理工程とを備えることを特徴とする撮像装置の制御方法。

Images