JP6235788B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、動画記録中に静止画撮影を行う装置において、動画記録を止めることなく静止画撮影を行う技術に関する。

近年、動画撮影中に静止画撮影を行うことを目的としたデジタルスチルカメラやデジタルビデオカメラが提案されている。例えば、特許文献１には、動画記録中に静止画撮影の要求があった場合、静止画データを一時的にメモリに記憶しておき、動画記録終了後に記録媒体へ書き込みを行うことが可能なデジタルビデオカメラが記載されている。

しかし、特許文献１に記載の技術では、静止画の記録サイズは固体撮像素子から出力される画像サイズとは関係なく、動画記録の１フレームの画像を記録するため、高精細な静止画を記録することができないという問題がある。

一方、特許文献２には動画記録中の静止画撮影を高精細に記録するための方法として、動画記録を一旦止めてから静止画撮影を行い、動画記録を再開するデジタルカメラが提案されている。このとき欠落したフレームには黒画像が挿入されることで、欠落フレームをスキップせずに動画を記録することが記載されている。

特開平９−２３３４１０号公報 特開２００６−３１０９０７号公報

しかしながら、特許文献２に記載の技術では欠落フレームが存在するため、ユーザーは欠落フレームの間に起こったでき事を動画再生時に見ることができないという問題がある。

動画記録中に動画撮影を止めることなく高精細な静止画を撮影することができない理由の１つに、動画処理のために現像処理回路を占有してしまい、静止画の現像処理に使用することができないことがあげられる。しかしながら、そのために動画用と静止画用それぞれの現像処理回路を持つことは、メモリや信号処理ＩＣの低コスト化、小型化、低消費電力化の妨げとなり、好ましい解決策とはならない。

さらに最近になって、撮像素子や専用信号処理ＩＣの動作の高速化により動画を静止画と同等の画素数で高精細に読み出せるようになってきた。その結果、動画記録中に動画撮影を止めることなく高精細な静止画ＲＡＷデータを一時的にメモリに記憶しておき、動画記録終了後に記録媒体へ書き込みを行うことも可能である。

しかしながら、高精細な静止画ＲＡＷデータはメモリ占有容量が非常に大きい。これに対して、一時的に記憶できるメモリ容量は有限であるため、動画中に記録可能な静止画の撮影枚数はメモリ容量により著しく制限される結果となる。

図１２は、その動作を模式的に説明したタイミングチャートである。図１２で、動画撮影中に静止画撮影が開始されると、その都度、静止画ＲＡＷデータは撮影装置内の半導体メモリのメモリ１領域、メモリ２領域というように順次一定領域に格納されていくが、すぐに半導体メモリの容量は一杯になってしまう。半導体メモリに格納された静止画ＲＡＷデータの現像及び記録は動画撮影の終了後に行われるが、図１２の例ではＮ枚目の撮影で半導体メモリの容量が一杯になり、これ以降、動画撮影が終了するまで静止画撮影を行うことができない。

本発明は上記問題点を鑑みてなされたものであり、動画記録中に静止画撮影を行う撮像装置において、動画記録を止めることなく、高精細な静止画撮影を撮影枚数の制約なく行えるようにすることを目的とする。

上記目的を達成するために、動画記録と静止画撮影とを行うことが可能な本発明の撮像装置は、入射光量に応じて画像信号を出力する撮像手段と、動画及び静止画の画像信号を現像処理する現像手段と、前記撮像手段から出力された画像信号を記憶する記憶手段と、前記撮像手段から出力された１フレーム分の前記画像信号に対して第１の現像処理を行って動画のデータを生成し、前記記憶手段に記憶された１フレーム分の前記画像信号の一部の画像信号に対して第２の現像処理を行って静止画のデータを生成するように制御する制御手段と、表示手段と、を有し、前記制御手段は、前記第１の現像処理と前記第２の現像処理を動画の１フレーム期間内に行うとともに、前記第２の現像処理を、２フレーム期間に前記撮像手段から出力された２フレーム分の画像信号に対して前記第１の現像処理を行う間に行い、前記第２の現像処理を行う際に、前記記憶手段に記憶された１フレーム分の前記画像信号を複数の分割領域に分け、前記複数の分割領域をそれぞれ複数のブロックに分割した各ブロックから予め決められた数の一部の画像信号を読み出すとともに、前記各ブロックの全ての画像信号に対して前記第２の現像処理が行われるように、前記複数の分割領域を巡回して読み出した異なる画像信号に対して行うように制御し、前記表示手段は、前記複数の分割領域の画像信号の現像処理が一巡した後、該現像された画像信号を表示する。

本発明によれば、動画記録中に静止画撮影を行う撮像装置において、動画記録を止めること無く、高精細な静止画撮影を撮影枚数の制約無く行うことが可能となる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図。 実施形態に係る撮像素子の一部の詳細構成を示す図。 実施形態に係るＦＰＮ検出・補正回路の内部構成を示すブロック図。 実施形態に係るＦＰＮ検出補正回路の補正内容を示す模式図。 実施形態に係る現像部の内部構成を示すブロック図。 第１の実施形態に係る動画記録中に静止画撮影を行う場合のタイミングチャート。 第１の実施形態に係る動画撮影シーケンスを示すフローチャート。 第１の実施形態に係る動画処理ルーチンを示すフローチャート。 第１の実施形態に係るＲＡＷデータの構成及び静止画用ＲＡＷデータのメモリ配分を示す説明図。 第２の実施形態に係る表示制御を行う場合の動画記録時の静止画撮影におけるタイミングチャート。 第２の実施形態に係る表示制御を行う場合の動画記録時の静止画撮影における現像手順を示すフローチャート。 本発明の第２の実施形態に係るＲＡＷデータの構成を示す説明図。 従来の動画記録中に静止画撮影を行う場合のタイミングチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。図１において、撮影レンズ１０１は、フォーカスレンズやズームレンズ等、複数のレンズ群、絞り機構などから構成される。レンズ制御部１０２は、システム制御部１１０による制御に基づいて、撮影レンズ１０１のフォーカスやズーム、絞りを制御する。

撮像素子１０３は、光電変換により入射光量に応じた電荷を生成して出力するＣＭＯＳセンサであり、全画素の電荷を読み出す以外に、特定の画素の加算および特定の行または列おきに間引いたり領域を切り出して電荷を読み出すこともできる。撮像素子駆動回路１０４は、システム制御部１１０による制御に基づいて撮像素子１０３を駆動する。撮像素子駆動回路１０４の制御に基づいて、撮像素子１０３に対して動画や静止画の動作モードに合わせて上述のごとく間引いたり領域を切り出したりすることが可能となる。また、撮像素子駆動回路１０４は、撮像素子１０３が内包する回路を駆動することで撮影時の露光時間や信号増幅量などを変更することができる。

ＦＰＮ検出・補正回路１０５は、撮像素子１０３の出力信号（画像信号）に含まれる縦線キズや列シェーディングなどの固定パターンノイズ（ＦＰＮ）を補正する。

メモリ制御部１０６は、システム制御部１１０からの制御に基づいて、ＦＰＮ検出・補正回路１０５からの出力を内部メモリ１０７に書き込んだり、現像部１０９に伝達することができる。また、内部メモリ１０７のデータを読み出して、現像部１０９に伝達したり、現像パラメータ検出回路１０８に伝達することができる。更に、逆に、現像部１０９からの現像信号の出力を内部メモリ１０７に書き込むこともできる。

現像部１０９はメモリ制御部１０６を介して得られたＲＡＷデータに対して各種現像処理を行う画像処理回路である。現像処理とは撮像素子の配列そのままに出力されたＲＡＷデータを可視像化するための画像処理のことである。現像部１０９で画像処理が施された画像データは、表示部１１３や記録部１１４のそれぞれのデバイス形式に適した信号フォーマットに変換されて出力される。表示部１１３はＬＣＤディスプレイなどの表示デバイスによって構成されており、記録部１１４は、メモリカードなどの記録媒体に動画や静止画を記録するための記録デバイスである。

また、システム制御部１１０には、各種の動作指示を入力するための操作手段として、動画記録スイッチ１１１と、静止画記録スイッチ１１２とが接続されている。動画記録スイッチ１１１は跳ね返りタイプの押下釦であり、押下状態を検出する度に、動画撮影・記録動作の開始と停止の指示を操作することができる。同様に、静止画記録スイッチ１１２も、跳ね返りタイプの押下釦であり、押下状態を検出することで静止画撮影・記録の指示を操作することができる。

次に図１の撮像素子１０３の構成について説明する。図２は撮像素子１０３の構成の一部を示す図である。図２において、２０１は撮影レンズ１０１からの光を受光する受光画素部であり、表面に入射した光を光電変換して電気信号として出力する。

受光画素部２０１はフォトダイオード２０２、転送トランジスタ２０３、信号増幅アンプ２０４、リセット用トランジスタ２０５を１単位として構成されている。転送トランジスタ２０３及び、リセット用トランジスタ２０５は、撮像素子１０３に配置された垂直走査回路２００からの信号によって動作する。ここで、垂直走査回路２００には、シフトレジスタや、転送トランジスタ２０３等の各画素を駆動させる信号生成回路等が含まれる。そして、生成されたタイミング信号によって、転送トランジスタ２０３及びリセット用トランジスタ２０５を制御することによって、フォトダイオード２０２の電荷をリセットしたり、読み出したりして露光時間を制御することができる。

２０６は遮光画素（以下、ＯＢ画素）部であり、受光画素部２０１部と異なり表面が遮光膜によって遮光されている。ＯＢ画素部２０６から出力される信号は、後段の画像処理で画像の黒の基準を決める際等に使用される。

２０７はダミー画素（以下、ＮＵＬＬ画素）部であり、受光画素部及びＯＢ画素部と異なり、光電変換する部分がない。ＮＵＬＬ画素部から出力される信号は、画素部を動作させる周辺回路部のオフセットばらつき成分を検出する際等に使用される。なお、ＮＵＬＬ画素部２０７は受光画素部２０１から、フォトダイオード２０２を削除した構成となっている。

受光画素部２０１、ＯＢ画素部２０６、ＮＵＬＬ画素部２０７は、それぞれ所定の水平行数、垂直列数で２次元配列状に構成される。

２０８は列ＡＤ変換部であり、受光画素部２０１、ＯＢ画素部２０６、ＮＵＬＬ画素部２０７の各画素部からの出力を受けてＡＤ変換するために列ごとに設けられており、コンパレータ２１１と多ビットのメモリ回路２１２により構成される。

さらに、全垂直列に共通のランプ信号発生器２０９とカウンタ回路２１０が設けられている。そして、各画素部からの出力とランプ信号発生器２０９の出力とをコンパレータ２１１で比較して大小が反転するまでの到達時間をカウンタ回路２１０で計数することによりＡＤ変換が行われる。そして計数値はメモリ回路２１２に列ごとにラッチされる。

２１３は水平走査回路であり、列ＡＤ変換部２０８は、水平走査回路からの信号によって、列ごとのデジタル信号の選択と読出しが行われて、撮像素子１０３の撮像出力２１４が得られる。

次に図１のＦＰＮ検出・補正回路１０５の内部構成を図３に示す。図３において、動画用検出ウィンドウ発生回路３０１は、動画撮影時に、撮像素子１０３の出力信号に含まれる縦線キズや列シェーディングなどのＦＰＮ（固定パターンノイズ）をＮＵＬＬ画素から検出するために、ＮＵＬＬ画素の検出領域（WV, WH）を指定する。動画中静止画用検出ウィンドウ発生回路３０２は動画中の静止画撮影用のもので、動画用検出ウィンドウ発生回路３０１と同様に、ＮＵＬＬ画素の検出領域（WV, WH）を指定する。

検出ウィンドウ切り替え回路３０３は、動画用検出ウィンドウ発生回路３０１と動画中静止画用検出ウィンドウ発生回路３０２のそれぞれの出力からいずれか一方を選択し、選択した出力をＦＰＮ検出回路３０４に供給する。

入力されたＲＡＷデータに対して、ＦＰＮ検出回路３０４では、検出ウィンドウ切り替え回路３０３からの検出領域の指定により示されたアクティブ期間内のＮＵＬＬ画素からＦＰＮ成分を検出する。検出されたＦＰＮ成分は、入力されたＲＡＷデータから減算器３０５にて引き算されることにより、受光画素領域の出力信号に含まれるＦＰＮ成分がキャンセルされる構成になっている。

ＮＵＬＬ画素部２０７の信号を用いた補正の一例としては、列ＡＤ変換部２０８にてトランジスタのばらつき等に起因して重畳されるオフセットばらつき成分（列オフセットばらつき）を受光画素部２０１の信号値から減算する列オフセット補正動作等が挙げられる。

図４（ａ）は、列オフセットばらつきによって縦筋が発生していることを表す模式図である。また、図４（ｂ）は補正前、図４（ｃ）は補正後の出力信号の波形を示した図で、図４（ａ）に対応する一部（Ａ−Ａ’間及びＢ−Ｂ’）の出力を示した図である。

受光画素部２０１からの出力（Ａ−Ａ’間）は暗電流及び、撮影レンズ１０１から入射する光による信号に加えて、列オフセットばらつきが重畳した出力を持っている。それに対して、ＮＵＬＬ画素部２０７からの出力（Ｂ−Ｂ’間）は光電変換する部分がないため、暗電流による影響を受けづらく、列オフセットばらつきをよく検出することができる。つまり、受光画素部２０１の出力信号値から、列毎にＮＵＬＬ画素部２０７の出力信号値を減算することで、列オフセットばらつきが除去された出力信号を得ることができる。

ここで、列オフセットばらつきの補正値は、ランダムノイズの影響を低減し補正精度を向上させるため、複数の画素の信号値を平均化あるいは巡回フィルター等の演算をして算出される。

次に図１の現像部１０９の内部構成の一例を図５に示す。図５において、リサイズ回路５０１は動画撮影時と静止画撮影時とで異なる画像サイズに対応するための回路である。動画時にはアスペクト比（１６：９）に切り出されて標準的な動画の画像サイズに縮小変倍され、静止画時にはほぼ等倍で処理される（リサイズ処理）。

色分離回路５０２は、ベイヤー色配列で撮像素子１０３から読み出されたＲＡＷデータからＲ、Ｇ、Ｂ信号を分離する。ＡＷＢ（オートホワイトバランス）回路５０３は検出されたホワイトバランス係数をＲ、Ｇ、Ｂ信号のそれぞれに乗算することで画像のホワイトバランスを調整する（ホワイトバランス処理）。

ガンマ変換回路５０４は、画像信号の所定のダイナミックレンジと階調性を維持するための回路である（ガンマ変換処理）。ノイズ処理回路５０５は画像信号中に含まれるランダムノイズを除去、抑制する（ノイズ抑制処理）。各種信号変換回路５０６は、表示部１１３や記録部１１４のそれぞれのデバイス形式に適した信号フォーマットに変換する。例えば、表示部１１３に対してはＹＵＶ等のテレビジョン信号形式に変換して表示を行い、記録部１１４に対しては、ＪＰＥＧ圧縮変換や、さらにＡＶＩファイルなどの動画ファイル形式へ変換してメモリカード等の記録媒体に記録を行うことができる。

また、動画用現像パラメータ更新・保持回路５０７（現像パラメータ保持手段）は、動画撮影時に使用される動画用の現像パラメータを更新及び保持する。一方、静止画用現像パラメータ更新・保持回路５０８（現像パラメータ保持手段）は、静止画撮影時に使用される静止画用の現像パラメータを更新・保持回路する。

現像パラメータ切り替え回路５０９は、動画用現像パラメータの更新・保持回路５０７と静止画用現像パラメータ更新・保持回路５０８のそれぞれの出力のどちらか一方を選択する。そして、選択した現像パラメータ出力を、上述した対応する回路５０１〜５０６に対して供給する。現像パラメータの一例としては、例えば、リサイズ回路５０１ではリサイズ率や切り出し量、色分離回路５０２では色変換のマトリクス係数、ＡＷＢ回路５０３ではＷＢ係数などがあげられる。

次に図１の撮像装置を用いて動画撮影中に静止画撮影を行う場合の動作について詳細に説明する。図６は、このときの各部の処理のタイミングを模式的に示したタイミングチャートである。また、図７は、図６に示すタイミングで各部の動作を実現するためのシステム制御部１１０におけるフローチャートである。

図６において、システム制御部１１０の内部で同期形成される動画の処理期間および動画中の静止画の処理期間を、便宜上、ハイレベル期間として示す。動画撮影時のＦＰＮ及び現像パラメータの検出のトリガータイミング（立ち上がりエッジ）は、動画１フレーム期間毎の開始タイミングに連動させる。

動画中の静止画のＦＰＮ及び現像パラメータの検出のトリガータイミング（立ち上がりエッジ）は、動画中の静止画の処理期間がアクティブ（ハイレベル）になった後に最初の動画１フレーム期間の開始タイミングにのみ連動させる。

動画用と静止画用のそれぞれの現像パラメータの切り替えトリガータイミング（立ち上がりエッジ）は、動画中の静止画処理のアクティブ（ハイレベル）期間内において動画撮影の１フレーム毎に２回発生させる。１回目は動画１フレーム期間毎の開始タイミングであり、２回目は動画の現像の終了タイミングに連動させる。これは、動画の１フレーム期間内に、動画用と静止画用とで現像部１０９の処理回路をタイムシェアリングするためである。

より具体的に説明すると、動画を記録している間に静止画の撮影が指示されると、動画の次のフレーム期間の開始タイミング（ｔ１）から得られたＲＡＷデータ（静止画）を内部メモリ１０７に書き込む。このとき得られたＲＡＷデータに対しては、通常の動画に対する現像、記録処理も行われる。通常の動画の現像、記録処理が終了すると、フレーム期間の残りの時間を利用して、メモリ１０７に記憶されたＲＡＷデータの一部に対する現像処理を行う（ｔ２）。このように、１フレーム期間の間に、動画の現像、記録処理と、静止画の現像処理を同じ現像部１０９を用いて行うために、本実施形態では、現像パラメータの切り替えトリガータイミングを１フレーム毎に２回発生させる。

以降のフレーム期間においても、通常の動画の撮影、現像、記録を行ってから、メモリ１０７に記憶されたＲＡＷデータの一部に対して順次現像処理を行っていくことにより、最終的に１枚の静止画の現像処理を終了し、記録することができる（ｔ３）。そして、静止画の記録に伴って、メモリ１０７のメモリ領域を開放する。

なお、動画の現像処時間と静止画の現像時間は説明の便宜上、等間隔に示されているが実際には等間隔になるわけではない。動画のフレームレートが高くなるほど動画の１フレーム期間が短くなるため、静止画でシェアリングできる現像時間は極端に短くなる。デジタルカメラなどで一般的な設計条件においては、例えば、動画のフレームレートが３０ｆｐｓであれば、静止画のためにシェアリングできる現像時間は動画の１／１６程度に減ることが分かっている。従って、その分だけ静止画のトータルの現像所要時間が延びる（動画の１５倍）。静止画の画像サイズが動画の４倍であれば、さらに現像所要時間は延びて動画の６０倍、即ち２秒かかる試算である。このときの分割現像の分割回数Ｎは６４となる。

図６のタイミングで行われる動作の手順について、図７のフローチャートに沿って以下詳細に説明する。まず最初に、動画記録スイッチ１１１が押下されて動画撮影の開始の指示が為されると、システム制御部１１０により指示が検知されて動画撮影の動作が開始される。

システム制御部１１０は、Ｓ７０１で静止画記録スイッチ１１２が押下されたか否かを検知して、検知されない場合にはＳ７０２の動画処理ルーチンに移行する。Ｓ７０２で行われる動画処理ルーチンを図７（ｂ）を参照して説明する。

Ｓ７０２の動画処理ルーチンでは、Ｓ７２０でシステム制御部１１０より撮像素子駆動回路１０４に対して動画撮影モードに対応した駆動モードの設定が為され、Ｓ７２１で動画用に１フレームの撮影が開始される。そして、Ｓ７２２で、撮像素子１０３から動画用に切り出して読み出された画像信号が生成される。

Ｓ７２３で、ＦＰＮ検出・補正回路１０５において、システム制御部１１０の制御により動画用検出ウィンドウ発生回路３０１に切り替え制御が為された後に、動画用に生成された画像信号に対してＦＰＮ検出・補正処理が行われる。

Ｓ７２４で現像パラメータ検出回路１０８において動画用の各種現像パラメータの検出が行われ、システム制御部１１０を介して取り込まれる。取り込まれた現像パラメータは、現像部１０９の内部の動画用現像パラメータ更新・保持回路５０７に転送されて、次の動画フレームの現像処理のために更新、保持される。

次にＳ７２５で、システム制御部１１０より動画用現像パラメータ更新・保持回路５０７が保持する動画用の現像パラメータが現像パラメータ切り替え回路５０９により選択されて、動画用の１フレーム現像処理が為される（第１の現像工程）。

Ｓ７２６で、動画用の１フレーム現像信号が動画ファイル形式に変換されて記録部１１４のメモリカードの動画ファイルにアドオン記録されるように、現像部１０９から変換された記録信号が出力される。そして、システム制御部１１０より記録部１１４に対する記録制御が為される。システム制御部１１０は記録制御が開始されると記録の終了を待たずに、ルーチン処理を終了してメインルーチンに復帰する。

動画処理ルーチンＳ７０２から復帰すると、Ｓ７０３で動画記録スイッチ１１１が押下されたかどうか検知して、検知された場合には、ここで動画処理を終了する。また、Ｓ７０３で動画記録スイッチ１１１の押下が検知されなかった場合には、再びＳ７０１に戻って、静止画記録スイッチ１１２が押下されたかどうか検知する。そして、動画記録スイッチ１１１及び静止画記録スイッチ１１２の両方ともに押下が検出されない間は、Ｓ７０１からＳ７０３の間で処理を繰り返し、この間、静止画動作を挟むことなく通常の動画撮影・記録動作が継続される。

その一方で、システム制御部１１０は、Ｓ７０１で静止画記録スイッチ１１２が押下されたと検知された場合にはＳ７０４に処理を進めて、動画記録中の静止画撮影処理に移行する。Ｓ７０４では、システム制御部１１０により、動画用の１フレーム毎のタイミングでカウントアップを行うカウンタ用変数ｎの初期化（ｎ＝１）が行われる。

そして、Ｓ７０５でシステム制御部１１０より、撮像素子駆動回路１０４に対して静止画撮影モードに対応した駆動モードの設定を行い、Ｓ７０６で静止画用に１フレームの撮影を開始する。そして、Ｓ７０７で、撮像素子１０３から静止画用と動画用とで共用可能なサイズで読み出された画像信号が生成される。

図８（ａ）は、静止画と動画と撮像素子１０３の画素配列上での関係の一例を示す概念図である。この例ではアスペクト比（４：３）の静止画８０１に、ちょうど横幅を揃える形でアスペクト比（１６：９）の動画８０２が包括される構成となっている。すなわち静止画用と動画用とで共用可能なサイズで生成された画像信号は、静止画用の画像信号と等価なサイズの設定である。

Ｓ７０８で静止画用と動画用とで共用可能なサイズで生成されたＲＡＷ信号に対して、ＦＰＮ検出・補正回路１０５では、システム制御部１１０の制御により動画中静止画用検出ウィンドウ発生回路３０２に切り替えた後にＦＰＮ検出・補正が行われる。そして、Ｓ７０９では現像パラメータ検出回路１０８にて静止画用と動画用とでそれぞれに適した各種現像パラメータの検出が行われる。

そして、システム制御部１１０を介して取り込まれた静止画用現像パラメータと動画用現像パラメータは、現像部１０９の内部の動画用現像パラメータ更新・保持回路５０７と静止画用現像パラメータ更新・保持回路５０８のそれぞれに転送される。転送された静止画用現像パラメータは現在の動画フレームにおける静止画用の分割現像処理のために、また、動画用現像パラメータは次の動画フレームにおける動画用の１フレーム現像処理のために更新、保持される。

Ｓ７１０では、システム制御部１１０より静止画用ＲＡＷデータに対して、メモリ制御部１０６を介して内部メモリ１０７への書き込みが行われる。Ｓ７１１では、システム制御部１１０により動画用現像パラメータ更新・保持回路５０７が保持する現像パラメータが現像パラメータ切り替え回路５０９により選択される。そして、静止画用ＲＡＷデータからリサイズ回路５０１にて切り出された動画用ＲＡＷデータに対して、動画用の１フレーム現像処理が為される。

そして、Ｓ７１２では、動画用の１フレーム現像画像が動画ファイル形式に変換されて記録部１１４のメモリカードの動画ファイルにアドオン記録されるように、現像部１０９から変換された記録信号が出力される。そして、システム制御部１１０より記録部１１４に対する記録制御が為される。システム制御部１１０は記録制御が開始されると次のＳ７１３に移行する。

一方、内部メモリ１０７に書き込まれた静止画用ＲＡＷデータは、内部メモリ内でＮ個の領域に分割されて、分割領域ごとに１からＮまでの読み出し序列が設けられる。なお、各分割領域に含まれるＲＡＷデータのデータ量が、動画現像処理終了後、１フレーム期間の残りの時間で現像処理が終了するように、分割領域のサイズが設定される。静止画用ＲＡＷデータの分割領域１〜Ｎの撮像素子１０３の画素配列上での関係を図８（ｂ）に、また、内部メモリ１０７上での静止画用ＲＡＷデータの分割領域１〜Ｎのメモリ配分のイメージ図を図８（ｃ）に示す。

Ｓ７１３では、内部メモリ１０７に書き込まれた静止画用ＲＡＷデータから、システム制御部１１０によりメモリ制御部１０６を介して、Ｎ個に領域分割されたうちの序列ｎのＲＡＷデータが読み出されて、現像部１０９に供給される。

そして、Ｓ７１４では、システム制御部１１０より静止画用現像パラメータ更新・保持回路５０８が保持する現像パラメータが現像パラメータ切り替え回路５０９により選択されて、静止画用の序列ｎ番目の分割ＲＡＷデータに対する現像処理が為される。そして、生成された現像画像は、システム制御部１１０によりメモリ制御部１０６を介して内部メモリの静止画現像領域に分割領域ごとに重ならないように書き込まれる（第２の現像工程）。

Ｓ７１５で、システム制御部１１０よりカウンタ用変数ｎのカウント値が１つだけインクリメントされる。Ｓ７１６では、カウンタ用変数ｎのカウント値が所定の領域分割数Ｎを超えたか否か判定して、超えていなければＳ７１９の動画処理ルーチンを経て、再び、Ｓ７１３に処理が移行される。なお、Ｓ７１９で行われる動画処理ルーチンは、図７（ｂ）を参照して説明した、Ｓ７０２で行われる動画処理ルーチンと処理内容は同じである。そして、ひとつ序列を進めたところの分割ＲＡＷデータに対して、Ｓ７１３〜Ｓ７１５の一連の静止画現像処理が序列Ｎに至るまで繰り返される。

Ｓ７１６で、カウンタ用変数ｎのカウント値が所定の領域分割数Ｎを超えた場合に、上記ループを抜けてＳ７１７に処理が移行される。Ｓ７１７では、システム制御部１１０によりメモリ制御部１０６を介して内部メモリ１０７の静止画現像領域から全ての分割領域の現像画像が、全領域の静止画像の現像画像として繋ぎ合わされて現像部１０９に読み出される。

そして、静止画ファイル形式に変換されて記録部１１４のメモリカードの静止画ファイルに記録されるように、現像部１０９から変換された記録信号が出力されるともに、システム制御部１１０により記録部１１４に対する記録制御が為される。

システム制御部１１０により記録制御が開始されると、記録の終了を待たずに次のＳ７１８に移行して、内部メモリ１０７の静止画用ＲＡＷデータの領域は、次の静止画撮影のために開放される。そして、動画中の静止画撮影の処理を終了して、次の静止画撮影を受け付けるために、最初のＳ７０１に処理が移行される。

上記の通り本第１の実施形態によれば、動画記録中に、読み込んだ静止画を分割して、分割した領域づつ動画撮影の間に現像処理することで、動画記録を止めること無く、高精細な静止画撮影を撮影枚数の制約無く行うことが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、現像部１０９において現像画像を表示部１１３の表示デバイスに適した形式に信号変換して画像表示ができるとのみ説明した。本第２の実施形態では、動画撮影中に静止画撮影を行う場合の表示部の動作について、具体的な例示とともに説明する。

図９は、本第２の実施形態における動画記録中に静止画撮影を行う場合のタイミングチャートである。なお、本第２の実施形態における動画処理のタイミングは図６に示すタイミングチャートと同様であるため省略し、第１の実施形態とは異なる静止画処理及び新たに追加した表示処理のタイミングのみを表している。本第２の実施形態では、図９に示すように、Ｋ回目の現像処理を終了すると、得られた静止画の表示を開始する。

図１０は、図９に示すタイミングで表示動作を実現するためのシステム制御部１１０における処理を示すフローチャートである。本第２の実施形態は、図７（ａ）のＳ７１３の処理に表示処理を加えたものであるため、それ以外の処理については省略し、本第２の実施形態において追加された処理について説明する。

また、第２の実施形態では、動画記録中に静止画撮影を行う場合に、撮影した静止画の表示を速やかに行えるようにするために、第１の実施形態の分割現像の分割方法を工夫することで現像途中でも静止画の表示ができるようにした。また、第２の実施形態では、そのために現像部１０９にＬＣＤ表示データを格納可能なＶＲＡＭを設けて（不図示）、分割現像した画像を逐次、ＶＲＡＭ上に展開できる構成を有する。

図１１は、静止画用ＲＡＷデータの分割領域１〜Ｎの撮像素子１０３の画素配列上での関係を示した概念図である。本第２の実施形態の分割領域は、図８（ｂ）に示す分割領域とは異なる分け方がなされている。本第２の実施形態では、まず、内部メモリ１０７に記憶された静止画用ＲＡＷデータを大きく分割数Ｋで領域分割する。なお、この分割数Ｋについては後述する。そして、各分割領域を縦４画素、横４画素の１６画素単位を分割ブロックの最小単位として、さらに細分割し、各分割領域の各分割ブロックから１画素ずつ代表して読み出す。このようにして読み出して現像することにより、分割領域１〜Ｋを一巡したときに現像される画素数は、全体の１／１６となる。

図１１（ａ）は、細分割された各分割ブロックの１６画素中の特定位置として一番左上の１画素を選択した場合の分割読出しの例である。静止画ＲＡＷデータの現像は、動画現像処理終了後、１フレーム期間の残りの時間で行うため、現像部１０９が第１の実施形態と同様の処理能力を有するものとすると、第２の実施形態における分割数Ｋは、第１の実施形態における分割数Ｎの１／１６でよい。言い換えると、第１の実施形態の分割領域１〜１６における、各分割ブロックの一番左上の１画素が、第２の実施形態における分割領域１に対応する。また、第１の実施形態の分割領域１７〜３２における、各分割ブロックの一番左上の１画素が、第２の実施形態における分割領域２に対応する。同様にして、読み出しパターンを最初の分割領域１〜Ｋとする。

図１１（ｂ）は各分割ブロックの１６画素中、図１１（ａ）の場合の１つ右の画素を選択した場合を示しており、読み出しパターンは次の分割領域Ｋ＋１〜２Ｋというように割り振る。例えば、第２の実施形態の分割領域１と同じ第１の実施形態の分割領域１〜１６に対応した領域であっても、各分割ブロックの左上から１つ右の画素から読み出す場合、第２の実施形態では分割領域Ｋ＋１とする。同様に、図１１（ｃ）は各分割ブロックの１６画素中、一番右下の画素を選択した場合を示しており、読み出しパターンは最終の分割領域１５Ｋ＋１〜１６Ｋとして割り振る。例えば、第２の実施形態の分割領域１と同じ第１の実施形態の分割領域１〜１６に対応した領域であっても、各分割ブロックの一番右下の画素から読み出す場合、第２の実施形態では分割領域１５Ｋ＋１に対応する。このように、分割数Ｋに対して、読出しのバリエーションは１６通りあるため、領域分割数の総数は１６Ｋ、すなわちＮとなる。

なお、デジタルカメラなどに用いられる通常のＬＣＤの表示能力を考えると、ＶＧＡ画素数（約３０万画素）程度あれば十分に実用的と考えられるため、１０００万画素以上のセンサであれば、密度の粗さはさして問題とはならない。

第１の実施形態で示した設計例では、動画のフレームレートが３０ｆｐｓ、静止画の分割数Ｎが６４回、全領域の現像時間はトータル２秒であった。これを図１１の分割方法に当て嵌めると、分割数Ｋは４回で全面の均等読出しが可能となり、所要時間はトータル２秒の１／１６、すなわち０．１２５秒で済む。

次に、図９のタイミング動作について、図１０のフローチャートの流れに沿って以下詳細に説明する。静止画の分割現像の処理ルーチンＳ７１３において、まず、Ｓ９０１で、図１１を参照して上述した分割方法に従う序列で、静止画の分割領域１の現像が行われる。

Ｓ９０２では、カウンタ用変数ｎのカウント値が所定の領域数Ｋを超えたか否か判定して、超えていない場合にはＳ９０３にて、分割領域の現像画像が各種信号変換回路５０６にて所定サイズにリサイズされてＶＲＡＭに書き込まれる（ｔ１１、ｔ１２…）。そして、表示動作には関与せずに静止画の分割現像の処理ルーチンから復帰する。

一方、Ｓ９０２においてカウンタ用変数ｎのカウント値が所定の分割数Ｋ以上であると判定されると（ｔ１Ｋ）、Ｓ９０４に進む。Ｓ９０４ではカウンタ用変数ｎのカウント値が所定の分割数Ｋであると判断されると、Ｓ９０５にて、分割領域の現像画像が各種信号変換回路５０６にて所定サイズにリサイズされてＶＲＡＭに書き込まれる（ｔ１Ｋ）。そして、Ｓ９０６で、これまでにＶＲＡＭに書き込まれた分割領域１〜Ｋの現像画像の内容が表示部１１３に出力されて静止画表示が行われる（ｔＫ）。そして、静止画の分割現像の処理ルーチンから復帰する。

また、Ｓ９０４で、カウンタ用変数ｎのカウント値が所定の領域分割数Ｋを超えていたら、表示動作には関与せずに（ｔ（Ｋ＋１））静止画の分割現像の処理ルーチンから復帰する。

上記の通り本第２の実施形態によれば、第１の実施形態と同様の効果に加えて、静止画を全て現像処理するよりも早いタイミングで静止画を表示することが可能になる。

なお、図１１を参照して上述した例では、各分割ブロックが４×４の１６画素からなり、各分割ブロックから１画素を読み出す場合について説明したが、本願発明はこれに限るものではない。各分割ブロックを構成する画素数は１６画素より多くても少なくても良く、また、各分割ブロックを構成する画素の一部であれば、複数画素ずつ読み出すように制御しても構わない。例えば、撮像素子１０３がベイヤー配列のカラーフィルタにより覆われている場合に、各分割ブロックを８×８の６４画素とし、４画素ずつ読み出すこと等が考えられる。なお、各分割ブロックから複数画素を読み出す場合、現像処理に適した単位で読み出すとよい。

Claims (8)

1. 動画記録と静止画撮影とを行うことが可能な撮像装置であって、
   入射光量に応じて画像信号を出力する撮像手段と、
   動画及び静止画の画像信号を現像処理する現像手段と、
   前記撮像手段から出力された画像信号を記憶する記憶手段と、
   前記撮像手段から出力された１フレーム分の前記画像信号に対して第１の現像処理を行って動画のデータを生成し、前記記憶手段に記憶された１フレーム分の前記画像信号の一部の画像信号に対して第２の現像処理を行って静止画のデータを生成するように制御する制御手段と、
   表示手段と、を有し、
   前記制御手段は、
   前記第１の現像処理と前記第２の現像処理を動画の１フレーム期間内に行うとともに、前記第２の現像処理を、２フレーム期間に前記撮像手段から出力された２フレーム分の画像信号に対して前記第１の現像処理を行う間に行い、
   前記第２の現像処理を行う際に、前記記憶手段に記憶された１フレーム分の前記画像信号を複数の分割領域に分け、前記複数の分割領域をそれぞれ複数のブロックに分割した各ブロックから予め決められた数の一部の画像信号を読み出すとともに、前記各ブロックの全ての画像信号に対して前記第２の現像処理が行われるように、前記複数の分割領域を巡回して読み出した異なる画像信号に対して行うように制御し、
   前記表示手段は、前記複数の分割領域の画像信号の現像処理が一巡した後、該現像された画像信号を表示することを特徴とする撮像装置。
2. 前記制御手段は、前記１フレーム分の画像信号に対する前記第２の現像処理が終了した後に、現像した前記１フレーム分の画像信号を前記静止画のデータとして記録媒体に記録するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記現像手段において前記第１の現像処理に用いられる動画用の現像パラメータと、第２の現像処理に用いられる静止画用の現像パラメータとを保持する現像パラメータ保持手段と、
   動画記録中に静止画撮影が行われた場合に、前記動画用の現像パラメータと前記静止画用の現像パラメータとを切り替えて前記現像手段に供給する現像パラメータ切り替え手段と
   を更に有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記現像パラメータは、リサイズ処理、ホワイトバランス処理、ガンマ変換処理、ノイズ抑制処理の係数を含むことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像手段から出力された画像信号に含まれる固定パターンノイズを検出して補正する補正手段を更に有し、
   前記補正手段は動画及び静止画の補正を共に行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記補正手段は、動画または静止画に関わらず、前記撮像手段から前記画像信号が出力される毎に固定パターンノイズの検出及び補正を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記静止画撮影が前記動画記録中に行われた場合に、前記第１の現像処理と前記第２の現像処理を動画の１フレーム期間内に行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 入射光量に応じて画像信号を出力する撮像手段により、動画記録と静止画撮影とを行うことが可能な撮像装置の制御方法であって、
   記憶手段に、前記撮像手段から出力された画像信号を記憶する記憶工程と、
   現像手段が、前記撮像手段から出力された１フレーム分の前記画像信号に対して現像処理を行い、動画のデータを生成する第１の現像工程と、
   前記現像手段が、前記記憶手段に記憶された１フレーム分の前記画像信号の一部の画像信号に対して現像処理を行って静止画のデータを生成する第２の現像工程とを有し、
   前記第１の現像工程と前記第２の現像工程は、動画の１フレーム期間内で行われるように制御されるとともに、前記第２の現像工程は、２フレーム期間に前記撮像手段から出力された２フレーム分の画像信号に対して前記第１の現像処理を行う間に行われ、
   前記第２の現像工程では、前記記憶手段に記憶された１フレーム分の前記画像信号を複数の分割領域に分け、前記複数の分割領域をそれぞれ複数のブロックに分割した各ブロックから予め決められた数の一部の画像信号を読み出すとともに、前記各ブロックの全ての画像信号が現像処理されるように、前記複数の分割領域を巡回して読み出した異なる画像信号に対して行い、
   前記複数の分割領域の画像信号の現像処理が一巡した後、該現像された画像信号を表示手段に表示する表示工程を更に有することを特徴とする撮像装置の制御方法。

Images