JP5915720B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

撮像した画像から複数のクロップ領域内の画像を取得するデジタルカメラが知られている（特許文献１参照）。

特開２００５−１７５６８３号公報

従来技術では、撮像素子から画素データを読出す際のデータ読出しレートが各クロップ領域でどのように設定されるのか明らかでなかった。

請求項１に記載の撮像装置は、光電変換により信号を生成する画素を複数有する撮像素子と、撮像素子の第１領域に含まれる画素で生成された信号を読み出す第１フレームレートを、撮像素子の第２領域に含まれる画素で生成された信号を読み出す第２フレームレートとは異なるように撮像素子を制御可能な制御部と、を備え、制御部は、第１領域の少なくとも一部の領域と第２領域の少なくとも一部の領域とが重なる場合、第１フレームレート及び第２フレームレートが同じになるように撮像素子を制御する。
請求項１１に記載の撮像装置は、光電変換により信号を生成する画素を複数有する撮像素子と、撮像素子の第１領域に含まれる画素で生成された信号を読み出すときの第１間引率を、撮像素子の第２領域に含まれる画素で生成された信号を読み出すときの第２間引率とは異なるように撮像素子を制御可能な制御部と、を備え、制御部は、第１領域の少なくとも一部の領域と第２領域の少なくとも一部の領域とが重なる場合、第１間引率及び第２間引率が同じになるように撮像素子を制御する。

本発明の第一の実施形態による電子カメラの構成を例示する図である。 電子カメラの背面図である。 録画前にライブビュー画像を表示する画面を例示する図である。 録画前に表示枠を点灯表示する画面を例示する図である。 録画中の画面を例示する図である。 ２画像録画前にライブビュー画像を表示する画面を例示する図である。 ２画像録画前に表示枠を点灯表示する画面を例示する図である。 ２画像録画中の画面を例示する図である。 撮像素子からの画素データの読出しを説明する図である。 撮像素子からの画素データの読出しを説明する図である。 録画処理の流れを説明するフローチャートである。 再生表示処理の流れを説明するフローチャートである。 クロップ領域の位置関係を説明する図である。 位置関係と表示象限とを説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による電子カメラ１の構成例を説明するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、ＡＦＥ(Analog front end)回路１３と、画像処理回路１４と、タイミングジェネレータ(TG)１５と、ＬＣＤモニタ１７と、バッファメモリ１８と、フラッシュメモリ１９と、ＣＰＵ２０と、メモリカードインターフェース(I/F)２１と、操作部材２２とを備える。

ＣＰＵ２０、バッファメモリ１８、フラッシュメモリ１９、メモリカードインターフェース２１、画像処理回路１４、およびＬＣＤモニタ１７は、それぞれがバス１６を介して接続されている。

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。

ＴＧ１５は、ＣＰＵ２０から送出される指示に応じて所定のタイミング信号を発生し、撮像素子１２、ＡＦＥ回路１３、画像処理回路１４へそれぞれのタイミング信号を供給する。タイミング信号によって撮像素子１２等が駆動制御されることにより、撮像素子１２による撮像タイミングや撮像素子１２からのアナログ画像信号の読出しタイミングが制御される。

撮像素子１２は、撮影光学系１１を通過した光束による被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、ＡＦＥ回路１３に入力される。本実施形態の撮像素子１２は、たとえば、画素に対応する複数の電荷蓄積型の光電変換素子を備えたＣＭＯＳイメージセンサによって構成される。撮像素子１２は電子シャッター機能を有しており、いわゆるローリングシャッターによって各画素の露光制御を行う。ローリングシャッターでは、画素の露光・読出しタイミング（蓄積制御のタイミング）が撮像面における水平方向の画素並び（水平ライン）ごとに異なっている。
また撮像素子１２は、窓読み出し、という駆動モードを使用し、クロップした選択エリアに必要な領域のみを撮像素子で撮像して読み出すことが可能である。この撮像素子１２における窓読出し駆動モードでは、撮像素子内の任意の位置および大きさのエリアをユーザーが任意に選択（設定）可能である。撮像素子１２は、その選択されたエリアの大きさに応じて、被写体像を撮像して被写体像信号を読み出すフレームレート（以下、読み出しフレームレートと称す）を可変制御される（具体的には選択されたエリアの大きさが小さいほど読出しフレームレートを上げることができる）。これによって、複数のクロップ領域が選択された場合においても、撮像信号読み出しに要する時間が不必要に長くならず、動画像（ライブビュー画像）表示や動画像記録にとって十分な読み出しフレームレートが確保できる。
撮像素子１２は複数の駆動モードを有しており、間引きや加算方法が異なるためフレームレートの変更が可能である。複数の選択エリアに対して、それぞれの選択エリア内の被写体の動きに応じたフレームレートを設定することができる。例えば、動きベクトルが大きい被写体に対しては（動きの速い被写体を含むエリアが上述のクロップエリアとして選択された場合には）フレームレートを高くすることが可能になる。つまり被写体の動きに応じた読み出しフレームレートの制御が可能になる。
このように撮像素子１２は、撮影される被写体の速さや、一画面内から切り出されるクロップエリアの大きさなどに応じて、適切な読み出しフレームレートで駆動制御されるものである。

ＡＦＥ回路１３は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路１４に入力される。画像処理回路１４は、デジタル画像データに対して各種の画像処理（画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。

ＬＣＤモニタ１７は液晶パネルによって構成され、ＣＰＵ２０からの指示に応じて画像や操作メニュー画面などを表示する。ＬＣＤモニタ１７の表示面上にはタッチ操作部材（不図示）が積層されている。タッチ操作部材は、ユーザーによってタッチ操作された場合に操作部材上（すなわち液晶モニタ１７の表示画面上）のタッチ位置を示す信号を発生し、ＣＰＵ２０へ送出する。

バッファメモリ１８は、画像処理回路１４によって画像処理される前、画像処理中、画像処理された後のデジタル画像データを一時的に記憶する。また、後述するクロップ録画を行う場合にも、各画像データ（第１画像データおよび第２画像データ）をそれぞれ一時記憶するために十分な記憶容量が確保されている。フラッシュメモリ１９は、ＣＰＵ２０に実行させるプログラムを記憶する。

ＣＰＵ２０は、フラッシュメモリ１９が記憶するプログラムを実行することによって電子カメラ１が行う動作を制御する。ＣＰＵ２０は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。ライブビュー画像は、撮影指示前に撮像素子１２によって所定の時間間隔（たとえば６０フレーム／毎秒＝６０fps）で繰り返し取得されるモニタ用画像のことをいう。ライブビュー画像はスルー画像とも呼ばれる。

メモリカードインターフェース２１はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体５１が接続される。メモリカードインターフェース２１は、接続された記憶媒体５１に対するデータの書き込みや、記憶媒体５１からのデータの読込みを行う。記憶媒体５１は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。

操作部材２２は、後述するレリーズボタン２２ａ、録画スイッチ２２ｉ、ズームスイッチ２２ｂおよび２２ｃ、十字スイッチ２２ｇ、メニュースイッチ２２ｅなどを含む。操作部材２２は、ファンクション操作やメニュー選択操作など、各操作に応じた操作信号をＣＰＵ２０へ送出する。

図２は、電子カメラ１の背面図である。電子カメラ１の背面には、ＬＣＤモニタ１７と、ズームスイッチ２２ｂ（Ｔ）と、ズームスイッチ２２ｃ（Ｗ）と、ファンクション（Ｆ）スイッチ２２ｄと、録画スイッチ２２ｉと、メニュースイッチ２２ｅと、削除スイッチ２２ｆと、十字スイッチ２２ｇと、ＯＫスイッチ２２ｈとが設けられている。

電子カメラ１のＣＰＵ２０は、撮影モード時に上述したライブビュー画像をＬＣＤモニタ１７に表示させる。図３は、ライブビュー画像を表示するＬＣＤモニタ１７の表示画面を例示する図である。ライブビュー画像は、撮像素子１２が有する有効画素のうち間引き読み出しされた画素のデータに基づいて表示されたものである。したがって、撮像素子１２が有する有効画素数に比べてＬＣＤモニタ１７の表示画素数が少ない場合には、ライブビュー画像の精細度を低くするようにデータ読出し時の間引き率が設定される。間引きは、単純間引き方式でも画素加算方式でもよい。撮像素子１２に６０fpsで撮像を行わせる場合、ライブビュー画像を６０fpsで表示させることができる。

ＣＰＵ２０は、ライブビュー画像を表示中にレリーズボタン２２ａから操作信号が入力された場合、静止画撮影処理を開始させて静止画像を取得する。静止画撮影では、通常、撮像素子１２が有する全画素から読出した画素のデータに基づいて記録画像を生成する。なお、設定により、撮像素子１２が有する全画素のうち所定の間引き率で読出した画素のデータに基づいて記録画像を生成すること、または、撮像素子１２が有する撮像領域（有効画素領域）のうち所定の領域から読出した画素のデータに基づいて記録画像を生成することも可能に構成されている。

また、ＣＰＵ２０は、ライブビュー画像を表示中に録画スイッチ２２ｉから操作信号が入力された場合、動画撮影処理を開始させて動画像を取得し、動画撮影処理中に再度操作信号が入力された場合に動画撮影処理を終了する。動画撮影では、通常、撮像素子１２が有する有効画素のうち所定の間引き率で読出した画素のデータに基づいて記録画像を生成する。なお、設定により、撮像素子１２が有する撮像領域（有効画素領域）のうち所定領域から読出した画素のデータに基づいて記録画像を生成することも可能に構成されている。撮像素子１２から画素のデータを読出す領域は、後述するクロップ領域設定操作により変更可能に構成されている。

本実施形態は、動画像を取得する場合の動作に特徴を有するので、以下、動画像取得（録画）を中心に説明を行う。

＜１画像録画の場合＞
−クロップ領域設定−
ＣＰＵ２０は、ライブビュー画像を表示中にＬＣＤモニタ１７上のタッチ操作部材（不図示）から操作信号が入力された場合、そのタッチ位置を示す表示枠３１をライブビュー画像の上に重ねて点滅表示（重畳表示）させる（図３）。本例では、表示枠３１のアスペクト比は、ＬＣＤモニタ１７の表示領域のアスペクト比と一致する。表示枠３１は、動画像取得（録画）時における高精細画像の撮影範囲に対応する。

ＣＰＵ２０は、表示枠３１を点滅させている状態でＬＣＤモニタ１７上のタッチ操作部材（不図示）から操作信号が入力された場合、そのタッチ位置へ表示枠３１の中心位置を移動させる。また、ＣＰＵ２０は、ズームスイッチ２２ｃ（Ｗ）から操作信号が入力された場合は、点滅中の表示枠３１のサイズを操作回数に応じて大きくし、ズームスイッチ２２ｂ（Ｔ）から操作信号が入力された場合は、点滅中の表示枠３１のサイズを操作回数に応じて小さくする。ＣＰＵ２０は、ＯＫスイッチ２２ｈから操作信号が入力された場合、その時点の表示枠４１を点滅表示から点灯表示へ変更させる（図４）。

なお、点灯表示中の表示枠４１の表示位置がタッチ操作された場合のＣＰＵ２０は、表示枠４１を点灯表示から点滅表示へ変更させる。ＣＰＵ２０は、削除スイッチ２２ｆから操作信号が入力された場合に点滅状態の表示枠４１を消去させる。

−録画−
ＣＰＵ２０は、録画スイッチ２２ｉから操作信号が入力された場合、動画像取得（録画）処理を開始させる。ＣＰＵ２０は、表示枠４１がセットされている（すなわち、表示枠４１が点灯表示されている）場合、高精細画像（第１画像と呼ぶ）を取得させる。高精細画像は、撮像素子１２の撮像領域（有効画素領域）のうち表示枠４１に対応する領域に対応する画像である。また、ＣＰＵ２０は、表示枠４１がセットされていない（すなわち、表示枠４１が点灯表示されていない）場合には、全画面画像を取得させる。全画面画像は、撮像素子１２の有効画素領域の全域に対応する画像である。

高精細画像を取得する場合のＣＰＵ２０は、表示枠４１のサイズが大きいほど撮像素子１２から画素データを読出す際の間引き率を高くし（換言すれば、読み出し解像度を低くし）、表示枠４１のサイズが小さいほど撮像素子１２から画素データを読出す際の間引き率を低く（換言すれば、読み出し解像度を高く）設定する。間引き率が低いほど（すなわち表示枠４１のサイズが小さいほど）、高精細の動画像が得られる。更にＣＰＵ２０は、表示枠４１内に存在する被写体の動きをその枠４１内の平均的な動きベクトルに基づいて求め、その動きに応じて撮像素子１２の読み出しフレームレートを制御する。具体的には、被写体の動きが激しい（動きベクトルが大きい）ほど撮像素子１２の読み出しフレームレートを上げる。なお、高精細画像の録画を開始したＣＰＵ２０は、録画開始前の表示画像（図４）に代えて、録画中の表示画像（図５）をＬＣＤモニタ１７に表示させる。

＜２画像録画の場合＞
−クロップ領域設定−
ＣＰＵ２０は、ライブビュー画像に重ねて表示枠４１（図４）を点灯表示中に、さらにＬＣＤモニタ１７上のタッチ操作部材（不図示）から操作信号が入力された場合、そのタッチ位置を示す表示枠６１をライブビュー画像の上に重ねて点滅表示（重畳表示）させる（図６）。本例において、表示枠６１のアスペクト比をＬＣＤモニタ１７の表示領域のアスペクト比と一致させている点は表示枠３１（４１）の場合と同様である。表示枠６１は、動画像取得（録画）時における高精細画像（第２画像と呼ぶ）の撮影範囲を表す。

ＣＰＵ２０は、表示枠６１を点滅させている状態でＬＣＤモニタ１７上のタッチ操作部材（不図示）から操作信号が入力された場合、そのタッチ位置へ表示枠６１の中心位置を移動させる。また、ＣＰＵ２０は、ズームスイッチ２２ｃ（Ｗ）から操作信号が入力された場合は、点滅中の表示枠６１のサイズを操作回数に応じて大きくし、ズームスイッチ２２ｂ（Ｔ）から操作信号が入力された場合は、点滅中の表示枠６１のサイズを操作回数に応じて小さくする。ＣＰＵ２０は、ＯＫスイッチ２２ｈから操作信号が入力された場合、その時点の表示枠７１を点滅表示から点灯表示へ変更させる（図７）。

なお、点灯表示中の表示枠４１、７１のいずれかの表示位置がタッチ操作された場合のＣＰＵ２０は、対応する表示枠を点灯表示から点滅表示へ変更させる。ＣＰＵ２０は、削除スイッチ２２ｆから操作信号が入力された場合には、点滅状態の表示枠を消去させる。

ＣＰＵ２０は、録画スイッチ２２ｉから操作信号が入力された場合、動画像取得（録画）処理を開始させる。ＣＰＵ２０は、２つの高精細画像（拡大画像）を取得させる。２つの高精細画像は、撮像素子１２の撮像領域のうち表示枠４１に対応する領域に対応する第１画像（図５）と、表示枠７１に対応する領域に対応する第２画像（図８）である。ここで本実施形態では第２画像（図８）の被写体よりも第１画像（図５）の被写体の方が激しく動いている（平均的な動きベクトルが相対的に大きい）ものと仮定する。なお、高精細画像の録画を開始したＣＰＵ２０は、録画開始前の表示画像（図７）に代えて、録画中の表示画像（図８）をＬＣＤモニタ１７に表示させる。ここで、録画中の表示画像（図８）に代えて録画中の表示画像（図５）をＬＣＤモニタ１７に表示させることも可能に構成される。

ＣＰＵ２０は、２画像録画の場合は２つのクロップ領域のそれぞれに対して、撮像素子１２から画素データを読出す際のデータ読出しレート（すなわち間引き率）を設定する。

図９および図１０は、撮像素子１２からの画素データの読出しを説明する図である。図９は、全画面画像を取得する場合（すなわち、表示枠４１（図４）がセットされていない場合）を説明する図である。ＣＰＵ２０は、撮像素子１２の有効画素領域の全域に対応する画像を取得するため、撮像素子１２の上側から下側へ、水平ラインごとにタイミングをずらして露光・読出しを制御する。上述したように、撮像素子１２から画素データを読出す際の間引き率を高くするように、読出し水平ラインを所定間隔でセットするとともに（たとえば、６０fps）、読出し水平ラインにおいて所定画素間隔で画素データを読出す。

図１０は、クロップ領域について画像を取得する場合を説明する図である。図１０は２画像録画の例であるので、表示枠４１および表示枠７１（図７）の双方がセットされている。ＣＰＵ２０は、複数のクロップ領域に対応する画像を取得するため、撮像素子１２の上側から下側へ水平ラインごと、かつクロップ領域ごとにタイミングをずらして露光・読出しを制御する。

図１０において、画素領域１０７１は表示枠７１（図７）に対応し、画素領域１０４１は表示枠４１（図７）に対応する。ＣＰＵ２０は、撮像素子１２から画素データを読出す際の間引き率を低くする（換言すれば高解像読出しモードにする）ように、読出し水平ラインの間隔を全画面画像取得時より狭くセットするとともに、読出し水平ラインにおける画素間隔も全画面取得時より狭くする。画素領域１０７１および画素領域１０４１間でサイズが異なる場合は、各画素領域間で読出し水平ライン間隔および画素間隔（換言すれば読出しの解像度を）を異ならせる。更に、表示枠４１、７１内の被写体の動きに応じて、読み出しのフレームレートを制御する。図１０の例では、画素領域１０７１に係る読出し水平ラインをたとえば１０fps相当にセットし、画素領域１０４１に係る読出し水平ラインをたとえば３０fps相当にセットする。このように動きの激しい被写体（図５）に係る読出し水平ラインの方のフレームレートを相対的に上げるようにする。

ここで、各水平ラインの露光時間は、電子カメラ１に設定されているシャッター秒時に対応するものであり、たとえば、ＣＰＵ２０が公知の自動露出演算によって決定したシャッター秒時が用いられる。

以上説明した録画処理の流れについて、図１１に例示するフローチャートを参照して説明する。電子カメラ１のＣＰＵ２０は、不図示のメインスイッチがオン操作されると、図１１の処理を行うプログラムを起動する。図１１のステップＳ１０１において、ＣＰＵ２０は、撮像素子１２にライブビュー画像用の撮像を開始させ、取得された画像データに基づくライブビュー画像をＬＣＤモニタ１７に表示させてステップＳ１０２へ進む（図３）。

図３に例示したライブビュー画像は、撮像素子１２が有する有効画素のうち、ＬＣＤモニタ１７の表示画素数に応じた間引き率で読出したデータに基づいて表示させたものである。したがって、撮像素子１２が有する画素数に比べてＬＣＤモニタ１７の表示画素数が少ない場合には、ライブビュー画像の解像度を低くするようにデータ読出し時の間引き率を設定する。ここで、画素密度変換処理について述べる。ＬＣＤモニタ１７の表示画面の走査形式に規定される画素数よりも、撮像素子１２の読出し画素数が多い場合には、その走査形式の規定よりも高い画素密度で画像情報が生成されてしまう。そこでこの画素密度の高い画像情報を表示画面の走査形式に合わせた画素密度まで低減する処理のことを画素密度変換処理という。

ステップＳ１０２において、ＣＰＵ２０は、クロップ領域を設定する操作が行われたか否かを判定する。ＣＰＵ２０は、たとえば、ファンクションスイッチ２２ｄの押下操作を示す信号が操作部材２２から入力された場合、ステップＳ１０２を肯定判定してステップＳ１０３へ進む。ＣＰＵ２０は、ファンクションスイッチ２２ｄの押下操作を示す信号が入力されない場合には、ステップＳ１０２を否定判定してステップＳ１０８へ進む。

ステップＳ１０３において、ＣＰＵ２０は、撮影対象の指定操作を受け付ける。具体的には、上述したように表示枠３１または表示枠６１をライブビュー画像に重ねて表示させた上で、ＯＫスイッチ２２ｈからの操作信号を待つ。ＣＰＵ２０は、ＯＫスイッチ２２ｈが操作されるとステップＳ１０４へ進む。

ステップＳ１０４において、ＣＰＵ２０は、撮影対象に動きがあるか否かを判定する。ＣＰＵ２０は、後から取得されたフレーム画像データにおける検出領域の位置と、先に取得されたフレーム画像データにおける撮影対象の位置との相対距離が所定差を超えている場合に、ステップＳ１０４を肯定判定してステップＳ１０５へ進む。ＣＰＵ２０は、上記相対距離が所定差以下の場合には、ステップＳ１０４を否定判定してステップＳ１０６へ進む。

ステップＳ１０５において、ＣＰＵ２０は、画素領域１０４１に係る読出し水平ラインのように、読み出しレートを３０fps相当にセットしてステップＳ１０７へ進む。フレームレートを上げることによって蓄積時間が短くなり、蓄積データの信号値が低くなる。この場合は、撮像感度を高くすることによって信号値の低下分を補償するようにしてもよい。ステップＳ１０６において、ＣＰＵ２０は、画素領域１０７１に係る読出し水平ラインのように、読み出しレートを１０fps相当にセットしてステップＳ１０７へ進む。フレームレートを下げることによって蓄積時間が長くなり、蓄積データの信号値が高くなる。この場合は、撮像感度を低くすることによって信号値の増加分を補償するようにしてもよい。

ステップＳ１０７において、ＣＰＵ２０は、クロップ領域設定終了操作が行われたか否かを判定する。ＣＰＵ２０は、表示枠３１または６１の点滅表示を終了した場合にステップＳ１０７を肯定判定してステップＳ１０８へ進む。ＣＰＵ２０は、表示枠３１または６１を点滅表示させている場合はステップＳ１０７を否定判定し、ステップＳ１０３へ戻る。

ステップＳ１０８において、ＣＰＵ２０は録画操作が行われたか否かを判定する。ＣＰＵ２０は、録画スイッチ２２ｉから操作信号が入力された場合にステップＳ１０８を肯定判定してステップＳ１０９へ進む。ＣＰＵ２０は、録画スイッチ２２ｉから操作信号が入力されない場合には、ステップＳ１０８を否定判定してステップＳ１０１へ戻る。

ステップＳ１０９において、ＣＰＵ２０は、動画撮影処理を開始させてステップＳ１１０へ進む。ステップＳ１１０において、ＣＰＵ２０は、取得した画像データに基づいて、たとえば、MPEGフォーマットの画像ファイルを記憶媒体５１へ記録して図１１による処理を終了する。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、複数の電荷蓄積型光電変換素子が水平方向および垂直方向に配列された撮像素子１２と、撮像素子１２による蓄積データを素子列順に所定の読出しレートで読出すＴＧ１５と、撮像素子１２の第１範囲に含まれる素子列の蓄積データを第１の読出しレートで読出し、撮像素子１２の第１範囲と異なる第２範囲に含まれる素子列の蓄積データを第２の読出しレートで読出すようにＴＧ１５を制御するＣＰＵ２０とを備えるので、撮像素子１２の異なる範囲の蓄積データを、それぞれ適切なレートで読出せる。

（２）画像データを記憶媒体５１に記録するメモリカードＩ／Ｆ２１をさらに備え、ＣＰＵ２０は、第１範囲の蓄積データに基づく画像データ（第１画像）、および第２範囲の蓄積データに基づく画像データ（第２画像）の双方を記憶媒体５１に記録するようにメモリカードＩ／Ｆ２１を制御する。これにより、異なる読出しレートで読出した複数の画像を録画できる。

（３）上記（２）の場合のＣＰＵ２０は、メモリカードＩ／Ｆ２１に第１範囲および第２範囲の蓄積データに基づく画像データを記憶媒体５１に記録せしめる際には、撮像素子１２に含まれる、画像データを形成する蓄積データを出力する素子列のうち、第１範囲と第２範囲に対応する素子列からの蓄積データのみを読出すようＴＧ１５を制御するようにした。一般に、撮像素子１２にはオプティカルブラック部が設けられている。オプティカルブラック部に含まれる画素は遮光されており、センサ出力の基準となる信号を出力する。録画時にはオプティカルブラック部に含まれる画素について蓄積データを読出さないことで、録画時の読出し制御が簡単になる。

（変形例１）
上述した説明では、２画像録画の際に設定した２つのクロップ領域が異なる水平ライン上に存在する場合（２つのクロップ領域において共通する水平ラインが存在しない）を例示したが、２つのクロップ領域が同一の水平ラインを含む場合も想定される。この場合は、たとえば、クロップ領域が広い方のデータ読出しレート（すなわち間引き率）をクロップ領域が狭い方のデータ読出しレートに揃えるようにする。具体的には、３０fps相当でデータ読出しレートをセットすべき画素領域１０４１と、１０fps相当でデータ読出しレートをセットすべき画素領域１０７１とが共通の水平ライン上に存在する場合、読出しレートが速い方の３０fps相当でデータ読出しレートをセットする。重複するクロップ領域について異なるレートで２度読みする場合に比べて合理的である。また、速い方の読出しレートに揃えることで、撮影対象の主要被写体に動きがある場合に好適である。

なお、読出しレートの速い方に揃えるようにセットする代わりに、両読出しレートの平均値に揃えるようにしてもよい。

（変形例２）
ライブビュー表示時や動画撮影時に、指定された撮影対象を追尾する構成にしてもよい。具体的には、上述した表示枠３１（表示枠６１）内の対象物を追尾被写体Ｔとする。ＣＰＵ２０は、ＯＫスイッチ２２ｈが押下されてステップＳ１０４（図１１）へ進む際に、その時点で表示枠３１（表示枠６１）に表示中の追尾被写体Ｔに対応する画像データに基づいて特徴量データを生成し、特徴量データを含む参照用データをフラッシュメモリ１９に格納（登録）する。この参照用データは、追尾被写体Ｔを追尾する際のテンプレートマッチング用に用いる。

その後、ＣＰＵ２０は被写体追尾処理を行う。具体的には、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得された画像データにおける追尾被写体Ｔと類似する領域を、後から取得された画像データから検出（追尾）する。

ＣＰＵ２０は、被写体位置が移動したか否かを判定する。ＣＰＵ２０は、後から取得された画像データにおける検出領域の位置と、先に取得された画像データにおける追尾被写体Ｔの位置との相対距離が所定差を超えている場合に、ステップＳ１０４（図１１）を肯定判定してステップＳ１０５へ進む。ＣＰＵ２０は、上記相対距離が所定差以下の場合には、ステップＳ１０４を否定判定してステップＳ１０６へ進む。

ステップＳ１０５またはステップＳ１０６におけるＣＰＵ２０は、それぞれ上記読出しレートのセットに加えて、次回の処理で用いるフォーカスエリアの座標位置（ＡＦエリア位置）を現位置から、上記被写体追尾処理で検出した追尾被写体Ｔの位置へ更新する。

（第二の実施形態）
第二の実施形態では、第一の実施形態の電子カメラ１で記録された画像ファイルに基づいて行う動画像再生について説明する。第二の実施形態によるＬＣＤモニタ１７の表示領域は、表示制御上、たとえば上下左右に４分割されている。ＣＰＵ２０は、各分割領域に対する個別の表示データをそれぞれ生成する。ＬＣＤモニタ１７は、ＣＰＵ２０から送出される４つの表示データに基づいて、各分割領域ごとに再生画像を表示させる。つまり、４つの個別のＬＣＤモニタが上下左右に並べて配設されている場合と同様の表示制御を行う。

本説明では、ＬＣＤモニタ１７の右上の分割領域を第１象限と呼び、左上の分割領域を第２象限と呼び、左下の分割領域を第３象限と呼び、右下の分割領域を第４象限と呼ぶことにする。ＣＰＵ２０は、１画像録画された動画像ファイルを再生表示する場合、ＬＣＤモニタ１７の第１象限〜第４象限を用いて１つの動画像を再生表示させる。すなわち、再生表示しようとする動画像の画面を上下左右に４分割し、右上の分割領域をＬＣＤモニタ１７の第１象限に表示させ、左上の分割領域をＬＣＤモニタ１７の第２象限に表示させ、左下の分割領域をＬＣＤモニタ１７の第３象限に表示させ、右下の分割領域をＬＣＤモニタ１７の第４象限に表示させる。

ＣＰＵ２０は、２画像録画された動画像ファイルを再生表示する場合、ＬＣＤモニタ１７の第１象限〜第４象限のうち２つの象限を用いて２つの動画像を再生表示する。再生表示に用いる２つの象限は、２つの動画像の相対的な位置関係、すなわち、２画像録画の際に設定された２つのクロップ領域の位置関係に基づいて決定する。

２画像録画された動画像ファイルを再生表示する場合に用いる２つの象限の決定方法を含む再生表示処理の流れについて、図１２に例示するフローチャートを参照して説明する。電子カメラ１のＣＰＵ２０は、メニュー操作によって動画像再生が指示されると、図１２の処理を行うプログラムを起動する。図１２のステップＳ２０１において、ＣＰＵ２０は、表示対象の動画像ファイルに２画像が録画されているか否かを判定する。ＣＰＵ２０は、２画像のデータが含まれている（２画像録画されている）場合にステップＳ２０１を肯定判定してステップＳ２０２へ進む。ＣＰＵ２０は、２画像のデータが含まれていない（１画像録画されている）場合にステップＳ２０１を否定判定してステップＳ２１９へ進む。

ステップＳ２０２において、ＣＰＵ２０は、２画像録画の際に設定された２つのクロップ領域の位置関係を判定してステップＳ２０３へ進む。図１３は、クロップ領域の位置関係を説明する図である。図１３において、図１０における画素領域１０４１（第１画像に相当）の略中央に位置する画素に対応する座標をa(x1,y1)とし、画素領域１０７１（第２画像に相当）の略中央に位置する画素に対応する座標をb(x2,y2)とする。

ＣＰＵ２０は、第２画像の座標b(x2,y2)が第１画像の座標a(x1,y1)に対してどの方向に位置しているかに基づいて、８つの位置関係に分類する。「位置Ａ」は、座標a(x1,y1)に対して座標b(x2,y2)が下方に位置する場合である。「位置Ｂ」は、座標a(x1,y1)に対して座標b(x2,y2)が右下方に位置する場合である。図１３における破線は、境界を示す一次関数を表す（Ｙ＝−２Ｘ、Ｙ＝−Ｘ／２、Ｙ＝Ｘ／２、Ｙ＝２Ｘ）。

「位置Ｃ」は、座標a(x1,y1)に対して座標b(x2,y2)が右方に位置する場合である。「位置Ｄ」は、座標a(x1,y1)に対して座標b(x2,y2)が右上方に位置する場合である。「位置Ｅ」は、座標a(x1,y1)に対して座標b(x2,y2)が上方に位置する場合である。「位置Ｆ」は、座標a(x1,y1)に対して座標b(x2,y2)が左上方に位置する場合である。

「位置Ｇ」は、座標a(x1,y1)に対して座標b(x2,y2)が左方に位置する場合である。「位置Ｈ」は、座標a(x1,y1)に対して座標b(x2,y2)が左下方に位置する場合である。

図１２のステップＳ２０３において、ＣＰＵ２０は「位置Ａ」に該当するか否かを判定する。ＣＰＵ２０は、「位置Ａ」に該当する場合にステップＳ２０３を肯定判定してステップＳ２０４へ進み、「位置Ａ」に該当しない場合にはステップＳ２０３を否定判定してステップＳ２０５へ進む。

ステップＳ２０４において、ＣＰＵ２０は、図１４(A)に例示するように、座標a(x1,y1)を第２象限の略中央に位置させて、第１画像を第２象限に表示させるとともに、座標b(x2,y2)を第３象限の略中央に位置させて、第２画像を第３象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２０５において、ＣＰＵ２０は「位置Ｂ」に該当するか否かを判定する。ＣＰＵ２０は、「位置Ｂ」に該当する場合にステップＳ２０５を肯定判定してステップＳ２０６へ進み、「位置Ｂ」に該当しない場合にはステップＳ２０５を否定判定してステップＳ２０７へ進む。

ステップＳ２０６において、ＣＰＵ２０は、図１４(B)に例示するように、座標a(x1,y1)を第２象限の略中央に位置させて、第１画像を第２象限に表示させるとともに、座標b(x2,y2)を第４象限の略中央に位置させて、第２画像を第４象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２０７において、ＣＰＵ２０は「位置Ｃ」に該当するか否かを判定する。ＣＰＵ２０は、「位置Ｃ」に該当する場合にステップＳ２０７を肯定判定してステップＳ２０８へ進み、「位置Ｃ」に該当しない場合にはステップＳ２０５を否定判定してステップＳ２０９へ進む。

ステップＳ２０８において、ＣＰＵ２０は、図１４(C)に例示するように、座標a(x1,y1)を第２象限の略中央に位置させて、第１画像を第２象限に表示させるとともに、座標b(x2,y2)を第１象限の略中央に位置させて、第２画像を第１象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２０９において、ＣＰＵ２０は「位置Ｄ」に該当するか否かを判定する。ＣＰＵ２０は、「位置Ｄ」に該当する場合にステップＳ２０９を肯定判定してステップＳ２１０へ進み、「位置Ｄ」に該当しない場合にはステップＳ２０９を否定判定してステップＳ２１１へ進む。

ステップＳ２１０において、ＣＰＵ２０は、図１４(D)に例示するように、座標a(x1,y1)を第３象限の略中央に位置させて、第１画像を第３象限に表示させるとともに、座標b(x2,y2)を第１象限の略中央に位置させて、第２画像を第１象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２１１において、ＣＰＵ２０は「位置Ｅ」に該当するか否かを判定する。ＣＰＵ２０は、「位置Ｅ」に該当する場合にステップＳ２１１を肯定判定してステップＳ２１２へ進み、「位置Ｅ」に該当しない場合にはステップＳ２１１を否定判定してステップＳ２１３へ進む。

ステップＳ２１２において、ＣＰＵ２０は、図１４(E)に例示するように、座標a(x1,y1)を第３象限の略中央に位置させて、第１画像を第３象限に表示させるとともに、座標b(x2,y2)を第２象限の略中央に位置させて、第２画像を第２象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２１３において、ＣＰＵ２０は「位置Ｆ」に該当するか否かを判定する。ＣＰＵ２０は、「位置Ｆ」に該当する場合にステップＳ２１３を肯定判定してステップＳ２１４へ進み、「位置Ｆ」に該当しない場合にはステップＳ２１３を否定判定してステップＳ２１５へ進む。

ステップＳ２１４において、ＣＰＵ２０は、図１４(F)に例示するように、座標a(x1,y1)を第４象限の略中央に位置させて、第１画像を第４象限に表示させるとともに、座標b(x2,y2)を第２象限の略中央に位置させて、第２画像を第２象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２１５において、ＣＰＵ２０は「位置Ｇ」に該当するか否かを判定する。ＣＰＵ２０は、「位置Ｇ」に該当する場合にステップＳ２１５を肯定判定してステップＳ２１６へ進み、「位置Ｇ」に該当しない場合にはステップＳ２１５を否定判定してステップＳ２１７へ進む。

ステップＳ２１６において、ＣＰＵ２０は、図１４(G)に例示するように、座標a(x1,y1)を第１象限の略中央に位置させて、第１画像を第１象限に表示させるとともに、座標b(x2,y2)を第２象限の略中央に位置させて、第２画像を第２象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２１７において、ＣＰＵ２０は、図１４(H)に例示するように、座標a(x1,y1)を第１象限の略中央に位置させて、第１画像を第１象限に表示させるとともに、座標b(x2,y2)を第３象限の略中央に位置させて、第２画像を第３象限に表示させるように設定してステップＳ２１８へ進む。

ステップＳ２１８において、ＣＰＵ２０は、終了操作が行われたか否かを判定する。ＣＰＵ２０は、再生表示の終了操作が行われた場合にステップＳ２１８を肯定判定して図１２による処理を終了する。ＣＰＵ２０は、再生表示の終了操作が行われない場合には、ステップＳ２１８を否定判定してステップＳ２０１へ戻る。ステップＳ２０１へ戻る場合は、上述した処理を繰り返す。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、画像を表示するＬＣＤモニタ１７を有し、ＣＰＵ２０は、第１範囲の蓄積データに基づく再生画像、または第２範囲の蓄積データに基づく再生画像をＬＣＤモニタ１７に表示させるようにしたので、ユーザは、異なる読出しレートで読出した複数の画像を観察できる。

（２）ＬＣＤモニタ１７は、互いに異なる画像を表示可能な複数の表示領域を含み、この場合のＣＰＵ２０は、撮像素子１２上における第１範囲と第２範囲との相対的な位置関係に基づいて、第１範囲に基づく再生画像を表示する表示領域と、第２範囲に基づく再生画像を表示する表示領域とを選択制御するので、２画像録画した動画像を適切な位置関係で表示できる。

（変形例３）
上述した説明では、ＬＣＤモニタ１７の表示領域を上下左右に４分割して第１象限〜第４象限で表す場合に、２つの象限を用いて２画像録画された２つの動画像を再生表示した。再生表示に用いなかった象限には、たとえば録画時の撮影条件を表示させるように構成してもよい。撮影条件には、２つの動画像に対応する２つのクロップ領域のそれぞれに対応するデータ読出しレートや、電子ズーム倍率などを含める。また、再生表示に用いなかった他の象限に、クロップ領域設定する前の画面におけるクロップ領域（すなわち、録画範囲）を示す表示枠を表示させてもよい。

変形例３の場合のＣＰＵ２０は、クロップ領域設定時にＯＫスイッチ２２ｈから操作信号が入力された場合、その時点の表示枠７１を点滅表示から点灯表示へ変更させる（図７）とともに、図７に例示したライブビュー画像に対応する縮小画像（静止画像）を保存する。

具体的には、図７に例示した表示に用いた表示データを、たとえば縦横それぞれ１／４のサイズに間引いて縮小する。この縮小画像には、表示枠４１および表示枠７１が含まれる。ＣＰＵ２０は、該縮小画像の表示データを、録画後に記憶媒体５１に記録する動画像ファイルに関連付けて（あるいは動画像ファイルに含めて）、記憶媒体５１に記録する。そして、再生表示時には、動画像再生に用いていない象限の１つに、該縮小表示画像を表示させる。これにより、クロップ領域設定する前の画面におけるクロップ領域（すなわち、録画範囲）が一目でわかるように表示できる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１…電子カメラ
１２…撮像素子
１３…ＡＦＥ回路
１４…画像処理回路
１５…ＴＧ
１７…ＬＣＤモニタ
１８…バッファメモリ
１９…フラッシュメモリ
２０…ＣＰＵ
２２…操作部材

Claims (21)

1. 光電変換により信号を生成する画素を複数有する撮像素子と、
   前記撮像素子の第１領域に含まれる前記画素で生成された信号を読み出す第１フレームレートを、前記撮像素子の第２領域に含まれる前記画素で生成された信号を読み出す第２フレームレートとは異なるように前記撮像素子を制御可能な制御部と、を備え、
   前記制御部は、前記第１領域の少なくとも一部の領域と前記第２領域の少なくとも一部の領域とが重なる場合、前記第１フレームレート及び前記第２フレームレートが同じになるように前記撮像素子を制御する撮像装置。
2. 前記制御部は、前記第１領域に結像した被写体像の動き量が前記第２領域に結像した被写体像の動き量より大きい場合、前記第１フレームレートを前記第２フレームレートより高くなるように前記撮像素子を制御する請求項１に記載の撮像装置。
3. 前記制御部は、前記第１領域に結像した被写体像の動き量が前記第２領域に結像した被写体像の動き量よりも大きいほど、前記第１フレームレートを前記第２フレームレートより高くなるように前記撮像素子を制御する請求項１又は請求項２に記載の撮像装置。
4. 前記制御部は、前記第１領域の面積が前記第２領域の面積より大きい場合、前記第１領域に含まれる前記画素で生成された信号を読み出すときの第１間引率を、前記第２領域に含まれる前記画素で生成された信号を読み出すときの第２間引率よりも高くなるように前記撮像素子を制御する請求項１から請求項３のいずれか一項に記載の撮像装置。
5. 前記制御部は、前記第１領域の面積が前記第２領域の面積より大きいほど、前記第１間引率を前記第２間引率より高くなるように前記撮像素子を制御する請求項４に記載の撮像装置。
6. 前記制御部は、前記第１領域に含まれる前記画素の撮像感度を、前記第２領域に含まれる前記画素の撮像感度より高くなるように前記撮像素子を制御する請求項２から請求項５のいずれか一項に記載の撮像装置。
7. 前記制御部は、前記第１領域に含まれる前記画素から読み出された信号による第１画像と、前記第２領域に含まれる前記画素から読み出された信号による第２画像と、を表示部に表示させる請求項１から請求項６のいずれか一項に記載の撮像装置。
8. 前記制御部は、前記第１画像を前記表示部の第１表示領域に表示させ、前記第２画像を前記表示部の、前記第１表示領域と同じ面積を有する第２表示領域に表示させる請求項７に記載の撮像装置。
9. 前記制御部は、前記第１フレームレート及び前記第２フレームレートのうち、いずれか高い方のフレームレートに揃えるように前記撮像素子を制御する請求項１から請求項８のいずれか一項に記載の撮像装置。
10. 前記制御部は、前記第１フレームレート及び前記第２フレームレートの平均のフレームレートに揃えるように前記撮像素子を制御する請求項１から請求項８のいずれか一項に記載の撮像装置。
11. 光電変換により信号を生成する画素を複数有する撮像素子と、
    前記撮像素子の第１領域に含まれる前記画素で生成された信号を読み出すときの第１間引率を、前記撮像素子の第２領域に含まれる前記画素で生成された信号を読み出すときの第２間引率とは異なるように前記撮像素子を制御可能な制御部と、を備え、
    前記制御部は、前記第１領域の少なくとも一部の領域と前記第２領域の少なくとも一部の領域とが重なる場合、前記第１間引率及び前記第２間引率が同じになるように前記撮像素子を制御する撮像装置。
12. 前記制御部は、前記第１領域の面積が前記第２領域の面積より大きい場合、前記第１間引率を前記第２間引率より高くなるように前記撮像素子を制御する請求項１１に記載の撮像装置。
13. 前記制御部は、前記第１領域の面積が前記第２領域の面積より大きいほど、前記第１間引率を前記第２間引率より高くなるように前記撮像素子を制御する請求項１２に記載の撮像装置。
14. 前記制御部は、前記第１領域に含まれる前記画素で生成された信号を読み出す第１フレームレートを、前記第２領域に含まれる前記画素で生成された信号を読み出す第２フレームレートとは異なるように前記撮像素子を制御する請求項１１から請求項１３のいずれか一項に記載の撮像装置。
15. 前記制御部は、前記第１領域に結像した被写体像の動き量が前記第２領域に結像した被写体像の動き量より大きい場合、前記第１フレームレートを前記第２フレームレートより高くなるように前記撮像素子を制御する請求項１４に記載の撮像装置。
16. 前記制御部は、前記第１領域に結像した被写体像の動き量が前記第２領域に結像した被写体像の動き量よりも大きいほど、前記第１フレームレートを前記第２フレームレートより高くなるように前記撮像素子を制御する請求項１４又は請求項１５に記載の撮像装置。
17. 前記制御部は、前記第１領域に含まれる前記画素の撮像感度を、前記第２領域に含まれる前記画素の撮像感度より高くなるように前記撮像素子を制御する請求項１２から請求項１６のいずれか一項に記載の撮像装置。
18. 前記制御部は、前記第１領域に含まれる前記画素から読み出された信号による第１画像と、前記第２領域に含まれる前記画素から読み出された信号による第２画像と、を表示部に表示させる請求項１１から請求項１７のいずれか一項に記載の撮像装置。
19. 前記制御部は、前記第１画像を前記表示部の第１表示領域に表示させ、前記第２画像を前記表示部の、前記第１表示領域と同じ面積を有する第２表示領域に表示させる請求項１８に記載の撮像装置。
20. 前記制御部は、前記第１フレームレート及び前記第２フレームレートのうち、いずれか高い方のフレームレートに揃えるように前記撮像素子を制御する請求項１４から請求項１６のいずれか一項に記載の撮像装置。
21. 前記制御部は、前記第１フレームレート及び前記第２フレームレートの平均のフレームレートに揃えるように前記撮像素子を制御する請求項１４から請求項１６のいずれか一項に記載の撮像装置。
    

Images