JP6723853B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、画像データに関連する距離情報を利用した撮影技術に関するものである。

デジタルカメラを用いたインターバル撮影は、所定の時間間隔で撮影を行い、画像を記録する機能である。時間間隔は固定値であるか、またはユーザが設定可能な可変値である。例えば植物の開花の撮影等のように、動作の緩慢な被写体の変化を観察する際、長時間の無人撮影にインターバル撮影が使用される。被写体（動体）に対して長時間撮影が続く場合、花がつぼみの状態と開花した状態とでは適切なフォーカス位置が変わってしまい、ユーザの意図した撮影ができない可能性がある。

特許文献１では、インターバル撮影時に撮影状況に応じて焦点位置を固定にするか、撮影ごとに焦点を合わせ直すかを選択可能な技術が開示されている。また、特許文献２では、インターバル撮影ごとにオートフォーカスが行われ、焦点を合わせた箇所を基準として予め決められた枚数に応じて段階的に焦点距離の異なる複数の画像を撮影する技術が開示されている。

特開２０１５−０４１９０７号公報 特開２００６−００５６００号公報

従来の技術では、被写体の動きによっては、必ずしも所望のフォーカス状態で撮影できるとは限らない場合が発生し得る。そこで、本発明は、被写体が動いた場合でも、インターバル撮影のタイミングごとに変化し得る被写体に焦点を合わせた撮影が可能な撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮像光学系を通して、設定された時間間隔で被写体を撮像する撮像手段と、前記撮像手段により撮像された画像内の各被写体の奥行き方向の深さを示す距離情報を撮影時刻ごとに取得する取得手段と、撮影時刻が異なる複数の前記距離情報を比較する比較手段と、前記比較手段により前記距離情報の変化が検出された場合、当該変化に対応する画像内の位置の情報を取得して、焦点を合わせる範囲を変更する焦点調節制御を行う制御手段を備える。

本発明の撮像装置によれば、被写体が動いた場合でも、インターバル撮影のタイミングごとに変化し得る被写体に焦点を合わせた撮影が可能になる。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。 焦点検出用画素を含む撮像素子の画素配列を示す図である。 撮像素子からの画像信号に基づく被写体距離の算出方法を説明する図である。 レンズと被写体との位置関係を示す図である。 距離マップを説明する図である。 第１実施形態におけるレンズと被写体との位置関係を示す図である。 第１実施形態における距離マップの比較方法を説明する図である。 第１実施形態における距離マップの差分を説明する図である。 第１実施形態における各領域のフォーカス状況を示す表である。 第１実施形態における処理を示すフローチャートである。 図１０に続く処理を示すフローチャートである。 本発明の第２実施形態におけるフォーカス条件を示す表である。 第２実施形態における処理を示すフローチャートである。

以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００はＣＰＵ（中央演算処理装置）１０１を備える。ＣＰＵ１０１は撮像装置１００の全ての動作制御を統括する中枢部である。ＣＰＵ１０１はメモリからプログラムを読み出して実行することにより、各種の処理を実現する。

撮像光学系を構成する光学ユニット１０２は、光学部材を介して被写体からの光を結像させる。光学ユニット１０２は、ズームレンズやフォーカスレンズ、絞り等を備える。レンズ駆動部１０３は、光学ユニット１０２に対して撮影倍率やフォーカス位置等の調整を行う。例えばレンズ駆動部１０３は、ＣＰＵ１０１からの制御指示にしたがい、光学ユニット１０２の駆動によって焦点調節制御を行う。撮像素子１０４は、被写体の光学像を電気信号に光電変換する。撮像素子１０４は、ＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等である。Ａ／Ｄ変換回路１０５は、撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。タイミング発生回路１０６は、ＣＰＵ１０１により制御され、撮像素子１０４、Ａ／Ｄ変換回路１０５にクロック信号や制御信号を供給する。

撮像ＳＷ（スイッチ）１０７は、ユーザが撮像指示を行う際に使用する操作部材である。操作部１０８は、ユーザがカメラの設定等を行う際に使用する。ＣＰＵ１０１は操作指示信号を受け付けて、当該信号に対応する処理を実行する。ＲＡＭ（ランダムアクセスメモリ）１０９は、ＣＰＵ１０１のワークエリアとして使用される記憶領域を有する記憶デバイスであり、後述するフォーカス条件等の情報が一時的に記憶される。ＲＯＭ（リードオンリメモリ）１１０は、後述のフローチャートにて説明する処理を実現するための制御プログラムを記憶している。

画像処理部１１１は、Ａ／Ｄ変換回路１０５からのデータに対し、画像処理や、動画データの圧縮および伸長処理等を行う。表示部１１２は、カメラのライブビュー表示を行い、また撮像された静止画や動画の再生時に画像を画面上に表示する。

距離マップ情報取得部１１３は、撮像装置１００から被写体までの距離情報と座標情報を取得する。距離情報に関して、画像内の各被写体の奥行き方向の深さ（深度）に対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置１００から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。距離マップ情報の取得方法としては、２枚の画像に対して画像処理を行うことで、奥行き情報を得る方法がある。例えば複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備える画素構成の撮像素子を用いて、複数の光電変換部から視差を有する複数の画像データを取得できる。具体的には、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データを複数の光電変換部が出力する。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。また測距センサを用いて被写体までの距離を測定する方法がある。距離マップ比較部１１４は、距離マップ情報取得部１１３が取得した２つの距離マップ情報を比較する。距離マップ情報およびその比較方法の詳細については後述する。

Ｉ／Ｆ部１１５は、メモリカードやハードディスク等の記録媒体を用いた外部記録装置２００とのインタフェース部である。コネクタ１１６は、撮像装置１００と外部記録装置２００との接続を行う部材である。コネクタ２０１は、外部記録装置２００と撮像装置１００との接続を行う部材である。Ｉ／Ｆ部２０２は外部記録装置２００における撮像装置１００とのインタフェース部である。外部記録装置２００の記録部２０３は、静止画等の画像データを記録媒体に記録する。本実施形態では、外部記録装置２００を取り付けるインタフェース部およびコネクタを一系統として説明しているが、複数の系統を備える構成としても構わない。また、異なる規格のインタフェース部およびコネクタを組み合わせた構成でもよい。あるいはインタフェース部として無線機器等に対応させることにより、他のコンピュータ等の外部装置や周辺機器との間で画像データの転送が可能な構成としてもよい。

次に図２および図３を参照して、距離情報の取得方法を説明する。図２は、ベイヤ−配列のＲＧＢ画素と焦点検出用画素で構成されている撮像素子１０４を示す模式図である。Ｒ、Ｇ、Ｂはカラーフィルタの色を表現し、Ｒ画素は赤色のカラーフィルタ、Ｇ画素は緑色のカラーフィルタ、Ｂ画素は青色のカラーフィルタを用いて構成されている。また、Ｓは距離情報を算出するために必要な、左視点および右視点の焦点検出画素を示す。本例では左視点の焦点検出画素と右視点の焦点検出画素とが異なる行に配置された配列構成を示す。

図３は、撮像素子１０４よりも手前側（被写体側）に焦点が位置している状態を示す光路図である。光学ユニット１０２において、射出瞳の左側（図３の上側）の領域を通る半光束Ｐは、撮像素子上での被写体像Ｐ^＊に対応する。光学ユニット１０２において、射出瞳の右側（図３の下側）の領域を通る半光束Ｑは、撮像素子上での被写体像Ｑ^＊に対応する。つまり、各画素において撮像光学系の瞳部分領域（２分割の領域）をそれぞれ通った光束から、一対の画像信号が生成される。一対の画像信号の位相は互いに左右方向でシフトしている。従って、一対の画像信号から、被写体像の相対位置関係を示すずれ量を求めることによって、デフォーカス量を算出することができる。更に、フォーカスレンズの位置とデフォーカス量の和から対応する被写体の距離を算出できる。

次に図４および図５を参照し、算出された距離情報と画像上での座標との関係を説明する。図４は、光学ユニット１０２と被写体１１との距離関係を横から見た場合の模式図である。座標軸の設定については、光学ユニット１０２を基準位置とする、奥行き方向の距離を横軸（Ｚ軸）に示す。奥行き方向は、撮影方向に沿う方向である。例えば図示の距離Ｚ、ｒ、ｓ、ｔ、ｕは、以下の通りである。
Ｚ＝１．０ｍ、ｒ＝０．１ｍ、ｓ＝０．２ｍ、ｔ＝０．３ｍ、ｕ＝無限遠。

被写体１１は、概ねＺ−ｓからＺ＋ｓの範囲、つまり約０．８ｍ〜１．２ｍの範囲内に存在しているものとする。Ｚ−ｒ、Ｚ−ｓ、Ｚ−ｔは、被写体１１に対応する距離Ｚの位置から光学ユニット１０２側（近距離側）にそれぞれ距離ｒ、ｓ、ｔだけ離れた位置を示す。またＺ＋ｒ、Ｚ＋ｓ、Ｚ＋ｔは、被写体１１に対応する距離Ｚの位置から遠距離側にそれぞれ距離ｒ、ｓ、ｔだけ離れた位置を示す。

図５は、図４に示す被写体１１の距離マップ情報を例示した図である。図５では、画像が１０×１０画素のブロック単位の区画で区切られている。各ブロックにおいて座標情報が設定されており、縦方向および横方向における、それぞれ１０個のアドレスで座標指定が可能である。座標を（Ｘ，Ｙ）と表記し、Ｘは横方向のアドレス番号を表し、Ｙは縦方向のアドレス番号を表すものとする。例えば、座標（６，５）は横方向で６、縦方向で５の位置を表し、距離情報がＺである。図４で示した距離情報に対して、１対１で座標情報が対応しているので、座標情報を指定すれば、対応した距離情報が取得できる。あるいは、距離情報の指定に応じた座標情報が取得できる。例えば、距離情報「Ｚ」の指定に対し、座標（Ｘ，Ｙ）の範囲として、Ｘ＝４〜７およびＹ＝４，５が取得される。

図６から図８を参照して、距離マップの比較方法について説明する。図６は図４に対応する模式図であり、光学ユニット１０２と被写体１１との距離関係を横から示す。図６（Ａ）は、ある時刻（Ｔ１と記す）における撮影状況を示す図である。被写体１１は距離ＺからＺ＋ｓの範囲内に存在する。ただし、距離ＺからＺ＋ｒの範囲と、距離Ｚ＋ｒからＺ＋ｓの範囲との境界で被写体１１には段差があるものとする。図６（Ｂ）は、図６（Ａ）の時刻Ｔ１から一定時間が経過した時刻（Ｔ２と記す）における撮影状況を示す図である。被写体１１は距離Ｚ−ｒからＺ＋ｓの範囲内に存在する。距離Ｚ−ｒからＺの範囲と距離ＺからＺ＋ｒの範囲との境界、および、距離ＺからＺ＋ｒの範囲と距離Ｚ＋ｒからＺ＋ｓの範囲との境界で、被写体１１には段差があるものとする。

図７（Ａ）は図６（Ａ）に対応し、前回の撮影時刻Ｔ１に取得された距離マップ情報を例示する。図７（Ｂ）は図６（Ｂ）に対応し、今回の撮影時刻Ｔ２に取得された距離マップ情報を例示する。図７における座標設定については図５と同じである。図７（Ａ）の枠内（Ｘ＝４から７およびＹ＝３から１０）には被写体の距離Ｚ、Ｚ＋ｒに対応する範囲を示す。図７（Ｂ）の枠内（Ｘ＝４から７およびＹ＝１から７）には被写体の距離Ｚ−ｒ、Ｚ、Ｚ＋ｒに対応する範囲を示す。つまり枠内の範囲は、異なる撮影時刻にそれぞれ取得された距離情報が相違する範囲を示している。

図８は、図７（Ａ）と図７（Ｂ）を比較した結果、つまり差分情報の分布例を示す図である。距離マップの比較は、座標ごとに行われ、図８の場合、以下の領域ＡからＥに区分される。なお、時刻Ｔ２での距離情報から時刻Ｔ１での距離情報を減算することで、差分値が算出されるものとする。
（１）領域Ａ：元の距離よりも距離が短くなる場合（差分値が負値）
（２）領域Ｂ：元の距離よりも距離が長くなる場合（差分値が正値）
（３）領域Ｃ：無限遠から有限距離になる場合（Ｚ＋ｕからＺ−ｒへの変化）
（４）領域Ｄ：有限距離から無限遠になる場合（ＺまたはＺ＋ｒからＺ＋ｕへの変化）
（５）領域Ｅ：差分無しの場合（差分値が零）。

本実施形態では、５種類の比較結果からフォーカス条件を変更する処理について、図９を用いて具体的に説明する。図９は、図８に示す領域ＡからＥでのフォーカス状況を表にしたものである。この表では対象となる領域ごとに、距離マップ情報、差分情報等を列方向に配列している。

まず、領域Ａに関して説明する。距離マップ比較部１１４は、図７（Ａ）の時刻Ｔ１での距離「Ｚ」と、図７（Ｂ）の時刻Ｔ２での距離「Ｚ−ｒ」との比較から、差分「−ｒ」を算出する。フォーカスの追加候補は「Ｚ−ｒ」、フォーカスの削除候補は「Ｚ」である。次に距離マップ比較部１１４は、時刻Ｔ１でのフォーカスに対して、実際に追加または削除する距離を決める。図７（Ａ）の時刻Ｔ１にて枠内に存在する距離は、ＺとＺ＋ｒである。フォーカス追加候補「Ｚ−ｒ」は、時刻Ｔ１にて存在しない距離であるため、フォーカス位置に対応する距離として追加される。フォーカス削除候補「Ｚ」については、後述する領域Ｅの処理において必要になるため、ここでは削除されない（このことを記号「−」で表す）。

次に、領域Ｂに関して説明する。距離マップ比較部１１４は時刻Ｔ１での距離「Ｚ」と時刻Ｔ２で距離「Ｚ＋ｒ」との比較から、差分「＋ｒ」を算出する。フォーカスの追加候補は「Ｚ＋ｒ」、フォーカスの削除候補は「Ｚ」である。距離マップ比較部１１４は、時刻Ｔ１でのフォーカスに対して、実際に追加または削除する距離を決める。フォーカス追加候補「Ｚ＋ｒ」は時刻Ｔ１で存在しているため、追加されない。フォーカス削除候補「Ｚ」は、領域Ａの場合と同様に削除されない。

領域Ｃに関して説明する。距離マップ比較部１１４は、時刻Ｔ１での距離「Ｚ＋ｕ」と時刻Ｔ２での距離「Ｚ−ｒ」とを比較し、差分があると判断する。つまり、無限遠から有限距離への変化が検出される。フォーカスの追加候補は「Ｚ―ｒ」である。フォーカスの削除候補は、時刻Ｔ１で無限遠であるため、存在しない。距離マップ比較部１１４は、フォーカス追加候補「Ｚ―ｒ」に関し、領域Ａの処理で既に追加されていると判断し、ここでは「Ｚ―ｒ」を追加しない。

領域Ｄに関して説明する。距離マップ比較部１１４は、時刻Ｔ１での距離「Ｚ」および「Ｚ＋ｒ」と、時刻Ｔ２での距離「Ｚ＋ｕ」とを比較し、差分があると判断する。つまり、有限距離から無限遠への変化が検出される。有限距離から無限遠となるため、フォーカスの追加候補は存在しない。フォーカスの削除候補は「Ｚ」、「Ｚ＋ｒ」である。フォーカス削除候補「Ｚ」については、領域Ａの処理と同様に削除されない。またフォーカス削除候補「Ｚ＋ｒ」については、時刻Ｔ１での距離に存在しているため、削除可能であるが、領域Ｂの処理において必要であるため、削除されない。

領域Ｅに関して説明する。距離マップ比較部１１４は、時刻Ｔ１での距離「Ｚ」と時刻Ｔ２での距離「Ｚ」との比較から、差分がゼロであると判断する。よって、フォーカスの追加候補および削除候補は存在しないため、距離情報の変更はない。

領域ＡからＥに対する処理が実行される結果、図７（Ａ）の撮影時刻Ｔ１での距離「Ｚ」および「Ｚ＋ｒ」に対して、「Ｚ−ｒ」が追加される。すなわち、図７（Ｂ）の撮影時刻Ｔ２で必要なフォーカス位置に対応する距離情報として、Ｚ、Ｚ＋ｒ、Ｚ−ｒが設定される。

フォーカス条件の変更方法では、最初の撮影（初回の撮影時刻）で使用されたフォーカス位置に対応する距離情報は、基本的に差分情報に関わらず、フォーカス条件の１つとして設定される。すなわち、最初の撮影でユーザ操作により設定されたフォーカス位置に対応する距離情報は削除されず、毎回の撮影で使用される。

図１０および図１１のフローチャートを参照して、撮像装置１００の動作について説明する。図１０および図１１に示す処理は、撮像装置１００の電源スイッチがオン状態である場合に実行される。まず、ＣＰＵ１０１は、操作部１０８からの操作指示信号を受け付けて、インターバル撮影モードの設定指示かどうかを判定する（Ｓ１０１）。インターバル撮影モードの設定指示が出ていない場合（Ｓ１０１：ＮＯ）、Ｓ１０１の判定処理が繰り返される。ユーザの操作指示がインターバル撮影モードの設定指示である場合（Ｓ１０１：ＹＥＳ）、ＣＰＵ１０１は、インターバル撮影モードに設定して、Ｓ１０２の処理へ進む。

ＣＰＵ１０１は、ユーザが撮像ＳＷ１０７を押下してインターバル撮影の開始を指示したか否かを判定する（Ｓ１０２）。インターバル撮影の開始指示がないと判定された場合（Ｓ１０２：ＮＯ）、Ｓ１０２の判定処理が繰り返される。また撮影開始の指示が行われたと判定された場合（Ｓ１０２：ＹＥＳ）、Ｓ１０３に処理を進める。Ｓ１０３で距離マップ情報取得部１１３は、撮像素子１０４から取得された画像に対して所定の処理を行うことで距離マップ情報を取得し、ＲＡＭ１０９に記憶する。距離マップ情報は、光学ユニット１０２から被写体までの距離情報または距離情報に対応するデフォーカス量の分布を示す情報であり、座標情報を含む。ＣＰＵ１０１は撮影動作の制御を開始し（Ｓ１０４）、タイマの計時動作を開始させる（Ｓ１０５）。ＣＰＵ１０１の内部タイマの処理によって、撮影開始時点からの経過時間が計測される。

次にＣＰＵ１０１は、タイマにより計時される時間に基づいて、一定時間が経過したか否かを判定する（Ｓ１０６）。一定時間とはインターバル撮影の設定時間間隔に相当する時間である。タイマの時間が一定時間経過していない場合（Ｓ１０６：ＮＯ）、Ｓ１０６の判定処理が繰り返され、一定時間が経過した場合（Ｓ１０６：ＹＥＳ）、Ｓ１０７に進む。距離マップ情報取得部１１３は、Ｓ１０３と同様、撮像素子１０４から得られた画像に基づき、距離マップ情報を取得してＲＡＭ１０９に記憶する（Ｓ１０７）。距離マップ比較部１１４は、Ｓ１０３およびＳ１０７でそれぞれ取得された距離マップを比較する（Ｓ１０８）。距離マップ比較部１１４は、２つの距離マップの間で差分を算出し、差分の有無を判定する（Ｓ１０９）。距離マップの間に差分がないと判定された場合、すなわち全ての領域での判定結果が領域Ｅであった場合（Ｓ１０９：ＹＥＳ）、Ｓ１２２の処理へ進む。また、距離マップの間に差分があると判定された場合（Ｓ１０９：ＮＯ）、図１１のＳ１１０に移行する。

Ｓ１１０でＣＰＵ１０１は、領域（図８の領域ＡからＤ）ごとに差分を比較して確認を行う。次に、距離マップ比較部１１４は、距離情報に差分がないかどうかを、領域ごとに判定する（Ｓ１１１）。対象領域の距離情報の差分がゼロである場合（Ｓ１１１：ＹＥＳ）、すなわち領域Ｅの場合、Ｓ１１７の処理へ進む。対象領域の距離情報に差分が検出された場合（Ｓ１１１：ＮＯ）、Ｓ１１２に進む。

Ｓ１１２でＣＰＵ１０１は、距離マップ比較部１１４の比較結果に基づいて、差分が検出された位置で有限距離から無限遠へ変化したか否か、すなわち領域Ｄであるか否かを判定する。有限距離から無限遠へ変化したと距離マップ比較部１１４が判定しない場合（Ｓ１１２：ＮＯ）、Ｓ１１３に進む。また有限距離から無限遠へ変化したと距離マップ比較部１１４が判定した場合、すなわち領域Ｄの場合（Ｓ１１２：ＹＥＳ）、Ｓ１１６に進む。

Ｓ１１３でＣＰＵ１０１は、距離マップ比較部１１４の比較結果に基づいて、差分が検出された位置で距離情報が無限遠から有限距離へ変化したか否か、すなわち領域Ｃであるか否かを判定する。距離情報が無限遠から有限距離へ変化したと距離マップ比較部１１４が判定しない場合、すなわち領域Ａまたは領域Ｂの場合（Ｓ１１３：ＮＯ）、Ｓ１１４に進む。また、距離情報が無限遠から有限距離へ変化したと距離マップ比較部１１４が判定した場合、すなわち領域Ｃの場合（Ｓ１１３：ＹＥＳ）、Ｓ１１５に進む。

Ｓ１１４でＣＰＵ１０１は、距離マップ情報の比較結果からフォーカス追加候補とフォーカス削除候補の選定を行い、Ｓ１１７の処理へ進む。またＳ１１５でＣＰＵ１０１は、距離マップ情報の比較結果からフォーカス追加候補の選定を行い、Ｓ１１７の処理へ進む。またＳ１１６でＣＰＵ１０１は、距離マップ情報の比較結果からフォーカス削除候補の選定を行い、Ｓ１１７の処理へ進む。次にＳ１１７でＣＰＵ１０１は、距離マップ比較部１１４において、全ての領域の確認が完了したかどうかを判定する。全ての領域の確認が完了していない場合（Ｓ１１７：ＮＯ）、Ｓ１１１の処理へ戻る。全ての領域の確認が完了した場合（Ｓ１１７：ＹＥＳ）、Ｓ１１８に進む。

Ｓ１１８でＣＰＵ１０１は、Ｓ１１４とＳ１１５で選定したフォーカス追加候補が、フォーカス条件として既に存在しているか否かを判定する。フォーカス追加候補がフォーカス条件として存在していない場合（Ｓ１１８：ＮＯ）、Ｓ１１９の処理に進む。フォーカス追加候補がフォーカス条件として既に存在している場合（Ｓ１１８：ＹＥＳ）、Ｓ１２０の処理へ進む。

Ｓ１１９でＣＰＵ１０１は、Ｓ１１４とＳ１１５で選定したフォーカス追加候補を、フォーカス条件に追加し、Ｓ１２０へ進む。Ｓ１２０でＣＰＵ１０１は、Ｓ１１４とＳ１１６にて選定したフォーカス削除候補が、他の条件で必要とされているか否かを判定する。フォーカス削除候補が他の条件で必要とされていない場合（Ｓ１２０：ＮＯ）、Ｓ１２１に進んでＣＰＵ１０１は、Ｓ１１４、Ｓ１１６で選定したフォーカス削除候補を、フォーカス条件から削除した後、図１０のＳ１２２の処理へ進む。フォーカス削除候補が他の条件で必要とされている場合（Ｓ１２０：ＹＥＳ）、図１０のＳ１２２の処理に進む。Ｓ１２２でＣＰＵ１０１は、設定されたフォーカス条件での撮像指令を行い、撮像動作を制御する。ＣＰＵ１０１は、操作部１０８による操作指示、または、タイマによる経過時間の情報に基づいて、インターバル撮影が完了したかどうかを判定する（Ｓ１２３）。インターバル撮影が完了していないと判定された場合（Ｓ１２３：ＮＯ）、Ｓ１０６の処理へ戻って制御を続行する。またインターバル撮影が完了したと判定された場合（Ｓ１２３：ＹＥＳ）、一連の処理を終了する。

本実施形態では、インターバル撮影において一定時間ごとに距離マップを取得し、距離マップの差分を検出して確認する処理が行われる。被写体に対して、新たに焦点を合わせるポイントがあるかどうかの判定処理が行われ、新たにフォーカス条件に距離情報が追加されることで、所望のフォーカス状態での撮影が可能になる。よって、長時間撮影等で被写体が動いた場合でも、インターバルごとに焦点の合った画像を取得することができる。

本実施形態にて、距離マップの差分の検出および確認に関して、最初の撮影時に取得した距離マップを基準として、その以後の一定時間ごとに取得した距離マップと比較する方法を説明した。これに限らず、前回の時点で取得した距離マップを基準とし、または特定のタイミングで取得した距離マップを基準として、それ以降に取得した距離マップと比較する方法でもよい。

［第２実施形態］
次に、本発明の第２実施形態を説明する。第１実施形態の撮像装置で撮影した画像は、いわゆるタイムラプス（time lapse）と呼ばれる動画に編集して観賞することが可能である。タイムラプスでは、所定の時間間隔で連続的に撮影した静止画像から動画が生成される。その際、複数のフォーカス状態で撮影が行われると、動画の生成時に使用する画像を選択するのに手間がかかる。そこで本実施形態では、インターバル撮影時に画像と併せて動画生成用情報を取得することで、撮影後の動画生成にかかる手間を低減することを目的とする。以下では説明の重複を回避するために第１実施形態の場合と同様の構成については詳細な説明を省略し、第１実施形態と相違する事項を説明する。

図１２を参照して、インターバル撮影時に画像と一緒に取得する動画生成用情報について、具体例を説明する。図１２は、各撮影時のフォーカス条件を表形式で示し、撮影回数とフォーカス条件の履歴情報を例示する。図１２に示す情報を撮影時に記録して残すことで、動画生成時には、フォーカス状態に対応する所望の距離を選択するのみで動画が生成される。例えば、距離「Ｚ」が指定された場合、「Ｚ」に対応するフォーカス状態で撮影された画像を用いて動画が生成される。図１２では初回の距離「Ｚ」が毎回の撮影に含まれている例を示す。また、距離「Ｚ＋ｒ」が指定された場合、撮影回数が１回目、２回目のフォーカス条件には、「Ｚ＋ｒ」が存在しない。そのため、ユーザが指定したフォーカス状態で撮影された画像がない箇所（撮影時刻）があった場合にＣＰＵ１０１は以下の処理を実行する。

（１）指定されたフォーカス状態で撮影された画像のみを用いて動画を生成する処理
（２）指定されたフォーカス状態の近傍の状態で撮影された画像を検索し、検索された当該画像と、指定されたフォーカス状態で撮影された画像を用いて動画を生成する処理。
（３）ユーザの操作指示による選択にしたがって（１）または（２）の処理を行うこと。

図１２の例で「Ｚ＋ｒ」が指定された場合、（１）の処理では、撮影回数が３以上である画像から動画が生成される。（２）の処理では、「Ｚ＋ｒ」に近い「Ｚ」を含んでいる、撮影回数が１以上の画像から動画が生成される。（３）ではユーザが予め設定した処理が実行される。

図１３に示すフローチャートを参照して、本実施形態に係る撮像装置１００の動作について説明する。以下の処理は、撮像装置１００の電源スイッチがオン状態であるときに実行される。Ｓ１０１〜Ｓ１２２の処理は、図１０で説明した処理と同じであるため、説明を省略する。

Ｓ１２２の処理後、ＣＰＵ１０１は、現在の撮影で使用されたフォーカス条件（図１２）をＲＡＭ１０９に記憶する（Ｓ２２３）。Ｓ２２４では、インターバル撮影が完了したかどうかの判定処理が行われ、インターバル撮影が完了した場合（Ｓ２２４：ＹＥＳ）、Ｓ２２５の処理に進み、完了していない場合にはＳ１０６に戻る。ＣＰＵ１０１は、ＲＡＭ１０９に記憶しておいたフォーカス条件の履歴情報（動画生成用情報）をまとめて記録部２０３に出力して記録媒体へ記録し（Ｓ２２５）、処理を終了する。タイムラプスにてＣＰＵ１０１は、インターバル撮影時に画像データとともに取得しておいた動画生成用情報を記録媒体から読み出して画像処理部１１１を制御して動画生成処理を行う。

本実施形態によれば、インターバル撮影時に動画生成用情報として、フォーカス条件を画像データと一緒に取得することで、撮影後の動画生成時にユーザの手間を低減できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ ＣＰＵ
１０２ 光学ユニット
１０４ 撮像素子
１１１ 画像処理部
１１３ 距離マップ情報取得部
１１４ 距離マップ比較部

Claims (10)

1. 撮像光学系を通して、設定された時間間隔で被写体を撮像する撮像手段と、
   前記撮像手段により撮像された画像内の各被写体の奥行き方向の深さを示す距離情報を撮影時刻ごとに取得する取得手段と、
   撮影時刻が異なる複数の前記距離情報を比較する比較手段と、
   前記比較手段により前記距離情報の変化が検出された場合、当該変化に対応する画像内の位置の情報を取得して、焦点を合わせる範囲を変更する焦点調節制御を行う制御手段を備えることを特徴とする撮像装置。
2. 前記比較手段は、第１の撮影時刻に取得された第１の距離情報と、第２の撮影時刻に取得された第２の距離情報とを比較し、
   前記制御手段は、前記第１の距離情報と前記第２の距離情報との差分が検出された距離情報の位置に対応する画像内の位置の情報を、焦点を合わせるフォーカス位置の情報に追加または削除して焦点調節制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１の距離情報から前記第２の距離情報への変化が無限遠から有限距離である場合に前記位置の情報を追加し、前記第１の距離情報から前記第２の距離情報への変化が有限距離から無限遠である場合に前記位置の情報を削除することを特徴とする請求項２に記載の撮像装置。
4. 前記比較手段によって前記差分が検出された前記距離情報が複数である場合、前記制御手段は、複数の前記差分が検出された距離情報に対応する画像内の位置の情報を取得して前記撮像光学系の焦点調節制御を行うことを特徴とする請求項２に記載の撮像装置。
5. 前記比較手段により前記差分が検出されない場合、前記制御手段は前回の撮影時刻における前記フォーカス位置の情報を用いて前記撮像光学系の焦点調節制御を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記比較手段は、撮影が開始されたときの前記第１の距離情報を基準として前記第２の距離情報と比較することを特徴とする請求項２に記載の撮像装置。
7. 前記制御手段は、前記第１の撮影時刻の撮影におけるフォーカス位置を用いて前記第２の撮影時刻における撮影の焦点調節制御を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記比較手段により前記差分が検出された場合に追加または削除された前記フォーカス位置の情報を、記録媒体に記録する記録手段を備えることを特徴とする請求項２に記載の撮像装置。
9. 前記記録媒体からの前記フォーカス位置の情報を用いて、撮影時刻の異なる複数の画像から動画生成処理を行う画像処理手段を備えることを特徴とする請求項８に記載の撮像装置。
10. 撮像光学系を通して、設定された時間間隔で撮像手段により被写体を撮像する撮像装置にて実行される制御方法であって、
    前記撮像手段により撮像された画像内の各被写体の奥行き方向の深さを示す距離情報を撮影時刻ごとに取得する工程と、
    撮影時刻が異なる複数の前記距離情報を比較する工程と、
    前記距離情報の変化が検出された場合、当該変化に対応する画像内の位置の情報を取得し、焦点調節制御において焦点を合わせる範囲を変更する工程を有することを特徴とする撮像装置の制御方法。

Images