JP4784678B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、複数の画像に対して画像処理を施す撮像装置、撮像方法及びプログラムに関する。

従来、顔検出処理などにより被写体を検出した後、この検出された被写体を追跡しながら当該被写体にピントを合わせ続ける追跡式のＡＦ機能を備えたデジタルカメラが知られている（例えば、特許文献１参照）。

特開２０００−１８８７１３号公報

しかしながら、上記特許文献１の方法では、追跡中の被写体よりも優先順位の高い被写体が撮影フレーム内に移動してきた場合であっても、この新たな被写体が追跡中の被写体とは異なる距離にあると、ピントが合っていないボケた画像となってしまい、新たな被写体を画像処理によって認識するのが難しいといった問題がある。かといって、新たな被写体にピントを合わせるように焦点距離を変化させると、追跡中の被写体を見失ってしまう虞もある。

そこで、本発明の課題は、複数の用途の画像処理を実行しながら撮像を継続することができる撮像装置、撮像方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の撮像装置は、レンズの焦点距離を変えて撮像する撮像手段と、この撮像手段による撮像において被写体を検出または追跡する際のレンズの焦点距離を管理する管理情報であって、レンズの焦点距離および焦点距離の可変条件を含む管理情報を、複数の異なる画像処理の用途の各々に対応させて複数記憶する管理手段と、前記複数の管理情報の各々により管理されるレンズの焦点距離を、各々の管理情報に対応する焦点距離の可変条件に従って別々に変化させる可変手段と、前記複数の管理情報を所定の切替周期で切り替えながら、前記可変手段によって変化している各管理情報が示す焦点距離に従って、前記撮像手段による撮像の際のレンズの焦点距離を所定の切替周期で切り替える切替処理を繰り返し実行する切替手段と、を備えたことを特徴としている。
請求項２に記載の発明は更に、前記管理手段は、新たな被写体を検出する検出処理と、既に検出済みの被写体を追跡する被写体追跡処理とを含む用途の異なる複数の画像処理の各々に対応させて、前記撮像手段による撮像の際のレンズの焦点距離を管理する管理情報を複数記憶し、前記可変手段は、前記複数の管理情報の各々により管理されるレンズの焦点距離を、各管理情報に対応する前記検出処理および前記被写体追跡処理の各々に応じた所定の可変条件に従って可変させ、更に、前記撮像手段により撮像された複数の画像に対して、当該各画像の撮像の際のレンズの焦点距離の決定に用いた管理情報に対応する前記検出処理または前記被写体追跡処理のいずれかの画像処理を交互に施す画像処理手段を備えたことを特徴としている。

請求項３に記載の発明は更に、前記被写体追跡処理は、第１焦点距離で撮影された画像内の一の被写体を追跡対象として追跡し、前記検出処理は、第２焦点距離で撮影された画像内から前記一の被写体と異なる新たな被写体を検出し、前記追跡対象となる被写体毎に優先度を対応付けて記憶する優先度記憶手段と、前記一の被写体を追跡中に、当該一の被写体よりも前記第２焦点距離で撮影された画像内から検出された新たな被写体の優先度が高い場合に、前記新たな被写体を追跡対象に変更する変更手段と、を更に備えることを特徴としている。

請求項４に記載の発明は更に、前記検出処理は、画像内から人の顔を検出する顔検出処理であり、
前記変更手段は、更に、前記追跡対象として顔以外の被写体を追跡中に、画像内から顔が検出された場合に、新たに検出された顔を追跡対象に切り替えることを特徴としている。

請求項５に記載の発明は更に、人物毎に優先度を対応付けて登録する人物登録手段を更に備え、前記検出処理は、画像内から検出される顔の個人を特定する個人認識処理であり、前記変更手段は、更に、前記追跡対象として顔を追跡中に、前記人物登録手段に登録されている人物の中で当該追跡対象の顔の人物よりも優先度の高い人物の顔が新たに検出された場合に、前記新たな顔を追跡対象に切り替えることを特徴としている。

請求項６に記載の発明は更に、前記複数の管理情報の各々に対応する画像処理の用途を個別に設定する用途設定手段を更に備えることを特徴としている。

請求項７に記載の発明は更に、前記複数の管理情報の各々に対応する焦点距離の可変条件を個別に設定する条件設定手段を更に備えることを特徴としている。

請求項８に記載の発明は更に、前記所定の切替周期を設定する周期設定手段を更に備えることを特徴としている。

請求項９に記載の発明は更に、前記所定の切替周期を、各画像フレーム毎か、或いは、画像フレームを構成する複数の画素からなる所定方向の各ライン毎かを選択して指定する指定手段を備えることを特徴としている。

請求項１０に記載の発明の撮影方法は、レンズの焦点距離を変えて撮像する撮像手段と、この撮像手段による撮像において被写体を検出または追跡する際のレンズの焦点距離を管理する管理情報であって、レンズの焦点距離および焦点距離の可変条件を含む管理情報を、複数の異なる画像処理の用途の各々に対応させて複数記憶する管理手段と、を備える撮像装置に、前記複数の管理情報の各々により管理されるレンズの焦点距離を、各々の管理情報に対応する焦点距離の可変条件に従って別々に変化させる処理と、前記複数の管理情報を所定の切替周期で切り替えながら、前記可変手段によって変化している各管理情報が示す焦点距離に従って、前記撮像手段による撮像の際のレンズの焦点距離を所定の切替周期で切り替える切替処理を繰り返し実行する処理と、を実行させることを特徴としている。

請求項１１に記載の発明のプログラムは、撮像装置のコンピュータを、レンズの焦点距離を変えて撮像する撮像手段と、この撮像手段による撮像において被写体を検出または追跡する際のレンズの焦点距離を管理する管理情報であって、レンズの焦点距離および焦点距離の可変条件を含む管理情報を、複数の異なる画像処理の用途の各々に対応させて複数記憶する管理手段と、前記複数の管理情報の各々により管理されるレンズの焦点距離を、各々の管理情報に対応する焦点距離の可変条件に従って別々に変化させる可変手段と、前記複数の管理情報を所定の切替周期で切り替えながら、前記可変手段によって変化している各管理情報が示す焦点距離に従って、前記撮像手段による撮像の際のレンズの焦点距離を所定の切替周期で切り替える切替処理を繰り返し実行する切替手段と、としての機能させることを特徴としている。

本発明によれば、異なる焦点距離での撮像制御を必要とする複数の用途の画像処理を実行しながら撮像を継続することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置の撮像部による画像の撮像を説明するための図である。 図１の撮像装置による設定処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による静止画撮像処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による動画撮像処理に係る動作の一例を示すフローチャートである。 図１の撮像装置によるライブビュー表示処理に係る動作の一例を示すフローチャートである。 図６のライブビュー表示処理の続きを示すフローチャートである。 図１の撮像装置による焦点調整の一例を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、複数の管理情報に従って撮像の際の液体レンズの複数の焦点距離を所定の切替周期で切り替え、切り替えられた液体レンズの焦点距離の各々を当該各焦点距離の管理情報と対応付けて記憶されている各用途に応じた所定の可変条件に従って可変させ、撮像された複数の画像に対して、当該各画像を撮像した際の液体レンズの焦点距離の管理情報と対応付けて記憶されている各用途の画像処理を施す。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、情報管理部６と、表示処理部７と、表示部８と、記録媒体９と、操作入力部１０と、ＣＰＵ１１とを備えている。

撮像部１は、撮像手段として、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂを備えている。

レンズ部１ａは、例えば、複数のレンズを備えて構成され、具体的には、印加電圧に応じて焦点を変化させる可変焦点レンズ（図示略）を備えている。可変焦点レンズとしては、例えば、液体レンズが挙げられる。

液体レンズは、所定の容器内に、互いに混合せず、且つ、屈折率の異なる二つの液体（例えば、所定の水溶液と油等）が密封された構造をなしている。また、容器の所定位置には電極が付設され、当該電極に対して撮像制御部２の電圧制御部２ａ（後述）から電圧が印加されることで、二つの液体の界面がレンズのように湾曲してレンズ機能を実現する。また、電圧制御部２ａから印加される電圧レベルが変化することで、二つの液体の界面の曲率が変化して、この結果、液体レンズの焦点距離が変化する。
即ち、液体レンズの特長としては、印加する電圧レベルに応じてレンズ曲率を変化する点、レンズ曲率の変化スピードが高速である点、物理的な可動部がないため耐久性が高い点、電圧レベルは高電圧だが電流が流れないため消費電力が少ない点等が挙げられる。

電子撮像部１ｂは、例えば、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサを備え、レンズ部１ａの各種レンズを通過した被写体像を二次元の画像信号に変換する。

撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、所定周期毎に光学像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつ画像フレームを読み出して出力させる。

ここで、電子撮像部１ｂのＣＭＯＳイメージセンサによる画像の撮像について説明する。
ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサとは異なり、画像フレームの所定方向（例えば、水平方向）のラインごとに露光や転送を行う。即ち、ＣＭＯＳイメージセンサは、当該センサの最上部から下方向に順次１ラインずつ画像信号の転送を行い、最下部のライン転送を終えることで１フレーム分の転送となり、その後、再び最上部のラインから順次転送を行う。具体的には、ＣＭＯＳイメージセンサは、各画像フレームのデータを同期させるフレーム同期信号、各画像フレームのラインのデータの出力タイミングに同期したライン同期信号、出力データとそれに同期するためのクロック（図示略）を撮像制御部２に出力する（図２（ａ）参照）。
そして、撮像制御部２は、電子撮像部１ｂから出力された各ラインのデータをフレーム同期信号及びライン同期信号に同期しながら受信して画像データ生成部３に出力する。

また、撮像制御部２は、液体レンズの電極に対する印加電圧を制御する電圧制御部２ａを備えている。
電圧制御部２ａは、電子撮像部１ｂから出力されたライン同期信号を受信すると、それに同期して、焦点調整テーブル６ｂ（後述）に規定されている第１管理情報及び第２管理情報の焦点距離に従ってＰＷＭ（Pulse Width Modulation）比率を変更して、液体レンズに印加される駆動電圧を変化させる。例えば、図２（ａ）に示すように、電圧制御部２ａは、一ライン毎に駆動電圧を焦点位置Ａに対応する「High」と焦点位置Ｂに対応する「Low」とに切り替える。これにより、液体レンズの二つの液体の界面の曲率を変化させて当該液体レンズの焦点距離（焦点位置）を変化させる。この結果、電子撮像部１ｂから出力されるデータは、一ライン毎に焦点距離が異なることとなる。例えば、図２（ｂ）に示すように、奇数ラインのキャプチャデータは、液体レンズの焦点位置が焦点位置Ａで取得された画像（例えば、表示用画像）を構成する一方で、偶数ラインのキャプチャデータは、液体レンズの焦点位置が焦点位置Ｂで取得された画像（例えば、焦点調整用画像）を構成する。
ここで、電圧制御部２ａは、複数の管理情報に従って撮像部及び撮像制御部２による撮像の際の液体レンズの複数の焦点距離を所定の切替周期で切り替える切替手段を構成している。

また、電圧制御部２ａは、切替後の液体レンズの焦点距離の各々を、焦点調整テーブル６ｂ（後述）に規定されている管理情報と対応付けられている画像処理の用途に応じて所定の可変条件に従って可変させる。具体的には、電圧制御部２ａは、液体レンズの焦点距離が被写体追跡用焦点距離に切り替えられた場合には、焦点調整テーブル６ｂの第１管理情報の第１可変条件に基づいて、追跡対象のコントラストがより高くなるように被写体追跡用焦点距離を可変させる。また、液体レンズの焦点距離が被写体検出用焦点距離に切り替えられた場合には、焦点調整テーブル６ｂの第２管理情報の第２可変条件に基づいて、近距離から遠距離までの全域を画像フレームの各ライン毎に繰り返し走査するように被写体検出用焦点距離を可変させる。
ここで、電圧制御部２ａは、レンズの焦点距離の各々を当該各焦点距離の管理情報と対応付けて記憶されている各用途に応じた所定の可変条件に従って可変させる可変手段を構成している。

なお、図２（ｂ）にあっては、焦点位置Ａで取得された画像としてピントがあっている画像を例示し、焦点位置Ｂで取得された画像としてピントがあっていない画像を例示したが、これらに限られるものではない。
即ち、表示用画像の取得に係る液体レンズの焦点位置Ａは、被写体にピントを合わせた後に固定されるので、被写体の距離が変化しない間は常にピントがあっている状態になるが、被写体の距離が変化したときには、一時的に（過渡的に）ピントが合わない状態も生じる。一方、焦点調整用画像の取得に係る液体レンズの焦点位置Ｂは、距離の変化する被写体にピントを合わせるために常に変化しているので、ピントが合っていない状態とピントが合っている状態とに変動する。

また、撮像制御部２は、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

画像データ生成部３は、電子撮像部１ｂから転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５やＣＰＵ１１等によって処理されるデータ等を一時記憶する。

画像処理部５は、画像処理手段として、撮像された複数の画像フレームに対して、当該各画像フレームを撮像した際のレンズの焦点距離の管理情報と対応付けて記憶されている各用途の画像処理を行う。
即ち、画像処理部５は、液体レンズの焦点位置を焦点位置Ｂとして撮影した場合には、電子撮像部２により生成された画像フレームから所定の顔検出方法を用いて人の顔を検出する顔検出部５ａを具備している。
具体的には、顔検出部５ａは、液体レンズの焦点位置が焦点位置Ｂで撮影された画像フレームから顔画像領域を検出し、検出した各領域内から目、鼻、口等に相当する特徴部（顔パーツ）を検出する。また、顔検出部５ａは、焦点位置Ｂで撮影された画像フレーム内から被写体追跡処理に係る被写体（顔）と異なる新たな顔を被写体として検出する顔検出処理を行う。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、画像処理部５は、主要被写体を動体解析により追跡する被写体追跡部５ｂを具備している。
具体的には、被写体追跡部５ｂは、液体レンズの焦点位置が焦点位置Ａで撮影された画像フレーム内の顔などの主要被写体を追跡対象として、隣合う画像フレーム間で追跡する被写体追跡処理を行う。また、被写体追跡部５ｂは、追跡対象が顔検出処理にて新たに検出された顔に変更されると、液体レンズの焦点位置が焦点位置Ｂで撮影された画像フレーム内の顔を追跡対象として、隣合う画像フレーム間で追跡する被写体追跡処理を行う。

ここで、動体解析の一例について詳細に説明する。
被写体追跡部５ｂは、先ず、顔の検出状態であるか非検出状態であるかを判定する。顔の検出状態であると判定された場合には、被写体追跡部５ｂは、メモリに記憶されている顔座標を取得して、当該顔座標で囲まれた領域内の撮像対象を主要被写体として特定する。一方、顔の非検出状態であると判定された場合には、ＡＦモードに応じたＡＦ領域（合焦箇所）内の撮像対象を主要被写体として特定する。
その後、主要被写体の輝度情報や色情報等の画像情報をテンプレートとして、次の画像フレームにて顔座標近傍の所定の動体探索範囲内を所定方向に走査してマッチングを行い、最も近似性の高い部分を主要被写体とする。
そして、被写体追跡部５ｂは、最も近似性が高いと判定された主要被写体の縁部を追跡枠とし、追跡枠の各角部の座標を取得した後、当該座標により顔座標を更新する。さらに、被写体追跡部５ｂは、追跡枠内の主要被写体の輝度情報や色情報等の画像情報をテンプレートとして更新する。
上記の処理を、被写体追跡部５ｂは、焦点位置Ａで撮像された複数の画像フレームの各々に対して逐次実行することにより、マッチングに用いるテンプレートが更新されていく。そのため被写体が経時的に変化しても主要被写体を動体として追跡することができる。

また、画像処理部５は、顔検出処理にて検出された顔の個人を認識する人物認識部５ｃを具備している。
人物認識部５ｃは、顔検出処理にて検出された顔が情報管理部６の優先度登録テーブル６ｃ（後述）に登録されているか否かを判定し、当該判定の結果、顔が登録されていると判定されると、当該顔と対応付けて登録されている人物を特定する。

また、画像処理部５は、被写体追跡処理における追跡対象を変更する変更部６ｄを具備している。
変更部６ｄは、顔検出処理にて検出された顔の個人の優先度に応じて追跡対象を変更する。具体的には、変更部６ｄは、液体レンズの焦点位置が焦点位置Ａで撮影された画像フレーム内の一の顔を主要被写体として追跡中に、焦点位置Ｂで撮影された画像フレーム内から新たな顔が検出された場合には、人物認識部５ｃによる個人認識結果に基づいて情報管理部６の優先度登録テーブル６ｃを参照して、何れの顔の優先度が高いか否かを判定する。そして、変更部６ｄは、追跡中の一の顔の個人よりも焦点位置Ｂで撮影された画像フレーム内から検出された新たな顔の個人の優先度が高いと判定された場合には、新たな顔を追跡対象に変更する。
また、変更部６ｄは、液体レンズの焦点位置が焦点位置Ａで撮影された画像フレーム内の顔以外の物体を追跡対象として追跡中に、焦点位置Ｂで撮影された画像フレーム内から顔が検出された場合には、新たに検出された顔を追跡対象に切り替える。
ここで、変更部６ｄは、焦点位置Ａ（第１焦点距離）で撮影された画像内の一の被写体を追跡中に、当該一の被写体よりも焦点位置Ｂ（第２焦点距離）で撮影された画像内から検出された新たな被写体の優先度が高い場合に、当該新たな被写体を追跡対象に変更する変更手段を構成している。

情報管理部６は、レンズの焦点距離を管理する焦点調整テーブル６ｂの内容を変更する変更制御部６ａを具備している。
焦点調整テーブル６ｂは、管理手段として、画像処理の複数の用途と、レンズの複数の焦点距離と、焦点距離の可変条件とを対応付けて複数の管理情報を記憶する。例えば、焦点調整テーブル６ｂは、第１画像の画像処理の第１用途「被写体追跡処理」と、液体レンズの焦点位置を焦点位置Ａとする「被写体追跡用焦点距離」と、当該焦点距離Ａの第１可変条件「追跡対象のコントラストをより高くする」とを対応付けて第１管理情報として記憶している。また、焦点調整テーブル６ｂは、第２画像の画像処理の第２用途「顔検出処理」と、液体レンズの焦点位置を焦点位置Ｂとする「被写体検出用焦点距離」と、当該焦点距離Ｂの第２可変条件「近距離から遠距離までの全域を画像フレームの各ライン毎に繰り返し走査」とを対応付けて第２管理情報として記憶している。
そして、変更制御部６ａは、画像処理部５の変更部６ｄにより追跡対象が変更された場合に、被写体追跡用焦点距離を管理する第１管理情報の内容を被写体追跡用の第２画像を撮像した際の焦点距離に変更する。これにより、被写体追跡用画像（第１画像）の撮像の際の液体レンズの焦点距離が、被写体検出用画像（第２画像）を撮像した際の焦点距離に変更される。

なお、上記した焦点調整テーブル６ｂは、一例であってこれに限られるものではない。即ち、例えば、焦点調整テーブル６ｂは、第１管理情報として、第１画像の画像処理の第１用途「画像表示処理」と、液体レンズの焦点位置を焦点位置Ａとする「表示用焦点距離」、当該焦点距離Ａの第１可変条件「第１画像のコントラストが良くなるように焦点距離の更新」とを対応付けて記憶しても良いし、また、第２管理情報として、第２画像の画像処理の第２用途「焦点調整処理」と、液体レンズの焦点位置を焦点位置Ｂとする「ＡＦ用焦点距離」と、当該焦点距離Ｂの第２可変条件「主要被写体のコントラストが良くなるように焦点距離の変更」とを対応付けて記憶しても良い。

また、情報管理部６は、物体や人物といった被写体追跡処理にて追跡対象となる被写体毎に優先度が対応付けられている優先度登録テーブル６ｃを記憶している。
優先度登録テーブル６ｃは、具体的には、人物登録手段として、顔検出処理にて検出された顔の個人毎に優先度を対応付けて登録する。例えば、人物Ａよりも人物Ｂの優先度が高くなるように登録されている（図８（ａ）〜図８（ｃ）参照）。また、優先度登録テーブル６ｃは、主要被写体として人以外の物体よりも人の方が優先度が高くなるように登録されている。
ここで、優先度登録テーブル６ｃは、被写体追跡処理にて追跡対象となる被写体毎に優先度を対応付けて記憶する優先度記憶手段を構成している。

表示処理部７は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示処理部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１１の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示装置であり、表示処理部７からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（いずれも図示略）、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１１に出力する。

また、操作入力部１０は、ユーザによる所定操作に基づいて画像処理部５による複数の用途（例えば、被写体追跡処理や被写体検出処理等）の選択設定に係る設定指示信号をＣＰＵ１１に出力する。ＣＰＵ１１は、操作入力部１０から出力された設定指示信号が入力されると、当該設定指示信号に応じて画像処理の用途を情報管理部６にそれぞれ設定させる。これにより、ユーザが所望の画像処理の用途を組み合わせて指定することができ、より使い勝手の良い撮像装置１００を提供することができる。
ここで、ＣＰＵ１１、操作入力部１０及び情報管理部６は、画像処理の複数の用途を設定する用途設定手段を構成している。

また、操作入力部１０は、ユーザによる所定操作に基づいて液体レンズの焦点距離の所定の可変条件の選択設定に係る設定指示信号をＣＰＵ１１に出力する。ＣＰＵ１１は、操作入力部１０から出力された設定指示信号が入力されると、当該設定指示信号に応じて液体レンズの焦点距離の所定の可変条件を情報管理部６にそれぞれ設定させる。これにより、ユーザが液体レンズの焦点距離の可変条件として所望の条件を組み合わせて指定することができ、より使い勝手の良い撮像装置１００を提供することができる。
ここで、ＣＰＵ１１、操作入力部１０及び情報管理部６は、液体レンズの焦点距離の所定の可変条件を設定する条件設定手段を構成している。

また、操作入力部１０は、ユーザによる所定操作に基づいて液体レンズの焦点距離の所定の切替周期の設定に係る設定指示信号をＣＰＵ１１に出力する。ＣＰＵ１１は、操作入力部１０から出力された設定指示信号が入力されると、当該設定指示信号に応じて液体レンズの焦点距離の所定の切替周期を情報管理部６に設定させる。具体的には、例えば、所定の切替周期としては、各画像フレーム毎か、或いは、画像フレームを構成するライン毎を選択して指定するようになっている。これにより、ユーザが液体レンズの焦点距離の切替周期として所望の周期を指定することができ、解像度や画像のちらつき方などが異なる所望の画質に対応することができる。また、切替周期として、各画像フレーム毎か、或いは、画像フレームを構成するライン毎を選択して指定することで、解像度と画像のちらつき方のうち、ユーザ所望の何れか一を優先的に選択することができる。これによって、より使い勝手の良い撮像装置１００を提供することができる。
ここで、ＣＰＵ１１、操作入力部１０及び情報管理部６は、液体レンズの焦点距離の所定の切替条件を設定する周期設定手段を構成している。また、ＣＰＵ１１、操作入力部１０及び情報管理部６は、各画像フレーム毎か、或いは、画像フレームを構成する複数の画素からなる所定方向の各ライン毎を選択して指定する指定手段を構成している。

ＣＰＵ１１は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１１は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による設定処理について図３を参照して説明する。
図３は、設定処理に係る動作の一例を示すフローチャートである。
設定処理は、焦点調整テーブル６ｂの管理情報を規定する画像処理の複数の用途及びレンズの各焦点距離の可変条件や、複数の焦点距離の切替周期を設定する一般的な処理である。また、設定処理は、ユーザによる操作入力部１０の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から設定モードが選択指示された場合に実行される処理である。

先ず、ＣＰＵ１１は、ユーザによる操作入力部１０の所定操作に基づいて出力された設定指示信号が入力されると、当該設定指示信号に応じて焦点調整テーブル６ｂの第１管理情報の焦点距離Ａ（例えば、「被写体追跡用焦点距離」や「表示用焦点距離」等）で撮像される第１画像の用途として、第１用途（例えば、「被写体の追跡用」や「画像表示用」等）を情報管理部６に設定させる（ステップＳ１）。
次に、ＣＰＵ１１は、ユーザによる操作入力部１０の所定操作に基づいて出力された設定指示信号が入力されると、当該設定指示信号に応じて焦点調整テーブル６ｂの第１管理情報の焦点距離Ａの可変条件として、第１可変条件（例えば、「追跡対象のコントラストをより高くする」や「第１画像のコントラストが良くなるように焦点距離の更新」等）を情報管理部６に設定させる（ステップＳ２）。

続けて、ＣＰＵ１１は、ユーザによる操作入力部１０の所定操作に基づいて出力された設定指示信号が入力されると、当該設定指示信号に応じて焦点調整テーブル６ｂの第２管理情報の焦点距離Ｂ（例えば、「被写体検出用焦点距離」や「ＡＦ用焦点距離」等）で撮像される第２画像の用途として、第２用途（例えば、「顔検出処理」や「焦点調整処理」等）を情報管理部６に設定させる（ステップＳ３）。
次に、ＣＰＵ１１は、ユーザによる操作入力部１０の所定操作に基づいて出力された設定指示信号が入力されると、当該設定指示信号に応じて焦点調整テーブル６ｂの第２管理情報の焦点距離Ｂの可変条件として、第２可変条件（例えば、「近距離から遠距離までの全域を画像フレームの各ライン毎に繰り返し走査」や「主要被写体のコントラストが良くなるように焦点距離の変更」等）を情報管理部６に設定させる（ステップＳ４）。

そして、ＣＰＵ１１は、ユーザによる操作入力部１０の所定操作に基づいて出力された設定指示信号が入力されると、当該設定指示信号に応じて焦点調整テーブル６ｂの第１管理情報及び第２管理情報に係る焦点距離Ａ、Ｂの切替周期（例えば、被写体追跡処理や被写体検出処理にあっては、「各画像フレームを交互に切替え」、また、画像表示や焦点調整処理にあっては、「奇数ラインと偶数ラインを交互に切替え」等）を情報管理部６に設定させる（ステップＳ５）。
これにより、設定処理を終了する。

次に、撮像装置１００による静止画撮像処理について、図４を参照して説明する。
図４は、静止画撮像処理に係る動作の一例を示すフローチャートである。
静止画撮像処理は、ユーザによる操作入力部１０の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。また、当該静止画撮像処理におけるライブビュー表示処理については、図６及び図７を参照して後述する。

先ず、ＣＰＵ１１は、焦点調整テーブル６ｂの第１管理情報及び第２管理情報の各焦点距離を管理する変数を情報管理部６に初期化させる（ステップＳ１１Ａ）。具体的には、情報管理部６は、焦点調整テーブル６ｂの第１管理情報の初期値として所定の焦点距離Ａを設定するとともに、第２管理情報の初期値として所定の焦点距離Ｂを設定する。

次に、ＣＰＵ１１は、撮像部１及び撮像制御部２による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部８の表示画面に表示させるライブビュー表示処理を行う（ステップＳ１２Ａ；図６及び図７参照、詳細後述）。
そして、ＣＰＵ１１は、ライブビュー表示処理中に、ユーザによる操作入力部１０のシャッタボタンの所定操作に基づいて静止画撮像指示が入力されたか否かを判定する（ステップＳ１３Ａ）。

ここで、静止画撮像指示が入力されていないと判定された場合には（ステップＳ１３Ａ；ＮＯ）、ステップＳ１３Ａにて、静止画撮像指示が入力されたと判定されるまで（ステップＳ１３Ａ；ＹＥＳ）、ＣＰＵ１１は処理をステップＳ１２Ａに移行させて、ライブビュー表示処理を繰り返し行わせる。
そして、静止画撮像指示が入力されたと判定されると（ステップＳ１３Ａ；ＹＥＳ）、ＣＰＵ１１は、撮像制御部２に、焦点調整テーブル６ｂに基づいて液体レンズの焦点距離を表示用焦点距離（焦点距離Ａ）に変更させ（ステップＳ１４Ａ）、露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体の光学像を所定の条件で電子撮像部１ｂにより撮像させる。
その後、ＣＰＵ１１は、画像データ生成部３に、電子撮像部１ｂから転送された静止画像の記録用の画像フレームのＹＵＶデータを生成させて、当該画像のＹＵＶデータを記録媒体９の所定の記憶領域に保存させる（ステップＳ１５Ａ）。
これにより、静止画撮像処理を終了する。

次に、撮像装置１００による動画撮像処理について、図５を参照して説明する。
図５は、動画撮像処理に係る動作の一例を示すフローチャートである。
動画撮像処理は、ユーザによる操作入力部１０の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から動画撮像モードが選択指示された場合に実行される処理である。また、当該動画撮像処理におけるライブビュー表示処理については、図６及び図７を参照して後述する。

先ず、ＣＰＵ１１は、焦点調整テーブル６ｂの第１管理情報及び第２管理情報の各焦点距離を管理する変数を情報管理部６に初期化させる（ステップＳ１１Ｂ）。具体的には、情報管理部６は、焦点調整テーブル６ｂの第１管理情報の初期値として所定の焦点距離Ａを設定するとともに、第２管理情報の初期値として所定の焦点距離Ｂを設定する。

次に、ＣＰＵ１１は、撮像部１及び撮像制御部２による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部８の表示画面に表示させるライブビュー表示処理を行う（ステップＳ１２Ｂ；図６及び図７参照、詳細後述）。
そして、ＣＰＵ１１は、ライブビュー表示処理中に、ユーザによる操作入力部１０のシャッタボタンの所定操作に基づいて動画撮像開始指示が入力されたか否かを判定する（ステップＳ１３Ｂ）。

ここで、動画撮像開始指示が入力されていないと判定された場合には（ステップＳ１３Ｂ；ＮＯ）、ステップＳ１３Ｂにて、動画撮像開始指示が入力されたと判定されるまで（ステップＳ１３Ｂ；ＹＥＳ）、ＣＰＵ１１は処理をステップＳ１２Ｂに移行させて、ライブビュー表示処理を繰り返し行わせる。
そして、動画撮像開始指示が入力されたと判定されると（ステップＳ１３Ｂ；ＹＥＳ）、ＣＰＵ１１は、露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を撮像制御部２に調整させて、所定の条件で電子撮像部１ｂにより撮像された被写体の第１画像に係る画像フレームのＹＵＶデータを画像データ生成部３に生成させて、メモリ４に動画像を構成する画像フレームとして追加記録させる（ステップＳ１４Ｂ）。

次に、ＣＰＵ１１は、ユーザによる操作入力部１０のシャッタボタンの所定操作に基づいて動画撮像終了指示が入力されたか否かを判定する（ステップＳ１５Ｂ）。
ここで、動画撮像終了指示が入力されていないと判定された場合には（ステップＳ１５Ｂ；ＮＯ）、ステップＳ１５Ｂにて、動画撮像終了指示が入力されたと判定されるまで（ステップＳ１５Ｂ；ＹＥＳ）、ＣＰＵ１１は処理をステップＳ１２Ｂに移行させて、ライブビュー表示処理以降の処理を繰り返し行わせる。
そして、動画撮像終了指示が入力されたと判定されると（ステップＳ１５Ｂ；ＹＥＳ）、ＣＰＵ１１は、メモリ４に記録されている複数の画像フレームからなる動画像を記録媒体９の所定の記憶領域に保存させる（ステップＳ１６Ｂ）。
これにより、動画撮像処理を終了する。

次に、静止画撮像処理及び動画撮像処理におけるライブビュー表示処理について図６及び図７を参照して説明する。
図６及び図７は、ライブビュー表示処理に係る動作の一例を示すフローチャートである。
ライブビュー表示処理は、静止画撮像処理にて実行される処理内容と動画撮像処理にて実行される処理内容とで略同様となっており、以下にまとめて説明する。

図６に示すように、先ず、ＣＰＵ１１は、情報管理部６の焦点調整テーブル６ｂを参照して焦点距離Ａ、Ｂの切替周期であるか否かを判定する（ステップＳ２１）。
ここで、焦点距離Ａ、Ｂの切替周期であると判定されると（ステップＳ２１；ＹＥＳ）、ＣＰＵ１１は、撮像制御部２の電圧制御部２ａに、焦点調整テーブル６ｂの第２管理情報の焦点距離Ｂ（第１管理情報の焦点距離Ａ）に従ってＰＷＭ比率を変更させて、液体レンズに印加される駆動電圧（例えば、「High」）を設定させる。そして、電圧制御部２ａは、設定された駆動電圧を電極に印加して、液体レンズの二つの液体の界面の曲率を変化させて当該液体レンズの焦点距離を焦点距離Ｂから焦点距離Ａ（焦点距離Ａから焦点距離Ｂ）に変更させる（ステップＳ２２）。そして、液体レンズを通過した被写体像が電子撮像部１ｂにより光電変換されて、当該電子撮像部１ｂから出力された第１画像（第２画像）のデータが画像データ生成部３に入力されると、画像データ生成部３は、当該第１画像（第２画像）のデータからＹＵＶデータを生成する。そして、画像処理部５は、画像データ生成部３により生成された第１画像（第２画像）の画像データを取得する（ステップＳ２３）。

その後、ＣＰＵ１１は、画像処理部５の被写体追跡部５ｂ（顔検出部５ａ）に、取得した第１画像（第２画像）を当該第１画像と焦点調整テーブル６ｂに対応付けられている第１用途（第２用途）として被写体追跡処理（顔検出処理）に利用させる（ステップＳ２４）。
次に、ＣＰＵ１１は、撮像制御部２の電圧制御部２ａに、焦点調整テーブル６ｂの第１管理情報の第１可変条件（第２管理情報の第２可変条件）に従ってＰＷＭ比率を変更させて、液体レンズに印加される駆動電圧（例えば、「High」）を設定させる。そして、電圧制御部２ａは、設定された駆動電圧を電極に印加して、液体レンズの二つの液体の界面の曲率を変化させて当該液体レンズの焦点距離を変化させる（ステップＳ２５）。

図７に示すように、次に、ＣＰＵ１１は、ステップＳ２３にて、画像処理部５によって、画像データ生成部３により新たに生成された新たな第２画像が取得されたか否かを判定する（ステップＳ２６）。
ここで、新たな第２画像が取得されたと判定されると（ステップＳ２６；ＹＥＳ）、ＣＰＵ１１は、画像処理部５の顔検出部５ａに、顔の検出領域を第２画像全領域として、第２画像の全領域から所定の顔検出方法を用いて人の顔を検出させる（ステップＳ２７）。
そして、ＣＰＵ１１は、顔検出処理にて新たな顔が検出されたか否かを判定する（ステップＳ２８）。ここで、新たな顔とは、現に顔を主要被写体として被写体追跡処理を行っている場合には、当該追跡対象となっている顔以外の顔のことである。

ステップＳ２８にて、新たな顔が検出されたと判定されると（ステップＳ２８；ＹＥＳ）、ＣＰＵ１１は、画像処理部５の人物認識部５ｃに、顔検出処理にて検出された新たな顔が情報管理部６の優先度登録テーブル６ｃに登録されているか否かを判定させる。そして、当該判定の結果、顔が登録されていると判定されると、人物認識部５ｃは、当該顔と対応付けて登録されている人物を特定して、個人認識結果に基づいて新たな顔の優先度を特定する（ステップＳ２９）。
続けて、ＣＰＵ１１は、変更部６ｄに、被写体追跡処理にて主要被写体として追跡中の顔と、顔検出処理にて検出された新たな顔の優先度どうしを比較させて、新たな顔の優先度が追跡対象の顔よりも高いか否かを判定させる（ステップＳ３０）。

ステップＳ３０にて、新たな顔の優先度が高いと判定されると（ステップＳ３０；ＹＥＳ）、ＣＰＵ１１は、変更部６ｄに、被写体追跡部５ｂによる追跡対象を新たな顔に変更させる（ステップＳ３１）。
次に、ＣＰＵ１１は、被写体追跡部５ｂに、第２画像の画像フレーム内の顔を追跡対象として隣合う画像フレーム間で追跡させる（ステップＳ３２）。

続けて、ＣＰＵ１１は、画像処理部５に、追跡対象の顔部分の画像データに基づいて、当該画像を構成する複数の画素における輝度の最大値及び最小値を特定して、その差を当該画像のコントラスト値として算出させる（ステップＳ３３）。そして、画像処理部５は、算出された追跡対象のコントラスト値と直前の画像フレームにおける追跡対象のコントラスト値とを比較する。続けて、当該比較結果に基づいて、情報管理部６は、コントラストが良くなるようにコントラスト値が良い方の焦点距離を採用して第１管理情報の焦点距離Ａを更新する（ステップＳ３４）。
これにより、ライブビュー表示処理を終了する。

一方、ステップＳ２８にて、新たな顔が検出されたと判定されると（ステップＳ２８；ＹＥＳ）、ＣＰＵ１１は、撮像制御部２の電圧制御部２ａに、焦点調整テーブル６ｂの第２管理情報の第２可変条件に従ってＰＷＭ（Pulse Width Modulation）比率を変更させて、液体レンズに印加される駆動電圧（例えば、「High」）を設定させる。そして、電圧制御部２ａは、設定された駆動電圧を電極に印加して、液体レンズの二つの液体の界面の曲率を変化させて当該液体レンズの焦点距離を変化させた後（ステップＳ３５）、処理をステップＳ３２に移行させる。

また、ステップＳ２６にて、新たな第２画像が取得されていないと判定されると（ステップＳ２６；ＮＯ）、即ち、ステップＳ２１にて、液体レンズの焦点距離を焦点距離Ａに切り替えた場合には、新たな第２画像は取得されないことから、ライブビュー表示処理を終了する。
また、ステップＳ３０にて、新たな顔の優先度の方が追跡対象の顔よりも高くないと判定された場合（ステップＳ３０；ＮＯ）、即ち、顔検出処理にて新たな顔を検出したものの、追跡対象の顔の人物よりも優先度が低い場合にも、ライブビュー表示処理を終了する。

上記の静止画撮像処理や動画撮像処理においては、例えば、図８（ａ）〜図８（ｃ）に示すように、被写体追跡ＡＦで被写体として人物Ａを追跡しながら撮像中は、人物Ａに焦点があった状態となる。このとき、焦点調整テーブル６ｂに規定されている第１管理情報及び第２管理情報の焦点距離Ａ（被写体追跡用焦点距離）と焦点距離Ｂ（被写体検出用焦点距離）は、等しくなっている（図８（ａ）参照）。

ここで、画角内に人物Ａよりも優先度の高い人物Ｂが入ってきた場合に、液体レンズの焦点距離Ａ（被写体追跡用焦点距離）は固定した状態で、焦点調整テーブル６ｂに規定されている第２管理情報の焦点距離Ｂ（被写体検出用焦点距離）を変更することで、液体レンズの焦点距離Ｂを変化させて人物Ｂに焦点を合わせるＡＦ動作を行う（図８（ｂ）参照）。

そして、個人認識処理の結果、人物Ａと人物Ｂの優先度を比較判定して、人物Ａよりも人物Ｂの方が優先度が高いと判定されると、被写体追跡処理の追跡対象を人物Ｂに切り替えるとともに、焦点調整テーブル６ｂに規定されている第１管理情報の焦点距離Ａを第２管理情報の焦点距離Ｂに変更して、焦点距離Ａ（被写体追跡用焦点距離）と焦点距離Ｂ（被写体検出用焦点距離）とを等しくさせる（図８（ｃ）参照）。
なお、この例では、カメラを固定した状態で画角内に背景の人物Ａよりも優先度の高い人物Ｂが入ってきた場合で説明したが、カメラをパーンすることによって、画角の中央部に設けられたＡＦ領域内の被写体が変化した場合（即ち、人物から人物への変化のほか、物体から物体への変化や、物体から人への変化や、未登録の人から登録済みの人物等）でも同様である。

以上のように、本実施形態の撮像装置１００によれば、撮像制御部２の電圧制御部２ａによって、複数の管理情報に従って撮像部１及び撮像制御部２による撮像の際の液体レンズの複数の焦点距離を所定の切替周期で切り替え、切り替えられた液体レンズの焦点距離の各々を当該各焦点距離の管理情報と対応付けて記憶されている各用途に応じた所定の可変条件に従って変化させることができ、画像処理部５によって、撮像部１及び撮像制御部２により撮像された複数の画像に対して、当該各画像を撮像した際の液体レンズの焦点距離の管理情報と対応付けて記憶されている各用途の画像処理を施すことができる。
即ち、撮像された画像を、例えば、被写体検出処理や被写体追跡処理といった画像処理の複数の異なる用途の処理で利用し、且つ、各々の用途が異なるレンズの焦点距離の制御を必要とするような場合であっても、本実施形態の撮像装置１００では、可変焦点レンズとして液体レンズを用いて、管理情報に基づいて当該液体レンズの焦点を変化させることによって、第１画像及び第２画像を撮像する際の焦点距離を素早く変化させることができるとともに、画像処理の各々の用途にて液体レンズの焦点距離を変化させながら撮像された各画像を用いて当該用途の画像処理を行うことができる。つまり、従来の焦点調整レンズでは、移動速度が遅いため画像フレームごとに焦点を変化させる必要があり、そのため、シャッタボタンの半押しなどにより焦点調整のシーケンスを実行する場合は、焦点確認ポイント数ぶんの画像フレームの取得時間が必要となる。しかしながら、焦点距離を素早く変化させることができる液体レンズを用いることによって、第１管理情報に基づいて、例えば、所定の被写体追跡用焦点距離で所定の被写体を追跡する被写体追跡処理を行うことができるとともに、その裏で（時分割で並行して）、第２管理情報に基づいて所定の被写体検出用焦点距離で所定の被写体を検出する被写体検出処理を行うことができる。このように、焦点距離の異なる画像処理の複数の用途の処理を順次実行しながら撮像を継続することができる。

また、被写体として人物の顔を追跡中に、当該顔の個人よりも液体レンズの第２焦点距離で撮影された画像フレーム内から検出された新たな顔の個人の優先度が高い場合に、新たな顔を追跡対象に切り替えるので、現に追跡中の被写体としての顔を見失わないように焦点を合わせつつ、異なる距離に存在し、且つ、より優先度の高い他の顔にも焦点を合わせて検出することができる。これによって、人物のうち、より優先度の高い人物の顔を追跡対象とすることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、優先度登録テーブル６ｃに登録されている人物Ａ、Ｂの優先度に応じて被写体追跡処理の追跡対象を切り替えるようにしたが、これに限られるものではなく、追跡対象として人以外の物体を追跡中に、画像内から人の顔が検出された場合に、新たに検出された顔を追跡対象に切り替えるようにしても良い。
従って、建物などの背景物体に焦点が合っている状態のときに、急に撮影フレーム内に人物が入ってきたような場合でも、建物などの背景物体に焦点を合わせつつ、人物を検出することができる。これによって、物体よりも優先度の高い人物の顔を追跡対象とすることができる。

なお、第１画像に基づく画像処理の裏で行われる第２画像の取得動作は、一定時間毎に（短時間で）繰り返し行うようにしてもよいし、間欠的に（非定期に）行うようにしてもよい。
ここで、第２画像の取得を一定時間毎に繰り返し行う場合には、取得された複数の第２画像間のコントラストを比較することによりコンティニュアスな焦点調整処理や顔検出処理等の画像処理を裏で実行するようにしてもよい。また、第２画像の取得を間欠的に行う場合には、裏でコンティニュアスな処理を実行することなく、第１画像と第２画像のコントラスト比較によって、ダイレクトに焦点調整処理を実行するようにしてもよい。

また、上記実施形態では、電子撮像部１ｂをＣＭＯＳイメージセンサから構成するようにしたが、ＣＣＤイメージセンサから構成しても良く、この場合にあっては、第２画像の表示タイミングで表示部８に表示される画像を当該第２画像の前後の第１画像から補間生成することで、表示画像のフレームレートが低下することを防止することができる。

さらに、上記実施形態では、焦点調整テーブル６ｂの管理情報として、第１管理情報及び第２管理情報を例示したが、管理情報の数はこれに限られるものではない。即ち、管理情報は、複数であれば任意であり、３つ以上記憶されていても良い。

加えて、上記実施形態にあっては、切替手段、可変手段、画像処理手段としての機能を、ＣＰＵ１１の制御下にて、撮像制御部２の電圧制御部２ａ、画像処理部５が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１１によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、切替処理ルーチン、可変処理ルーチン、画像処理ルーチンを含むプログラムを記憶しておく。そして、切替処理ルーチンによりＣＰＵ１１に、複数の管理情報に従って撮像手段による撮像の際のレンズの複数の焦点距離を所定の切替周期で切り替えさせるようにしても良い。また、可変処理ルーチンによりＣＰＵ１１に、切替手段により切り替えられたレンズの焦点距離の各々を当該各焦点距離の管理情報と対応付けて記憶されている各用途に応じた所定の可変条件に従って可変させるようにしても良い。また、画像処理ルーチンによりＣＰＵ１１に、撮像手段により撮像された複数の画像に対して、当該各画像を撮像した際のレンズの焦点距離の管理情報と対応付けて記憶されている各用途の画像処理を施させるようにしても良い。

１００ 撮像装置
１ 撮像部
１ａ レンズ部
１ｂ 電子撮像部
２ 撮像制御部
２ａ 電圧制御部
５ 画像処理部
５ａ 顔検出部
５ｂ 被写体追跡部
５ｃ 人物認識部
５ｄ 変更部
６ 情報管理部
６ａ 変更制御部
６ｂ 焦点調整テーブル
６ｃ 優先度登録テーブル
８ 表示部
１１ ＣＰＵ

Claims (11)

1. レンズの焦点距離を変えて撮像する撮像手段と、
   この撮像手段による撮像において被写体を検出または追跡する際のレンズの焦点距離を管理する管理情報であって、レンズの焦点距離および焦点距離の可変条件を含む管理情報を、複数の異なる画像処理の用途の各々に対応させて複数記憶する管理手段と、
   前記複数の管理情報の各々により管理されるレンズの焦点距離を、各々の管理情報に対応する焦点距離の可変条件に従って別々に変化させる可変手段と、
   前記複数の管理情報を所定の切替周期で切り替えながら、前記可変手段によって変化している各管理情報が示す焦点距離に従って、前記撮像手段による撮像の際のレンズの焦点距離を所定の切替周期で切り替える切替処理を繰り返し実行する切替手段と、
   を備えたことを特徴とする撮像装置。
2. 前記管理手段は、新たな被写体を検出する検出処理と、既に検出済みの被写体を追跡する被写体追跡処理とを含む用途の異なる複数の画像処理の各々に対応させて、前記撮像手段による撮像の際のレンズの焦点距離を管理する管理情報を複数記憶し、
   前記可変手段は、前記複数の管理情報の各々により管理されるレンズの焦点距離を、各管理情報に対応する前記検出処理および前記被写体追跡処理の各々に応じた所定の可変条件に従って可変させ、
   更に、前記撮像手段により撮像された複数の画像に対して、当該各画像の撮像の際のレンズの焦点距離の決定に用いた管理情報に対応する前記検出処理または前記被写体追跡処理のいずれかの画像処理を交互に施す画像処理手段を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体追跡処理は、第１焦点距離で撮影された画像内の一の被写体を追跡対象として追跡し、前記検出処理は、第２焦点距離で撮影された画像内から前記一の被写体と異なる新たな被写体を検出し、
   前記追跡対象となる被写体毎に優先度を対応付けて記憶する優先度記憶手段と、
   前記一の被写体を追跡中に、当該一の被写体よりも前記第２焦点距離で撮影された画像内から検出された新たな被写体の優先度が高い場合に、前記新たな被写体を追跡対象に変更する変更手段と、を更に備えることを特徴とする請求項２に記載の撮像装置。
4. 前記検出処理は、画像内から人の顔を検出する顔検出処理であり、
   前記変更手段は、更に、
   前記追跡対象として顔以外の被写体を追跡中に、画像内から顔が検出された場合に、新たに検出された顔を追跡対象に切り替えることを特徴とする請求項３に記載の撮像装置。
5. 人物毎に優先度を対応付けて登録する人物登録手段を更に備え、
   前記検出処理は、画像内から検出される顔の個人を特定する個人認識処理であり、
   前記変更手段は、更に、
   前記追跡対象として顔を追跡中に、前記人物登録手段に登録されている人物の中で当該追跡対象の顔の人物よりも優先度の高い人物の顔が新たに検出された場合に、前記新たな顔を追跡対象に切り替えることを特徴とする請求項４に記載の撮像装置。
6. 前記複数の管理情報の各々に対応する画像処理の用途を個別に設定する用途設定手段を更に備えることを特徴とする請求項２〜５の何れか一項に記載の撮像装置。
7. 前記複数の管理情報の各々に対応する焦点距離の可変条件を個別に設定する条件設定手段を更に備えることを特徴とする請求項２〜６の何れか一項に記載の撮像装置。
8. 前記所定の切替周期を設定する周期設定手段を更に備えることを特徴とする請求項２〜７の何れか一項に記載の撮像装置。
9. 前記所定の切替周期を、各画像フレーム毎か、或いは、画像フレームを構成する複数の画素からなる所定方向の各ライン毎かを選択して指定する指定手段を備えることを特徴とする請求項２〜８の何れか一項に記載の撮像装置。
10. レンズの焦点距離を変えて撮像する撮像手段と、この撮像手段による撮像において被写体を検出または追跡する際のレンズの焦点距離を管理する管理情報であって、レンズの焦点距離および焦点距離の可変条件を含む管理情報を、複数の異なる画像処理の用途の各々に対応させて複数記憶する管理手段と、を備える撮像装置に、
    前記複数の管理情報の各々により管理されるレンズの焦点距離を、各々の管理情報に対応する焦点距離の可変条件に従って別々に変化させる処理と、
    前記複数の管理情報を所定の切替周期で切り替えながら、前記可変手段によって変化している各管理情報が示す焦点距離に従って、前記撮像手段による撮像の際のレンズの焦点距離を所定の切替周期で切り替える切替処理を繰り返し実行する処理と、
    を実行させることを特徴とする撮像方法。
11. 撮像装置のコンピュータを、
    レンズの焦点距離を変えて撮像する撮像手段と、
    この撮像手段による撮像において被写体を検出または追跡する際のレンズの焦点距離を管理する管理情報であって、レンズの焦点距離および焦点距離の可変条件を含む管理情報を、複数の異なる画像処理の用途の各々に対応させて複数記憶する管理手段と、
    前記複数の管理情報の各々により管理されるレンズの焦点距離を、各々の管理情報に対応する焦点距離の可変条件に従って別々に変化させる可変手段と、
    前記複数の管理情報を所定の切替周期で切り替えながら、前記可変手段によって変化している各管理情報が示す焦点距離に従って、前記撮像手段による撮像の際のレンズの焦点距離を所定の切替周期で切り替える切替処理を繰り返し実行する切替手段と、
    としての機能させることを特徴とするプログラム。

Images