(第1実施形態)
以下、第1実施形態を図面に基づいて説明する。
図1は、本実施形態に係る一眼レフデジタルカメラ1を示すブロック図である。図1に示すように、本実施形態のカメラ1は、カメラ本体100とレンズ鏡筒200とを備え、カメラ本体100とレンズ鏡筒200とは着脱可能に結合される。
レンズ鏡筒200には、レンズ211,212,213、および絞り220を含む撮影光学系が内蔵されている。
フォーカスレンズ212は、レンズ鏡筒200の光軸L1に沿って移動可能に設けられ、エンコーダ260によってその位置が検出されつつ、レンズ駆動モータ230によってその位置が調節される。本実施形態では、フォーカスレンズ212の光軸L1方向の位置は回転筒の回転角に相関するので、エンコーダ260は、レンズ鏡筒200に対する回転筒の相対的な回転角を検出することで、フォーカスレンズ212の位置を求めることができる。
エンコーダ260で検出されたフォーカスレンズ212の現在位置情報は、レンズ制御部250を介して後述するカメラ制御部170へ送出される。そして、この情報に基づいて演算されたフォーカスレンズ212のレンズ駆動量が、レンズ制御部250を介してレンズ駆動モータ230に送出され、このレンズ駆動量に基づいて、レンズ駆動モータ230が駆動される。
絞り220は、上記撮影光学系を通過して、カメラ本体100に備えられた撮像素子110に至る光束の光量を制限するとともにボケ量を調整するために、光軸L1を中心にした開口径が調節可能に構成されている。絞り220による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部170からレンズ制御部250を介して絞り駆動部240に送出されることで、絞り駆動部240により行われる。また、カメラ本体100に設けられた操作部150によるマニュアル操作により、設定された開口径がカメラ制御部170からレンズ制御部250に入力される。絞り220の開口径は図示しない絞り開口センサにより検出され、レンズ制御部250で現在の開口径が認識される。
一方、カメラ本体100は、被写体からの光束を撮像素子110、ファインダ135、測光センサ137および焦点検出部160へ導くためのミラー系120を備える。このミラー系120は、回転軸123を中心にして被写体の観察位置と撮影位置との間で所定角度だけ回転するクイックリターンミラー121と、このクイックリターンミラー121に軸支されてクイックリターンミラー121の回動に合わせて回転するサブミラー122とを備える。図1においては、ミラー系120が被写体の観察位置にある状態を実線で示し、被写体の撮影位置にある状態を二点鎖線で示す。
ミラー系120は、被写体の観察位置にある状態では光軸L1の光路上に挿入される一方で、被写体の撮影位置にある状態では光軸L1の光路から退避するように回転する。
クイックリターンミラー121はハーフミラーで構成され、被写体の観察位置にある状態では、被写体からの光束(光軸L1)の一部の光束(光軸L2,L3)を当該クイックリターンミラー121で反射してファインダ135および測光センサ137へ導き、一部の光束(光軸L4)を透過させてサブミラー122へ導く。これに対して、サブミラー122は全反射ミラーで構成され、クイックリターンミラー121を透過した光束(光軸L4)を焦点検出部160へ導く。
したがって、ミラー系120が観察位置にある場合は、被写体からの光束(光軸L1)はファインダ135、測光センサ137および焦点検出部160へ導かれ、撮影者により被写体が観察されるとともに、露出演算やフォーカスレンズ212の焦点調節状態の検出が実行される。そして、撮影者がレリーズボタン(不図示)を全押しするとミラー系120が撮影位置に回動し、被写体からの光束(光軸L1)は全て撮像素子110へ導かれ、撮影した画像データを図示しないメモリに保存する。
クイックリターンミラー121で反射された被写体からの光束は、撮像素子110と光学的に等価な面に配置された焦点板131に結像し、ペンタプリズム133と接眼レンズ134とを介して観察可能になっている。このとき、透過型液晶表示器132は、焦点板131上の被写体像に焦点検出エリアマークなどを重畳して表示するとともに、被写体像外のエリアにシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。これにより、撮影者は、撮影準備状態において、ファインダ135を通して被写体およびその背景ならびに撮影関連情報などを観察することができる。
また、接眼レンズ134の近傍には、測光用レンズ136と測光センサ137とが設けられ、焦点板131に結像した被写体光の一部を受光する。ここで、図2(A)は、測光センサ137の詳細な構成を示す正面図である。図2(A)に示すように、測光センサ137は、二次元状に配列された複数の画素(光電変換素子)40を備えている。なお、図2(A)に示す例では、横28個×縦21個の画素を例示しているが、画素の数は特に限定されず、たとえば測光センサ137の画素数を横640個×縦480個とすることができる。さらに、各画素40は、図2(B)に示すように、3個の部分40a、40b、40cに分割され、これらの部分にはそれぞれ赤R、緑G、青Bの原色フィルターが設けられている。これにより、測光センサ137は、画素40ごとに、RGB表色系の画像信号を出力することができる。そして、測光センサ137により出力された画像信号は、カメラ制御部170に送信され、自動露出制御や自動追尾動作に用いられることとなる。
図1に戻り、焦点検出部160は、被写体光を用いた位相差検出方式による自動合焦制御を実行するための装置である。焦点検出部160は、サブミラー122で反射した光束(光軸L4)の、撮像素子110の撮像面と光学的に等価な位置に受光面を有しており、フォーカスレンズ212の射出瞳の異なる一対の領域を通る一対の光束を、受光面に設けられた一対のラインセンサ(不図示)で受光することで、一対の像信号を取得する。そして、焦点検出部160は、一対のラインセンサで取得した一対の像信号の位相ずれを、相関演算によって求めることにより、光学系の焦点状態を検出する。
図3は、撮影光学系の撮影画面50内に設定された複数の焦点検出エリアの配置例を示す図である。図3に示すように、本実施形態では、撮影光学系の撮影画面50内に複数の焦点検出エリアAFPが設定されている。また、これらの焦点検出エリアAFPに対応した位置には、一対のラインセンサがそれぞれ備えられており、焦点検出部160は、各焦点検出エリアAFPにおいて一対の像信号を取得する。たとえば、本実施形態では、図3に示すように、7点の焦点検出エリアAFP1〜7が設けられており、それぞれの焦点検出エリアAFP1〜7が撮像素子110の撮像範囲の所定位置に対応している。なお、焦点検出エリアAFPの個数および配置は、図3に示す態様に限定されるものではない。
焦点検出部160は、各焦点検出エリアAFPに対応した一対の像信号を相関演算することで、焦点検出エリアAFPごとに、一対の像信号のずれ量を算出し、算出したずれ量をデフォーカス量に変換する。算出されたデフォーカス量は、カメラ制御部170に送信される。そして、カメラ制御部170は、焦点検出部160から送信されたデフォーカス量に応じてレンズ駆動量を演算し、算出したレンズ駆動量を、レンズ制御部250を介してレンズ駆動モータに送信することで、レンズ駆動モータ230を駆動させ、フォーカスレンズ212の位置を調整する。
また、本実施形態において、撮影者は、ファインダ135を介して、図3に示すように、撮影画面50を観察することができる。また、撮影者は、操作部150を操作することで、撮影画面50に設定された複数の焦点検出エリアAFPの中から、焦点検出を行うための焦点検出エリアAFPを選択することができる。撮影者により焦点検出を行うための焦点検出エリアAFPが選択された場合には、撮影者が選択した焦点検出エリアAFPにおけるデフォーカス量が算出され、このデフォーカス量に基づいてフォーカスレンズ212が駆動される。これにより、撮影者が選択した焦点検出エリアAFPに対応する被写体にピントを合わせることが可能となる。
撮像素子110は、カメラ本体100の、被写体からの光束の光軸L1上であって、レンズ211,212,213を含む撮影光学系の予定焦点面となる位置に設けられ、その前面にシャッター111が設けられている。この撮像素子110は、複数の光電変換素子が二次元に配列されたものであって、二次元CCDイメージセンサ、MOSセンサまたはCIDなどで構成することができる。この撮像素子110で光電変換された電気画像信号は、カメラ制御部170で画像処理されたのち図示しないメモリに保存される。なお、撮影画像を格納するメモリは内蔵型メモリやカード型メモリなどで構成することができる。
操作部150は、シャッターレリーズボタンや撮影者がカメラ1の各種動作モードを設定するための入力スイッチを備えており、オートフォーカスモード/マニュアルフォーカスモードの切換が行えるようになっている。シャッターレリーズボタンのスイッチは、ボタンの半押しでONとなる第1スイッチSW1と、ボタンの全押しでONとなる第2スイッチSW2とを含む。
また、本実施形態において、操作部150は、撮影画面50において、対象とする被写体の位置を追尾する被写体追尾モードと、被写体の追尾を行わない非追尾モードの切換が行えるようになっている。さらに、本実施形態において、操作部150は、追尾の対象となる被写体に相当する画像を事前に登録する事前登録処理に関する入力も行うことができるようになっている。また、操作部150は、図2に示すように、撮影画面50に設定された複数の焦点検出エリアAFPの中から、焦点検出を行うための、あるいは、追尾の対象となる被写体を特定するための焦点検出エリアAFPを選択することが可能となっている。操作部150により入力された情報はカメラ制御部170へと送信される。
また、カメラ本体100には、カメラ制御部170が設けられている。カメラ制御部170はマイクロプロセッサとメモリなどの周辺部品から構成され、レンズ制御部250と電気的に接続され、このレンズ制御部250から、フォーカスレンズ位置などのレンズ情報を受信するとともに、レンズ制御部250へデフォーカス量や絞り制御信号などの情報を送信する。また、カメラ制御部170は、撮像素子110から画像情報を読み出すとともに、必要に応じて所定の情報処理を施し、図示しないメモリに出力する。また、カメラ制御部170は、これらに加えて、撮影画像情報の補正やレンズ鏡筒200の焦点調節状態、絞り調節状態などの検出など、カメラ1全体の制御を司る。
さらに、本実施形態において、カメラ制御部170は、被写体追尾モードが選択されている場合には、撮影画面50において、対象となる被写体に相当する画像(追尾対象)の位置を追尾する追尾動作を実行する。そして、カメラ制御部170は、追尾対象に対応する焦点検出エリアAFPで検出されたデフォーカス量に基づいて、フォーカスレンズ212を駆動させることで、追尾対象の被写体にピントを合わせることができる。
次に、図4,5を参照して、対象とする被写体に相当する画像を第1テンプレート画像として事前に登録する事前登録処理について説明する。図4は、事前登録処理を示すフローチャートであり、図5は、事前登録処理により登録された第1テンプレート画像の一例を示す図である。以下においては、図4に示す事前登録処理において、図5に示すように、撮影者が、複数の焦点検出エリアAFP1〜7の中から、画面中央の焦点検出エリアAFP4を選択することで、焦点検出エリアAFP4を含む画像を、対象とする被写体に相当する画像である第1テンプレート画像として登録する場面を例示して説明する。
まず、ステップS101では、カメラ制御部170により、事前登録処理の実行が撮影者により指示されたか否かの判断が行われる。たとえば、カメラ制御部170は、撮影者が操作部150を介して事前登録処理の実行を指示した場合に、事前登録処理の実行が撮影者により指示されたものと判断することができる。事前登録処理の実行が指示された場合には、ステップS102に進み、一方、事前登録処理の実行が指示されていない場合には、ステップS101で待機する。
ステップS102では、カメラ制御部170により、対象とする被写体の位置が撮影者により選択されたか否かの判断が行われる。たとえば、図5に示す例では、撮影者が、操作部150を介して、図3に示す複数の焦点検出エリアAFP1〜7の中から画面中央の焦点検出エリアAFP4を、対象とする被写体に対応する焦点検出エリアAFPとして選択している。この場合、カメラ制御部170は、撮影者により選択された焦点検出エリアAFP4を、対象とする被写体の位置として判断し、対象とする被写体の位置が撮影者により選択されたと判断する。対象とする被写体の位置が選択された場合には、この位置を基準とした画像を第1テンプレート画像として登録するために、ステップS103に進み、一方、対象とする被写体の位置が選択されていない場合には、対象とする被写体の位置が選択されるまで、ステップS102で待機する。
ステップS103では、カメラ制御部170により、撮影者が対象とする被写体の位置を選択した際の画像全体が初期画像として取得される。たとえば、カメラ制御部170は、測光センサ137からRGB表色系の画像を繰り返し取得しており、撮影者が対象とする被写体の位置が選択された際に測光センサ137から取得された画像を、初期画像として取得する。
ステップS104では、カメラ制御部170により、ステップS103で取得された初期画像から、撮影者が選択した被写体の位置を含む所定の大きさの画像が抽出され、第1テンプレート画像として取得される。たとえば、図5に示す例では、撮影者により画面中央の焦点検出エリアAFP4が、対象とする被写体の位置として選択されているため、カメラ制御部170は、図5に示すように、画面中央の焦点検出エリアAFP4を含む所定範囲の画像を第1テンプレート画像として取得する。なお、カメラ制御部170は、たとえば、初期画像の画素数が640×480である場合には、撮影者が設定した登録位置(焦点検出エリアAFP)を中心とした画素数80×60の画像を、第1テンプレート画像として取得することができる。
また、本実施形態において、カメラ制御部170は、撮影者が選択した被写体の位置において、被写体にピントが合っていない場合でも、撮影者が選択した被写体の位置を含む画像を、第1テンプレート画像として登録する。
さらに、本実施形態において、カメラ制御部170は、第1テンプレート画像の画像情報の取得も行う。具体的には、カメラ制御部170は、下記式(1)〜(3)に基づいて、第1テンプレート画像の各画素の色情報RG[x,y], BG[x,y]と、輝度情報L[x,y]を、第1テンプレート画像の画像情報として取得する。
RG[x,y]=Log2(R[x,y])−Log2(G[x,y]) ・・・(1)
BG[x,y]=Log2(B[x,y])−Log2(G[x,y]) ・・・(2)
L[x,y]=Log2(Kr×R[x,y]+Kg×G[x,y]+Kb×B[x,y])−Log2(T)−Log2(G) ・・・(3)
なお、上記式(1)において、RG[x,y], BG[x,y]はそれぞれ座標位置(x,y)の画素の色の偏りを示す値であり、L[x,y]は座標位置(x,y)の画素の輝度を示す値である。また、R[x,y]は座標位置(x、y)のR画素の画素値であり、G[x,y]は座標位置(x、y)のG画素の画素値であり、B[x,y]は座標位置(x、y)のB画素の画素値である。さらに、Tは露光時間、Gはゲイン、Kr,Kg,Kbは色合成係数である。
ステップS105では、カメラ制御部170により、ステップS104で取得された第1テンプレート画像が、カメラ制御部170のメモリに記憶される。これにより、図4に示す第1テンプレート画像の事前登録処理が終了する。
次に、図6を参照して、カメラ1の動作について説明する。図6は本実施形態に係るカメラ1の動作を示すフローチャートである。なお、以下においては、被写体追尾モードが設定さている場合のカメラ1の動作について説明する。
まず、ステップS201では、カメラ制御部170により、シャッターレリーズボタンが半押し(第1スイッチSW1がオン)されたか否かの判断が行われる。シャッターレリーズボタンが半押しされた場合は、撮影者により追尾動作の開始が指示されたものと判断し、追尾動作を実行するために、ステップS202に進む。一方、シャッターレリーズボタンが半押しされていない場合は、ステップS201で待機する。
ステップS202では、カメラ制御部170により、追尾対象画像の取得が行われる。具体的には、カメラ制御部170は、測光センサ137から画像信号を繰り返し取得しており、測光センサ137により出力された最新の画像を、追尾対象である被写体を探索するための追尾対象画像として取得する。なお、測光センサ137により出力される画像はRGB表色系で表されるため、追尾対象画像における各画素の値はRGB表色系で表されることとなる。
ステップS203では、カメラ制御部170により、第1テンプレート画像または後述する第2テンプレート画像を取得しているか否かの判断が行われる。たとえば、図4に示す事前登録処理が既に行われており、第1テンプレート画像が取得されている場合には、第1テンプレート画像が取得されていると判断されて、ステップS205に進む。また、後述するステップS204において、第2テンプレート画像が取得された場合には、第2テンプレート画像が取得されていると判断されて、ステップS205に進む。一方、第1テンプレート画像も第2テンプレート画像も取得されていない場合には、ステップS204に進む。なお、図4に示す事前登録処理が行われておらず、また、追尾動作が開始された直後においては、第1テンプレート画像も第2テンプレート画像も取得されていないため、ステップS204に進むこととなる。
ステップS204では、カメラ制御部170により、第2テンプレート画像の取得が行われる。たとえば、カメラ制御部170は、ステップS104で第1テンプレート画像を取得した場合と同様の方法で、第2テンプレート画像を取得することができる。すなわち、撮影者が、操作部150を介して、撮影画面50内に設定された複数の焦点検出エリアAFPのうち、対象とする被写体に相当する位置の焦点検出エリアAFPを選択することで、選択した焦点検出エリアAFPを含む画像領域を、第2テンプレート画像として取得することができる。また、カメラ制御部170は、上記式(1)〜(3)に基づいて、第2テンプレート画像の色情報および輝度情報を、第2テンプレート画像の画像情報として取得することができる。
ただし、第2テンプレート画像を取得する場合には、第1テンプレート画像を取得する場合とは異なり、カメラ制御部170は、撮影者に選択された焦点検出エリアAFPにおいて焦点検出を行い、この焦点検出結果に基づいて光学系の焦点状態を調節し、撮影者に選択された焦点検出エリアAFPにおける被写体にピントを合わせた後に、この被写体に相当する画像を第2テンプレート画像として取得する。
すなわち、本実施形態においては、第1テンプレート画像を取得する場合には、第1テンプレート画像に対応する被写体にピントが合っているか否かにかかわずに、そのまま第1テンプレート画像を取得し、第2テンプレート画像を取得する場合には、第2テンプレート画像に対応する被写体にピントを合わせた後に、ピントを合わせた被写体に相当する画像を第2テンプレート画像として取得する。
ステップS205では、カメラ制御部170により、第1テンプレート画像が登録されているか否かの判断が行われる。撮影者が図4に示す事前登録処理を行い、第1テンプレート画像が事前に登録されている場合には、第1テンプレート画像を用いて追尾対象を追尾するために、ステップS206に進み、一方、第1テンプレート画像が事前に登録されていない場合には、第2テンプレート画像を用いて追尾対象を追尾するために、ステップS207に進む。
ステップS206では、カメラ制御部170により、追尾が開始された直後であるか否かの判断が行われる。本実施形態では、ステップS201でシャッターレリーズボタンが半押しされることで追尾動作が開始し、その後、シャッターレリーズボタンが半押しされている間、ステップS202〜S215の処理を繰り返して、追尾対象を繰り返し探索する追尾動作が継続される。カメラ制御部170は、このように追尾対象を繰り返し探索する追尾動作のうち、ステップS201で追尾動作を開始した後、最初に追尾対象を探索する場合に(すなわち、最初にこのステップS206の処理を行う場合に)、追尾開始直後であると判断する。そして、追尾開始直後であると判断された場合には、ステップS208に進み、一方、追尾開始直後ではないと判断された場合には、ステップS207に進む。
ステップS207では、カメラ制御部170により、追尾対象を探索するための探索範囲として第1探索範囲が設定される。ここで、ステップS207では、追尾開始直後ではないと判断されているため、追尾対象は、前回探索時に検出された追尾対象の位置付近に存在すると考えられる。そのため、第1探索範囲として、図7に示すように、前回探索時の追尾対象の位置を基準として追尾対象を探索するために十分な広さの範囲を設定することができる。また、第2テンプレート画像が設定されている場合も、撮影者が設定した第2テンプレート画像の位置付近に追尾対象が存在すると考えられるため、同様に、第1探索範囲として、図7に示すように、第2テンプレート画像の位置を基準として追尾対象を探索するために十分な広さの範囲を設定すればよい。なお、図7は、第1探索範囲の一例を示す図である。
一方、ステップS205において第1テンプレート画像が事前に登録されていると判断され、かつ、ステップS206において追尾開始直後であると判断された場合には、ステップS208に進む。ステップS208では、カメラ制御部170により、第1探索範囲よりも広い第2探索範囲が、追尾対象を探索するための探索範囲として設定される。たとえば、カメラ制御部170は、図8に示すように、第1探索範囲よりも広い範囲であり、かつ、撮影画面50内に設定された全ての焦点検出エリアAFPを含む範囲を、第2探索範囲として設定することができる。また、カメラ制御部170は、撮影画面50の全域を含む範囲を第2探索範囲として設定することができる。
ステップS209では、カメラ制御部170により、対象とする被写体に相当する画像を追尾対象領域として検出する処理が行われる。具体的には、カメラ制御部170は、ステップS207で設定された第1探索範囲、または、ステップS208で設定された第2探索範囲内の画像と、第1テンプレート画像または第2テンプレート画像との相関関係を演算し、この相関演算の結果、第1テンプレート画像または第2テンプレート画像に類似する第1探索範囲または第2探索範囲内の画像を、追尾対象領域として検出する。
たとえば、第1テンプレート画像が事前に登録されており、探索範囲として第2探索範囲が設定されている場合には、カメラ制御部170は、第2探索範囲内から第1テンプレート画像と同じ大きさの画像を順次切り出す。たとえば、第1テンプレート画像の画素数が80×60である場合、カメラ制御部170は、第2探索範囲内から画素数80×60の画像を順次切り出す。また、カメラ制御部170は、第2探索範囲内の画素を画素数8×8でブロック化しており、第2探索範囲から切り出す画像の位置を、このブロック間隔でずらしていくことで、第2探索範囲の複数の位置から複数の画像を切り出す。
そして、カメラ制御部170は、第1探索範囲または第2探索範囲から切り出した画像と、第1テンプレート画像または第2テンプレート画像との相関をそれぞれ演算する。具体的には、カメラ制御部170は、第1探索範囲または第2探索範囲から切り出した画像の画像情報と、第1テンプレート画像または第2テンプレート画像の画像情報との差分Diff[sx,sy]を、第1探索範囲または第2探索範囲から切り出した画像と、第1テンプレート画像または第2テンプレート画像との相関値として算出する。
具体的には、カメラ制御部170は、下記式(4)に基づいて、第1探索範囲または第2探索範囲から切り出した画像の画像情報と第1テンプレート画像または第2テンプレート画像の画像情報との差分Diffを算出する。
なお、上記式(1)においては、第1探索範囲または第2探索範囲の始点位置(たとえば一番右上の画素位置)をx,yとしており、第1探索範囲または第2探索範囲の始点位置から所定のずれ量(sx,sy)だけシフトした位置で切り出した、第1探索範囲または第2探索範囲内の切り出し画像の始点位置をsx+x,sy+yで表している。そして、第1探索範囲または第2探索範囲から切り出した画像の各画素(i+sx+x,j+sy+y)における色情報RG[i+sx+x,j+sy+y],BG[i+sx+x,j+sy+y]および輝度情報L[i+sx+x,j+sy+y]と、それに対応する第1テンプレート画像または第2テンプレート画像の画素(i,j)の色情報Ref[RG,i,j],Ref[BG,i,j]および輝度情報Ref[L,i,j]との差を総和することで、差分Diffを算出している。
たとえば、第1テンプレート画像が事前に登録されており、探索範囲として第2探索範囲が設定されている場合には、カメラ制御部170は、第2探索範囲から1ブロック単位で順次切り出した画像と第1テンプレート画像とを順次比較し、それぞれの切り出し画像について差分Diffを算出する。そして、カメラ制御部170は、複数の切り出し画像について算出した差分Diffのうち、最も小さい差分Diffを最小差分値Diff_minとして算出する。
そして、カメラ制御部170は、最小差分値Diff_minが所定の類似判定閾値以下となるか否かを判断し、最小差分値Diff_minが所定の類似判定閾値以下である場合には、最小差分値Diff_minが得られた切り出し画像に対応する画像領域を、追尾対象領域として検出する。なお、最小差分値Diff_minが所定の類似判定閾値よりも大きい場合には、追尾対象に対応する追尾対象領域が検出できないものと判断し、再度、追尾対象の探索を行うことができる。
ステップS210では、焦点検出部160により、光学系の焦点状態を検出する焦点検出処理が行われる。具体的には、焦点検出部160は、ステップS209で検出された追尾対象領域内の焦点検出エリアAFPに対応するラインセンサから一対の像信号を読み出し、読み出した一対の像信号の相関関係を演算することで、追尾対象が存在する焦点検出エリアAFPにおける像のずれ量をデフォーカス量として算出する。
ステップS211では、カメラ制御部170により、ステップS211で算出されたデフォーカス量に基づいて、フォーカスレンズ212の駆動制御が行われる。具体的には、カメラ制御部170は、ステップS210で算出されたデフォーカス量に基づいてレンズ駆動量を算出し、算出したレンズ駆動量をレンズ制御部250を介してレンズ駆動モータ230に送信する。これにより、レンズ駆動モータ230は、受信したレンズ駆動量に基づいてフォーカスレンズ212を合焦位置まで駆動させる。
ステップS212では、カメラ制御部170により、シャッターレリーズボタンの全押し(第2スイッチSW2のオン)が行われたか否かの判断が行なわれる。第2スイッチSW2がオンされた場合には、ステップS213に進み、被写体像の撮影が行なわれた後に、ステップS214に進む。一方、第2スイッチSW2がオンされない場合には、画像を撮影することなく、ステップS214に進む。
ステップS214では、カメラ制御部170により、第1テンプレート画像または第2テンプレート画像の更新処理が行われる。具体的には、カメラ制御部170は、まず、ステップS209で算出された最小差分値Diff_minと所定の更新判定閾値Dthとを比較し、最小差分値Diff_minが所定の更新判定閾値Dth以下であるか否かを判断する。そして、カメラ制御部170は、最小差分値Diff_minが更新判定閾値Dth以下である場合には、追尾対象領域と第1テンプレート画像または第2テンプレート画像とは類似するものと判断し、第1テンプレート画像または第2テンプレート画像の更新を行う。
第1テンプレート画像または第2テンプレート画像の更新方法は、特に限定されないが、たとえば、カメラ制御部170は、元の第1テンプレート画像または第2テンプレート画像の画像情報に、新たに設定された追尾対象領域の画像情報を加えることで、第1テンプレート画像または第2テンプレート画像を更新する。一例として、カメラ制御部170は、元の第1テンプレート画像の画像情報の80%に、新たな追尾対象領域の画像情報の20%を加えて、新しい第1テンプレート画像を生成することができる。この場合、更新処理の演算は、下記式(5)〜(7)のように表すことができる。
RGref[rx,ry]=0.8×RGref[rx,ry]+0.2×RG[x,y] ・・・(5)
BGref[rx,ry]=0.8×BGref[rx,ry]+0.2×BG[x,y] ・・・(6)
Lref[rx,ry]=0.8×Lref[rx,ry]+0.2×L[x,y] ・・・(7)
なお、上記式(5)〜(7)において、RGref[rx,ry]、BGref[rx,ry]は第1テンプレート画像または第2テンプレート画像の画素位置(rx,ry)における画素の色情報であり、Lref[rx,ry] は第1テンプレート画像または第2テンプレート画像の画素位置(rx,ry)における画素の輝度情報である。また、RG[x,y]、BG[x,y]は追尾対象領域の画素位置(x,y)における画素の色情報であり、L[x,y] は追尾対象領域の画素位置(x,y)における画素の輝度情報である。
なお、第1テンプレート画像または第2テンプレート画像を更新する際に、カメラ制御部170は、更新前の第1テンプレート画像または第2テンプレート画像を複製などにより2つ用意しておき、一方の第1テンプレート画像または第2テンプレート画像を更新し、他方の第1テンプレート画像または第2テンプレート画像はそのままメモリに記憶しておく。これにより、後述するステップS217において、更新前の第1テンプレート画像または第2テンプレート画像を取得することが可能となる。
また、次回処理において第1テンプレート画像または第2テンプレート画像を更新する場合には、前回処理において更新した第1テンプレート画像または第2テンプレート画像を更新する。これにより、本実施形態では、対象とする被写体の像が変化していく場合でも、対象とする被写体を適切に追尾することができる。
さらに、更新判定閾値Dthは、特に限定されず、実験により適宜設定することができ、通常の撮影シーンにおいて画像の類似判定を適切に行うことができる値に設定される。
ステップS215では、カメラ制御部170により、シャッターレリーズボタンの半押しが解除(第1スイッチSW1がオフ)されたか否かの判断が行われる。シャッターレリーズボタンの半押しが解除されていない場合は、ステップS202に戻り、追尾対象の追尾が繰り返し行われる。一方、シャッターレリーズボタンの半押しが解除された場合には、ステップS216に進む。
ステップS216では、カメラ制御部170により、撮影者が電源のオフを指示したか否かの判断が行われる。撮影者が電源のオフを指示していない場合には、ステップS217に進み、カメラ制御部170により、更新前の第1テンプレート画像または第2テンプレート画像が再取得される。このように、本実施形態では、シャッターレリーズボタンの半押しが解除され、追尾対象の追尾が一旦終了した場合には、更新前の第1テンプレート画像または第2テンプレート画像を再取得することで、次に追尾対象の追尾を再度開始する場合に、今までに更新した第1テンプレート画像または第2テンプレート画像ではなく、更新前の第1テンプレート画像または第2テンプレート画像を用いて追尾対象の追尾を行うことが可能となる。
一方、ステップS216において、撮影者が電源のオフを指示したと判断された場合には、ステップS218に進む。ステップS218では、カメラ制御部170により、メモリに記憶されている第1テンプレート画像または第2テンプレート画像の消去が行われる。このように、本実施形態では、電源がオフされるまでは、一度登録した第1テンプレート画像または第2テンプレート画像を用いて追尾対象の追尾が繰り返し行われ、電源がオフにされることで、第1テンプレート画像または第2テンプレート画像がメモリから消去される。
なお、上述したように、シャッターレリーズボタンの半押しが解除されるまでは、ステップS202〜S214の処理が繰り返し行われることとなる。このように、ステップS202〜S214の処理を繰り返す場合には、ステップS203において、第1テンプレート画像または第2テンプレート画像が取得されていると判断され、ステップS205に進むこととなる。また、第1テンプレート画像が登録されている場合でも、ステップS206においては追尾開始直後ではないと判断され、ステップS207に進み、探索範囲が第1探索範囲に設定されることとなる。すなわち、第1テンプレート画像が登録されている場合では、追尾開始後の1回目の探索においては探索範囲が第2探索範囲に設定され、2回目以降の探索においては探索範囲が第1探索範囲に設定される。これにより、2回目以降の探索においては、1回目の探索で探索された追尾対象領域の周辺のみを探索することで、追尾対象の探索にかかる時間を短縮することができる。
以上のように、本実施形態では、対象とする被写体にピントが合っているか否かに拘わらず、対象とする被写体に相当する画像を第1テンプレート画像として事前に登録することができるため、被写体が激しく動いているために、被写体にピントが合わせることが困難な場合でも、対象とする被写体の色情報および輝度情報から対象とする被写体の位置を特定し、対象とする被写体の位置を追尾対象として適切に追尾することができる。
また、本実施形態では、第1テンプレート画像が事前に登録されており、かつ、追尾開始直後であると判断された場合には、追尾対象を探索する探索範囲を、第1探索範囲よりも広い第2探索範囲に設定する。これにより、追尾対象の位置の予測が困難な追尾開始直後において、動きの激しい被写体や撮影範囲内に突然に入った被写体などを、撮影画面50の全体で探索することが可能となる。
さらに、本実施形態では、事前に登録された第1テンプレート画像が、カメラ1の電源がオフされるまでメモリに保持されるため、追尾対象の追尾を一旦終了した後に、追尾対象の追尾を再開する場合に、第1テンプレート画像を再度登録する手間を省くことができる。また、本実施形態では、カメラ1の電源がオフにされた場合に、第1テンプレート画像がメモリから消去されるため、撮影者が、次回、電源をオンにして撮影を再開する場合に、被写体が大きく変化している可能性が高いにも関わらず、撮影者の意図に反して、前回撮影時に第1テンプレート画像として登録した被写体を探索してしまうことを有効に防止することができる。さらに、本実施形態では、カメラ1が省電力モード(スタンバイ状態)となっただけでは、第1テンプレート画像はメモリから消去されないため、被写体が大きく変化している可能性が低い場合に、撮影者が、再度、対象とする被写体を事前登録する手間を省くことができる。
また、本実施形態では、対象となる被写体に相当する1つの画像をのみを第1テンプレート画像として登録することで、撮影者が撮影時に対象とする被写体を選択する手間を省くことができ、対象とする被写体を迅速に追尾することが可能となる。すなわち、仮に、事前登録において2以上の被写体を登録してしまうと、撮影画面50に登録した2以上の被写体が存在する場合に、撮影者は、どの被写体にピントを合わせるかを指定する必要があり、被写体を迅速に追尾できない場合がある。これに対して、本実施形態では、対象となる被写体に相当する1の画像のみを第1テンプレート画像として登録することで、撮影時に、撮影者が対象とする被写体を選択する手間を省くことができ、対象とする被写体を迅速に追尾することができる。
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した実施形態では、カメラ1の電源がオフとなるまで、事前に登録された第1テンプレート画像がメモリに保持され、カメラ1の電源がオフにされた場合に第1テンプレート画像をメモリから消去する構成を例示したが、この構成に限定されず、たとえば、第1テンプレート画像が新たに登録されるまで、あるいは、現在登録されている第1テンプレート画像の登録がキャンセルされるまでは、第1テンプレート画像をメモリに保持し、一方、第1テンプレート画像が新たに登録された場合、あるいは、現在登録されている第1テンプレート画像の登録がキャンセルされた場合に、第1テンプレート画像をメモリから消去する構成としてもよい。なお、第1テンプレート画像の登録のキャンセルも操作部150を介して行うことができる。
また、上述した実施形態では、第1テンプレート画像または第2テンプレート画像の色情報および輝度情報に基づいて、追尾対象領域を検出する構成を例示したが、この構成に限定されず、たとえば、第1テンプレート画像または第2テンプレート画像内の被写体のパターン(形状)に基づいて、第1探索範囲または第2探索範囲から追尾対象領域を検出する構成としてもよい。
さらに、上述した実施形態では、第1テンプレート画像を事前登録する場合に、撮影者が選択した焦点検出エリアAFPを含む所定の大きさの画像を第1テンプレート画像として登録する構成を例示したが、この構成に限定されず、たとえば、撮影者が選択した焦点検出エリアAFPにおける色情報に基づいて、撮影者が選択した焦点検出エリアAFPと同じ(または類似する)色のエリアまでを第1テンプレート画像として登録する構成としてもよい。また、撮影者が選択した焦点検出エリアAFPにおけるレンズの距離情報に基づいて、第1テンプレート画像の大きさを決定する構成としてもよい。
また、上述した実施形態においては、第1探索範囲を設定する場合に、前回処理時の追尾対象領域を含む所定の大きさの画像範囲を、第1探索範囲として設定する構成としてもよいし、あるいは、第1テンプレート画像または第2テンプレート画像と追尾対象領域との相関度が高い場合には、追尾対象が移動している範囲は小さいものと判断されるため、第1探索範囲を比較的小さい範囲に設定する構成としてもよい。さらに、追尾対象が比較的大きい場合には、第1探索範囲を比較的大きい範囲に設定する構成としてもよい。
さらに、上述した実施形態では、元の第1テンプレート画像または第2テンプレート画像の画像情報に、一定量の追尾対象領域の画像情報を加えることで、第1テンプレート画像または第2テンプレート画像を更新する構成を例示したが、この構成に限定されず、たとえば以下のように、第1テンプレート画像を更新する構成としてもよい。
すなわち、最小差分値Diff_minの大きさに応じて、第1テンプレート画像または第2テンプレート画像を更新する構成とすることができる。たとえば、最小差分値Diff_minが大きく、追尾対象領域と第1テンプレート画像または第2テンプレート画像とが類似しないほど、追尾対象領域の画像情報を加える量を小さくする構成とすることができる。たとえば、最小差分値Diff_minが小さく、追尾対象領域と第1テンプレート画像とが類似する場合には、元の第1テンプレート画像の画像情報の80%に、新たな追尾対象領域の画像情報の20%を加えて、第1テンプレート画像を更新し、一方、最小差分値Diff_minが大きく、追尾対象領域と第1テンプレート画像とが類似しない場合には、元の第1テンプレート画像の画像情報の90%に、新たな追尾対象領域の画像情報の10%を加えて、第1テンプレート画像を更新する構成とすることができる。
加えて、上述した実施形態では、第1テンプレート画像を用いた追尾対象の追尾、または、第2テンプレート画像を用いた追尾対象の追尾のうち一方のみを行う構成を例示したが、この構成に限定されず、たとえば、第1テンプレート画像を用いた追尾対象の追尾と、第2テンプレート画像を用いた追尾対象の追尾とを並行して実行する構成としてもよい。この場合、第1テンプレート画像を用いて追尾された追尾対象の位置、または、第2テンプレート画像を用いて追尾された追尾対象の位置の焦点状態に基づいて焦点調節を行うことができ、また、第1テンプレート画像を用いて追尾された追尾対象の位置、または、第2テンプレート画像を用いて追尾された追尾対象の位置における光に基づいて露出制御を行うことができる。また、上述した焦点検出部160は、いわゆるコントラストAFによる自動合焦制御を実行するための装置であってもよい。
(第2実施形態)
以下、図9を用いて第2実施形態を説明する。上述した第1実施形態と同様の構成については重複した説明は省略する。
本実施形態において、撮影者は操作部150(図1参照)をマニュアル操作することにより、「周辺サポートなし」、及び、「周辺サポートあり」の少なくとも1つを設定することができる。設定された情報(「周辺サポートなし」、及び、「周辺サポートあり」の少なくとも1つ)は図示しないメモリに記憶される。
撮影者により「周辺サポートなし」が設定されている場合において、追尾対象の位置が撮影者により選択されると、カメラ制御部170は撮影者により選択された位置を中心として、図9に示す第1範囲61を設定する。例えば、撮影者は、追尾対象の位置として複数の焦点検出エリア63(図9に示す例では31の焦点検出エリア63がある。)の中から少なくとも1つを選択できる。
カメラ制御部170は、第1範囲61の中からテンプレート画像を選択する。テンプレート画像を用いた追尾制御については、上述した第1実施形態と同様であるため詳細な説明は省略する。
撮影者により「周辺サポートあり」が選択されているとき、カメラ制御部170は、撮影者により選択された位置を中心として、図9に示す第2範囲62を設定する。第1範囲61は、例えば、図9に示すように、少なくとも1つのAFエリアを含む範囲に設定できる。第2範囲62は、第1範囲61よりも広い範囲に設定できる。例えば、第2範囲62は、2つ以上のAFエリアを含む範囲に設定できる。
本実施形態によれば、撮影者が「周辺サポートなし」、及び、「周辺サポートあり」の少なくとも一方を設定できるので、撮影シーン応じてカメラ制御部170が好適なテンプレート画像を選択することが可能になる。例えば、追尾対象の動きが大きい場合は、撮影者が「周辺サポートあり」を選択することにより、カメラ制御部170が好適に追尾対象のテンプレート画像を選択することが可能となる。追尾対象の動きが小さい場合は、撮影者が「周辺サポートなし」を選択することにより、カメラ制御部170が撮影者が選択した領域のテンプレート画像を確実に選択できる。
(第3実施形態)
以下、第3実施形態を説明する。上述した第1実施形態及び第2実施形態と同様の構成については重複した説明は省略する。
本実施形態において、撮影者は操作部150(図1参照)をマニュアル操作することにより、「被写体距離優先追尾」、「顔優先追尾」、及び、「色優先追尾」の少なくとも一つを設定することができる。設定された情報(「被写体距離優先追尾」、「顔優先追尾」、及び、「色優先追尾」の少なくとも1つ)は図示しないメモリに記憶される。
撮影者により「被写体距離優先追尾」が設定されている場合において、追尾対象の位置が撮影者により選択されると、カメラ制御部170は撮影者により選択された位置を中心とした撮影画面50内の所定範囲から被写体距離又は撮影距離に応じて選択された領域の画像をテンプレート画像として選択する。具体的には、例えば、最も至近側に位置する被写体の領域(撮影者又はカメラに最も近い位置にいる被写体の領域)を選択してもよいし、現在のフォーカスレンズ位置に対応する被写体距離に最も近い被写体距離となる被写体の領域を選択してもよい。
撮影者により「顔優先追尾」が設定されている場合、カメラ制御部170は、撮影画面50内の所定範囲に「顔」が検出されたとき、検出された「顔」の少なくとも一部を含む画像をテンプレート画像として選択し、撮影画面に「顔」が検出されないときは撮影者に選択された位置周辺から被写体距離情報または色情報により被写体と推定される位置を含む領域をテンプレート画像として選択する。
撮影者により「色優先追尾」が設定されている場合、カメラ制御部170は撮影者に選択された位置周辺から色情報により被写体と推定される位置を含む領域をテンプレート画像として選択する。具体的には、例えば、撮影者に選択された位置の色を含む領域を被写体として選択してもよいし、色情報により肌色の領域を被写体の領域として選択してもよい。
本実施形態において、カメラ制御部170は、撮影者が設定した設定(「顔優先追尾」、「被写体距離優先追尾」、又は、「色優先追尾」)に応じて、撮影画面50全体からテンプレート画像を選択してもよいし、撮影画面50内の所定範囲からテンプレート画像を選択してもよい。
(第4実施形態)
以下、図10を用いて第4実施形態を説明する。上述した第1実施形態乃至第3実施形態と同様の構成については重複した説明は省略する。
本実施形態において、撮影者は操作部150(図1参照)をマニュアル操作することにより、撮影画面50内の所定範囲の画像から「顔検出する」又は「顔検出しない」の何れかを設定できる。撮影者が「顔検出する」を設定したとき、カメラ制御部170は、撮影画面50内の所定範囲の画像から検出された「顔」の画像又は「顔」の位置を用いて撮影制御(例えば、AF制御、露出制御、追尾制御などを含む)を行う。撮影者が「顔検出しない」を設定したとき、カメラ制御部170は、検出された「顔」の画像又は「顔」の位置を用いて撮影制御を行わない。
また、カメラ制御部170は、撮影者が設定した「顔検出する」又は「顔検出しない」の設定、及び、撮影者が設定した「周辺サポートなし」又は「周辺サポートあり」の設定に基づいて、「顔優先追尾」、「被写体距離優先追尾」、及び、「色優先追尾」の少なくとも1つを選択することができる。
例えば、図10に示すように、撮影者が「顔検出する」及び「周辺サポートなし」に設定したとき、カメラ制御部170は、図9に示す第1範囲61から「顔優先追尾」によりテンプレート画像を選択する。撮影者が「顔検出する」及び「周辺サポートあり」に設定したとき、カメラ制御部170は、「顔優先追尾」により図9に示す第2範囲62からテンプレート画像を選択する。撮影者に「顔検出する」が設定されているので、「顔」の画像がテンプレート画像として選択され易くするためである。また、撮影者の選択により第1範囲61又は第2範囲62からテンプレート画像を選択することにより、テンプレート画像の選択に撮影者の意図を反映し易くするためである。
撮影者が「顔検出しない」及び「周辺サポートなし」に設定したとき、カメラ制御部170は、図9に示す第1範囲61から「色優先追尾」によりテンプレート画像を選択する。撮影者に選択された追尾対象の位置を含む領域をテンプレート画像として選択することで、テンプレート画像の選択に撮影者の意図を反映し易くするためである。
撮影者が「顔検出しない」及び「周辺サポートあり」に設定したとき、カメラ制御部170は、図9に示す第2範囲62から「被写体距離優先追尾」によりテンプレート画像を選択する。第1範囲61よりも広い第2範囲62が設定されている場合でも、被写体距離又は撮影距離を用いることにより、好適にテンプレート画像を選択できるからである。
なお、本実施形態に係るカメラ1は、特に限定されず、例えば、一眼ミラーレスデジタルカメラ、デジタルコンパクトカメラ、デジタルビデオカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。