JP5981898B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関する。

例えば光学ファインダーを有するカメラでは、撮影の利便性のため、オートフォーカス（以下ＡＦ）による合焦位置など様々な情報を光学ファインダー像に重畳表示するものがある。

一方、自動露出制御（以下ＡＥ）を行うための情報を光学ファインダー像から取得するカメラがある。特許文献１には、光学ファインダー像を受光するＡＥセンサ（測光センサ）を用いて取得した、光学ファインダー像の領域ごとの光電変換出力に基づいて露出値を決定するカメラが記載されている。

特開平８−２４０８３５号公報

特許文献１にも記載されているように、光学ファインダー像に他の情報を重畳表示する構成では、光学ファインダー像を受光するＡＥセンサの測光結果が重畳表示の影響を受ける。そのため、特許文献１では、重畳表示された測距枠の位置に応じて、ＡＥセンサで得られる領域ごとの測光結果を補正することで、測光結果における測距枠表示の影響を補正している。

複数の画素が二次元配置された撮像素子をＡＥセンサとして用いることで、測光する領域の位置、大きさ、形状の自由度が高まるほか、撮像画像を被写体の検出や追尾など、測光以外の用途に利用することが可能である。例えば主被写体の領域を検出することで、主被写体の領域を考慮した露出量の決定を容易にすることができる。しかし、ＡＥセンサで得られる撮像画像が、光学ファインダー像に重畳表示された情報を含んでいる場合、重畳表示された情報で隠された部分の情報が不足したり、重畳表示された情報の影響を受けたりして、撮像画像から得られる情報の精度が低下する。

特許文献１では測距枠表示が領域ごとの明るさに与える影響を補正することはできるが、測距枠表示が被写体検出や被写体追尾といった画素単位の情報を利用する処理に与える影響を補正することはできない。

本発明はこのような従来技術の課題に鑑みなされたものであり、表示装置が表示した情報が光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減することを目的とする。

上述の目的は、表示装置が表示した情報が重畳された画像を取得する取得手段と、取得手段によって取得された第１画像の所定領域に含まれる画素のうち、情報の表示色を有する画素を除外した画素の情報を用いて、テンプレート画像を生成する生成手段と、第１画像の後に取得された第２画像に対し、テンプレート画像を用いてテンプレートマッチングを行うことにより被写体検出を行う処理手段と、を備えることを特徴とする撮像装置によって達成される。

本発明によれば、表示装置が表示した情報が光学ファインダー像に重畳した画像を用いた処理が可能な撮像装置およびその制御方法において、画像に含まれる重畳情報の影響を低減することができる。

実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラの側断面図 実施形態に係るデジタル一眼レフカメラの機能構成例を示すブロック図 実施形態に係るデジタル一眼レフカメラの測距点配置および撮像範囲の例を示す図 図２のＡＦ制御部、システム制御部、およびＡＥ制御部の処理手順と相互関係を説明するための図 実施形態に係るデジタル一眼レフカメラにおけるテンプレート画像生成処理および被写体追尾処理の手順を示すフローチャート （ａ）は実施形態における追尾対象の特徴色抽出に用いられるＲＧＢ色空間を模式的に示す図、（ｂ）は実施形態におけるルックアップテーブルに登録された特徴色のブロックと、除外ブロックの例を示す図

以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラ（ＤＳＬＲ）の主要な構成部品の配置例を示す側断面図である。ＤＳＬＲは、本体２０１と本体２０１の前面に装着される撮影レンズ２０２を有する。撮影レンズ２０２は交換可能であり、また本体２０１と撮影レンズ２０２は、不図示のレンズマウントにより機械的および電気的に接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞り２１４がある。フォーカシングレンズ２１３と絞り２１４はレンズマウント接点群２１５を介した、本体２０１による電気的な制御に従って動作し、撮影レンズ２０２の焦点や撮影レンズ２０２から入射する光量を調整する。

メインミラー２０３はハーフミラーであり、背面にはサブミラー２０４が設けられている。図示した、ミラーアップされていない状態では、撮影レンズ２０２からの光束の一部を反射して上方のファインダー光学系へ入射させ、透過光をサブミラー２０４で反射して下方のＡＦユニット２０５へ入射させる。露光時などミラーアップされた状態では、光路から退避する。

ＡＦユニット２０５は位相差検出方式のＡＦセンサである。撮影レンズ２０２の二次結像面を、ＡＦユニット２０５が有する焦点検出ラインセンサ上に形成することによって、撮影レンズ２０２のデフォーカス量と焦点方向を検出し、検出結果をもとにフォーカシングレンズ２１３を駆動して自動焦点調節を行う。位相差検出方式による合焦制御については公知であり、ＡＦユニット２０５には公知の構成を適用可能であるため、ＡＦユニット２０５の詳細な構成や合焦制御についての説明は省略する。本実施形態のＡＦユニット２０５では６１個の測距点（焦点検出領域またはＡＦ枠とも呼ばれる）が図３に示すようにレイアウトされているものとする。

ピント板２０６はファインダー光学系としての撮影レンズ２０２の予定結像面に配置された半透明の板状部材である。また、撮影レンズ２０２の予定結像面もしくはその近傍にはさらにファインダー表示素子２２０が配置されている。ファインダー表示素子２２０はたとえば透過型の液晶ディスプレイであり、図３に示される測距点の枠などの情報を表示する。ユーザは、アイピース２０９からファインダー光路変更用のペンタプリズム２０７を通じてピント板２０６を観察することにより、撮影される視野の光学像に、ファインダー表示素子２２０が表示する撮影用の情報が重畳された像を見ることができる。なお、ファインダー表示素子２２０には発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、有機ＥＬディスプレイなど、他の方式の表示装置を用いてもよいし、複数の表示装置を用いてもよい。また、表示内容に応じて異なる方式の表示装置を用いてもよい。

ＡＥユニット２０８は、被写体の明るさを観測するため、複数画素を持つＡＥセンサで光学ファインダー像を測光画像データに変換する。ここでは、ＡＥセンサが光学ファインダー像のうち、図３に撮像範囲として示した範囲を撮影するものとする。この光学ファインダー像には、ファインダー表示素子２２０で表示された測距点の枠などの情報が重畳されている。ＡＥセンサは画素数を除いて撮像素子２１１と同様の構成であってよいが、主に被写体輝度の検出に用いられるためＡＥセンサと呼ぶ。測光画像データは、Ｒ、Ｇ、およびＢ成分を有する。本実施形態においてＡＥユニット２０８は、生成された測光画像データを用いて、被写体の明るさ検出、露出演算、被写体検出および被写体追尾などを行う。なお、必要に応じて複数の測光画像データを加算することで、測光画像データのダイナミックレンジを拡張してもよい。

撮像素子２１１はＣＭＯＳイメージセンサやＣＣＤイメージセンサなどであり、光電変換素子を有する画素が複数配列されている。メインミラー２０３およびサブミラー２０４を撮影光路から退避させ、フォーカルプレーンシャッタ２１０を開くことにより、撮像素子２１１が露光され、被写体光学像が撮影される。

ディスプレイ２１２は例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー画像を表示して電子ビューファインダーとして用いたり、各種の設定値、撮影情報、装置情報、ＧＵＩ画面、撮影済み画像などの表示に用いたりする。

図２は、本実施形態のＤＳＬＲの機能的な構成例を示すブロック図である。なお、図１と同じ構成要素については、同一符号を付してある。

操作部３０１は、ユーザが本体２０１や撮影レンズ２０２に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０６に出力する。また操作部３０１は、レリーズボタンの押下量によってＳＷ１信号とＳＷ２信号を送信する。具体的には、レリーズボタンが半分程度押下されるとＳＷ１信号を、レリーズボタンがさらに所定量押されるとＳＷ２信号を、それぞれシステム制御部３０６に出力する。なお、ＳＷ１信号が出力されるレリーズボタンの押下状態を「半押し」、ＳＷ２信号が出力されるレリーズボタンの押下状態を「全押し」と呼ぶ。また、レリーズボタンの半押し状態が維持されている状態を「ＳＷ１保持状態」と呼び、全押し状態が維持されている状態を「ＳＷ２保持状態」と呼ぶ。また、操作部３０１は、レリーズボタンの押下量がＳＷ１信号を送信するに満たない状態になるとＳＷ１解除信号を、ＳＷ２信号を送信するに満たない状態になるとＳＷ２解除信号を、それぞれシステム制御部３０６に出力する。

上述の通り、ＡＦユニット２０５は位相差検出方式による自動焦点検出および、焦点検出結果に基づく、フォーカシングレンズ２１３の合焦位置への駆動（自動焦点調節）を行う。ＡＦユニット２０５は、ＡＦ制御部３０４および測距センサ３０５で構成される。測距センサ３０５は例えば図３に示した６１箇所の測距点に対応する複数のラインセンサで構成され、サブミラー２０４を介して入射される光を電気信号に変換し、各測距点に対して一対の像信号をＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、測距センサ３０５から出力された一対の像信号の位相差に基づいて、図３に示す各測距点のデフォーカス量を計算し、合焦させる測距点を１つ選択する。そして、各測距点のデフォーカス量をデータとして持つデフォーカスマップと、選択した測距点の位置情報をシステム制御部３０６に出力する。システム制御部３０６は、選択測距点位置およびデフォーカスマップに基づいて焦点調節演算を行い、選択された測距点に合焦するようにフォーカシングレンズ２１３の位置を制御する。

ＡＥユニット２０８は自動露出演算および被写体追尾を行う。ＡＥユニット２０８はＡＥ制御部３０２および測光センサ３０３で構成される。ＡＥ制御部３０２は測光センサ３０３から読み出した測光画像データに基づいて自動露出演算を行い、結果をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された自動露出演算の結果に基づいて、絞り２１４の値（開口の大きさ）を制御し、本体２０１に入射する光量を調節する。

また、ＳＷ１保持状態および連写中において、ＡＥ制御部３０２は測光センサ３０３による連続した撮像で順次得られる測光画像データを用いて被写体を順次検出することにより、被写体を追尾し、検出した被写体の位置情報をシステム制御部３０６に出力する。被写体検出処理および被写体追尾処理の詳細については後述する。システム制御部３０６はＡＥ制御部３０２から出力された被写体の位置情報をＡＦ制御部３０４に出力する。

ＡＦ制御部３０４は、システム制御部３０６から出力された被写体の位置もしくはその近傍にある測距点のデフォーカス量を計算し、計算結果をあらかじめ設定された閾値と比較する。比較の結果デフォーカス量が閾値以下であれば、システム制御部３０６に出力する選択測距点位置データを、ＡＦ制御部３０４が各測距点におけるデフォーカス量に基づいて選択した測距点から、被写体またはその近傍にある測距点に更新する。

システム制御部３０６は、操作部３０１からＳＷ２信号が出力されると、メインミラー２０３（およびサブミラー２０４）をアップし、光路から退避させる。そして、フォーカルプレーンシャッタ２１０を駆動し、撮像素子２１１を自動露出演算の結果に基づく時間、露光する。露光時間が終了すると、システム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。

撮像素子２１１は露光時間中に撮影レンズ２０２を通して入射する光を各画素で電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６は撮像素子２１１から出力された画像データに対して所定の画像処理などを適用し、ディスプレイ２１２で表示させたり、画像記憶装置３０７へ書き込んだりする。

続いて、本実施形態におけるＤＳＬＲの動作について説明する。
図４は、ＡＦ制御部３０４、システム制御部３０６、ＡＥ制御部３０２の動作シーケンスを示す図であり、前半がＳＷ１保持状態における動作シーケンスを、後半がＳＷ２保持状態の動作シーケンスを示している。なお、図４は各制御部における処理の手順や動作のタイミングを示すことを目的としたものであり、異なる制御部が行う処理はもちろん、同一の制御部が行う処理であっても、処理ブロックの大きさ（高さ）と処理時間の長さとはなんら関連性を有さない。

Ｓ４０１は、レリーズボタンが半押しされ、操作部３０１からシステム制御部３０６へＳＷ１信号が出力されたタイミングを示している。ＳＷ１信号の入力を受けたシステム制御部３０６はＡＦ制御部３０４へＡＦ開始信号Ｄ０１を出力し、ＡＦ制御部３０４は動作を開始する。

Ｓ４０３でＡＦ制御部３０４は、測距センサ３０５に蓄積を行わせる。
Ｓ４０４でＡＦ制御部３０４は、測距センサ３０５から像信号を読み出す。
Ｓ４０５でＡＦ制御部３０４は、ユーザが任意に選択した測距点について、読み出した像信号に基づく焦点検出演算を行う。あるいは、ＡＦ制御部３０４は、読み出した像信号に基づいて複数の測距点に対して被写体の距離情報を求め、最至近の距離情報が得られた測距点を選択して焦点検出演算を行う。ＡＦ制御部３０４は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号Ｄ０２をシステム制御部３０６に出力する。

システム制御部３０６は、選択された測距点に合焦するように、焦点演算結果信号Ｄ０２に基づいてフォーカシングレンズ２１３を駆動し、焦点調節を行う。焦点調節が完了すると、システム制御部３０６は、ＡＦ開始信号Ｄ０３をＡＦ制御部３０４に、ＡＥ開始信号Ｄ０４をＡＥ制御部３０２に、それぞれ出力する。

Ｓ４０６でＡＥ制御部３０２は、ＡＥ開始信号Ｄ０４を受信すると測光センサ３０３による蓄積動作（すなわち、撮影）を開始する。ＡＦ開始信号Ｄ０３を受信したＡＦ制御部３０４も測距センサ３０５による蓄積動作を開始するため、測距センサ３０５および測光センサ３０３での蓄積動作は同じタイミングで開始される。これにより、測距センサ３０５と測光センサ３０３とから、同じシーンを同じタイミングで撮影された像信号（画像）が得られる。
Ｓ４０７でＡＥ制御部３０２は、測光センサ３０３から測光画像データを読み出す。

Ｓ４０８でＡＥ制御部３０２は被写体追尾処理を行う。ＡＥ制御部３０２は、過去に実行した追尾テンプレート生成処理（Ｓ４１３）で生成されたテンプレート画像を追尾対象画像とし、Ｓ４０７で生成した画像データとテンプレートマッチングを行う。そして、生成した画像中における追尾対象の位置（被写体座標）を被写体追尾結果として検出する。

ＡＥ制御部３０２における被写体追尾結果Ｄ０５は、システム制御部３０６で中継され、被写体追尾結果Ｄ０６としてＡＦ制御部３０４に通知される。なお、テンプレート画像が生成されていない場合、Ｓ４０８の被写体追尾処理は省略される。

Ｓ４０９でＡＥ制御部３０２は、Ｓ４０７で読み出した測光画像データに基づいて露出演算を行い、露出演算結果Ｄ０８をシステム制御部３０６に出力する。

一方、システム制御部３０６がＡＥ開始信号Ｄ０４と同時に出力したＡＦ開始信号Ｄ０３を受け取ったＡＦ制御部３０４は、上述したようにＳ４０３〜Ｓ４０４の処理を実行し、Ｓ４１０でＳ４０５と同様の処理により焦点検出を行う。

Ｓ４１１でＡＦ制御部３０４は、システム制御部３０６を通じて被写体追尾結果Ｄ０６を受け取り、最も近い測距点かＳ４１０で選択した測距点を用いることを決定する。そして、ＡＦ制御部３０４は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号Ｄ０７をシステム制御部３０６に出力する。なお、選択測距点位置は具体的な測距点の位置を表す情報であってもいいが、測距点ごとの位置に関する情報が別途利用できる場合には、測距点番号など、測距点を特定できる情報であってもよい。

システム制御部３０６は焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報とデフォーカスマップとに基づいて焦点調節を行う。また、システム制御部３０６は、焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報と、以前の選択測距点位置情報とから、選択測距点が変更されたかどうかを判別する。そして、システム制御部３０６は、選択測距点が変更（再選択）されていれば、測距点再選択フラグをＴＲＵＥに、選択測距点が変更（再選択）されていなければ、測距点再選択フラグをＦＡＬＳＥにする。システム制御部３０６は、焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報と、測距点再選択フラグをデータＤ１０としてＡＥ制御部３０２に通知する。

Ｓ４１３でＡＥ制御部３０２は、データＤ１０に基づいて追尾テンプレートを生成する。この処理の詳細については後述する。ここで生成された追尾テンプレートは、次のコマ（フレーム）以降の被写体追尾処理に用いられる。

Ｓ５０１においてＳＷ２信号の出力が開始されると、システム制御部３０６は、ＡＥ制御部３０２が繰り返し処理におけるＳ４０９の露出演算（および必要な場合はＳ４１３の追尾テンプレートの作成）を終えてから、本撮影処理を開始する。なお、露出演算が終了した時点で本撮影処理を開始し、追尾テンプレートの作成はバックグランド処理で行ってもよい。

本撮影処理においてシステム制御部３０６は、Ｓ５０２でシステム制御部３０６はメインミラー２０３（およびサブミラー２０４）をアップさせて光路から退避させる。また、直前に得られた、露出演算結果ならびに選択測距点に対するデフォーカス量に応じて、フォーカシングレンズ２１３の駆動および絞り２１４、フォーカルプレーンシャッタ２１０の制御を行い、Ｓ５０３で本撮影を実行する。その後、Ｓ５０４でシステム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。

また、システム制御部３０６は、ＳＷ２信号の出力が開始されると、ＡＦ制御部３０４にレリーズ開始信号Ｄ１１、ＡＥ制御部３０２にレリーズ開始信号Ｄ１２を出力する。レリーズ開始信号Ｄ１１およびＤ１２を受信したＡＦ制御部３０４およびＡＥ制御部３０２は、その時点で行っていた処理を中断する。そして、システム制御部３０６はミラーダウン動作Ｓ５０４を完了した際にＳＷ２信号が出力されていれば、ＡＦ制御部３０４へＡＦ開始信号Ｄ０３を、ＡＥ制御部３０２へＡＥ開始信号Ｄ０４をそれぞれ出力する。そして、連写の２コマ目の本撮影処理が開始される。２コマ目からはＳ４０３ならびにＳ４０６の処理から開始される。２コマ目の処理におけるＳ４１１で測距点が変更された場合には、Ｓ５０３で本撮影が行われた後、ＡＥ制御部３０２で次のコマに用いるための新たな追尾テンプレートの作成が行われる（Ｓ４１３）。

続いて、Ｓ４０８における被写体追尾処理および、Ｓ４１３におけるテンプレート画像生成処理について、図５のフローチャートを用いて説明する。
まず、図５（ａ）に示すフローチャートを用いて、Ｓ４１３におけるテンプレート画像生成処理について説明する。

Ｓ１０１でＡＥ制御部３０２は、データＤ１０に基づいて、Ｓ４０７で生成した測光画像データからテンプレートとして抽出する領域を決定する。測距点再選択フラグがＴＲＵＥの場合、直前に実行したＳ４０８の被写体追尾処理で検出した結果に基づく測距点が選択されている。そのため、ＡＥ制御部３０２は、被写体追尾処理で得られた位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域（所定領域）に設定する。一方、測距点再選択フラグがＦＡＬＳＥの場合、データＤ１０に含まれる選択測距点位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域（所定領域）に設定する。
被写体追尾処理の結果が測距点の選択に採用されていない場合、追尾用のテンプレート画像としては不適切であるため、このような分岐処理を行う。

Ｓ１０２でＡＥ制御部３０２は、テンプレート領域内（所定領域内）の画素の色分布を計算し、追尾対象の特徴色を検出する。特徴色の検出は例えば以下のように行うことができる。まず、ＲＧＢ色空間を、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さを０〜７の８段階に分割する。これにより、ＲＧＢ色空間は８×８×８の５１２のブロック（座標）に分割される。そして、テンプレート領域内の各画素の色信号をＲＧＢ色データに変換し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さに基づいてＲＧＢ色空間の対応するブロック（座標）に分類する。これをテンプレート領域内の全ての画素について行い、５１２のブロックのうち、分類された画素が最も多いブロックに対応する色（ＲＧＢ）を、追尾対象の特徴色とする。

なお、分類された画素が最も多いブロックが複数あれば、複数のブロックに対応する色を追尾対象の特徴色とする。また、分類された画素が最も多いブロックの代わりに、分類された画素数が一定値以上である１つ以上のブロックとしたり、分類された画素数が上位の所定数のブロックとしたりすることもできる。また、分類された画素が最も多いブロックに分類された画素数が所定の閾値以上である場合や、２番目に分類された画素数が多いブロックに分類された画素数との差が所定の閾値以上である場合に、分類された画素が最も多いブロックだけを特徴色としてもよい。

Ｓ１０７でＡＥ制御部３０２は測光画像からテンプレート領域を切り出し、テンプレート領域画像を作成する。
Ｓ１０８でＡＥ制御部３０２は、特定の色を高輝度に、他の色を低輝度に変換する３次元ルックアップテーブルを作成する。具体的には、追尾対象の特徴色については高輝度に変換し、他の色は低輝度に変換するとともに、光学ファインダー像に情報を重畳表示するために用いられている色は追尾対象の特徴色に含まれていても低輝度に変換するようなルックアップテーブルである。もっとも単純な場合、低輝度を０（黒）、高輝度を１（白）とした二値画像に変換するルックアップテーブルであってよい。

図６（ｂ）は、ルックアップテーブルに登録された特徴色のブロックと、除外ブロックの例を、図６（ａ）に示したＲＧＢ色空間で模式的に示した図である。このように、ＲＧＢブロック単位で、高輝度に変換する色が登録される。図６（ｂ）では、Ｓ１０２で決定した追尾対象の特徴色が、（Ｒ，Ｇ，Ｂ）＝（２，６，０）〜（４，７，２）の複数のブロックに対応（分布）している例を示している。

またファインダー表示素子２２０が赤色ＬＥＤの場合の例として除外ブロック５０１が示されており、除外ブロック５０１の座標は（Ｒ，Ｇ，Ｂ）＝（６，０，０）〜（７，１，１）である。除外ブロック５０１に該当する特徴色ブロックは登録されず、従ってルックアップテーブルが適用された後は低輝度となる。

ファインダー表示素子２２０が情報の重畳表示に用いる色が予め決まっている場合、その色に対応するヒストグラム空間のブロック（除外ブロック）を特定する情報（例えばブロックのＲＧＢ座標）を用意しておくことができる。そして、ＡＥ制御部３０２は、Ｓ１０８で追跡対象の特徴色に応じて動的にルックアップテーブルを生成する際、この除外ブロックの情報を参照し、除外ブロックと重複する特徴色のブロックがルックアップテーブルに登録されないようにすることができる。

また、ＡＥ制御部３０２は、Ｓ１０８でルックアップテーブルを作成する前に、ファインダー表示素子２２０で表示に用いられている色を検出する処理（Ｓ１１０）を必要に応じて実施してもよい。図５ではＳ１０７とＳ１０８の間に記載しているが、Ｓ１０１の前など、別のタイミングで実施してもよい。そして、ＡＥ制御部３０２は、除外ブロックの情報から、その時点で表示に用いられていない色に対応するブロックの情報を削除してからルックアップテーブルを作成する。これにより、実際には表示されていない情報の表示色と重複する特徴色をルックアップテーブルに登録することができ、被写体追尾精度を向上させることができる。

なお、Ｓ１１０の処理は、表示色を検出する代わりに、表示されている情報の種類の検出であってもよい。この場合、予め定められている情報と表示色との対応関係に基づいて、表示色を検出することができる。また、表示色を検出しなくても、除外ブロックの情報を、情報の種類と除外ブロックを特定する情報とを関連付けした形式とすれば、表示されている情報の種類の検出結果から、対応する除外ブロックの情報を削除することができる。なお、同一種類の情報が例えば値によって異なる色で表示される場合には、１つの表示情報に複数の除外ブロックを対応付けておけば良い。

また、ＡＥ制御部３０２は、予め定められている情報の表示位置と、Ｓ１０１で設定されたテンプレート領域との位置との差（例えば中心間距離や最短の間隔）を検出し（Ｓ１１１）、それを考慮してルックアップテーブルを作成することもできる。例えば、テンプレート領域と情報の表示位置との差が所定値以上であり、両者の区別が可能な程度離れていると判定される場合には、その情報の表示色を除外ブロックから削除しなくてもよい。特に追尾対象の特徴色の範囲が狭く、かつ特徴色ブロックが除外ブロックに該当する場合に、高輝度に変換される追尾対象の特徴色が少なくなり、追尾精度が低下する可能性がある。しかし、テンプレート領域と表示位置が離れていれば、色が似ていても情報表示が追尾対象と誤認識される可能性は低いため、表示色を除外ブロックから削除することで追尾精度を向上させることができる。

一方、テンプレート領域と情報の表示位置との差が所定値未満であり、両者が接近もしくは重複していると判定される場合、ＡＥ制御部３０２がシステム制御部３０６に通知し、システム制御部３０６が表示を一時的に停止させてもよい。なお、表示位置が複数ある場合には、個々の表示位置についてこれらの制御を行うことができる。

また、情報の表示色は単色であり、本来はＲＧＢ色空間の一座標に対応するものであるため、原理的には表示色のみを除外すれば良い。しかし、測光センサ３０３で撮影した測光画像データから検出される情報表示の色が、設定上の表示色と合致するとは限らない。そのため、本実施形態では、表示色そのものだけでなく、類似した色も除外するために、除外ブロックを用いている。しかし、表示色が除外できれば、除外ブロックの大きさは特徴色のブロックの大きさよりも小さくてもよい。換言すれば、表示色の類似色とする色の範囲を特徴色の範囲の単位より狭くしてもよい。

なお、Ｓ１１０とＳ１１１とを両方実行してもよく、この場合ＡＥ制御部３０２は、実際に表示されている情報のうち、表示位置がテンプレート領域に近いものに対応する除外ブロックだけを考慮してルックアップテーブルを作成することができる。

Ｓ１０９でＡＥ制御部３０２は、テンプレート領域画像内の各画素に対してＳ１０８で作成したルックアップテーブルを適用し、特徴色を有する画素を高輝度に、他の色の画素は低輝度に変換した輝度画像を生成し、最終的なテンプレート画像とする。

Ｓ４０８の被写体追尾処理ではこのテンプレート画像を用いてテンプレートマッチングを行う。これにより、追尾対象の特徴色を強調した状態で輝度画像によるテンプレートマッチングを行うことができるため、単純にカラー画像によるテンプレートマッチングを行うよりも演算負荷を小さくできる。

続いて、Ｓ４０８の被写体追尾処理（被写体検出処理）について図５（ｂ）に示したフローチャートを用いて説明する。
Ｓ１２１でＡＥ制御部３０２は、Ｓ４０７で測光センサ３０３から取得した測光画像の各画素に対し、Ｓ１０８で作成したルックアップテーブルを適用する。つまり、測光センサ３０３で撮影している動画像の１つ前のフレーム（コマ）に対するテンプレート生成処理（Ｓ４１３）で抽出された特徴色の画素を高輝度に、他の色の画素を低輝度に変換した色変換画像（輝度画像）を生成する。上述したルックアップテーブルの特性により、ファインダー表示素子２２０の表示色に該当する色（もしくは表示色および類似色）を有する画素は、原則として低輝度画素に変換される。

Ｓ１２２でＡＥ制御部３０２は、前のフレーム（コマ）に対するテンプレート生成処理（Ｓ４１３）で作成したテンプレート画像を用いたテンプレートマッチングにより、色変換画像の中でテンプレート画像と最も相関の高い領域を検出対象として検出する。

このような色変換を行った画像を用いてテンプレートマッチングを行うことにより、追尾対象の特徴色の情報は失わずに輝度画像を用いて処理できるため、単純にカラー画像によるテンプレートマッチングを行うよりも演算負荷を小さくできる。

ＡＥ制御部３０２は、検出した追尾対象の位置を被写体追尾結果Ｄ５に含めてシステム制御部３０６に出力する。システム制御部３０６は追尾対象の位置を被写体追尾結果Ｄ０６としてＡＦ制御部３０４に出力する。

ＡＦ制御部３０４は、測距点再選択処理Ｓ４１１において、被写体追尾結果Ｄ０６で通知された追尾対象位置を含む測距点あるいは近傍（所定範囲内）の測距点を探索する。そして、該当する測距点があれば、その測距点を新たな選択測距点とする再選択処理を行う。

以上説明したように本実施形態によれば、例えば測光に用いる画像のように、表示装置が表示した情報が光学ファインダー像に重畳した画像を用いた処理を行う場合に、画像中に含まれる、重畳表示と同じもしくは類似した色の画素の情報を用いないようにする。これにより、重畳表示された情報が画像処理に与える影響を低減することができ、例えば測光用の画像を用いた被写体検出処理や被写体追尾処理の精度を向上させることができる。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追跡だけでなく、色情報を用いた追跡を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン認識技術を用いても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 表示装置が表示した情報が重畳された画像を取得する取得手段と、
   前記取得手段によって取得された第１画像の所定領域に含まれる画素のうち、前記情報の表示色を有する画素を除外した画素の情報を用いて、テンプレート画像を生成する生成手段と、
   前記第１画像の後に取得された第２画像に対し、前記テンプレート画像を用いてテンプレートマッチングを行うことにより被写体検出を行う処理手段と、
   を備えることを特徴とする撮像装置。
2. 前記生成手段は、前記第１画像における前記所定領域の位置と前記情報が重畳された位置との差が所定値以上の場合、前記所定領域に含まれる画素のうち、前記情報の表示色を有する画素を除外しない画素の情報を用いて前記テンプレート画像を生成することを特徴とする請求項１記載の撮像装置。
3. 前記生成手段は、前記所定領域に含まれる画素の特徴色のうち前記表示色とは異なる色を有する画素と、それ以外の色を有する画素とを異なる値で表す二値画像に変換して、前記テンプレート画像を生成することを特徴とする請求項１または２記載の撮像装置。
4. 前記特徴色は、色空間を複数のブロックに分割した際、前記所定領域に含まれる画素の色が最も多く含まれるブロックに対応する色であることを特徴とする請求項３に記載の撮像装置。
5. 前記取得手段が、測光センサを用いて前記第１画像および前記第２画像を取得することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. アイピースと、光束を反射するためのミラーと、該ミラーで反射された光束を前記測光センサとアイピースに導くためのペンタプリズムと、を有し、
   前記表示装置は、前記ミラーと前記ペンタプリズムの間に配置されることを特徴する請求項５に記載の撮像装置。
7. 前記生成手段は、前記情報が前記表示装置に表示された実際の表示色を有する画素の情報を除外して前記テンプレート画像を生成することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記生成手段は、前記所定領域に含まれる画素のうち、前記情報の表示色と類似する色を有する画素を除外した画素の情報を用いて前記テンプレート画像を生成することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記情報は、測距点もしくは焦点検出領域の枠を示す情報であることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 取得手段が、表示装置が表示した情報が重畳された画像を取得する取得工程と、
    生成手段が、前記取得工程で取得された第１画像の所定領域に含まれる画素のうち、前記情報の表示色を有する画素を除外した画素の情報を用いて、テンプレート画像を生成する生成工程と、
    処理手段が、前記第１画像の後に前記取得工程で取得された第２画像に対し、前記テンプレート画像を用いてテンプレートマッチングを行うことにより被写体検出を行う処理工程と、
    を有することを特徴とする撮像装置の制御方法。
11. 撮像装置のコンピュータを、請求項１から９のいずれか１項に記載の撮像装置の取得手段、生成手段、処理手段として機能させるためのプログラム。

Images