JP5331128B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置において被写体を認識する技術に関する。

従来の撮像装置（たとえばデジタルカメラ）の中には、被写体を認識する機能を有するものが存在する。そのような撮像装置は各種の制御を行い、自動露光（ＡＥ）、オートフォーカス（ＡＦ）等を継続して被写体を認識し、最適な条件で撮影することを可能としている。

特許文献１は、被写体の画像を表示するための画面を有する撮像装置を開示している。この撮像装置では、被写体が同一画面内に複数存在する場合には、撮影者が意図する被写体を選択することが可能である。これにより、選択されたその被写体に対して最適なＡＥ、ＡＦ制御を可能とする。

特許文献１は、撮像装置を開示する。この撮像装置は、撮像素子２からの画像信号を利用して画面内に領域を設定する領域設定手段３と、撮影者の視線を検知する視線検知手段８，９，１１と、領域設定手段によって設定された領域が複数の場合、そのうちの意図する領域を、前記視線検知手段からの視線情報に基づいて選択する領域選択手段１２とを備えている。画面内に複数の領域が設定されている場合、この撮像装置は、そのうちの意図する領域を、視線情報に基づいて自動的に選択する。

特開平５−３２８１９７号公報

しかしながら、上記特許文献１に開示されている撮像装置では、使用者が意図する領域を高い精度で検出するには限界がある。特許文献１は、精度を高くすることについて特に開示をしていない。

本発明の目的は、撮影者が意図する被写体の検出をより高精度に行う撮像装置を提供することにある。

本発明による撮像装置は、被写体からの光を受けて、前記被写体の像に対応する画像の信号を生成する撮像部と、生成された前記画像に含まれる特徴を、予め定められた第１の方法で検出する第１の検出部と、生成された前記画像に含まれる特徴を、前記第１の方法とは異なる第２の方法で検出する第２の検出部と、生成された前記画像上の位置を指定する操作を受け付ける操作部と、前記操作部が前記操作を受け付けた時点における、前記第１の検出部が検出した特徴の位置と前記操作部が受け付けた位置との関係に応じて、前記第１の検出部および前記第２の検出部のいずれを用いて前記時点以降に生成される画像に含まれる特徴を検出するかを決定するコントローラとを備えている。

前記撮像装置は、前記第１の検出部を用いて前記画像の中の特徴を検出しているときにおいて、前記撮像部で生成された画像、および、前記第１の検出部で検出された特徴の位置を表示する表示部をさらに備えていてもよい。

前記第１の検出部は、予め定められたパターンに基づいて、生成された前記画像の中の特徴を検出し、前記第２の検出部は、前記操作部が受け付けた位置および生成された前記画像の色情報に基づいて、生成された前記画像に含まれる特徴を検出してもよい。

前記第１の検出部は、人の顔を構成する複数の部位の形状および配置関係の少なくとも一方を表すパターンに基づいて、生成された前記画像の中の特徴を検出してもよい。

前記第１の特徴検出部が前記特徴の位置を検出しているときにおいて、前記コントローラは、前記操作部が受け付けた前記位置が前記特徴が検出された領域内に存在するか否かを判定し、前記位置が、前記特徴が検出された領域内に存在するときは、前記表示部に対し、前記コントローラは、検出された前記特徴の位置に視認可能なマークを表示させてもよい。

前記第１の特徴検出部が前記特徴の位置を検出しているときにおいて、前記コントローラは、前記操作部が受け付けた前記位置が前記特徴が検出された領域内に存在するか否かを判定し、前記位置が、前記特徴が検出された領域内に存在しないときは、前記コントローラは、前記第２の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第２の検出部に対し、前記位置および前記画像の色情報に基づいて前記画像の特徴を検出させ、前記表示部に対し、前記コントローラは、前記第２の検出部に検出させた前記画像の特徴の位置に視認可能なマークを表示させてもよい。

前記位置が、前記特徴が検出された領域内に存在していた状態から、存在しない状態に変化したときは、前記コントローラは、前記第２の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第２の検出部に対し、前記位置および前記画像の色情報に基づいて前記画像の特徴を検出させ、前記表示部に対し、前記コントローラは、前記第２の検出部に検出させた前記画像の特徴の位置に視認可能なマークを表示させてもよい。

前記位置が、前記特徴が検出された領域内に存在しない状態から、存在する状態に変化したときは、前記表示部に対し、前記コントローラは、前記第１の特徴検出部で検出された前記特徴の位置に視認可能なマークを表示させてもよい。

前記第１検出部、前記第２検出部、および、前記コントローラの少なくとも２つが１つのチップ回路上に形成されていてもよい。

本発明にかかる撮像装置には、生成された画像に含まれる特徴を、異なる方法で検出する第１および第２の特徴検出部が設けられている。そして、操作部が画像上の位置指定操作を受け付けた時点における、第１の特徴検出部が検出した特徴の位置と操作部が受け付けた位置との関係に応じて、第１および第２の特徴検出部のいずれを用いて、その時点以降に生成される画像に含まれる特徴を検出するかを決定する。本発明にかかる撮像装置は、第１および第２の特徴検出部を使い分けることにより、撮影者が意図する被写体の検出をより高精度に行うことができる。

（ａ）および（ｂ）は、撮像装置の一例であるデジタルスチルカメラ１００ａおよびビデオカメラ１００ｂの外観を示す図である。 （ａ）〜（ｃ）は、本実施形態によるデジタルスチルカメラ１００ａの外観を示す三面図である。 本実施形態に係る被写体認識機能を備えた撮像装置１００の構成を示すブロック図である。 （ａ）および（ｂ）は、表示部１３上に表示される画面例を示す図である。 （ａ）および（ｂ）は、表示部１３上に表示される画面例を示す図である。 ユーザによる被写体選択時の撮像装置１００の動作を示すフローチャートである。 追尾領域となるマーカ５０を示す図である。 追尾領域内の画像データの色情報を示す図である。 色相空間を示す図である。

以下、添付の図面を参照しながら、本発明による撮像装置の実施形態を説明する。

１．撮像装置の構成
図１（ａ）および（ｂ）は、撮像装置の一例であるデジタルスチルカメラ１００ａおよびビデオカメラ１００ｂの外観を示している。デジタルスチルカメラ１００ａは主として静止画を撮影するために利用されるが、動画を撮影する機能も有している。一方、ビデオカメラ１００ｂは、主として動画を撮影する機能を有している。

図２（ａ）〜（ｃ）は、本実施形態によるデジタルスチルカメラ１００ａの外観を示す三面図である。図２（ａ）は正面図、（ｂ）は背面図、（ｃ）は上面図である。

図２（ａ）に示すように、デジタルスチルカメラ１００ａの正面には、レンズ鏡筒２１、フラッシュ２８、および、暗所でＡＦ機能を動作させるための補助光フラッシュ２９が配される。

一方、図２（ｂ）に示すように、デジタルスチルカメラ１００ａの背面には、表示デバイス１３、および、撮影モードを選択するダイヤル１６ａおよび複数の操作ボタン１６ｂが配される。

また図２（ｃ）に示すように、デジタルスチルカメラ１００ａの上面には、シャッタボタン２２、電源ボタン２３、および、画角を変えるためのズームレバー３０が配される。

なお、レンズ鏡筒やフラッシュを除き、ビデオカメラ１００ｂにも同等の機能を有するボタンや機能が備えられているが、それらの説明は省略する。

以下、本明細書では、デジタルスチルカメラ１００ａおよびビデオカメラ１００ｂを、「撮像装置１００」と総称する。

図３は、本実施形態に係る被写体認識機能を備えた撮像装置１００の構成を示すブロック図である。

撮像装置１００は、撮像部１０と、信号処理部１１と、画像記録部１２と、表示部１３と、顔検出部１４と、特徴色検出部１５と、操作部１６と、特定領域表示部１７と、コントローラ１８とを備えている。以下、撮像装置１００の構成要素を詳細に説明する。なお、各構成要素の説明に関連して、周知なハードウェア構成の図示は省略する。

撮像部１０は、被写体からの光を受け、その被写体の像に対応する画像の信号を生成する。撮像部１０は、光学系と撮像素子とを含んでいる。光学系は、たとえば対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズを含む（いずれも図示せず）。光学系は、被写体からの光を受け、それらを集光し、被写体像を形成する。撮像素子は、光学系で形成された被写体像を撮像して、その被写体の像に対応する画像のアナログ信号を生成する。撮像素子は、たとえばＣＭＯＳイメージセンサー、ＣＣＤイメージセンサーである。

信号処理部１１は、撮像部１０において生成された画像のアナログ信号を受け取って予め定められた処理を実行する。信号処理部１１は、１つのチップ回路として実装される。信号処理部１１は、たとえばＡＤコンバータ、画像処理部、システムエンコーダ、システムデコーダを含む（いずれも図示せず）。ＡＤコンバータは、撮像素子で生成された画像のアナログ信号をデジタル信号に変換する。画像処理部は、ＡＤコンバータで変換されたデジタル信号の画像に対して各種画像処理を施す。また画像処理部は、システムエンコーダへ入力するための画像データを生成し、表示部１３に表示するための画像データを生成する。また、画像処理部は、システムデコーダが処理して出力したデジタル信号の画像に対して画像処理を施し、表示部１３に表示するための画像データを生成し、システムエンコーダへ再入力するための画像データを生成する。

信号処理部１１内の画像処理部は、画像前処理部、画像圧縮部、画像伸張部を含む（いずれも図示せず）。画像前処理部は、ＡＤコンバータで変換されたデジタル信号の画像に対して、ガンマ補正やホワイトバランス補正などの各種画像処理を行う。画像圧縮部は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。画像圧縮部は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、これらの圧縮規格は一例である。圧縮形式は任意であるし、画像間圧縮などを行わない形式であってもよい。画像伸張部は、画像データを非圧縮の状態に復号化する。この処理は、たとえば信号処理部１１のシステムデコーダから出力された圧縮済みの画像データを表示部１３で再生する場合などに行われる。システムデコーダは、画像記録部１２に記録されたＡＶデータを復号化し、圧縮画像データを生成する。システムデコーダは、生成した圧縮画像データを画像伸張部へ出力する。

画像記録部１２は、信号処理部１１が出力した画像のデータを記録する。画像記録部１２は、記録媒体に対する記録制御を行うメディアコントローラおよび記録媒体を有している。記録媒体は、フラッシュメモリカード、ハードディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等である。記録媒体は、撮像装置１００に着脱自在であってもよいし、撮像装置１００に内蔵されていてもよい。

表示部１３は、液晶モニタや電子ビューファインダなどの表示デバイスである。表示部１３は、撮像部１０で撮像された画像データや、画像記録部１２から読み出したＡＶデータ中の画像データを表示可能である。また、表示部１３は、撮像装置１００の各種の設定情報や、撮影時間などを表示可能である。表示部１３は、信号処理部１１が出力した画像及び検出された特定の対象を表示する。たとえば表示部１３は、以下に説明する顔検出部１４を用いて画像の中の特徴（たとえば人物の顔）を検出しているときにおいて、撮像部１０で生成された画像、および、顔検出部１４で検出された特徴の位置を表示する。

顔検出部１４は、予め定められた検出方法にしたがって、信号処理部１１が出力した画像の中から人物の顔を検出する。より具体的には、顔検出部１４は、信号処理部１１で生成された画像データを解析し、画像の中から予め定められたパターンを有する箇所を特定する。このパターンは、人の顔を構成する複数の部位（たとえば目、鼻、口）の形状および配置関係の一方または両方の特徴を表すものとして予め用意されている。顔検出部１４は、そのパターンに合致する箇所を人物の顔として検出する。上記処理を継続的に行うことにより、被写体となっている人物が横を向く等の、被写体の状態に大きな変化が生じない限り、顔検出部１４は被写体の顔を検出し続けることが可能である。また顔検出部１４は、顔の位置や大きさを検出するとともに、その特定対応の顔の確からしさを示す信頼度を算出する。

特徴色検出部１５は、選択位置と信号処理された画像における選択位置を中心とする領域の色情報とを利用して、特定の被写体を検出する。ここでいう「被写体」は、人物に限られず、当該画像上に表示されている任意の対象物（固体のみならず、液体や気体も含む）をいう。また、顔の特徴が検出されにくい角度で撮影された人物であっても被写体になり得る。特徴色検出部１５のより詳細な動作は、後に説明する。

特徴色検出部１５は、信号処理部１１で生成された画像データと操作部１６からの位置情報より、指定された位置情報を元に画像データ内の特定領域を切り出し、この領域内の色情報を基に特定の被写体を検出する。すなわち特徴色検出部１５は、画像中の色を被写体の特徴として検出している。これは、顔検出部１４が顔の特徴に対応するパターンを利用して人物の顔を検出する方法とは明らかに異なっている。

操作部１６は、表示部１３上に表示された画像上の位置を指定するユーザの操作やその他各種操作を受け付ける。操作部１６は、たとえば図２（ｂ）に示す形状で配された、または十字に配されたハードウェアキーであってもよいし、タッチスクリーンであってもよい。操作部１６がハードウェアキーのときは、たとえばユーザは、表示部１３に表示されている画像に重畳して表示されたカーソルやマーカ（枠）をハードウェアキーを操作して移動させ、画像上の位置を指定する。また、操作部１６がタッチスクリーンのときは、ユーザは、表示部１３の表示デバイス上に重ねられたタッチスクリーンを押下することで、画像上の位置を指定する。操作部１６は、指定された位置を示す情報（位置情報）をコントローラ１８に伝える。また操作部１６は、位置指定以外の様々なユーザの操作（指示）を受け付け、その指示をコントローラ１８に伝える。

特定領域表示部１７は、選択された領域を表示する。特定領域表示部１７は、顔検出部１４及び特徴色検出部１５で検出された領域に対応する位置情報や、撮影者（ユーザ）により選択された位置情報をコントローラ１８経由で受け取る。そして、特定領域表示部１７は、その位置情報で特定される位置を明示する領域（たとえばマーカ）を表示するためのマーカ信号を生成する。このマーカ信号は画像データを表示している表示部１３に送られ、その領域が表示部１３上に表示される。

コントローラ１８は、撮像装置１００全体を制御する。コントローラ１８は、半導体素子を用いた回路、たとえばマイクロコンピュータである。コントローラ１８は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。本実施形態では、後述する図６に示されたフローチャートの処理を記述したコンピュータプログラムをマイクロコンピュータが実行する。これにより、マイクロコンピュータが、または、マイクロコンピュータから指示を受けた各構成要素が、フローチャートに示される種々の処理を行う。

たとえばコントローラ１８は、操作部１６がユーザから画像上の位置を指定する操作を受け付けた時点における、顔検出部１４が検出した人物の顔の特徴の位置と、操作部１６が受け付けた画像上の位置との関係を判定する。そしてその結果に応じて、コントローラ１８は、顔検出部１４および特徴色検出部１５のいずれを用いて、それ以降に生成される画像に含まれる画像中の特徴を検出するかを決定する。この処理の詳細は後に詳述する。

上述のコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。コントローラ１８は、コンピュータプログラムを実行する汎用のマイクロコンピュータによって実現され、または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現されてもよい。

なお、本実施形態では、顔検出部１４および特徴色検出部１５を、信号処理部１１やコントローラ１８とは別に設けた構成を採用した。しかしながら、この構成は一例である。たとえば信号処理部１１、顔検出部１４、特徴色検出部１５およびコントローラ１８の全てを１チップ回路で実現してもよい。または、図３に示すように、信号処理部１１、顔検出部１４および特徴色検出部１５を１つのチップ回路２７で実現し、コントローラは別のマイクロコンピュータで実現してもよい。または、顔検出部１４、特徴色検出部１５およびコントローラ１８を１つのチップ回路で実現してもよい。あるいは、これらのいずれか２つ（信号処理部１１および顔検出部１４、信号処理部１１および特徴色検出部１５、顔検出部１４および特徴色検出部１５、コントローラ１８および顔検出部１４、コントローラ１８および特徴色検出部１５、信号処理部１１およびコントローラ１８）の組み合わせを１チップで実現してもよい。

２．動作
上述のように構成された被写体認識機能を備えた撮像装置１００について、その動作を説明する。

信号処理部１１は、撮像部１０から入力された画像データに対して各種の補正を行う。補正された信号は、画像記録部１２に記録される。また信号処理部１１は、特定対象を検出するための信号を生成する。顔検出部１４は、信号処理部１１からの信号中にある顔を検出する。顔の検出方法として、肌の色を基に検出する方法、複数の部位（たとえば目、鼻、口）の形状および配置関係を基に検出する方法等、様々な方法が知られている。本実施形態では、画像データ中の顔を検出する方法であればどのような方法を用いてもよい。コントローラ１８は、特定領域表示部１７を用いて、検出した特定領域またはその領域の位置を示すマーカを表示部１３に表示させる。

同時に、コントローラ１８は操作部１６を監視し、ユーザからの操作により表示部１３上の被写体が選択されたか否かを検出する。被写体の選択は、位置情報の入力によって行われる。位置情報が入力されると、コントローラ１８は、その位置情報が、既に検出されている特定対象の検出領域内であるか否かを判断する。そして、特定対象の検出領域内の場合には、コントローラ１８は選択位置を含む領域を抽出する。

一方、被写体の位置情報が、いずれの特定対象検出領域にも含まれない場合は、コントローラ１８は選択位置を特徴色検出部１５に入力する。特徴色検出部１５は、信号処理部１１からの信号と選択位置情報より特定対象を新たに抽出する。通常、画像中で色情報のみで特定対象を選択するのは、困難である。特徴色検出部１５は、選択位置情報を用いて、その選択位置周辺に存在するほぼ同色の対象を抽出することにより、特定の被写体を抽出する。

コントローラ１８は、撮像部１０、信号処理部１１等を制御して、抽出された領域に対してＡＦ、ＡＥ等最適となるよう調整する。

以下、図４および図５を参照しながら、ユーザが顔検出部１４で検出されない被写体を選択するときの撮像装置１００の動作を説明する。

図４および図５は、表示部１３上に表示される画面例を示す。

図４（ａ）において、被写体１０１、１０２は、あらかじめ顔検出部１４によって顔検出がされているとする。図４（ａ）には、顔検出が完了したことを示すマーカ１０４、１０５が表示されている。

この状態において、ユーザが撮影を意図した対象が被写体１０３であるとする。このときユーザは、まず「追尾モード」と表示されたアイコン４０を選択する。すると、コントローラ１８は、特定領域表示部１７に対し、それまで表示されていたマーカ１０４および１０５を消去するよう指示する。

ユーザは、操作部１６を利用して操作部１６の確定ボタン（図示せず）の押下または画面へのタッチを行うことにより、被写体１０３を選択できる。このように、被写体１０３上の位置を指定することが可能である。位置が指定されると、特徴色検出部１５は、指定された位置とほぼ同色の範囲を決定し、コントローラ１８に通知する。ほぼ同色の範囲に関する情報を取得すると、コントローラ１８は、ほぼ同色の範囲の周囲にマーカー１０８を表示する信号を生成するよう特定領域表示部１７を制御する。

次に、特徴色検出部１５は、指定された位置とほぼ同色の範囲の画素の色情報を取得し、その中心付近の画素の色を基準として、所定範囲に含まれる色が分布する範囲を抽出する。すなわち、被写体１０３を含む領域を抽出する。特定領域表示部１７は、その領域をマーカ１０８として選択、表示する。なお、「ほぼ同色である範囲」の検出方法の詳細は後述する。

図５（ａ）および（ｂ）は、選択すべき被写体１０２が人の顔部分であるにも関わらず、被写体の状態に応じて顔検出部１４で検出されない場合に、その被写体１０２を選択する動作を示す。ユーザは、被写体１０２を選択することを意図している。しかしながら、被写体１０２の状態によっては顔検出部１４が検出できない場合がある。

例えば、図５（ａ）に示すように、横向きの顔の場合や、又は顔が後ろを向いている場合には、顔を構成する目等の要素を検出できない。よって、顔検出部１４は、被写体１０２を検出できない。

しかしながら本実施形態によれば、ユーザがアイコン４０を押下することにより、画像上の任意の位置を指定することができる。ユーザが、被写体１０２の中心付近を選択することによって位置を指定すると、特定領域表示部１７は、マーカ１０９を表示する。

特徴色検出部１５は、被写体１０２を含む領域を抽出することができ、マーカ１０９として選択し、表示される。

以上のように、コントローラ１８は、特徴色検出部１５を用いることにより、顔検出部１４では抽出できない、動物や、車等の物も、検出することができ、特定対象として選択することができる。

図６は、ユーザによる被写体選択時の撮像装置１００の動作を示すフローチャートである。

撮像装置１００は、表示部１３上に撮像部１０で撮像中の画像を表示する（Ｓ４０１）。顔検出部１４は、信号処理部１１で生成された画像データを解析し、画像データの中から人物の顔を検出する（Ｓ４０２）。顔検出領域が存在する場合（Ｓ４０３でＹＥＳ）には、コントローラ１８は、特定領域表示部１７を制御して、検出した顔を示すマーカを撮像中の画像データに重畳して表示部１３に表示する（Ｓ４０４）。

次に、コントローラ１８は、表示部１３に表示された被写体をユーザが選択可能なモード（被写体選択モード）への変更操作が行われた否かを検出する（Ｓ４０５）。撮像装置１００が被写体選択モードに変更された場合（Ｓ４０５でＹＥＳ）には、ユーザは被写体の選択が可能になる。コントローラ１８は、被写体選択モードでない場合（Ｓ４０５でＮＯ）には、被写体選択モードに変更されるのを待つ。

コントローラ１８は、ユーザによって表示部１３に表示される画面上で、認識させたい被写体を選択する操作が行われた否かを判定する（Ｓ４０６）。ここで、被写体を選択する方法として、表示部１３がタッチパネルに対応する場合には、ユーザが表示部１３に表示されている被写体をタッチすることにより、被写体が選択される。表示部１３がタッチパネルに対応していない場合には、ユーザが操作部１６の十字キー等を操作し、表示部１３上に表示されたポインタを移動させ、ポインタが選択したい被写体上にあるときに操作部１６の決定ボタン等を押下することにより、被写体が選択される。

コントローラ１８は、被写体の選択操作が行われていない場合（Ｓ４０６でＮＯ）は、選択操作が行われるのを待つ。コントローラ１８は、被写体の選択操作がされた場合（Ｓ４０６でＹＥＳ）は、顔検出部１５で顔検出された領域が存在するか否かを判定する（Ｓ４０７）。

コントローラ１８は、顔検出部１５で予め検出された顔を示す領域が存在しない場合（Ｓ４０７でＮＯ）は、選択された位置を特徴色検出部１５に入力し、特徴色検出部１５で領域判定処理を行う（Ｓ４１０）。コントローラ１８は、顔検出部１５で予め検出された顔を示す領域が存在する場合（Ｓ４０７でＹＥＳ）は、選択された位置が、少なくともひとつ以上検出されている顔を示す領域内であるか否かを判定する（Ｓ４０８）。

コントローラ１８は、選択位置がいずれの顔検出領域内にも含まれない場合（Ｓ４０８でＮＯ）は、選択位置を特徴色検出部１５に入力し、特徴色検出部１５で領域判定処理を行う（Ｓ４１０）。コントローラ１８は、選択位置が予め検出されている顔領域のいずれかに含まれる場合（Ｓ４０８でＹＥＳ）は、選択位置を含む顔検出領域に選択されたことを示すマーカを、特定領域表示部１７を制御して表示部１３に表示させる（Ｓ４０９）。コントローラ１８は、特徴色検出部１５で特徴色検出処理を行った（Ｓ４１０）際についても、判定された領域内の特徴色を囲む領域にマーカを、特定領域表示部１７を制御して表示部１３に表示させる（Ｓ４１１）。ここで、選択された領域を示すマーカは、Ｓ４０４において表示する顔検出部１４で検出された顔領域を示すマーカとは異なる表示を行う。選択された領域を示すマーカは、図４および図５に示すように、顔領域を示すマーカと表示の形状を変えてもよいし、同じ形状でマーカの枠の色を変化させてもよい。

次に、ステップＳ４１０の特徴色検出部１５による領域判定処理を説明する。

たとえば図７は、マーカ５０が設定された被写体を示す。特徴色検出部１５は、画像データにおいてマーカ５０が設定された被写体に対し、領域判定動作を行う。領域判定動作を可能にするため、特徴色検出部１５は、色記憶処理、検索領域取得処理、および、色情報検索処理を行う。以下具体的に説明する。

色記憶処理は、マーカ５０内の画像データの色情報を記録媒体に記憶する処理である。ここで記憶媒体としては、図示されないバッファメモリ、フラッシュメモリ、メモリカードなどが考えられるが、これに限らない。画像記録部１２が有する記録媒体に色情報を記憶してもよい。

特徴色検出部１５は、マーカ５０内の画像データを取得する（図８（Ａ））。そして特徴色検出部１５は、マーカ５０内の画像データの色情報を取得する。ここで色情報は、色相の色空間で表現する。すなわち、色相は、０〜３６０度の位相角として角度により表すことができる。ここで色空間がＨＳＶ色空間の場合、図９のように、Ｒ＝０／Ｇ＝１２０／Ｂ＝２４０の位置関係で表現できる。例えば、該当色が図９のように位置する場合、該当色の角度は、θとなる。これによって、例えば、図８（Ａ）のマーカ５０内の画像データでは、図８（Ｂ）のヒストグラムで表現できる。ここでヒストグラムの横軸は、角度（度）を表しており、縦軸は、図８（Ａ）に示す領域内に存在する各色相の画素の数を表している。横軸は、Ｍｉｎが０度であり、Ｍａｘが３５９度である。

特徴色検出部１５はこのようにして取得されたマーカ５０の色情報を、バッファメモリまたはフラッシュメモリ、メモリカードなどの記憶媒体に記憶する。好ましくは、追尾領域の色情報をデジタルカメラ１に内蔵された記憶媒体に記憶する。このようにすれば、追尾領域の色情報の読み出し時間を短くすることができる。なお、色相はスペクトル上での色の位置で表すことも可能である。この場合、光の波長を３００ｎｍ〜７８０ｎｍで表現することで可能となる。

特徴色検出部１５は、ユーザによって選択された位置における色相を基準とした所定範囲内（たとえば色相の±５％の範囲）の色相を有する領域を、上述の「ほぼ同色である範囲」として検出する。この処理が検索領域取得処理である。そして、特徴色検出部１５は、検索領域取得処理の結果得られた「ほぼ同色である範囲」と同じ色情報を有する範囲を以後も選択された領域として検出し続ける。

なお、特徴色検出部１５は、画面全体の領域から上述の範囲を特定してもよいが、画面の一部の領域から上述の範囲を特定してもよい。

たとえば、ユーザによって選択された位置を含む、大きさの異なる複数（たとえば４つ）の部分領域を設定し、「ほぼ同色である範囲」を所定の割合で含む１つの部分領域の中からその範囲を特定してもよい。たとえば、「ほぼ同色である範囲」の色相が２０％以上３０％未満を占める部分領域のうち、最大の部分領域の中から、その範囲を検索すればよい。

以上、特徴色検出部１５の処理を説明した。

なお、上述したステップＳ４０６の処理（被写体が選択されているか否かの判断処理）を行うタイミングは、一例である。他には、たとえばステップＳ４０１の撮像画像の表示を行った直後、かつ、顔検出処理の前に行ってもよい。

また、選択位置が後に顔検出領域に含まれることになった場合には、コントローラ１８は、特徴色検出部１５による色検出処理に代えて、顔検出部１４による顔検出処理に切り換えるよう、撮像装置１００の動作を制御してもよい。逆に、当初は顔検出処理を行っていたが、被写体が横を向いてしまった等の事情によって顔検出処理ができなくなったときには、特徴色検出部１５による色検出処理に切り換えるよう撮像装置１００の動作を制御してもよい。

以上のように、ユーザが望む被写体を選択することにより、顔検出部１４で検出される人の顔以外にも、顔検出部１４で検出されない動物や、横向きの顔も選択することができ、被写体選択の自由度が高くなり、ユーザの意図する被写体を指定することができる。

さらに、通常選択されることが多い顔検出部１４で検出される領域は、顔検出部１４を常に動作させることにより、選択領域を迅速に確定させることができる。一方、特徴色検出部１４は、領域選択後に領域検出を開始するため、選択領域を確定するまでに時間を要するが、常に動作させる必要がなく、撮像装置１００の処理負荷を軽減することができる。

本実施形態では、第２の特徴検出部として、選択された位置における色情報を基に特定被写体を検出する特徴色検出部１５を用いる形態について説明した。しかしながら、この処理は一例である。選択された位置における被写体の動きを検出し、動き量および動き方向（「動きベクトル」ともいう。）に基づいて、被写体の検出および追従を行ってもよい。または、選択された位置における被写体の明るさ（輝度）の情報をデジタル信号から抽出し、その情報に基づいて被写体の検出および追従を行ってもよい。

本発明の撮像装置は、予め検出されている特定被写体以外の被写体についても選択可能な方式を用いることによりＡＥ，ＡＦ等がユーザの意図する被写体に最適化されることが可能となり、デジタルカメラ、ビデオカメラ等で有用である。

１０ 撮像部
１１ 信号処理部
１２ 画像記録部
１３ 表示部
１４ 顔検出部
１５ 特徴色検出部
１６ 操作部
１７ 特定領域表示部
１８ コントローラ
１００ 撮像装置

Claims (10)

1. 被写体からの光を受けて、前記被写体の像に対応する画像の信号を生成する撮像部と、
   生成された前記画像に含まれる特徴を、予め定められた第１の方法で検出する第１の検出部と、
   生成された前記画像に含まれる特徴を、前記第１の方法とは異なる第２の方法で検出する第２の検出部と、
   生成された前記画像上の位置を指定する操作を受け付ける操作部と、
   前記操作部が前記操作を受け付けた場合に、前記第１の検出部が検出した特徴の領域内に前記操作部が受け付けた位置が存在すると判定したときは、生成された前記画像に含まれる特徴の検出を前記第１の検出部に継続させ、前記第１の検出部が検出した特徴の領域内に前記操作部が受け付けた位置が存在しないと判定したときは、生成された前記画像に含まれる特徴を前記第２の検出部に検出させるコントローラと
   を備えた撮像装置。
2. 前記コントローラは、前記第１の検出部が検出した特徴の領域内に前記操作部が受け付けた位置が存在しないと判定したときは、前記第１の検出部を用いた特徴の検出から、前記第２の検出部を用いた特徴の検出へと切り替える、請求項１に記載の撮像装置。
3. 前記第１の検出部を用いて前記画像の中の特徴を検出しているときにおいて、前記撮像部で生成された画像、および、前記第１の検出部で検出された特徴の位置を表示する表示部をさらに備えた、請求項１又は２に記載の撮像装置。
4. 前記第１の検出部は、予め定められたパターンに基づいて、生成された前記画像の中の特徴を検出し、
   前記第２の検出部は、前記操作部が受け付けた位置および生成された前記画像の色情報に基づいて、生成された前記画像に含まれる特徴を検出する、請求項１から３のいずれかに記載の撮像装置。
5. 前記第１の検出部は、人の顔を構成する複数の部位の形状および配置関係の少なくとも一方を表すパターンに基づいて、生成された前記画像の中の特徴を検出する、請求項４に記載の撮像装置。
6. 前記第１の検出部が前記特徴の位置を検出しているときにおいて、
   前記コントローラは、前記操作部が受け付けた前記位置が、前記特徴が検出された領域内に存在するか否かを判定し、
   前記位置が、前記特徴が検出された領域内に存在するときは、前記表示部に対し、前記コントローラは、検出された前記特徴の位置に視認可能なマークを表示させる、請求項３に記載の撮像装置。
7. 前記第２の検出部が前記特徴の位置を検出しているときにおいて、
   前記コントローラは、前記表示部に対し、前記第２の検出部に検出させた前記画像の特徴の位置に視認可能なマークを表示させる、請求項３に記載の撮像装置。
8. 前記位置が、前記特徴が検出された領域内に存在していた状態から、存在しない状態に変化したときは、前記コントローラは、前記第２の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第２の検出部に対し、前記位置に基づいて前記画像の特徴を検出させる、請求項１から７のいずれかに記載の撮像装置。
9. 前記位置が、前記特徴が検出された領域内に存在しない状態から、存在する状態に変化したときは、前記コントローラは、前記第１の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第１の検出部に対し、前記画像の特徴を検出させる、請求項８に記載の撮像装置。
10. 前記第１検出部、前記第２検出部、および、前記コントローラの少なくとも２つが１つのチップ回路上に形成されている、請求項１から９のいずれかに記載の撮像装置。

Images