WO2015037359A1 - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

　顔認識部（１１０）が、被写体を撮像した撮像画像に含まれる顔を認識する。そして、顔認識部は、認識された顔の向きと位置とをそれぞれ検出する。グループ検出部（１１１）は、撮像画像に含まれる顔のうち、顔認識部で検出された、互いに隣接する２つの顔の向きと位置とに基づき、撮像画像に含まれる顔によるグループを検出する。制御信号出力部（１１２）は、グループ検出部により検出されたグループの方向を示す制御信号を出力する。

Description

撮像装置および撮像装置の制御方法

　本発明は、撮像装置および撮像装置の制御方法に関する。

　従来から、被写体を撮像した撮像画像に対して画像処理を施して、撮像画像から人間の顔を認識し、認識された人間の顔に対して自動的に合焦させるようにした撮像装置が知られている。また、撮像画像から認識した特定の顔を追尾するようにした撮像装置も、知られている。

　一方、特許文献１には、複数の被写体が集まって構成されているグループ全体の映像や、グループ内の被写体のみの組み合わせの映像を撮像することが可能なカメラ制御システムが開示されている。この特許文献１において被写体を特定するための手法として、上述した顔認識技術を適用することが可能である。

特開２００９－００４８７３号公報

　ここで、撮像画像に被写体として含まれる複数の人物がグループを構成する場合、あるグループに含まれる各人物の間には、一定の関係が存在するものと考えられる。上述の特許文献１の技術においては、グループを被写体の大きさから求めた被写体間の距離に基づき形成している。

　しかしながら、各被写体間の距離は、各被写体間に一定の関係が存在するか否かを判定する要因としては不十分であるという問題点があった。例えば、極めて近い距離にいる２の人物が互いに背を向けあっている場合、これら２の人物の間に一定の関係が存在すると画像から判定することは、困難であると考えられる。

　本発明は、上記に鑑みてなされたものであって、撮像画像に含まれる人物によるグループを適切に形成可能な撮像装置および撮像装置の制御方法に関する。

　上述した課題を解決し、目的を達成するために、本発明は、被写体を撮像して撮像画像を出力する撮像部と、撮像画像に含まれる顔を認識し、認識された顔の向きと位置とを検出する顔認識部と、撮像画像に含まれる顔のうち、互いに隣接する２の顔の向きと位置とに基づき、前記撮像画像に含まれる顔によるグループを検出するグループ検出部とを有することを特徴とする。

　本発明によれば、撮像画像に含まれる人物によるグループを適切に形成可能となるという効果を奏する。

図１は、各実施形態に係る撮像装置であるカメラの外観例を示す図である。 図２は、各実施形態に係るカメラの一例の構成を示すブロック図である。 図３は、各実施形態に係る、撮像レンズからの方向を求める方法の例を説明するための図である。 図４は、各実施形態に係る、撮像素子による撮像領域の例を示す図である。 図５は、第１の実施形態に係る、顔の表示の例を示す図である。 図６は、顔の方向の定義を説明するための図である。 図７は、顔の方向の定義を説明するための図である。 図８は、カメラの撮像範囲と顔の位置との関係について説明するための図である。 図９は、カメラの撮像範囲と顔の位置との関係について説明するための図である。 図１０は、第１の実施形態に係る、有効画素領域に含まれる各顔がグループを形成しない例について示す図である。 図１１は、第１の実施形態に係る、有効画素領域に含まれる各顔がグループを形成しない例について示す図である。 図１２は、第１の実施形態に係る、有効画素領域に含まれる各顔がグループを形成する例について示す図である。 図１３は、第１の実施形態に係るグループ検出処理の例を示すフローチャートである。 図１４は、第１の実施形態に係る、グループが拡張されることを説明するための図である。 図１５は、第１の実施形態に係る、グループに注目した撮像動作について説明するための図である。 図１６は、第１の実施形態に係る、グループに注目した撮像動作について説明するための図である。 図１７は、第１の実施形態に係る、グループに注目した撮像動作の例を示すフローチャートである。 図１８は、第１の実施形態に係る、グループに注目した撮像動作について説明するための図である。 図１９は、第１の実施形態に係る、グループに注目した撮像動作について説明するための図である。 図２０は、第１の実施形態に係る、グループに注目した撮像動作について説明するための図である。 図２１は、第２の実施形態によるグループ形成について説明するための図である。 図２２は、第２の実施形態に係るグループ検出処理の例を示すフローチャートである。 図２３は、第２の実施形態に係る、ターゲットの顔が正面向きの場合のグループ検出処理の例を示すフローチャートである。 図２４は、第２の実施形態に係る、ターゲットの顔が左向きの場合のグループ検出処理の例を示すフローチャートである。 図２５は、第２の実施形態に係る、ターゲットの顔が右向きの場合のグループ検出処理の例を示すフローチャートである。 図２６は、第２の実施形態に係る、ターゲットの顔を含むグループに注目した撮像動作の例を示すフローチャートである。 図２７は、第３の実施形態によるグルーピングの例を示す図である。 図２８は、顔の大きさの分布の例を各顔の位置に関連付けて示す図である。 図２９は、第３の実施形態の変形例に係る仮想線について説明するための図である。

　以下に図面を参照しながら、本発明に係る撮像装置および撮像装置の制御方法の好適な実施形態を説明する。係る実施形態に示す具体的な数値および外観構成などは、本発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本発明に直接関係のない要素は詳細な説明および図示を省略している。

（第１の実施形態）
　先ず、第１の実施形態について説明する。図１は、各実施形態に係る撮像装置であるカメラ１の外観例を示す。カメラ１は、カメラ本体１０と基台２０とを備える。カメラ本体１０は、撮像レンズ１１が設けられ、撮像レンズ１１に入射された被写体からの光を電気信号に変換し、この電気信号に対して所定の信号処理を施してディジタルデータの動画像による撮像画像を得る。撮像画像は、所定の画像処理を施されて、例えばカメラ本体１０から出力画像１２１として外部に出力される。

　基台２０は、水平回転部２１と垂直回転部２２とでカメラ本体１０を水平および垂直方向にそれぞれ回転可能に保持する。水平回転部２１および垂直回転部２２は、例えばカメラ本体１０からの制御に従い駆動され、カメラ本体１０を水平および垂直方向に所定の角度範囲で回転させる。水平回転部２１および垂直回転部２２は、外部からの制御信号によって駆動することもできる。

　図２は、各実施形態に係るカメラ１の一例の構成を示す。カメラ１は、光学部１００と、撮像部１０１と、信号処理部１０２と、画像処理部１０３と、ズーム駆動部１１４と、パン・チルト駆動部１１６とを有する。

　光学部１００は、１以上のレンズを含む撮像レンズ１１と、撮像レンズ１１を駆動するレンズ駆動機構などを備える。被写体からの光は、撮像レンズ１１に入射され、光学部１００を介して撮像部１０１に出力される。撮像部１０１は、例えばＣＣＤ(Charge　Coupled　Device)やＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージャなどの撮像素子を備え、光学部１００から入射された光を光電変換により電気信号に変換して出力する。

　撮像部１０１に入射された光に応じて撮像部１０１から出力された信号は、信号処理部１０２に供給される。信号処理部１０２は、撮像部１０１から供給された信号に対してノイズ除去処理やゲイン調整処理など所定の信号処理を施し、Ａ／Ｄ変換によりディジタルデータに変換して撮像画像１２０として出力し、画像処理部１０３と、後述する顔認識部１１０とに供給する。信号処理部１０２は、撮像部１０１に含まれる構成としてもよい。画像処理部１０３は、信号処理部１０２から供給された撮像画像１２０に対してホワイトバランス補正処理やガンマ補正処理などの画像処理を施し、出力画像１２１としてカメラ１の外部に出力する。これに限らず、カメラ１にメモリなど記憶手段を設け、画像処理部１０３から出力された出力画像１２１をメモリに保持してもよい。

　ズーム駆動部１１４は、後述する画角制御部１１３からの画角制御信号に従いレンズ駆動機構を駆動して撮像レンズ１１の画角を制御し、ワイド端（広角端）およびテレ端（狭角端）との間でズーム動作を行う。パン・チルト駆動部１１６は、後述する方向制御部１１５からの方向制御信号に従い水平回転部２１および垂直回転部２２を駆動して、撮像レンズ１１による撮像方向を変える。

　カメラ１は、さらに、顔認識部１１０と、グループ検出部１１１と、制御信号出力部１１２と、画角制御部１１３と、方向制御部１１５とを有する。

　顔認識部１１０は、信号処理部１０２から供給された撮像画像１２０に含まれる顔の認識を行う。顔認識部１１０は、撮像画像１２０に含まれる顔の認識を、既知の方法を用いて行うことができる。例えば、顔認識部１１０は、顔辞書とパターンマッチングを用いた部分空間法により、撮像画像１２０から顔領域および各顔器官を検出して、顔認識を行うことが考えられる。顔認識部１１０は、さらに、撮像画像１２０において認識された顔が向いている方向を検出する。顔認識部１１０は、例えば、認識された顔の顔領域および各顔器官（目、鼻、口など）の位置関係に基づき、当該顔が向いている方向を検出することができる。

　顔認識部１１０は、例えば、顔認識結果に従い、認識された各顔の撮像画像１２０内での位置を示す顔位置情報と、各顔の向きを示す顔方向情報とを出力する。また、顔認識部１１０は、顔認識を行った撮像画像１２０を出力する。顔認識部１１０から出力された顔位置情報および顔方向情報と、撮像画像１２０とがグループ検出部１１１に供給される。

　グループ検出部１１１は、顔認識部１１０から供給された顔位置情報および顔方向情報と、撮像画像１２０とに基づき、撮像画像１２０内で認識された各顔の組を含むグループを検出する。グループ検出部１１１は、検出したグループに含まれる顔の組の情報と撮像画像１２０とを制御信号出力部１１２に供給する。

　制御信号出力部１１２は、グループ検出部１１１から供給された、グループに含まれる顔の組の情報と、撮像画像１２０とに基づき、カメラ１に対するグループの方向を求める。例えば、グループ検出部１１１は、グループに含まれる各顔に基づき、当該グループの顔による重心位置を求める。制御信号出力部１１２は、例えば、カメラ１の撮像レンズ１１から、この求めた重心位置に向けた方向を、グループの方向として求め、方向を示す情報を出力する。

　一例として、図３に例示されるように、カメラ１により撮像される撮像画像に対応する仮想的な撮像面５１を考え、重心位置５０がこの撮像面５１上の点であるものとする。この仮想的な撮像面５１は、例えば図４で後述する有効画素領域２０２に対応する。また、カメラ１と撮像面５１との間の距離を距離Ｄとする。制御信号出力部１１２は、後述する画角制御部１１３から、撮像レンズ１１による画角αを取得する。また、制御信号出力部１１２は、撮像画像から、撮像面５１上における、撮像画像の中心から水平方向の端および重心位置までの各距離Ｌ₁およびＬ₂を取得する。

　そして、制御信号出力部１１２は、画角αの１／２の角度である角度θと、各距離Ｄ、Ｌ₁およびＬ₂とから、下記の式（１）に従い、カメラ１の重心位置に向けた方向を示す方向角ψを求める。なお、距離Ｄは、式（１）の導出過程において相殺され式（１）には出現しない。
ψ＝tan^-1｛(Ｌ₂/Ｌ₁)tanθ｝　　…（１）

　ここでは、制御信号出力部１１２がグループの重心位置をグループの方向を示す情報として求めるように説明したが、これは一例であって、この例に限定されない。すなわち、実際には、制御信号出力部１１２は、グループの水平方向の両端を構成する各顔の方向を示す情報をそれぞれ求め、グループの重心位置の方向を示す情報と共に、そのグループの方向を示す情報として出力する。

　制御信号出力部１１２から出力された、グループの方向を示す情報は、画角制御部１１３と方向制御部１１５とに供給される。画角制御部１１３は、与えられた情報に従いズーム駆動部１１４を駆動して、撮像レンズ１１による画角が所定の画角になるように制御する。例えば、画角制御部１１３は、制御信号出力部１１２から供給されたグループの方向を示す情報に従い、画角を算出する。そして、画角制御部１１３は、撮像レンズ１１による画角が算出された画角になるように、ズーム駆動部１１４を駆動し、ズーム動作を行う。

　方向制御部１１５は、与えられた情報に従いパン・チルト駆動部１１６を駆動して水平回転部２１および垂直回転部２２を回転させ、カメラ１による撮像方向が所定の方向を向くように制御する。例えば、方向制御部１１５は、制御信号出力部１１２から供給されたグループの方向を示す情報に従い、撮像方向の変化分を算出する。そして、方向制御部１１５は、カメラ１の撮像方向が算出された変化分だけ変化するように、パン・チルト駆動部１１６を駆動し、パン動作を行う。なお、ここでは、撮像方向を水平方向に変化させるパン動作と、撮像方向を垂直方向に変化させるチルト動作とを、纏めてパン動作と呼ぶ。

（用語などの定義）
　次に、第１の実施形態に係るグループ検出について、より詳細に説明する。先ず、グループ検出の説明に先んじて、以下の説明に用いる各用語や図面表記などの定義を行う。図４は、撮像部１０１が有する撮像素子による撮像領域の例を示す。図４において、撮像素子２００は、画素領域として、撮像素子２００上の全ての画素で構成される総画素領域２０１と、総画素領域２０１内において画像信号として処理可能な領域である有効画素領域２０２とを含む。総画素領域２０１において、有効画素領域２０２外の領域は、オプチカルブラック領域などの画像信号を出力する領域として使用できない領域である。また、記録画素領域２０３は、有効画素領域２０２内で、出力画像１２１として処理される画像領域である。

　例えば、撮像部１０１から、有効画素領域２０２の全域に対応する画像信号が出力される。信号処理部１０２は、撮像部１０１から供給されたこの画像信号に対して所定の信号処理を施して、有効画素領域２０２の全画素を含む画像を撮像画像１２０として出力する。画像処理部１０３は、信号処理部１０２から供給された撮像画像１２０から、記録画素領域２０３に対応する領域の画素を切り取り、出力画像１２１として出力する。

　図５は、第１の実施形態に係る、顔の表示の例を示す。図５は、顔３００を真上から見た状態を示す。図５において、顔３００は、頭部３０１と鼻３０２とで簡略的に示されている。顔３００は、鼻３０２が向いている方向を正面とし、正面を角度φ＝０°と定義する。また、図において、角度は、反時計回りに０°から１８０°まで正方向に変化し、時計回りに０°から－１８０°まで負方向に変化する。

　図６は、以下の説明における顔の方向の定義を示す。図６（ａ）は、顔をカメラ１側から見た場合の例を示す。また、図６（ｂ）は、顔を真上から見た場合の方向の例を示す。図６（ｂ）の場合、カメラ１は、図の下方に設置され、撮像レンズ１１が上方を向けられているものとする。図６（ａ）および図６（ｂ）に示すように、以下では、顔の向きをカメラ１から見た、頭部３０１に対する鼻３０２の向きによって定義するものとする。

　例えば、図６（ａ）および図６（ｂ）の顔３００ｃに示すように、鼻３０２が頭部３０１の略中央にある場合に、顔３００ｃが正面を向いているものとする。また、図６（ａ）および図６（ｂ）の顔３００ａに示すように、鼻３０２が頭部３０１に対して左側に見える場合に、顔３００ａが左方向を向いているものとし、顔３００ｂに示すように、鼻３０２が頭部３０１において左側にずれて見える場合に、顔３００ｂが左斜め方向を向いているものとする。なお、以下では、左方向を向いている顔３００ａと、左斜め方向を向いている顔３００ｂとを区別せず、顔３００ａおよび３００ｂが共に左方向を向いているものとして扱う。

　右方向を向いている顔３００ｄおよび３００ｅについても、同様である。すなわち、右斜め方向を向いている顔３００ｄと、右方向を向いている顔３００ｅとを区別せず、顔３００ｄおよび３００ｅが共に右方向を向いているものとして扱う。

　また、２の顔が並んでいる場合、これら２の顔は、互いに向き合っている状態と向き合っていない状態との２の状態が定義される。図７を用いて、この２の状態について説明する。図７は、２の顔が並んでいる状態を、顔を上から見た例を示す。図７に例示されるように、顔３００ｃおよび３００ｃ’が、互いに平行な方向３５０および３５１をそれぞれ向いている場合には、これら顔３００ｃおよび３００ｃ’は、向き合っていないものとする。一方、顔３００ｃおよび３００ｃ’が、方向３５０および３５１に対して内側の方向３５２および３５３をそれぞれ向いている場合には、これら顔３００ｃおよび３００ｃ’は、向き合っているものとする。

　実際には、互いに平行とされる方向に対してマージンを持たせ、２の顔の向きが平行から所定範囲内でぶれても、当該２の顔が平行であると見做すようにすると、好ましい。

　図８および図９を用いて、カメラ１の撮像範囲と顔の位置との関係について説明する。信号処理部１０２は、撮像部１０１から供給される画像信号から、撮像レンズ１１による画角の範囲において有効画素領域２０２の撮像画像１２０を得る。上述したように、この有効画素領域２０２による撮像画像１２０は、画像処理部１０３における画像処理により、有効画素領域２０２よりも小さい記録画素領域２０３が切り取られ、この記録画素領域２０３の画像が出力画像１２１とされる。

　ここで、図８に例示されるように、有効画素領域２０２内に５の顔３００ａ～３００ｅが撮像され、そのうち３の顔３００ｂ～３００ｄが記録画素領域２０３に含まれる場合について考える。信号処理部１０２から出力された撮像画像１２０は、画像処理部１０３と顔認識部１１０とに供給される。そのため、有効画素領域２０２に含まれ、且つ、記録画素領域２０３に含まれない顔３００ａおよび３００ｅは、出力画像１２１には含まれない。その一方で、顔３００ａおよび３００ｅは、記録画素領域２０３に含まれる顔３００ｂ～３００ｄと同様に、顔認識部１１０における顔認識処理や、グループ検出部１１１におけるグループ検出処理の対象となる。

　図９は、図８の状態に対応する、各顔３００ａ～３００ｅを真上から見た状態の例を示す。有効画素領域２０２の水平方向の領域２０２は、カメラ１の撮像レンズ１１（光学部１００）による画角に対応する。また、記録画素領域２０３の水平方向の領域２０３は、撮像レンズ１１に対する角度が画角より小さい。

（グループ検出処理）
　次に、第１の実施形態に係る、顔が属するグループの検出方法について説明する。第１の実施形態では、グループ検出部１１は、互いに隣接する２の顔の向きと位置とに基づき、顔が属するグループを検出する。より具体的には、グループ検出部１１１は、顔認識部１１０で撮像画像１２０すなわち有効画素領域２０２から認識された各顔のうち、互いに向き合う方向を向いた２の顔を両端に含む顔の組を、グループとして検出する。

　図１０および図１１は、第１の実施形態に係る、有効画素領域２０２に含まれる各顔３００ａ～３００ｅがグループを形成しない例について示す。図１０は、有効画素領域２０２に含まれる各顔３００ａ～３００ｅが全て左を向いている例である。この場合、各顔３００ａ～３００ｅにおいて互いに向き合う方向を向いた顔の組が存在しないため、グループ検出部１１１は、グループが存在しないと判定する。

　図１１は、有効画素領域２０２に含まれる各顔３００ａ～３００ｅにおいて、互いに異なる方向を向いている顔が存在し、且つ、各顔３００ａ～３００ｅがグループを形成しない例である。図１１において、顔３００ａおよび３００ｂが左を向き、顔３００ｃ～３００ｅが右を向いており、互いに向き合う方向を向いた顔の組が存在しないため、グループ検出部１１１は、グループが存在しないと判定する。

　図１２は、第１の実施形態に係る、有効画素領域２０２に含まれる各顔３００ａ～３００ｅがグループを形成する例について示す。図１２において、グループ検出部１１１は、顔認識部１１０から供給された顔位置情報および顔方向情報に基づき、顔３００ｂが右を向き、顔３００ｂに隣接する顔３００ｃが左を向いており、顔３００ｂおよび３００ｃが互いに向き合う方向を向いていると判定する。したがって、グループ検出部１１１は、顔３００ｂおよび３００ｃを両端とするグループ３１０ａを検出する。さらに、グループ検出部１１１は、顔位置情報および顔方向情報に基づき、顔３００ｄが右を向き、顔３００ｄに隣接する顔３００ｅが左を向いており、顔３００ｄおよび３００ｅが互いに向き合う方向を向いていると判定する。したがって、グループ検出部１１１は、顔３００ｄおよび３００ｅを両端とするグループ３１０ｂを検出する。

　一方、グループ検出部１１１は、顔位置情報および顔方向情報に基づき、顔３００ａが左を向き、顔３００ａに隣接する顔３００ｂが右を向いており、顔３００ａおよび３００ｂが互いに向き合う方向を向いておらず、グループを形成していないと判定する。同様に、グループ検出部１１１は、顔３００ｃが左を向き、顔３００ｃに隣接する顔３００ｄが右を向いており、顔３００ｃおよび３０３ｄが互いに向き合う方向を向いておらず、グループを形成してないと判定する。

　なお、例えば図９における顔３００ｃのように、カメラ１に対して正面を向いている顔は、グループの端を構成しないものとする。また、顔がカメラ１に対して上方、下方または後ろなどを向き、顔検出できない場合も有り得る。このような場合は、そもそも顔が検出されないため、これらの状態の顔はグループの端を構成しない。

　図１３は、第１の実施形態に係るグループ検出部１１１によるグループ検出処理の例を示すフローチャートである。図１３のフローチャートによる処理は、所定の間隔、例えば撮像画像１２０のフレーム周期の間隔で繰り返して実行される。第１の実施形態では、グループ検出部１１１は、有効画素領域２０２における水平方向の一方の端から他方の端に向けて、順次各顔の方向を判定し、グループを検出する。以下の例では、グループ検出部１１１は、有効画素領域２０２の左端から右端に向けて、各顔の向きを判定するものとする。

　図１３において、ステップＳ１００で、グループ検出部１１１は、現在判定対象としている顔の右に次の顔が存在するか否かを判定する。有効画素領域２０２に対する最初の処理である場合には、グループ検出部１１１は、当該有効画素領域２０２内に顔が存在するか否かを判定することになる。グループ検出部１１１は、次の顔が存在しないと判定した場合、有効画素領域２０２内にグループが存在しないとして、図１３のフローチャートにおける一連の処理を終了する。

　グループ検出部１１１は、ステップＳ１００で次の顔が存在すると判定した場合、当該次の顔を対象の顔として、処理をステップＳ１０１に移行させる。ステップＳ１０１で、グループ検出部１１１は、対象の顔の向きを判定する。グループ検出部１１１は、対象の顔の向きが左または正面向きであると判定した場合、処理をステップＳ１００に戻す。

　グループ検出部１１１は、ステップＳ１０１で、対象の顔の向きが右向きであると判定した場合、処理をステップＳ１０２に移行させ、当該対象の顔をグループ候補に登録する。グループ検出部１１１は、次のステップＳ１０３で、対象の顔の右に次の顔が存在するか否かを判定する。グループ検出部１１１は、次の顔が存在しないと判定した場合、図１３のフローチャートによる一連の処理を終了する。この場合、ステップＳ１０２で顔が登録されたグループ候補は、破棄される。

　グループ検出部１１１は、ステップＳ１０３で次の顔が存在すると判定した場合、当該次の顔を新たな対象の顔として、処理をステップＳ１０４に移行させる。ステップＳ１０４で、グループ検出部１１１は、対象の顔の向きを判定する。グループ検出部１１１は、対象の顔の向きが右または正面向きであると判定した場合、処理をステップＳ１０２に戻し、当該対象の顔をグループ候補に追加登録する。

　グループ検出部１１１は、ステップＳ１０４で、対象の顔の向きが左向きであると判定した場合、処理をステップＳ１０５に移行させ、当該対象の顔をグループ候補に追加登録する。グループ検出部１１１は、次のステップＳ１０６で、対象の顔の右に次の顔が存在するか否かを判定する。グループ検出部１１１は、次の顔が存在しないと判定した場合、処理をステップＳ１１０に移行させ、グループ候補に登録された顔でグループを形成する。そして、図１３のフローチャートによる一連の処理を終了する。

　グループ検出部１１１は、ステップＳ１０６で次の顔が存在すると判定した場合、当該次の顔を新たな対象の顔として、処理をステップＳ１０７に移行させる。ステップＳ１０７で、グループ検出部１１１は、対象の顔の向きを判定する。グループ検出部１１１は、対象の顔の向きが左または正面向きであると判定した場合、処理をステップＳ１０５に戻し、当該対象の顔をグループ候補に追加登録する。

　グループ検出部１１１は、ステップＳ１０７で、対象の顔の向きが右向きであると判定した場合、処理をステップＳ１０８に移行させ、グループ候補に登録された顔でグループを形成する。このとき、グループ検出部１１１は、形成したグループに、当該グループを識別する識別情報を付与する。ここでは、識別情報を、値が「１」からインクリメントされるグループ番号であるものとする。

　グループ検出部１１１は、次のステップＳ１０９で、グループ番号を例えば１だけインクリメントして、次のグループの検出処理を準備する。そして、グループ検出部１１１は、処理をステップＳ１００に戻し、ステップＳ１０６で存在すると判定した顔の右に次の顔が存在するか否かを判定する。

　グループ検出部１１１は、この図１３のフローチャートによる処理を、所定の時間間隔で繰り返して実行することにより、顔の向きの変化に対応してグループを検出することができる。例えば、上述した図１２の状態から顔３００ｅが右向きに変化した場合、グループ検出部１１１は、顔３００ｅが右向きの状態で、各顔３００ａ～３００ｅによるグループを検出する。この場合には、グループ３１０ｂを構成していた顔３００ｄおよび３００ｅが共に右向きとなってしまうため、グループ３１０ｂが消滅する。したがって、グループ検出部１１１は、図１３のフローチャートに従い、顔３００ｂおよび３００ｃによるグループ３１０ａのみを検出することになる。

　また、図１２の状態から、顔３００ｄの向きが左向きに変化した場合、グループ検出部１１１は、顔３００ｄが左向きの状態で、各顔３００ａ～３００ｅによるグループを検出する。すなわち、図１４に例示されるように、顔３００ｄが左を向くことで、顔３００ｂおよび３００ｄが互いに向き合う方向を向くため、顔３００ｂおよび３００ｃにより形成されるグループ３１０ａが拡張され、これら顔３００ｂおよび３００ｄを両端とする顔の組を含むグループ３１０ａ’が形成される。したがって、グループ検出部１１１は、図１３のフローチャートに従い、顔３００ｂ、３００ｃおよび３００ｄによるグループ３１０ａ’を検出することになる。

（グループに注目した撮像動作）
　次に、第１の実施形態に係る、グループに注目した撮像動作について説明する。第１の実施形態では、ズーム動作やパン動作などにより、グループ検出部１１１が検出したグループに注目した撮像を行う。

　一例として、図１５に示されるように、顔３００ａ～３００ｅのうち顔３００ｂおよび３００ｃがグループ３１０ｃを形成しているものとする。また、図１５において、グループ３１０ｃ（顔３００ｂおよび３００ｃ）と、顔３００ｄとが記録画素領域２０３に含まれ、顔３００ａ～３００ｅが有効画素領域２０２に含まれているものとする。

　この状態において、図１６に例示されるように、カメラ１は、カメラ１をグループ３１０ｃの方向にパンすると共に、レンズ１１をテレ端側にズームして、記録画素領域２０３が顔３００ｂおよび３００ｃを含み顔３００ｄを含まないように撮像を行う。これにより、カメラ１は、グループ３１０ｃすなわち顔３００ｂおよび３００ｃが注目された出力画像１２１を得ることができる。

　このとき、カメラ１は、顔３００ｂおよび顔３００ｃが最大限に画角内に収まるようにズーム動作およびパン動作を行なってもよいし、それぞれの顔の縦横の幅を考慮して、顔の幅を記録画素領域２０３に対して所定の割合になるように画角および撮像方向を設定してもよい。これによって、カメラ１は、顔のズーム映像やバストアップ映像など様々な構図でグループを撮影できる。

　図１７は、第１の実施形態に係る、グループに注目した撮像動作の例を示すフローチャートである。図１７において、ステップＳ１２０で、グループ検出部１１１は、上述した図１３のフローチャートに従い、撮像画像１２０すなわち有効画素領域２０２に含まれる全グループの検出を行う。次のステップＳ１２１で、制御信号出力部１１２は、ステップＳ１２０で検出された全グループによる重心が出力画像１２１すなわち記録画素領域２０３の中心に位置するようにパンさせるための制御信号を出力する。方向制御部１１５は、この制御信号に従いパン・チルト駆動部１１６を制御して、カメラ１の撮像方向を変更させる。

　ここで、重心は、例えばグループの重心の場合、グループに含まれる各顔のグループ内での相対位置を平均した値である。また、全グループによる重心は、各グループの重心を平均した値である。

　次のステップＳ１２２で、制御信号出力部１１２は、カメラ１の撮像モードが一括モードおよび個別モードの何れであるかを判定する。一括モードは、撮像画像１２０に含まれる全グループを一括して撮像するための動作モードである。また、個別モードは、撮像画像１２０に含まれる全グループを、グループ毎に撮像するための動作モードである。なお、カメラ１は、例えば、図示されない操作部に対するユーザ操作に応じて撮像モードを設定可能とされている。

　制御信号出力部１１２は、ステップＳ１２２で、カメラ１の動作モードが一括モードであると判定した場合、処理をステップＳ１２３に移行させる。ステップＳ１２３で、制御信号出力部１１２は、全グループにおける最も左にあるグループに含まれる左端の顔の位置と、最も右にあるグループに含まれる右端の顔によって構成される全グループにおける両端位置と、撮像レンズ１１による画角に基づき、ズーム動作により全グループが画像内すなわち記録画素領域２０３内に収まるか否かを判定する。

　例えば、制御信号出力部１１２は、撮像レンズ１１を広角端にズーム動作した場合の画角βと、全グループにおける両端位置の仮想的な撮像面５１における位置とを取得して、上述した式（１）に基づきステップＳ１２３による判定を行うことが考えられる。この場合、制御信号出力部１１２は、撮像レンズ１１の光軸の撮像面５１における位置を基準として、当該各顔のうち撮像レンズ１１の光軸から遠い方の顔の光軸との距離を距離Ｌ₂として、上述の式（１）から角度ψを求める。そして、制御信号出力部１１２は、角度ψと角度(β／２)とを比較した結果に基づき、全グループが画像内すなわち記録画素領域２０３内に収まるか否かを判定する。

　制御信号出力部１１２は、ステップＳ１２３において、ズーム動作により撮像レンズ１１の画角を所定画角、例えば広角端に広げた場合に全グループが記録画素領域２０３内に収まると判定した場合、処理をステップＳ１２４に移行させる。ステップＳ１２４で、制御信号出力部１１２は、全グループが画像内すなわち記録画素領域２０３内に収まるようなズーム動作を行うための制御信号を出力し、画角制御部１１３に供給する。そして、図１７のフローチャートによる一連の処理が終了する。

　この場合、制御信号出力部１１２は、撮像レンズ１１を所定画角に広げるように駆動するための制御信号を生成することが考えられる。これに限らず、制御信号出力部１１２は、撮像レンズ１１の画角を上述したステップＳ１２３で式（１）を用いて求めた角度ψに基づき制御するための制御信号を生成してもよい。

　制御信号出力部１１２は、ステップＳ１２３で、ズーム動作により撮像レンズ１１の画角を所定画角に広げた場合に全グループが記録画素領域２０３内に収まらないと判定した場合、処理をステップＳ１２５に移行させる。ステップＳ１２５で、制御信号出力部１１２は、撮像レンズ１１を所定画角、例えば広角端にズーム動作させ、且つ、カメラ１をグループ毎にパン動作させるための制御信号を出力し、画角制御部１１３および方向制御部１１５に供給する。

　ステップＳ１２５の動作について、図１８および図１９を用いて説明する。図１８は、有効画素領域２０２内に、グループ３１０ｄおよびグループ３１０ｅの２のグループが、比較的近い距離に形成された例を示す。この図１８の例では、カメラ１は、撮像レンズ１１を例えば広角端にズーム動作させ、グループ３１０ｄおよび３１０ｅの重心に向けてパン動作させることで、記録画素領域２０３にグループ３１０ｄおよび３１０ｅを含ませることができる。

　この場合、制御信号出力部１１２は、例えば広角端にズーム動作をさせるための制御信号を生成して画角制御部１１３に供給する。それと共に、制御信号出力部１１２は、グループ３１０ｄおよび３１０ｅの重心に向けてパン動作させるための制御信号を生成して方向制御部１１５に供給する。

　一方、図１９は、有効画素領域２０２内に、グループ３１０ｆおよびグループ３１０ｇの２のグループが、比較的遠い距離に形成された例を示す。この図１９の例では、カメラ１は、撮像レンズ１１を例えば広角端にズーム動作させ、且つ、グループ３１０ｆおよび３１０ｇの重心に向けてパン動作させても、グループ３１０ｆおよび３１０ｇのうち一部が記録画素領域２０３からはみ出てしまう。この場合、カメラ１は、撮像レンズ１１を例えば広角端にズーム動作させ、先ず、例えばグループ３１０ｆの重心に向けてパン動作させる。次に、カメラ１は、撮像レンズ１１を例えば広角端にズーム動作させたまま、グループ３１０ｇの重心に向けてパン動作させる。これにより、記録画素領域２０３に、グループ３１０ｆおよび３１０ｇを順次、含ませることができる。

　この場合、制御信号出力部１１２は、先ず、例えば広角端にズーム動作をさせるための制御信号を生成して画角制御部１１３に供給すると共に、グループ３１０ｆの重心に向けてパン動作させるための制御信号を生成して方向制御部１１５に供給する。そのパン動作の所定時間後に、制御信号出力部１１２は、グループ３１０ｇの重心に向けてパン動作させるための制御信号を生成して方向制御部１１５に供給する。その後、図１７のフローチャートによる一連の処理が終了される。

　上述のステップＳ１２２で、制御信号出力部１１２は、カメラ１の動作モードが個別モードであると判定した場合、処理をステップＳ１２６に移行させる。ステップＳ１２６で、制御信号出力部１１２は、カメラ１をグループ毎にパン動作させ、且つ、撮像レンズ１１をグループ毎にテレ端側にズーム動作させるための制御信号を生成し、方向制御部１１５および画角制御部１１３に供給する。

　図２０は、このステップＳ１２６による、グループ毎にパン動作およびズーム動作を行う場合の例を示す。図２０において、顔３００ｂ’および３００ｃ’によりグループ３１０ｆが形成され、グループ３１０ｆの右側に顔３００ｄ’および３００ｅ’によりグループ３１０ｇが形成されている。

　左側のグループから順にパン動作を行う場合、制御信号出力部１１２は、先ず、グループ３１０ｆの重心の方向を求めると共に、グループ３１０ｆに含まれる顔３００ｂ’および３００ｃ’の仮想的な撮像面５１上の各位置（有効画素領域２０２における位置）を求め、求めた各位置が記録画素領域２０３の例えば両端（実際には、各顔３００ｂ’および３００ｃ’の輪郭を考慮した各位置）に位置するような画角γ₁を算出する。この場合、画角γ₁は、例えば現在の画角αと顔３００ｂ’および３００ｃ’の撮像面５１上の位置と、テレ端へのズーム動作後の顔３００ｂ’および３００ｃ’の撮像面５１上の位置とに基づき、上述した式（１）を用いて算出することができる。

　制御信号出力部１１２は、グループ３１０ｆの重心の方向にパン動作させるための制御信号を生成して方向制御部１１５に供給する。それと共に、撮像レンズ１１の画角を算出した画角γ₁に変更させるための制御信号を生成して画角制御部１１３に供給する。

　制御信号出力部１１２は、方向制御部１１５および画角制御部１１３によりそれぞれ制御信号に従いパン動作およびズーム動作がなされた所定時間後に、上述と同様にして、グループ３１０ｇの重心の方向を求め、顔３００ｄ’および３００ｅ’に対してズーム動作をさせるための画角γ₂を算出する。そして、制御信号出力部１１２は、グループ３１０ｇの重心の方向にパン動作させるための制御信号を生成して方向制御部１１５に供給し、撮像レンズ１１の画角を算出した画角γ₂に変更させるための制御信号を生成して画角制御部１１３に供給する。

　ステップＳ１２６において、有効画素領域２０２に含まれる全てのグループに対してパン動作およびズーム動作が行われたら、図１７のフローチャートによる一連の処理が終了される。これに限らず、カメラ１は、有効画素領域２０２に含まれる各グループに対するパン動作およびズーム動作を繰り返してもよい。

　ここで、有効画素領域２０２に含まれる各顔のうち例えば１つの顔が、極めて短時間、方向を変えた場合について考える。上述した図１３のフローチャートによる処理を、フレーム周期など所定周期で繰り返して実行する場合、顔の短時間の方向変化が検出されてしまい、方向変化の検出毎にグループ構成が変化するおそれがある。方向変化の検出毎にグループ構成が変化した場合、カメラ１は、方向変化の検出毎に図１７のフローチャートに従ったパン動作およびズーム動作を実行し、出力画像１２１による表示などが落ち着かないものとなってしまう可能性がある。

　この現象は、例えば、図１７のステップＳ１２４、ステップＳ１２５およびステップＳ１２６の各動作の実行タイミングに対してローパスフィルタ処理を施すことで抑制可能である。すなわち、ローパスフィルタ処理により、短時間の顔の向きの変化に対する各動作の反応が抑制され、落ち着いた表示を実現できる。

　以上説明したように、第１の実施形態によれば、撮像画像１２０に含まれる各顔を適切にグルーピングできる。また、各顔のグルーピング結果に応じてパン動作およびズーム動作を実行できるため、複数の顔が含まれる撮像画像１２０において、互いに関連する顔に注目することができる。

（第２の実施形態）
　次に、第２の実施形態について説明する。上述の第１の実施形態では、有効画素領域２０２の左右の何れかの端から順に顔の向きを判定してグループを形成していた。これに対して、第２の実施形態では、有効画素領域２０２に含まれる顔のうち、ターゲットとして指定された顔を含むグループを形成する。

　図２１を用いて、第２の実施形態によるグループ形成について説明する。図２１において、有効画素領域２０２内に含まれる顔３００ａ、３００ｂ、３２０、３００ｄおよび３００ｅのうち、顔３２０を、グループ形成のターゲットとして指定する。以下、顔３２０をターゲット３２０と呼ぶ。

　第２の実施形態では、有効画素領域２０２に含まれる顔のうち、ターゲット３２０と、ターゲット３２０の方を向いている顔とを含むグループ３２１（ターゲット所属グループ３２１と呼ぶ）を形成する。このとき、ターゲット３２０が左、左斜め、正面、右斜めおよび右の何れの方向を向いているかは、問わない。

　図２１の例では、ターゲット３２０は、有効画素領域２０２に含まれる各顔の中央に位置する。これに対して、ターゲット３２０の左側に位置する顔３００ａは、左向きであってターゲット３２０の方を向いておらず、ターゲット所属グループ３２１に含まれない。一方、ターゲット３２０の左側に位置する顔３００ｂは、右向きであって、ターゲット３２０の方を向いており、ターゲット所属グループ３２１に含まれる。また、ターゲット３２０の右側に位置する顔３００ｄおよび３００ｅは、それぞれ左向きであって、ターゲット３２０の方を向いており、ターゲット所属グループ３２１に含まれる。

　なお、ターゲット所属グループ３２１に対するズーム動作やパン動作は、上述した第１の実施形態と同様であるので、ここでの説明を省略する。

　図２２～図２５のフローチャートを用いて、第２の実施形態に係るグループ検出部１１１によるグループ検出処理の例について説明する。なお、図２２～図２５において、符号「Ａ」、「Ｂ」および「Ｃ」は、対応する符号に処理が移行されることを示す。また、以下において、ターゲット３２０は、必ずグループに属するものとする。換言すれば、１のターゲット３２０のみが所属するグループも形成可能である。

　以下に説明する図２２～図２５のフローチャートによる処理に先んじて、グループ検出部１１１に対して、有効画素領域２０２内の顔のうち何れかがターゲット３２０として指定される。例えば、カメラ１に設けられた図示されない操作部に対するユーザ操作により、ターゲット３２０を指定することが考えられる。図２２～図２５のフローチャートによる処理は、所定の間隔、例えば撮像画像１２０のフレーム周期の間隔で繰り返して実行される。

　図２２において、ステップＳ２００で、グループ検出部１１１は、先ずターゲット３２０の顔をグループの候補に登録する。次のステップＳ２０１で、グループ検出部１１１は、ターゲット３２０の顔を注目の顔として設定する。そして、次のステップＳ２０２で、グループ検出部１１１は、ターゲット３２０の顔の向きが左向き、正面向きおよび右向きの何れであるかを判定する。グループ検出部１１１は、ステップＳ２０２でターゲット３２０の顔の向きが正面向きであると判定した場合、符号「Ｂ」に従い、処理を図２３のフローチャートによる処理に移行させる。

　処理が図２３のフローチャートに移行されると、ステップＳ２１０で、グループ検出部１１１は、注目の顔の左に顔が存在するか否かを判定する。若し、存在すると判定した場合、グループ検出部１１１は、処理をステップＳ２１１に移行させ、注目の顔の左に存在する顔の向きを判定する。グループ検出部１１１は、注目の顔の左に存在する顔が右および正面の何れかを向いていると判定した場合、処理をステップＳ２１２に移行させ、注目の顔の左に存在する顔をグループ候補に登録する。そして、次のステップＳ２１３で、グループ検出部１１１は、この注目の顔の左に存在する顔を新たな注目の顔として、注目の顔を更新する。そして、処理をステップＳ２１０に戻す。

　一方、グループ検出部１１１は、上述のステップＳ２１０で、注目の顔の左に顔が存在しないと判定した場合、または、上述のステップＳ２１１で、注目の顔の左に存在する顔が左を向いていると判定した場合、処理をステップＳ２１４に移行させる。ステップＳ２１４で、グループ検出部１１１は、ターゲット３２０の顔の左に顔が存在するか否かを判定する。若し、ターゲット３２０の顔の左に顔が存在すると判定した場合、グループ検出部１１１は、処理をステップＳ２１５に移行させる。ステップＳ２１５で、グループ検出部１１１は、グループ候補に右向きの顔が登録されているか否かを判定し、登録されていると判定した場合、処理をステップＳ２１６に移行させる。

　一方、グループ検出部１１１は、ステップＳ２１４でターゲット３２０の顔の左に顔が存在しないと判定するか、または、ステップＳ２１５でグループ候補に右向きの顔が登録されていないと判定した場合、処理をステップＳ２２６に移行させる。

　ステップＳ２２６で、グループ検出部１１１は、グループ候補に登録されている顔のうち、ターゲット３２０の顔以外の顔を削除する。これにより、グループ候補には、ターゲット３２０の顔のみが登録されている状態になる。グループ検出部１１１は、ステップＳ２２６の処理が終了すると、処理を後述するステップＳ２２５に移行させる。

　ステップＳ２１６で、グループ検出部１１１は、グループ候補に登録されている顔のうち最も左に位置する右向きの顔よりも左側の登録を削除する。これにより、グループ候補に登録されている顔のうち、正面向きの顔が左端側から削除され、グループ候補の左端には、右向きの顔が登録されることになる。

　次に、グループ検出部１１１は、処理をステップＳ２１７に移行させ、再びターゲット３２０の顔を注目の顔に設定する。そして、次のステップＳ２１８で、グループ検出部１１１は、注目の顔の右に顔が存在するか否かを判定する。若し、存在すると判定した場合、グループ検出部１１１は、処理をステップＳ２１９に移行させ、注目の顔の右に存在する顔の向きを判定する。グループ検出部１１１は、注目の顔の右に存在する顔が左および正面の何れかを向いていると判定した場合、処理をステップＳ２２０に移行させ、注目の顔の右に存在する顔をグループ候補に登録する。そして、次のステップＳ２２１で、グループ検出部１１１は、この注目の顔の右に存在する顔を新たな注目の顔として、注目の顔を更新する。そして、処理をステップＳ２１８に戻す。

　一方、グループ検出部１１１は、上述のステップＳ２１８で、注目の顔の右に顔が存在しないと判定した場合、または、上述のステップＳ２１９で、注目の顔の右に存在する顔が右を向いていると判定した場合、処理をステップＳ２２２に移行させる。ステップＳ２２２で、グループ検出部１１１は、ターゲット３２０の顔の右に顔が存在するか否かを判定する。若し、ターゲット３２０の顔の右に顔が存在すると判定した場合、グループ検出部１１１は、処理をステップＳ２２３に移行させる。ステップＳ２２３で、グループ検出部１１１は、グループ候補に左向きの顔が登録されているか否かを判定し、登録されていると判定した場合、処理をステップＳ２２４に移行させる。

　一方、グループ検出部１１１は、ステップＳ２２２でターゲット３２０の顔の右に顔が存在しないと判定するか、または、ステップＳ２２３でグループ候補に、ターゲットより右側に左向きの顔が登録されていないと判定した場合、処理をステップＳ２２６に移行させ、グループ候補に登録された顔のうちターゲット３２０の顔以外の顔を削除する。

　ステップＳ２２４で、グループ検出部１１１は、グループ候補に登録されている顔のうち、最も右に位置する左向きの顔よりも右側にある顔の登録を削除する。これにより、グループ候補に登録されている顔のうち、正面向きの顔が右端側から削除され、グループ候補の右端には、左向きの顔が登録されることになる。

　次のステップＳ２２５で、グループ検出部１１１は、グループ候補に登録されている顔でグループを構成する。そして、図２３による、ターゲット３２０が正面を向いている場合の一連の処理が終了される。

　上述した図２２のフローチャートのステップＳ２０２で、グループ検出部１１１は、ターゲット３２０の顔の向きが左向きであると判定した場合、符号「Ａ」に従い、処理を図２４のフローチャートによる処理に移行させる。

　図２４のフローチャートによる処理は、上述した図２３のフローチャートによる処理からステップＳ２２６の処理を取り去った処理となる。すなわち、グループ検出部１１１は、ステップＳ２４０で、注目の顔の左に顔が存在するか否かを判定し、存在すると判定した場合、次のステップＳ２４１で注目の顔の左に存在する顔の向きを判定する。グループ検出部１１１は、注目の顔の左に存在する顔が右および正面の何れかを向いていると判定した場合、処理をステップＳ２４２に移行させ、注目の顔の左に存在する顔をグループ候補に登録する。そして、次のステップＳ２４３で、グループ検出部１１１は、この注目の顔の左に存在する顔を新たな注目の顔として注目の顔を更新し、処理をステップＳ２４０に戻す。

　一方、グループ検出部１１１は、上述のステップＳ２４０で、注目の顔の左に顔が存在しないと判定した場合、または、上述のステップＳ２４１で、注目の顔の左に存在する顔が左を向いていると判定した場合、処理をステップＳ２４４に移行させ、ターゲット３２０の顔の左に顔が存在するか否かを判定する。存在すると判定した場合、グループ検出部１１１は、処理をステップＳ２４５に移行させ、グループ候補に右向きの顔が登録されているか否かを判定し、登録されていると判定した場合、処理をステップＳ２４６に移行させる。ステップＳ２４６で、グループ検出部１１１は、グループ候補に登録されている顔のうち、最も左に位置する右向きの顔よりも左側にある顔の登録を削除する。

　一方、グループ検出部１１１は、ステップＳ２４４でターゲット３２０の顔の左に顔が存在しないと判定するか、または、ステップＳ２４５でグループ候補に右向きの顔が登録されていないと判定した場合、処理を後述するステップＳ２５５に移行させる。

　ステップＳ２４６の処理の後、グループ検出部１１１は、処理をステップＳ２４７に移行させ、再びターゲット３２０の顔を注目の顔に設定する。そして、次のステップＳ２４８で、グループ検出部１１１は、注目の顔の右に顔が存在するか否かを判定し、存在すると判定した場合、次のステップＳ２４９に移行で、注目の顔の右に存在する顔の向きを判定する。グループ検出部１１１は、注目の顔の右に存在する顔が左および正面の何れかを向いていると判定した場合、処理をステップＳ２５０に移行させ、注目の顔の右に存在する顔をグループ候補に登録する。そして、次のステップＳ２５１で、グループ検出部１１１は、この注目の顔の右に存在する顔を新たな注目の顔として注目の顔を更新し、処理をステップＳ２４８に戻す。

　一方、グループ検出部１１１は、上述のステップＳ２４８で、注目の顔の右に顔が存在しないと判定した場合、または、上述のステップＳ２４９で、注目の顔の右に存在する顔が右を向いていると判定した場合、処理をステップＳ２５２に移行させる。ステップＳ２５２で、グループ検出部１１１は、ターゲット３２０の顔の右に顔が存在するか否かを判定し、存在すると判定した場合、処理をステップＳ２５３に移行させる。ステップＳ２５３で、グループ検出部１１１は、グループ候補に左向きの顔が登録されているか否かを判定し、登録されていると判定した場合、処理をステップＳ２５４に移行させる。ステップＳ２５４で、グループ検出部１１１は、グループ候補に登録されている顔のうち、最も右に位置する左向きの顔よりも右側にある顔の登録を削除する。

　次のステップＳ２５５で、グループ検出部１１１は、グループ候補に登録されている顔でグループを構成する。そして、図２４による、ターゲット３２０が左を向いている場合の一連の処理が終了される。

　上述した図２２のフローチャートのステップＳ２０２で、グループ検出部１１１は、ターゲット３２０の顔の向きが右向きであると判定した場合、符号「Ｃ」に従い、処理を図２５のフローチャートによる処理に移行させる。

　図２５のフローチャートによる処理は、上述した図２４のフローチャートによる処理において左右の記述を入れ替えたものになる。すなわち、グループ検出部１１１は、ステップＳ２６０で、注目の顔の右に顔が存在するか否かを判定し、存在すると判定した場合、次のステップＳ２６１で注目の顔の右に存在する顔の向きを判定する。グループ検出部１１１は、注目の顔の右に存在する顔が左および正面の何れかを向いていると判定した場合、処理をステップＳ２６２に移行させ、注目の顔の右に存在する顔をグループ候補に登録する。そして、次のステップＳ２６３で、グループ検出部１１１は、この注目の顔の右に存在する顔を新たな注目の顔として注目の顔を更新し、処理をステップＳ２６０に戻す。

　一方、グループ検出部１１１は、上述のステップＳ２６０で、注目の顔の右に顔が存在しないと判定した場合、または、上述のステップＳ２６１で、注目の顔の右に存在する顔が右を向いていると判定した場合、処理をステップＳ２６４に移行させ、ターゲット３２０の顔の右に顔が存在するか否かを判定する。存在すると判定した場合、グループ検出部１１１は、処理をステップＳ２６５に移行させ、グループ候補に左向きの顔が登録されているか否かを判定し、登録されていると判定した場合、処理をステップＳ２６６に移行させる。ステップＳ２６６で、グループ検出部１１１は、グループ候補に登録されている顔のうち、最も右に位置する左向きの顔よりも右側にある顔の登録を削除する。

　一方、グループ検出部１１１は、ステップＳ２６４でターゲット３２０の顔の右に顔が存在しないと判定するか、または、ステップＳ２６５でグループ候補に左向きの顔が登録されていないと判定した場合、処理を後述するステップＳ２７５に移行させる。

　ステップＳ２６６の処理の後、グループ検出部１１１は、処理をステップＳ２６７に移行させ、再びターゲット３２０の顔を注目の顔に設定する。そして、次のステップＳ２６８で、グループ検出部１１１は、注目の顔の左に顔が存在するか否かを判定し、存在すると判定した場合、次のステップＳ２６９に移行で、注目の顔の左に存在する顔の向きを判定する。グループ検出部１１１は、注目の顔の左に存在する顔が右および正面の何れかを向いていると判定した場合、処理をステップＳ２７０に移行させ、注目の顔の左に存在する顔をグループ候補に登録する。そして、次のステップＳ２７１で、グループ検出部１１１は、この注目の顔の左に存在する顔を新たな注目の顔として注目の顔を更新し、処理をステップＳ２６８に戻す。

　一方、グループ検出部１１１は、上述のステップＳ２６８で、注目の顔の左に顔が存在しないと判定した場合、または、上述のステップＳ２６９で、注目の顔の左に存在する顔が左を向いていると判定した場合、処理をステップＳ２７２に移行させる。ステップＳ２７２で、グループ検出部１１１は、ターゲット３２０の顔の左に顔が存在するか否かを判定し、存在すると判定した場合、処理をステップＳ２７３に移行させる。ステップＳ２７３で、グループ検出部１１１は、グループ候補に右向きの顔が登録されているか否かを判定し、登録されていると判定した場合、処理をステップＳ２７４に移行させる。ステップＳ２７４で、グループ検出部１１１は、グループ候補に登録されている顔のうち、最も左に位置する右向きの顔よりも左側にある顔の登録を削除する。

　次のステップＳ２７５で、グループ検出部１１１は、グループ候補に登録されている顔でグループを構成する。そして、図２４による、ターゲット３２０が右を向いている場合の一連の処理が終了される。

　図２６は、第２の実施形態に係る、ターゲットの顔を含むグループに注目した撮像動作の例を示すフローチャートである。図２６において、ステップＳ１５０で、グループ検出部１１１に対して、有効画素領域２０２内の顔のうち何れかがターゲットとして指定される。次のステップＳ１５１で、グループ検出部１１１は、上述の図２２のフローチャートよる処理に従って、ターゲットを含むターゲット所属グループを形成する。

　次のステップＳ１５２で、グループ検出部１１１は、上述の図１３のフローチャートによる処理に従い、有効画素領域２０２に含まれる顔により形成される全てのグループを検出する。このとき、グループ検出部１１１は、有効画素領域２０２に含まれる各顔のうち、ターゲット所属グループに含まれる顔を除外して、グループを形成する。

　次のステップＳ１５３で、制御信号出力部１１２は、ステップＳ１５１で検出されたターゲット所属グループの重心が出力画像１２１すなわち記録画素領域２０３の中心に位置するようにパンさせる制御信号を出力する。方向制御部１１５は、この制御信号に従い、パン・チルト駆動部１１６を制御して、カメラ１の撮像方向を変更させる。

　次のステップＳ１５４で、制御信号出力部１１２は、カメラ１の撮像モードが一括および個別モードの何れであるかを判定する。制御信号出力部１１２は、ステップＳ１５４で、カメラ１の動作モードが一括モードであると判定した場合、処理をステップＳ１５５に移行させる。ステップＳ１５５で、制御信号出力部１１２は、ズーム動作によりターゲット所属グループが画像内すなわち記録画素領域２０３内に収まるか否かを判定する。ここでの判定は、上述した図１７のフローチャートにおけるステップＳ１２３の処理と同様の手順にて実行可能である。

　制御信号出力部１１２は、ステップＳ１５５において、ズーム動作によりターゲット所属グループが記録画素領域２０３内に収まると判定した場合、処理をステップＳ１５６に移行させる。ステップＳ１５６で、制御信号出力部１１２は、ターゲット所属グループが画像内すなわち記録画素領域２０３内に収まるようなズーム動作を行うための制御信号を出力し、画角制御部１１３に供給する。そして、図２３のフローチャートによる一連の処理が終了する。

　制御信号出力部１１２は、ステップＳ１５５で、ズーム動作によりターゲット所属グループが記録画素領域２０３内に収まらないと判定した場合、処理をステップＳ１５７に移行させる。ステップＳ１５７で、制御信号出力部１１２は、撮像レンズ１１を例えば広角端にズーム動作させ、且つ、ターゲット所属グループ内を撮像するようにカメラ１をパン動作させるための制御信号を出力し、画角制御部１１３および方向制御部１１５に供給する。そして、図２６のフローチャートによる一連の処理が終了する。

　なお、図２２～図２５のフローチャートで説明したように、ターゲット所属グループ内にターゲット３２０の顔のみが存在する場合が有り得る。このような場合、カメラ１は、ステップＳ１５７において、ターゲット所属グループ内のパンを行う代わりに、ターゲット３２０の顔が適切な大きさで撮像されるようにズーム動作を行うとよい。

　制御信号出力部１１２は、ステップＳ１５４において、カメラ１の動作モードが個別モードであると判定した場合、処理をステップＳ１５８に移行させる。ステップＳ１５８で、制御信号出力部１１２は、ズーム動作によりターゲット所属グループが画像内すなわち記録画素領域２０３内に収まるか否かを判定する。

　制御信号出力部１１２は、ステップＳ１５８において、ズーム動作によりターゲット所属グループが記録画素領域２０３内に収まると判定した場合、処理をステップＳ１５９に移行させる。ステップＳ１５９で、制御信号出力部１１２は、ターゲット所属グループが画像内すなわち記録画素領域２０３内に収まるように撮像レンズ１１をズーム動作させ、且つ、カメラ１を、ターゲット所属グループを含む全てのグループ毎にパン動作させるための制御信号を出力し、画角制御部１１３および方向制御部１１５に供給する。そして、図２６のフローチャートによる一連の処理が終了する。

　このとき、ステップＳ１５９において、カメラ１は、ターゲット所属グループの撮像を他のグループの撮像動作と異なる動作で行うことで、撮像画像１２０においてターゲット所属グループをより目立たせることができる。このような撮像動作の例としては、ターゲット所属グループを撮像する場合のみ、他のグループと比べて長い時間撮像する、他のグループよりも撮像レンズ１１をテレ端側にズーム動作させてアップで撮像する、他のグループよりもゆっくりパン動作して撮像する、などが考えられる。

　制御信号出力部１１２は、ステップＳ１５８において、ズーム動作によりターゲット所属グループが記録画素領域２０３内に収まらないと判定した場合、処理をステップＳ１６０に移行させる。ステップＳ１６０で、制御信号出力部１１２は、撮像レンズ１１を例えば広角端にズーム動作させ、且つ、カメラ１をターゲット所属グループ内でパン動作させるための制御信号を出力し、画角制御部１１３および方向制御部１１５に供給する。さらに、制御信号出力部１１２は、カメラ１のターゲット所属グループ内のパン動作が終了すると、各グループ毎にパン動作させるための制御信号を出力し、方向制御部１１５に供給する。そして、図２６のフローチャートによる一連の処理が終了する。

　なお、上述したように、ターゲット所属グループ内にターゲット３２０の顔のみが存在する場合が有り得る。このような場合、カメラ１は、ステップＳ１６０において、ターゲット所属グループ内のパンを行う代わりに、ターゲット３２０の顔が適切な大きさで撮像されるようにズーム動作を行うとよい。

　ステップＳ１６０において、カメラ１は、ターゲット所属グループ内をパン動作させる際に、ターゲットの顔の撮像を他の顔の撮像動作と異なる動作で行うことで、ターゲットの顔をより目立たせることができる。このような撮像動作の例としては、ターゲットの顔を撮像する場合のみ、他の顔と比べて長い時間撮像する、他の顔よりも撮像レンズ１１をテレ端側にズーム動作させてアップで撮像する、他の顔よりもゆっくりパン動作させる、などの制御信号を出力して、ターゲットの顔を他の顔と異なるカメラ動作で撮像を行う、などが考えられる。

　カメラ１は、ターゲットの顔を、１つに限らず、複数指定することができる。複数のグループにわたって各ターゲットの顔が所属している場合には、カメラ１は、各ターゲットの顔が所属する複数のグループに対して、上述したターゲット所属グループを目立たせる撮像動作を行なうようにしてもよい。また、１つのグループに複数のターゲットとして指定された顔が所属する場合、カメラ１は、グループ内をパン動作するときに、ターゲットの顔毎に上記のターゲットの顔を目立たせる撮像動作を行なうようにしてもよい。

　以上説明したように、第２の実施形態によれば、撮像画像１２０に含まれる各顔から指定されたターゲットの顔を含むグループを形成することができる。そのため、ターゲットの顔を含むグループに対して選択的にパン動作およびズーム動作を実行できるため、ターゲットの顔を含むグループの注目度を上げることができる。

（第３の実施形態）
　次に、第３の実施形態について説明する。上述の第１の実施形態および第２の実施形態では、有効画素領域２０２内に含まれる各顔が、カメラ１の光軸に対して略垂直な面に直線的に配置されているものとして説明した。第３の実施形態では、有効画素領域２０２内に含まれる顔が、カメラ１の光軸に対して水平方向に略平行な面に、２次元的に、すなわち面状の広がりを持って配置されている場合のグループ形成の例である。

　例えば、多数の人がいる場所において、カメラ１を、各人の顔の位置より高い位置から俯瞰して撮像を行う場合に、各顔が、奥行き方向に面状の広がりを持って撮像画像１２０に配置される。このとき、各顔は、カメラ１からの距離に応じて、画像の垂直方向に配置される。

　撮像画像１２０において顔が２次元的に配置されている場合、各顔のグルーピングは、各顔間の距離と各顔の画像上の大きさとに基づき行うことが考えられる。図２７は、第３の実施形態によるグルーピングの例を示す。

　図２７において、顔認識部１１０は、有効画素領域２０２内の顔３００ｈ～３００ｓを認識し、各顔３００ｈ～３００ｓの有効画素領域２０２内での位置を示す顔位置情報と、各顔３００ｈ～３００ｓの向きを示す顔方向情報とを出力し、グループ検出部１１１に供給する。さらに、顔認識部１１０は、有効画素領域２０２内の各顔３００ｈ～３００ｓの認識処理の際に、各顔３００ｈ～３００ｓの画像上での大きさを取得する。そして、顔認識部１１０は、取得した各顔３００ｈ～３００ｓの大きさを示す顔サイズ情報をグループ検出部１１１に供給する。

　グループ検出部１１１は、顔認識部１１０から供給された顔位置情報および顔サイズ情報に基づき、有効画素領域２０２内に存在する各顔３００ｈ～３００ｓをグルーピングする。

　先ず、グループ検出部１１１は、顔位置情報に基づき、各顔３００ｈ～３００ｓ間の距離を求め、距離の近い顔同士でグループを形成する。例えば、グループ検出部１１１は、各顔３００ｈ～３００ｓについて、隣接する顔との距離を求める。そして、グループ検出部１１１は、各顔３００ｈ～３００ｓについて隣接する顔との距離が求められると、求められた各距離に基づき閾値を設定し、各顔３００ｈ～３００ｓについて、他の各顔との距離をそれぞれ求め、距離が閾値以内の顔を順次抽出してグループを形成する。

　このように、有効画素領域２０２内に含まれる各顔３００ｈ～３００ｓについて、顔の大きさと距離とに基づき形成したグループを、暫定グループと呼ぶ。

　図２７を例にとって説明すると、例えば、グループ検出部１１１は、顔３００ｈについて他の各顔３００ｉ～３００ｓとの距離をそれぞれ求め、距離が閾値以内の顔を抽出する。ここでは、顔３００ｉが、顔３００ｈとの距離が閾値以内の顔であるものとする。次に、グループ検出部１１１は、顔３００ｉと、顔３００ｈを除いた他の各顔３００ｊ～３００ｓとの距離をそれぞれ求め、距離が閾値以内の顔を抽出する。ここでは、顔３００ｊが、顔３００ｉとの距離が閾値以内の顔であるものとする。

　次に、グループ検出部１１１は、顔３００ｊと、顔３００ｈおよび３００ｉを除いた他の各顔３００ｋ～３００ｓとの距離をそれぞれ求め、距離が閾値以内の顔を抽出する。例えば、顔３００ｊに対して距離が閾値以内の顔が抽出できない場合、グループ検出部１１１は、それぞれ距離が閾値以内の顔３００ｈ～３００ｊで暫定グループ３３０ａを形成し、次の顔、例えば顔３００ｋから、他の顔の距離に基づく暫定グループ３３０ｂの形成を行う。グループ検出部１１１は、暫定グループ３３０ｃの形成も同様にして行う。

　グループ検出部１１１は、同様にして、有効画素領域２０２内の各顔３００ｋ～３００ｓに対して距離に基づく暫定グループ形成を行う。図２７の例では、有効画素領域２０２内に、３の暫定グループ３３０ａ～３３０ｃが形成されたものとする。

　さらに、グループ検出部１１１は、各顔３００ｈ～３００ｓの顔サイズ情報に基づくグループ分類を行うことができる。例えば、グループ検出部１１１は、顔サイズ情報に基づき、各顔３００ｈ～３００ｓの大きさの分布を求め、求めた分布から大きさの近い顔同士をグループに分類する。

　ここで、大きさの近い顔同士をグループに分類する方法の一例について説明する。図２７において、有効画素領域２０２内に複数の顔３００ｈ～３００ｓが含まれ、各顔３００ｈ～３００ｓの大きさが、カメラ１により近い有効画素領域２０２の下側でより大きく、カメラ１からより遠い有効画素領域２０２の上側でより小さいのが分かる。図２８は、図２７の例の顔の配置における顔の大きさの分布の例を、各顔３００ｈ～３００ｓの位置に関連付けて示す。図２８において、縦軸は、有効画素領域２０２内での顔の大きさを示し、矢印の方向に向けて顔の大きさが小さくなる。また、横軸は、インデクスｈ～ｓが各顔３００ｈ～３００ｓにそれぞれ対応し、有効画素領域２０２内における各顔３００ｈ～３００ｓの配列を示す。

　一般的に、複数人数で会話するときには、顔の位置に基づくグループの形状は、図２７に示すように、略円状または略弧状の配置になることが多い。このグループをカメラ１で俯瞰的に撮像した場合、撮像画像１２０における顔の大きさは、カメラ１から見てグループの手前側に位置する、後ろ頭（後ろ向き）となる顔が最も大きくなり、グループ両端の顔が次いで大きくなり、グループ奥側の顔が最も小さくなる。

　ここで、後ろ頭となる顔を無視し、グループの両端および奥側に位置する顔の大きさの分布について考える。この場合、グループの形状が略円状または略弧状であれば、グループ奥側の顔が両端の顔よりも小さくなり、顔の大きさの分布は、図２８に破線で示されるように、各グループ３３０ａ、３３０ｂおよび３３０ｃにおいて、上の凸の弓なり形状の分布となる。すなわち、グループの中央部分にある顔の大きさが、グループの両端の顔の大きさよりも大きくなる可能性は、小さい。この、グループにおける顔の大きさの分布の様子に基づき、各顔３００ｈ～３００ｓをグループに分類することができる。

　このとき、グループのうちの後ろ頭に近い向きになる顔を認識した場合は、グループ検出部１１１が行う当該顔のグループ分類は、弓なり形状の分布の様子に基づき行う方法に限られない。この場合、グループ検出部１１１は、例えば、当該顔を、撮像画像１２０において当該グループの直上の、当該顔と向かい合う位置関係にあるグループに分類することができる。

　グループ検出部１１１は、上述の暫定グループを形成する際に、この顔の大きさが上の凸の弓なり形状に分布しているか否かを検出することで、暫定グループの分類精度を高めることができる。

　グループ検出部１１１は、形成された各暫定グループ３３０ａ～３３０ｃについて、上述の第１の実施形態または第２の実施形態と同様にして、それぞれ顔によるグループを形成する。

　図２７に例示される暫定グループ３３０ｃを例にとってグループ形成について説明する。図２７に示されるように、暫定グループ３３０ｃは、顔３００ｏ～３００ｓの５の顔を含む。なお、各顔３００ｏ～３００ｓのうち、顔３００ｒおよび３００ｓは、カメラ１に対して斜め後ろを向いている顔であり、この場合でも、顔３００ｒおよび３００ｓにおいて鼻３０２が検出されていれば、顔の向きを取得できる。

　第３の実施形態の場合、上述した第１の実施形態や第２の実施形態のように、グループ検出部１１１は、暫定グループに所属する何れかの顔の向きに基づきグループを形成することができる。このとき、グループ検出部１１１は、顔の向きの判定を、有効画素領域２０２における各顔の水平方向の位置に応じた順序で実行することが考えられる。図２７の例では、顔３００ｏ、３００ｐおよび３００ｓがそれぞれ右向き、顔３００ｑおよび３００ｒがそれぞれ左向きとなっている。例えば、第１の実施形態のグループ形成方法の場合、例えば暫定グループ３３０ｃの左端の顔３００ｏからグループ形成を行うものとすると、図１３のフローチャートに従い、顔３００ｏ～３００ｓの５の顔により、グループが形成される。

　これに限らず、グループ検出部１１１は、暫定グループに所属する各顔による重心に基づきグループを形成してもよい。すなわち、グループ検出部１１１は、暫定グループに所属する各顔のうち、重心の方向を向いている顔によりグループを形成する。

　制御信号出力部１１２は、第３の実施形態によりこのようにして形成されたグループについて、上述したように、グループ毎などのパン動作およびズーム動作を行うことができる。

　なお、グループ検出部１１１は、例えば顔３００ｒおよび３００ｓのように、後ろまたは斜め後ろを向いた顔については、グループ形成の判定から外してもよい。すなわち、後ろまたは斜め後ろを向いている人は、例えばパン動作およびズーム動作により注目して撮像しても、後ろ頭が撮像されるだけであり、優先度が低いと考えられるからである。

（第３の実施形態の変形例）
　次に、第３の実施形態の変形例について説明する。第３の実施形態の変形例では、上述した第３の実施形態による、各顔がカメラ１の光軸に対して水平方向に略平行な面に、２次元的な広がりを持って配置されている場合において、各顔を結ぶ仮想線を導入したものである。

　図２９を用いて、第３の実施形態の変形例に係る仮想線について説明する。図２９は、テーブル４００の周囲に５の顔３００ｔ～３００ｘが配されている状態を、テーブル４００の真上から見た場合の例である。このとき、各顔３００ｔ～３００ｘの中心を順に結ぶ仮想線３４０を定義し、各顔３００ｔ～３００ｘの向きを、仮想線３４０に対する顔の位置における法線に基づき定義する。このようにして各顔３００ｔ～３００ｘの向きを定義して、上述の第１の実施形態または第２の実施形態によるグループ検出処理を行う。

　第３の実施形態の変形例によるグループ検出処理について、より詳細に説明する。先ず、顔認識部１１０は、有効画素領域２０２内の各顔を認識し、認識した各顔の有効画素領域２０２内での位置を示す顔位置情報と、各顔の有効画素領域２０２内での向きを示す顔方向情報と、各顔の画像上での大きさを示す顔サイズ情報とを取得する。このとき、顔認識部１１０は、各顔の方向を、横顔や斜め後ろ向きを含めて取得する。例えば、顔認識部１１０は、顔の顔領域および各顔器官（目、鼻、口など）の位置関係から、横顔や斜め後ろ向きを含めた顔の方向を取得する。顔認識部１１０は、取得した各顔の顔位置情報、顔方向情報および顔サイズ情報を、グループ検出部１１１に供給する。

　グループ検出部１１１は、第３の実施形態で説明したように、顔認識部１１０から供給された各顔の顔位置情報および顔サイズ情報に基づき暫定グループを形成する。ここでは、図２６に示した顔３００ｔ～３００ｘにより暫定グループが形成されるものとする。

　次に、グループ検出部１１１は、暫定グループに所属する各顔３００ｔ～３００ｘの中心を仮想線３４０で結ぶ。このとき、グループ検出部１１１は、暫定グループに含まれる各顔のうち、カメラ１に対して真後ろに向いている顔は、無視するものとする。例えば、グループ検出部１１１は、暫定グループに所属する各顔３００ｔ～３００ｘのうち何れか、例えば端にある顔３００ｔを起点として、当該暫定グループに含まれる各顔３００ｕ～３００ｘを所定の方向、例えば時計回りに仮想線３４０で結んでいく。グループ検出部１１１は、各顔３００ｔ～３００ｘを、ベジエ曲線などを用いて滑らかに結ぶ仮想線３４０を構成する。

　次に、グループ検出部１１１は、仮想線３４０で結んだ各顔３００ｔ～３００ｘについて、仮想線３４０上の各顔３００ｔ～３００ｘの法線を求める。より具体的には、グループ検出部１１１は、仮想線３４０上の各顔３００ｔ～３００ｘの位置における仮想線３４０に対する接線を求め、この接線に対する法線を、各顔３００ｔ～３００ｘの法線として求める。そして、グループ検出部１１１は、各顔３００ｔ～３００ｘについて、法線に対する顔の向きを推定する。

　図２６の例において、法線に対して時計回りに変化する方向を左方向、法線に対して反時計回りに変化する方向を右方向とすると、各顔３００ｔ～３００ｘの向きは、法線に対する方向３０３ｔ、３０３ｕおよび３０３ｗに従い、顔３００ｔ、３００ｕおよび３００ｗが右向きであると推定される。また、法線に対する方向３０３ｖおよび３０３ｘに従い、顔３００ｖおよび３００ｘが左向きであると推定される。

　グループ検出部１１１は、このようにして、仮想線３４０に従い検出された各顔３００ｔ～３００ｘの向きに従い、上述した第１の実施形態や第２の実施形態のように、暫定グループに所属する何れかの顔の向きに基づきグループを形成することができる。例えば、第１の実施形態のグループ形成方法の場合、例えば仮想線３４０における左端の顔３００ｔからグループ形成を行うものとすると、図１３のフローチャートに従い、グループ検出部１１１は、顔３００ｔ、３００ｕおよび３００ｖにより第１のグループを形成し、さらに、顔３００ｗおよび３００ｘにより第２のグループを形成する。

　制御信号出力部１１２は、第３の実施形態の変形例によりこのようにして形成された各グループについて、上述したように、グループ毎などのパン動作およびズーム動作を行うことができる。

　なお、第３の実施形態の変形例では、グループ検出部１１１は、３次元空間における仮想線３４０を、２次元平面である撮像面に配置してしまうため、各顔の向きを正確に判定できない場合がある。そのため、グループ検出部１１１は、例えば、カメラ１の光軸の方向と、３次元空間において仮想線３４０が構成される面との角度に基づき、各顔の向きを補正することが考えられる。

　以上説明したように、第３の実施形態および第３の実施形態の変形例によれば、各顔が２次元的に配置されている場合であっても、適切にグループを形成することができる。

１　カメラ
１０　カメラ本体
１１　撮像レンズ
２０　基台
２１　水平回転部
２２　垂直回転部
１００　光学部
１０１　撮像部
１０２　信号処理部
１０３　画像処理部
１１０　顔認識部
１１１　グループ検出部
１１２　制御信号出力部
１１３　画角制御部
１１４　ズーム駆動部
１１５　方向制御部
１１６　パン・チルト駆動部
２００　撮像素子
２０２　有効画素領域
２０３　記録画素領域
３００，３００ａ～３００ｘ　顔
３０１　頭部
３０２　鼻
３１０ａ，３１０ａ’，３１０ｂ，３１０ｃ，３１０ｄ，３１０ｅ，３１０ｆ，３１０ｇ　グループ
３２０　ターゲット
３２１　ターゲット所属グループ
３３０ａ，３３０ｂ，３３０ｃ　暫定グループ
３４０　仮想線

Claims (14)

1. 　被写体を撮像して撮像画像を出力する撮像部と、
   　前記撮像画像に含まれる顔を認識し、認識された顔の向きと位置とを検出する顔認識部と、
   　前記撮像画像に含まれる顔のうち、互いに隣接する２の顔の向きと位置とに基づき、前記撮像画像に含まれる顔によるグループを検出するグループ検出部と
   を有する
   ことを特徴とする撮像装置。
2. 　前記グループ検出部は、
   　前記撮像画像の一端にあり、且つ、該一端からみて該撮像画像の中心方向である第１の方向を向いている第１の顔を検出する第１の顔検出処理と、
   　前記第１の顔に対して前記第１の方向に隣接する第２の顔を検出する第２の顔検出処理と、
   　該第２の顔に対して前記第１の方向に隣接する第３の顔を検出する第３の顔検出処理と、
   　該第３の顔が前記第１の方向を向いており、且つ、該第２の顔が前記撮像画像の中心方向から前記一端に向けた方向である第２の方向を向いている場合と、該第３の顔が検出されず、且つ、該第２の顔が前記第２の方向を向いている場合とにおいて、前記第１の検出処理および前記第２の検出処理で検出された各顔を含むグループを検出し、
   　該第３の顔および該第２の顔が前記第１の方向を向いている場合に、該第３の顔を新たな第１の顔として前記第２の顔検出処理により第２の顔を検出し、
   　該第３の顔が前記第２の方向を向いている場合に、該第３の顔を新たな第１の顔として前記第２の顔検出処理により第２の顔を検出するグループ検出処理と
   を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 　前記グループ検出部は、
   　前記撮像画像に含まれる顔のうち、指定された顔と該指定された顔の方を向いている顔とのうち、少なくとも該指定された顔を含む前記グループを検出する
   ことを特徴とする請求項１に記載の撮像装置。
4. 　前記グループ検出部は、
   　前記指定された顔に対して第１の方向に隣接し、且つ、該指定された顔の方向を向いている第１の顔を検出し、前記指定された顔と該第１の顔とを含むグループを検出するグループ検出処理と、
   　該第１の顔に対して前記第１の方向に隣接する第２の顔を検出する第１の顔検出処理と、
   　該第２の顔が前記指定された顔の方向を向いている場合に、該第２の顔を前記グループに追加し、該第２の顔を新たな第１の顔として前記第１の検出処理により第２の顔を検出する第１のグループ追加処理と、
   　該第２の顔が前記指定された顔の方向を向いていないか、または、該第２の顔が検出されない場合に、前記指定された顔に対して前記第１の方向と異なる第２の方向に隣接し、且つ、前記指定された顔の方向を向いている第３の顔を検出して前記グループに追加する第３の顔検出処理と、
   　該第３の顔に対して前記第２の方向に隣接する第４の顔を検出する第４の顔検出処理と、
   　該第４の顔が前記指定された顔の方向を向いている場合に、該第４の顔を前記グループに追加し、該第４の顔を新たな第３の顔として前記第４の顔検出処理により第４の顔を検出する第２のグループ追加処理と
   を行う
   ことを特徴とする請求項３に記載の撮像装置。
5. 　前記グループの方向を示す制御信号を出力する制御信号出力部と、
   　前記撮像部による撮像の画角を制御する画角制御部と
   をさらに有し、
   　前記画角制御部は、
   　前記制御信号に基づき、前記グループに含まれる顔が前記撮像画像に含まれるように前記画角を制御する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の撮像装置。
6. 　前記撮像部による撮像方向を制御する方向制御部をさらに有し、
   　前記方向制御部は、前記制御信号に基づき、前記グループに含まれる顔が前記撮像画像に含まれるように前記撮像方向を制御する
   ことを特徴とする請求項５に記載の撮像装置。
7. 　前記画角制御部は、
   　前記グループ検出部が前記撮像画像から複数の前記グループを検出した場合に、前記制御信号に基づき、前記グループ検出部が検出した複数の前記グループに含まれる顔が前記撮像画像に含まれるように前記画角を制御する
   ことを特徴とする請求項５または請求項６に記載の撮像装置。
8. 　前記方向制御部は、
   　前記グループ検出部が前記撮像画像から複数の前記グループを検出した場合に、前記制御信号に基づき、前記撮像方向を、複数の前記グループ毎に切り替える制御を行う
   ことを特徴とする請求項６に記載の撮像装置。
9. 　前記方向制御部は、
   　前記グループ検出部が前記撮像画像から複数の前記グループを検出し、前記画角制御部が前記画角を所定画角に広げる制御を行なった際に前記グループ検出部が検出した複数の前記グループに含まれる全ての顔が前記撮像画像に含まれない場合に、前記制御信号に基づき、前記撮像方向を、複数の前記グループ毎に切り替える制御を行う
   ことを特徴とする請求項７または請求項８に記載の撮像装置。
10. 　前記グループ検出部は、
    　隣接する顔との間の距離が所定以内であって、且つ、隣接する顔に対する大きさが所定範囲内である顔の組を暫定グループとして検出し、該暫定グループに含まれる各顔から前記グループを検出する
    ことを特徴とする請求項１乃至請求項９の何れか１項に記載の撮像装置。
11. 　前記グループ検出部は、
    　前記暫定グループに含まれる顔の組のうち、該暫定グループの両端の顔と、該両端の顔よりも小さい顔との組を前記グループとして検出する
    ことを特徴とする請求項１０に記載の撮像装置。
12. 　前記グループ検出部は、
    　前記暫定グループに含まれる互いに隣接する各顔を順次に結んだ仮想線に対する該各顔の方向に基づき前記グループを検出する
    ことを特徴とする請求項１０または請求項１１に記載の撮像装置。
13. 　前記グループ検出部は、
    　検出された前記グループに含まれる顔の向きの変化の検出タイミングに対してローパスフィルタ処理を施す
    ことを特徴とする請求項１乃至請求項１２の何れか１項に記載の撮像装置。
14. 　被写体を撮像して撮像画像を出力する撮像ステップと、
    　前記撮像画像に含まれる顔を認識し、認識された顔の向きと位置とを検出する顔認識ステップと、
    　前記撮像画像に含まれる顔のうち、互いに隣接する２の顔の向きと位置とに基づき、前記撮像画像に含まれる顔によるグループを検出するグループ検出ステップと
    を有する
    ことを特徴とする撮像装置の制御方法。

Images