JP6077655B2 - 撮影システム - Google Patents

Description

本発明は、複数台のカメラによって被写体を撮影する撮影技術に関する。

従来、複数台のカメラによって被写体を撮影するシステムとして、店舗やテーマパークなどの施設内に複数台のカメラを設置し、その様子を撮影し保存、あるいは表示装置に表示する事で、防犯等に利用する監視カメラシステムが提案されている。また、老人や子供の日々の状況を確認する見守りを目的として、老人ホームや保育園に複数台のカメラを設置するシステムもある。

これらのシステムにおいて、カメラは長時間にわたって画像の取得や記録を行う為、その全ての画像を確認する事は非常に多くの時間を費やすため困難であり、何も事象が発生していない、つまり変化の生じていない画像の確認を行わずに、特定のタイミングの画像だけを確認したいという要望がある。例えば、監視カメラにおいては犯罪等が発生した前後の画像であり、見守りであれば特定の人物が動作している状況を撮影している画像である。また、子供の見守り等であれば、保護者が子供の様子を見たいという要望があるが、笑顔で映っている画像や泣いている画像など、何らかのイベントが発生した時点の画像に対するニーズが高い。

このように、長時間や多くの画像の中から特定のタイミングの画像を抽出したいという要望に対して、以下のような様々な機能が提案されている。

下記特許文献１では、１つ以上の撮影装置によって記録された録画画像から、目的とする人物・物体の活動状況を把握するための短時間の画像を自動作成するダイジェスト画像生成装置が提案されている。人物・物体に無線タグを装着し、無線タグ受信機から人物・物体の大まかな位置を把握し、当該人物・物体がどの時間帯にどの撮影装置によって撮影されていたかを判断する事で、複数の撮影装置の画像から当該人物・物体が撮影されている画像を取り出す。そして、取り出した画像を一定の単位時間ごとに区切った単位画像ごとに、画像の特徴量を計算してどのような事象（出来事）が起きているかを識別することで、ダイジェスト画像を生成している。

また、下記特許文献２では、複数の人物の顔認識結果の相互関係に基づいて好適な撮影制御を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムが提案されている。各々の被写体から、笑顔度、画像フレーム内での位置、検出顔の傾き、性別などの被写体の属性といった、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を行なう。これにより、複数の人物の顔認識結果の相互関係に基づいてユーザにとって好適な画像を取得することを可能としている。

また、下記特許文献３では、複数の人物を被写体として含む画像中で大多数の人物が同じ対象物を注視している場面を的確に抽出することができる画像処理装置および画像処理プログラムが提案されている。複数の人物の目線を推定すると共に、目線を推定した複数の人物までの距離算出し、目線の推定結果および距離の算出結果を用いることによって、複数の人物の目線が交差しているか否かを判定する。この判定結果を元に、大多数の人物が同じ対象物を注視している場面を的確に抽出している。

特開２０１２-１６０８８０号公報 特開２０１０-０１６７９６号公報 特開２００９-２３９３４７号公報

このように、画像の中から特定のタイミングの画像を抽出したいという要望に対して、様々な機能が提案されているが、以下のような課題が存在する。

特許文献１に記載の装置にあっては、無線タグを使用して特定の人物・物体を抽出し、一定時間毎にどのような事象が起きているかを識別し、ダイジェスト画像を生成しているが、複数のカメラから人物・物体が映った１つのカメラ画像のみを抽出、事象分析している。そのため、食事、睡眠、遊び、集団行動といった事象を分析する事が出来るが、そのような事象の中で、園児が何に興味を持っているか、といった詳細な事象については、カメラの角度や位置によっては人物が注目している対象については画像として保存する事ができていないため、判断する事が出来ない可能性がある。

また、特許文献２に記載の装置にあっては、顔認識パラメータの相互の関係に基づいて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を行っているが、被写体となる人物が笑顔になっているタイミングで撮影を行ったとしても、人物が何に注目して笑顔になっているかを正確に把握する事は出来ない。

同様に、特許文献３に記載の装置においても、複数の人物を被写体として含む画像中で大多数の人物が同じ対象物を注視している場面の画像を抽出する事はできるが、何を注視しているかを後から画像を見て判断する事が出来ない。

本発明は、以上のような課題を解決するためになされたものであって、画像を撮影した時点の状況・事象をより詳細に認知可能とする撮影技術を提供することを目的とする。

本発明の一観点によれば、撮影方向の異なるカメラを少なくとも３台と、前記カメラによって撮影された画像から被写体の特徴点を検出する特徴点検出部と、前記カメラによって撮影された画像を保存する画像記憶部と、を有する撮影システムであって、前記特徴点検出部で検出した前記特徴点から被写体の特徴量を検出する特徴量検出部と、前記特徴点検出部で検出した特徴点の方向を推定する特徴点方向推定部と、前記画像記憶部に保存するカメラ画像を決定する保存カメラ画像決定部と、を更に備え、前記特徴量検出部によって検出された特徴量があらかじめ設定した特定の特徴量との差が一定以下になった場合に、保存カメラ画像決定部は、前記複数の前記特徴点検出部により特徴点を検出した画像を第１保存画像として決定すると共に、前記第１保存画像において検出した特徴点から前記特徴点方向推定部により推定した特徴点方向に従ってカメラを特定して第２保存画像を決定することを特徴とする撮影システムが提供される。

撮影方向の異なるカメラを少なくとも３台配置するとは、異なる方向を撮影可能なカメラを３台配置するということである。同じ方向のみを撮影するカメラを何台設置しても、被写体の正面を向いた方向と被写体が注視している方向とを同時に撮影することができないからである。

本明細書は本願の優先権の基礎である日本国特許出願２０１３−１２２５４８号の明細書および／または図面に記載される内容を包含する。

本発明によれば、後から画像を確認する際に、当該人物が何を見て表情を変化させたかを把握する事ができ、撮影した時点の状況・事象をより詳細に認知できる。

本発明の第１実施形態における撮影システムの構成例を示すブロック図である。 本発明の第１実施形態における撮影システムの設置環境を示す図である。 本発明の第１実施形態における撮影システムの設置環境の側面図である。 本発明の第１実施形態における撮影システムの設置環境の俯瞰図である。 本発明の第１実施形態における撮影システムの動作手順を示すフローチャートである。 本発明の第１実施形態における撮影システムで撮影された人物の画像を示す図である。 本発明の第１実施形態における撮影システムのカメラ配置を示す図である。 本発明の第１実施形態における撮影システムで撮影された対象物の画像を示す図である。 本発明の第２実施形態における撮影システムの構成例を示すブロック図である。 本発明の第２実施形態における撮影システムの設置環境を示す図である。 本発明の第２実施形態における撮影システムの動作手順を示すフローチャートである。 本発明の第２実施形態における撮影システムで撮影された人物の画像を示す図である。 距離算出方法について説明する図である。 本発明の第３実施形態における撮影システムの構成例を示すブロック図である。 本発明の第３実施形態における撮影システムの設置環境を示す図である。 本発明の第３実施形態における撮影システムで撮影された魚眼画像を示す図である。 本発明の第３実施形態における撮影システムの動作手順を示すフローチャートである。 本発明の第３実施形態における撮影システムで撮影された画像を示す図である。 本発明の第４実施形態における撮影システムの構成を示すブロック図である。 本発明の第４実施形態における撮影システムの設置環境を示す図である。 撮影が行われる部屋の側面図である。 撮影が行われる部屋の俯瞰図である。 撮影システムにおける処理の流れを示すフローチャート図である。 図２０の環境において第一カメラで撮影されたカメラ画像の例を示す図である。 本実施形態における撮影システムのカメラ配置を示す図である。 本発明の第４実施形態における撮影システムで撮影された対象物の画像を示す図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

（第１の実施形態）
本発明の第１の実施形態について、図面を参照しながら説明する。なお、各図面における各部の大きさ等は理解を容易にするため大小関係を誇張して描いており、実際の大きさとは異なる。

図１は、本発明の第１の実施形態における撮影システムの構成図を示すブロック図である。撮影システム１００は、例えば、第一カメラ１０１と第二カメラ１０２と第三カメラ１０３の３台のカメラと情報処理装置１０４とで構成される。情報処理装置１０４は、第一カメラ１０１と第二カメラ１０２と第三カメラ１０３とによって撮像される画像を取得する画像取得部１１０と、画像取得部１１０によって取得された画像から人間の顔を検出する顔検出部１１１と、顔検出部１１１によって検出された顔から複数の特徴点を抽出する特徴点抽出部１１２と、特徴点抽出部１１２によって抽出された複数の特徴点から求めた特徴量から顔の表情を検出する表情検出部１１３と、表情検出部１１３で表情が検出された顔に対して、特徴点抽出部１１２によって抽出された複数の特徴点から求めた特徴量から顔の方向を推定する顔方向推定部１１４と、第一カメラ１０１、第二カメラ１０２、第三カメラ１０３の位置関係を示すパラメータ情報が記憶されているパラメータ情報記憶部１１６と、表情検出部１１３で表情を検出した画像と顔方向推定部１１４とによって推定された顔方向に応じて、パラメータ情報記憶部１１６に記録されているパラメータ情報を参照して選択した画像を保存カメラ画像として決定する保存カメラ画像決定部１１５と、保存カメラ画像決定部１１５によって決定された画像を記憶する画像記憶部１１７と、を有している。

パラメータ情報記憶部１１６および画像記憶部１１７は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ、あるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった半導体記憶装置や磁気記憶装置で構成可能である。本例では、表情検出部１１３および顔方向推定部１１４は、特徴点抽出部１１２で抽出した複数の特徴点から、それぞれ、表情又は顔方向に関する特徴量を算出する、特徴量算出部１１３ａ・１１４ａを含んでいる。

本撮影システムの使用環境の一例として図２に示す環境を例にして詳細を説明する。図２では、撮影システムが部屋１２０に設置されており、情報処理装置１０４は、ＬＡＮ１２４（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を通じてそれぞれ天井に設置されている第一カメラ１０１と第二カメラ１０２と第三カメラ１０３に接続されている。部屋１２０内には、人物１２２とここでは動物である対象物１２３が居り、人物１２２と対象物１２３の間にはガラス板１２１が設置されている。ガラス板１２１は透明であり、人物１２２と対象物１２３は互いの姿が見えるようになっている。第一カメラ１０１はガラス板１２１を挟んで人物１２２がいるＡの方向を撮影しており、第二カメラと第三カメラは対象物１２３がいるそれぞれ方向Ｂ、方向Ｃを撮影している。

図３は、部屋１２０の側面図であり、図４は部屋１２０の俯瞰図である。第一カメラ１０１と第二カメラ１０２と第三カメラ１０３とは、部屋１２０の天井に対していずれも下に傾く方向を撮影するように設置されている。なお、第二カメラ１０２は第三カメラ１０３とほぼ同じ高さの位置に設置されているため、図３では、結果として第三カメラ１０３の奥側に隠れるよう配置されている。第一カメラ１０１は、上述したように人物１２２がいる方向Ａを撮影しており、同様にして第二カメラ１０２と第三カメラ１０３とはそれぞれ対象物１２３がいる方向Ｂ、方向Ｃを撮影している。第一カメラ１０１は部屋１２０の壁の長辺に対してほぼ平行に設置されており、第二カメラ１０２と第三カメラ１０３とは、互いに内側を向くように設置されており、方向Ｂと方向Ｃとの光軸が長辺の途中の位置で交わっている。

ここでは、人物１２２がガラス板１２１越しに対象物１２３の様子を方向Ｓの向きで見ている状況を想定している。

図５は、本撮影システムにおける処理の流れを示すフローチャートであり、これに従って各部機能の詳細について説明する。

第一カメラ１０１と第二カメラ１０２と第三カメラ１０３は撮影を行っており、撮影した画像はＬＡＮ１２４を通じて画像取得部１１０に送信される。画像取得部１１０は、送信された画像を取得し（ステップＳ１０）、メモリ上に一時的に保持する。図６は図２の環境において第一カメラ１０１で撮影されたカメラ画像１３０の例を示す図である。画像取得部１１０で取得された画像はそれぞれ顔検出部１１１に送られる。顔検出部１１１は、カメラ画像１３０から顔検出処理を行う（ステップＳ１１）。顔検出処理は、顔検出を行う画像に対して探索窓（例えば８ピクセル×８ピクセルのような判定領域)を左上から走査して順番に動かし、探索窓の領域毎に顔と認識できる特徴点を持つ領域があるか否かを判定することによって検出する。この顔検出の方法としては、Ｖｉｏｌａ−Ｊｏｎｅｓ法となど、様々なアルゴリズムが提案されている。本実施の形態では、顔検出を行う画像を第一カメラで撮影した画像としており、第二カメラおよび第三カメラの画像には顔検出処理を行っていないものとする。顔検出処理によって検出した結果が、図６に点線で示す矩形領域１３１に示されている。検出した顔領域である矩形領域１３１に対して、特徴点抽出部１１２は顔の特徴点である鼻や目、口の位置を抽出する特徴点抽出処理により特徴点が抽出されたか否かを判定する（ステップＳ１２）。

ここで特徴点とは、鼻の頂点や目端点、口端点の座標のことを指し、後述する特徴量とは、特徴点そのものの座標とこれらの座標を基に算出した各座標間の距離、各座標の相対的な位置関係、座標間で囲まれる領域の面積、輝度等を指す。また、上述した複数の特徴量を組み合わせ、それを特徴量として扱ってもよいし、後述するデータベースに予め設定しておいた特定の特徴点と検出した顔の位置のずれ量を算出した値を特徴量としてもよい。

表情検出部１１３は特徴点抽出部１１２によって抽出された複数の特徴点から特徴点間の距離や特徴点で囲まれる面積、輝度分布の特徴量を求め、予め複数人の顔から取得しておいた表情に対応した特徴点抽出結果の特徴量を集約したデータベースを参照することで笑顔を検出する（ステップＳ１３）。

例えば、表情が笑顔なら口元が吊りあがる、口が開く、頬に影ができる等の傾向がある。このような理由から、目端点と口端点との距離が近くなり、左右の口端点と上唇、下唇で囲まれる画素の面積が大きくなり、頬領域の輝度値が笑顔ではない他の表情と比べ全体的に低下することが分かる。

データベースの特徴量を参照する場合、求めた特徴量とデータベースに予め設定しておいた特定の特徴量との差が一定以下になった、例えば１０％以下であった場合、特定の表情を検出したこととし、検出したとみなす特徴量の差は、本システム１００を使用するユーザが自由に設定できるものとする。

ここでは表情検出部１１３で検出する表情を笑顔としているが、本発明において表情とは、笑顔、泣く、困る、怒る等といった人間の特徴的な顔のことを指し、表情検出部１１３ではこれらのいずれかの表情を検出する。また、どのような表情を設定するかは、本撮影システム１００を使用するユーザが自由に設定できるものとする。

図６において検出された顔の表情が笑顔などの特定の表情として検出された場合、ステップＳ１４に移行し、笑顔が検出されなかった場合は、ステップＳ１０に戻る。

このように笑顔になったとき（特定の表情になったとき）のみ撮影することによって、余計な撮影を削減することができ、全体の撮影画像の容量を削減することができる。

次に、顔方向推定部１１４は、特徴点抽出部１１２によって抽出された特徴点の位置から求めた特徴量から、検出した顔が左右方向の何度の方向に向いているか角度を推定する（ステップＳ１４）。特徴量については、表情検出部１１３で説明したものと同様である。顔方向の推定には、表情検出部１１３と同様、予め複数人の顔から取得しておいた特徴点抽出結果の特徴量を集約したデータベースを参照することで、検出された顔方向を推定する。ここで、推定される角度は、正面顔をカメラから見た左右方向０°の角度としてそれぞれ左向きを負の角度右向きを正の角度としてそれぞれ６０°の角度範囲まで推定出来るものとする。これら顔検出方法や表情検出方法および顔方向推定方法については、公知の技術であるため、これ以上の説明は割愛する。

保存カメラ画像決定部１１５は、表情検出部１１３で検出したカメラ画像と顔方向推定部１１４で推定された顔方向からパラメータ情報記憶部１１６に記憶されている第二カメラと第三カメラとの位置関係を基に作成した顔方向と撮影カメラの対応を示すパラメータ情報を参照して決定したカメラ画像の２枚を保存カメラ画像として決定する（ステップＳ１５）。以後、表情検出部１１３で検出したカメラ画像を第一保存画像とし、パラメータ情報を参照して決定したカメラ画像を第二保存画像と呼ぶ。

以下で、パラメータ情報および保存カメラ画像決定方法について具体的な例を用いて詳細に説明する。

パラメータ情報は、表１に示すように顔方向に対応する保存撮影カメラの対応関係が分かるようになっている。パラメータ情報は、部屋の大きさと第一カメラ１０１と第二カメラ１０２と第三カメラ１０３との位置に基づいて決定されるものであり、本例では、図７に示すカメラ配置から作成した。図７に示すように、部屋１２０は、縦２．０ｍ、横３．４ｍの部屋であり、第一カメラ１０１は右端から０．８５ｍの位置となり、壁の長辺とほぼ平行になるように設置している。また、第二カメラ１０２と第三カメラ１０３とはそれぞれ壁の長辺に対して３０°内向きになるように設置してあるとする。この時、第一カメラ１０１が撮影している方向に人物１２２の顔が正対した時の顔方向を０°とした場合、人物１２２の顔方向Ｓと第二カメラ１０２の向いている方向と成す角度と、顔方向Ｓと第三カメラ１０３の向いている方向と成す角度を比較して角度差が小さくなるカメラ画像を保存カメラ画像とするように対応関係をとる。以上のようにしてパラメータ情報を作成する。

保存カメラ画像決定方法については、第一カメラ１０１で撮影された顔画像において顔方向推定部１１４で推定された顔方向が３０°であった場合、表１に示すパラメータ情報を参照して第三カメラ１０３を保存カメラ画像として決定する。図８に、この時決定された保存カメラ画像１３２を示す。また、第一カメラ１０１で撮影された顔画像において顔方向推定部１１４で推定された顔方向が−６０°であった場合、同様にして表１より第二カメラ１０２を保存カメラ画像として決定する。ここで、表１に記載されていない顔方向（角度）であった場合は、記載されている顔方向のうち、最も近い顔方向とする。

ステップＳ１５で決定された結果に従って、画像取得部１１０内のメモリに一時的に保持されている第一カメラ１０１と第二カメラ１０２と第三カメラ１０３とで撮影された３枚の画像の内、決定された２枚の画像を画像記憶部１１７に転送して記憶する（ステップＳ１６）。

つまりここでは、第一カメラ１０１で撮影したカメラ画像１３０が第一保存画像となり、第三カメラ１０３で撮影した笑顔の対象が映っているカメラ画像１３２が第二保存画像となる。以上のように、人物の表情が笑顔になった時点の画像とともに、顔方向を特定し、当該人物の向いている方向を映すカメラで撮影した画像を保存カメラ画像とすることで、後から画像を確認する際に、当該人物が何を見て笑顔になったかを把握する事ができ、撮影した時点の状況・事象をより詳細に認知できる。

本実施の形態によれば、被写体となる人物の表情が変化した時点の画像とともに、該当人物の向いている方向を映すカメラで撮影した画像を記録することで、後から画像を確認する際に、当該人物が何を見て表情を変化させたかを把握することができ、撮影した時点の状況・事象をより詳細に認知できる。

本実施の形態における上記の例では、ステップＳ１３において表情が笑顔となった場合のみステップＳ１４に移行する場合について説明しているが、必ずしも表情が笑顔になった場合のみでなく、他の表情になった場合でも移行するようにしても良い。

また、撮影のトリガーとして表情を例にして説明したが、被写体の特徴量として求めることができるものであれば、顔の角度やジェスチャーなどを特徴量として抽出し、これをトリガーにすることもできる。

（第２の実施形態）
本発明の第２の実施形態について、図面を参照しながら説明する。図９は、本発明の第２の実施形態における撮影システムの構成を示す機能ブロック図である。

図９に示すように、撮影システム２００は、第一カメラ２０１と第二カメラ２０２と第三カメラ２０３と第四カメラ２０４と第五カメラ２０５と第六カメラ２０６の６台のカメラと、情報処理装置２０７とで構成される。情報処理装置２０７は、第一カメラ２０１から第六カメラ２０６までの６台のカメラによって撮像される画像を取得する画像取得部２１０と、画像取得部２１０によって取得された画像から人間の顔を検出する顔検出部２１１と、顔検出部２１１によって検出された顔から複数の特徴点を抽出する特徴点抽出部２１２と、特徴点抽出部２１２によって抽出された複数の特徴点から特徴量を求め、顔の表情を検出する表情検出部２１３と、表情検出部２１３で表情が検出された顔に対して、特徴点抽出部２１２によって抽出された複数の特徴点から特徴量を求めて、顔方向を推定する顔方向推定部２１４と、顔方向推定部２１４で推定された複数人の顔方向から同一の対象に対して注目している人物がいるか判定し、人物と対象物との距離を算出する距離算出部２１５と、前記表情検出部２１３で検出したカメラ画像と、距離算出部２１５で算出された距離と、顔方向推定部２１４で推定された顔方向と、パラメータ情報記憶部２１７に記憶されている第一カメラ２０１から第六カメラ２０６までの６台のカメラの位置関係を基に作成した顔方向と撮影カメラの対応を示すパラメータ情報を参照して求めたカメラ画像を、保存カメラ画像として決定する保存カメラ画像決定部２１６と、保存カメラ画像決定部２１６によって決定された画像を記憶する画像記憶部２１８によって構成される。本撮影システムの使用環境の一例を図１０に示す。

図１０では、撮影システムが部屋２２０に設置されており、情報処理装置２０７は、第１の実施形態と同様にＬＡＮ２０８（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を通じてそれぞれ天井に設置されている第一カメラ２０１と第二カメラ２０２と第三カメラ２０３と第四カメラ２０４と第五カメラ２０５と第六カメラ２０６とに接続されている。また、各カメラは、天井に対していずれも下に傾くように設置されている。部屋２２０内には、第１の人物２２１、第２の人物２２２、第３の人物２２３、第４の人物２２４が居り、第１の人物２２１は、第２の人物２２２、第３の人物２２３、第４の人物２２４からそれぞれ顔方向Ｐ１、顔方向Ｐ２、顔方向Ｐ３向きに注目されている状況である。

図１１は本撮影システムにおける処理の流れを示すフローチャートであり、これに従って各部機能の詳細について説明する。

第一カメラ２０１から第六カメラ２０６までの６台は撮影を行っており、撮影された画像は、ＬＡＮ２０８を通じて画像取得部２１０に送信される。画像取得部２１０は、送信された画像を取得し（ステップＳ２０）、メモリ上に一時的に保持する。図１２は、図１０の環境において第六カメラ２０６で撮影されたカメラ画像２３０を示している。画像取得部２１０で取得された画像はそれぞれ顔検出部２１１に送られる。顔検出部２１１は、カメラ画像２３０から顔検出処理を行う（ステップＳ２１）。顔検出処理については第１の実施形態と同様の方法で行うため、ここでの説明は省略する。図１２において、点線で示す第１の矩形領域２３１、第２の矩形領域２３２、第３の矩形領域２３３が、それぞれ第２の人物２２２、第３の人物２２３、第４の人物２２４の顔に対して行った顔検出結果を示す。

本実施の形態では、想定している人物の位置関係から顔検出を行う画像を第六カメラで撮影した画像（図１２）として説明する、第一カメラ２０１から第五カメラ２０５の画像に対しても第六カメラ２０６と同様に顔検出処理を行っているものとし、人物の位置関係に応じて顔検出を行うカメラ画像が変わるとする。

検出した顔領域である第１の矩形領域２３１、第２の矩形領域２３２、第３の矩形領域２３３に対して、特徴点抽出部２１２は顔の特徴点である鼻や目、口の位置を抽出する特徴点抽出処理により抽出されたか否かを判定する（ステップＳ２２）。表情検出部２１３は特徴点抽出部２１２によって抽出された複数の特徴点から特徴量を求め、その顔の表情が笑顔か否かを検出する（ステップＳ２３）。ここで、図１２で検出された複数の顔のうち、笑顔として検出された顔の数をカウントし、例えば、２人以上いる場合、ステップＳ２５に移行し、２人未満の場合は、ステップＳ２０に戻る（ステップＳ２４）。

顔方向推定部２１４では、表情検出部２１３で笑顔として検出された顔に対して、特徴点抽出部２１２によって抽出された特徴点から特徴量を求め、顔方向が水平方向何度に向いているか角度を推定する（ステップＳ２５）。表情検出および顔方向推定方法に関しては、第１の実施形態と同様に公知の技術であるため、説明は割愛する。

距離算出部２１５では、顔方向推定部２１４で２人以上の顔方向が推定された場合、その２人が同一対象に注目しているか否かを、それぞれ推定された顔方向から推定する（ステップＳ２６）。以下では、図１２のようなカメラ画像２３０が得られた場合について、同一対象に注目しているか否かを推定する方法について述べる。

ここで、顔方向は正面方向を０°とし、カメラから見て左方向を正、右方向を負として扱い、それぞれ６０°範囲まで推定出来るものとする。

同一対象に注目しているかは、人物の顔が検出された位置関係とそれぞれの顔方向から、人物間で顔方向が交差するか否かを判定することで推定できる。

例えば、画像の右端に位置する人物の顔方向を基準として、左に隣接する人物の顔方向が基準となる人物の顔方向と比較して角度が小さくなれば２人の顔方向は交差することが分かる。また、以下の説明では、基準とする人物を画像の右端に位置する人物としているが、他の位置にいる人物を基準にした場合でも、角度の大小関係は変わるものの同様のことが言える。この要領で、複数の人物の組み合わせで交差するか判定を行うことで、同一対象に注目しているか否か推定する。

以下で具体例をあげて説明する。カメラ画像２３０には第２の人物２２２と第３の人物２２３と第４の人物２２４の顔が映っており、右から第２の人物２２２、第３の人物２２３、第４の人物２２４が並んでいる。それぞれ推定された顔方向Ｐ１が３０°、顔方向Ｐ２が１０°、顔方向Ｐ３が−３０°とすると、第２の人物２２２の顔方向を基準にして、第２の人物２２２の顔方向と第３の人物２２３、第４の人物２２４の顔方向が交わるためには、それぞれ顔方向が３０°より小さくなる必要がある。ここでは、第３の人物２２３の顔方向Ｐ２が１０°、第４の人物２２４の顔方向Ｐ３が−３０°と３０°より小さくなるためそれぞれ３人の顔方向は交差し、同一の対象を見ていると判断できる。

また推定された顔方向Ｐ１が４０°、顔方向Ｐ２が２０°、顔方向Ｐ３が５０°とした場合、第２の人物２２２の顔方向を基準にして、第２の人物２２２の顔方向と第３の人物２２３、第４の人物２２４の顔方向が交わるためには、それぞれ顔方向が４０°未満である必要があるが、第４の人物２２４の顔方向Ｐ３が５０°であるため、第２の人物２２２の顔方向と第４の人物２２４の顔方向は交差しない。従って、第２の人物２２２は第３の人物２２３と同じ対象を見ており、第４の人物２２４は異なる対象を見ていると判断できる。

この場合、次のステップＳ２６では、第４の人物２２４の顔方向は除外する。推定された顔方向Ｐ１が１０°、顔方向Ｐ２が２０°、顔方向Ｐ３が３０°とした場合、いずれの人物の顔方向も交差しない。この場合、注目する対象がそれぞれ異なると判定し、次ステップＳ２７に移行せず、ステップＳ２０に戻る。

距離算出部２１５では、複数の人物が同一の対象を見ていると判定した場合、パラメータ情報記憶部２１７から撮影解像度、画角のカメラ情報および顔矩形サイズと距離対応関係を示すパラメータ情報を読み込み、各人物から注目している対象までの距離を三角測量の原理により算出する（ステップＳ２７）。ここで顔矩形サイズとは、顔検出部２１１で検出された顔を囲む矩形領域での横幅と縦幅の画素面積を指す。顔矩形サイズと距離対応関係を示すパラメータ情報については後述する。

以下において、距離の算出方法について具体的な例を用いて説明する。

まず、距離算出部２１５は、距離算出に必要となる撮影解像度、画角のカメラ情報、顔矩形サイズと距離対応関係を示すパラメータ情報を２１７から読み込む。図１２に示すように顔検出部２１１で検出した第２の人物２２２、第３の人物２２３、第４の人物２２４の顔の第１の矩形領域２３１、第２の矩形領域２３２、第３の矩形領域２３３から中心座標２３４、２３５、２３６をそれぞれ算出する。距離の算出には三角測量の原理より少なくとも２点の座標が分かれば良いので、ここでは中心座標２３４、中心座標２３６の２点から算出する。

次に、パラメータ情報記憶部２１７から読み込んだ撮影解像度、画角等のカメラ情報からカメラからそれぞれ中心座標２３４、中心座標２３６までの角度を算出する。例えば解像度がフルＨＤ（１９２０×１０８０）であり、カメラの水平画角が６０°、中心座標２３４（１６２０、５４０）、中心座標２３６（１６０、５４０）であった場合、それぞれカメラから見た中心座標の角度は、２１°、−２５°となる。次に顔矩形サイズと距離対応関係を示すパラメータ情報から顔矩形２３１、顔矩形２３３からカメラと各人物までの距離を求める。

表２に、顔矩形サイズと距離との対応関係を示すパラメータ情報を示す。パラメータ情報は、顔の矩形領域の横幅と縦幅の画素面積である顔矩形サイズ（ｐｉｘ）２３７と、それに対応する距離（ｍ）２３８との対応関係が分かるようになっている。また、パラメータ情報は撮影解像度やカメラの画角を基に算出されている。

例えば、顔矩形２３１が８０×８０画素であった場合、表２左の矩形サイズ２３７を参照する。表２右を見ると、対応する距離は２．０ｍとなり、顔矩形２３３が９０×９０画素であった場合１．５ｍとなる。

図１３に示すように、第六のカメラ２０６から第１の人物２２１までの距離をＤとし、カメラから第２の人物２２２までの距離をＤＡ、カメラから第４の人物２２４までの距離をＤＢ、第２の人物２２２が第１の人物２２１を見ている方向をθ、第４の人物２２４が第１の人物２２１を見ている方向をφ、カメラから見た対象２２２の角度をｐ、カメラから見た対象２２４の角度をｑとした場合以下の式が成り立つ。

式（１）より、カメラから第１の人物２２１までの距離を算出することができる。

第２の人物２２２、第４の人物２２４の顔方向を−３０°、３０°とした場合、カメラから第１の人物２２１までの距離は０．６１ｍとなる。

また、第２の人物２２２と対象までの距離は、カメラから第４の人物２２４までの距離からカメラから対象までの距離の差であり、１．８９ｍとなる。同様に第３の人物２２３、第４の人物２２４についても算出する。以上、個々の人物と対象物までの距離を算出し、算出した結果を、保存カメラ画像決定部２１６に送る。

保存カメラ画像決定部２１６では、２枚の画像を保存カメラ画像として決定する。まず、笑顔が検出された第六カメラ２０６で撮影したカメラ画像２３０を第一保存画像として決定する。次に、距離算出部２１５で算出された注目対象までの距離と検出された人物の顔方向、顔検出処理を行ったカメラから、パメラータ情報記憶部２１７に記憶されている撮影システムで使用している第一カメラ２０１から第六カメラ２０６までの６台のカメラの位置関係を基に作成した顔方向と撮影カメラとの対応を示すパラメータ情報を参照して第二保存画像を決定する（ステップＳ２８）。以下で第二保存画像の決定方法について述べる。

距離算出部２１５でそれぞれ第２の人物２２２、第３の人物２２３、第４の人物２２４と注目対象である第１の人物２２１までの距離を読み込み、パメラータ情報記憶部２１７に記憶されている表３に示すパラメータ情報を参照する。表３のパラメータ情報は、第一カメラ２０１から第六カメラ２０６までの６台のカメラの位置関係を基に作成したもので、顔検出したカメラ項目２４０とお互い向い合う位置に配置されている３台のカメラが撮影カメラ候補項目２４１となるように対応付けされている。また、顔検出したカメラ項目２４０は、検出対象の顔方向項目２４２にも対応付けされている。

例えば、図１０の環境のように第六カメラ２０６の撮影画像で顔検出がされた場合、表３のように、撮影カメラ候補となるのは向い合っている第二カメラ２０２、第三カメラ２０３、第四カメラ２０４で撮影された画像のいずれかが選択されるようになっている。それぞれのカメラにより検出された第２の人物２２２、第３の人物２２３、第４の人物２２４の顔方向を３０°、１０°、−３０°とした場合、表３より顔方向が合致する、すなわち対応するカメラは、それぞれ第四カメラ２０４、第三カメラ２０３、第二カメラ２０２となる。

この場合、距離算出部２１５で算出した第２の人物２２２と第１の人物２２１までの距離と、第３の人物２２３と第１の人物２２１までの距離と、第４の人物２２４と第１の人物２２１までの距離を比較し、最も注目対象との距離が遠い人物の顔方向に対応したカメラ画像を選択する。

例えば、第２の人物２２２と第１の人物２２１までの距離が１．８９ｍ、第３の人物２２３と第１の人物２２１までの距離が１．８１ｍ、第４の人物２２４と第１の人物２２１までの距離が１．４１ｍと算出された場合、最も遠い位置にいるのは第２の人物２２２であることがわかる。第２の人物２２２の顔方向に対応するカメラは第二カメラ２０２となるので、最終的に第二カメラ画像を保存カメラ画像の第二保存画像として決定する。

このように、最も距離の遠い位置にいる人物に対応するカメラ画像を選択することで、注目対象とそれを見ている人物との距離が近いのが原因で注目対象が重なってしまっている画像を選択することを避けることができる。

また、複数人の顔方向がある注目対象に集まって向いている場合において、個々で撮影を行わず、代表の１枚を撮影することで、余計な撮影画像を省くことができ、データ量の削減につながるという利点がある。

保存カメラ画像決定部２１６で決定された結果に従って、画像取得部２１０内のメモリに一時的に保持されている第一カメラ２０１と第二カメラ２０２と第三カメラ２０３と第四カメラ２０４と第五カメラ２０５と第六カメラ２０６で撮影された６枚の画像の内、決定された２枚の画像を画像記憶部２１７に転送して記憶する（ステップＳ２９）。

ステップＳ２４に関して、ここでは表情が笑顔であると検出された顔が２人以上見つかった場合のみ次ステップに進むように設定しているが、少なくとも２人以上であれば良く、必ずしも２人に限定されるものではない。

ステップＳ２７において、距離算出部２１５では、パラメータ情報記憶部２１７から撮影解像度、画角のカメラ情報および顔矩形サイズと距離対応関係を示すパラメータ情報を基に距離を算出しているが、必ずしも人物毎に厳密に距離を算出する必要はなく、顔検出された際の矩形サイズから大まかな距離関係が分かるため、これを基に保存カメラ画像を決定しても良い。

本実施形態では、２人以上の顔方向から注目対象までの距離を算出する場合について説明したが、１人の場合でも、垂直方向の顔方向を推定することで、注目対象までの大まかな距離を求めることができる。例えば、顔方向が地面と平行になっている状態を垂直方向０°の顔方向として、顔から注目対象までの距離を大きくしていった場合、近くに注目対象がある時と比較して、遠くに注目対象がある場合は顔角度が小さくなる。これを利用して保存カメラ画像を決定しても良い。

本実施の形態では、６台のカメラを使用した例で説明したが、これはあくまで一例であり、使用環境に応じて使用するカメラの台数を変えても良い。

また、本実施の形態では、カメラを第一カメラ、第二カメラ、第三カメラ、第四カメラ、第五カメラ、第六カメラの６台使用して、第六カメラで撮影した映像に対して顔検出を行う場合について説明したが、複数のカメラ画像において顔検出する際に、同一人物が検出されてしまうことがある。その場合には、特徴点を取得する段階で、他のカメラで同じような特徴量を持つ顔がないかどうかの認識処理を行うことで、同一人物が他のカメラで検出されているかを判定することができ、顔方向を推定する段階で同一人物の顔のそれぞれ顔方向結果を比較し、顔方向が正面０°に近いほうのカメラ画像を第一保存画像として採用するようにすれば良い。

このようにすることで、１人の人物に対して複数の撮影を行うことを防ぐことができ、余計な撮影画像を省くことができる。

（第３の実施形態）
以下、本発明の第３の実施形態について、図面を参照しながら説明する。図１４は、本発明の第３の実施形態における撮影システムの構成を示すブロック図である。

撮影システム３００は、第一カメラ３０１と第二カメラ３０２と第三カメラ３０３と第四カメラ３０４と、画角が上記第一カメラ３０１から第四カメラ３０４までの４台のカメラよりも広い第五カメラ３０５の計５台のカメラと、情報処理装置３０６と、を有している。

情報処理装置３０６は、第一カメラ３０１から第五カメラ３０５までの５台のカメラによって撮像される画像を取得する画像取得部３１０と、画像取得部３１０によって取得された画像のうち、第五カメラ３０５以外で撮影された画像から人間の顔を検出する顔検出部３１１と、顔検出部３１１によって検出された顔から複数の特徴点を抽出する特徴点抽出部３１２と、特徴点抽出部３１２によって抽出された複数の特徴点の位置から特徴量を求め、顔の表情を検出する表情検出部３１３と、表情検出部３１３で表情が検出された顔に対して、特徴点抽出部３１２によって抽出された複数の特徴点の位置から特徴量を求め、顔方向を推定する顔方向推定部３１４と、顔方向推定部３１４で推定された複数人の顔方向から人物と対象物との距離を算出する距離算出部３１５と、距離算出部３１５で算出された距離と、顔方向推定部３１４で推定された顔方向と、パラメータ情報記憶部３１７に記憶されている第一カメラ３０１から第五カメラ３０５までの５台のカメラの位置関係を基に作成した第五カメラ３０５画像の切り出し範囲との対応を示すパラメータ情報を参照し、第五カメラ３０５画像の切り出し範囲を決定する切出し範囲決定部３１６と、表情検出部３１３で検出したカメラ画像と、切出し範囲決定部３１６によって決定された切り出し範囲に従って第５カメラ画像から切り出した画像の２枚を保存カメラ画像として決定する保存カメラ画像決定部３１８と、保存カメラ画像決定部３１８によって決定された画像を記憶する画像記憶部３１９と、を有している。本実施の形態による撮影システムの使用環境の一例を図１５に示す。

図１５では、図１４の撮影システム３００が部屋３２０に設置されており、情報処理装置３０６は、第１、第２の実施形態と同様に、例えばＬＡＮ３０７を通じてそれぞれ天井に設置されている第一カメラ３０１と第二カメラ３０２と第三カメラ３０３と第四カメラ３０４と第五カメラ３０５とに接続されている。第五カメラ３０５以外のカメラは、部屋３２０の天井に対していずれも下に傾くように設置されており、第五カメラ３０５は部屋３２０の天井中央に下向きに設置されている。第五カメラ３０５は第一カメラ３０１から第四カメラ３０４までのカメラと比較して画角が広く、第五カメラ３０５で撮影される画像は、例えば図１６に示すように部屋３２０のほぼ全体を映している。例えば、第一カメラ３０１から第四カメラ３０４までの画角は６０°である。また、第五カメラ３０５は画角１７０°の円の中心からの距離が入射角に比例している等距離射影方式を採用している魚眼カメラである。

部屋３２０内には、第２の実施形態と同様に、第１の人物３２１、第２の人物３２２、第３の人物３２３、第４の人物３２４が居り、第１の人物３２１は、第２の人物３２２、第３の人物３２３、第４の人物３２４から、それぞれ顔方向Ｐ１、顔方向Ｐ２、顔方向Ｐ３向きに注目されている状況である。このような状況を想定して以下説明する。

図１７は、本実施の形態による撮影システムにおける処理の流れを示すフローチャートであり、これに従って各部機能の詳細について説明する。

第一カメラ３０１から第五カメラ３０５までの５台が撮影を行っており、第２の実施形態と同様に撮影された画像は、ＬＡＮ３０７を通じて画像取得部３１０に送信される。画像取得部３１０は、送信された画像を取得し（ステップＳ３０）、メモリ上に一時的に保持する。画像取得部３１０で取得された第五カメラ画像以外の画像は、それぞれ顔検出部３１１に送られる。顔検出部３１１は、画像取得部３１０から送信された画像全てに対して顔検出処理を行う（ステップＳ３１）。本実施の形態のような使用環境では、第四カメラ３０４に、第２の人物３２２、第３の人物３２３、第４の人物３２４の顔が映るので、以下では、第四カメラ３０４の画像で顔検出処理を行った場合を想定して説明する。

ステップＳ３２において第２の人物３２２、第３の人物３２３、第４の人物３２４の顔に対して顔検出処理を行った結果を基に特徴点抽出部３１２は顔の特徴点である鼻や目、口の位置等を抽出する特徴点抽出処理により抽出されたか否かを判定する（ステップＳ３２）。表情検出部３１３は、特徴点抽出部３１２によって抽出された複数の特徴点の位置から特徴量を求め、表情が笑顔であるかを検出する（ステップＳ３３）。ここで、検出された複数の顔の内、表情が例えば笑顔と推定される顔の数をカウントし（ステップＳ３４）、２人以上いる場合、ステップＳ３５に移行し、２人未満の場合は、ステップＳ３０に戻る。顔方向推定部３１４では、表情検出部３１３で笑顔と推定された顔に対して、特徴点抽出部３１２によって抽出された特徴点の位置から特徴量を求め、顔方向が水平方向何度に向いているか角度を推定する（ステップＳ３５）。距離算出部３１５では、顔方向推定部３１４で２人以上の顔方向が推定された場合、その２人が同一対象に注目しているか否かを、それぞれ推定された顔方向から推定する（ステップＳ３６）。また、距離算出部３１５では、複数の人物（ここでは２人以上とする）が同一の対象を見ていると判定した場合、パラメータ情報記憶部３１７から撮影解像度、画角のカメラ情報および顔矩形サイズと距離対応関係を示すパラメータ情報を読み込み、その対象までの距離を三角測量の原理により算出する（ステップＳ３７）。

ここで顔矩形サイズとは、顔検出部３１１で検出された顔を囲む矩形領域での横幅と縦幅の画素面積を指す。ステップＳ３１からステップＳ３７までの処理の詳細については、第２の実施形態で説明したものと同様であるため省略する。切り出し範囲決定部３１６では、距離算出部３１５で算出されたカメラから注目対象までの距離と検出された人物の顔方向からパメラータ情報記憶部３１７に記憶されている撮影システムで使用している第一カメラ３０１から第五カメラ３０５までの５台のカメラの位置関係を基に作成した人物の位置と距離の対応関係を示すパラメータ情報を参照して第五カメラ３０５で撮影した画像の切り出し範囲を決定する（ステップＳ３８）。以下、第五カメラ３０５で撮影した画像の切り出し範囲の決定方法について詳しく述べる。

距離算出部３１５で算出された第四カメラ３０４から各人物３２４、人物３２３、人物３２２、注目対象の人物３２１までの距離をそれぞれ、２．５ｍ、２．３ｍ、２．０ｍ、０．６１ｍとし、第四カメラ３０４から見た各人物のいる角度を、−２１°、１５°、２５°、注目対象の人物がいる角度を２０°、第五カメラの解像度をフルＨＤ（１９２０×１０８０）とした場合、表４に示す対応表をパラメータ情報記憶部３１７から参照する。表４は上記対応表の一部であるが、パラメータ記憶部３１７には、第一カメラ３０１から第四カメラ３０４までのカメラ毎に対応表が用意されており、全ての角度と距離の組み合わせから第五カメラ３０５の対応座標を求めることが出来る。この対応表より、第四カメラ３０４から人物までの距離３３０と第四カメラ３０４から見た人物の角度３３１から第五カメラ３０５の対応座標３３２を求めると、第四カメラ３０４から見た人物３２４の角度を−２１°、距離２．５ｍとした場合、第五カメラ３０５での対応点は座標（１６６６，４５７）となり、第四カメラ３０４から見た人物３２２までの角度２５°、距離２．０ｍとした場合、座標（２７０，３５４）となる。また、注目対象の人物３２１の対応座標は同様にして対応表から求めると座標（８２４，２９６）となる。この対応表は、第一カメラ３０１から第四カメラ３０４までのカメラと第五カメラ３０５のカメラ配置から決定される。

上記で求めた３点の座標より座標（２７０，２９６）から座標（１６６６，４５７）で囲まれる矩形を基準に上下左右に５０画素拡大した座標（３２０，３４６）から座標（１７１０，５０７）で囲まれる矩形を第５カメラ３０５の画像の切り出し範囲として決定する。

保存カメラ画像決定部３１８では、２枚の画像を保存カメラ画像として決定する。まず、笑顔が検出された第四カメラ３０４で撮影したカメラ画像を第一保存画像として決定する。次に切出し範囲決定部３１６で決定した切出し範囲を第五カメラ３０５で撮影したカメラ画像から切り出しを行った画像を第二保存画像として決定する（ステップＳ３８）。決定された結果に従って、画像取得部３１０内のメモリに一時的に保持されている第一カメラ３０１と第二カメラ３０２と第三カメラ３０３と第四カメラ３０４と第五カメラ３０５で撮影された５枚の画像のうち、決定された第四カメラ３０４のカメラ画像と第五カメラ３０５のカメラ画像（切出し後）の２枚を画像記憶部３１９に転送して記憶する（ステップＳ３９）。

本実施の形態において記憶される画像２枚の画像（第一保存画像、第二保存画像）３４０、３４１は図１８に示す通りである。第２から第４までの人物３２２−３２４の正面画像が第一の保存画像であり、第二の保存画像には、第１の人物３２１の正面画像と、後ろ向きの第２から第４までの人物３２２−３２４の画像が写っている。

以上のように、同一の注目対象を見ている人と注目対象がいる位置を見て魚眼カメラの画像から切出し範囲を決定することによって、注目対象を見ている人と注目対象が両方含まれた画像を撮影することができる。

ステップＳ３８では、切り出し範囲として上下左右に５０画素拡大した範囲を最終的な切出し範囲として決定しているが、拡大する画素数は必ずしも５０画素である必要はなく、本実施の形態による撮影システム３００を使用するユーザが自由に設定できるものとする。

（第４の実施形態）
以下、本発明の第４の実施形態について、図面を参照しながら説明する。図１９は、本発明の第４実施形態における撮影システムの構成を示すブロック図である。

上記の実施の形態では、被写体となる人物の表情が変化したタイミングで第１保存画像を決定し、被写体の人物の向いている方向に従ってカメラを特定して第２保存画像を決定する。このタイミングは、被写体の表情の変化以外に、例えば、カメラの撮像画像から検出できる身体（手足等）や顔の位置や向きの変化を検出し、また、被写体全体の向いている方向の代わりに、顔の向きを求め、顔の向きなどから距離を特定して、カメラの選択やカメラの撮影方向の制御を行うようにしても良い。検出する特徴量の変化としては、その他、周辺の明るさなどの環境の変化も含めることができる。

以下では、ジェスチャーとして、人間の手によるジェスチャー動作の変化を特徴量の変化の例とし、ジェスチャーが向いている方向を推定する例について説明する。

撮影システム４００は、第一カメラ４０１と第二カメラ４０２と第三カメラ４０３の３台のカメラと情報処理装置４０４とを有している。情報処理装置４０４は、第一カメラ４０１と第二カメラ４０２と第三カメラ４０３とによって撮像される画像を取得する画像取得部４１０と、画像取得部４１０によって取得された画像から人間の手を検出する手検出部４１１と、手検出部４１１によって検出された手から複数の特徴点を抽出する特徴点抽出部４１２と、特徴点抽出部４１２によって抽出された複数の特徴点から求めた特徴量から手のジェスチャーを検出するジェスチャー検出部４１３と、ジェスチャー検出部４１３でジェスチャーが検出された手に対して、特徴点抽出部４１２によって抽出された複数の特徴点から求めた特徴量からジェスチャーが向いている方向を推定するジェスチャー方向推定部４１４と、第一カメラ４０１、第二カメラ４０２、第三カメラ４０３の位置関係を示すパラメータ情報が記憶されているパラメータ情報記憶部４１６と、ジェスチャー検出部４１３でジェスチャーを検出した画像とジェスチャー方向推定部４１４とによって推定されたジェスチャー方向に応じて、パラメータ情報記憶部４１６に記録されているパラメータ情報を参照して選択した画像を保存カメラ画像として決定する保存カメラ画像決定部４１５と、保存カメラ画像決定部４１５によって決定された画像を記憶する画像記憶部４１７と、を有している。

本実施形態では、ジェスチャー検出部４１３およびジェスチャー方向推定部４１４は、特徴点抽出部４１２で抽出した複数の特徴点から、それぞれ特徴量を算出する、特徴量算出部を含んでいる（図１と同様である）。

本撮影システムの使用環境の一例として、図２０に示すように第一の実施形態と同様の環境を例にして詳細を説明する。図２０では、撮影システムが部屋４２０に設置されており、情報処理装置４０４は、ＬＡＮ４２４（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を通じてそれぞれ天井に設置されている第一カメラ４０１と第二カメラ４０２と第三カメラ４０３に接続されている。部屋４２０内には、人物４２２とここでは動物である対象物４２３が居り、人物４２２と対象物４２３の間にはガラス板４２１が設置されている。ガラス板４２１は透明であり、人物４２２と対象物４２３は互いの姿が見えるようになっている。第一カメラ４０１はガラス板４２１を挟んで人物４２２がいるＡの方向を撮影しており、第二カメラと第三カメラは対象物４２３がいるそれぞれ方向Ｂ、方向Ｃを撮影している。

図２１は、部屋４２０の側面図であり、図２２は部屋４２０の俯瞰図である。第一カメラ４０１と第二カメラ４０２と第三カメラ４０３とは、部屋４２０の天井に対していずれも下に傾く方向を撮影するように設置されている。なお、第二カメラ４０２は第三カメラ４０３とほぼ同じ高さの位置に設置されているため、図２１では、結果として第三カメラ４０３の奥側に隠れるよう配置されている。第一カメラ４０１は、上述したように人物４２２がいる方向Ａを撮影しており、同様にして第二カメラ４０２と第三カメラ４０３とはそれぞれ対象物４２３がいる方向Ｂ、方向Ｃを撮影している。第一カメラ４０１は部屋４２０の壁の長辺に対してほぼ平行に設置されており、第二カメラ４０２と第三カメラ４０３とは、互いに内側を向くように設置されており、方向Ｂと方向Ｃとの光軸が長辺の途中の位置で交わっている。

ここでは、人物４２２がガラス板４２１越しに対象物４２３の様子を方向Ｓの向き指さしている状況を想定している。

図２３は、本撮影システムにおける処理の流れを示すフローチャートであり、これに従って各部機能の詳細について説明する。

第一カメラ４０１と第二カメラ４０２と第三カメラ４０３は撮影を行っており、撮影した画像はＬＡＮ４２４を通じて画像取得部４１０に送信される。画像取得部４１０は、送信された画像を取得し（ステップＳ４０）、メモリ上に一時的に保持する。

図２４は、図２０の環境において第一カメラ４０１で撮影されたカメラ画像４３０の例を示す図である。画像取得部４１０で取得された画像はそれぞれ手検出部４１１に送られる。手検出部４１１は、カメラ画像４３０から手検出処理を行う（ステップＳ４１）。手検出処理は手検出を行う画像に対して、人間の皮膚の特徴的な色である肌色領域だけを抽出し、指の輪郭に沿ったエッジがあるかどうか判別することで検出する。

本実施の形態では、手検出を行う画像を第一カメラで撮影した画像としており、第二カメラおよび第三カメラの画像には手検出処理を行っていないものとする。手検出処理によって検出した結果が、図２４に点線で示す矩形領域４３１に示されている。検出した手領域である矩形領域４３１に対して、特徴点抽出部４１２は手の特徴点である指の先端や指の間等の位置を抽出する特徴点抽出処理により特徴点が抽出されたか否かを判定する（ステップＳ４２）。

ジェスチャー検出部４１３は特徴点抽出部４１２によって抽出された複数の特徴点から特徴点間の距離や３つの特徴点で囲まれる面積、輝度分布の特徴量を求め、予め複数人の手から取得しておいたジェスチャーに対応した特徴点抽出結果の特徴量を集約したデータベースを参照することでジェスチャーを検出する（ステップＳ４３）。ここではジェスチャー検出部４１３で検出するジェスチャーを指さし（人差し指だけを立てて注目対象に向けるジェスチャー）としているが、本発明においてジェスチャーとは、指さし、パー（五本の指を離して広げる）、グー（五本の指を全て握る）等といった特徴的な手形状のことを指し、ジェスチャー検出部４１３ではこれらのいずれかのジェスチャーを検出する。また、どのようなジェスチャーを設定するかは、本撮影システム４００を使用するユーザが自由に設定できるものとする。

図２４において検出されたジェスチャーが指さしなどの特定のジェスチャーとして検出された場合、ステップＳ４４に移行し、指さしなどの特定のジェスチャーが検出されなかった場合は、ステップＳ４０に戻る。

特定のジェスチャーになったときのみ撮影することによって、全体の撮影画像の容量を削減することができる。

次に、ジェスチャー方向推定部４１４は、特徴点抽出部４１２によって抽出された特徴点の位置から求めた特徴量から、検出したジェスチャーが左右方向の何度の方向に向いているか角度を推定する（ステップＳ４４）。ここで、ジェスチャー方向とは、ジェスチャー検出部で検出されたジェスチャーが向いている方向のことを指し、指さしなら、指が指し示す方向であり、パーやグーのジェスチャーなら腕が向いている方向のことである。

特徴量については、ジェスチャー検出部４１３で説明したものと同様である。ジェスチャー方向の推定には、予め複数人の手から取得しておいた特徴点抽出結果の手形状等の特徴量を集約したデータベースを参照することで、検出されたジェスチャーが向いている方向を推定する。また、顔を検出しておき、検出された手との位置関係に基づき、ジェスチャーが向いている方向を推定しても良い。

ここで、推定される角度は、正面をカメラから見た左右方向０°の角度としてそれぞれ左向きを負の角度右向きを正の角度としてそれぞれ６０°の角度範囲まで推定出来るものとする。これら手検出方法やジェスチャー検出方法およびジェスチャー方向推定方法については、公知の技術であるため、これ以上の説明は割愛する。

保存カメラ画像決定部４１５は、ジェスチャー検出部４１３で検出したカメラ画像とジェスチャー方向推定部４１４で推定されたジェスチャー方向からパラメータ情報記憶部４１６に記憶されている第二カメラと第三カメラとの位置関係を基に作成したジェスチャー方向と撮影カメラの対応を示すパラメータ情報を参照して決定したカメラ画像の２枚を保存カメラ画像として決定する（ステップＳ４５）。以後、ジェスチャー検出部４１３で検出したカメラ画像を第一保存画像とし、パラメータ情報を参照して決定したカメラ画像を第二保存画像と呼ぶ。

以下で、パラメータ情報および保存カメラ画像決定方法について具体的な例を用いて詳細に説明する。

パラメータ情報は、表５に示すようにジェスチャー方向に対応する保存撮影カメラの対応関係が分かるようになっている。パラメータ情報は、部屋の大きさと第一カメラ４０１と第二カメラ４０２と第三カメラ４０３との位置に基づいて決定されるものであり、本例では、第一の実施形態と同様図カメラ配置から作成した。図２５に示すように、部屋４２０は、縦２．０ｍ、横３．４ｍの部屋であり、第一カメラ４０１は右端から０．８５ｍの位置となり、壁の長辺とほぼ平行になるように設置している。また、第二カメラ４０２と第三カメラ４０３とはそれぞれ壁の長辺に対して３０°内向きになるように設置してあるとする。この時、第一カメラ４０１が撮影している方向に人物４２２が行ったジェスチャー方向が正対した時の方向を０°とした場合、人物４２２のジェスチャー方向Ｓと第二カメラ４０２の向いている方向と成す角度と、ジェスチャー方向Ｓと第三カメラ４０３の向いている方向と成す角度を比較して角度差が小さくなるカメラ画像を保存カメラ画像とするように対応関係をとる。以上のようにしてパラメータ情報を作成する。

保存カメラ画像決定方法については、第一カメラ４０１で撮影されたジェスチャー画像においてジェスチャー方向推定部４１４で推定されたジェスチャー方向が３０°であった場合、表５に示すパラメータ情報を参照して第三カメラ４０３を保存カメラ画像として決定する。図２６に、この時決定された保存カメラ画像４３２を示す。また、第一カメラ４０１で撮影されたジェスチャー画像においてジェスチャー方向推定部４１４で推定されたジェスチャー方向が−６０°であった場合、同様にして表５より第二カメラ４０２を保存カメラ画像として決定する。ここで、表５に記載されていないジェスチャー方向（角度）であった場合は、記載されているジェスチャー方向のうち、最も近いジェスチャー方向とする。

ステップＳ４５で決定された結果に従って、画像取得部４１０内のメモリに一時的に保持されている第一カメラ４０１と第二カメラ４０２と第三カメラ４０３とで撮影された３枚の画像の内、決定された２枚の画像を画像記憶部４１７に転送して記憶する（ステップＳ４６）。

つまりここでは、第一カメラ４０１で撮影したカメラ画像４３０が第一保存画像となり、第三カメラ４０３で撮影したジェスチャーで指した対象が映っているカメラ画像４３２が第二保存画像となる。以上のように、人物が特定のジェスチャーを行った時点の画像とともに、ジェスチャーの方向を特定し、当該人物が指し示している方向を映すカメラで撮影した画像を保存カメラ画像とすることで、後から画像を確認する際に、当該人物が何を指さしたのかを把握する事ができ、撮影した時点の状況・事象をより詳細に認知できる。

本実施の形態によれば、被写体となる人物がジェスチャーを行った時点の画像とともに、該当人物が行ったジェスチャーが示す方向を映すカメラで撮影した画像を記録することで、後から画像を確認する際に、当該人物が何を指したのかを把握することができ、撮影した時点の状況・事象をより詳細に認知できる。

本実施の形態における上記の例では、ステップＳ４３においてジェスチャーが指さしとなった場合のみステップＳ４４に移行する場合について説明しているが、必ずしもジェスチャーが指さしになった場合のみでなく、他のジェスチャーになった場合でも移行するようにしても良い。

尚、本発明は、上述した実施の形態によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

（付記）
本発明は、以下の開示を含む。

（１）
撮影方向の異なるカメラを少なくとも３台と、前記カメラによって撮影された画像から被写体の特徴点を抽出する特徴点抽出部と、前記カメラによって撮影された画像を保存する画像記憶部と、を有する撮影システムであって、
前記 特徴点抽出部で抽出した前記特徴点から被写体の特徴量を算出する特徴量算出検出部と、
前記特徴点抽出部で抽出した特徴点から被写体が向いている方向を推定する方向推定部と、
前記画像記憶部に保存するカメラ画像を決定する保存カメラ画像決定部と、を更に備え、
前記特徴量算出部によって算出された特徴量 があらかじめ 設定した特定の特徴量との差が一定以下になった場合に、保存カメラ画像決定部は、前記複数の前記特徴点抽出部により特徴点を抽出した画像を第１保存画像として決定すると共に、
前記第１保存画像において抽出した特徴点から前記方向推定部により推定した被写体が向いている方向に従ってカメラを特定して第２保存画像を決定することを特徴とする撮影システム。

前記３台のカメラは、被写体を撮影する方向と、被写体が見ている第１の方向とそれとは異なる第３の方向とを撮影する方向と、を撮影できるようになっている。被写体の特徴量変化を検出した際に、写体が見ている第１の方向とそれとは異なる第３の方向とをのうち、少なくとも被写体の特緒量を検出しやすい方のカメラを利用して、何に注目したかを知ることができる。

上記によれば、特定の特徴量変化が検知して、そのタイミングで、何に注視しているかを知ることができる。

（２）
前記保存カメラ画像決定部は、前記特徴点抽出部によって複数のカメラ画像において特徴点が抽出された場合には、前記方向推定部によって推定された被写体が向いている方向が、正面に近い画像を第１保存画像として決定することを特徴とする（１）に記載の撮影システム。

（３）
前記保存カメラ決定部は、前記方向推定部により推定された被写体が向いている方向と、前記各カメラの光軸の方向を比較し、２つの方向のなす角が最も小さくなるカメラの画像を第２保存画像として決定する前記保存カメラ決定部は、前記特徴点方向推定部により推定された特徴点方向と、前記各カメラの光軸の方向を比較し、２つの方向のなす角が最も小さくなるカメラの画像を第２保存画像として決定する事を特徴とする（１）又は（２）に記載の撮影システム。

これにより、より正確に、注目対象を知ることができる。

（４）
前記カメラによって撮影される画像に複数の被写体が映っている場合に、前記方向推定部によって推定された結果に基づいて同一の注目対象を見ているか判断し、各被写体と注目対象までの距離を算出する距離算出部を更に備え、
前記距離算出部によって算出される各被写体と注目対象までの距離が最も遠い被写体が向いている方向に従って第２保存画像を決定することを特徴とする（１）から（３）までのいずれか１に記載の撮影システム。

これにより、より正確に、注目対象を知ることができる。

（５）
前記画像を撮影するカメラのうち、少なくとも１台は他のカメラより画角が広い広角カメラであり、
前記保存カメラ画像決定部は、前記第１保存画像において抽出した特徴点から前記方向推定部により推定した被写体の向いている方向に従って、前記広角カメラによる撮影画像の一部を前記第２保存画像として決定することを特徴とする（１）に記載の撮影システム。

（６）
撮影方向の異なるカメラを少なくとも３台と、前記カメラによって撮影された画像から被写体の特徴点を抽出する特徴点抽出部と、前記カメラによって撮影された画像を保存する画像記憶部と、を有する撮影システムを用いた情報処理方法であって、
前記特徴点抽出部で抽出した前記特徴点から被写体の特徴量を算出する特徴量算出検出ステップと、
前記特徴点抽出ステップで抽出した特徴点から被写体が向いている方向を推定する方向推定ステップと、
前記画像記憶部に保存するカメラ画像を決定する保存カメラ画像決定ステップと、を更に有し、
前記特徴量算出ステップによって算出された特徴量があらかじめ 設定した特定の特徴量との差が一定以下になった場合に、保存カメラ画像決定ステップは、前記複数の前記特徴点抽出ステップにより特徴点を抽出した画像を第１保存画像として決定すると共に、
前記第１保存画像において抽出した特徴点から前記方向推定ステップにより推定した被写体が向いている方向に従ってカメラを特定して第２保存画像を決定することを特徴とする情報処理方法。

（７）
コンピュータに、（６）に記載の情報処理方法を実行させるためのプログラム。

（８）
撮影方向の異なる第１から第３までの画像から検出された被写体の特徴点から被写体の特徴量を抽出する特徴量抽出部と、
前記特徴点抽出部で検出した特徴点の方向を推定する方向推定部と、
前記特徴量抽出部によって抽出された特徴量があらかじめ設定した特定の特徴量との差が一定以下になった場合に、前記複数の前記特徴点抽出部により特徴点を抽出した画像を第１の画像として決定すると共に、前記第１保存画像において抽出した特徴点から前記方向推定部により推定した特徴点方向に従って撮影された画像を特定して第２の画像を決定することを特徴とする情報処理装置。

本発明は、撮影システムに利用可能である。

１００…撮影システム、１０１…第一カメラ、１０２…第二カメラ、１０３…第三カメラ、１１０…画像取得部、１１１…顔検出部と、１１２…特徴点抽出部、１１３…表情検出部、１１４…顔方向推定部、１１５…保存カメラ画像決定部、１１６…パラメータ情報記憶部、１１７…画像記憶部。

本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims (5)

1. 異なる位置に設けられ撮影方向の異なるカメラを少なくとも３台と、前記カメラによって撮影された画像から被写体の特徴点を抽出する特徴点抽出部と、前記カメラによって撮影された画像を保存する画像記憶部と、を有する撮影システムであって、
   前記特徴点抽出部で抽出した前記特徴点から被写体の特徴量を算出する特徴量算出部と、
   前記特徴点抽出部で抽出した特徴点から被写体が向いている方向を推定する方向推定部と、
   前記画像記憶部に保存するカメラ画像を決定する保存カメラ画像決定部と、を更に備え、
   複数の前記画像において、前記特徴量算出部によって算出された特徴量があらかじめ設定した特定の特徴量との差が一定以下になった場合に、前記保存カメラ画像決定部は、前記特定の特徴量との差が一定以下になった画像を第１保存画像として決定すると共に、
   前記第１保存画像において抽出した特徴点から前記方向推定部により推定した被写体が向いている方向に従って、第２保存画像を決定することを特徴とする撮影システム。
2. 前記保存カメラ画像決定部は、前記第２保存画像を決定する際に、前記第１保存画像を撮影したカメラ以外のカメラの位置関係を基に作成した顔方向と撮影カメラの対応を示すパラメータ情報を参照することを特徴とする請求項１に記載の撮影システム。
3. 前記保存カメラ画像決定部は、前記方向推定部により推定された被写体が向いている方向と、前記各カメラの光軸の方向を比較し、２つの方向のなす角が最も小さくなるカメラの画像を第２保存画像として決定する事を特徴とする請求項１又は２に記載の撮影システム。
4. 前記カメラによって撮影される画像に複数の被写体が映っている場合に、前記方向推定部によって推定された結果に基づいて同一の注目対象を見ているか判断し、各被写体と注目対象までの距離を算出する距離算出部を更に備え、
   前記距離算出部によって算出される各被写体と注目対象までの距離が最も遠い被写体が向いている方向に従って第２保存画像を決定することを特徴とする請求項１から３までのいずれか１項に記載の撮影システム。
5. 前記画像を撮影するカメラのうち、少なくとも１台は他のカメラより画角が広い広角カメラであり、
   前記保存カメラ画像決定部は、前記第１保存画像において抽出した特徴点から前記方向推定部により推定した被写体の向いている方向に従って、前記広角カメラによる撮影画像の一部を前記第２保存画像として決定することを特徴とする請求項１に記載の撮影システム。

Images