JP7129920B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

例えばテーマパーク等において敷地内に定点カメラを複数設置し、各定点カメラにおいて撮像されたシーンをつなぎ合わせて、動画を生成するサービスが知られている。このようなサービスにおいては、例えば入場者毎にその人物が写っているシーンをつなぎ合わせた動画を生成することが考えられる。入場者毎の動画を生成する場合には、例えば特許文献１に記載されたような顔認証技術によって人物の識別が行われる。

特開２００７－２７２８９６号公報

上述したような動画は、対象人物（入場者）にフォーカスした映像とされることが好ましい。ここで、動画においては、例えば共に行動する複数の対象人物をセットで撮像したい（セットでフォーカスした映像を作成したい）場合がある。しかしながら、例えば、撮像範囲に対象人物のセット（グループ）が複数含まれる場合には、いずれのグループにフォーカスして撮像すべきかを決定することができず、複数の対象人物を含むグループの動画を適切に生成することができないことが考えられる。

本発明は上記実情に鑑みてなされたものであり、複数の対象人物を含むグループの動画を適切に生成することを目的とする。

本発明の一態様に係る撮像装置は、撮像画像を取得する撮像画像取得部と、撮像画像から複数の対象人物に係る情報を検出し、撮像画像に示される複数の対象人物を特定し、該複数の対象人物について、２人以上の対象人物を含む第１グループと、該第１グループに含まれる対象人物とは異なる対象人物を含む第２グループとに分ける検出部と、所定の優先順位に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する決定部と、決定部の決定に基づいて撮像装置の画角及び向きの少なくともいずれか一方を制御する制御部と、を備える。

本発明の一態様に係る撮像装置では、撮像画像に示される複数の対象人物が第１グループ及び第２グループに分けられ、所定の優先順位に基づいていずれのグループを優先撮像するか決定され、決定結果に応じて撮像装置の画角及び向きが制御される。このように、所定の優先順位に基づいていずれのグループを優先撮像するかが決定されることによって、撮像画像に複数のグループが含まれる場合においても、予め定めた基準に基づき適切にグループの動画を撮像することができる。また、優先撮像するグループを撮像するように撮像装置の画角等が制御されることによって、撮像装置の台数を抑えながら、効率的にグループの動画を撮像することができる。

上記撮像装置において、決定部は、撮像済みのシーンが少ない対象人物ほど高くなる優先順位に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定してもよい。これにより、撮像済みのシーンが少ない対象人物を含むグループが優先的に撮像されるように撮像装置の画角等が制御されるため、撮像済みのシーンが少ないグループが生じることを抑制し、適切に各グループの動画を撮像することができる。

上記撮像装置において、決定部は、グループ単位の所定の優先順位に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定してもよい。対象人物個人ではなくグループ単位の優先順位に基づき優先撮像するグループが決定されることにより、グループ単位の動画をより適切に撮像することができる。

上記撮像装置において、検出部は、第１グループに含まれる２人以上の対象人物について、成立し得る対象人物の組み合わせをそれぞれサブグループとし、決定部は、第１グループを優先撮像すると決定した場合において、組み合わせでの撮像済みのシーンが少ないサブグループほど高くなる優先順位に基づき、どのサブグループを優先撮像するか決定してもよい。上述したように、例えば撮像済みのシーンが少ないグループほど優先的に撮像されるように制御することによって、撮像済みのシーンが少ないグループが生じることが抑制され、グループ間の公平を期す（撮像枚数や撮像間隔を平等にする）ことができる。これに加えて、同一グループに含まれる２人以上の対象人物について、それぞれの組み合わせをサブグループとし、組み合わせとしての撮像シーンが少ないサブグループほど優先的に撮像することによって、同一グループ内に含まれる対象人物の様々な（色々な組み合わせの）動画を撮像することができ、ユーザにとってより思い出に残るシーンを撮像することができる。

上記撮像装置において、検出部は、第１グループに含まれる２人以上の対象人物について、撮像画像中の位置に応じて、サブグループに分けてもよい。これによって、互いに近い距離で行動する複数の対象人物を同一のサブグループとすることができ、適切にサブグループ分けを行うことができる。

上記撮像装置において、撮像画像取得部は、時系列に連続した撮像画像を取得し、制御部は、時系列に連続した撮像画像に基づいて、決定部が優先撮像すると決定したグループに含まれる対象人物の移動方向を特定し、該移動方向に応じて撮像装置の画角及び向きの少なくともいずれか一方を制御してもよい。このように、対象人物の移動方向を特定し、該移動方向を考慮して撮像装置の向き等を制御することによって、対象人物を含むグループの動画より適切に撮像することができる。

上記撮像装置において、検出部は、撮像画像から、予め定められた物体を更に検出し、制御部は、決定部が優先撮像すると決定したグループの対象人物と、検出部によって検出された物体とが両方写るように、撮像装置の画角及び向きの少なくともいずれか一方を制御してもよい。これにより、例えば予めランドマーク（有名な建造物等）を検出対象の物体としておくことによって、ランドマークと対象人物とが共に写った動画を撮像することができる。

本発明によれば、複数の対象人物を含むグループの動画を適切に生成することができる。

本実施形態に係る撮像システムの基本動作を説明する図である。 本実施形態に係る撮像システムに含まれるカメラの機能構成を示すブロック図である。 本実施形態に係る撮像システムに含まれるカメラが行う処理を示すフローチャートである。 撮像システムに含まれるカメラのハードウェア構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

図１は、本実施形態に係る撮像システム１の基本動作を説明する図である。図１に示される撮像システム１は、複数のカメラ１０（撮像装置）と、サーバ５０とを含んで構成されている。複数のカメラ１０は、特定の敷地内において、互いに異なる地点に固定的に設置された定点カメラである。カメラ１０は、撮影した動画について、ネットワーク（インターネット）を介してサーバ５０にアップロード可能に構成されている。撮像システム１は、複数のカメラ１０の入力を用いて、予め指定されている対象人物が写っているシーンを抽出するシステムである。例えば、図１に示されるように、人物Ａが対象人物である場合においては、撮像システム１の複数のカメラ１０は、撮像した動画において人物Ａを検出（識別）することができた場合には動画をサーバ５０にアップロードし、撮像した動画において人物Ａを検出することができなかった場合には動画をサーバ５０にアップロードしない。そして、サーバ５０は、各カメラ１０から取得した動画（人物Ａが写ったシーンからなる動画）をつなぎ合わせることにより、複数のカメラ１０が設置された敷地内における人物Ａの動画を生成する。撮像システム１は、例えば、テーマパークやスキー場等の敷地内（広い空間）における入園者毎の動画（記念の映像）を自動生成し提供するサービスに利用される。

撮像システム１においては、複数のカメラ１０間において、対象人物の検出結果が共有される。対象人物の検出結果とは、対象人物の顔情報だけでなく、対象人物に関連する関連情報（詳細は後述）を含むものである。このような検出結果が各カメラ１０間で共有されることにより、例えば、対象人物を正面から撮像することができず対象人物の顔情報を検出できないカメラ１０においても、対象人物の顔情報及び関連情報が予め共有されていることによって、関連情報を検出し、該関連情報に係る対象人物のシーンを抽出することが可能になる。このように、撮像システム１は、複数のカメラ１０間で対象人物の検出結果を共有することによって、対象人物が写ったシーンをより高精度且つ漏れなく抽出するものである。

また、撮像システム１においては、撮像画像から検出された複数の対象人物がグルーピングされ、グループ毎に複数の対象人物のシーンが抽出される。この際、撮像画像に複数のグループが含まれる場合には、撮像システム１では、所定の優先順位に基づき優先撮像するグループが決定され、優先撮像するグループにフォーカス（ズーム）されるようにカメラ１０の画角及び向きが制御される。これによって、撮像画像に複数のグループが含まれている場合であっても、予め定めた基準に基づき適切に所望のグループの動画を撮像することができる。

図２は、本実施形態に係る撮像システム１に含まれるカメラ１０の機能構成を示すブロック図である。図２に示されるように、複数のカメラ１０のそれぞれは、記憶部１１と、取得部１２（撮像画像取得部）と、検出部１３と、決定部１４と、制御部１５と、出力部１６と、を備えている。

記憶部１１は、人物レコードと、グループレコードと、ランドマークレコードとを記憶するデータベースである。なお、記憶部１１において記憶されている各情報については、サーバ５０においても記憶されている。すなわち、複数のカメラ１０及びサーバ５０間において、共通の情報が記憶されている。

人物レコードは、撮像対象である対象人物毎に設定される情報であり、人物ＩＤと、顔画像と、関連情報と、優先順位とが対応付けられた情報である。人物ＩＤとは人物を一意に特定する識別情報である。顔画像とは、当該人物の顔画像（詳細には、顔画像に係る特徴データ）である。関連情報とは、対象人物の顔以外の情報であって該対象人物に関連する情報である。関連情報は、例えば対象人物が携行している情報であり、服装、バッグ、食べ物、サングラス、マスク、帽子、指輪、及び髪型等の画像（詳細には、画像に係る特徴データ）である。このような顔画像及び関連情報は、検出部１３による対象人物の特定に用いられる。優先順位とは、人物単位での優先撮像のされやすさの順位である。優先撮像とは、カメラ１０の画角及び向きの調整によりフォーカスされた撮像である。優先順位は、例えば、撮像済みのシーンが少ない対象人物ほど高くなるように設定されている。この場合、優先順位としては、順位（ランク）そのものが規定されていなくてもよく、例えば撮像済みのシーンの数が規定されていてもよい。また、優先順位は、例えば撮像時刻を考慮して設定されていてもよい。すなわち、優先順位は、例えば、最終撮像時刻からの経過時間が長い対象人物ほど高くなるように設定されていてもよい。

人物レコードは、時系列の進行に伴って情報が書き換わっていく。人物レコードの各情報のうち、人物ＩＤ及び顔画像については、例えばサーバ５０において予め設定（記憶）されて各カメラ１０に共有されるものであり、カメラ１０による対象人物の検出を待たずに初期状態から記憶されている情報である。人物レコードの各情報のうち、関連情報については、対象人物の顔情報及び関連情報の双方の検出に成功した少なくとも１つ以上のカメラ１０からの情報に基づき、人物ＩＤ及び顔画像に対応付けて記憶される情報である。人物レコードの各情報のうち、優先順位については、例えば動画を生成したサーバ５０からの情報に基づき、撮像済みのシーンが少ない対象人物ほど高くなるように設定される情報である。

グループレコードは、複数の対象人物を含むグループ毎に設定される情報であり、グループＩＤと、対象人物リストと、優先順位とが対応付けられた情報である。グループＩＤとはグループを一意に特定する識別情報である。対象人物リストとは、当該グループに含まれる複数の対象人物の人物ＩＤのリストである。なお、対象人物リストにおける人物ＩＤには、対応する各人物の顔画像に係る特徴データが対応付けられている。優先順位とは、グループ単位での優先撮像のされやすさの順位である。優先順位は、例えば、グループに含まれる２人以上の対象人物の組み合わせでの撮像済みのシーンが少ないグループほど高くなるように設定されている。この場合、優先順位としては、順位（ランク）そのものが規定されていなくてもよく、例えばグループ毎の撮像済みのシーンの数が規定されていてもよい。また、優先順位は、例えば撮像時刻を考慮して設定されていてもよい。すなわち、優先順位は、例えば、最終撮像時刻からの経過時間が長いグループほど高くなるように設定されていてもよい。

グループレコードは、時系列の進行に伴って情報が書き換わっていく。グループレコードの各情報のうち、対象人物リストについては、対象人物リストに含まれる各対象人物の顔情報を同時に検出した少なくとも１つ以上のカメラ１０からの情報に基づき、グループＩＤに対応付けて記憶される情報である。なお、対象人物リストは、予め設定によってグループＩＤに対応付けられているものであってもよい。すなわち、グループを構成する複数の対象人物については、カメラ１０における検出結果に基づき決定されるものであってもよいし、予め設定されるものであってもよい。グループレコードの各情報のうち、優先順位については、例えば動画を生成したサーバ５０からの情報に基づき、撮像済みのシーンが少ないグループ（グループに含まれる２人以上の対象人物の組み合わせでの撮像済みのシーンが少ないグループ）ほど高くなるように設定される情報である。

ランドマークレコードは、撮像範囲に含まれるように調整される物体を規定した情報であり、ランドマークＩＤと、ランドマーク画像とが対応付けられた情報である。ランドマークＩＤとは物体（ランドマーク）を一意に特定する識別情報である。ランドマーク画像とは、当該物体の画像（詳細には、物体の画像に係る特徴データ）である。物体（ランドマーク）としては、例えば歴史的な建造物、遊具、木々等、敷地内において目印となり得る特徴物が選択される。

取得部１２は、撮像素子において撮像された撮像画像を取得する。取得部１２は、撮像素子から、フレーム毎に撮像画像を読み込む。すなわち、取得部１２は、時系列に連続した撮像画像を取得する。取得部１２は、読み込んだフレーム毎の撮像画像を検出部１３及び制御部１５に出力する。

検出部１３は、撮像画像から複数の対象人物に係る情報を検出し、撮像画像に示される複数の対象人物を特定し、該複数の対象人物について、２人以上の対象人物を含む第１グループと、該第１グループに含まれる対象人物とは異なる対象人物を含む第２グループとに分ける。なお、実際には、撮像画像に３つ以上のグループが含まれている場合もあるが、説明の便宜上、以下では撮像画像に２つのグループ（第１グループ及び第２グループ）が含まれているとして説明する。

検出部１３は、記憶部１１の人物レコードを参照し、各人物ＩＤに対応付けられた顔画像を撮像画像から検出可能か否かを判定する。顔画像の検出は、例えば従来から周知の顔認証技術を用いることにより行われる。また、検出部１３は、記憶部１１の人物レコードを参照し、各人物ＩＤに対応付けられた関連情報を撮像画像から検出可能か否か判定する。検出部１３に関連情報の検出は、画像パターンマッチングにより行われてもよいし、物体検出ＡＩにより行われてもよい。検出部１３は、撮像画像から、複数の顔画像又は関連情報を検出することにより、撮像画像に示される複数の対象人物を特定する。

検出部１３は、記憶部１１のグループレコードの対象人物リストを参照し、撮像画像に示される複数の対象人物について、２人以上の対象人物を含む第１グループと、該第１グループに含まれる対象人物とは異なる少なくとも１人以上の対象人物を含む第２グループとに分ける。すなわち、検出部１３は、撮像画像に示される複数の対象人物に、あるグループＩＤで示されるグループの対象人物リストに含まれる２人以上の対象人物が含まれている場合には、当該２人以上の対象人物のグループを第１グループとする。また、検出部１３は、撮像画像に示される複数の対象人物に、第１グループ以外の他のグループＩＤで示されるグループの対象人物リストに含まれる対象人物が含まれている場合には、当該対象人物のグループを第２グループとする。なお、検出部１３は、撮像画像中の複数の対象人物の位置に応じて、複数の対象人物について、第１グループと第２グループとに分けてもよい。すなわち、検出部１３は、撮像画像中において近接する複数の対象人物が同一グループとなるようにグルーピングを行ってもよい。この場合には、検出部１３は、記憶部１１のグループレコードを参照してもよいし参照しなくてもよい。

検出部１３は、さらに、撮像画像から、予め定められた物体（ランドマーク）を検出してもよい。検出部１３は、記憶部１１のランドマークレコードを参照し、各ランドマークＩＤに対応付けられたランドマーク画像を撮像画像から検出可能か否かを判定する。検出部１３によるランドマーク画像の検出は、画像パターンマッチングにより行われてもよいし、物体検出ＡＩにより行われてもよい。

決定部１４は、所定の優先順位に基づき、第１グループ及び第２グループのいずを優先撮像するか決定する。決定部１４は、例えば、記憶部１１の人物レコード（対象人物個人に関する情報）に規定された優先順位（撮像済みのシーンが少ない対象人物ほど高くなる優先順位）に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する。すなわち、例えば、検出部１３によって特定された第１グループに含まれた人物Ａ，Ｂの優先順位がそれぞれ１位、２位であり、第２グループに含まれた人物Ｃ，Ｄの優先順位がそれぞれ３位、４位である場合、決定部１４は、含まれる対象人物の優先順位が高い第１グループを優先撮像すると決定する。なお、決定部１４は、例えば単純に最も優先順位が高い対象人物を含むグループを優先撮像の対象としてもよいし、グループに含まれる全ての対象人物の優先順位の総合値（平均等）が高いグループを優先撮像の対象としてもよい。

決定部１４は、グループ単位の所定の優先順位に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定してもよい。すなわち、決定部１４は、記憶部１１のグループレコードに規定された優先順位（グループに含まれる２人以上の対象人物の組み合わせでの撮像済みのシーンが少ないグループほど高くなる優先順位）に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定してもよい。例えば、検出部１３によって特定された第１グループの優先順位が１位であり、第２グループの優先順位が２位である場合、決定部１４は、優先順位が高い第１グループを優先撮像すると決定する。なお、決定部１４は、上述した人物レコードの優先順位（対象人物個人に関する優先順位）と、グループレコードの優先順位（グループ単位の優先順位）の双方を考慮して、優先撮像するグループを決定してもよい。

制御部１５は、決定部１４の決定に基づいてカメラ１０の画角及び向きの少なくともいずれか一方を制御する。画角とは、カメラ１０の撮像範囲を示す角度である。画角を狭くするほど、撮像対象をズームして撮像することができる。向きとは、カメラ１０が撮像する方向である。例えば決定部１４によって第１グループ（人物Ａ，Ｂを含む）を優先撮像すると決定された場合、制御部１５は、第１グループに含まれる人物Ａ，Ｂにフォーカスされるように、人物Ａ，Ｂの方向にカメラ１０を向けると共に、人物Ａ，Ｂがズームされるように画角を調整する。より詳細には、制御部１５は、水平方向において、人物Ａ，Ｂの平均座標（人物Ａ，Ｂ間の中間の座標）が撮像範囲の中心にくるように、カメラ１０の向きを調整する。また、制御部１５は、検出部１３によって、優先撮像するグループの対象人物と共に所定のランドマークが検出されている場合には、優先撮像するグループの対象人物（対象人物の全身矩形又はバストアップ）と、検出部１３によって検出されたランドマークとが両方写るように、カメラ１０の画角及び向きを制御する。制御部１５は、例えば、優先撮像するグループの対象人物とランドマークとが最大限ズームされるように、画角を調整する。

制御部１５は、優先撮像するグループの複数の対象人物の移動方向を推定して、カメラ１０の画角及び向きを制御することにより、移動する対象人物に適切に撮像する。制御部１５は、時系列に連続した撮像画像（フレーム毎の撮像画像）を取得部１２から取得し、例えば隣り合う時刻のフレーム間における、対象人物の座標の変化を検出することにより、対象人物の移動方向、及び、単位時間当たりの移動量を特定する。そして、制御部１５は、該移動方向及び移動量を考慮して（例えば対象人物が等速直線運動をするとして）、対象人物が所定時間後に存在するであろう位置を推定し、カメラ１０が推定された位置をズームするように、カメラ１０の画角及び向きを制御する。ここでの所定時間は、例えばカメラ１０の制御（画角及び向きの調整）に要する時間を考慮して決定される定数である。なお、カメラ１０の向きの制御において、カメラ１０の向きをどのくらい動かすかは、撮像対象エリアが平面とみなせるほど平らであるか、或いは、起伏・スローブ等があり平面とみなせないかによって異なる。例えば撮像対象エリアが平面とみなせる場合には、カメラ１０の向きの適切な変更量は初等数学にて計算可能である。一方で、撮像対象エリアが平面とみなせない場合には、例えば撮像対象エリアを適当な粒度で区分したメッシュ毎に画像上の移動方向に対してカメラ１０をどちらにどのぐらい変更するか（動かすか）を事前にキャリブレーションした変換テーブルを作成しておき、該変換テーブルを参照することにより、カメラ１０の向きの変更量を導出してもよい。なお、変換テーブルを用いるのではなく、例えば機械学習によって、実データから自律的に変換パラメータを得るものであってもよい。

出力部１６は、検出部１３が検出した対象人物を含むシーンを抽出し、エンコード処理を行って動画データを生成し、該動画データをサーバ５０に送信する。サーバ５０は、動画データを受信してデコード処理を行う。更に、サーバ５０は、例えば動画の時間幅を所定長以下に収めるための動画ハイライトシーン抽出をフレーム毎に繰り返し行い、対象人物を含むハイライト動画を生成する。

また、出力部１６は、検出部１３による検出結果（対象人物の顔画像の特徴データ及び関連情報）についてサーバ５０に送信する。更に、サーバ５０は、カメラ１０における検出結果を記憶すると共に、各カメラ１０に検出結果を送信する。これにより、複数のカメラ１０及びサーバ５０間で、各カメラ１０における検出結果が共有される。

次に、図３を参照して、撮像システム１に含まれるカメラ１０が行う処理を説明する。図３は、本実施形態に係る撮像システム１に含まれるカメラ１０が行う処理を示すフローチャートである。

図３に示されるように、カメラ１０は、まず、撮像素子からフレーム毎に撮像画像を読み込む（ステップＳ１）。つづいて、カメラ１０は、撮像画像から、人物検出を行う（ステップＳ２）。具体的には、カメラ１０は、記憶部１１の人物レコードを参照し、各人物ＩＤに対応付けられた顔画像を撮像画像から検出可能か否かを判定する。また、カメラ１０は、記憶部１１の人物レコードを参照し、各人物ＩＤに対応付けられた関連情報を撮像画像から検出可能か否か判定する。検出部１３は、撮像画像から、複数の顔画像又は関連情報を検出することにより、撮像画像に示される複数の対象人物を特定する。

つづいて、カメラ１０は、特定した複数の対象人物が属するグループを特定する（ステップＳ３）。具体的には、カメラ１０は、記憶部１１のグループレコードの対象人物リストを参照し、撮像画像に示される複数の対象人物について、２人以上の対象人物を含む第１グループと、該第１グループに含まれる対象人物とは異なる対象人物を含む第２グループとに分ける。すなわち、カメラ１０は、撮像画像に示される複数の対象人物に、あるグループＩＤで示されるグループの対象人物リストに含まれる２人以上の対象人物が含まれている場合には、当該２人以上の対象人物のグループを第１グループとする。また、カメラ１０は、撮像画像に示される複数の対象人物に、第１グループ以外の他のグループＩＤで示されるグループの対象人物リストに含まれる対象人物が含まれている場合には、当該対象人物のグループを第２グループとする。

つづいて、カメラ１０は、所定の優先順位に基づき、複数のグループの中から優先撮像するグループを決定する（ステップＳ４）。具体的には、カメラ１０は、記憶部１１の人物レコード（対象人物個人に関する情報）に規定された優先順位（撮像済みのシーンが少ない対象人物ほど高くなる優先順位）に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する。或いは、カメラ１０は、記憶部１１のグループレコードに規定された優先順位（グループに含まれる２人以上の対象人物の組み合わせでの撮像済みのシーンが少ないグループほど高くなる優先順位）に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する。

つづいて、カメラ１０は、決定部１４の決定に基づいて、優先撮像されるグループの対象人物がズームされるように、カメラ１０の画角及び向きを制御する（ステップＳ５）。以上の処理により、優先撮像するグループの対象人物についての動画が適切に撮像される。

次に、本実施形態の作用効果について説明する。

本実施形態に係るカメラ１０は、撮像画像を取得する取得部１２と、撮像画像から複数の対象人物に係る情報を検出し、撮像画像に示される複数の対象人物を特定し、該複数の対象人物について、２人以上の対象人物を含む第１グループと、該第１グループに含まれる対象人物とは異なる対象人物を含む第２グループとに分ける検出部１３と、所定の優先順位に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する決定部１４と、決定部１４の決定に基づいてカメラ１０の画角及び向きの少なくともいずれか一方を制御する制御部１５と、を備える。

このようなカメラ１０では、撮像画像に示される複数の対象人物が第１グループ及び第２グループに分けられ、所定の優先順位に基づいていずれのグループを優先撮像するか決定され、決定結果に応じてカメラ１０の画角及び向きが制御される。このように、所定の優先順位に基づいていずれのグループを優先撮像するかが決定されることによって、撮像画像に複数のグループが含まれる場合においても、予め定めた基準に基づき適切にグループの動画を撮像することができる。また、優先撮像するグループを撮像するようにカメラ１０の画角等が制御されることによって、カメラ１０の設置台数を抑えながら、効率的にグループの動画を撮像することができる。すなわち、カメラ１０によれば、広い空間においても少ないカメラ１０の台数で撮像領域の広さをカバーしつつ、且つ、対象人物を含むグループにズームした躍動感ある動画を撮像することができる。

カメラ１０において、決定部１４は、撮像済みのシーンが少ない対象人物ほど高くなる優先順位（人物レコードの優先順位）に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する。これにより、撮像済みのシーンが少ない対象人物を含むグループが優先的に撮像されるようにカメラ１０の画角等が制御されるため、撮像済みのシーンが少ないグループが生じることを抑制し、適切に各グループの動画を撮像することができる。

カメラ１０において、決定部１４は、グループ単位の所定の優先順位（グループレコードの優先順位）に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する。対象人物個人ではなくグループ単位の優先順位に基づき優先撮像するグループが決定されることにより、グループ単位の動画をより適切に撮像することができる。

カメラ１０において、決定部１４は、グループに含まれる２人以上の対象人物の組み合わせでの撮像済みのシーンが少ないグループほど高くなる優先順位（グループレコードの優先順位）に基づき、第１グループ及び第２グループのいずれを優先撮像するか決定する。これによりグループ（対象人物の組み合わせ）単位で撮像済みのシーンが少ないグループが優先的に撮像されるようにカメラ１０の画角等が制御されるため、対象人物個人単位で判断する場合と比べて、より確実に、撮像済みのシーンが少ないグループが生じることを抑制し、適切に各グループの動画を撮像することができる。

カメラ１０において、検出部１３は、撮像画像中の複数の対象人物の位置に応じて、複数の対象人物について、第１グループと第２グループとに分ける。これによって、共に行動する複数の対象人物を同一のグループにするように、適切にグループ分けを行うことができる。

カメラ１０において、取得部１２は、時系列に連続した撮像画像を取得し、制御部１５は、時系列に連続した撮像画像に基づいて、決定部１４が優先撮像すると決定したグループに含まれる対象人物の移動方向を特定し、該移動方向に応じてカメラ１０の画角及び向きを制御する。このように、対象人物の移動方向を特定し、該移動方向を考慮してカメラ１０の向き等を制御することによって、対象人物を含むグループの動画より適切に撮像することができる。

カメラ１０において、検出部１３は、撮像画像から、予め定められた物体（ランドマーク）を更に検出し、制御部１５は、決定部１４が優先撮像すると決定したグループの対象人物と、検出部１３によって検出された物体（ランドマーク）とが両方写るように、カメラ１０の画角及び向きを制御する。これにより、例えば予めランドマーク（有名な建造物等）を検出対象の物体としておくことによって、ランドマークと対象人物とが共に写った動画を撮像することができる。

最後に、撮像システム１に含まれたカメラ１０のハードウェア構成について、図４を参照して説明する。上述のカメラ１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。カメラ１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

カメラ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、カメラ１０の取得部１２等の制御機能はプロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、カメラ１０の取得部１２等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、カメラ１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

例えば、撮像装置は、同一グループの複数の対象人物（人物Ａ，Ｂ，Ｃ）について、更に詳細なサブグループに分けて、いずれのサブグループの対象人物を優先撮像するかを決定するものであってもよい。すなわち、撮像措置の検出部は、あるグループ（第１グループ）に含まれる２人以上の対象人物（人物Ａ，Ｂ，Ｃ）について、成立し得る対象人物の組み合わせをそれぞれサブグループとする。成立し得る全ての対象人物の組み合わせとしては、サブグループ１（人物Ａのみを含む）、サブグループ２（人物Ｂのみを含む）、サブグループ３（人物Ｃのみを含む）、サブグループ４（人物Ａ，Ｂを含む）、サブグループ５（人物Ａ，Ｃを含む）、サブグループ６（人物Ｂ，Ｃを含む）、サブグループ７（人物Ａ，Ｂ，Ｃを含む）が考えられる。このように、グループ分けの際には、同一の人物が異なるグループに属することはなかったが、サブグループ分けにおいては同一の人物が異なるサブグループに属していてもよい。ここで、検出部は、第１グループに含まれる２人以上の対象人物について、撮像画像中の位置に応じて、サブグループを分けてもよい。すなわち、例えば人物Ａ，Ｂ，Ｃについて、人物Ｂと人物Ｃは互いに近接する距離（両者を同時に撮像できる距離）に位置し、人物Ａについては人物Ｂ，Ｃから離間した場所（人物Ｂ，Ｃとは同時に撮像できない場所）に位置している場合、検出部は、当該グループについて、上述したサブグループ１（人物Ａのみを含む）及びサブグループ６（人物Ｂ，Ｃを含む）に分ける。

いま、カメラの首振調整で撮像可能な範囲に、上述した第１グループ（人物Ａ，Ｂ，Ｃ）及び第２グループ（人物Ｄ）が同時に存在しているとする。詳細には、第１グループのサブグループ１（人物Ａ）及びサブグループ６（人物Ｂ，Ｃ）と、第２グループ（人物Ｄ）とが存在しているとする。撮像装置の決定部は、最初に、グループ間（第１グループ及び第２グループ）の比較を行い、優先撮像するグループを決定する。すなわち、例えば過去に、第１グループ全体（サブグループ１～サブグループ６の合計）として１０回撮像されていたとする。また、過去に、第２グループ（人物Ｄ）として１２回撮像されていたとする。この場合、決定部は、撮像済みのシーンが少ない第１グループを優先撮像すると決定する。さらに、決定部は、第１グループを優先撮像すると決定した場合において、組み合わせでの撮像シーンが少ないサブグループほど高くなる優先順位に基づき、どのサブグループを優先撮像するか決定する。例えば過去に、サブグループ１（人物Ａ）として３回、サブグループ６（人物Ｂ，Ｃ）として１回撮像されていたとする。この場合、決定部は、組み合わせとしての撮像シーンが少ないサブグループ６を優先撮像すると決定する。上述したように、例えば撮像済みのシーンが少ないグループほど優先的に撮像されるように制御することによって、撮像済みのシーンが少ないグループが生じることが抑制され、グループ間の公平を期す（撮像枚数や撮像間隔を平等にする）ことができる。これに加えて、同一グループに含まれる２人以上の対象人物について、それぞれの組み合わせをサブグループとし、組み合わせとしての撮像シーンが少ないサブグループほど優先的に撮像することによって、同一グループ内に含まれる対象人物の様々な（色々な組み合わせの）動画を撮像することができ、ユーザにとってより思い出に残るシーンを撮像することができる。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

ユーザ端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１０…カメラ、１２…取得部（撮像画像取得部）、１３…検出部、１４…決定部、１５…制御部。

Claims (2)

1. 撮像画像を取得する撮像画像取得部と、
   前記撮像画像から複数の対象人物に係る情報を検出し、前記撮像画像に示される複数の対象人物を特定し、該複数の対象人物について、２人以上の対象人物を含む第１グループと、該第１グループに含まれる対象人物とは異なる対象人物を含む第２グループとに分ける検出部と、
   所定の優先順位に基づき、前記第１グループ及び前記第２グループのいずれを優先撮像するか決定する決定部と、
   前記決定部の決定に基づいて撮像装置の画角及び向きの少なくともいずれか一方を制御する制御部と、を備え、
   前記検出部は、前記第１グループに含まれる２人以上の対象人物について、成立し得る対象人物の組み合わせをそれぞれサブグループとし、
   前記決定部は、前記第１グループを優先撮像すると決定した場合において、組み合わせでの撮像済みのシーンが少ないサブグループほど高くなる前記優先順位に基づき、どのサブグループを優先撮像するか決定する、撮像装置。
2. 前記検出部は、前記第１グループに含まれる２人以上の対象人物について、前記撮像画像中の位置に応じて、前記サブグループに分ける、請求項１記載の撮像装置。

Images