JP7375542B2 - 制御装置、制御システム、および制御プログラム - Google Patents

Description

参照による取り込み

本出願は、平成２９年（２０１７年）１０月１７日に出願された日本出願である特願２０１７－２０１１９０の優先権を主張し、その内容を参照することにより、本出願に取り込む。

本発明は、制御装置、制御システム、および制御プログラムに関する。

特許文献１は、スポーツ競技等の撮影に用いられるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラムを開示する。しかしながら、特許文献１では、操作者からの切替指示により、競技撮影用カメラを切り替えている。すなわち、テレビの放送用のカメラの切替は依然としてディレクターと呼ばれる責任者の指示により行われるため、切替の自動化は考慮されていない。

特開２００８－５２０８号公報

本願において開示される技術の一側面となる制御装置は、施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能な制御装置であって、前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出部と、前記検出部によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定部と、前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、を有する。

本願において開示される技術の他の側面となる制御装置は、施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能な制御装置であって、前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出部と、前記検出部によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定部と、前記特定部の特定結果に基づいて、前記第２カメラの撮影を制御する制御部と、を有する。

本願において開示される技術の一側面となる制御システムは、施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、前記複数の第１カメラ、および前記複数の第２カメラにアクセス可能な制御装置と、を有する制御システムであって、前記制御装置は、前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出部と、前記検出部によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定部と、前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、を有する。

本願において開示される技術の一側面となる制御プログラムは、施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能なプロセッサに、前記複数の第１カメラの各々が撮影した前記第１被写体内の観客の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択処理と、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出処理と、前記検出処理によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定処理と、前記特定処理によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定処理と、前記決定処理によって決定された特定の第２カメラからの映像データを送信する送信処理と、を実行させる。

本願において開示される技術の他の側面となる制御プログラムは、施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能なプロセッサに、前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択処理と、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出処理と、前記検出処理によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定処理と、前記特定処理の特定結果に基づいて、前記第２カメラの撮影を制御する制御処理と、を実行させる。

図１は、制御システムの構成例を示す説明図である。 図２は、制御装置のハードウェア構成例を示すブロック図である。 図３は、制御装置の機能的構成例を示すブロック図である。 図４は、観客カメラで撮影される観客群の一例を示す説明図である。 図５は、観客の動的な視線方向の感度例１を示す説明図である。 図６は、観客の動的な視線方向の感度例２を示す説明図である。 図７は、観客の動的な視線方向の感度例３を示す説明図である。 図８は、観客群の視線方向の検出例を示す説明図である。 図９は、耳の位置変化による動きベクトルの検出例を示す説明図である。 図１０は、特定の観客の視線方向の検出例を示す説明図である。 図１１は、特定部による注視領域および注視対象の特定例１を示す説明図である。 図１２は、特定部による注視領域および注視対象の特定例２を示す説明図である。 図１３は、注視領域の面積の計算例を示す説明図である。 図１４は、制御装置による制御処理手順例を示すフローチャートである。 図１５は、図１４に示した選択部による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例１を示すフローチャートである。 図１６は、図１４に示した選択部による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例２を示すフローチャートである。 図１７は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例１を示すフローチャートである。 図１８は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示す説明図である。 図１９は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示すフローチャートである。 図２０は、図１４に示した特定処理（ステップＳ１４０３）の詳細な処理手順例を示すフローチャートである。 図２１は、フィールドカメラの自動シャッター機能の説明図である。 図２２は、マーケティングへの応用例を示す説明図である。

＜制御システムの構成例＞
図１は、制御システムの構成例を示す説明図である。本実施例の制御システム１は、テレビやインターネット上に放送される映像データのシーンを観客からの視線に合わせて自動的に切り替えるシステムである。この制御システム１は、たとえば、施設に実装されるシステムである。施設とは、観客が注視対象を目視するための建造物または場所であり、具体的には、たとえば、スタジアム、アリーナ、イベントホール、体育館、運動場、競技場、プール、演舞場、テーマパークを含む。本実施例では、サッカーのスタジアム１００を例に挙げて説明する。

施設は、観客が存在する第１領域と注視対象が存在する第２領域とを有する。サッカーのスタジアム１００の場合、第１領域が観客席１０１であり、第２領域がフィールド１０２である。注視対象とは、観客が注視する人または物であり、たとえば、サッカーの場合、人であれば選手や監督、審判であり、物であればボールである。

制御システム１は、複数の観客カメラＡＣと、複数のフィールドカメラＦＣと、制御装置１１０と、データベースと、を有する。観客カメラＡＣは、第１領域である観客席１０１を被写体として動画撮影するカメラである。フィールドカメラＦＣは、スタジアム１００のフィールド１０２を被写体として動画撮影するカメラである。フィールドカメラＦＣは、被写体を自動的に追尾してもよく、撮影者が操作してもよい。

観客カメラＡＣおよびフィールドカメラＦＣからの映像データは、制御装置１１０に送信される。なお、フィールドカメラＦＣの映像データは、電波塔経由で一般家庭のテレビ１０３に、または、インターネット経由でパーソナルコンピュータ１０４（スマートフォンやタブレット含む）に配信される。

制御装置１１０は、複数の観客カメラＡＣ、複数のフィールドカメラＦＣ、およびデータベース１２０と通信可能なコンピュータである。データベース１２０は、施設に関する設計情報として、観客席情報１２１、フィールド情報１２２、観客カメラ情報１２３、フィールドカメラ情報１２４を記憶する。また、データベース１２０は、選手情報１２５や特徴人物情報１２６も記憶する。データベース１２０は、制御装置１１０からアクセス可能であれば、制御システム１の外に設けられてもよい。

観客席情報１２１は、直交しあうＸ軸、Ｙ軸、およびＺ軸からなるローカル座標系１０において、施設における観客席１０１の３次元位置を示す情報である。Ｘ軸およびＹ軸で形成される平面がフィールド１０２に平行な面であり、Ｚ軸がフィールド１０２からの高さを示す。

フィールド情報１２２は、施設におけるフィールド１０２の３次元位置を示す情報である。観客カメラ情報１２３は、施設における観客カメラＡＣの３次元位置や撮影条件を示す情報である。撮影条件とは、たとえば、撮影方向、画角、倍率である。フィールドカメラ情報１２４は、施設におけるフィールドカメラＦＣの３次元位置や撮影条件を示す情報である。

選手情報１２５は、選手の所属チームやユニフォームの色や模様、背番号を示す情報である。また、選手の顔画像データを含んでもよい。特徴人物情報１２６は、特徴的な人物を示す情報であり、具体的には、たとえば、当該人物の顔画像データや服装の画像データを含む。

ここで、制御システム１の動作について説明する。

（１－１）フィールドカメラＦＣがフィールド１０２上の選手やボールを撮影し映像データを取得する。
（１－２）観客カメラＡＣが観客席１０１の観客群を撮影し、映像データを取得する。

（２－１）フィールドカメラＦＣは、取得した映像データを制御装置１１０に送信する。
（２－２）観客カメラＡＣは、取得した映像データを制御装置１１０に送信する。

（３）制御装置１１０は、取得した映像データを用いて、観客群が注視しているフィールド１０２の領域（以下、注視領域）を特定し、注視領域に存在する注視対象（選手やボール）を、データベース１２０を参照して特定する。

（４）制御装置１１０は、特定した注視対象を撮影するフィールドカメラＦＣを複数のフィールドカメラＦＣから決定する。制御装置１１０は、具体的には、たとえば、注視領域とフィールドカメラＦＣとの位置関係や距離、同一フィールドカメラＦＣの連続放送時間がしきい値を超えたか否か、選手の顔が認識できるか否か、といった基準により、切替先となる最適なフィールドカメラＦＣを決定する。

これにより、決定されたフィールドカメラＦＣからの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、フィールドカメラＦＣの切替の自動化を図ることができる（リアルタイム制御）。

＜制御装置１１０のハードウェア構成例＞
図２は、制御装置１１０のハードウェア構成例を示すブロック図である。制御装置１１０は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。

プロセッサ２０１は、制御装置１１０を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。

入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ、プリンタがある。

通信ＩＦ２０５は、観客カメラ群ＡＣｓおよびフィールドカメラ群ＦＣｓから映像データを受信する。また、通信ＩＦ２０５は、インターネット２００や電波塔２１０と接続し、観客カメラ群ＡＣｓおよびフィールドカメラ群ＦＣｓから受信した映像データをパーソナルコンピュータ１０４やテレビ１０３に送信する。

＜制御装置１１０の機能的構成例＞
図３は、制御装置１１０の機能的構成例を示すブロック図である。制御装置１１０は、検出部３０１と、特定部３０２と、決定部３０３と、送信部３０４と、選択部３０５と、を有する。検出部３０１～選択部３０５は、具体的には、たとえば、図２に示した記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される機能である。

検出部３０１は、観客カメラ群ＡＣｓのうちいずれかの観客カメラＡＣによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群の視線方向を検出する。観客群の視線方向とは、観客群の中の各観客の視線方向の合成ベクトルが指し示す方向である。

すなわち、合成ベクトルのスカラー値が所定値以上である場合、観客群の大部分が合成ベクトルの方向を向いて、フィールド１０２を注視しているとみなす。なお、観客の個々の視線方向の検出する方法の一つとして、目領域の検出がある。検出部３０１は、観客が映っている映像データ中から目領域中の虹彩の位置を検出することにより視線方向を検出する。また、検出部３０１は、観客の顔の向きにより、観客の視線方向を検出してもよい。

特定部３０２は、検出部３０１によって検出された観客群の視線方向に基づいて、観客群の第２領域内の注視領域を特定する。具体的には、たとえば、特定部３０２は、観客群の視線方向の先となるフィールド１０２上の注視領域を、データベース１２０の観客席情報１２１およびフィールド情報１２２から特定する。すなわち、観客群の観客席１０１の位置を始点として視線方向の先となるフィールド１０２の領域を注視領域とする。なお、注視領域は、視線方向の延長線とフィールド１０２とが交差する点を包含する領域である。

また、特定部３０２は、フィールドカメラ群ＦＣｓの各フィールドカメラＦＣによって撮影された第２被写体の映像データに基づいて、注視領域内に存在する観客群の注視対象を特定する。具体的には、たとえば、特定部３０２は、フィールドカメラＦＣが撮影している注視領域上の注視対象を、フィールドカメラＦＣの映像データから特定する。

また、観客カメラＡＣが、いわゆる全天球型カメラである場合、観客カメラＡＣは、観客席１０１と、当該観客席１０１と反対側のフィールド１０２を撮像している。したがって、制御装置１１０は、この観客カメラＡＣからの映像データを用いて、観客群の視線方向の延長線上に存在する注視対象を直接特定する。これにより、注視対象の特定にフィールドカメラＦＣの映像データを用いる必要がなく、注視対象の特定精度の向上および処理速度の向上を図ることができる。

決定部３０３は、特定部３０２によって特定された注視対象に基づいて、フィールドカメラ群ＦＣｓの中から映像データの送信元となる特定のフィールドカメラＦＣを決定する。具体的には、たとえば、決定部３０３は、注視領域とフィールドカメラＦＣとの位置関係や距離、同一フィールドカメラＦＣの連続放送時間がしきい値を超えたか否か、選手の顔が認識できるか否か、といった基準により、切替先となる最適なフィールドカメラＦＣを決定する。

これにより、決定されたフィールドカメラＦＣからの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、フィールドカメラＦＣの切替の自動化を図ることができる。

送信部３０４は、決定部３０３によって決定された特定のフィールドカメラＦＣからの映像データを送信する。具体的には、たとえば、送信部３０４は、通信ＩＦを用いて、電波塔２１０経由で一般家庭のテレビ１０３に、または、インターネット２００経由でパーソナルコンピュータ１０４（スマートフォンやタブレット含む）に、特定のフィールドカメラＦＣからの映像データを送信する。

選択部３０５は、視線方向の検出に先立って、観客カメラ群ＡＣｓの中から特定の観客カメラＡＣを選択する。具体的には、たとえば、選択部３０５は、複数の観客カメラＡＣの各々が撮影した第１被写体内の観客群の人数の多さを示すスコアに基づいて、複数の観客カメラＡＣの中から特定の観客カメラＡＣを選択する。スコアは、観客群の人数の多さを示し、具体的には、たとえば、映像データの１フレーム内の面積のうち観客の画像データが占める割合、すなわち、密度である。スコアが大きいほど、観客数が多い。

なお、選択部３０５による観客カメラＡＣの選択は、検出部３０１で多数の観客群の視線方向を検出するためである。したがって、所定数以上の観客席１０１が第１被写体として観客カメラＡＣの画角に収まるように、観客カメラＡＣの撮影条件が設定されているものとする。検出部３０１は、選択部３０５によって選択された観客カメラＡＣにより撮影された第１被写体の映像データに基づいて、第１被写体内の観客群の視線方向を検出することになる。

また、選択部３０５は、観客群と注視領域との位置関係に基づいて、特定の観客カメラＡＣを選択する。具体的には、たとえば、選択部３０５は、複数の観客カメラＡＣの中で、注視領域に近い観客群を撮影する観客カメラＡＣを特定の観客カメラＡＣとして選択する。当該選択についての詳細は、図４～図６で後述する。

また、選択部３０５は、スコアが所定のしきい値以上となる観客カメラＡＣを特定の観客カメラＡＣとして選択する。スコアが高い観客カメラＡＣほど、より多くの観客を撮影しているため、観客群の視線方向の検出に適していることになる。したがって、選択部３０５は、複数の観客カメラＡＣの中で絶対的にスコアが高い、すなわち、スコアがしきい値以上である観客カメラＡＣを選択すればよい。

スコアが所定のしきい値以上となる観客カメラＡＣが複数存在する場合は、選択部３０５は、最高値のスコアの観客カメラＡＣを選択してもよい。また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。

また、選択部３０５は、複数の観客カメラＡＣのスコアの中で相対的なに高いスコアの観客カメラＡＣを特定の観客カメラＡＣとして選択する。スコアが高い観客カメラＡＣほど、より多くの観客を撮影しているため、観客群の視線方向の検出に適していることになる。したがって、選択部３０５は、複数の観客カメラＡＣの中で相対的にスコアが高い観客カメラＡＣを選択すればよい。

相対的に高いスコアの観客カメラＡＣが複数存在する場合は、選択部３０５は、その中で最高のスコアの観客カメラＡＣを選択してもよい。また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。

また、選択部３０５は、スコアが所定のしきい値未満となる観客カメラＡＣを特定の観客カメラＡＣとして選択してもよい。スコアが高い観客カメラＡＣほど、より多くの観客を撮影しているため、観客群の視線方向の検出に適しているが、しきい値以上のスコアが存在しない場合は、しきい値未満のスコアの観客カメラＡＣが選択される。スコアが所定のしきい値未満となる観客カメラＡＣが複数存在する場合は、選択部３０５は、最高値のスコアの観客カメラＡＣを選択してもよい。

また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。また、選択部３０５は、通常は、スコアがしきい値以上の観客カメラＡＣを選択し、ランダムにまたは周期的にスコアがしきい値未満となる観客カメラＡＣを選択してもよい。これにより、少数派の視線方向も考慮して、たとえば、多数派が見逃してしまうようなシーンにフィールドカメラＦＣを切り替えることができる。

また、選択部３０５は、複数の観客カメラＡＣのスコアの中で相対的に低いスコアの観客カメラＡＣを特定の観客カメラＡＣとして選択する。相対的に低いスコアの観客カメラＡＣが複数存在する場合は、選択部３０５は、その中で最低のスコアの観客カメラＡＣを選択してもよい。また、上述した観客席１０１と注視領域との位置関係で特定の観客カメラＡＣとしての条件を満たしている観客カメラＡＣに制限してもよい。

また、選択部３０５は、通常は、スコアが最低ではない観客カメラＡＣを選択し、ランダムにまたは周期的に相対的に低いスコアの観客カメラＡＣを選択してもよい。これにより、少数派の視線方向も考慮して、たとえば、多数派が見逃してしまうようなシーンにフィールドカメラＦＣを切り替えることができる。

また、スコアがしきい値未満または相対的に低い観客カメラＡＣが特定の観客カメラＡＣとして選択された場合、検出部３０１は、特定の観客カメラＡＣで撮影される観客群の視線方向ではなく、その中の特定の観客の視線方向を検出してもよい。スコアがしきい値未満または相対的に低い場合は、観客数が少ないため、観客群の視線方向が、観客群全体として注視したい方向でない場合もある。したがって、このような場合には、検出部３０１は、ノイズ除去により、観客群を絞り込む。

ここで、ノイズとは、スマートフォンの操作中、飲食中（いずれも下を向いている）、電光掲示板の方向を向いている観客のように非注視行動をとっている観客である。検出部３０１は、そのような視線方向の観客を除去し、残余の観客群から特定の観客の視線方向を検出する。また、検出部３０１は、データベース１２０を参照して特徴的な人物を特定の観客として選択し、その視線方向を検出してもよい。

また、スコアがしきい値未満または相対的に低い観客カメラＡＣが特定の観客カメラＡＣとして選択された場合、検出部３０１は、決定部３０３によって決定された特定のフィールドカメラＦＣの撮影方向と、特定の観客群の各々の視線方向と、に基づいて、特定の観客の視線方向を検出してもよい。

特定のフィールドカメラＦＣからの映像データは、テレビ１０３の視聴者が視聴するため、特定のフィールドカメラＦＣの撮影方向は、テレビ１０３の視聴者の視線方向となる。したがって、検出部３０１は、当該撮影方向と逆方向に位置する観客群の個々の観客の視線方向を検出し、その中から特定の観客の視線方向を検出してもよい。

この場合の特定の観客の視線方向は、撮影方向と同一または許容範囲内で近似する方向でもよい。これにより、テレビ１０３の視聴者と観客とがともに注視する映像を提供することができる。また、特定の観客の視線方向は、撮影方向と許容範囲外れている方向でもよい。これにより、テレビ１０３の視聴者が注視することができない注視対象へフィールドカメラＦＣを切り替えることができる。

また、制御装置１１０は、フィールドカメラ群ＦＣｓのうち、過去の放送データに最も類似している画像データを撮影しているフィールドカメラＦＣに切り替えてもよい。このとき、制御装置１１０は、観客カメラＡＣと当該被写体を結んだベクトルを観客の視線方向として検出する。この視線方向検出に基づき、検出精度を改善することができる。

また、送信部３０４は、フィールドカメラＦＣが撮影した静止画データを、当該フィールドカメラＦＣの切替元となった観客群のうち少なくとも１人の観客Ａの通信端末３００（たとえば、スマートフォン）に送信してもよい。この場合、制御装置１１０は、データベースに観客の通信端末３００のアドレス情報（たとえば、電子メールアドレス）を記憶しているものとする。静止画データは、フィールドカメラＦＣが静止画として撮影したデータでもよく、映像データから抽出したデータでもよい。

また、送信部３０４は、静止画データそのものではなく、静止画データの保存先を示すアクセス情報（たとえば、ＵＲＬ）を当該通信端末３００に送信してもよい。フィールドカメラＦＣの切替直後は、決定的なシーンとなることがあるため、その時の静止画データまたはアクセス情報を、当該シーンを見ていたであろう観客に提供することができる。特に、このようなシーンでは、観客は撮影せずに注視対象を注視しているため、観客は静止画データを撮影できる状況でなくても、そのとき注視している注視対象の静止画データを取得することができる。

上述した実施例では、制御装置１１０は、複数のフィールドカメラＦＣを切り替える例を説明したが、１台または複数の観客カメラＡＣの映像データを用いて注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定して、１台のフィールドカメラＦＣを制御することとしてもよい。フィールドカメラＦＣを制御する制御部は、たとえば、特定した注視領域Ｒ、あるいは特定した注視領域Ｒ内の注視対象の方向にフィールドカメラＦＣを向ける制御を実行する。

＜観客カメラＡＣで撮影される観客群＞
図４は、観客カメラＡＣで撮影される観客群の一例を示す説明図である。図４において、観客カメラＡＣ１，ＡＣ２は同一撮影条件とする。観客カメラＡＣ１は、観客席１０１の観客群４０１を撮影しており、観客カメラＡＣ２は、観客席１０１の観客群４０２を撮影している。観客群４０１，４０２の人数の多さは、上述した選択部３０５においてスコアを算出することにより特定される。

図４の例では、観客群４０１のスコアは、しきい値以上または相対的に高いスコアとなり、検出部３０１は、観客群４０１の各々の観客の視線方向ベクトルの合成ベクトルを、観客群４０１の視線方向として検出する。また、観客群４０２のスコアは、しきい値未満または相対的に低いスコアとなり、検出部３０１は、観客群４０１の特定の観客の視線方向を検出する。

＜観客と選手との位置関係＞
つぎに、観客と選手との位置関係について説明する。観客席１０１は、フィールド１０２の周囲に設置されているものとする。観客がフィールド１０２上の注視対象（選手やボール）を視線追尾する場合、制御装置１１０は、観客の動的な視線方向や奥行側の追尾をしづらく、視線方向に直交する左右方向や手前側の追尾をしやすい。視線方向の追尾のしやすさを感度と表現する。したがって、観客の動的な視線方向や奥行側の追尾については感度が悪く、視線方向に直交する左右方向や手前側の追尾については感度が良い。

なお、以下の図５～図７では、ある一人の観客を例に挙げて説明するが、複数の観客の集合である観客群の場合も同様である。

図５は、観客の動的な視線方向の感度例１を示す説明図である。フィールド１０２を囲む観客席１０１Ａ～１０１Ｄのうち、観客５００Ａは、観客席１０１Ａに位置し、観客５００Ｂは、観客席１０１Ｂに位置する。観客席１０１Ａは、観客席１０１Ｂと対向する。

また、フィールド１０２において、選手ＰがＸ方向に移動するエリアをエリア１０２Ａ、１０２Ｂとする。エリア１０２Ａは、観客席１０１Ｂよりも観客席１０１Ａに近いエリアであり、エリア１０２Ｂは、観客席１０１Ａよりも観客席１０１Ｂに近いエリアである。

図５においては、選手Ｐがエリア１０２Ａに存在するときの観客５００Ａの最大視野角はθＡであり、選手Ｐがエリア１０２Ｂに存在するときの観客５００Ａの最大視野角はθＢ（＜θＡ）である。したがって、観客５００Ａは、選手Ｐがエリア１０２Ｂよりもエリア１０２Ａにいる時の方が選手ＰのＸ方向の移動による視線方向の違いが得られやすい。これにより、検出部３０１は、観客５００Ａの視線方向を高感度で検出することができる。

同様に、観客５００Ｂは、選手Ｐがエリア１０２Ａよりもエリア１０２Ｂにいる時の方が選手ＰのＸ方向の移動による視線方向の違いが得られやすい。したがって、検出部３０１は、観客５００Ａの視線方向を高感度で検出することができる。また、観客５００Ａ、５００Ｂはともに、選手ＰのＹ方向の移動による視線方向の違いが得られにくい。すなわち、視線方向の検出感度がＸ方向よりも悪い。

したがって、選手Ｐがエリア１０２Ａにいる場合、選択部３０５は、観客席１０１Ａを撮影する観客カメラＡＣ－Ａを選択するのが好ましく、選手Ｐがエリア１０２Ｂにいる場合、選択部３０５は、観客席１０１Ｂを撮影する観客カメラＡＣ－Ｂを選択するのが好ましい。

図６は、観客の動的な視線方向の感度例２を示す説明図である。フィールド１０２を囲む観客席１０１Ａ～１０１Ｄのうち、観客５００Ｃは、観客席１０１Ｃに位置し、観客５００Ｄは、観客席１０１Ｄに位置する。また、観客席１０１Ｃは、観客席１０１Ｄと対向する。

また、フィールド１０２において、選手ＰがＹ方向に移動するエリアをエリア１０２Ｃ、１０２Ｄとする。エリア１０２Ｃは、観客席１０１Ｄよりも観客席１０１Ｃに近いエリアであり、エリア１０２Ｄは、観客席１０１Ｃよりも観客席１０１Ｄに近いエリアである。

図６においては、選手Ｐがエリア１０２Ｃに存在するときの観客５００Ｃの最大視野角はθＣであり、選手Ｐがエリア１０２Ｄに存在するときの観客５００Ｃの最大視野角はθＤ（＜θＣ）である。したがって、観客５００Ｃは、選手Ｐがエリア１０２Ｄよりもエリア１０２Ｃにいる時の方が選手ＰのＹ方向の移動による視線方向の違いが得られやすい。これにより、検出部３０１は、観客５００Ｃの視線方向を高感度で検出することができる。

同様に、観客５００Ｄは、選手Ｐがエリア１０２Ｃよりもエリア１０２Ｄにいる時の方が選手ＰのＹ方向の移動による視線方向の違いが得られやすい。したがって、検出部３０１は、観客５００Ｃの視線方向を高感度で検出することができる。また、観客５００Ｃ、５００Ｄはともに、選手ＰのＸ方向の移動による視線方向の違いが得られにくい。すなわち、視線方向の検出感度がＹ方向よりも悪い。

したがって、選手Ｐがエリア１０２Ｃにいる場合、選択部３０５は、観客席１０１Ｃを撮影する観客カメラＡＣ－Ｃを選択するのが好ましく、選手Ｐがエリア１０２Ｄにいる場合、選択部３０５は、観客席１０１Ｄを撮影する観客カメラＡＣ－Ｄを選択するのが好ましい。

図７は、観客の動的な視線方向の感度例３を示す説明図である。感度例３は、感度例１と感度例２とを結合した例である。エリア１０２Ａとエリア１０Ｃの重複エリアがエリア１０２ＡＣであり、エリア１０２Ａとエリア１０Ｄの重複エリアがエリア１０２ＡＤであり、エリア１０２Ｂとエリア１０Ｃの重複エリアがエリア１０２ＢＣであり、エリア１０２Ｂとエリア１０２Ｄの重複エリアがエリア１０２ＢＤである。

選手Ｐがエリア１０２ＡＣにいる場合、選択部３０５は、観客席１０１Ａを撮影する観客カメラＡＣ－Ａまたは観客席１０１Ｃを撮影する観客カメラＡＣ－Ｃを選択するのが好ましく、選手Ｐがエリア１０２ＡＤにいる場合、選択部３０５は、観客席１０１Ａを撮影する観客カメラＡＣ－Ａまたは観客席１０１Ｄを撮影する観客カメラＡＣ－Ｄを選択するのが好ましい。

＜観客群の視線方向＞
図８は、観客群４０１の視線方向の検出例を示す説明図である。検出部３０１は、個々の観客の動きベクトルｍｖを検出し、各動きベクトルｍｖの合成動きベクトルＭＶを観客群４０１の視線方向として生成する。その際、検出部３０１は、観客の目領域中の虹彩の位置の変化により動きベクトルｍｖを視線方向として検出してもよく、観客の頭は顔のパーツ（たとえば、耳）の位置の変化により動きベクトルｍｖを視線方向として検出してもよい。

なお、検出部３０１は、観客の個々の頭部方向を検知し、注視領域を特定してもよい。検出部３０１は、頭部方向検出において、画像データから頭部およびその方向を検出する既存のアルゴリズムなどを用いる。たとえば、検出部３０１は、深層学習を用いて頭部方向（３自由度：Ｙａｗ，Ｒｏｌｌ，Ｐｉｔｃｈ）の学習を行うことで顔画像から頭部方向を検出することができる。

図９は、耳の位置変化による動きベクトルｍｖの検出例を示す説明図である。なお、観客カメラＡＣが全天球型カメラである場合、映像データの各フレームの両端に歪みが発生するため、フレームの両端を拡大することにより、観客の耳の位置の変化量が大きくなり、検出部３０１は、動きベクトルｍｖを検出しやすくなる。

図１０は、特定の観客の視線方向の検出例を示す説明図である。図１０では、上述したように、観客群４０２の人数を示すスコアがしきい値未満または相対的に低いために、選択部３０５は、特定の観客を選択する。図１０において、観客Ａ１～Ａ８のうち、観客Ａは、スマートフォン１０００を見ているため、ノイズとして除外される。

観客Ａ２は、その視線方向が、たとえば、電光掲示板の方向となるため、ノイズとして除外される。なお、電光掲示板の位置は、施設の設計情報から得られる。したがって、選択部３０５は、観客Ａ３～Ａ８の中から任意の観客を特定の観客として選択する。また、観客Ａ３～Ａ８の中で、特徴人物情報１２６に合致する観客がいる場合（たとえば、観客Ａ８）、観客Ａ８を特定の観客として選択してもよい。

＜注視領域および注視対象の特定例＞
図１１は、特定部３０２による注視領域および注視対象の特定例１を示す説明図である。仮想平面ＶＳは、ＸＺ平面に平行な面である。観客カメラＡＣは仮想平面ＶＳ上に位置する。特定部３０２は、合成動きベクトルＭＶを仮想平面ＶＳからフィールド１０２側に投影して、フィールド１０２上の領域となる注視領域Ｒを特定する。そして、特定部３０２は、注視領域Ｒを撮像中のフィールドカメラＦＣ－Ａ～ＦＣ－Ｄを、当該フィールドカメラＦＣ－Ａ～ＦＣ－Ｄの撮影方向ＰＤ－Ａ～ＰＤ－Ｄから特定する。

ここで、特定部３０２は、撮影方向ＰＤ－Ｂが注視領域Ｒを向いていないフィールドカメラＦＣ－Ｂを除外する。図１１の場合、特定部３０２は、フィールドカメラＦＣ－Ａ，ＦＣ－Ｃ，ＦＣ－Ｄの映像データから注視領域Ｒ内に存在する選手Ｐを注視対象として特定する。

図１２は、特定部３０２による注視領域および注視対象の特定例２を示す説明図である。図１２の特定例は、観客カメラＡＣとして全天球型カメラ１２００を用いた例である。全天球型カメラ１２００を用いることにより、全天球型カメラ１２００に対し合成動きベクトルＭＶの生成元の観客群４０１の反対側のフィールド１０２も撮影される。したがって、特定部３０２は、全天球型カメラ１２００の映像データから合成動きベクトルＭＶが指し示すフィールド１０２の注視領域Ｒおよび注視対象（選手Ｐ）を同時に特定することができる。

図１３は、注視領域の面積の計算例を示す説明図である。図１３では、注視領域Ｒを矩形とする。観客Ａが注視領域を注視する場合、観客Ａのフィールド１０２からの高さをｈ、観客Ａをフィールド１０２上に投影した場合の注視領域Ｒまでの距離をＬ、注視領域Ｒの直交する２辺の長さをｘ、ｙとした場合、ｘは下記式（１）、ｙは下記式（２）であらわされる。ただし、θ±は下記式（３）、観客Ａから注視領域Ｒまでの距離Ｄは下記式（４）であらわされる（ただし、ｙａｗ角θｙａｗ、ｐｉｔｃｈ角θｐｉｔｃｈは、図１３の凡例を参照。）。

また、注視領域Ｒの面積Ｓは、Ｓ＝ｘ・ｙである。これにより、特定部３０２は、観客Ａから注視領域Ｒまでの距離Ｄや注視領域Ｒの面積Ｓを特定することができ、距離Ｄおよび面積Ｓにより注視領域Ｒ上の注視対象（たとえば、選手Ｐ）を特定することができる。なお、ここでは、ある観客Ａを基準にしたが、観客群４０１の場合は合成動きベクトルＭＶの始端位置を観客Ａの位置としてよい。

＜制御処理手順例＞
図１４は、制御装置１１０による制御処理手順例を示すフローチャートである。制御装置１１０は、観客カメラＡＣからの映像データとフィールドカメラＦＣからの映像データを取得しているものとする。制御装置１１０は、選択部３０５により、第１観客カメラ選択処理を実行して視線方向を検出するための観客カメラＡＣを選択する（ステップＳ１４０１）。つぎに、制御装置１１０は、検出部３０１により、選択した観客カメラＡＣからの映像データを解析して、視線方向を検出する（ステップＳ１４０２）。

つぎに、制御装置１１０は、特定部３０２により、検出した視線方向のベクトルを用いて、特定処理を実行して注視領域および注視対象を特定する（ステップＳ１４０３）。そして、制御装置１１０は、複数のフィールドカメラＦＣから注視対象を撮影しているフィールドカメラＦＣを決定する（ステップＳ１４０４）。

このあと、制御装置１１０は、送信部３０４により、決定したフィールドカメラＦＣからの映像データを電波塔２１０またはインターネット２００を介して送信する（ステップＳ１４０５）。これにより、観客群が注視する方向に存在する注視対象に自動的にフィールドカメラＦＣを切り替えることができる。

図１５は、図１４に示した選択部３０５による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例１を示すフローチャートである。制御装置１１０は、選択部３０５により、観客カメラＡＣごとに観客数を示すスコアを算出する（ステップＳ１５０１）。つぎに、制御装置１１０は、選択部３０５により、上述したように、算出したスコアに基づいて観客カメラＡＣを選択する（ステップＳ１５０２）。

たとえば、制御装置１１０は、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣを選択する。なお、ステップＳ１５０２の選択では、制御装置１１０は、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが存在する場合に、その観客カメラＡＣを確率的に（たとえば、７０％の確率で）選択してもよい。

つぎに、制御装置１１０は、選択部３０５により、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが選択されたか否かを判断する（ステップＳ１５０３）。しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが選択された場合（ステップＳ１５０３：Ｙｅｓ）、ステップＳ１４０２に移行する。この場合、制御装置１１０は、検出部３０１により、観客群４０１の合成動きベクトルＭＶを視線方向として検出することになる。

一方、しきい値以上のスコアまたは相対的に高いスコアの観客カメラＡＣが選択されなかった場合（ステップＳ１５０３：Ｎｏ）、制御装置１１０は、選択部３０５により、第２観客カメラ選択処理を実行して（ステップＳ１５０４）、ステップＳ１４０２に移行する。第２観客カメラ選択処理（ステップＳ１５０４）では、観客群４０２の中の特定の観客Ａ８を選択する処理である。この場合、制御装置１１０は、検出部３０１により、特定の観客Ａ８の動きベクトルｍｖを視線方向として検出することになる。

図１６は、図１４に示した選択部３０５による第１観客カメラ選択処理（ステップＳ１４０１）の詳細な処理手順例２を示すフローチャートである。図１６では、図１５と同一処理については同一ステップ番号を付し、その説明を省略する。制御装置１１０は、特定部３０２により、前回特定部３０２によって特定された注視対象とその注視領域を特定し、特定した注視領域と各観客カメラＡＣとの位置関係により、図５～図７に示したように、観客カメラＡＣを特定する（ステップＳ１６０２）。

ステップＳ１６０２で特定される観客カメラＡＣは複数でもよい。たとえば、注視対象である選手Ｐがエリア１０２ＡＣにいる場合、エリア１０２ＡＣに近い観客カメラＡＣ－Ａ，ＡＣ－Ｃが特定される。このあと、図１５に示したように、ステップＳ１６０２で特定した観客カメラＡＣについて、ステップＳ１５０１～Ｓ１５０４が実行される。これにより、注視対象の位置に近い観客カメラＡＣが選択されやすくなり、視線方向の検出感度の向上を図ることができる。

図１７は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例１を示すフローチャートである。制御装置１１０は、選択部３０５により、各観客カメラＡＣの映像データからノイズを除去する（ステップＳ１７０１）。つぎに、制御装置１１０は、選択部３０５により、ノイズ除去された各観客カメラＡＣの映像データに特徴的な人物の画像データが存在するか否かを判断する（ステップＳ１７０２）。

特徴的な人物の画像データが存在する映像データを取得した観客カメラＡＣがある場合（ステップＳ１７０２：Ｙｅｓ）、制御装置１１０は、選択部３０５により、当該観客カメラＡＣを選択して（ステップＳ１７０３）、ステップＳ１４０２に移行する。一方、特徴的な人物の画像データが存在する映像データを取得した観客カメラＡＣがない場合（ステップＳ１７０２：Ｎｏ）、制御装置１１０は、選択部３０５により、スコアが最大の観客カメラＡＣを選択して（ステップＳ１７０４）、ステップＳ１７０４に移行する。

図１８は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示す説明図である。具体的には、たとえば、制御装置１１０は、選択部３０５により、テレビ１０３の視聴者ＴＡが視聴しているシーンと同じシーンを注視している観客Ａ１１を特定の観客として選択する。

テレビ１０３の視聴者ＴＡが視聴しているシーンとは、あるフィールドカメラＦＣがその撮影方向ＰＤで撮影している選手Ｐ（注視対象）である。制御装置１１０は、現在放映中のフィールドカメラＦＣの撮影方向ＰＤと逆方向の観客席１０１を特定し、特定した観客席１０１を映す観客カメラＡＣを選択する。そして、選択した観客カメラＡＣにより撮影された観客群４０２（観客Ａ１１，Ａ１２を含む）から動きベクトルｍｖが撮影方向ＰＤと同じまたは方向のずれが許容範囲内の角度であれば、観客Ａ１１を特定の観客として選択する。

図１９は、図１５に示した第２観客カメラ選択処理（ステップＳ１５０４）の詳細な処理手順例２を示すフローチャートである。制御装置１１０は、選択部３０５により、現在の映像データを撮影したフィールドカメラＦＣの撮影方向を特定し（ステップＳ１９０１）、特定した撮影方向の逆方向の観客席１０１を特定し（ステップＳ１９０２）、特定した観客席１０１を撮影可能な観客カメラＡＣを選択する（ステップＳ１９０３）。これにより、テレビ１０３の視聴者ＴＡが視聴しているシーンと同じシーンを注視している観客Ａ１１を特定の観客として選択することができ、特定の観客の推定精度の向上を図ることができる。

図２０は、図１４に示した特定処理（ステップＳ１４０３）の詳細な処理手順例を示すフローチャートである。制御装置１１０は、特定部３０２により、図１１～図１３に示したように、ステップＳ１４０２で得られた視線方向からフィールド１０２上の注視領域を特定する（ステップＳ２００１）。つぎに、制御装置１１０は、特定部３０２により、図１１～図１３に示したように、ステップＳ２００１で特定した注視領域内の注視対象（たとえば、選手Ｐ）を特定する（ステップＳ２００２）。

なお、図１１の例の場合は、制御装置１１０は、フィールドカメラＦＣの映像データを用いて、ステップＳ２００１で特定した注視領域内の注視対象（たとえば、選手Ｐ）を特定する。これにより、視線方向の先にいる注視対象を高精度に特定することができる。また、図１２の例の場合は、制御装置１１０は、全天球型カメラの映像データを用いて、ステップＳ２００１で特定した注視領域内の注視対象（たとえば、選手Ｐ）を特定することになる。

これにより、１台の全天球型カメラからの映像データにより、注視領域および注視対象（選手Ｐ）を同時に特定することができ、より特性精度の向上を図ることができる。またこれにより、処理速度の向上や検出頻度の上昇を図ることができる。このように、制御装置１１０は、１台のカメラの映像データを用いて注視領域、あるいは注視領域Ｒ内の注視対象を特定してもよい。

（１）以上説明したように、本実施例にかかる制御装置１１０は、施設（たとえば、スタジアム１００）に関する設計情報を記憶するデータベース１２０と、施設内の第１領域（たとえば、観客席１０１）の第１被写体を撮影する複数の第１カメラ（たとえば、観客カメラ群ＡＣｓ）と、施設内の第２領域（たとえば、フィールド１０２）の第２被写体を撮影する複数の第２カメラ（たとえば、フィールドカメラ群ＦＣｓ）と、にアクセス可能である。

制御装置１１０は、検出部３０１と、特定部３０２と、決定部３０３と、送信部３０４と、を有する。検出部３０１は、複数の第１カメラのうちいずれかの第１カメラによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群４０１の視線方向を検出する。

特定部３０２は、検出部３０１によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒを特定し、複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、注視領域Ｒ内に存在する観客群の注視対象を特定する。決定部３０３は、特定部３０２によって特定された注視対象に基づいて、複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する。送信部３０４は、決定部３０３によって決定された特定の第２カメラからの映像データを送信する。

これにより、決定された第２カメラ（フィールドカメラＦＣ）からの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、第２カメラ（フィールドカメラＦＣ）の切替の自動化を図ることができる。

（２）また、上記（１）の制御装置１１０は、複数の第１カメラの各々が撮影した第１被写体内の観客群４０１の人数の多さを示すスコアに基づいて、複数の第１カメラの中から特定の第１カメラを選択する選択部３０５を有する。

これにより、検出部３０１は、特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、特定の第１被写体内の特定の観客群４０１の視線方向を検出し、特定部３０２は、検出部３０１によって検出された特定の観客群４０１の視線方向に基づいて、特定の観客群４０１の注視領域Ｒを特定する。したがって、観客数の多さに応じて、第２カメラ（フィールドカメラＦＣ）の切替の自動化を図ることができる。

（３）また、上記（２）の制御装置１１０において、選択部３０５は、観客群４０１と注視領域Ｒとの位置関係に基づいて、特定の第１カメラを選択してもよい。これにより、視線方向の検出感度を考慮して、特定の第１カメラ（フィールドカメラＦＣ）を特定することができる。

（４）また、上記（２）の制御装置１１０において、選択部３０５は、スコアが所定のしきい値以上となる第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が絶対的に多いと評価された第１カメラからの映像データにより、当該観客群４０１の視線方向を検出することができる。したがって、多数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、多数の観客が注視している注視領域Ｒや注視対象を試聴することができる。

（５）また、上記（２）の制御装置１１０において、選択部３０５は、複数の第１カメラのスコアの中で相対的に高いスコアの第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が相対的に多いと評価された第１カメラからの映像データにより、当該観客群４０１の視線方向を検出することができる。したがって、多数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、多数の観客が注視している注視領域Ｒや注視対象を試聴することができる。

（６）また、上記（２）の制御装置１１０において、選択部３０５は、スコアが所定のしきい値未満となる第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が絶対的に少ないと評価された第１カメラからの映像データにより、当該観客群４０２の視線方向を検出することができる。したがって、少数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、少数の観客が注視している注視領域Ｒや注視対象を試聴することができる。すなわち、多数の観客が注視できなかった注視領域Ｒや注視対象の映像データに自動で切り替えることができる。

（７）また、上記（２）の制御装置１１０において、選択部３０５は、複数の第１カメラのスコアの中で相対的に低いスコアの第１カメラを特定の第１カメラとして選択してもよい。これにより、観客人数が相対的に少ないと評価された第１カメラからの映像データにより、当該観客群４０２の視線方向を検出することができる。したがって、少数の観客が注視している注視領域や注視対象を撮影する第２カメラに自動で切り替えることができ、その結果、視聴者は、少数の観客が注視している注視領域Ｒや注視対象を試聴することができる。すなわち、多数の観客が注視できなかった注視領域Ｒや注視対象の映像データに自動で切り替えることができる。

（８）また、上記（６）または（７）の制御装置１１０において、検出部３０１は、特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、特定の第１被写体内の特定の観客群４０２の中の特定の観客の視線方向を検出してもよい。これにより、特定部３０２は、検出部３０１によって検出された特定の観客Ａ８の視線方向に基づいて、特定の観客Ａ８の注視領域Ｒを特定する。

したがって、観客人数が絶対的または相対的に少ないと評価された場合に、視聴者は、特定の観客が注視している注視領域Ｒや注視対象を試聴することができる。観客人数が少なくても観戦している観客は、優良なファンである可能性が高いため、そのような観客目線で視聴者が注視している注視領域Ｒおよび注視対象に第２カメラを切り替えることで、玄人目線での映像データを視聴者に提供することができる。

（９）また、上記（８）の制御装置１１０において、検出部３０１は、特定の第１被写体の映像データに基づいて、特定の観客群４０２のうち非注視行動をとっている観客Ａ１、Ａ２以外の残余の観客Ａ３～Ａ８から特定の観客Ａ８を選択して、特定の観客Ａ８の視線方向を検出してもよい。これにより、中止に関与していないノイズを除去し、視線方向の検出の高精度化を図ることができる。

（１０）また、上記（８）の制御装置１１０において、データベース１２０は、特徴的な人物に関する画像データ（特徴人物情報１２６）を記憶しており、検出部３０１は、特定の第１被写体の映像データに基づいて、特定の観客群４０２から特徴的な人物を特定の観客として検出し、特定の観客Ａ８の視線方向を検出してもよい。

これにより、特徴的な人物とのマッチングにより、特定の観客の検出精度の向上を図ることができる。したがって、そのような観客目線で視聴者が注視している注視領域Ｒおよび注視対象に第２カメラを切り替えることで、玄人目線での映像データを視聴者に提供することができる。

（１１）また、上記（６）または（７）の制御装置１１０において、検出部３０１は、決定部３０３によって決定された特定の第２カメラの撮影方向と、特定の観客群４０１の各々の視線方向と、に基づいて、特定の観客Ａ１１の視線方向を検出してもよい。これにより、視聴者が視聴している映像データと同じ注視領域Ｒおよび注視対象を注視している観客を特定することができるため、より観客目線でのシーンに切り替えることができる。

（１２）また、上記（１）の制御装置１１０において、第１カメラは、第１領域（観客席１０１）および第２領域（フィールド１０２）を撮影可能なカメラ（たとえば、全天球型カメラ１２００）であり、検出部３０１は、いずれかの第１カメラによって撮影された第１被写体および第２被写体を含む映像データに基づいて、観客群４０１の視線方向を検出し、特定部３０２は、検出部３０１によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒおよび注視領域Ｒ内に存在する観客群４０１の注視対象を特定してもよい。

これにより、第１カメラの映像データにより、注視領域Ｒおよび注視対象が特定されるため、第２カメラの映像データに依存しない。したがって、注視領域Ｒおよび注視対象の特定精度の向上を図ることができる。また、第２カメラで注視対象を特定する必要がなくなり、処理の高速化を図ることができる。

（１３）また、上記（１）の制御装置１１０において、決定部３０３は、観客群４０１と注視領域Ｒとの位置関係に基づいて、特定の第２カメラを決定してもよい。これにより、観客群４０１と注視領域Ｒとの位置関係を考慮して、様々な撮影方向の第２カメラに自動的に切り替えることができる。

たとえば、上記位置関係が観客群４０１と注視領域Ｒとが近い距離の関係にある場合には、観客群４０１が注視している環境での映像データを配信することができ、視聴者からみれば観客群４０１に近い視点で同じ注視対象を視聴することができる。また、上記位置関係が観客群４０１と注視領域Ｒとが離れた距離の関係にある場合には、観客群４０１が注視している方向とは異なる角度からの映像データを配信することができ、視聴者からみれば観客群４０１とは別視点で同じ注視対象を視聴することができる。

（１４）また、上記（１）の制御装置１１０において、決定部３０３は、注視対象の認識結果に基づいて、特定の第２カメラを決定してもよい。これにより、観客群４０１基準ではなく、たとえば、注視対象である選手Ｐの顔が見える撮影方向の第２カメラに決定することで、視聴者は、第２カメラの切替後のシーンで選手Ｐを正面から視聴することができる。

（１５）また、上記（１）の制御装置１１０において、送信部３０４は、特定の第２カメラが撮影した画像データまたは画像データの保存先を示す情報を、観客群４０１のうち少なくとも１人の観客Ａの通信端末３００に送信してもよい。これにより、第２カメラの切替後のシーンは、決定的な瞬間である場合があるため、そのようなシーンでは観客群４０１は注視することに集中してカメラ撮影をしていないと考えられる。したがって、そのような観客群４０１に切替後のシーンの静止画データを、当該観客群４０１の通信端末３００に送信することにより、観客群４０１が撮影できなかった決定的な静止画データを、当該観客群４０１に提供することができる。

（１６）また、本実施例にかかる制御システム１は、施設（たとえば、スタジアム１００）に関する設計情報を記憶するデータベース１２０と、施設内の第１領域（たとえば、観客席１０１）の第１被写体を撮影する複数の第１カメラ（たとえば、観客カメラ群ＡＣｓ）と、施設内の第２領域（たとえば、フィールド１０２）の第２被写体を撮影する複数の第２カメラ（たとえば、フィールドカメラ群ＦＣｓ）と、これらにアクセス可能な制御装置１１０と、を有する。

制御装置１１０は、検出部３０１と、特定部３０２と、決定部３０３と、送信部３０４と、を有する。検出部３０１は、複数の第１カメラのうちいずれかの第１カメラによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群４０１の視線方向を検出する。

特定部３０２は、検出部３０１によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒを特定し、複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、注視領域Ｒ内に存在する観客群の注視対象を特定する。決定部３０３は、特定部３０２によって特定された注視対象に基づいて、複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する。送信部３０４は、決定部３０３によって決定された特定の第２カメラからの映像データを送信する。

これにより、決定された第２カメラ（フィールドカメラＦＣ）からの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、第２カメラ（フィールドカメラＦＣ）の切替の自動化を図ることができる。

（１７）また、本実施例にかかる制御プログラムは、施設（たとえば、スタジアム１００）に関する設計情報を記憶するデータベース１２０と、施設内の第１領域（たとえば、観客席１０１）の第１被写体を撮影する複数の第１カメラ（たとえば、観客カメラ群ＡＣｓ）と、施設内の第２領域（たとえば、フィールド１０２）の第２被写体を撮影する複数の第２カメラ（たとえば、フィールドカメラ群ＦＣｓ）と、にアクセス可能なプロセッサ２０１に実行させる。

制御プログラムは、プロセッサ２０１に、検出処理と、特定処理と、決定処理と、送信処理と、を実行させる。制御プログラムは、検出処理では、プロセッサ２０１に、複数の第１カメラのうちいずれかの第１カメラによって撮影された第１被写体の映像データに基づいて、第１被写体内の観客群４０１の視線方向を検出させる。

制御プログラムは、特定処理では、プロセッサ２０１に、検出処理によって検出された観客群４０１の視線方向に基づいて、観客群４０１の第２領域内の注視領域Ｒを特定し、複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、注視領域Ｒ内に存在する観客群の注視対象を特定させる。

制御プログラムは、決定処理では、プロセッサ２０１に、特定処理によって特定された注視対象に基づいて、複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定させる。制御プログラムは、送信処理では、プロセッサ２０１に、決定処理によって決定された特定の第２カメラからの映像データを送信させる。

これにより、決定された第２カメラ（フィールドカメラＦＣ）からの映像データが、テレビ１０３やパーソナルコンピュータ１０４に放送または配信される。したがって、第２カメラ（フィールドカメラＦＣ）の切替の自動化をソフトウェアにより実現することができる。

また、第２カメラが切り替わってから所定時間経過するまでは切り替わらないように制約条件を設定してもよい。また、切替前の映像データと切替後の第２カメラとの関係を学習してデータベース１２０に蓄積しておき、第２カメラの切替の際には、制御装置１１０は、その学習内容を参照して、第２カメラを決定してもよい。これにより、第２カメラの決定精度の向上を図ることができる。

また、上述した実施例では、制御装置１１０は、過去の同種競技の撮影データ（たとえば、ディレクターの技法に関する情報）を用いてもよい。具体的には、たとえば、制御装置１１０は、当該撮影データを機械学習することにより、最適なカット位置に関する規則を学習することができ、視線方向の検出精度の向上を図ることができる。

また、フィールドカメラＦＣは、自動シャッター機能を有してもよい。具体的には、たとえば、観客群の視線方向先の対象が静的な場合に対しても適用可能である。

図２１は、フィールドカメラＦＣの自動シャッター機能の説明図である。たとえば、制御装置１１０は、フィールドカメラＦＣの映像データを参照して、その被写体である選手Ｐの視線方向を検出する。選手Ｐの視線方向が視線方向ｄ１からフィールドカメラへの視線方向ｄ２に切り替わった場合に、フィールドカメラＦＣは、シャッターを切り、選手Ｐを主要被写体とする静止画データ２１００を撮像する。これにより、選手Ｐによるカメラ目線の静止画データを自動で得ることができる。

また、観客群の視線方向先の対象が、動かない静的なもの、たとえば、陳列されている商品である場合に、本実施例は適用可能である。

図２２は、マーケティングへの応用例を示す説明図である。群衆２２０１は、商品の陳列棚を注視しており、制御装置１１０は、観客カメラＡＣにより群衆２２０１を撮影し、撮影データから群衆２２０１内の各人の視線方向を示す視線ベクトルを検出し、合成視線ベクトルを生成する。

制御装置１１０は、陳列棚２２００に陳列されている商品群のうち、合成視線ベクトルによって指し示される商品を特定し（以下、特定の商品）、特定の商品の売り上げ個数、合成視線ベクトルによって指定されているときの売上個数、合成視線ベクトルによって指定されていないときの売上個数、合成視線ベクトルによって指定されているときに選択されなかった回数、といった統計情報を管理する。このように、注目度の高い商品や低い商品の検出に役立てることができる。

上述した実施例では、制御装置１１０は、複数の第２カメラ（フィールドカメラＦＣ）を切り替える例を説明したが、１台または複数の第１カメラ（観客カメラＡＣ）の映像データを用いて注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定して、１台の第２カメラ（フィールドカメラＦＣ）を制御することとしてもよい。第２カメラ（フィールドカメラＦＣ）を制御する制御部は、たとえば、特定した注視領域Ｒ、あるいは特定した注視領域Ｒ内の注視対象の方向に第２カメラ（フィールドカメラＦＣ）を向ける制御を実行する。

上述した実施例では、制御装置１１０は、複数のフィールドカメラＦＣを切り替える例を説明したが、１台または複数の観客カメラＡＣの映像データを用いて注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定して、１台のフィールドカメラＦＣの撮影により生成された画像を処理することとしてもよい。制御装置１１０は、たとえば、１台のフィールドカメラＦＣの撮影により生成された画像から、特定した注視領域Ｒ、あるいは特定した注視領域Ｒ内の注視対象を含む部分画像の領域を特定する。そして、制御装置１１０は、特定した部分画像を放送（送信）することとしてもよい。

また、制御装置１１０は、１台のカメラで観客が存在する第１領域と、注視対象が存在する第２領域とを撮影した被写体の画像を処理することとしてもよい。制御装置１１０は、たとえば、１台のカメラの撮影により生成された画像から、注視領域Ｒ、あるいは注視領域Ｒ内の注視対象を特定し、特定した注視対象を含む部分画像の領域を特定する。そして、制御装置１１０は、特定した部分画像を放送（送信）することとしてもよい。

ＡＣ 観客カメラ、ＦＣ フィールドカメラ、ＭＶ 合成動きベクトル、ｍｖ 動きベクトル、Ｐ 選手、Ｒ 注視領域、１ 制御システム、１０１ 観客席、１０２ フィールド、１１０ 制御装置、１２０ データベース、３０１ 検出部、３０２ 特定部、３０２ 特定部、３０３ 決定部、３０４ 送信部、３０５ 選択部

Claims (21)

1. 施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能な制御装置であって、
   前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、
   前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出部と、
   前記検出部によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定部と、
   前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、
   前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、
   制御装置。
2. 請求項１に記載の制御装置であって、
   前記選択部は、前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数の多さを示すスコアに基づいて、前記複数の第１カメラの中から前記特定の第１カメラを選択する、制御装置。
3. 請求項２に記載の制御装置であって、
   前記選択部は、前記観客群と前記注視領域との位置関係に基づいて、前記特定の第１カメラを選択する、制御装置。
4. 請求項２に記載の制御装置であって、
   前記選択部は、前記スコアが所定のしきい値以上となる第１カメラを前記特定の第１カメラとして選択する、制御装置。
5. 請求項２に記載の制御装置であって、
   前記選択部は、前記複数の第１カメラのスコアの中で相対的に高いスコアの第１カメラを前記特定の第１カメラとして選択する、制御装置。
6. 請求項２に記載の制御装置であって、
   前記選択部は、前記スコアが所定のしきい値未満となる第１カメラを前記特定の第１カメラとして選択する、制御装置。
7. 請求項２に記載の制御装置であって、
   前記選択部は、前記複数の第１カメラのスコアの中で相対的に低いスコアの第１カメラを前記特定の第１カメラとして選択する、制御装置。
8. 請求項６または７に記載の制御装置であって、
   前記検出部は、前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の中の特定の観客の視線方向を検出し、
   前記特定部は、前記検出部によって検出された前記特定の観客の視線方向に基づいて、前記特定の観客の注視領域を特定する、制御装置。
9. 請求項８に記載の制御装置であって、
   前記検出部は、前記特定の第１被写体の映像データに基づいて、前記特定の観客群のうち非注視行動をとっている観客以外の残余の観客から前記特定の観客を選択して、特定の観客の視線方向を検出する、制御装置。
10. 請求項８に記載の制御装置であって、
    特徴的な人物に関する画像データを記憶するデータベースにアクセス可能であり、
    前記検出部は、前記特定の第１被写体の映像データに基づいて、前記特定の観客群から前記特徴的な人物を前記特定の観客として検出し、前記特定の観客の視線方向を検出する、制御装置。
11. 請求項６または７に記載の制御装置であって、
    前記検出部は、前記決定部によって決定された特定の第２カメラの撮影方向と、前記特定の第１カメラによって撮影された特定の第１被写体内の特定の観客群の各々の視線方向と、に基づいて、前記特定の観客の視線方向を検出する、制御装置。
12. 請求項１に記載の制御装置であって、
    前記第１カメラは、前記第１領域および前記第２領域を撮影可能なカメラであり、
    前記検出部は、前記いずれかの第１カメラによって撮影された前記第１被写体および前記第２被写体を含む映像データに基づいて、前記観客群の視線方向を検出し、
    前記特定部は、前記検出部によって検出された前記観客群の視線方向に基づいて、前記観客群の前記第２領域内の注視領域および前記注視領域内に存在する前記観客群の注視対象を特定する、制御装置。
13. 請求項１に記載の制御装置であって、
    前記決定部は、前記観客群と前記注視領域との位置関係に基づいて、前記特定の第２カメラを決定する、制御装置。
14. 請求項１に記載の制御装置であって、
    前記決定部は、前記注視対象の認識結果に基づいて、前記特定の第２カメラを決定する、制御装置。
15. 請求項１に記載の制御装置であって、
    前記送信部は、前記特定の第２カメラが撮影した画像データまたは前記画像データの保存先を示す情報を、前記観客群のうち少なくとも１人の観客の通信端末に送信する、制御装置。
16. 施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能な制御装置であって、
    前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、
    前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出部と、
    前記検出部によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定部と、
    前記特定部の特定結果に基づいて、前記第２カメラの撮影を制御する制御部と、
    を有する制御装置。
17. 施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体をそれぞれ撮影する複数の第２カメラと、にアクセス可能な制御装置であって、
    前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、
    前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記第１領域内の人物の視線方向を検出する検出部と、
    前記検出部によって検出された前記人物の視線方向に基づいて、前記複数の第２カメラの中から特定の第２被写体を撮影している特定の第２カメラを決定する決定部と、
    を有する制御装置。
18. 施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能な制御装置であって、
    前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、
    前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の人物の視線方向を検出する検出部と、
    前記検出部によって検出された前記人物の視線方向に基づいて、前記第２カメラで撮影された映像の表示領域を決定する決定部と、
    を有する制御装置。
19. 施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、前記複数の第１カメラおよび前記複数の第２カメラにアクセス可能な制御装置と、を有する制御システムであって、
    前記制御装置は、
    前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択部と、
    前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出部と、
    前記検出部によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定部と、
    前記特定部によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定部と、
    前記決定部によって決定された特定の第２カメラからの映像データを送信する送信部と、
    を有する制御システム。
20. 施設内の第１領域の第１被写体を撮影する複数の第１カメラと、前記施設内の第２領域の第２被写体を撮影する複数の第２カメラと、にアクセス可能なプロセッサに、
    前記複数の第１カメラの各々が撮影した前記第１被写体内の観客の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択処理と、
    前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出処理と、
    前記検出処理によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定処理と、
    前記特定処理によって特定された注視対象に基づいて、前記複数の第２カメラの中から映像データの送信元となる特定の第２カメラを決定する決定処理と、
    前記決定処理によって決定された特定の第２カメラからの映像データを送信する送信処理と、
    を実行させる制御プログラム。
21. 施設内の第１領域の第１被写体を撮影する第１カメラと、前記施設内の第２領域の第２被写体を撮影する第２カメラと、にアクセス可能なプロセッサに、
    前記複数の第１カメラの各々が撮影した前記第１被写体内の観客群の人数に基づいて、前記複数の第１カメラの中から特定の第１カメラを選択する選択処理と、
    前記特定の第１カメラによって撮影された特定の第１被写体の映像データに基づいて、前記特定の第１被写体内の特定の観客群の視線方向を検出する検出処理と、
    前記検出処理によって検出された特定の観客群の視線方向に基づいて、前記特定の観客群の前記第２領域内の注視領域を特定し、前記複数の第２カメラの各々によって撮影された第２被写体の映像データに基づいて、前記注視領域内に存在する前記特定の観客群の注視対象を特定する特定処理と、
    前記特定処理の特定結果に基づいて、前記第２カメラの撮影を制御する制御処理と、
    を実行させる制御プログラム。

Images