WO2020095647A1

WO2020095647A1 - 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体

Info

Publication number: WO2020095647A1
Application number: PCT/JP2019/040874
Authority: WO
Inventors: 吉田　武弘; 雄資白川; 裕介春山
Original assignee: キヤノン株式会社
Priority date: 2018-11-07
Filing date: 2019-10-17
Publication date: 2020-05-14
Also published as: US20210258496A1; CN113273171A

Abstract

プロカメラマンや一般の観客が、映像を取得する際に、特定の対象の位置情報をタイムリーに表示できるようにする。　画像処理装置において、画像を表示する表示手段、前記表示手段に表示された画像の中から特定の対象を選択する選択手段、前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、を有することを特徴とする。

Description

画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体

　本発明は撮影や映像モニターのための画像処理装置等に関するものである。

　近年、国際化が進み、多くの観光客が日本を訪問するようになっている。また、競技スポーツにおいても、様々な国の選手の撮影機会が大幅に増加している。
　しかしプロカメラマンにとっても、一般の写真を撮影する人にとっても、例えば競技スポーツシーンにおいて多数の選手の中から特定の選手を見つけることは比較的難しい。また、特に競技スポーツにおける競技中は動きが速く複数の選手が交錯し選手のいる場所を見失うことが多々ある。これは、競技スポーツに限らず雑踏の中から特定の人物等を撮影したりモニターしたりする場合でも同じことが言える。

　特許文献１には、被写体を複数の方向から撮影するための複数のカメラと、前記複数のカメラのうち対応するカメラによる撮影画像から所定領域を抽出する複数の画像処理装置が記載されている。また、前記複数の画像処理装置により前記複数のカメラによる撮影画像から抽出された所定領域の画像データに基づいて仮想視点画像を生成する画像生成装置が記載されている。
　特許文献２には、撮像された画像から取得したＡＦ評価値に基づいてフォーカスレンズを駆動し、自動焦点検出制御を行う自動焦点検出装置が記載されている。

特開２０１７－２１１８２８号公報特許第５３２２６２９号明細書

　しかしながら、スポーツシーンなど、多くの選手が集まっている場合などでは、選手が重なってしまったりして、見失ったりすることがある。また視野から外れることもあり、適切なタイミングで選手を撮影するのはより難しかった。
　また、特に、プロカメラマンは、撮影した写真をすぐに、報道局などに送る必要があるが、判定結果が分からないと判定の認識に時間をとられてしまうという欠点があった。

　さらに、撮影したい選手を見つけても、その選手へのフォーカスを合わせた後に、その撮影したい選手を追いかけていかないといけなかった。これは、動きの速いスポーツでは、とても難しく、また、この追いかけることに集中していると、良い写真の撮影ができないということになってしまうという欠点があった。
　またサーバー側では、全方位の映像、試合や競技のフィールドの各種情報を把握することができ、グランド内外の各種の貴重な情報も入手することができるが、従来のシステムではサーバーの活用が十分でないという問題があった。

　同様に、競技場や自宅の端末で競技をモニターしている一般ユーザーにとっても特定の選手を見失ったり競技の状況がわからなくなったりする場合が多かった。同様にカーレースや飛行機レースや競馬などにおいても特定の車両や飛行機や馬などの対象を見失ってしまうことがあった。更には特定の人物を街角で追跡する場合においても雑踏の中にその特定の人物が紛れてしまい見失うことがあった。また、そのような、注目している特定の対象を目視で追いかけることに専念しているとその対象に対する撮影やピント合わせや露出調整などをスムーズにできないという問題があった。
　本発明は、上記、課題を解決し、撮影者や観察者にとって有益な情報をタイムリーに表示できる画像処理装置を提供することを目的とする。

　画像処理装置において、
　画像を表示する表示手段、
　前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
　前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
　前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
　前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
　前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、を有することを特徴とする。

　本発明によれば、ユーザーが、狙った特定の対象を指定すれば、その特定の対象が画面のどこにいるかが簡単にわかりユーザーが例えばその特定の対象をモニターしたり撮影したりする場合などにおいてその特定の対象を見失いにくくなる。

実施例の画像処理装置を用いたシステムの構成を模式的に示す図である。サーバー側の詳細ブロック図である。端末側の詳細ブロック図である。端末側の詳細ブロック図である。注目選手表示開始シーケンスの一例を示す図である。注目選手表示追跡シーケンスの一例を示す図である。注目選手表示追跡シーケンスの一例を示す図である。カメラ側における注目選手表示追跡制御フローを示す図である。カメラ側での注目選手表示追跡制御フローの他の例を示す図である。デジタルカメラの追跡部３７１の機能構成例を示すブロック図である。サーバー側における注目選手の検出制御フローを示す図である。サーバー側における選手の背番号を検出するフローを示す図である。サーバー側における注目選手検出制御フローの他の例を示す図である。サーバー側における注目選手検出制御フローの他の例を示す図である。サーバー側における注目選手検出制御フローの他の例を示す図である。サーバー側における注目選手検出制御フローの他の例を示す図である。カメラ表示部での表示例を示す図である。カメラ側での注目選手表示追跡制御フローの他の例を示す図である。カメラ側での注目選手表示追跡制御フローの他の例を示す図である。カメラ側での注目選手表示追跡制御フローの他の例を示す図である。カメラ側での注目選手表示追跡制御フローの他の例を示す図である。サーバー側における選手の反則を検出するフローを示す図である。サーバー側におけるトライ判定制御フローを示す図である。ボール位置や審判動作からトライ判定するフローを示す図である。スクリーン表示からトライや得点を判定するフローを示す図である。音声情報からのトライを判定するフローを示す図である。カメラ側のトライ判定制御フローを示す図である。サーバー側における選手の反則判定制御フローを示す図である。サーバー側における審判動作や音声からの選手の反則を判定するフローを示す図である。カメラ側における反則判定フローを示す図である。トライ有無判定の審判動作を示す図である。リザーブまで含めた注目選手検出制御フローの例を示す図である。注目選手検出制御フローの例を示す図である。注目選手のカメラ表示部のＡＦ表示例を示す図である。注目選手検出制御及びＡＦのフローの例を示す図である。注目選手検出制御及びＡＦのフローの例を示す図である。自動追いかけ時のカメラ表示部の表示例を示す図である。自動追いかけ時の注目選手のカメラ表示部の表示例を示す図である。自動追いかけ時の注目選手検出制御フローの例を示す図である。自動追いかけ時の注目選手検出制御フローの例を示す図である。注目選手交代検出制御フローの例を示す図である。注目選手交代検出制御フローの例を示す図である。リザーブ選手認識制御フローの例を示す図である。

　以下本発明を実施するための形態につき、実施例を用いて説明をする。
　最初に撮影や映像モニターを支援するための、画像処理装置を用いたシステムの全体像について図１を用いて説明する。

　図１において、サーバー用の複数台のカメラ（固定カメラやドローンなどを用いた移動カメラ）を有するサーバー（画像処理サーバー）側が、競技場のフィールド全体における注目選手（特定の対象）の位置やゲームの最新の状況をリアルタイムで把握する。そして、サーバーが、個々の観客が持っている端末に対して、例えばカメラ撮影や画像のモニターの際に必要な情報をタイムリーに提供する例を示す。

　一般にプロカメラマンや一般の写真撮影者がカメラで撮影している角度や視野では分からないあるいは追えない場所が存在することが多い。競技場外にいて撮影をしていない観客にとっても同様である。一方、サーバー側のシステムでは、複数のサーバー用のカメラの映像をもとに全方位の映像、試合のフィールド全体の情報（フィールドの座標情報等）をあらかじめ把握しマッピングができる。
　従って、そのような各ユーザーには見えない、わかりにくい情報をサーバーが把握して配信することによって観客に対するサービスを大幅に向上することができる。

　即ち、サーバー用の複数台のカメラ（固定カメラや移動カメラ）で、各選手の位置、得点、反則、審判の判断結果、その他の最新状況を追いかけたりすることができる。また大型スクリーンなどに表示され情報を基にして、サーバーで解析したりすることもできる。それにより全体の状況を正確に認識して、プロカメラマンや観客が保有するカメラ端末等やスマートフォンやタブレット等の端末にタイムリーに送信することができる。それにより、観客は競技の最新の状況をタイムリーに把握することが可能となる。特に、プロカメラマンは、撮影した写真をすぐに、報道局などに送る必要があるが、カメラの画面を見ているだけでは視野が狭いので競技の全体の状況などが正確に把握しにくい。

　しかし、本実施例のような構成を用いれば、競技の状況などが速やかに分かるので、報道局などに送る写真の選択を素早く行うことが可能となる。
　なお、プロカメラマンや観客が用いる端末（画像処理装置）としては、デジタルカメラ、スマートフォン、カメラとスマートフォンなどを接続した構成、タブレットＰＣあるいはＴＶなどが考えられる。家庭でインターネットやテレビ放送をＰＣやＴＶ等の端末（画像処理装置）を通じて競技を見ている観客に対しても同様のサービスを提供することができるので競技などの状況をより正確に把握することができ競技をより楽しむことができる。

　図１において、１０１～１０３はサーバー用のカメラであり、１０１（固定設置されたカメラ１）、１０２（固定設置されたカメラ２）、１０３（固定設置された３）、１０４（大型スクリーン）、１１０（サーバー）、１１１（入力手段）、１１２（基地局）は、一般のプロカメラマンや観客への情報提供をするための映像取得や音声取得などを行う。サーバー用カメラは、本実施形態では１０１～１０３の３台としたが、１台でも複数台でもよい。また、これらのサーバー用カメラは、固定設置されたカメラではなく例えばドローンなどに搭載されたカメラでもよい。映像取得、音声取得に加えて、入力手段から映像以外の入力情報（例えば音声など）も取り込み、一般のプロカメラマンや観客等へのサービスを拡充できる。

　１０５は有線／無線などによるＬＡＮやインターネットであり、１０６は、入力手段１１１から出力された情報をサーバー１１０で入力するための接続線である。１０７は、基地局１１２への信号を送受信するための接続線、１０８は、基地局の無線通信を実行するためのアンテナ部である。
　すなわち、上記の１００番台のブロックは、プロカメラマンや一般観客などによる映像撮影等をサポートするためのブロックである。

　一方、図１において、４０１（端末１）、４０２（端末２）、４０３（端末３）は端末であり、例えばプロカメラマンや観客が撮影やモニターをするための例えばカメラやスマートフォンやタブレットＰＣやＴＶなどの映像表示端末装置である。ここで、４０４（アンテナ）４０５（アンテナ）、４０６（アンテナ）は、それぞれ、４０１（端末１）、２０２（端末２）、２０３（端末３）が無線通信するためのアンテナである。
　サーバーが注目選手の位置を検出する際には、例えば端末からサーバー側に注目選手のＩＤ情報などを送り、また、サーバー側から端末にその選手に関する位置情報などの各種情報を送る。選手は動いており、競技状況も変化しているので、短時間での注目選手の検出処理が必要になる。よって、ここでの無線通信は、例えば５Ｇなどを用いる。

　なお４０１（端末１）、４０２（端末２）、４０３（端末３）はカメラとスマートフォンなどを接続して組み合わせた構成としても良い。図１の右下において、３０１はスマートフォンであり、主にサーバーとの通信制御を行う。また、このスマートフォンに、アプリケーションソフトウェアをインストールすることで、各種の映像取得サービスを実現する。また、３００は（デジタル）カメラであり、主に、プロプロカメラマンや観客が撮影したり画像をモニターしたりする画像処理装置である。ここで、カメラ３００はスマートフォン３０１にＵＳＢあるいはブルートゥース（登録商標）などにより接続されている。３２０はスマートフォン３０１が基地局１１２と無線通信するためのアンテナである。

　なお、端末がスマートフォン等の場合は、サーバーとの映像、制御信号のやりとりを無線で実行するが、端末との通信を実行するための接続は、無線通信と有線通信を適応的に使い分けても良い。例えば、無線通信環境が５Ｇであれば無線で通信し、無線通信環境がＬＴＥであればデータ量の多い情報は有線で送り、データ量の少ない制御信号は無線で送るといった制御も可能である。さらには、無線通信の回線の混み具合によって、有線通信に切り替えることも可能である。

　次に、図２を用いてサーバー側の詳細なブロック構成を説明する。図２において、図１と同じ符番は同じ構成を示し説明は省略する。
　２０１は、イーサネット（登録商標）コントローラであり、２０４は選手の役割（所謂ポジション）に応じたプレイ位置を検出する検出部である。ここで選手の役割（ポジション）は予め登録等によって設定される。例えば、ラグビーの場合の役割（ポジション）としては、１、３はプロップ、２はフッカー、４、５はロック、６、７はフランカー、８はナンバー８と呼ばれ、９はスクラムハーフ、１０はスタンドオフと呼ばれる。また、１１、１４はウィング、１２、１３はセンター、１５はフルバックと呼ばれる。
　これらの選手のいる場所は、セットプレイの時などは、フォワードは、攻撃している前方にいて、バックスは、攻撃している後方にいることが多い。

　すなわち、選手の役割（ポジション）に応じて、選手のいる位置が大体決まるので、注目選手の上記役割（ポジション）を把握したうえで、選手を追いかけたほうが、効果的に精度よく選手を追いかけることができる。
　なお、通常は、背番号から、選手の役割は認識できることが多い。しかしながら、場合によっては、１０番の選手が怪我をして、１５番の選手がスタンドオフ（１０番の位置に入り）、リザーブ選手が、１５番に入ることなどがある。ここで、リザーブ選手の背番号は、１６から２３である。しかし、背番号だけからポジションが確定するわけではない。従って２０４の検出部では選手の予め設定された役割に応じたプレイ位置を検出し、この検出したプレイ位置の情報は、サーバー１１０内のＣＰＵ２１１に取り込まれるが、上記の予め設定された役割は競技中に選手交代などによって変更になる場合もある。

　２０５は、輪郭情報検出部であり、たとえば、プロカメラマンや観客が端末で映像をモニターしつつ、その位置、角度からカメラの倍率で撮影している時に、サーバー１１０は注目選手のいる位置を各端末４０１～４０３などに知らせる。また、撮影している注目選手の輪郭情報をサーバー１１０から各端末４０１～４０３などに知らせることで、各端末４０１～４０３側で、より確実に注目選手を認識することが可能になる。２０５のブロックで検出した輪郭情報は、ＣＰＵ２１１に取り込まれる。

　２０６は選手の顔認識部であり、注目選手の予め登録された顔写真情報に基づきＡＩ、特に、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇなどの画像認識技術を用いて映像の中から選手を見つける。顔認識部２０６で検出した顔認識結果の情報もＣＰＵ２１１に取り込まれる。
　２０７は選手の体格認識部であり、注目選手の予め登録された体格写真情報に基づき前記のような画像認識技術を用いて選手を見つける。

　２０８は選手の背番号検出部であり、前記のような画像認識技術を用いて注目選手の、あらかじめ登録した番号（背番号など）から選手を見つける。なお選手の番号を検出する際はビブスの背中側の番号だけでなく、前側に書かれた番号を検出してもよいことは言うまでもない。２０９は位置情報作成部であり、カメラ１０１、１０２、１０３等のＧＰＳなどを用いた位置情報とカメラの向きと画角に関する情報から、各カメラの位置と方角と画角を認識する。そして、各カメラからの映像に基づきその選手がいるグラウンド上での絶対的な位置情報を三角測量方式で取得する。

　この位置情報作成部２０９は競技場に予め設置された基準位置検出用の基準指標としてのポールや競技フィールドのライン（例えばサイドラインやエンドライン）等の画面内での位置もあらかじめ映像から取得しておいてもよい。そしてそれらを基準座標として競技場における注目選手のフィールドに対する絶対位置を取得するようにしてもよい。
　２１０は各端末４０１～４０３から送られてくる各端末の位置情報と方角情報と画角情報から、各端末の位置と各端末のカメラの向いている方角と画角を検出するカメラ位置情報、方角検出部である。

　２１１はコンピュータとしてのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、記憶媒体としてのプログラムメモリ７１２に記憶された制御用のコンピュータプログラムに基づいて、以下の実施例に示す制御を実行する中央演算処理装置である。また、表示制御手段を兼ねており、後述する表示部２１４に表示する情報を制御する。２１３はＣＰＵ２１１において参照される各種データを記憶するデータメモリである。データメモリ２１３には過去の試合情報、過去の選手情報、本日の試合（競技）に関する情報、観客動員数に関する、天候などの情報、注目選手の情報、選手の現在の状況などが格納されている。注目選手の情報の中には顔、背番号、体格などの情報も含まれる。
　１１０１はサーバー１１０内のデータバスラインである。

　次に、画像処理装置としての端末側の詳細について図３、図４を用いて説明する。図３、図４は端末の構成例を示すブロック図であり、端末の例としてデジタルカメラ５００全体の構成を２つの図面を用いて示す。
　図３、図４に示されるデジタルカメラは、動画および静止画の撮影、並びに、撮影情報の記録が可能である。また、図３、図４において、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３１８、プログラムメモリ３１９、データメモリ３２０は重複して示すが、これらは同一のブロックでありそれぞれ１つだけ内蔵されている。
　図３において、３０１はイーサネット（登録商標）コントローラである。３０２は記憶媒体であり、デジタルカメラで撮影した動画、静止画が所定のフォーマットで格納される。

　３０３はＣＣＤやＣＭＯＳなどの撮像素子としてのイメージセンサーであり、光学像を光信号から電気信号に変換して、さらに、この情報をアナログ情報からデジタルデータに変換して出力する。３０４は信号処理部であり、イメージセンサー３０３から出力されるデジタルデータに対してホワイトバランス補正やガンマ補正などの各種補正をして出力するものである。３０５はセンサー駆動部であり、イメージセンサー３０３から情報を読み出すための水平垂直ライン駆動やイメージセンサー３０３がデジタルデータを出力するタイミング等を制御する。

　３０６は操作部入力手段である。デジタルカメラで撮影する際の各種条件を選択したり設定したり、撮影するためのトリガー操作、フラッシュを使用するための選択操作、電池を交換する操作などに応じて入力が行われる。また、操作部入力手段３０６において、注目選手をサーバーからの位置情報に基づきＡＦ（オートフォーカス）するか否かを選択／設定できる。この注目選手をＡＦ（オートフォーカス）するかの選択／設定情報は、操作部入力手段３０６からバスライン３７０に出力される。

　さらに、操作部入力手段３０６において、注目選手をサーバーからの位置情報に基づき自動追尾するか否かを選択／設定できる。どの選手を注目選手（特定の対象）に指定するか、注目選手の自動追尾をサーバーからの位置情報に基づき実行するか否かなどの情報は、選択手段としての操作部入力手段３０６によって生成される。即ち操作部入力手段３０６は特定の対象に関する指定情報を生成する指定情報生成手段として機能している。

　３０７は送受信手段として機能する無線通信部であり、プロカメラマンや一般の観客などが持っているカメラ端末が無線でサーバー側と通信をするためのものである。３０８はデジタルカメラにおける撮影倍率を検出する倍率検出部である。３０９は操作部出力手段であり、デジタルカメラなどで撮影した画像情報を表示する画像表示部３８０にメニューや設定情報などのＵＩ情報を表示するためのものである。３１０は圧縮伸長回路であり、イメージセンサー３０３からのデジタルデータ（ＲＡＷデータ）を信号処理部３０４で現像処理後、圧縮伸長回路３１０で圧縮してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルにするか、あるいは、ＲＡＷデータのまま圧縮してＲＡＷ画像ファイルにする。

　一方、ＲＡＷ画像ファイルをカメラ内で現像処理してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルを生成する場合に、圧縮されている情報を伸張してＲＡＷデータに戻す処理を行う。
　３１１は顔認識部であり、注目選手についてあらかじめサーバーに登録された顔写真情報を参照し、映像の中からその選手をＡＩ、特に、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ等の技術を用いた画像認識によって見つけるためのものである。顔認識部３１１で検出した顔認識結果に関する情報は、バスライン３７０を介してＣＰＵ３１８に取り込まれる。

　３１２は体格認識部であり、注目選手に関してサーバーに予め登録した体格写真情報を参照して、映像の中から前述のような画像認識技術によってその注目選手を見つける。
　３１３は選手の背番号検出部であり、注目選手の背番号（もちろん前側の番号でもよい）から前述のような画像認識技術によって選手を見つけるものである。３１４は端末のレンズの向いている方角を検出する方角検出部である。３１５は端末の位置情報を例えばＧＰＳなどを用いて検出する位置検出部である。

　３１６は端末の電源の状態を検出する電源管理部であり、電源スイッチがオフの状態で電源ボタンの押下を検出したら、端末全体に電源を供給する。３１８はコンピュータとしてのＣＰＵであり、記憶媒体としてのプログラムメモリ３１９に記憶された制御用のコンピュータプログラムに基づいて、以下の実施例に示す制御を実行する。また、表示制御手段を兼ねており画像表示部３８０に表示する画像情報を制御する。なお画像表示部３８０は液晶や有機ＥＬなどを用いた表示部である。
　データメモリ３２０は、デジタルカメラの設定条件を格納したり、撮影した静止画、動画、さらには、静止画、動画の属性情報などを格納したりするためのものである。

　図４において、３５０は撮影レンズユニットであり、固定１群レンズ３５１、ズームレンズ３５２、絞り３５５、固定３群レンズ３５８、フォーカスレンズ３５９、ズームモーター３５３、絞りモーター３５６、およびフォーカスモーター３６０を有する。固定１群レンズ３５１、ズームレンズ３５２、絞り３５５、固定３群レンズ３５８、フォーカスレンズ３５９は撮影光学系を構成する。なお、便宜上レンズ３５１、３５２、３５８、３５９は、それぞれ１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されても良い。

　また、撮影レンズユニット３５０は、デジタルカメラに対して着脱可能な交換レンズユニットとして構成されてもよい。
　ズーム制御部３５４はズームモーター３５３の動作を制御し、撮影レンズユニット３５０の焦点距離（画角）を変更する。絞り制御部３５７は絞りモーター３５６の動作を制御し、絞り３５５の開口径を変更する。

　フォーカス制御部３６１は、イメージセンサー３０３から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズユニット３５０のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部３６１は、デフォーカス量およびデフォーカス方向をフォーカスモーター３６０の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部３６１はフォーカスモーター３６０の動作を制御し、フォーカスレンズ３５９を駆動することにより、撮影レンズユニット３５０の焦点を制御（フォーカス調整）する。

　このように、フォーカス制御部３６１は位相差検出方式の自動焦点（ＡＦ）を実施する。なお、フォーカス制御部３６１は、イメージセンサー３０３から得られる画像信号のコントラストのピークをサーチするコントラスト検出方式のＡＦを実行しても良い。
　３７１は、デジタルカメラ自身で注目選手の追跡を行うための追跡部である。ここでいう追跡とは例えば注目選手を囲む枠表示を画面内で移動させるとともに、前記枠によって追尾される注目選手にフォーカスを合わせたり、露出を合わせたりする。

　次に、図５を用いて注目選手表示開始シーケンスの例について説明する。これは、サーバー１１０とカメラ５００とで行うシーケンスである。図５（Ａ）は、カメラ５００側の問いかけ（リクエスト）に対して、サーバー１１０側が答えるシーケンスである。そしてサーバー１１０側はカメラ５００側に、注目選手の絶対位置に関する情報を提供する。
　カメラ５００からサーバー１１０には、注目選手指定情報（背番号、選手名などのＩＤ情報）を通知する。その際ユーザーは端末の画面上で注目選手の位置をタッチしてもよいし、指を画面にタッチしたまま注目選手の周りを指で囲んでもよい。

　あるいはメニューで画面上に複数の選手のリストを表示し、その中の注目選手名をタッチしたりしてもよいし、あるいは画面上に文字入力画面を表示し選手名や選手の背番号を入力してもよい。
　その際、注目選手の画面上の顔位置をタッチすると顔を画像認識したり背番号を画像認識して選手名や背番号などを送ったりしてもよい。あるいは、画像認識せずに顔画像そのものをサーバーに送って、サーバー側で画像認識してもよい。またこの時あらかじめ決まったパスワードがあればそれもサーバーに送る。

　サーバー側では、映像を撮影することをサポートするブロックにより、注目選手指定情報（背番号、選手名等のＩＤ情報）に基づいて、選手のいる絶対値的な位置に関する情報をカメラに送る。パスワードもカメラから送られてくればそれに応じてカメラに送る情報の内容を変更する。
　図５（Ｂ）に別の異なる注目選手表示開始シーケンスを示す。カメラからサーバーには、今、プロカメラマンや一般観客が撮影しているカメラの位置情報、カメラの方角、カメラの倍率、注目選手指定情報（背番号、選手名指定）を通知する。

　サーバー側では、カメラの位置情報、カメラの方角、カメラの倍率から自由視点映像を作り出す。そして注目選手指定情報（背番号、選手名指定）に基づいて、実際にカメラで見えている映像のどの位置に選手がいるかの位置情報と、カメラに撮影されている選手の輪郭情報も一緒にカメラに送る。
　カメラは、サーバーから送られた位置情報、輪郭情報などをもとに、カメラの表示部の画面で注目選手をより精度高く目立つように表示するとともに注目選手に対してＡＦやＡＥを行う。

　なお、注目選手指定情報（背番号、選手名指定）を通知する代わりに、例えば注目する建物などを指定した場合には、サーバーは輪郭情報としてその建物の輪郭情報をカメラに送っても良い。
　注目選手を見つける注目選手表示開始シーケンスの例を簡単に説明したが、端末側は、継続して選手を追いかけていきたい場合が多い。そこで、注目選手表示追跡シーケンスについて図６（Ａ）を用いて説明する。図６（Ａ）においては、端末としてのカメラ５００から何度も、例えば周期的にサーバー１１０へ問い合わせ（リクエスト）を行って、選手の位置を継続して認識するものである。

　図６（Ａ）において、選手の位置情報を、カメラ５００からサーバー１１０に注目選手のＩＤ情報を送って、一度、カメラで注目選手を視野に入れる。その後も継続して上記の「注目選手のカメラ表示開始」を繰り返すことで「注目選手のカメラ表示追跡」を実現できる。具体的には、カメラからサーバーに、注目選手表示開始シーケンス（Ａ１、Ｂ１、、、）を周期的に送り、サーバーから注目選手表示開始シーケンス（Ａ２、Ｂ２、、、）を周期的に受信して、注目選手の位置を認識する動作を何度も繰り返す。

　更に図６（Ｂ）では選手の位置情報は、カメラ５００からサーバー１１０に注目選手のＩＤ情報を送って、一旦サーバーから注目選手の位置情報を取得する。その後その位置情報を参照してカメラで注目選手を視野に入れたあと、カメラ５００自身で画像認識によって継続して注目選手を追跡するものである。図７（Ａ）は、図６（Ｂ）の注目選手表示追跡シーケンスに対して、更に、カメラ５００自身が画像認識で注目選手を追跡するが、そのあと見失ったときに、デバイス側からサーバーに、注目選手の位置情報をリクエストするものである。

　具体的には、カメラで、注目選手を見失ったときには、カメラからサーバーに、注目選手表示開始シーケンス（Ａ１）を送り、サーバーから注目選手表示開始シーケンス（Ａ２）を受信して、注目選手の位置を認識する。図７（Ｂ）は、図６（Ｂ）の注目選手表示追跡シーケンスに対して更に、サーバー１１０で、カメラ５００が注目選手を見失う可能性が高いと推測した場合を示す。

　つまり追跡に失敗すると推測したときに、カメラ５００からのリクエストを待たずに、注目選手の位置情報を通知するＰｕｓｈタイプの制御を示すものである。これにより、プロカメラマンや一般観客は、継続して、注目選手がカメラの表示部上で、どこにいるかを検出でき、とても使いやすく、例えばシャッターチャンスを逃すことが大幅に減る。ここで、プロカメラマンや一般観客が注目選手を見失うケースとしては、選手が、モール、ラック、スクラムなどで、外側から見えなくなるケース（いわゆる死角に入る場合）や、あるカメラの方向からは見えないなどがありうる。

　なお、本実施例ではプロカメラマンや観客の撮影アシストのためのサービスの例を説明しているが、リモートカメラ制御に使ってもよい。サーバーからこれらの情報を送ることで、自動パンチルト雲台に搭載したリモートカメラにより、選手を追跡して、決定的瞬間を撮影することも可能である。
　また、本実施例は撮影アシストの例を用いて説明しているが、端末が家庭用のＴＶであってもよい。即ち、ＴＶを見ている観客が注目選手を指定したら、サーバーがその注目選手の位置情報などをＴＶに送って注目選手を枠表示等により目立つように表示してもよい。なお、枠だけでなく、カーソル（例えば矢印など）で注目選手を示してもよいし、注目選手位置の領域の色や輝度を他の部分と異ならせてもよい。注目選手が端末の画面外にいる場合には、端末の画面に対してどの方向にずれているかを矢印や文字で表示してもよい。

　また表示画面外にいる場合に端末が現在見ている角度からどのくらい離れているか（ずれているか）、どのくらい端末を回転しないと注目選手が表示画面内に入らないかなどを矢印の長さや太さや、数字や目盛りなどで表示してもよい。
　更に、画面内に注目選手がいる場合には付加情報を画面に表示するように制御し、画面外に注目選手が移動した場合には、矢印等で画面外にいることを表示しないようにユーザーが選択できるようにしてもよい。

　あるいは競技の状況を自動的に判断して、注目選手がベンチに下がった場合等には、画面外に注目選手が移動しても、画面外にいることを矢印等で表示しないようにしてもよい。そのように自動的に付加情報の表示を消すモードと消さないモードをユーザーが選択できるようにすると更に使い勝手が向上する。
　次に、図７におけるカメラ側での制御シーケンスの詳細を、図８（Ａ）、（Ｂ）を用いて説明する。図８（Ａ）、（Ｂ）は、カメラ側における注目選手表示追跡制御フローを表している。

　図８（Ａ）においてにおいてＳ１０１は初期化を表している。Ｓ１０２で写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ１０３に進み、写真撮影が選択されていないとＳ１０１に進む。Ｓ１０３ではカメラの設定情報を入手する。Ｓ１０４では注目選手の撮影（指定）が選択されたか否かが判断され、注目選手の撮影が選択されているとＳ１０５に進み、注目選手の撮影が選択されていないとＳ１１０に進みその他の処理をする。Ｓ１０５は注目選手情報（注目選手のＩＤ情報等）とパスワードがあればそれをカメラからサーバーに送る。これによってサーバー側は注目選手の位置情報を検出してカメラに送信する。Ｓ１０６ではサーバーから注目選手の位置情報等をサーバーから受けとる。

　Ｓ１０７はサーバーから送られた位置情報を参照しつつカメラ自身で注目選手の追跡を実施する。ここでは、カメラ自身で注目選手について例えば画像認識を行って追跡する。その場合、選手の背番号、選手の顔情報、選手の体格などのいずれかの認識結果あるいはそれらの組み合わせに基づき選手の追跡を行う。すなわち、注目選手の一部または全体の形状を画像認識して追跡する。ただし、ユーザーの撮影ポジションが悪い場合や、カメラの視界が狭い場合や、撮影角度などによっては他の被写体の背後に隠れてしまったりするので見失う可能性があり、見失った場合には再度サーバーに位置情報のリクエストを送ることになる。

　Ｓ１０７－２は、注目選手に対する付加情報としてのマーク表示の例を示している。即ち付加情報としては、注目選手を示すカーソルを表示したり注目選手の位置に枠を表示したり、注目選手位置の色や輝度を目立つように変更したり、あるいはそれらの組み合わせにより表示をする。マーク以外にも文字で表示したりしてもよい。そして画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、注目選手に位置を示す付加情報を重畳する。

　図８（Ｂ）にマークを表示するＳ１０７－２のフローの例を示しており、これについては後述する。なお、上記のようなＳ１０７の追跡動作はスキップして実行しないように選択スイッチでユーザーが選択可能にしてもよい。あるいは、注目選手が画面内にいるときには追跡動作を実行するが画面外に出た場合には追跡動作をしない、というモードを設け、そのモードを選択できるようにしてもよい。更には、競技の状況を自動的に判断し、例えば注目選手がベンチ入りした場合などに、画面外の注目選手の追跡動作（矢印などの付加情報を表示など）を自動的に停止するように制御してもよい。

　あるいは画面内であるか画面外であるかにかかわらず、注目選手がベンチ入りしたことがサーバー側でわかったら画面における注目選手位置の表示や注目選手に対するオートフォーカスや注目選手に対する自動露光調整を停止するように制御してもよい。
　Ｓ１０８では、注目選手の追跡継続がＯＫ（成功している）か否かが判断され、注目選手の追跡継続に成功していれば、Ｓ１０７に進み更に継続してカメラ自身で注目選手の追跡を実施し、注目選手の追跡継続に成功していないとＳ１０９に進む。

　Ｓ１０９では注目選手の撮影が終了したか否かが判断され、注目選手の撮影が終了するとＳ１０１に進む。注目選手の撮影が継続している場合には、Ｓ１０５に進み、再度、注目選手の情報をサーバーに送り、Ｓ１０６で、注目選手の情報をサーバーから受け取り、再度、注目選手の位置を認識して、注目選手の撮影を継続する。即ち、追跡が失敗した場合はＳ１０８でＮｏとなり、その場合追跡を継続するならＳ１０５に戻ってサーバーに位置情報のリクエストを行う。

　図８（Ｂ）は、カメラ側における注目選手マーク表示制御フローを表している。Ｓ１２０では注目選手の表示部における相対位置を計算して求める。Ｓ１２１では画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、注目選手に位置等を示す付加情報を重畳する。
　以上の実施例では、サーバー１１０は、例えば競技フィールド全体の映像を読み取り座標を取得しているので、プロカメラマンや観客が撮影している映像から、競技フィールドに対してどこから撮影しているかを把握することもできる。

　すなわちサーバーは、サーバー用の複数台のカメラ（固定カメラや移動カメラ）から競技フィールドの全体の映像をあらかじめ把握しておく。それにより、フィールド内における注目選手の絶対位置情報と、プロカメラマンや観客が端末やデジタルカメラで見ている映像とのマッピングが可能になる。
　また、プロカメラマンや観客のカメラ等の端末は、サーバーから選手の絶対位置情報を受信するとこの絶対位置情報と今撮影あるいはモニターしている映像とのマッピングが可能になる。

　なお、例えばサーバーからの注目選手のフィールド内での絶対位置情報を（Ｘ、Ｙ）とする。この絶対位置情報を個々のカメラの位置情報に従い、カメラから見たときの相対的な位置情報（Ｘ´、Ｙ´）に変換する必要がある。上記の絶対位置情報から相対位置情報への変換は、Ｓ１２０のようにカメラ側で実施してもよいし、サーバー側で変換した後に個々の端末（カメラなど）に相対位置情報を送ってもよい。

　カメラ等の端末で上記変換を実行する場合は、サーバーから送られた絶対位置情報（Ｘ、Ｙ）から個々のカメラのＧＰＳ等を用いた位置情報に従い、相対的な位置情報（Ｘ´、Ｙ´）に変換する。この相対的な位置情報をもとに、カメラ側の表示画面内での位置情報とする。
　一方、サーバーで上記変換を実行する場合は、サーバーは、絶対位置情報（Ｘ、Ｙ）から個々のカメラのＧＰＳ等を用いた位置情報に従い、個々のカメラの相対的な位置情報（Ｘ´、Ｙ´）に変換する。サーバーは、個々のカメラに対して、この相対的な位置情報を送り、この相対的な位置情報を受信したカメラは、この相対的な位置情報を個々のカメラ側の表示画面内での位置情報とする。

　以上のようにして、プロカメラマンや観客のカメラ等の端末では、注目選手を見失うことが減るので、タイミングを逃さず注目選手の良い写真の撮影が可能になる。
　なお、図７に基づいたカメラ側での制御シーケンスの他の例を図９に示す。図９はカメラ等の端末側の注目選手表示追跡制御フローの他の例を表している。図９において、Ｓ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０７－２、Ｓ１１０は、図８と同一の制御であり説明は省略する。

　Ｓ１３１では、注目選手の追跡継続がＯＫ（成功している）か否かが判断され、注目選手の追跡継続に成功していれば、Ｓ１３４に進み、注目選手の追跡継続に成功していないと、Ｓ１３２に進む。Ｓ１３２では注目選手の撮影が終了したか否かが判断され、注目選手の撮影が終了するとＳ１３３に進む。注目選手の撮影が継続している場合にはＳ１０５に進み、再度、注目選手の情報をサーバーに送り、Ｓ１０６で、注目選手の情報をサーバーから受け取り、再度、注目選手の位置を認識して、注目選手の撮影を継続する。Ｓ１３３では、サーバーからの注目選手の位置を検出したか否かが判断され、サーバーからの注目選手の位置を検出しているとＳ１０６に進み、サーバーからの注目選手の位置を検出していないとＳ１０１に進む。

　Ｓ１３４では、サーバーからの注目選手の位置を検出したか否かが判断され、サーバーからの注目選手の位置を検出しているとＳ１０６に進み、サーバーからの注目選手の位置を検出していないとＳ１０７に進む。
　次に、デジタルカメラの追跡部３７１について図１０を用いて説明する。
　図１０はデジタルカメラの追跡部３７１の機能構成例を示すブロック図である。追跡部３７１は、照合部３７１０と特徴抽出部３７１１と距離マップ生成部３７１２からなる。特徴抽出部３７１１はサーバーから送られた位置情報に基づき、追跡すべき画像領域（被写体領域）を特定する。

　そしてこの被写体領域の画像から特徴量を抽出する。一方、照合部３７１０は継続して供給される個々のフレームの撮像画像内で、前記の抽出した特徴量を参照して、前フレームの被写体領域と類似度の高い領域を被写体領域として探索する。なお距離マップ生成部３７１２により撮像素子からの１対の視差画像（Ａ像とＢ像）から被写体までの距離情報を取得し、照合部３７１０における被写体領域の特定精度を上げることもできる。ただし距離マップ生成部３７１２は必ずしもなくても構わない。
　照合部３７１０が、特徴抽出部３７１１から供給される画像内の被写体領域の特徴量に基づいて被写体領域と類似度の高い領域を被写体領域として探索する際には例えばテンプレートマッチングやヒストグラムマッチングなどを用いる。

　次に、サーバー側における注目選手の検出制御フローについて図１１、図１２を用いて説明する。
　カメラ等の端末から送られてきた注目選手のＩＤ情報等に基づき、サーバーは注目選手の画像認識を行う。サーバーはサーバー用の複数台のカメラ（固定されたカメラや移動カメラなど）からの映像をもとに選手の位置情報を検出して、プロカメラマンや観客のカメラ端末などに選手の位置情報を送る。

　特に、プロカメラマンや観客が撮影を行う際に、サーバーからの注目選手の位置情報があれば注目選手を間違えることなく確実に撮影できる。さらに、カメラでも注目選手の追跡を実施している際に、死角となって選手を見失ったときなどにおいても同様に、サーバーからの情報は重要になる。なお、サーバー側ではサーバー用の複数台のカメラからの映像をもとに選手の位置情報を検出し続ける。

　プロカメラマンや一般観客が保有するカメラ等の端末では、注目選手のＩＤ情報をサーバーに送り、サーバーから取得した位置情報をもとに注目選手の追跡を実施する。同時に、プロカメラマンや一般観客の保有するカメラ等の端末自身でも注目選手の位置を検出することができる。

　図１１はサーバー側における注目選手の検出制御のメインフローを示す。
　図１１において、最初にＳ２０１で初期化を行う。次にＳ２０２でカメラにおいて写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ２０３に進み、カメラの設定情報を入手する。このときカメラの設定情報の中にパスワードがあればそれも入手する。写真撮影が選択されていないとＳ２０１に進む。Ｓ２０４では、注目選手の撮影（指定）が選択されたか否かが判断され、注目選手の撮影が選択されているとＳ２０５に進み、サーバーは、カメラから注目選手のＩＤ情報（例えば選手名、背番号など）を受信する。Ｓ２０４で注目選手の撮影が選択されていないとＳ２１０に進みその他の処理をする。

　Ｓ２０６で、サーバーは、前記注目選手のＩＤ情報に基づき、複数のカメラ（固定カメラや移動カメラなど）からの映像に基づき画像認識によって、注目選手を画面内で見つける。Ｓ２０７で、サーバーは、複数のカメラからの映像に基づき注目選手を追跡する。Ｓ２０８で、注目選手の追跡継続がＯＫ（成功している）か否かを判断し、注目選手の追跡継続に成功していれば、Ｓ２０７に戻り、複数のカメラからの情報に基づき注目選手の追跡を継続する。Ｓ２０８で注目選手の追跡継続に成功していない場合はＳ２０９に進む。

　Ｓ２０９で注目選手の撮影が終了か否か判断し、注目選手の撮影が終了するとＳ２０１に戻り、Ｓ２０９で注目選手の撮影が継続している場合には、Ｓ２０６に戻る。そして再度、サーバーは、注目選手のＩＤ情報に基づき、複数のサーバー用のカメラ（固定カメラや移動カメラ）からの情報を探索して、注目選手を見つけ、Ｓ２０７で、継続して複数のカメラからの映像に基づき、注目選手の追跡を行う。

　次に上記ＳＳ２０６において注目選手を見つけ、Ｓ２０７で追跡するための方法の例について図１２を用いて説明する。
　図１２は背番号情報を用いたサーバーによる注目選手検出制御フローを示す。図１２において、Ｓ４０１で、サーバーは注目選手のＩＤ情報に基づきデータメモリ２１３から背番号を取得し、サーバー用の複数台のカメラの映像情報の中からこの背番号を画像認識で探し、その背番号の選手の位置情報を取得する。Ｓ４０２において、更にサーバー用の複数台のカメラの映像から取得された位置情報を総合することにより、注目選手の絶対位置情報を取得する。

　このようにサーバー用の複数台のカメラの情報を総合することによって、ある背番号の選手の絶対位置情報の精度が向上する。Ｓ４０３では、Ｓ４０２で検出した注目選手の絶対位置をプロカメラマンや観客の保有するカメラ等の端末に対して送信する。Ｓ４０４では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ４０１に戻り、注目選手の追跡が継続していないと図１２のフローを終了する。

　なお、サーバー用の複数台のカメラの中のすくなくとも１台のカメラからの映像を用いて、注目選手の背番号を見つけ、見えている大きさ、角度、さらには、背景（競技フィールド）の情報を入力することにより、注目選手の位置情報を取得することもできる。またサーバー用の複数台のカメラからの映像を用いて、同様に、注目選手の背番号を見つけられるようにし、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、注目選手の位置情報の精度を高めることができる。

　次に注目選手の位置を検出するための他の検出方法の例について図１３を用いて説明する。
　この例においては、選手自身がユニフォーム等のウエアに位置センサーを内蔵させるか、選手が位置センサーを腕や腰や脚などにベルト等を用いて装着しているものとする。そしてこの位置センサーからの情報をサーバー側へ通信手段により無線で送ることで選手の位置センサーからの信号をサーバー（側の複数のカメラ等）が認識して、位置情報を生成し、サーバーからプロカメラマンや一般観客が保有するカメラへ知らせる。

　サーバー側による、位置センサー情報を用いた具体的な注目選手検出制御フローを図１３に示す。図１３において、Ｓ３０１は、サーバーは、複数台のカメラで、注目選手の位置センサー情報を受信して取得する。前記複数台のカメラには位置センサーからの電波を受信し、受信している電波の方向、受信している電波のレベルを検出して位置センサー情報として取得するための検出手段がそれぞれ含まれている。位置センサー情報の中には、受信している電波の方向、受信している電波のレベルも含まれている。

　Ｓ３０２で複数台のカメラからの位置センサー情報に基づき注目選手を絶対位置を検出する。Ｓ３０３で注目選手の絶対位置をカメラに送信する。Ｓ３０４で、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ３０１に進み、注目選手の追跡が継続していないとこの制御を終了する。
　この例の場合には、複数台のカメラ（固定カメラや移動カメラ）の中の少なくとも１台は、画像、音声の取得に加えて、選手が保有している位置センサーからの情報を検出するための検出手段を有する。

　複数台のカメラの中の上記の１台のカメラによって、選手の位置センサーからの情報を受信し、受信している電波の方向、さらには、受信している電波のレベルを認識できる。
　このように１台だけの検出結果に基づき選手の位置を検出することもできるが、この例では選手の位置センサー情報を、複数台のカメラでそれぞれ認識できるようにしている。そして複数台のカメラにおける注目選手のセンサー情報を受信している電波の方向、受信している電波のレベルの情報を総合して、より正確に選手の位置情報を分析する。

　次にサーバー側での顔認識情報を用いた注目選手検出制御フローを図１４に示す。
　サーバーのデータメモリ２１３には、試合にメンバー登録されている選手の過去に撮影した顔情報が複数枚格納されている。さらに、サーバーは、複数台のサーバー用のカメラからの映像をもとに選手の顔情報を検出する手段を有する。そしてサーバーは、前記複数台のサーバー用カメラから検出した顔情報をもとに、試合にメンバー登録されている選手の過去に撮影した顔情報を複数枚の写真と比較して例えばＡＩを用いて顔認識し、注目選手を検出する。

　図１４において、Ｓ５０１は、サーバーは注目選手のＩＤ情報に基づき注目選手の複数の顔情報をデータメモリ２１３から取得し、サーバー用の複数台のカメラの映像を用いて、この顔情報の選手の位置情報を取得する。サーバー用の複数台のカメラの中の１台のカメラの映像を用いて、注目選手の顔情報に対応した選手を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、注目選手の位置情報を取得できる。サーバー用の複数台のカメラで、同様に、注目選手の顔情報に対応した選手を見つけ、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、注目選手の位置情報をより精度よく取得できる。

　Ｓ５０２では、Ｓ５０１にて複数のカメラの映像から取得された注目選手の位置情報に基づき注目選手の絶対位置を検出する。Ｓ５０３では、Ｓ５０２で検出した注目選手の絶対位置情報をプロカメラマンや一般観客が保有するカメラに対して送信する。Ｓ５０４では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ５０１に進み、注目選手の追跡が継続していないとこの制御を終了する。

　次に体格（体形）を用いて選手位置を検出する方法について図１５を用いて説明する。
　サーバーのデータメモリ２１３には、試合にメンバー登録されている選手の、過去に撮影した体格画像情報が複数枚格納されている。また、サーバーは、サーバー用の複数台のカメラからの映像をもとに選手の体格情報を検出する手段を有する。そして、サーバーは、サーバー用の複数台のカメラから検出した体格情報と、試合にメンバー登録されている選手の、過去に撮影した複数枚の体格画像情報と例えばＡＩを用いて比較して、選手を検出する。

　サーバーにおける、体格（体形）認識情報を用いた具体的な注目選手検出制御フローを図１５に示す。図１５において、Ｓ６０１で、サーバーは注目選手のＩＤ情報に基づき複数の体格画像情報をデータメモリ２１３から取得し、サーバー用の複数台のカメラの映像情報を用いて、この体格の選手の位置情報を取得する。サーバー用の複数台のカメラの中の１台のカメラからの映像を用いて、注目選手の体格画像に対応した選手を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を取得することにより、注目選手の位置情報を取得できる。

　サーバー用の複数台のカメラの映像から、同様に、注目選手の体格画像に対応した選手を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を取得することにより、注目選手の位置情報を取得できる。これらの複数台のカメラの情報を総合することによって、体格情報に基づき注目選手の位置情報の精度を向上できる。
　Ｓ６０２では、Ｓ６０１にて取得した、この体格情報の選手の位置情報に基づき注目選手の絶対位置を検出する。

　Ｓ６０３では、Ｓ６０２で検出した注目選手の絶対位置をプロカメラマンや一般観客が保有するカメラ端末に対して送信する。Ｓ６０４では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ６０１に進み、注目選手の追跡が継続していないと図１５の制御を終了する。
　以上、選手の位置センサー情報、背番号認識、顔認識、体格認識等について説明したが、更にユニフォーム（デザイン、色）、シューズ、選手の髪型、選手の動きなどの情報についても画像認識して注目選手の認識精度を上げても良い。

　次に図１６は、注目選手の検出方法の補助的な検出方法であり、注目選手の競技フィールドにおける基本的な役割（所謂ポジション）に基づく検出をするためのフローである。
　サーバーのデータメモリ２１３には、各選手の競技フィールドにおける役割（ポジション）の情報が格納されている。さらに、ボールがある位置に従って、選手の役割に基づく位置も変わってくるので、この情報も合わせて格納してある。

　サーバーは複数台のカメラの映像からボールの現在ある位置を検出して、試合状況（攻撃している状態であるかあるいは守備をしている状態であるかの状況）を認識する。この情報をもとにして、選手のおおまかな位置を検出しやすくなる。すなわち、ゲーム状況からの判断し、選手の役割に注目して、役割からの選手のいる場所の推定をしていく。これは、サーバー側での判断が主体となる。

　選手の役割を考慮した注目選手検出制御フローの例を図１６に示す。図１６において、Ｓ７０１で、サーバーは、複数台のカメラの映像に基づき、ボールの位置情報を検出する。このボールの位置情報から選手のいる大まかな位置を推定する。さらに、フォワード、バックスなどの選手の役割（背番号で選手の役割を認識する。）に応じて、顔情報で選手をサーチするエリアを認識する。Ｓ７０２で、サーバーは注目選手の複数の顔情報をデータメモリ２１３から取得し、複数台のカメラの映像情報と比較して、この顔情報の選手の位置情報を取得する。

　Ｓ７０３では、Ｓ７０２にて複数のカメラの映像から取得された注目選手の位置情報に基づき注目選手の絶対位置を検出する。Ｓ７０４で、Ｓ７０３で検出した注目選手の絶対位置をプロカメラマンや一般観客が保有するカメラに対して送信する。Ｓ７０５では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ７０１に進み、注目選手の追跡が継続していないと図１６のフローを終了する。

　ここでは、ボールの位置に応じて、試合の状況（あるチームが攻撃しているか守備をしているか）を判断したが、たとえば、試合状況に基づいた制御としては、ボールの位置に限定されない。たとえば、あるチームが反則をすると相手のチームに、ペナルティキックなどが与えられる。この場合、試合は、ペナルティキックを得たチームは、今のボールの位置より、前進する可能性が高い。よって、この前進することを予測した試合状況に基づいた制御が可能になる。ボールの位置を反則ということから予測しても良い。

　このように、本実施例によれば、カメラで撮影をしている時や観客が端末で試合観戦などをしているときに、注目選手の位置情報をプロカメラマンや一般観客にタイムリーに知らせることができる。これにより、プロカメラマンや一般観客は、注目選手のいる位置を逐次認識できて、注目選手の好プレイを確実に撮影できる。

　次にプロカメラマンや一般観客が保持するカメラに注目選手の位置情報を表示する際の表示方法の例について図１７（Ａ）～（Ｄ）を用いて説明する。
　本実施例では、カメラ等の端末の画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、サーバーから注目選手の位置情報が送られてきたら、注目選手の位置に付加情報としてのマークやカーソルや矢印や枠などを重畳表示する。ここで、注目選手が、前記画像表示部の画面外にいる場合には、表示部の画面内の周辺部に、どちらの方向に注目選手がいるかを表示する。この表示を見ることにより、プロカメラマンや一般観客が保持するカメラ等の端末の画面を見れば、どちらの方向にカメラを向ければ、撮影エリアの中に、注目選手が画面に入るかを速やかに認識できるようになる。

　図１７（Ａ）に、カメラ表示部での映像に対する注目選手の位置情報の表示例が図示されている。３２０１はカメラの表示部を表している。ここで、注目選手が、表示部の表示画面から外れていて、表示画面の右側にいるのであれば、３２０２のように表示部の画面内の右側周辺に右側の矢印を表示する。また、注目選手が、表示エリアから外れていて、表示画面の下側にいるのであれば、３２０３のように表示部の画面内の下側周辺に下側の矢印を表示する。

　また、注目選手が、表示エリアから外れていて、表示画面の左側にいるのであれば３２０４のように表示部の画面内の左側周辺に左側の矢印を表示する。また、注目選手が、表示エリアから外れていて、表示画面の上側にいるのであれば、３２０５のように表示部の画面内の上側周辺に上側の矢印を表示する。なお右斜め上方向に注目選手がいる場合には、例えば図１７（Ｂ）のように画面内の右斜め上方向の周辺に右斜め上方向の矢印を表示する。従って図１７（Ｂ）に示すように、注目選手は、右斜め上の方向にいることがわかる。

　これらの矢印は、プロカメラマンや一般観客にとって、注目選手の撮影をする時に、どちらの方向にカメラを動かせば、注目選手をカメラの撮影のエリアに入れることができるかを知らせることができるものである。これにより、プロカメラマンや一般観客は、注目選手を一旦見失ってもすぐに、撮影画面内に入れることができ、注目選手の絶好のシャッターチャンスを逃すことなく撮影できる。

　次に図１７（Ｃ）は、どちらにどれだけ動かすと注目選手が撮影エリアに入ってくるかを矢印の向きと矢印の長さで表示する例を示す図である。３４０１は、カメラの表示部を表している。
　ここで、注目選手が、表示エリアから外れていて、表示画面の右側にいるのであれば、３４０２のように表示部の画面内の右側周辺に右側の矢印を表示する。注目選手が、表示エリアから外れていて、表示画面の下側にいるのであれば、３４０３のように表示部の画面内の下側周辺に下側の矢印を表示する。注目選手が、表示エリアから外れていて、表示画面の左側にいるのであれば、３４０４のように表示部の画面内の左側周辺に左側の矢印を表示する。

　注目選手が、表示エリアから外れていて、表示画面の上側にいるのであれば、３４０５のように表示部の画面内の上側周辺に上側の矢印を表示する。しかも上記において、矢印の長さで画面に対して注目選手がどのくらい外れているか（ずれているか）、即ちカメラをどのくらい回転しないと注目選手が映らないかを表している。注目選手の位置が画面の視野からずれているほど、矢印の長さが長くなっている。
　図１７（Ｃ）においては、３４０２に示した右側の矢印は比較的短いので、カメラを右方向に比較的小さい角度動かしただけでも注目選手が撮影エリアに入ることがわかる。

　同様に、３４０５に示した上側の矢印は比較的短いので、カメラを上側に回転させる角度は比較的小さくても注目選手が撮影エリアに入ることがわかる。一方、３４０３に示した下側の矢印は、中くらいの長さなので、３４０２、３４０５での角度より大きめにカメラを回転すれば注目選手が撮影エリアに入ることがわかる。更に３４０４に示した左側の矢印は比較的長いので、３４０３での回転角度より大きめの角度だけカメラを注目選手の方向に回転すれば注目選手が撮影エリアに入ることがわかる。
　これにより、プロカメラマンや一般観客にとって、注目選手を撮影エリア（表示画面内）に入れやすくなり、注目選手のシャッターチャンスを逃すことなく撮影できるようになる。

　次に、図１７（Ｄ）は矢印の長さは一定にして矢印の太さを変える例を示す図である。すなわち、今、撮影しているエリアからの回転角度が大きい場合、すなわち、注目選手を撮影のエリアに入るようにするためのカメラの回転角度が大きい場合には、矢印の太さを太くしても良い。３６０１は、カメラの表示部を表している。ここで、注目選手が、表示エリアから外れていて、表示画面の右側にいるのであれば、３６０２のように表示部の画面内の右側周辺部に右側の矢印を表示する。また、注目選手が、表示エリアから外れていて、表示画面の下側にいるのであれば、３６０３のように表示部の画面内の下側周辺部に下側の矢印を表示する。また、注目選手が、表示エリアから外れていて、表示画面の左側にいるのであれば、３６０４のように表示部の画面内の左側周辺部に左側の矢印を表示する。

　また、注目選手が、表示エリアから外れていて、表示画面の上側にいるのであれば、３６０５のように表示部の画面内の上側周辺部に上側の矢印を表示する。更に、上記において、矢印の太さでカメラの回転角度を表している。回転すべき角度が大きいほど、矢印の太さが太くなっている。図１７（Ｄ）においては、３６０２や３６０５に示した矢印より３６０３に示した矢印や３６０４に示した左側の矢印は、比較的太いので、比較的大きく回転しないと注目選手が撮影エリアに入らないことがわかる。
　このような表示により、プロカメラマンや一般観客にとって、見失った注目選手をすぐに、見つけ出すことが可能になり、注目選手の好プレイをシャッターチャンスを逃すことなく撮影できる。

　なお、以上の例では矢印やその長さや太さで注目選手の画面からのずれの方向やずれ量を表示したが、これに限らない。例えば矢印の代わりに文字で単に「画面右上斜め外に存在します。」などのように画面内に存在しないことだけを表示してもよい。その場合音や点滅などによって警告表示するだけでもよい。あるいは「右方向にずれています。」「水平方向に右に２０度ずれています。」などと表示してもよいし、画面の端にコンパスのように注目選手のいる方向を回転する針が表示するようにしたり、どの程度画面からずれているかを数字や目盛りを使って画面の隅に表示したりしてもよい。

　即ち目盛りを表示し、その目盛りのどの位置にカーソルがあるかによってずれ量を表示したり、ずれ量に応じて目盛りに沿ってバーの長さが変化するように表示したりしてもよい。
　次に図１８は、カメラ側における注目選手表示追跡制御フローの一例を示した図である。
　図１８において、図８と同じ符番のステップすなわちＳ３３００以外は図８と同じステップなので説明は省略する。Ｓ３３００は、カメラ自身で注目選手の追跡を実施する。ここで、注目選手がカメラで撮影しているエリアの外にいった時には、その方向を示す矢印が表示部に表示される。このＳ３３００における詳細なフローを図１９に示す。

　図１９において、Ｓ３３１１で、カメラは、サーバーから注目選手の絶対位置情報を受信する。Ｓ３３１２で、カメラは、注目選手の絶対位置情報をこのカメラで撮影している位置、方向、倍率などに基づき相対位置情報に変換する。Ｓ３３１３で、カメラから見た相対位置の情報を基に、注目選手の情報を表示部に表示する。Ｓ３３１４では、注目選手が、カメラの現時点での撮影エリアの外、すなわちカメラの表示部の画面外であるか否かが判断され、外側であればＳ３３１６に進み、画面内であるとＳ３３１５に進む。

　Ｓ３３１５では、カメラの表示部に、注目選手のいる位置を示す矢印の表示をしない。代わりに注目選手の位置を示す枠などのマークを表示する。Ｓ３３１６では、カメラの表示部の周辺部に注目選手のいる位置を矢印で表す。Ｓ３３１７では、注目選手の追跡が継続されているか否かが判断され、注目選手の追跡が継続されているとＳ３３１１に進み、注目選手の追跡が終了しているとＳ３３００のフローを終了する。

　図２０は、図１８のＳ３３００において、図１７（Ｃ）のような表示をするためのフローを示す図である。図２０において、Ｓ３３１１からＳ３５１５、Ｓ３５１７は、図１９と同じステップなので説明を省略する。Ｓ３５１６では、カメラの表示部の画面内の周辺部に、注目選手のいる位置を矢印で表す。ここで、カメラの表示画面内にいれるために回転するべき角度に応じて、矢印の長さを変える。カメラの回転角度が大きいほど矢印を長くする。

　図２１は、図１８のＳ３３００において、図１７（Ｄ）のような表示をするためのフローを示す図である。図２１において、Ｓ３３１１からＳ３５１５、Ｓ３５１７は、図１９、図２０と同じなので説明を省略する。Ｓ３７１６では、カメラの表示部の画面内の周辺部に、注目選手のいる位置を矢印で表すとともに、カメラの表示画面内にいれるために回転すべき角度に応じて、矢印の太さを変える。カメラの回転角度が大きいほど矢印を太くする。

　なお、注目選手は１人の例で、説明したが、注目選手は複数選手であっても良い。また、注目選手は、途中で切り替えができるものとする。注目選手として、試合に出場している選手全員でも良い。また、映像や画像としては、動画だけでなくて、静止画も含むものとする。また、注目選手を追い追跡することをメインに説明をしてきた。しかしながら、注目選手だけを追いかけないで、ボールを持っている、あるいは、ボールを受ける選手についての情報をプロカメラマンや観客に送信し表示させるようにしてもよい。また、実施例では選手を追跡する例を用いて説明したが、犯人などの人物を複数の監視カメラなどを使って追跡するシステムに適用できることは言うまでもない。

　あるいは人物に限らずカーレーシングなどにおいて特定の車などを追跡するシステムや競馬等において馬を追跡するシステムに適用することもできる。なお、実施例では注目選手をカメラ端末などで指定する例を説明したが、サーバー側が注目選手を指定できるようにしてもよい。
　次に注目選手が、反則をしたかどうかを検出するフローの説明を図２２に基づき行う。

　図２２のフローでは、複数台のカメラの映像に基づき、例えばラグビーにおけるシンビンなどの反則を判定して、一時的退出する選手の情報も検出して、サーバーは、この情報をプロカメラマンや一般観客の保有するカメラ等の端末に送る。なお、シンビンとみなされた選手は、１０分間、試合に出られなくなる。選手が反則をした場合、反則の重さによっても異なるが、即座に退場というレッドカードに対して、１０分間試合に出場できないシンビンという反則は、選手が少なくとも一時的にフィールドからでていくものである。
　注目選手が反則をしたかを検出する注目選手検出制御フロー（サーバー側）が図２２に示されている。

　図２２において、Ｓ１００１で、サーバーは、複数台のカメラの映像に基づきボールの位置情報を検出する。このボールのある位置情報から選手のいる大まかな位置を推定する。さらに、フォワード、バックスなどの選手の役割（スターテイングメンバーの選手は背番号で選手の役割を認識する。リザーブ選手は、すでに登録されている選手情報と今日の試合での選手の背番号とその選手の役割により、リザーブ選手の名前、背番号、役割を認識する。）に応じて、顔情報の選手をサーチするエリアを認識する。Ｓ１００２で、サーバーはリザーブ選手を含めた注目選手の複数の顔情報を認識し、複数台のカメラの映像情報から、この顔情報の選手の位置情報を取得する。

　複数台のカメラの中の１台のカメラの映像から、リザーブ選手を含めた注目選手の顔情報を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、リザーブ選手を含めた注目選手の位置情報を取得できる。
　複数台のカメラの映像から、同様に、リザーブ選手を含めた注目選手の顔情報を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、リザーブ選手を含めた注目選手の位置情報を高精度で取得できる。Ｓ１００３では、この入力情報をベースにリザーブ選手を含めた注目選手の絶対位置を検出する。

　Ｓ１００４は、Ｓ１００３で検出した注目選手の絶対位置をプロカメラマンや一般観客が保有するカメラ端末に対して送信する。Ｓ１００５では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ１００６に進み、注目選手の追跡が継続していないと図２２のフローを終了する。Ｓ１００６では、一時退場の反則が行われたかを判断され、一時退場の反則があれば、Ｓ１００７に進み、一時退場の反則がなければ、Ｓ１００５に進む。

　Ｓ１００７では、一時退場の反則はレッドカードであったか否かが判断され、レッドカードの反則であれば、Ｓ１００８に進み、レッドカードの反則でなければ、Ｓ１００９に進む。Ｓ１００９に進むのは、シンビンの反則が行われているケースである。Ｓ１００８は、サーバーは、レッドカードをもらった選手を認識し、試合に出場しているメンバーから外し、出場している選手情報一覧をアップデートする。

　Ｓ１００９で、サーバーは、シンビンをもらった選手を認識し、試合に出場しているメンバーから約１０分間（１０分間は目安である。）外して出場している選手情報一覧をアップデートする。ここで、シンビンをもらった選手がフィールドに戻ることを認識して、出場している選手情報一覧をアップデートする。ここで、シンビンをもらった選手がフィールドに戻ることを認識して、出場している選手情報一覧をアップデートしＳ１００１に進む。
　なお、選手の役割＝ポジションとしてボールの位置に応じて、試合の状況（あるチームが攻撃しているか守備をしているか）を判断したが、たとえば、試合状況（競技状況）に基づいた制御としては、ボールの位置に限定されない。

　たとえば、あるチームが反則をすると相手のチームに、ペナルティキックなどが与えられる。この場合、試合は、ペナルティキックを得たチームは、今のボールの位置より、前進する可能性が高い。よって、この前進することを予測した試合状況に基づいた制御が可能になる。ボールの位置を反則ということから予測しても良い。

　さらに、Ｓ１００６での少なくとも一時退場の反則については、たとえば、サーバーは、選手が反則を起こし、フィールドから出ていくことを複数台のカメラで認識して検出してもよい。
　それ以外にも、審判他のコールを音声情報として認識して検出する方法がある。また、大型スクリーンに表示される反則情報から検出するようにしてもよい。
　以上のように、プロカメラマンや観客は、判定状況がリアルタイムでわかれば、次のボールの位置を予測することも可能になる。またこの反則の情報をカメラの表示部に表示すれば、カメラ端末側では、この表示を見ることで、次に考えられるボールの位置を予測でき、より良いシャッターチャンスの写真を撮ることができる。

　プロカメラマンや一般観客にとって、ゲームの中での判定は気になるものである。審判は主審１人とタッチジャッジ２人の３人体制で行っている。特に、トライを決めたかに見えたシーンにおいての判定、あるいは、ゲームの中での反則が起きたかの判定など人間の眼だけでは判断ができないことがある。このために、肉眼での判定が難しい場合に審判の判定の手助けとなるビデオ判定（ＴＭＯ（テレビジョン・マッチ・オフィシャル））を行っている。

　プロカメラマンや一般観客の保有するカメラ等の端末で、トライシーンを撮影した時に、今、撮影した画像は、トライとして認定されたかそれともトライにならなかったかをプロカメラマンや一般観客は即座に知りたい。そのため、複数台のカメラの映像から、その後の判定を追いかけたり、電光掲示板に表示される情報を基にしてサーバーで解析したりして判定を正確に認識する。そして審判の判定結果を、プロカメラマンや一般観客のカメラ等の端末に送信することにより、ユーザーは判定結果をタイムリーに正しく認識することが可能になる。

　トライが行われたかどうかの検出方法は、複数ある。以下に、具体的に説明する
　トライ判定制御フロー（サーバー側）が図２３に図示されている。
　図２３において、Ｓ１１０１は、初期化を表している。ここで、ＴＲＹジャッジフラグは、クリアする。Ｓ１１０２では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ１１０３に進み、写真撮影が選択されていないとＳ１１０１に進む。Ｓ１１０３では、カメラの設定情報を入手する。Ｓ１１０４では、複数台のカメラの映像から、試合で使用しているボールを追いかける。

　Ｓ１１０５では、ＴＲＹジャッジフラグが０であるか否かが判断され、ＴＲＹジャッジフラグが０であるとＳ１１０６に進み、ＴＲＹジャッジフラグが０でないとＳ１１０７に進む。Ｓ１１０６では、トライがあったようであるかが判断され、トライがあったようであるとＳ１１０７に進み、トライがあったようでなければＳ１１１２に進む。ここで、トライがあったようというのは、選手がボールをトライエリアに持ち込んでいる状態である。

　例えば、選手は、トライの直前に、ボールを前に落とすノックオンをしているケース、あるいは、守備の選手がトライしようとしているボールに手や体を入れて、グラウンディングを阻止していることもある。すなわち、トライが、確定した状態ではない。Ｓ１１０７は、ＴＲＹジャッジフラグに１をセットする。Ｓ１１０８は、トライの有無を判定する。
　図２４（Ａ）、（Ｂ）、図２５（Ａ）、（Ｂ）、図２６に、トライの判定を行う具体例が図示されており、これについては後述する。

　Ｓ１１０９では、Ｓ１１０８の制御にて、トライの有無の判定結果がでたか否かが判断され、トライの有無の判定結果がでると、Ｓ１１１０に進み、トライの有無の判定結果がでていないとＳ１１１２に進む。Ｓ１１１０は、ＴＲＹジャッジフラグに０をセットする。Ｓ１１１１は、サーバーは、トライがあったか否かの情報をプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。Ｓ１１１２では、ゲームが終了したか否かが判断され、ゲームが終了しているとＳ１１０１に進み、ゲームが終了していないとＳ１１０４に進む。

　以上は、トライの有無を判定する制御である。しかしながら、ＣＰＵはこの制御のみを実行するのではなく、例えば、図１１に示した注目選手の検出制御と同時並行して実行しても良い。
　なお、サーバーが同時並行して実行する制御はこれに限定されず、その他の複数の制御を同時に行っても良い。一方、プロカメラマンや一般観客が保持するカメラ等の端末についても、同様であり、その他の複数の制御を同時に行っても良い。

　トライシーンの撮影をした際に、トライが成功したか失敗したかを正しく認識しないといけない。サーバーは、トライが成功したか、あるいは、コンバージョンが成功したかの判定を確認する。ここでは、トライの例で説明を行った。しかしながら、トライに限らず、その他の得点シーンに対しても同様の制御を実行できる。

　複数台のカメラの映像を分析して、トライが行われたと思われるプレイがあった時には、複数台のカメラで、ボールの動きを分析して、ボールがきちんと所定エリア内にグラウンディングされていたか否かを認識する。サーバーは、認識したこのボールの動きからトライであったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
　サーバー側でボールの動きからのトライの有無を判定するフローを図２４（Ａ）に示す。

　図２４（Ａ）において、Ｓ１２０１では、サーバーは、複数台のカメラの画像からボールのある場所を検出する。Ｓ１２０２では、複数台のカメラの画像からトライと思われるシーンでトライがあったかをボールの動きから認識する。
　次に、審判動作からのトライ有無判定フローが図２４（Ｂ）に示されている。
　複数台のカメラの映像を分析して、トライが行われたと思われるプレイがあった時には、複数台のカメラの映像から、その後の注目選手の周囲にいる審判のルール上の動作を分析し画像認識して、審判の動作からトライであったか否かを認識してもよい。

　サーバーは、認識したこの審判の動作からトライであったか否かの分析結果に関する情報（動作認識結果）を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
　図２４（Ｂ）において、Ｓ１３０１では、サーバーは、複数台のカメラの映像からトライ判定をしているような動きの近くの審判の動作を検出する。Ｓ１３０２では、複数台のカメラの映像からトライと思われるシーンでトライがあったかを審判の動作から認識する。

　図３１には、トライ有無判定の審判動作が、図示されている。図３１（Ａ）は、トライが成立した時に、審判の動作である。図３１（Ｂ）は、トライが成立しない時の審判の動作である。
　更に、競技場の大型スクリーンに表示される情報からトライの有無を認識するフローについて図２５を用いて説明する。
　複数台のカメラの映像を分析して、トライが行われたと思われるプレイがあった時には、複数台のカメラで、競技場の大型スクリーンに映し出される情報を入力して、このスクリーンの情報からトライであったか否かを認識する。

　サーバーは、認識したこのスクリーンの情報からトライであったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
　サーバー側における、スクリーン表示の判定結果からのトライの有無を判定するフローを図２５（Ａ）に示す。図２５（Ａ）において、Ｓ１４０１では、サーバーは、複数台のカメラからの画像からトライのような動きの後のスクリーンに表示される判定結果の情報を検出する。Ｓ１４０２では、複数台のカメラの画像からトライと思われるシーンでトライがあったかをスクリーンに表示される判定結果から認識する。

　次にスクリーンに表示されている得点情報からトライの有無を認識するフローについて図２５（Ｂ）を用いて説明する。
　複数台のカメラの映像を分析して、トライが行われたと思われるプレイがあった時には、複数台のカメラの画像に基づき、スクリーンに映し出される得点情報を入力して、このスクリーンの得点情報からトライであったか否かを認識する。サーバーは、認識したこのスクリーンの得点情報からトライであったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。

　トライをすると得点は５点入り、その後のコンバージョンキックが成功すると得点は２点入る。また、ペナルティキック、あるいは、ドロップゴールに成功すると得点は３点入る。トライが行われたと思われる前の得点とトライが行われた後の得点を比較することでトライが成功したかを認識できる。
　スクリーンの得点情報からサーバーがトライの有無を判定するフローを図２５（Ｂ）に示す。

　図２５（Ｂ）において、Ｓ１５０１では、サーバーは、複数台のカメラの画像からトライのような動きの後のスクリーンに表示される得点情報を検出する。Ｓ１５０２では、複数台のカメラの画像からトライと思われるシーンでトライがあったかをスクリーンに表示される得点情報の差分から認識する。Ｓ１５０３では、複数台のカメラの画像からトライと思われるシーンでトライがあったかをスクリーンに表示される得点情報の差分から、トライ、コンバージョンキック、ペナルティキック、あるいは、ドロップゴールを認識する。

　次にフィールドでアナウンスされる音声情報からトライの有無を認識するフローについて図２６を用いて説明する。
　複数台のカメラ（固定カメラや移動カメラ）についているマイクから入力される音声情報を分析し、トライが行われたと思われるプレイがあった時には、上記マイクからの音声情報からトライであったか否かを認識する。サーバーは、認識したこの音声情報からトライであったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。

　サーバーによる、音声情報からトライの有無を判定する具体的なフローを図２６に示す。図２６において、Ｓ１６０１では、サーバーは、複数台のカメラのマイクからトライのような動きの後の音声情報を検出する。Ｓ１６０２では、複数台のカメラのマイクからトライと思われるシーンでトライがあったかを音声情報に基づき認識する。
　上記の実施例においてはトライの得点の判断について述べたが、トライの得点に加えて、トライ後のコンバージョンによる得点、ペナルティキックによる得点を考えても良い。
　なお、トライが行われたかどうかのサーバー側の検出フローは、図２３に図示されているが、トライが行われたかどうかに関するカメラ等の端末側の制御について説明する。

　図２７はカメラ等の端末側のトライ判定制御フローを示している。図２７においてＳ１０１からＳ１０７－２、Ｓ１０９、Ｓ１１０は、図９のステップと同一であるので説明を省略する。
　Ｓ１６２０では、注目選手の追跡継続ＯＫ（成功している）か否かが判断され、注目選手の追跡継続に成功していれば、Ｓ１６２１に進む。Ｓ１６２１では、サーバーからトライ判定結果が送られたか否かが判断され、サーバーからトライ判定結果が送られるとＳ１６２２に進み、サーバーからトライ判定結果が送られていないとＳ１０７に戻り、カメラ自身で注目選手の追跡を継続する。Ｓ１６２２では、カメラの表示部にトライの判定結果を表示する。

　なお、Ｓ１６２０で注目選手の追跡継続に成功していないとＳ１０９に進み、注目選手の撮影が終了したか否かを判断し、終了していなければＳ１０５に戻る。終了していればＳ１６２３に進み、サーバーからトライ判定結果が送られたか否かが判断され、サーバーからトライ判定結果が送られているとＳ１６２４に進みカメラ端末の表示部にトライの判定結果を表示する。サーバーからトライ判定結果が送られていないとＳ１０１に戻る。
　以上により、トライらしき状態になった時に、カメラ端末側に、そのトライに成功したか否かを表示できるようになる。

　これにより、一般観客、あるいは、カメラマンは、例えば撮影した写真の評価を正しく認識できるようになる。そして、カメラマンは、カメラの表示部を見るだけで、判定について認識できるので、報道機関等に送る写真の選定を適切に行うことができるとともに、次の撮影に向けた準備をいち早くできる。
　次に、選手の反則の判断について説明する。反則におけるペナルティのレベルによって、相手チームに与えられるアドバンテージも変わってくる。反則が重いとイエローカードをもらい、シンビンとなり、試合に１０分間出場できなくなる。

　さらに、反則が重いとレッドカードをもらい、即座の退場になる。複数台のカメラによって、サーバーが、これらの反則を認識して、プロカメラマンや一般観客の保有するカメラ等の端末に情報を送り、カメラからプロカメラマンや一般観客に反則情報を選手情報とともに通知することは重要である。
　反則が行われたかどうかの検出方法の例を説明する
　サーバー側での選手の反則判定の制御フローを図２８に示す。

　図２８において、Ｓ１７０１は初期化を表している。ここで、ジャッジフラグをクリアする。Ｓ１７０２では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ１７０３に進みカメラの設定情報を入手する。写真撮影が選択されていないとＳ１７０１に戻る。Ｓ１７０４では、複数台のカメラで、試合に出場している選手全員を追いかける。Ｓ１７０５では、ジャッジフラグが０であるか否かが判断され、ジャッジフラグが０であるとＳ１７０６に進み、ジャッジフラグが０でないとＳ７１０７に進む。

　Ｓ１７０６では、選手に反則があったようであるかが判断され、選手に反則があったようであるとＳ１７０７に進みジャッジフラグに１をセットする。選手に反則があったようでないとＳ１７１２に進む。ここで、選手に反則があったようというのは、選手が相手の選手へのタックルのしかた、当たり方などによっても、反則になったりならなかったりするので、ここでは反則の可能性がある場合を指す。また、選手の反則があった場合でも反則にはレベルがある。すなわち、ここではまだ選手の反則のレベルが、確定した状態ではない。Ｓ１７０８は、選手の反則の有無を判定する。図２９（Ａ）、（Ｂ）に選手の反則の判定を行うフローの具体例を示し詳細は後述する。

　Ｓ１７０９では、Ｓ１７０８の制御にて、選手の反則の有無の判定結果がでたか否かが判断され、選手の反則の有無の判定結果がでると、Ｓ１７１０に進み、選手の反則の有無の判定結果がでていないとＳ１７１２に進む。Ｓ１７１０ではジャッジフラグに０をセットする。Ｓ１７１１では、サーバーは、選手に反則があったか否かの情報と反則があった場合に反則のレベルの情報をプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
　Ｓ１７１２では、ゲームが終了したか否かが判断され、ゲームが終了しているとＳ１７０１に進み、ゲームが終了していないとＳ１７０４に進む。

　以上は、選手反則の有無を判定する制御である。しかしながら、フローはこの制御のみを実行するのではなく、その他の複数の制御を同時あるいは並行して行っても良い。一方、プロカメラマンや一般観客が保持するカメラ等の端末側についても、同様であり、端末側でも複数の制御を同時あるいは並行して行っても良い。

　複数台のカメラの映像を分析して、反則が行われたと思われるプレイがあった時には、複数台のカメラで、その後の審判の動作を分析して、審判の動作から反則であったか否かを認識する。サーバーは、認識したこの審判の動作から反則であったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
　サーバー側における、審判動作からの選手の反則判定フローの例を図２９（Ａ）に示す。図２９（Ａ）において、Ｓ１８０１では、サーバーは、複数台のカメラの映像から選手の反則のような動きの審判の動作を検出する。

　Ｓ１８０２では、複数台のカメラの映像から選手の反則と思われるシーンで選手の反則があったかを審判の動作から認識する。
　次に、図２９（Ｂ）を用いてフィールドでアナウンスされる音声情報から反則の有無を認識するフローの例につき説明する。
　複数台のカメラについているマイクから入力される音声情報を分析して、反則が行われたと思われるプレイがあった時には、上記マイクからの音声情報を分析して、音声情報から反則であったか否かを認識する。

　そしてサーバーは、認識したこの音声情報から反則であったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
　サーバー側における、音声情報からの選手の反則を判定するフローを図２９（Ｂ）に示す。図２９（Ｂ）において、Ｓ１９０１では、サーバーは、複数台のカメラのマイクから選手の反則のような動きの後の音声情報を検出する。Ｓ１９０２では、複数台のカメラのマイクから選手の反則と思われるシーンで選手の反則があったかと、選手に反則があった場合、その反則のレベルを音声情報から認識する。

　反則が起きた時に、複数台のカメラ（固定カメラや移動カメラ）で反則の状況を認識するが、この情報は、プロカメラマンや一般観客の保有するカメラ等の端末にも送られ上記端末で表示される。
　ここでは、図３０にカメラ側の反則判定制御フローが図示されており、カメラ側でのトライ判定制御フローがベースになっており、カメラ側に反則の状況を表示する。
　図３０において、図２７とはＳ７４２１～Ｓ７４２４のみが異なる。即ち、図２７におけるＳ１６２１、Ｓ１６２２、Ｓ１６２３、Ｓ１６２４は、Ｓ７４２１、Ｓ７４２２、Ｓ７４２３、Ｓ７４２４に置き換わり、それぞれ、の「トライ判定」が「反則判定」になっている点のみ異なる。

　以上のように本実施例によれば、サーバーは、注目選手以外（特定の対象以外）の周囲の情報を分析し、分析結果をカメラ等の画像処理装置に送信するので、カメラ等の端末側ではトライやゴールや反則などの競技のリアルタイムの状況を把握できるようになる。従って、特に、プロカメラマン等は、試合中に、写真を選択してタイムリーに報道機関に送る際に、非常に有益な情報を得ることができる。なお、選手の動きをビッグデータとしてサーバーに格納しておいて、このビッグデータをもとに、ＡＩによる選手の動き予測を行っても良い。なお、注目選手は１人だけ指定する例を説明したが、注目選手は複数選手指定しても良い。

　また、注目選手は、途中で切り替えができるものとする。注目選手として、試合に出場している選手全員でも良い。また、映像や画像としては、動画だけでなくて、静止画も含むものとする。また、注目選手を追い追跡することをメインに説明をしてきた。しかしながら、注目選手だけを追いかけないで、ボールを持っている、あるいは、ボールを受ける選手についての情報をプロカメラマンや観客に送信し表示させるようにしてもよい。

　また、実施例では選手を追跡する例を用いて説明したが、犯人などの人物を複数の監視カメラなどを使って追跡するシステムに適用できることは言うまでもない。あるいは人物に限らずカーレーシングなどにおいて特定の車などを追跡するシステムや競馬等において馬を追跡するシステムに適用することもできる。なお、実施例では注目選手をカメラ端末などで指定する例を説明したが、サーバー側が注目選手を指定できるようにしてもよい。
　なお、選手の顔認識をする時に、更に、リザーブ選手も含めた選手の役割に着目して判断すれば、サーバーでの選手の検出を短時間化、さらに、リザーブ選手をも含めた選手の検出の精度向上することができる。

　その場合の、リザーブ選手を含めた選手検出制御フローの例を図３２に示す。
　図３２において、Ｓ８０１では、サーバーは、複数台のカメラの映像からボールの位置情報を検出する。このボールのある位置情報から注目選手のいる大まかな位置を推定する。さらに、フォワード、バックスなどの選手の役割（スターテイングメンバーの選手は背番号で選手の役割を認識する。リザーブ選手については、すでに登録されている選手情報と今日の試合での選手の背番号とその選手の役割により、リザーブ選手の名前、背番号、役割を認識する。）に応じて、顔情報の選手をサーチするエリアを認識する。

　Ｓ８０２では、Ｓ８０１にて認識されたエリアについて、サーバーはリザーブ選手を含めた注目選手の顔情報を認識し、複数台のカメラの映像情報を入力して、この顔情報の選手の位置情報を取得する。
　複数台のカメラの中の各カメラの映像は、リザーブ選手を含めた注目選手の顔情報を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、リザーブ選手を含めた注目選手の位置情報を取得できる。また複数台のカメラの映像で、同様に、リザーブ選手を含めた注目選手の顔情報を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、リザーブ選手を含めた注目選手の位置情報の精度が向上する。

　Ｓ８０３では、Ｓ８０２で検出した複数台のカメラの映像情報から注目選手の位置に基づき、注目選手の絶対位置を検出する。Ｓ８０４で、Ｓ８０３で検出した注目選手の絶対位置をプロカメラマンや一般観客が保有するカメラ端末に対して送信する。
　Ｓ８０５では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ８０１に進み、注目選手の追跡が継続していないと図３２のフローを終了する。

　ここでもボールの位置に応じて、試合や競技の状況（あるチームが攻撃しているか守備をしているか）を判断したが、たとえば、試合（競技）状況に基づいた制御としては、ボールの位置に限定されない。たとえば、あるチームが反則をすると相手のチームに、ペナルティキックなどが与えられる。この場合、試合では、ペナルティキックを得たチームが、現在のボール位置より、前進する可能性が高い。よって、この前進することを予測した試合状況に基づいた制御が可能になる。このようにボールの位置を反則という状況から予測しても良い。

　複数台のサーバー用カメラの映像に基づき、選手交代の情報を認識して、フィールドから出ていく選手とフィールドに入る選手（これらの選手のポジションも含む）の情報を認識してもよい。そして、サーバーは、これらの情報をプロカメラマンや一般観客が保有するカメラ端末に送る。選手交代の時にフィールドに入る選手は、どこの位置から入っていくかを追いかけて、同時に、プロカメラマンや一般観客が保有するカメラ端末に通知する。
　図３３を用いて、リザーブ選手の検出制御をベースにして、選手交代での選手検出を補助する方法を説明する。選手交代時における選手の役割（ポジション）を考慮した顔認識情報を用いたリザーブ選手を含めた着目選手検出制御フローを図３３に示す。

　図３３において、図３２と同じ符番は同じステップを示すので説明は省略する。
　Ｓ９０５では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ９０６に進み、注目選手の追跡が継続していないとこの制御を終了する。Ｓ９０６では、選手交代が行われたかが判断され、選手交代があれば、Ｓ９０７に進み、選手交代がなければ、Ｓ９０１に進む。Ｓ９０７は、サーバーは、選手交代を認識し、試合に出場している選手情報一覧をアップデートする。

　ここでは、ボールの位置に応じて、試合の状況（あるチームが攻撃しているか守備をしているか）を判断したが、たとえば、試合状況に基づいた制御としては、ボールの位置に限定されない。例えば、あるチームが反則をすると相手のチームに、ペナルティキックなどが与えられる。この場合、試合は、ペナルティキックを得たチームは、今のボールの位置より、前進する可能性が高い。よって、この前進することを予測した試合状況に基づいた制御が可能になる。このようにボールの位置を反則という状況から予測しても良い。さらに、Ｓ９０６での選手交代については、たとえば、サーバーは、選手がフィールドから出ていくことと選手がフィールドに入ることを複数台のカメラで認識して検出してもよい。

　これ以外にも、審判他のコールを音声情報として認識して検出する方法がある。また、大型スクリーンに表示される選手交代情報から検出する方法がある。さらには、大型スクリーンに表示されているメンバー一覧から検出するようにしてもよい。
　注目選手の検出の際に、さらに、複数台のサーバー用のカメラの映像から、シンビンなどの反則をして、一時的退出する選手の情報も検出してもよい。

　そして、サーバーは、この情報をプロカメラマンや一般観客が保有するカメラ端末に送る。シンビンとみなされた選手は、１０分間、試合に出られなくなる。
　図３３の例では、複数台のカメラの映像から、選手交代の情報を認識して、フィールドから出ていく選手とフィールドに入る選手（これらの選手のポジションも含む）の情報を認識する。そして、サーバーは、これらの情報をプロカメラマンや一般観客が保有するカメラ端末に送る。選手交代の際にフィールドに入る選手は、どこの位置から入っていくかを追いかけて、同時に、プロカメラマンや一般観客が保有するカメラ端末に通知している。

　しかし、選手がフィールドから出るのは、選手交代以外にもある。選手が反則をした場合、反則の重さによっても異なるが、即座に退場というレッドカード、１０分間試合に出場できないシンビンという反則は、選手が少なくとも一時的にフィールドからでていくものである。そこで次にリザーブ選手の把握をベースにして、選手交代での選手検出、反則をした選手検出を補助する方法については図２２のような着目選手検出制御フローを用いて行う。

　本実施例では、注目選手を事前に登録して、カメラの表示部において、注目選手をどこにいるかのマークをつけて表示部に示し、さらに、この注目選手に自動的にフォーカス調整（ＡＦ）する。これにより、プロカメラマンや一般観客は、注目選手を速やかに撮影できるというメリットがある。

　図３４には、注目選手へのＡＦ（オートフォーカス）におけるカメラ側の表示部が図示されている。図３４において、注目選手は、図３４（Ａ）の真ん中で、ハンドオフをしている選手が登録されている。カメラは、注目選手にＡＦ（オートフォーカス）を行う。撮影者が、カメラの表示部で見る映像は、図３４（Ｂ）となり、注目選手にＡＦ（オートフォーカス）されているので、シャッターチャンスを逃さない撮影が可能になる。なお、このとき注目選手に対して露出調整を自動的に行ってもよい。

　次に図３５、図３６には、カメラ側での着目選手表示追跡制御における注目選手のＡＦのフローが示されている。図８と同じ符番は同じステップを示し説明は省略する。
　図３５において、Ｓ３８０７では、注目選手の位置情報に基づき、カメラ自身で注目選手の追跡を実施する。その際、注目選手には、表示部にマークを付けた上で、注目選手へのＡＦ（オートフォーカス）をする。Ｓ３８０８では、注目選手の追跡継続に成功しているか否かが判断され、注目選手の追跡継続に成功していれば、Ｓ３８０７に進み継続してカメラ自身で注目選手の追跡を実施し、注目選手の追跡継続に成功していないと、Ｓ１０９に進む。

　図３６はＳ３８０７のフローの詳細を示す。図３６において、Ｓ３８１１では、カメラは、サーバーから注目選手の絶対位置情報を受信する。Ｓ３８１２では、カメラは、注目選手の絶対位置情報をこのカメラで撮影している位置、方向、倍率などに基づき、相対位置情報に変換する。Ｓ３８１３では、このカメラから見た相対位置の情報を基に、注目選手の情報を表示部に表示する。Ｓ３８１４では、操作部入力手段９０６からの情報を入力して、注目選手のＡＦ（オートフォーカス）をサーバーからの位置情報に基づいて実行するモードが選択されているか否かが判断される。

　そして注目選手のＡＦ（オートフォーカス）が選択されているとＳ３８１５に進み、注目選手のＡＦ（オートフォーカス）が選択されていないとＳ３８１６に進む。なお、注目選手のＡＦ（オートフォーカス）が選択されていない場合には、注目選手の位置情報にかかわらず、カメラの表示画面内の中央などに表示されている枠に合わせてＡＦやＡＥを行うものとする。

　なおＳ３８１５におけるＡＦ（オートフォーカス）の方法は周知の方法を適用すればよく説明は省略する。またこのＳ３８１５において注目選手に対する露出調整も行ってもよい。Ｓ３８１６では、注目選手の追跡が継続されているか否かが判断され、注目選手の追跡が継続されているとＳ３８１１に進み、注目選手の追跡が終了していると図３６のフローを終了する。
　以上の制御によって、プロカメラマンや一般観客のカメラ端末では、注目選手の認識が可能になるだけでなく注目選手へのＡＦやＡＥも速やかに実行されるのでタイムリーな写真撮影が可能になる。

　なお、カメラ側で、注目選手自動追いかけモードを選択する手段を設けることも可能である。ここで、注目選手自動追いかけモードを選択されていると、カメラは、自動的なズーム機能により表示部の画面に注目選手が入る。従ってプロカメラマンや一般観客にとっては、更に使いやすくなる。
　図３７には、自動追いかけ時のカメラ表示部の表示例が示されている。
　図３７において、３９０１は、カメラの表示部を表している。３９０１においては、プロカメラマンや一般観客のカメラには、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈの７名の選手が撮影のエリアに入っている。ここで、注目選手は、Ｋであるが、カメラの撮影エリアから外れている。

　３９０２は、自動追いかけモードがＯＮになっている場合のカメラ表示部のズームアウト状態を表している。カメラは、ズーム機能により、自動的に広角側になり、注目選手Ｋも撮影のエリアに入るように制御される。図３８は更に具体的な表示例を示す図であり、図３８（Ａ）ではイメージセンサーからのライブビュー画像を表示している状態において、注目選手が表示画面外にいることを、矢印を重畳表示し矢印の方向で示す。そして自動追いかけモードによってズームがワイドになった場合を図３８（Ｂ）に示す。ここでは画面内に矢印で注目選手の位置も表示している。このように注目選手が表示画面内に入るようになるので競技の状況が把握しやすくなるとともに、ユーザーの撮りたい画像を容易に得ることができる。

　図３９、図４０には、カメラ側の着目選手表示追跡制御フロー、即ち注目選手の自動追いかけモード時のフローが示されている。
　図３９において図８と同じ符番は同じステップを示し説明は省略する。図３９において、Ｓ４００７では、カメラ自身で注目選手の追跡を実施する。なお、操作部により自動追いかけモードが選択されている時には、注目選手の自動追いかけを実施し、選択されていない場合には自動追いかけは行わない。プロカメラマンや一般観客が保有するカメラ端末での注目選手の自動追いかけは、カメラのエリア内に選手がいない時に、ズームアウトしてカメラの表示部の画面内に選手が入るようにズーム倍率を自動制御する。このＳ４００７の制御の詳細は図４０に示されており後述する。

　Ｓ４００８では、注目選手の追跡継続に成功しているか否か（ＯＫか否か）が判断され、注目選手の追跡継続に成功していれば、Ｓ４００７に進み継続してカメラ自身で注目選手の追跡を実施し、注目選手の追跡継続に成功していないと、Ｓ１０９に進む。
　次にＳ４００７の詳細を図４０に基づき説明する。図４０において、Ｓ４０１１でカメラは、サーバーから注目選手の絶対位置情報を受信する。Ｓ４０１２でカメラは、注目選手の絶対位置情報をこのカメラで撮影している位置、方向、倍率などからの相対位置情報に変換する。

　Ｓ４０１３でこのカメラから見た相対位置の情報を基に、注目選手の情報を表示部に表示する。Ｓ４０１４で注目選手がカメラで撮影しているエリアの外であるか否かが判断される。注目選手がカメラで撮影しているエリアの外側（表示画像外）であるとＳ４０１５に進み、注目選手がカメラで撮影しているエリアの内側（表示画像内）であるとＳ４０１８に進む。Ｓ４０１５では、操作部入力手段９０６からの情報を入力して、注目選手の自動追いかけモードがユーザーによって選択されているか否かが判断される。

　注目選手の自動追いかけモードが選択されているとＳ４０１６に進み、注目選手の自動追いかけモードが選択されていないとＳ４０１８に進む。Ｓ４０１６では、カメラの表示部に着目選手が表示されるまで、広角側にズームアウトさせる。Ｓ４０１７は、注目選手のＡＦ（オートフォーカス）を実行する。このとき注目選手が適正露光になるようにＡＥも実行する。Ｓ４０１８では、注目選手の追跡が継続されているか否かが判断され、注目選手の追跡が継続されているとＳ４０１１に進み、注目選手の追跡が終了していると図４０のフローを終了する。

　以上のように、サーバーにより、競技フィールド全体の映像を読み取るとともに、プロカメラマンや一般観客が撮影している映像から、どこから撮影しているかを把握する。サーバーは、複数台のカメラからフィールドの全体の映像をつかんでおくことで、フィールドの位置情報とプロカメラマンや一般観客が見ている映像とのマッピングが可能になる。また、プロカメラマンや一般観客のカメラは、サーバーから注目選手の絶対位置情報を受信するとこの絶対位置情報と今撮影している映像とのマッピングが可能になる。すなわち、プロカメラマンや一般観客のカメラは、注目選手の認識が可能になり、タイムリーな写真撮影が可能になる。

　ここで、カメラの撮影しているエリアに、着目選手がいない時には、ズームを広角側にして、注目選手がカメラの撮影しているエリア内部に入るように制御する。さらに、カメラは、注目選手にフォーカスや露出を自動的に調整するので、プロカメラマンや一般観客のカメラは、速やかにかつ確実に注目選手にピントがあった映像を撮影可能になる。
　さらに、ＡＦ（オートフォーカス）に加えて、ＡＥ（Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ：自動露出調整）を自動的に実行しているのでユーザーの調整を待たずに最適な画像が得られる。なお、ＡＦをせずにＡＥだけをしてもよい。更にユーザーは不図示の選択スイッチによって上記ＡＦやＡＥの一方の制御を選択的にオフできるようにしてもよい。

　以上のように、ラグビーやサッカーなどの競技では、選手が予測し難しいステップを踏んで相手をかわしたりするので、注目選手を追いかけ続けることが非常に難しい。本実施例によれば、そのような場合でも追いかけ続けることができる、もしくは、たとえ注目選手を見失っても、すぐに再検出／再追跡することができるというメリットがある。さらに、ラグビーやサッカーなどの競技では、ボールを持っている選手がつぎつぎと入れ替わる。そのとき、カメラマンが撮影したい注目選手もつぎつぎと入れ替わることになる。この場合には、例えば、ボールを保有する選手を追いかけていく方法もある。

　サーバーは、フィールドでの現状を把握して、次に起こりうることを予測するようにしてもよい。そしてサーバーは、プロカメラマンや一般観客が保有するカメラ端末に、この予測の情報を通知する。プロカメラマンや一般観客が保有するカメラ端末には、この予測情報を表示する。プロカメラマンや一般観客は、この情報を見ることにより、シャッターチャンスをより確実に得ることができる。

　予測機能の一具体例として、選手交代の先読みをする場合について説明する。
　サーバーは、複数台のサーバー用カメラで、試合の状況（競技状況）を判断（分析）して、次に何が起きるかを先読みして、これに基づく情報をプロカメラマンや一般観客が保有するカメラ端末に発信する。ラグビーにおいては、選手が怪我をした場合などでは、選手交代の可能性は高くなる。そこでリザーブの選手の準備状況から選手の交代タイミングを予測した着目選手交代検出制御フローを図４１に示す。

　図４１において、図１１と同じ符番は同じステップなので説明は省略する。Ｓ４１０７では注目選手を追跡する。具体的なフローは図４２を用いて後述する。４１０８では、リザーブ選手の認識をする。Ｓ４１０８の詳細は図４３で後述する。Ｓ４１０９では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ４１０７に進み、注目選手の追跡が継続していないとＳ４１１０に進む。Ｓ４１１０では、注目選手の撮影が終了しているか否かが判断され、注目選手の撮影が終了しているとＳ４１１１に進み、注目選手の撮影が終了していないとＳ２０６に進む。Ｓ４１１１では、リザーブ選手の動きがあるか否かが判断され、リザーブ選手の動きがあるとＳ２０１に進み、リザーブ選手の動きがないとＳ４１０８に進む。

　次に、Ｓ４１０７のフローについて図４２を用いて説明する。
　この例においては、選手自身がユニフォーム等のウエアに位置センサーを内蔵させるか、選手が位置センサーを腕や腰や脚などにベルト等を用いて装着しているものとする。そしてこの位置センサーからの情報をサーバー側へ通信手段により無線で送ることで選手の位置センサーからの信号をサーバーが認識して、位置情報を生成し、サーバーからプロカメラマンや観客が保有するカメラ等の端末へ知らせる。

　図４２において、Ｓ４２０１では、サーバーは、複数台のカメラから、注目選手の位置センサー情報を取得する。前記複数台のカメラには位置センサーからの電波を受信し、受信している電波の方向、受信している電波のレベルを検出して位置センサー情報として出力するための検出手段がそれぞれ含まれている。Ｓ４２０２では、複数台のカメラからの位置センサー情報から注目選手を絶対位置を検出する。Ｓ４２０３では、注目選手の絶対位置の情報をプロカメラマンや一般観客が保有するカメラ端末に送信する。Ｓ４２０４では、注目選手が怪我しているか否かが判断され、注目選手が怪我しているとＳ４２０６に進み、注目選手が怪我をしていることをデータメモリ２１３等の記憶手段に記憶する。

　注目選手が怪我していないとＳ４２０５に進む。Ｓ４２０５では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ４２０１に進み、注目選手の追跡が継続していないと図４２のフローを終了する。
　Ｓ４１０８のリザーブ選手認識制御フローを図４３に示す。
　図４３において、Ｓ４３０１では、サーバーは、複数台のカメラで、リザーブ選手の位置センサー情報を取得する。位置センサー情報の中には、受信している電波の方向、受信している電波のレベルも含まれている。

　Ｓ４３０２では、複数台のカメラの位置センサー情報からリザーブ選手の絶対位置を検出する。Ｓ４３０３では、リザーブ選手の動きに着目する。特に注目選手がリザーブの場合にはその動きに注目する。Ｓ４３０４では、リザーブ選手の動きがあるか否かが判断され、リザーブ選手の動きがあると図４３のフローを終了し、リザーブ選手の動きがないとＳ４３０１に進む。

　プレイの予測として、インターセプトなどにも対応できると、シャッターチャンスを確実なものにできるようになる。すなわち、予期しない選手の動きに対応して、プロカメラマンや一般観客が撮影できるようになれば価値の高い写真が撮れる。
　また、例えば野球においては、打ち込まれたときに、投手交代の可能性は高くなるなどの統計データを基に、選手の交代を予測しても良い。
　選手の動きをビッグデータとしてサーバーに格納しておいて、このビッグデータをもとに、ＡＩにより選手の動き予測を行っても良い。

　以上において、注目選手は１人の例で、説明したが、注目選手は複数選手でも良い。また、注目選手は、途中で切り替えができるものとする。
　また以上において、映像には、動画だけでなくて、静止画も含むものとする。
　以上の実施例では、カメラ等の端末側に、注目選手の位置をタイムリーに表示できるようになるので、観客、あるいは、カメラマンは、注目選手の撮影をする際にシャッターチャンスを逃すことなく行うことができる。

　なお、注目選手の指定は、途中で切り替えができるものとする。注目選手として、試合に出場している選手全員でも良い。また、映像や画像としては、動画だけでなくて、静止画も含むものとする。また、注目選手を追い追跡することをメインに説明をしてきた。しかしながら、注目選手だけを追いかけないで、ボールを持っている、あるいは、ボールを受ける選手についての情報をプロカメラマンや観客に送信し表示させるようにしてもよい。

　また、実施例ではラグビー選手などを追跡する例を用いて説明したが、他のスポーツ選手であってもよいし、特定の犯人などの人物を複数の監視カメラなどを使って追跡するシステムに適用できることは言うまでもない。あるいは人物に限らずカーレーシングなどにおいて特定の車などを追跡するシステムや競馬等において馬を追跡するシステムに適用することもできる。なお、実施例では注目選手をカメラ端末などで指定する例を説明したが、サーバー側が注目選手を指定できるようにしてもよい。

　また例えばオリンピック、ワールドカップなどの国際的な競技などにおいては、一部の観客やスポンサー等に特権が与えられたりする場合が多いが、実施例ではこのような特権や契約レベルによって、付加価値の提供レベルを変更できる。これらのレベル別のコントロールは、パスワードの入力などにより実現でき、特別な契約をしたプロカメラマンはパスワードの入力により、グランド内外の価値の高い映像や各種情報を獲得して、より良い写真撮影が可能になる。

　以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
　また、本発明における制御の一部または全部を上述した実施例の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
（関連出願の相互参照）

　本出願は、先に出願された、２０１８年１１月７日に出願された日本特許出願第２０１８－２０９４６９号、第２０１８－２０９４８０号、第２０１８－２０９４９４号の利益を主張するものである。また、これらの日本特許出願のそれぞれの内容は本明細書において参照によりその全体が本明細書に組み込まれる。

１０１、１０２、１０３・・・・カメラ
４０１，４０２，４０３　・・・・　端末
１１０　・・・・　サーバー
３７１　・・・・　追跡部
３８０　・・・・　画像表示部

Claims

　画像を表示する表示手段、
　前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
　前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
　前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
　前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
　前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、を有することを特徴とする画像処理装置。
　前記制御手段は、前記位置情報に基づき前記表示手段の表示画面内における前記特定の対象の位置を前記付加情報として表示することを特徴とする請求項１項に記載の画像処理装置。
　前記サーバーは、映像の中の前記特定の対象を認識し、認識結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項１または２に記載の画像処理装置。
　前記サーバーは、前記特定の対象を画像認識して認識結果に基づき位置情報を生成して前記画像処理装置に送信することを特徴とする請求項２に記載の画像処理装置。
　前記サーバーは、前記特定の対象が有する位置センサーからの信号を認識した結果に基づき前記特定の対象の位置情報を生成することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
　前記付加情報は枠、カーソル、色や輝度の異なる領域の少なくとも一つを含む
ことを特徴とする請求項５に記載の画像処理装置。
　前記付加情報は前記特定の対象が画面外にいる場合には画面から見てどの方向にいるかを示すものであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
　前記付加情報は前記特定の対象がどのくらい画面からずれているかを示すものであることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
　前記付加情報は前記特定の対象がどのくらい画面からずれているかを矢印の長さまたは太さによって示すものであることを特徴とする請求項８に記載の画像処理装置。
　前記付加情報は前記特定の対象がどのくらい画面からずれているかを数字または目盛りによって示すものであることを特徴とする請求項８に記載の画像処理装置。
　前記サーバーは、前記特定の対象が装着している番号、前記特定の対象の一部または全体の形状を画像認識することを特徴とする請求項４に記載の画像処理装置。
　前記サーバーは、複数のカメラの映像の中の前記特定の対象を画像認識した結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
　前記特定の対象の位置情報をサーバーから取得した後に、前記特定の対象の追跡を実行する追跡手段を更に有することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
　前記送信手段は、前記追跡手段による追跡が失敗したときには、前記サーバーへ位置情報の送信をリクエストすることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
　前記サーバーは、前記画像処理装置が前記特定の対象の追跡に失敗すると予測する場合には、前記画像処理装置からの前記リクエストを待たずに、前記特定の対象の位置情報を画像処理装置に通知することを特徴とする請求項１４に記載の画像処理装置。
　前記サーバーは、前記特定の対象が存在するフィールド全体の映像をあらかじめ取得し、前記位置情報を生成することを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
　前記サーバーは前記フィールドにおける前記特定の対象の位置情報に基づき、前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項１６に記載の画像処理装置。
　前記サーバーは前記フィールドにおける前記特定の対象の第１の位置情報を前記画像処理装置に送信し、前記画像処理装置は前記第１の位置情報に基づき前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項１７に記載の画像処理装置。
　前記選択手段は複数の特定の対象を選択することを特徴とする請求項１から請求項１８のいずれか１項に記載の画像処理装置。
　前記表示手段に表示される画像は撮像手段によって得られたライブビュー画像であり、前記ライブビュー画像に前記位置情報に基づく前記付加情報が重畳表示されることを特徴とする請求項１から１９のいずれか１項に記載の画像処理装置。
　画像を表示する表示手段、
　前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
　前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
　前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
　前記サーバーから前記指定情報に基づき前記特定の対象の位置情報を取得する取得手段、
　前記取得手段によって取得された前記特定の対象の位置情報に基づき、前記特定の対象の位置が前記表示手段の画面外に存在する場合に前記画面から外れていることを表示する制御手段、を有することを特徴とする画像処理装置。
　前記制御手段は、前記特定の対象が前記表示手段の画面外に存在する場合には前記画面に対して外れている方向を表示することを特徴とする請求項２１に記載の画像処理装置。
　前記制御手段は、前記特定の対象が前記表示手段の画面外に存在する場合には前記画面に対してどのくらい外れているかを表示することを特徴とする請求項２１または２２に記載の画像処理装置。
　前記サーバーは、カメラからの映像を分析して、前記特定の対象の動作を認識して動作認識結果を生成して前記画像処理装置に送信することを特徴とする請求項１から２３のいずれか１項に記載の画像処理装置。
　前記動作認識結果は所定のスポーツにおける前記特定の対象による所定のルール上の動作を判定した結果を含むことを特徴とする請求項２４に記載の画像処理装置。
　前記動作認識結果は所定のスポーツにおける得点に関する動作の認識結果を含むことを特徴とする請求項２４に記載の画像処理装置。
　前記動作認識結果は所定のスポーツにおける反則に関する動作の認識結果を含むことを特徴とする請求項２４に記載の画像処理装置。
　前記サーバーはカメラからの映像に基づき、前記特定の対象以外の周囲の情報を分析して分析結果を前記画像処理装置に送信することを特徴とする請求項１から請求項２７のいずれか１項に記載の画像処理装置。
　前記サーバーは、映像を分析して、前記特定の対象以外の対象の動作を認識した結果に基づき動作認識結果を生成して前記画像処理装置に送信することを特徴とする請求項２８に記載の画像処理装置。
　前記動作認識結果は所定の競技における審判の動作に関する認識結果を含むことを特徴とする請求項２９に記載の画像処理装置。
　前記サーバーは、映像に伴う音声に基づき前記特定の対象以外の周囲の情報を分析して分析結果を前記画像処理装置に送信することを特徴とする請求項１から請求項３０のいずれか１項に記載の画像処理装置。
　前記選択手段は、表示手段に表示された画像の中からユーザーが特定の対象の画像を選択することによって画像認識によって前記特定の対象を選択することを特徴とする請求項１から請求項３１のいずれか１項に記載の画像処理装置。
　前記指定情報生成手段は選択手段によって選択された前記特定の対象の画像を画像認識した結果に基づき前記特定の対象に関する指定情報を生成することを特徴とする請求項３２に記載の画像処理装置。
　前記サーバーは、複数台のカメラからの映像の中の所定の基準指標に基づき、前記特定の対象の位置に関する情報を生成して前記画像処理装置に送信することを特徴とする請求項１から３３のいずれか１項に記載の画像処理装置。
　前記基準指標は競技場にあらかじめ設けられたポールまたはラインを含むことを特徴とする請求項３４に記載の画像処理装置。
　前記制御手段は、前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御することを特徴とする請求項１から３５のいずれか１項に記載の画像処理装置。
　前記サーバーは、前記特定の対象が有する位置センサーからの信号を認識し、認識した結果に基づき前記特定の対象の位置情報を生成することを特徴とする請求項１から３６のいずれか１項に記載の画像処理装置。
　前記特定の対象は所定の競技における特定の選手であって、前記特定の選手の予め設定された役割から前記特定の選手のいる位置を推定する推定手段を有することを特徴とする請求項１から３７のいずれか１項に記載の画像処理装置。
　前記推定手段は、リザーブ選手の役割も参照して前記特定の選手の位置を推定することを特徴とする請求項３８に記載の画像処理装置。
　前記推定手段は競技状況を分析した結果に基づき前記特定の選手の位置を推定することを特徴とする請求項３８または３９に記載の画像処理装置。
　前記推定手段は選手交代を認識して前記特定の選手の位置を推定することを特徴とする請求項３８から４０のいずれか１項に記載の画像処理装置。
　前記制御手段は、前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を前記取得手段によって取得された前記特定の対象の位置情報に基づき制御するモードと、前記取得手段によって取得された前記特定の対象の位置情報に基づかずに制御するモードとを選択可能であることを特徴とする請求項１から４１のいずれか１項に記載の画像処理装置。
　前記制御手段は、前記特定の対象の位置が前記表示手段の表示画面外にある場合に前記付加情報を表示するモードと表示しないモードを選択可能であることを特徴とする請求項１から４２項のいずれか１項に記載の画像処理装置。
　前記特定の対象は所定の競技における特定の選手であって、前記制御手段は、競技状況を分析した結果に基づき、前記付加情報を表示するモードと表示しないモードを選択可能であることを特徴とする請求項１から４３のいずれか１項に記載の画像処理装置。
　前記制御手段は、前記特定の対象の位置が前記表示手段の画面外にある場合に前記追跡手段を動作させるか否かを選択可能であることを特徴とする請求項１３に記載の画像処理装置。
　前記特定の対象は所定の競技における特定の選手であって、前記制御手段は、競技状況に基づき、前記追跡手段を動作させるか否かを選択可能としたことを特徴とする請求項１３に記載の画像処理装置。
　画像を表示する表示ステップ、
　前記表示ステップにより表示された画像の中から特定の対象を選択する選択ステップ、
　前記選択ステップによって選択された前記特定の対象に関する指定情報を生成する指定情報生成ステップ、
　前記指定情報生成ステップによって生成された前記指定情報をサーバーに送信する送信ステップ、
　前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得ステップ、
　前記取得ステップで取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御ステップ、
を有することを特徴とする画像処理方法。
　画像処理装置から送られてくる特定の対象に関する指定情報を受信する受信手段、
　前記受信手段によって受信された指定情報に基づき、前記特定の対象を映像の中から探して前記特定の対象の位置に関するデータを生成するとともに、映像を分析して、前記特定の対象の動作を認識して動作認識結果を生成する生成手段、
　前記生成手段によって生成された前記特定の対象の位置情報と前記動作認識結果に関する情報を前記画像処理装置に送信する送信手段、を有することを特徴とする画像処理サーバー。
　画像処理装置から送られてくる特定の対象に関する指定情報を受信する受信手段、
　前記受信手段によって受信された指定情報に基づき、前記特定の対象を映像の中から探して前記特定の対象の位置に関するデータを生成する生成手段、
　前記生成手段によって生成された前記特定の対象の位置に関するデータを前記画像処理装置に送信する送信手段、を有することを特徴とする画像処理サーバー。
　請求項１から４６のうちいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
　請求項５０に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
　請求項４８または４９に記載の画像処理サーバーの各手段としてコンピュータを機能させるためのコンピュータプログラム。
　請求項５２に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。