WO2020095648A1 - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

プロカメラマンや一般の観客が、映像を取得する際に、パスワードに応じた特定の対象の位置情報をタイムリーに表示できるようにする。　画像処理装置において、画像を表示する表示手段、前記表示手段に表示された前記画像の中から特定の対象を選択する選択手段、前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、前記指定情報生成手段によって生成された前記指定情報と所定のパスワードをサーバーに送信する送信手段、前記サーバーが前記指定情報と前記パスワードに基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、前記取得手段によって取得された前記特定の対象の前記位置情報に基づく付加情報を前記表示手段に表示する制御手段、を有する。

Description

画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

　本発明は撮影や映像モニターのための画像処理装置等に関するものである。

　近年、国際化が進み、多くの観光客が日本を訪問するようになっている。また、競技スポーツにおいても、様々な国の選手の撮影機会が大幅に増加している。

　しかしプロカメラマンにとっても、一般の写真を撮影する人にとっても、例えば競技スポーツシーンにおいて多数の選手の中から特定の選手を見つけることは比較的難しい。また、特に競技スポーツにおける競技中は動きが速く複数の選手が交錯し選手のいる場所を見失うことが多々ある。これは、競技スポーツに限らず雑踏の中から特定の人物等を撮影したりモニターしたりする場合でも同じことが言える。

　特許文献１には、被写体を複数の方向から撮影するための複数のカメラと、前記複数のカメラのうち対応するカメラによる撮影画像から所定領域を抽出する複数の画像処理装置が記載されている。また、前記複数の画像処理装置により前記複数のカメラによる撮影画像から抽出された所定領域の画像データに基づいて仮想視点画像を生成する画像生成装置が記載されている。
　特許文献２には、撮像された画像から取得したＡＦ評価値に基づいてフォーカスレンズを駆動し、自動焦点検出制御を行う自動焦点検出装置が記載されている。

特開２０１７－２１１８２８号公報 特許第５３２２６２９号公報

　しかしながら、スポーツシーンなど、多くの選手が集まっている場合などでは、選手が重なってしまったりして、見失ったりすることがある。また視野から外れることもあり、適切なタイミングで選手を撮影するのは難しかった。

　また、特に、プロカメラマンは、撮影した写真をすぐに、報道局などに送る必要があるが、判定結果が分からないと判定の認識に時間をとられてしまうという欠点があった。さらに、撮影したい選手を見つけても、その選手へのフォーカスを合わせた後に、その撮影したい選手を追いかけていかないといけなかった。これは、動きの速いスポーツでは、とても難しく、また、この追いかけることに集中していると、良い写真の撮影ができないということになってしまうという欠点があった。

　またサーバー側では、全方位の映像、試合や競技のフィールドの各種情報を把握することができ、グランド内外の各種の貴重な情報も入手することができるが、従来のシステムではサーバーの活用が十分でないという問題があった。
　同様に、競技場や自宅の端末で競技をモニターしている一般ユーザーにとっても特定の選手を見失ったり競技の状況がわからなくなったりする場合が多かった。同様にカーレースや飛行機レースや競馬などにおいても特定の車両や飛行機や馬などの対象を見失ってしまうことがあった。更には特定の人物を街角で追跡する場合においても雑踏の中にその特定の人物が紛れてしまい見失うことがあった。また、そのような、注目している特定の対象を目視で追いかけることに専念しているとその対象に対する撮影やピント合わせや露出調整などをスムーズにできないという問題があった。
　本発明は、上記、課題を解決し、パスワードに応じて、撮影者や観察者にとって価値のある情報をタイムリーに表示できる画像処理装置を提供することを目的とする。

　画像処理装置において、
　画像を表示する表示手段、
　前記表示手段に表示された前記画像の中から特定の対象を選択する選択手段、
　前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
　前記指定情報生成手段によって生成された前記指定情報と所定のパスワードをサーバーに送信する送信手段、
　前記サーバーが前記指定情報と前記パスワードに基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
　前記取得手段によって取得された前記特定の対象の前記位置情報に基づく付加情報を前記表示手段に表示する制御手段、を有することを特徴とする。

　本発明によれば、特定の対象を指定するとともにパスワードを入力すれば、その特定の対象が画面のどこにいるかという情報等が簡単に入手でき、ユーザーが例えばその特定の対象をモニターしたり撮影したりする場合などにおいて非常に便利なサービスを提供することができる。

実施例の画像処理装置を含むシステム全体のブロック図である。 サーバー側の詳細ブロック図である。 端末側の詳細ブロック図である。 端末側の詳細ブロック図である。 注目選手表示開始シーケンスの一例を示す図である。 注目選手表示追跡シーケンスの一例を示す図である。 カメラ側における注目選手表示追跡制御フローを示す図である。 カメラ側での注目選手表示追跡制御フローの他の例を示す図である。 デジタルカメラの追跡部３７１の機能構成例を示すブロック図である。 サーバー側における注目選手の検出制御フローを示す図である。 サーバー側における選手の背番号を検出するフローを示す図である。 注目選手検出制御フローの例を示す図である。 フィールド内の注目選手検出制御フローの例を示す図である。 フィールド内の注目選手検出制御フローの例を示す図である。 フィールド内の注目選手検出制御フローの例を示す図である。 フィールド内の注目選手検出制御フローの例を示す図である。 フィールド外の注目選手検出制御フローの例を示す図である。 絶対位置と相対位置の制御シーケンスの例を示す図である。 絶対位置と相対位置の制御シーケンスの例を示す図である。 注目選手表示制御フローの例を示す図である。 注目選手表示制御フローの例を示す図である。 注目選手表示制御フローの例を示す図である。 注目選手表示制御フローの例を示す図である。

　以下本発明を実施するための形態につき、実施例を用いて説明をする。
　最初に撮影や映像モニターを支援するための、画像処理装置を用いたシステムの全体像について図１を用いて説明する。

　図１において、サーバー用の複数台のカメラ（固定カメラやドローンなどを用いた移動カメラ）を有するサーバー（画像処理サーバー）側が、競技場のフィールド全体における注目選手（特定の対象）の位置やゲームの最新の状況をリアルタイムで把握する。そして、サーバーが、個々の観客が持っている端末に対して、例えばカメラ撮影や画像のモニターの際に必要な情報をタイムリーに提供する例を示す。

　一般にプロカメラマンや一般の写真撮影者がカメラで撮影している角度や視野では分からないあるいは追えない場所が存在することが多い。競技場外にいて撮影をしていない観客にとっても同様である。一方、サーバー側のシステムでは、複数のサーバー用のカメラの映像をもとに全方位の映像、試合のフィールド全体の情報（フィールドの座標情報等）をあらかじめ把握しマッピングができる。
　従って、そのような各ユーザーには見えない、わかりにくい情報をサーバーが把握して配信することによって観客に対するサービスを大幅に向上することができる。

　即ち、サーバー用の複数台のカメラ（固定カメラや移動カメラ）で、各選手の位置、得点、反則、審判の判断結果、その他の最新状況を追いかけたりすることができる。また大型スクリーンなどに表示され情報を基にして、サーバーで解析したりすることもできる。それにより全体の状況を正確に認識して、プロカメラマンや観客が保有するカメラ端末等やスマートフォンやタブレット等の端末にタイムリーに送信することができる。それにより、観客は競技の最新の状況をタイムリーに把握することが可能となる。特に、プロカメラマンは、撮影した写真をすぐに、報道局などに送る必要があるが、カメラの画面を見ているだけでは視野が狭いので競技の全体の状況などが正確に把握しにくい。しかし、本実施例のような構成を用いれば、競技の状況などが速やかに分かるので、報道局などに送る写真の選択を素早く行うことが可能となる。

　なお、プロカメラマンや観客が用いる端末（画像処理装置）としては、デジタルカメラ、スマートフォン、カメラとスマートフォンなどを接続した構成、タブレットＰＣあるいはＴＶなどが考えられる。家庭でインターネットやテレビ放送をＰＣやＴＶ等の端末（画像処理装置）を通じて競技を見ている観客に対しても同様のサービスを提供することができるので競技などの状況をより正確に把握することができ競技をより楽しむことができる。

　図１において、１０１～１０３はサーバー用のカメラであり、１０１（固定設置されたカメラ１）、１０２（固定設置されたカメラ２）、１０３（固定設置されたカメラ３）、１０４（大型スクリーン）、１１０（サーバー）、１１１（入力手段）、１１２（基地局）は、一般のプロカメラマンや観客への情報提供をするための映像取得や音声取得などを行う。サーバー用カメラは、本実施形態では１０１～１０３の３台としたが、１台でも複数台でもよい。また、これらのサーバー用カメラは、固定設置されたカメラではなく例えばドローンなどに搭載されたカメラでもよい。映像取得、音声取得に加えて、入力手段から映像以外の入力情報（例えば音声など）も取り込み、一般のプロカメラマンや観客等へのサービスを拡充できる。
　１０５は有線／無線などによるＬＡＮやインターネットであり、１０６は、入力手段１１１から出力された情報をサーバー１１０で入力するための接続線である。１０７は、基地局１１２への信号を送受信するための接続線、１０８は、基地局の無線通信を実行するためのアンテナ部である。
　すなわち、上記の１００番台のブロックは、プロカメラマンや一般観客などによる映像撮影等をサポートするためのブロックである。

　一方、図１において、４０１（端末１）、４０２（端末２）、４０３（端末３）は端末であり、例えばプロカメラマンや観客が撮影やモニターをするための例えばカメラやスマートフォンやタブレットＰＣやＴＶなどの映像表示端末装置である。ここで、４０４（アンテナ）４０５（アンテナ）、４０６（アンテナ）は、それぞれ、４０１（端末１）、２０２（端末２）、２０３（端末３）が無線通信するためのアンテナである。

　サーバーが注目選手の位置を検出する際には、例えば端末からサーバー側に注目選手のＩＤ情報などを送り、また、サーバー側から端末にその選手に関する位置情報などの各種情報を送る。選手は動いており、競技状況も変化しているので、短時間での注目選手の検出処理が必要になる。よって、ここでの無線通信は、例えば５Ｇなどを用いる。

　なお４０１（端末１）、４０２（端末２）、４０３（端末３）はカメラとスマートフォンなどを接続して組み合わせた構成としても良い。図１の右下において、３０１はスマートフォンであり、主にサーバーとの通信制御を行う。また、このスマートフォンに、アプリケーションソフトウェアをインストールすることで、各種の映像取得サービスを実現する。また、３００は（デジタル）カメラであり、主に、プロカメラマンや観客が撮影したり画像をモニターしたりする画像処理装置である。ここで、カメラ３００はスマートフォン３０１にＵＳＢあるいはブルートゥース（登録商標）などにより接続されている。３２０はスマートフォン３０１が基地局１１２と無線通信するためのアンテナである。

　なお、端末がスマートフォン等の場合は、サーバーとの映像、制御信号のやりとりを無線で実行するが、端末との通信を実行するための接続は、無線通信と有線通信を適応的に使い分けても良い。例えば、無線通信環境が５Ｇであれば無線で通信し、無線通信環境がＬＴＥであればデータ量の多い情報は有線で送り、データ量の少ない制御信号は無線で送るといった制御も可能である。さらには、無線通信の回線の混み具合によって、有線通信に切り替えることも可能である。

　次に、図２を用いてサーバー側の詳細なブロック構成を説明する。図２において、図１と同じ符番は同じ構成を示し説明は省略する。
　２０１は、イーサネット（登録商標）コントローラであり、２０４は選手の役割（所謂ポジション）に応じたプレイ位置を検出する検出部である。ここで選手の役割（ポジション）は予め登録等によって設定される。例えば、ラグビーの場合の役割（ポジション）としては、１、３はプロップ、２はフッカー、４、５はロック、６、７はフランカー、８はナンバー８と呼ばれ、９はスクラムハーフ、１０はスタンドオフと呼ばれる。また、１１、１４はウィング、１２、１３はセンター、１５はフルバックと呼ばれる。
　これらの選手のいる場所は、セットプレイの時などは、フォワードは、攻撃している前方にいて、バックスは、攻撃している後方にいることが多い。

　すなわち、選手の役割（ポジション）に応じて、選手のいる位置が大体決まるので、注目選手の上記役割（ポジション）を把握したうえで、選手を追いかけたほうが、効果的に精度よく選手を追いかけることができる。
　なお、通常は、背番号から、選手の役割は認識できることが多い。しかしながら、場合によっては、１０番の選手が怪我をして、１５番の選手がスタンドオフ（１０番の位置に入り）、リザーブ選手が、１５番に入ることなどがある。ここで、リザーブ選手の背番号は、１６から２３である。しかし、背番号だけからポジションが確定するわけではない。従って２０４の検出部では選手の予め設定された役割に応じたプレイ位置を検出し、この検出したプレイ位置の情報は、サーバー１１０内のＣＰＵ２１１に取り込まれるが、上記の予め設定された役割は競技中に選手交代などによって変更になる場合もある。

　２０５は、輪郭情報検出部であり、たとえば、プロカメラマンや観客が端末で映像をモニターしつつ、その位置、角度からカメラの倍率で撮影している時に、サーバー１１０は注目選手のいる位置を各端末４０１～４０３などに知らせる。また、撮影している注目選手の輪郭情報をサーバー１１０から各端末４０１～４０３などに知らせることで、各端末４０１～４０３側で、より確実に注目選手を認識することが可能になる。２０５のブロックで検出した輪郭情報は、ＣＰＵ２１１に取り込まれる。

　２０６は選手の顔認識部であり、注目選手の予め登録された顔写真情報に基づきＡＩ、特に、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇなどの画像認識技術を用いて映像の中から選手を見つける。顔認識部２０６で検出した顔認識結果の情報もＣＰＵ２１１に取り込まれる。
　２０７は選手の体格認識部であり、注目選手の予め登録された体格写真情報に基づき前記のような画像認識技術を用いて選手を見つける。

　２０８は選手の背番号検出部であり、前記のような画像認識技術を用いて注目選手の、あらかじめ登録した番号（背番号など）から選手を見つける。なお選手の番号を検出する際はビブスの背中側の番号だけでなく、前側に書かれた番号を検出してもよいことは言うまでもない。２０９は位置情報作成部であり、カメラ１０１、１０２、１０３等のＧＰＳなどを用いた位置情報とカメラの向きと画角に関する情報から、各カメラの位置と方角と画角を認識する。そして、各カメラからの映像に基づきその選手がいるグラウンド上での絶対的な位置情報を三角測量方式で取得する。この位置情報作成部２０９は競技場に予め設置された基準位置検出用の基準指標としてのポールや競技フィールドのライン（例えばサイドラインやエンドライン）等の画面内での位置もあらかじめ映像から取得しておいてもよい。そしてそれらを基準座標として競技場における注目選手のフィールドに対する絶対位置を取得するようにしてもよい。
　２１０は各端末４０１～４０３から送られてくる各端末の位置情報と方角情報と画角情報から、各端末の位置と各端末のカメラの向いている方角と画角を検出するカメラ位置情報、方角検出部である。

　２１１はコンピュータとしてのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、記憶媒体としてのプログラムメモリ７１２に記憶された制御用のコンピュータプログラムに基づいて、以下の実施例に示す制御を実行する中央演算処理装置である。また、表示制御手段を兼ねており、後述する表示部２１４に表示する情報を制御する。２１３はＣＰＵ２１１において参照される各種データを記憶するデータメモリである。データメモリ２１３には過去の試合情報、過去の選手情報、本日の試合（競技）に関する情報、観客動員数に関する、天候などの情報、注目選手の情報、選手の現在の状況などが格納されている。注目選手の情報の中には顔、背番号、体格などの情報も含まれる。
　１１０１はサーバー１１０内のデータバスラインである。

　次に、画像処理装置としての端末側の詳細について図３、図４を用いて説明する。図３、図４は端末の構成例を示すブロック図であり、端末の例として（デジタル）カメラ５００全体の構成を２つの図面を用いて示す。
　図３、図４に示されるデジタルカメラは、動画および静止画の撮影、並びに、撮影情報の記録が可能である。また、図３、図４において、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３１８、プログラムメモリ３１９、データメモリ３２０は重複して示すが、これらは同一のブロックでありそれぞれ１つだけ内蔵されている。
　図３において、３０１はイーサネット（登録商標）コントローラである。３０２は記憶媒体であり、デジタルカメラで撮影した動画、静止画が所定のフォーマットで格納される。

　３０３はＣＣＤやＣＭＯＳなどの撮像素子としてのイメージセンサーであり、光学像を光信号から電気信号に変換して、さらに、この情報をアナログ情報からデジタルデータに変換して出力する。３０４は信号処理部であり、イメージセンサー３０３から出力されるデジタルデータに対してホワイトバランス補正やガンマ補正などの各種補正をして出力するものである。３０５はセンサー駆動部であり、イメージセンサー３０３から情報を読み出すための水平垂直ライン駆動やイメージセンサー３０３がデジタルデータを出力するタイミング等を制御する。

　３０６は操作部入力手段である。デジタルカメラで撮影する際の各種条件を選択したり設定したり、撮影するためのトリガー操作、フラッシュを使用するための選択操作、電池を交換する操作などに応じて入力が行われる。また、操作部入力手段３０６において、注目選手をサーバーからの位置情報に基づきＡＦ（オートフォーカス）するか否かを選択／設定できる。この注目選手をＡＦ（オートフォーカス）するかの選択／設定情報は、操作部入力手段３０６からバスライン３７０に出力される。
　さらに、操作部入力手段３０６において、注目選手をサーバーからの位置情報に基づき自動追尾するか否かを選択／設定できる。どの選手を注目選手（特定の対象）に指定するか、注目選手の自動追尾をサーバーからの位置情報に基づき実行するか否かなどの情報は、選択手段としての操作部入力手段３０６によって生成される。即ち操作部入力手段３０６は特定の対象に関する指定情報を生成する指定情報生成手段として機能している。

　３０７は送受信手段として機能する無線通信部であり、プロカメラマンや一般の観客などが持っているカメラ端末が無線でサーバー側と通信をするためのものである。３０８はデジタルカメラにおける撮影倍率を検出する倍率検出部である。３０９は操作部出力手段であり、デジタルカメラなどで撮影した画像情報を表示する画像表示部３８０にメニューや設定情報などのＵＩ情報を表示するためのものである。３１０は圧縮伸長回路であり、イメージセンサー３０３からのデジタルデータ（ＲＡＷデータ）を信号処理部３０４で現像処理後、圧縮伸長回路３１０で圧縮してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルにするか、あるいは、ＲＡＷデータのまま圧縮してＲＡＷ画像ファイルにする。一方、ＲＡＷ画像ファイルをカメラ内で現像処理してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルを生成する場合に、圧縮されている情報を伸張してＲＡＷデータに戻す処理を行う。

　３１１は顔認識部であり、注目選手についてあらかじめサーバーに登録された顔写真情報を参照し、映像の中からその選手をＡＩ、特に、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ等の技術を用いた画像認識によって見つけるためのものである。顔認識部３１１で検出した顔認識結果に関する情報は、バスライン３７０を介してＣＰＵ３１８に取り込まれる。

　３１２は体格認識部であり、注目選手に関してサーバーに予め登録した体格写真情報を参照して、映像の中から前述のような画像認識技術によってその注目選手を見つける。
　３１３は選手の背番号検出部であり、注目選手の背番号（もちろん前側の番号でもよい）から前述のような画像認識技術によって選手を見つけるものである。３１４は端末のレンズの向いている方角を検出する方角検出部である。３１５は端末の位置情報を例えばＧＰＳなどを用いて検出する位置検出部である。

　３１６は端末の電源の状態を検出する電源管理部であり、電源スイッチがオフの状態で電源ボタンの押下を検出したら、端末全体に電源を供給する。３１８はコンピュータとしてのＣＰＵであり、記憶媒体としてのプログラムメモリ３１９に記憶された制御用のコンピュータプログラムに基づいて、以下の実施例に示す制御を実行する。また、表示制御手段を兼ねており画像表示部３８０に表示する画像情報を制御する。なお画像表示部３８０は液晶や有機ＥＬなどを用いた表示部である。
　データメモリ３２０は、デジタルカメラの設定条件を格納したり、撮影した静止画、動画、さらには、静止画、動画の属性情報などを格納したりするためのものである。

　図４において、３５０は撮影レンズユニットであり、固定１群レンズ３５１、ズームレンズ３５２、絞り３５５、固定３群レンズ３５８、フォーカスレンズ３５９、ズームモーター３５３、絞りモーター３５６、およびフォーカスモーター３６０を有する。固定１群レンズ３５１、ズームレンズ３５２、絞り３５５、固定３群レンズ３５８、フォーカスレンズ３５９は撮影光学系を構成する。なお、便宜上レンズ３５１、３５２、３５８、３５９は、それぞれ１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されても良い。また、撮影レンズユニット３５０は、デジタルカメラに対して着脱可能な交換レンズユニットとして構成されてもよい。

　ズーム制御部３５４はズームモーター３５３の動作を制御し、撮影レンズユニット３５０の焦点距離（画角）を変更する。絞り制御部３５７は絞りモーター３５６の動作を制御し、絞り３５５の開口径を変更する。

　フォーカス制御部３６１は、イメージセンサー３０３から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズユニット３５０のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部３６１は、デフォーカス量およびデフォーカス方向をフォーカスモーター３６０の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部３６１はフォーカスモーター３６０の動作を制御し、フォーカスレンズ３５９を駆動することにより、撮影レンズユニット３５０の焦点を制御（フォーカス調整）する。このように、フォーカス制御部３６１は位相差検出方式の自動焦点（ＡＦ）を実施する。なお、フォーカス制御部３６１は、イメージセンサー３０３から得られる画像信号のコントラストのピークをサーチするコントラスト検出方式のＡＦを実行しても良い。
　３７１は、デジタルカメラ自身で注目選手の追跡を行うための追跡部である。ここでいう追跡とは例えば注目選手を囲む枠表示を画面内で移動させるとともに、前記枠によって追尾される注目選手にフォーカスを合わせたり、露出を合わせたりする。

　次に、図５を用いて注目選手表示開始シーケンスの例について説明する。これは、サーバー１１０とカメラ５００とで行うシーケンスである。図５（Ａ）は、カメラ５００側の問いかけ（リクエスト）に対して、サーバー１１０側が答えるシーケンスである。そしてサーバー１１０側はカメラ５００側に、注目選手の絶対位置に関する情報を提供する。
　カメラ５００からサーバー１１０には、注目選手指定情報（背番号、選手名などのＩＤ情報）を通知する。その際ユーザーは端末の画面上で注目選手の位置をタッチしてもよいし、指を画面にタッチしたまま注目選手の周りを指で囲んでもよい。あるいはメニューで画面上に複数の選手のリストを表示し、その中の注目選手名をタッチしたりしてもよいし、あるいは画面上に文字入力画面を表示し選手名や選手の背番号を入力してもよい。その際、注目選手の画面上の顔位置をタッチすると顔を画像認識したり背番号を画像認識して選手名や背番号などを送ったりしてもよい。あるいは、画像認識せずに顔画像そのものをサーバーに送って、サーバー側で画像認識してもよい。またこの時あらかじめ決まったパスワードがあればそれもサーバーに送る。サーバー側では、映像を撮影することをサポートするブロックにより、注目選手指定情報（背番号、選手名等のＩＤ情報）に基づいて、選手のいる絶対値的な位置に関する情報をカメラに送る。パスワードもカメラから送られてくればそれに応じてカメラに送る情報の内容を変更する。

　更に図５（Ａ）においては、カメラからサーバーに、プロカメラマンや観客が撮影しているカメラの位置情報、カメラの方角、カメラの倍率などの情報なども送る。サーバー側では、カメラが見ている位置、方角での自由視点映像を作り、さらに、カメラの倍率から、実際のカメラで見えている映像を認識する。この実際にカメラで見えている映像のどの位置に選手がいるかの位置情報、並びに、選手の輪郭情報などをカメラに送る。カメラは、サーバーから送られた位置情報、輪郭情報などをもとに、カメラの表示部の画面で注目選手をより精度高く目立つように表示するとともに注目選手に対してＡＦやＡＥを行う。

　注目選手を見つける注目選手表示開始シーケンスの例を簡単に説明したが、さらに継続して選手を追いかけていきたい場合が多い。そこで、次に注目選手の追跡を継続するためのシーケンスについて図５（Ｂ）を用いて説明する。図５（Ｂ）においては、端末としてのカメラ５００から何度も、例えば周期的にサーバー１１０へ問い合わせ（リクエスト）を行って、選手の位置を継続して認識するものである。図５（Ｂ）において、カメラからサーバーに、注目選手表示開始シーケンス（Ａ１、Ｂ１、、、）を周期的に送り、サーバーから注目選手表示開始シーケンス（Ａ２、Ｂ２、、、）を周期的に受信して、注目選手の位置を認識する動作を何度も繰り返す。

　更に図６は、カメラ自身でも自動的に注目選手を追跡する方法を示すものである。カメラ５００からサーバー１１０に注目選手のＩＤ情報を送って、一旦サーバーから注目選手の位置情報を取得する。取得後にその位置情報を参照して注目選手の位置を絞り込んだ後、カメラ５００自身で画像認識によって継続して注目選手を追跡する。図６の注目選手表示追跡シーケンスにおいては、カメラ５００自身が画像認識技術で注目選手を追跡するが、途中で注目選手を見失ったとき（追跡に失敗したとき）には、カメラ側からサーバーに、注目選手の位置情報を再度リクエストする。具体的には、カメラで、注目選手を見失ったときには、カメラからサーバーに、再度注目選手表示開始シーケンス（Ａ１）を送り、サーバーから注目選手表示開始シーケンス（Ｂ２）を受信して、注目選手の位置を画面に表示する。そのあと再びカメラ自身が画像認識によって注目選手を追跡する。

　なお、本実施例ではプロカメラマンや観客の撮影アシストのためのサービスの例を説明しているが、リモートカメラ制御に使ってもよい。サーバーからこれらの情報を送ることで、自動パンチルト雲台に搭載したリモートカメラにより、選手を追跡して、決定的瞬間を撮影することも可能である。
　また、本実施例は撮影アシストの例を用いて説明しているが、端末が家庭用のＴＶであってもよい。即ち、ＴＶを見ている観客が注目選手を指定したら、サーバーがその注目選手の位置情報などをＴＶに送って注目選手を枠表示等により目立つように表示してもよい。なお、枠だけでなく、カーソル（例えば矢印など）で注目選手を示してもよいし、注目選手位置の領域の色や輝度を他の部分と異ならせてもよい。注目選手が端末の画面外にいる場合には、端末の画面に対してどの方向にずれているかを矢印や文字で表示してもよい。また表示画面外にいる場合に端末が現在見ている角度からどのくらい離れているか（ずれているか）、どのくらい端末を回転しないと注目選手が表示画面内に入らないかなどを矢印の長さや太さや、数字や目盛りなどで表示してもよい。
　更に、画面内に注目選手がいる場合には付加情報を画面に表示するように制御し、画面外に注目選手が移動した場合には、矢印等で画面外にいることを表示しないようにユーザーが選択できるようにしてもよい。
　あるいは競技の状況を自動的に判断して、注目選手がベンチに下がった場合等には、画面外に注目選手が移動しても、画面外にいることを矢印等で表示しないようにしてもよい。そのように自動的に付加情報の表示を消すモードと消さないモードをユーザーが選択できるようにすると更に使い勝手が向上する。

　次に、図６におけるカメラ側での制御シーケンスの例を、図７（Ａ）、（Ｂ）を用いて説明する。図７（Ａ）、（Ｂ）は、カメラ側における注目選手表示追跡制御フローを表している。
　図７（Ａ）においてＳ１０１は初期化を表している。Ｓ１０２で写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ１０３に進み、写真撮影が選択されていないとＳ１０１に進む。Ｓ１０３ではカメラの設定情報を入手する。Ｓ１０４では注目選手の撮影（指定）が選択されたか否かが判断され、注目選手の撮影が選択されているとＳ１０５に進み、注目選手の撮影が選択されていないとＳ１１０に進みその他の処理をする。Ｓ１０５は注目選手情報（注目選手のＩＤ情報等）とパスワードがあればそれをカメラからサーバーに送る。これによってサーバー側は注目選手の位置情報を検出してカメラに送信する。Ｓ１０６ではサーバーから注目選手の位置情報等をサーバーから受けとる。

　Ｓ１０７はサーバーから送られた位置情報を参照しつつカメラ自身で注目選手の追跡を実施する。ここでは、カメラ自身で注目選手について例えば画像認識を行って追跡する。その場合、選手の背番号、選手の顔情報、選手の体格などのいずれかの認識結果あるいはそれらの組み合わせに基づき選手の追跡を行う。すなわち、注目選手の一部または全体の形状を画像認識して追跡する。ただし、ユーザーの撮影ポジションが悪い場合や、カメラの視界が狭い場合や、撮影角度などによっては他の被写体の背後に隠れてしまったりするので見失う可能性があり、見失った場合には再度サーバーに位置情報のリクエストを送ることになる。Ｓ１０７－２は、注目選手に対する付加情報としてのマーク表示の例を示している。即ち付加情報としては、注目選手を示すカーソルを表示したり注目選手の位置に枠を表示したり、注目選手位置の色や輝度を目立つように変更したり、あるいはそれらの組み合わせにより表示をする。マーク以外にも文字で表示したりしてもよい。そして画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、注目選手に位置を示す付加情報を重畳する。

　図７（Ｂ）にマークを表示するＳ１０７－２のフローの例を示しており、これについては後述する。なお、上記のようなＳ１０７の追跡動作はスキップして実行しないように選択スイッチでユーザーが選択可能にしてもよい。あるいは、注目選手が画面内にいるときには追跡動作を実行するが画面外に出た場合には追跡動作をしない、というモードを設け、そのモードを選択できるようにしてもよい。更には、競技の状況を自動的に判断し、例えば注目選手がベンチ入りした場合などに、画面外の注目選手の追跡動作（矢印などの付加情報を表示など）を自動的に停止するように制御してもよい。あるいは画面内であるか画面外であるかにかかわらず、注目選手がベンチ入りしたことがサーバー側でわかったら画面における注目選手位置の表示や注目選手に対するオートフォーカスや注目選手に対する自動露光調整を停止するように制御してもよい。

　Ｓ１０８では、注目選手の追跡継続がＯＫ（成功している）か否かが判断され、注目選手の追跡継続に成功していれば、Ｓ１０７に進み更に継続してカメラ自身で注目選手の追跡を実施し、注目選手の追跡継続に成功していないとＳ１０９に進む。
　Ｓ１０９では注目選手の撮影が終了したか否かが判断され、注目選手の撮影が終了するとＳ１０１に進む。注目選手の撮影が継続している場合には、Ｓ１０５に進み、再度、注目選手の情報をサーバーに送り、Ｓ１０６で、注目選手の情報をサーバーから受け取り、再度、注目選手の位置を認識して、注目選手の撮影を継続する。即ち、追跡が失敗した場合はＳ１０８でＮｏとなり、その場合追跡を継続するならＳ１０５に戻ってサーバーに位置情報のリクエストを行う。
　図７（Ｂ）は、カメラ側におけるＳ１０７－２の注目選手マーク表示のフロー例を示している。Ｓ１２０ではサーバーから受け取った位置情報に基づき、表示部における注目選手の相対位置を計算して求める。Ｓ１２１では画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、注目選手に位置を示すマークなどを重畳する。

　以上の実施例では、サーバー１１０は、例えば競技フィールド全体の映像を読み取り座標を取得しているので、プロカメラマンや観客が撮影している映像から、競技フィールドに対してどこから撮影しているかを把握することもできる。すなわちサーバーは、サーバー用の複数台のカメラ（固定カメラや移動カメラ）から競技フィールドの全体の映像をあらかじめ把握しておく。それにより、フィールド内における注目選手の絶対位置情報と、プロカメラマンや観客が端末やデジタルカメラで見ている映像とのマッピングが可能になる。
　また、プロカメラマンや観客のカメラ等の端末は、サーバーから選手の絶対位置情報を受信するとこの絶対位置情報と今撮影あるいはモニターしている映像とのマッピングが可能になる。なお、例えばサーバーからの注目選手のフィールド内での絶対位置情報を（Ｘ、Ｙ）とする。この絶対位置情報を個々のカメラの位置情報に従い、カメラから見たときの相対的な位置情報（Ｘ´、Ｙ´）に変換する必要がある。上記の絶対位置情報から相対位置情報への変換は、Ｓ１２０のようにカメラ側で実施してもよいし、サーバー側で変換した後に個々の端末（カメラなど）に相対位置情報を送ってもよい。

　カメラ等の端末で上記変換を実行する場合は、サーバーから送られた絶対位置情報（Ｘ、Ｙ）から個々のカメラのＧＰＳ等を用いた位置情報に従い、相対的な位置情報（Ｘ´、Ｙ´）に変換する。この相対的な位置情報をもとに、カメラ側の表示画面内での位置情報とする。
　一方、サーバーで上記変換を実行する場合は、サーバーは、絶対位置情報（Ｘ、Ｙ）から個々のカメラのＧＰＳ等を用いた位置情報に従い、個々のカメラの相対的な位置情報（Ｘ´、Ｙ´）に変換する。サーバーは、個々のカメラに対して、この相対的な位置情報を送り、この相対的な位置情報を受信したカメラは、この相対的な位置情報を個々のカメラ側の表示画面内での位置情報とする。

　以上のようにして、プロカメラマンや観客のカメラ等の端末では、注目選手を見失うことが減るので、タイミングを逃さず注目選手の良い写真の撮影が可能になる。
　なお、図８はカメラ等の端末側の注目選手表示追跡制御フローの他の例を表している。図８において、Ｓ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０７－２、Ｓ１１０は、図７と同一の制御であり説明は省略する。

　図８のＳ１３１では、注目選手の追跡継続がＯＫ（成功している）か否かを判断し、注目選手の追跡継続に成功していれば、Ｓ１３４に進み、注目選手の追跡継続に成功していないと、Ｓ１３２に進む。Ｓ１３２では注目選手の撮影が終了したか否かが判断され、注目選手の撮影が終了するとＳ１３３に進む。注目選手の撮影が継続している場合にはＳ１０５に進み、再度、注目選手の情報をサーバーに送り、Ｓ１０６で、注目選手の情報をサーバーから受け取り、再度、注目選手の位置を認識して、注目選手の撮影を継続する。Ｓ１３３では、サーバーからの注目選手の位置を検出したか否かが判断され、サーバーからの注目選手の位置を検出しているとＳ１０６に進み、サーバーからの注目選手の位置を検出していないとＳ１０１に進む。Ｓ１３４では、サーバーから注目選手の位置を検出したか否かが判断され、サーバーからの注目選手の位置を検出しているとＳ１０６に進み、サーバーからの注目選手の位置を検出していないとＳ１０７に進む。

　次に、デジタルカメラの追跡部３７１について図９を用いて説明する。
　図９はデジタルカメラの追跡部３７１の機能構成例を示すブロック図である。追跡部３７１は、照合部３７１０と特徴抽出部３７１１と距離マップ生成部３７１２からなる。特徴抽出部３７１１はサーバーから送られた位置情報に基づき、追跡すべき画像領域（被写体領域）を特定する。そしてこの被写体領域の画像から特徴量を抽出する。一方、照合部３７１０は継続して供給される個々のフレームの撮像画像内で、前記の抽出した特徴量を参照して、前フレームの被写体領域と類似度の高い領域を被写体領域として探索する。なお距離マップ生成部３７１２により撮像素子からの１対の視差画像（Ａ像とＢ像）から被写体までの距離情報を取得し、照合部３７１０における被写体領域の特定精度を上げることもできる。ただし距離マップ生成部３７１２は必ずしもなくても構わない。
　照合部３７１０が、特徴抽出部３７１１から供給される画像内の被写体領域の特徴量に基づいて被写体領域と類似度の高い領域を被写体領域として探索する際には例えばテンプレートマッチングやヒストグラムマッチングなどを用いる。

　次に、サーバー側における注目選手の検出制御フローについて図１０、図１１を用いて説明する。
　カメラ等の端末から送られてきた注目選手のＩＤ情報等に基づき、サーバーは注目選手の画像認識を行う。サーバーはサーバー用の複数台のカメラ（固定されたカメラや移動カメラなど）からの映像をもとに選手の位置情報を検出して、プロカメラマンや観客のカメラ端末などに選手の位置情報を送る。特に、プロカメラマンや観客が撮影を行う際に、サーバーからの注目選手の位置情報があれば注目選手を間違えることなく確実に撮影できる。さらに、カメラでも注目選手の追跡を実施している際に、死角となって選手を見失ったときなどにおいても同様に、サーバーからの情報は重要になる。なお、サーバー側ではサーバー用の複数台のカメラからの映像をもとに選手の位置情報を検出し続ける。

　図１０はサーバー側における注目選手の検出制御のメインフローを示す。
　図１０において、最初にＳ２０１で初期化を行う。次にＳ２０２でカメラにおいて写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ２０３に進み、カメラの設定情報を入手する。このときカメラの設定情報の中にパスワードがあればそれも入手する。写真撮影が選択されていないとＳ２０１に進む。Ｓ２０４では、注目選手の撮影（指定）が選択されたか否かが判断され、注目選手の撮影が選択されているとＳ２０５に進み、サーバーは、カメラから注目選手のＩＤ情報（例えば選手名、背番号など）を受信する。Ｓ２０４で注目選手の撮影が選択されていないとＳ２１０に進みその他の処理をする。

　Ｓ２０６で、サーバーは、前記注目選手のＩＤ情報に基づき、複数のカメラ（固定カメラや移動カメラなど）からの映像に基づき画像認識によって、注目選手を画面内で見つける。Ｓ２０７で、サーバーは、複数のカメラからの映像に基づき注目選手を追跡する。Ｓ２０８で、注目選手の追跡継続がＯＫ（成功している）か否かを判断し、注目選手の追跡継続に成功していれば、Ｓ２０７に戻り、複数のカメラからの情報に基づき注目選手の追跡を継続する。Ｓ２０８で注目選手の追跡継続に成功していない場合はＳ２０９に進む。

　Ｓ２０９で注目選手の撮影が終了か否か判断し、注目選手の撮影が終了するとＳ２０１に戻り、Ｓ２０９で注目選手の撮影が継続している場合には、Ｓ２０６に戻る。そして再度、サーバーは、注目選手のＩＤ情報に基づき、複数のサーバー用のカメラ（固定カメラや移動カメラ）からの情報を探索して、注目選手を見つけ、Ｓ２０７で、継続して複数のカメラからの映像に基づき、注目選手の追跡を行う。

　次に上記Ｓ２０６において注目選手を見つけ、Ｓ２０７で追跡するための方法の例について図１１を用いて説明する。
　図１１は背番号情報を用いた注目選手検出制御フローを示す。図１１において、Ｓ４０１で、サーバーは注目選手のＩＤ情報に基づきデータメモリ２１３から背番号を取得し、サーバー用の複数台のカメラの映像情報の中からこの背番号を画像認識で探し、その背番号の選手の位置情報を取得する。Ｓ４０２において、更にサーバー用の複数台のカメラの画像から取得された位置情報を総合することにより、注目選手の絶対位置情報を取得する。このようにサーバー用の複数台のカメラの情報を総合することによって、ある背番号の選手の絶対位置情報の精度が向上する。Ｓ４０３では、Ｓ４０２で検出した注目選手の絶対位置をプロカメラマンや観客の保有するカメラ等の端末に対して送信する。Ｓ４０４では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとＳ４０１に戻り、注目選手の追跡が継続していないと図１１のフローを終了する。

　なお、サーバー用の複数台のカメラの中のすくなくとも１台のカメラからの映像を用いて、注目選手の背番号を見つけ、見えている大きさ、角度、さらには、背景（競技フィールド）の情報を入力することにより、注目選手の位置情報を取得することもできる。またサーバー用の複数台のカメラからの映像を用いて、同様に、注目選手の背番号を見つけられるようにし、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、注目選手の位置情報の精度を高めることができる。

　次に図１２は、サーバー側の注目選手検出制御フローの他の例を示す図であり、観客が見ることができない、例えば、ロッカールームなどのフィールド外での注目選手の追跡制御例を示している。図１０と同じ符番のステップは同じステップを示すので説明を省略する。
　図１２において、Ｓ２０１１で注目選手がフィールド内にいるか否かが判断され、フィールド内にいればＳ２０１２に進み、フィールド内にいなければＳ２０１３に進む。Ｓ２０１２は、フィールド内での注目選手の追跡を表している。フィールド内での注目選手の追跡制御の例を図１３～図１６を用いて説明する。また、図１２のＳ２０１３のフィールド外での注目選手の追跡制御の例を図１７（Ａ）～図１７（Ｄ）を用いて説明する。

　なお、注目選手のＳ２０１２のフィールド内での追跡とＳ２０１３のフィールド外での追跡は、図１３と図１７（Ａ）のペア、図１４と図１７（Ｂ）のペア、図１５と図１７（Ｃ）のペア、図１６と図１７（Ｄ）のペアにより制御される。

　最初に、サーバー側による、位置センサー情報を用いたＳ２０１２のフィールド内の注目選手検出制御フローを図１３に示し、位置センサー情報を用いたＳ２０１３のフィールド外の注目選手検出制御フローを図１７（Ａ）に示す。
　この例においては、選手自身がユニフォーム等のウエアに位置センサーを内蔵させるか、選手が位置センサーを腕や腰や脚などにベルト等を用いて装着しているものとする。そしてこの位置センサーからの情報を通信手段により送信することで選手の位置センサーからの信号をサーバーが認識して、位置情報を生成し、サーバーからプロカメラマンや観客が保有するカメラ等の端末へ知らせる。

　ここで、フィールド内での情報はパスワードのない一般観客も見ることができるので、選手がフィールド内にいれば、パスワード設定がなくても選手の位置情報を送るようにしてもよい。しかしながら、パスワードの設定が行われないとフィールド外の所在場所や映像等、例えばロッカールームなどにいるという位置情報やロッカールーム内での映像等は送らない。パスワードの設定がないと注目選手はフィールド外にいることのみをカメラに通知するものとする。
　パスワードは、予め契約などに基づき取得され、プロカメラマンや観客が保有するカメラ等の端末で入力されて、注目選手の指定情報とともに、カメラ端末からサーバーに送られるものである。サーバーは、カメラ端末からのパスワードの入力に従い、カメラ端末への送信内容を変更する。

　図１３において、Ｓ２１０１で、サーバーは、サーバー用の複数台のカメラから、注目選手の位置センサー情報を取得する。位置センサー情報の中には、位置センサーからの電波の方向、受信電波の強度レベルも含まれている。Ｓ２１０２では、サーバー用の複数台のカメラの位置センサー情報から注目選手を絶対位置を検出する。Ｓ２１０３では、注目選手の絶対位置をプロカメラマンや観客が保有するカメラ等の端末に送信する。Ｓ２１０４では、注目選手はフィールド内にいないか否かが判断され、注目選手がフィールド内にいるとＳ２１０１に進み、注目選手がフィールド内にいないと図１３の制御を終了する。

　この例の場合には、サーバー用の複数台のカメラ（固定カメラや移動カメラ）の中の少なくとも１台は、画像、音声の取得に加えて、選手が保有している位置センサーからの情報を検出するための検出器を有する。サーバー用の複数台のカメラの中の、各カメラによって、選手の位置センサーからの情報を受信し、受信電波の方向、さらには、受信電波のレベルを認識できる。しかしこの実施例では選手の位置センサー情報を、サーバー用の複数台のカメラでそれぞれ認識できるようにしている。そしてサーバー用の複数台のカメラによる位置センサー情報を総合して、より正確に選手の位置情報を分析している。

　次に図１７（Ａ）はサーバー側における、位置センサー情報を用いた具体的なフィールド外の注目選手検出制御フローを示す図である。図１７（Ａ）において、Ｓ２５０１で、サーバーは、ロッカールームの１台または数台のカメラで、注目選手の位置センサー情報を取得する。Ｓ２５０２で、ロッカールームの数台のカメラからの位置センサー情報に基づき注目選手を絶対位置を検出する。Ｓ２５０３で、プロカメラマンや観客のカメラからパスワードの入力があったか否かが判断される。そしてプロカメラマンや観客のカメラからパスワードの入力が行われていればＳ２５０５に進み、プロカメラマンや観客のカメラからパスワードの入力が行われていなければＳ２５０４に進む。Ｓ２５０４は、注目選手はフィールドの外にいることをカメラに送信する。Ｓ２５０５は、注目選手の絶対位置（例えばロッカールームにいるということ）をカメラに送信する。Ｓ２５０６では、注目選手のロッカールーム内での例えばぼかしやモザイクをいれた映像をカメラに送信する。ここで、注目選手の位置情報以外の情報として注目選手の映像を送る例を示したが、映像の代わりにあるいは映像と一緒に例えばプロフィール情報や解説者によるコメント情報などを送ってもよい。Ｓ２５０７では、注目選手はロッカールームにいないか否かが判断され、注目選手がロッカールームにいるとＳ２５０１に進み、注目選手がロッカールームにいないとこの制御を終了する。

　次にサーバー側による、注目選手の背番号情報（ビブスの前の番号も含む。）を用いたフィールド内の注目選手検出制御フローを図１４に示す。またサーバー側による、背番号情報を用いたフィールド外の注目選手検出制御フローを図１７（Ｂ）に示す。
　サーバーは、サーバー用の複数台のカメラ（固定カメラや移動カメラ）からの映像をもとに選手の背番号を検出する手段を有し、サーバーからプロカメラマンや観客が保有するカメラ等の端末に、背番号と選手の位置情報を対応させた情報を知らせるようにする。

　図１４において、Ｓ２２０１では、サーバーは注目選手のＩＤ情報に基づき背番号をデータメモリ２１３から取得する。そして、サーバー用の複数台のカメラ（固定カメラや移動カメラ）からの映像に基づき画像認識により、この背番号の選手の位置情報を取得する。Ｓ２２０２では、Ｓ２２０１にて取得された複数のカメラからの映像による背番号の選手の位置情報に基づき注目選手の絶対位置を検出する。Ｓ２２０３では、Ｓ２２０２で検出した注目選手の絶対位置をプロカメラマンや観客が保有するカメラ等の端末に対して送信する。Ｓ２２０４では、注目選手はフィールド内にいないか否かが判断され、注目選手がフィールド内にいるとＳ２２０１に進み、注目選手がフィールド内にいないと図１４の制御を終了する。

　一方、図１７（Ｂ）は図１７（Ａ）のＳ２５０１をＳ２６０１に置き換えたものである。即ちＳ２６０１において、サーバーは注目選手のＩＤ情報に基づき注目選手の背番号をデータメモリ２１３から取得し、ロッカールームの数台のカメラの映像から、この背番号の選手の位置情報を取得する。そのあとＳ２５０２に進む。

　次にサーバー側による、顔認識情報を用いたフィールド内の注目選手検出制御フローを図１５に示す。また、サーバー側による、顔認識情報を用いたフィールド外の注目選手検出制御フロー図１７（Ｃ）に示す。
　サーバーのデータメモリ２１３には、試合にメンバー登録されている全選手の、過去に撮影した顔情報が複数枚格納されている。さらに、サーバーは、サーバー用の複数台のカメラからの映像をもとに選手の顔情報を検出する手段を有する。そして、サーバーは、サーバー用の複数台のカメラから検出した顔情報と、試合にメンバー登録されている選手の過去に撮影した複数枚の顔画像と例えばＡＩを用い比較して、選手を検出する。

　図１５において、Ｓ２３０１で、サーバーは注目選手のＩＤ情報に基づき注目選手の顔情報をデータメモリ２１３から取得し、サーバー用の複数台のカメラの映像情報を用いて、この顔情報の選手の位置情報を取得する。サーバー用の複数台のカメラの中の１台のカメラの映像を用いて、注目選手の顔情報に対応した選手を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、注目選手の位置情報を取得できる。サーバー用の複数台のカメラで、同様に、注目選手の顔情報に対応した選手を見つけ、見えている大きさ、角度、さらには、背景（フィールド）の情報を入力することにより、注目選手の位置情報をより精度よく取得できる。Ｓ２３０２で、Ｓ２３０１にて取得された注目選手の位置情報に基づき注目選手の絶対位置を検出する。Ｓ２３０３は、Ｓ２３０２で検出した注目選手の絶対位置をプロカメラマンや観客が保有するカメラ等の端末に対して送信する。Ｓ２３０４では、注目選手はフィールド内にいないか否かが判断され、注目選手がフィールド内にいるとＳ２３０１に進み、注目選手がフィールド内にいないとこの制御を終了する。

　図１７（Ｃ）は図１７（Ａ）のＳ２５０１をＳ２７０１に置き換えたものである。Ｓ２７０１において、サーバーは注目選手のＩＤ情報に基づき注目選手の顔情報をデータメモリ２１３から取得し、ロッカールームの数台のカメラの映像から、この顔情報に対応する選手の位置情報を取得する。そのあとでＳ２５０２に進む。

　次にサーバー側による、体格認識情報を用いたフィールド内の注目選手検出制御フローを図１６に示す。またサーバー側による、体格認識情報を用いたフィールド外の注目選手検出制御フローを図１７（Ｄ）に示す。
　サーバーのデータメモリ２１３には、試合にメンバー登録されている選手の、過去に撮影した体格画像情報が複数枚格納されている。また、サーバーは、サーバー用の複数台のカメラからの映像をもとに選手の体格情報を検出する手段を有する。そして、サーバーは、サーバー用の複数台のカメラから検出した体格情報と、試合にメンバー登録されている選手の、過去に撮影した複数枚の体格画像情報と例えばＡＩを用いて比較して、選手を検出する。

　図１６において、Ｓ２４０１で、サーバーは注目選手のＩＤ情報に基づき体格画像情報をデータメモリ２１３から取得し、サーバー用の複数台のカメラの映像情報を用いて、この体格の選手の位置情報を取得する。サーバー用の複数台のカメラの中の１台のカメラからの映像を用いて、注目選手の体格画像に対応した選手を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を取得することにより、注目選手の位置情報を取得できる。サーバー用の複数台のカメラの映像から、同様に、注目選手の体格画像に対応した選手を見つけると、見えている大きさ、角度、さらには、背景（フィールド）の情報を取得することにより、注目選手の位置情報をより精度よく取得できる。Ｓ２４０２で、Ｓ２４０１にて取得した、この体格情報の選手の位置情報に基づき注目選手の絶対位置を検出する。

　Ｓ２４０３で、Ｓ２４０２で検出した注目選手の絶対位置をプロカメラマンや観客が保有するカメラ等の端末に対して送信する。Ｓ２４０４で、注目選手はフィールド内にいないか否かが判断され、注目選手がフィールド内にいるとＳ２４０１に進み、注目選手がフィールド内にいないとこの制御を終了する。

　図１７（Ｄ）は図１７（Ａ）のＳ２５０１をＳ２８０１に置き換えたものである。Ｓ２８０１において、サーバーは注目選手のＩＤ情報に基づき注目選手の体格画像情報をデータメモリ２１３から取得し、ロッカールームの数台のカメラの映像から、この体格の選手の位置情報を入力する。そのあとＳ２５０２に進む。
　なお、以上の実施例においてロッカールームの例を用いて説明したが、それ以外にも例えばベンチやその他の控室やトレーニングルームや医務室やロビーなどでもよいことは言うまでもない。また、それらの場所に注目選手がいる場合に例えば図１７（Ａ）のＳ２５０６では注目選手のぼかした映像をカメラ等の端末に送っているが、映像は送らず、それ以外の各種情報（例えば注目選手のプロフィールや解説者のコメント等）を送ってよい。

　また、上記では、サーバーは、あらかじめパスワードに応じた設定がされている。そして、パスワードが入力されれば、パスワード入力をしていないカメラ端末等では見ることができない情報、例えば、控室やロッカールーム等に注目選手がいるという情報などをカメラ端末に送る例を説明した。その際に控室やロッカールームの中にいる注目選手の映像をぼかしたり、モザイクをかけたりしてパスワード入力したカメラ等の端末に送る例を説明した。しかしながら、パスワードの有無だけはなく、複数レベルのパスワードを設定し、入力されるパスワードのレベルに応じて、カメラ端末等が受け取れる情報の内容を変更しても良い。

　以上は、パスワードを入力したカメラ端末に対する、サーバー側の制御について説明をしたが、次にカメラ端末側の制御について説明する。
　位置情報通知サービスとしては、パスワードを入力したカメラ端末には、注目選手が、フィールドにいない時に、フィールド外のどこにいるかを通知する。例えば、カメラ等の端末に対して、サーバーから「＊＊＊選手は、今、ロッカールームにいます。」とか、「＊＊＊選手は、今、ロッカールームからフィールドに移動中です。」などの情報を送信し、パスワード入力したカメラ等の端末に表示する。

　また、ロッカールームにいる注目選手のぼかしやモザイクを入れた映像を、カメラの一部にピクチャーインピクチャーなどで表示する。
　これにより、パスワードを持ったプロカメラマンや一部の観客は、注目選手がフィールドにいない場合でも、どこにいるかがわかり、また、その選手の映像を見ることも可能になる。従って、プロカメラマン等は、シャッターチャンスを逃さない良い写真を撮影できる可能性が高くなる。
　例えばオリンピックのように、フィールド内で、同時に複数の競技が進行している場合などにおいても、今、フィールドに見当たらない注目選手がどこにいるのかを簡単に知ることができ、タイムリーに良い撮影をするための差別化されたサービスを提供できる。

　また、ロッカールーム等に限らず、「選手がバスで競技会場に向かって移動中」などの情報もプロカメラマン等のパスワード入力したカメラ端末に表示できるので非常に便利なサービスとなる。
　また本実施例では、プロカメラマンや観客が見ている映像の中に、注目選手がカメラ等の端末の画面内や画面外のどこにいるかを例えば矢印や文字などで知らせることができるので、注目選手を見失うことがなくなり貴重なシャッターチャンスを逃しにくくなる。
　なおサーバーから複数のカメラ端末に位置情報をブロードキャストで送る場合は、絶対的な位置情報で送るが、サーバーが検出した情報を特定のカメラマン、あるいは、特定の観客が保有するカメラ等の端末だけに通知することも可能である。これは、個別のカメラ端末に対してもありえるし、競技場内の特定のエリアのカメラマンや観客が保有するカメラ等の端末に対して送るようにしても良い。その際には、サーバーはそれらのカメラ端末に対して相対位置情報を送ってもよい。

　フィールドでの絶対位置情報と相対位置情報の変換シーケンスの例を図１８、図１９に示す。
　サーバーがブロードキャストによって絶対的な位置情報を送る場合には、各プロカメラマンや各観客が保有するカメラ等の端末において、絶対的な位置情報から相対的な位置情報への変換を行う。

　図１８では、カメラ等の端末側で競技フィールドにおける絶対位置から相対位置に変換するシーケンスを示す。図１８において、サーバー１８０１は、サーバー用の複数台のカメラ（固定カメラや移動カメラ）からの情報より、注目選手の絶対位置を検出する。サーバーは例えば観客のカメラ端末１８０２に、注目選手の絶対位置情報を送る。観客のカメラ端末１８０２では、サーバーから送られた絶対位置情報から、観客のカメラ等の端末の位置情報等に応じて、このカメラ端末の表示部で見たときの相対位置情報に変換して、この情報をもとに、表示部に注目選手の位置情報を表示する。

　次にサーバーが、それぞれの特定のカメラ端末の位置情報を受信し、サーバー側で絶対的な位置情報から相対的な位置情報に変換した後に、カメラ端末へそれぞれの相対位置情報を送る例について図１９を用いて説明する。
　図１９は、サーバーで絶対位置を相対位置に変換するフローを示す。図１９において、サーバー１８０１は、サーバー用の複数台のカメラの映像等からそれぞれの注目選手の位置情報を取得し、それぞれの注目選手の絶対位置を検出する。それぞれの特定のカメラ端末は各カメラ端末の位置情報をＧＰＳ等で検出し、カメラ端末１８０３からサーバー１８０１へ各カメラ端末１８０３の位置情報を送る。サーバー１８０１は各カメラ端末１８０３から指定された各注目選手の絶対位置情報と各カメラ端末の位置情報とに基づき、各カメラ端末位置で見たときの相対位置情報に変換する計算をして、この相対位置情報を各カメラ端末に送る。各カメラ端末１８０３は、サーバー１８０１から受信したこのカメラ端末で見たときの相対位置情報をもとに、各カメラ端末の表示部に注目選手の位置を表示する。

　なお、カメラ端末の位置が固定の場合と移動する場合とが存在するが、例えば観客席からの観戦では、カメラ端末位置はほぼ固定のケースとなる。このため、ある観客席から見える映像は、決まってくるので、サーバーで検知した注目選手の絶対位置情報から観客の保有するカメラ等の端末から見た相対位置情報を作り出すサービスは非常に価値がある。

　カメラ端末側で、絶対的な位置情報から相対的な位置情報へ変換するためには、事前に、観客席から見た映像とフィールドの絶対位置の変換を可能にするソフトウエアをダウンロードしておくことが望ましい。そして、そのカメラ端末のＧＰＳ位置情報を取得するか観客席からの映像を取得してマッチングして相対的な位置情報を作成する。
　図２０、図２１に、カメラ端末側で絶対位置情報から相対位置情報変換して注目選手の表示や追跡を行うためのフローの一例を示す。
　図２０において、Ｓ２９０１は、初期化を表している。Ｓ２９０２では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ２９０３に進み、写真撮影が選択されていないとＳ２９０１に進む。Ｓ２９０３ではカメラの設定情報を入手する。Ｓ２９０４では観客席から撮影した情報をサーバーに送る。この情報に基づき変換用のソフトウエアをサーバーが最適化する。Ｓ２９０５では、観客席から見た映像とフィールドの絶対位置の変換をするための上記ソフトウエアをサーバーからダウンロードする。Ｓ２９０６では、Ｓ２９０５でダウンロードしたソフトウエアをカメラ端末にインストールする。Ｓ２９０７において、サーバーから送られるデフォルトの特定選手の絶対位置情報を受信し、前記ソフトウエアで、相対位置情報に変換する。Ｓ２９０８において、検出した相対位置情報を基に、前記特定選手の位置に枠や矢印などのマークの表示を行う。なお、このとき画像表示部にはイメージセンサーからのライブビュー画像を表示しており、上記マークはライブビュー画像に重畳表示される。

　次に図２１のＳ２９０９では、カメラ端末で指定した注目選手の撮影が選択されたか否かが判断される。注目選手の撮影が選択されるとＳ２９１１に進み、注目選手の撮影が選択されていないとＳ２９１０に進みその他の処理をしてからＳ２９０１に進む。Ｓ２９１１では、注目選手情報をカメラからサーバーに送る。Ｓ２９１２では、サーバーから注目選手の絶対位置情報等を受けとる。Ｓ２９１３では、サーバーから受信した注目選手の絶対位置情報を、前記ソフトウエアで、カメラ端末の座席位置からの相対位置情報に変換してカメラ端末の表示部に枠や矢印等のマークで表示する。すなわち、注目選手の位置を逐次表示することができる。Ｓ２９１４では、注目選手の撮影（やモニター）が終了したか否かが判断され、注目選手の撮影（やモニター）が終了するとＳ２９０１に進む。Ｓ２９１４で注目選手の撮影（やモニター）が継続している場合には、Ｓ２９１１に進み、再度、注目選手の情報をサーバーに送り、Ｓ２９１２で、注目選手の絶対位置情報をサーバーから受け取り、注目選手の撮影を継続する。

　次に、図２２にカメラ端末側で絶対位置情報から相対位置情報変換して注目選手の表示や追跡を行うためのフローの他の例を示す。図２２においては観客の座席情報を用いて絶対位置から相対位置に変換する。図２２において図２０、図２１と同じ符番は同じステップを示すので説明は省略する。
　図２２において、Ｓ３０００で、今、観客が着席している観客席の座席情報を入力する。ここでの入力方法は、観客のカメラで座席の番号や座席に付与されたＱＲコード（登録商標）等を読み取ってもよく、また、座席情報そのものをタッチパネル入力やキー入力しても良い。Ｓ３００１では、Ｓ３００４で入力した入力した観客席の座席情報をサーバーへ送信する。この座席位置情報に基づき絶対位置を相対位置に変換するためのソフトウエアの最適化がサーバー側で行われる。Ｓ３００２で、観客席の座席情報に基づき最適化された変換ソフトウエアをサーバーからダウンロードする。

　次に図２３は、カメラ側における注目選手表示追跡制御フローの他の例を示す。図２３においては観客が保有するカメラ等の端末によって競技フィールドなどの撮影を行いこの撮影した情報をサーバーに送る。サーバーでは、この撮影情報に基づきフィールドにおける注目選手の絶対位置情報を、観客が保有しているカメラ端末での表示画面での相対位置に変換してからカメラに送る。これにより、カメラ端末においては、ソフトウエアをダウンロードしなくても、サーバーからの相対位置情報に基づき表示部に枠や矢印等の位置を示すマークが画像に重畳される。従って、カメラ端末側で選手のいる位置を簡便に認識できるというメリットがある。

　図２３において図２０、図２１と同じ符番は同じステップを示すので説明を省略する。図２３において、Ｓ３１００で、今、座っている観客席から撮影した情報をサーバーへ送る。サーバーでは、サーバー用の複数台のカメラで、デフォルトの特定選手の絶対位置を認識する。そして、観客の撮影した映像を受信し、これに基づき、前記特定選手の絶対位置情報を、観客席で観客が保有するカメラ等の端末で見るための相対位置情報に変換する。Ｓ３１０１では、サーバーから送られてきた前記特定選手の相対位置情報を受信し、それに基づきカメラ等の端末で前記特定選手の位置を表示する。そのあと図２１のステップＳ２９０９に進む。

　以上のように、カメラ等の端末側に、注目選手の位置をタイムリーに表示できるようになるので、観客やプロカメラマンは、注目選手を見失うことがなくなり、大事な瞬間の撮影を確実にできるようになる。
　なお、注目選手は１人の例で、説明したが、注目選手は複数選手でも良い。また、注目選手は、途中で切り替えができるものとする。注目選手として、試合に出場している選手全員でも良い。また、映像や画像としては、動画だけでなくて、静止画も含むものとする。また、注目選手を追い追跡することをメインに説明をしてきた。しかしながら、注目選手だけを追いかけないで、ボールを持っている、あるいは、ボールを受ける選手についての情報をプロカメラマンや観客に送信し表示させるようにしてもよい。また、実施例では選手を追跡する例を用いて説明したが、犯人などの人物を複数の監視カメラなどを使って追跡するシステムに適用できることは言うまでもない。あるいは人物に限らずカーレーシングなどにおいて特定の車などを追跡するシステムや競馬等において馬を追跡するシステムに適用することもできる。なお、実施例では注目選手をカメラ端末などで指定する例を説明したが、サーバー側が注目選手を指定できるようにしてもよい。

　しかも国際的な競技などにおいては、一部の観客やスポンサー等に特権が与えられたりする場合が多いが、本実施例ではこのような特権や契約レベルによって、サーバーからカメラ等の端末への付加価値の提供レベルを変更できる。これらのレベル別のコントロールは、パスワードの入力などにより実現でき、特別な契約をしたプロカメラマン等はパスワードの入力により、グランド内外の価値の高い映像や各種情報を獲得して、より商品価値の高い写真撮影が可能になる。

　以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
　また、本発明における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置等に供給するようにしてもよい。そしてその画像処理装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
（関連出願の相互参照）

　本出願は、先に出願された、２０１８年１１月７日に出願された日本特許出願第２０１８－２０９５１８号の利益を主張するものである。また、これらの日本特許出願のそれぞれの内容は本明細書において参照によりその全体が本明細書に組み込まれる。

１０１、１０２、１０３・・・・（サーバー用の）カメラ
４０１，４０２，４０３　・・・・　端末
１１０　・・・・　サーバー
３７１　・・・・　追跡部
３８０　・・・・　画像表示部

 

Claims (24)

1. 　画像を表示する表示手段、
   　前記表示手段に表示された前記画像の中から特定の対象を選択する選択手段、
   　前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
   　前記指定情報生成手段によって生成された前記指定情報と所定のパスワードをサーバーに送信する送信手段、
   　前記サーバーが前記指定情報と前記パスワードに基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
   　前記取得手段によって取得された前記特定の対象の前記位置情報に基づく付加情報を前記表示手段に表示する制御手段、を有することを特徴とする画像処理装置。
2. 　前記制御手段は、前記位置情報に基づき前記表示手段の表示画面内における前記特定の対象の位置を前記付加情報として表示することを特徴とする請求項１項に記載の画像処理装置。
3. 　前記サーバーは、カメラからの映像の中の前記特定の対象を認識した結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項１または２に記載の画像処理装置。
4. 　前記サーバーは、前記特定の対象を画像認識した結果に基づき位置情報を生成して前記画像処理装置に送信することを特徴とする請求項２に記載の画像処理装置。
5. 　前記サーバーは、前記特定の対象が有する位置センサーからの信号を認識した結果に基づき前記特定の対象の位置情報を生成することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 　前記付加情報は枠、カーソル、色や輝度の異なる領域の少なくとも一つを含むことを特徴とする請求項５に記載の画像処理装置。
7. 　前記付加情報は前記特定の対象が画面外にいる場合には画面から見てどの方向にいるかを示すものであることを特徴とする請求項６に記載の画像処理装置。
8. 　前記付加情報は前記特定の対象がどのくらい画面からずれているかを示すものであることを特徴とする請求項７に記載の画像処理装置。
9. 　前記付加情報は前記特定の対象がどのくらい画面からずれているかを矢印の長さまたは太さによって示すものであることを特徴とする請求項８に記載の画像処理装置。
10. 　前記付加情報は前記特定の対象がどのくらい画面からずれているかを数字または目盛りによって示すものであることを特徴とする請求項８に記載の画像処理装置。
11. 　前記サーバーは、前記特定の対象が装着している番号、前記特定の対象の一部または全体の形状を画像認識することを特徴とする請求項４に記載の画像処理装置。
12. 　前記サーバーは、複数のカメラからの映像の中の前記特定の対象を画像認識した結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 　前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段を有することを特徴とする請求項１から請求項１２のいずれか１項に記載の画像処理装置。
14. 　前記追跡手段は、前記特定の対象の位置情報をサーバーから取得後に、前記特定の対象の追跡を実行し、追跡に失敗したときには、前記サーバーへ位置情報の送信をリクエストすることを特徴とする請求項１３に記載の画像処理装置。
15. 　前記サーバーは、前記特定の対象が存在するフィールド全体の映像をあらかじめ取得し、前記位置情報の生成に用いることを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 　前記サーバーは前記フィールドにおける前記特定の対象の位置情報に基づき、前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項１５に記載の画像処理装置。
17. 　前記サーバーは前記フィールドにおける前記特定の対象の第１の位置情報を前記画像処理装置に送信し、前記画像処理装置は前記第１の位置情報に基づき前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項１５に記載の画像処理装置。
18. 　前記選択手段は複数の特定の対象を選択することを特徴とする請求項１から請求項１７のいずれか１項に記載の画像処理装置。
19. 　前記サーバーは前記パスワードと前記指定情報に基づき前記画像処理装置に前記特定の対象の位置情報以外の情報も送ることを特徴とする請求項１から請求項１８のいずれか１項に記載の画像処理装置。
20. 　前記パスワードは複数のレベルを有し、前記サーバーは前記パスワードのレベルと前記指定情報に基づき前記画像処理装置に送る前記特定の対象の情報を変更することを特徴とする請求項１から請求項１９のいずれか１項に記載の画像処理装置。
21. 　更に、絶対的な位置情報から相対的な位置情報へ変換するソフトウエアをダウンロードするダウンロード手段を有することを特徴とする請求項１から請求項２０のいずれか１項に記載の画像処理装置。
22. 　画像を表示する表示ステップ、
    　前記表示ステップにより表示された画像の中から特定の対象を選択する選択ステップ、
    　前記選択ステップによって選択された前記特定の対象に関する指定情報を生成する指定情報生成ステップ、
    　前記指定情報生成ステップによって生成された前記指定情報と所定のパスワードをサーバーに送信する送信ステップ、
    　前記サーバーが前記パスワードと前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得ステップ、
    　前記取得ステップで取得された前記特定の対象の位置情報に基づき付加情報を表示させる制御ステップ、を有することを特徴とする画像処理方法。
23. 　請求項１から２１のうちいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
24. 　請求項２３に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
    
     

Images