JPWO2019176922A1 - 視聴支援装置、視聴支援方法及びプログラム - Google Patents

Abstract

本発明の目的は、中継映像に映し出された移動体とその速度を測定し、映像の付帯情報として提供することである。視聴支援装置は、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段と、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段と、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する手段と、前記特定した移動体の情報と、その推定速度とを出力する手段と、を備える。

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１８−０４５５８２号（２０１８年３月１３日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、視聴支援装置、視聴支援方法及びプログラムに関する。

特許文献１に、複数移動体を撮像した動画から複数の移動体の対応付けを行う移動体識別装置の一例が開示されている。また、特許文献２には、移動体を撮影して得られる移動体の識別情報を認識し、予め登録した識別情報から検索する可搬型の情報認識装置を含む構成が開示されている。さらに、特許文献２の１３頁８行以下には、陸上トラック競技においてトラックの各所に撮像装置を配置し、選手を撮影した静止画からゼッケンナンバーを読み取り、一般家庭に動画とともに、各選手のスプリットタイムを配信する構成が開示されている。

また、非特許文献１には、駅伝やマラソンなどのロードレース中継における走者間の距離を推定するシステムが開示されている。また、同文献の距離推定システムは、中継車の位置、カメラデータ、映像中の走者座標（フレーム内の被写体の位置）からカメラと走者間の距離を推定し、走者位置のフレーム間の変化から走者の速度を求めることができると記載されている（図１参照）。

特開２０１８−００５４７４号公報 国際公開第２００３／０３４２７８号

「ロードレース中継距離推定システム」、兼六館出版、「放送技術」，2016年69巻5月号，pp.101-105

以下の分析は、本発明によって与えられたものである。上記した背景技術に記載の手法では、任意の時点における選手の速度を推定することはできないという問題点がある。

また、非特許文献１の方法では、任意の時点における走者の速度を推定できるが、中継車の位置、カメラデータをリアルタイムに入手できることが条件となる。

本発明は、上記した情報が得られなくとも、中継映像に映し出された移動体とその速度を測定し、映像の付帯情報として提供できる構成の豊富化に貢献できる視聴支援装置、視聴支援方法及びプログラムを提供することを目的とする。

第１の視点によれば、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段を備えた視聴支援装置が提供される。この視聴支援装置は、さらに、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段と、前記移動体の推定速度を出力する手段と、を備える。

第２の視点によれば、第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す手段と、前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の距離差を推定する手段と、前記複数の移動体の距離差を出力する手段と、を備えた視聴支援装置が提供される。

第３の視点によれば、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出すステップと、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定するステップと、前記移動体の推定速度を出力するステップと、を含む視聴支援方法が提供される。本方法は、少なくとも中継映像を入力として、画像分析を行って付帯情報を出力するコンピュータという、特定の機械に結びつけられている。

第４の視点によれば、視聴支援装置を構成するコンピュータに、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す処理と、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する処理と、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する処理と、前記特定した移動体の情報と、その推定速度とを出力する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、このプログラムは、コンピュータ装置に入力装置又は外部から通信インタフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェースを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備える。

本発明によれば、任意の時点における移動体の速度を推定することが可能となる。即ち、本発明は、背景技術に記載した視聴支援装置を、被写体となった移動体の速度情報を提供可能なものへと変換するものとなっている。

本発明の一実施形態の構成を示す図である。 本発明の第１の実施形態の全体構成を示す図である。 本発明の第１の実施形態の視聴支援装置の構成を示す図である。 本発明の第１の実施形態の視聴支援装置の走者情報データベースに保持される情報の一例を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の一例を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の別の一例を示す図である。 本明の第２の実施形態の視聴支援装置の構成を示す図である。 本発明の第２の実施形態の視聴支援装置による情報の提供形態の一例を示す図である。 本発明の第３の実施形態の視聴支援装置の構成を示す図である。 本発明の第３の実施形態の視聴支援装置の基準背景画像データベースに保持される情報の一例を示す図である。 本発明の第３の実施形態の視聴支援装置が切り出す中継画像を模式的に表した図である。 本発明の第３の実施形態の視聴支援装置による走者位置特定の原理を説明するための図である。 本発明の視聴支援装置を構成するコンピュータの構成を示す図である。 本発明の一実施形態の変形構成を示す図である。 本発明の第１の実施形態の視聴支援装置の変形構成を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の別の一例を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の別の一例を示す図である。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。また、プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備える。また、コンピュータ装置は、通信インタフェースを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。

本発明は、その一実施形態において、図１に示すように、画像切り出し部１１と、速度推定部１２と、出力部１４と、を備えた視聴支援装置１０にて実現できる。

より具体的には、画像切り出し部１１は、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段として機能する。

速度推定部１２は、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段として機能する。

出力部１４は、前記移動体の推定速度を出力する手段として機能する。なお、出力部１４によると、移動体の推定速度の出力形態としては種々のものが考えられる。例えば、中継画像に重畳表示（スーパーインポーズ）する情報として、移動体の推定速度を表示しても良い。また例えば、中継画像とは別のサブ領域に表示する情報として、移動体の推定速度を表示しても良い。また、中継映像の内容をより詳しく知るためのウェブサイトやアプリケーションプログラムにより表示する情報として移動体の推定速度を表示してもよい。

以上のとおり、本実施形態によれば、中継映像に映し出された移動体とその速度を測定し、映像の付帯情報として提供することが可能となる。

また、本発明は、別の実施形態において、前記推定速度の代わりに、あるいは、前記推定速度と併せて、複数の移動体の間の距離差を推定し、出力する視聴支援装置としても構成できる（図１４参照）。図１４の例では、前述の速度推定部１２の代わりに距離差推定部１８が備えられている。そして、この実施形態では、画像切り出し部１１は、前記第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す処理を行う。そして、距離差推定部１８は、前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の間の距離差を推定する。そして、出力部１４は、前記複数の移動体の距離差を出力する。

以上のとおり、本実施形態によれば、中継映像に映し出された複数の移動体の間の距離差を測定し、映像の付帯情報として提供することが可能となる。

［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の全体構成を示す図である。図２を参照すると、ロードレース等を中継する中継車に搭載されたカメラ２００と、視聴支援装置１００と、視聴支援装置１００の情報の出力先となるテレビジョン受像機３００とが接続された構成が示されている。

カメラ２００は、撮影した中継映像を視聴支援装置１００に送信する。カメラ２００と視聴支援装置１００とデータの転送は、有線方式でも無線方式でも磁気テープなどの物理媒体の移送方式でもよい。

視聴支援装置１００は、望ましい一形態において、放送局もしくは動画配信事業者等に配置される。なお、視聴支援装置１００の配置先は、放送局もしくは動画配信事業者等に限られず、例えば、中継車内、あるいは、テレビジョン受像機側に配置されていてもよい。また、視聴支援装置１００は、インターネット上や、クラウド基盤上に配置されていてもよい。

テレビジョン受像機３００は、中継画像のほか、視聴支援装置１００により得られた情報の出力先となる。なお、視聴支援装置１００により得られた情報の出力先は、中継画像とその付帯情報を表示可能な装置であればよく、テレビジョン受像機３００以外の装置を用いても良い。例えば、インターネット経由で動画再生が可能なＰＣ（パーソナルコンピュータ）、タブレット端末、スマートフォンその他の機器をテレビジョン受像機３００の代わりに用いることもできる。

図３は、本発明の第１の実施形態の視聴支援装置の構成を示す図である。図３を参照すると、画像切り出し部１１０と、速度推定部１２０と、移動体特定部１３０と、出力部１４０と、走者情報ＤＢ（データベース）１５０と、を含む構成が示されている。

画像切り出し部１１０は、中継映像から走者の位置を特定するための画像を切り出し、速度推定部１２０と移動体特定部１３０に送る処理を行う。本実施形態では、画像切り出し部１１０は、中継映像における被写体である走者の足が地に着いたタイミングで、画像を切り出す。像を切り出すタイミングを、走者の足が地に着いたタイミングとする理由は、走者と背景画像の位置関係を適切に特定できるようになり、速度の推定精度が向上するためである。なお、本実施形態では「画像を切り出す」との表現を用いるが、実際には、中継映像を構成するフレームから走者の足が地に着いているフレームを選択すればよい。

移動体特定部１３０は、走者情報ＤＢ１５０に格納された情報を参照して、中継映像の被写体である走者の顔画像やゼッケンから、走者を特定し、その結果を出力部１４０に出力する。なお、この走者の特定に顔画像を用いる場合、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）利用して、事前に登録した顔画像と近似する特徴量を持つ走者を特定する方法を用いることができる。

図４は、走者情報ＤＢ１５０に保持される情報の一例を示す図である。図４の例では、ゼッケンと選手名を対応付けた走者情報が格納されている。移動体特定部１３０は、画像切り出し部１１０から送られた画像からゼッケンを文字認識し、そのゼッケンに対応する走者名を読み出して、出力部１４０に送る。なお、図４の例では、ゼッケンにて走者を特定する場合の情報を示しているが、例えば、顔画像から走者を特定する場合には、ゼッケンに代えて、事前に撮影された走者の顔画像が登録される。また、図４の例以外にも、例えば、各走者の所属するチームや、年齢、過去の入賞歴などのプロフィール情報を走者情報ＤＢ１５０に登録してもよい。

速度推定部１２０は、中継映像の被写体である走者の背景画像の変化から、走者の速度を推定し、その結果を出力部１４０に出力する。

上記速度の推定方法の一例を示すと次のようになる。速度推定部１２０は、画像切り出し部１１０にて切り出された連続する複数フレームの差分情報からカメラ２００と走者の移動量、背景画像に含まれる地平線と地表面の映像内の位置、走者の足の接地位置を推定することで、カメラ２００と走者の相対距離を推定する。併せて、速度推定部１２０は、同様の手法で、カメラ２００（中継車）の移動距離を推定する。次に、速度推定部１２０は、画像切り出し部１１０にて切り出されたフレームのフレームレートと、相対距離の変化から走者の相対速度（カメラ２００から見た速度）を計算する。併せて、速度推定部１２０は、同様の手法で、カメラ２００（中継車）の移動速度を推定する。最後に、速度推定部１２０は、走者の相対速度とカメラ２００（中継車）の移動速度とを合算することで、走者の移動速度を計算する。

出力部１４０は、移動体特定部１３０から受け取った走者情報と、速度推定部１２０から受け取った走者の推定速度とを対応付けて視聴者に提供する。図５は、出力部１４０による情報の提供形態の一例であり、図５の例では、中継映像に重畳させる形態で、走者の情報（選手名）と、推定速度が表示されている。これにより、視聴者は、走者が現在どの程度の速度で走っているのかはもちろんとして、そのペースが落ちているのか、逆にピッチを上げてきているのかといった情報を得ることが可能となる。

なお、上記走者の情報と、推定速度の出力形態は図５に示した例に限られない。例えば、図６のボックス４００ａ、４００ｂ内に示すように、画像に映し出された複数の走者について、それぞれ走者情報を特定し、かつ、それぞれの推定速度を求めて表示することも可能である。これにより、視聴者は、各走者の速度差を把握することが可能となる。また、例えば、中継映像の表示領域とは別のサブ領域に、前記特定した走者のリストと、推定した各走者の速度をまとめて表示する形態も採用可能である。

なお、上記した実施形態では、画像切り出し部１１０から移動体特定部１３０に切り出された画像が送られるものとして説明したが、移動体特定部１３０への画像送信タイミングはこれに限られない。たとえば、移動体特定部１３０が、シーン切り替わりなどの適切なタイミングで画像を取得し、速度推定とは独立して、中継映像やそのフレーム画像から走者を特定することでもよい。走者の情報は、一旦特定してしまえば、以降基本的に変える必要はないからである。

例えば、特許文献１との比較においても、本発明では、移動体である選手等に、加速度センサ等の測定装置を装着してもらう必要がないという利点がある。また、特許文献２との比較においても、本発明は、予め決められたコースの各所に撮像装置を配置する必要がないという利点がある。

また、本実施形態の視聴支援装置にも、複数の移動体の間の距離差、即ち、複数の走者の間の距離差の表示機能を追加することもできる。図１５は、本発明の第１の実施形態の視聴支援装置１００ｃの変形構成を示す図である。図３の構成との相違点は、速度推定部１２０と、出力部１４０の間に距離差推定部１８０が追加されている点である。

距離差推定部１８０は、速度推定部１２０の速度推定の過程で算出された走者の位置情報を用いて、複数の走者の間の距離差を推定する。そして、距離差推定部１８０は、推定した複数の走者の間の距離差を出力部１４０に出力する。そして、出力部１４０は、走者の推定速度に加えて、複数の走者の距離差を視聴者に提供する。

図１５に示す変形構成によれば、図１６のように、走者間の双方向矢印と、推定した距離差を表示することができる。これにより、視聴者は、複数の走者の間のそれぞれの距離差、速度差を参照して、「あと何分後に追いつきそうだ」、「このペースでは追いつけない」といった予測をすることができる。

また、より望ましい形態において、過去のレコードタイムなどが記録されている場合には、レコードタイムから、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いて、そのレコードタイムを出した仮想的な走者を表示することもできる。図１７のゼッケン１１番の手前の破線で表された走者は、ＡＲ技術を用いて表示された仮想的なレコードタイム保持者の像である。図１７の例では、この仮想的なレコードタイム保持者と現実の走者と間の距離差を表示している。これにより、視聴者は、それぞれの距離差、速度差を参照して、「レコードタイムを更新しそうだ」、「このペースではレコードタイムを更新できない」といった予測をすることができる。

［第２の実施形態］
続いて、走者の表情を判定し、付帯情報として表示する機能を追加した本発明の第２の実施形態について図面を参照して詳細に説明する。図７は、本発明の第２の実施形態の視聴支援装置の構成を示す図である。図３に示した第１の実施形態の視聴支援装置１００との差異は、移動体特定部１３０の下段に表情判定部１７０が追加されている点である。その他の構成及び動作は第１の実施形態と同様であるので、以下、相違点を中心に説明する。

表情判定部１７０は、移動体特定部１３０経由で画像切り出し部１１０から中継画像を受け取ると、その画像中から走者の顔画像を特定し、その表情を判定し、その結果を出力部１４０に出力する。表情判定部１７０における表情の判定手法としては、種々の方法を採用できる。例えば、走者の顔の各器官の変化や移動量を用いて表情を判定する方法を採ることができる。また顔の表情のみならず、走者のしぐさなどから、表情を判定してもよい。例えば、走者の顔自体は無表情であっても、顔が左右に揺れている状態が続いている場合に、その走者は「苦しそうな表情」と判定してもよい。また、事前に表情ごとの教師データを登録しておき、走者の表情との対比により表情を判定してもよい。

出力部１４０は、移動体特定部１３０から受け取った走者情報と、速度推定部１２０から受け取った走者の推定速度と、表情判定部１７０から受け取った走者の表情を視聴者に提供する。図８は、出力部１４０による情報の提供形態の一例である。図６に示した第１の実施形態との相違点は、ボックス４００ａ、４００ｂ内に、走者の表情を示すアイコンが追加されている点である。これにより、視聴者は、各走者の表情からその状態を推測することが可能となる。例えば、図８の場合、画面手前側の走者Ａの表情は中継映像からも把握することができるが、画面奥の走者Ｂの表情は、顔が小さく写っていたり、カメラの焦点が合っていないなどの理由で、中継映像から直接把握することができない場合がある。本実施形態によれば、そのような場合でも視聴者に走者の表情を伝えることが可能となる。

以上のように、本実施形態によれば、走者の情報や推定速度に加え、走者の表情を視聴者に伝えることが可能となる。

［第３の実施形態］
続いて、走者の速度の推定方法に変更を加えた本発明の第３の実施形態について図面を参照して詳細に説明する。図９は、本発明の第３の実施形態の視聴支援装置１００ｂの構成を示す図である。図３に示した第１の実施形態の視聴支援装置１００との差異は、速度推定部１２０が速度推定部１２０ｂに置き換えられ、基準背景画像データベース（基準背景画像ＤＢ）１６０が追加されている点である。その他の構成及び動作は第１の実施形態と同様であるので、以下、相違点を中心に説明する。

本実施形態の速度推定部１２０ｂは、基準背景画像ＤＢ１６０に格納された情報を参照して中継映像の被写体である走者の背景画像の変化から、走者の速度を推定し、その結果を出力部１４０に出力する。

図１０は、基準背景画像ＤＢ１６０に保持される情報の一例を示す図である。図１０の例では、走者の位置を特定するための基準背景画像と、当該画像に対応する地点（スタート地点からの距離）とを対応付けた情報が格納されている。速度推定部１２０ｂは、画像切り出し部１１０から送られた画像（例えば、図１１）を受け取ると、背景画像を取り出す（図１２参照）。そして、速度推定部１２０ｂは、基準背景画像ＤＢ１６０から、その背景画像の特徴量と共通する特徴量を持つ基準背景画像に対応付けられた地点を走者の位置として特定する。上記の処理を繰り返すことで、例えば、図１１に示す時刻ｔ１の走者位置と、時刻ｔ＋１の走者位置をそれぞれ特定し、速度（推定移動距離／（ｔ２−ｔ１））を推定することができる。なお、画像切り出し部１１０から送られた画像及び基準背景画像ＤＢ１６０に保持される画像は、第１の実施形態と同様に、走者の足が地面についたタイミングで切り出したものが好ましい。

上記基準背景画像は、移動体の移動経路をモデル移動体が移動した際の撮影映像に含まれる前記モデル移動体の背景画像を用いることができる。また、このモデル移動体の背景画像として、過去に行われた同一の大会の映像から切り出した画像を用いることもできる。

本実施形態によれば、カメラ２００（中継車）の速度を用いずに、走者の速度を推定できるという利点がある。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ及びＢの少なくともいずれかという意味で用いる。

例えば、上記した実施形態では、視聴支援装置１００を介して中継映像がテレビジョン受像機で再生される例を挙げて説明したが、視聴支援装置１００の形態はこれに限られない。例えば、視聴支援装置１００に、動画配信事業者等がインターネットを介して配信する中継映像についてその被写体の速度推定と、推定した速度の提供を行わせてもよい。この場合、視聴支援装置１００による速度情報等の提供先は、インターネット経由で動画再生が可能なＰＣ（パーソナルコンピュータ）、タブレット端末、スマートフォンその他の機器となる。もちろん、インターネット接続機能を備えたテレビジョン受像機もこれらの機器に含まれる。

また、上記した実施形態では、主として中継映像から切り出した画像を用いて、被写体を特定し、かつ、被写体の速度を推定するものとして説明したが、その他の補助情報を用いて、推定した速度を補正したり、誤りを除去する構成も採用可能である。例えば、中継車の速度情報が得られる場合、その情報を用いて被写体の推定速度が正しいか否かを検証することができる。また、競技によっては、走者等の体や着用物にＲＦＩＤタグやチップの取り付けが義務付けられている場合がある。これらのＲＦＩＤタグやチップから得られる情報を用いて、走者の特定やその推定速度の検証を行うことも可能である。

例えば、上記した実施形態では、ロードレースの中継映像から走者の情報と、その推定速度を提供する例を挙げて説明したが、本発明の適用範囲は、これに限られず、中継映像が得られる競技全般に適用可能である。例えば、陸上選手のトレーニングなどでも、カメラで撮影した映像からリアルタイムで速度距離を計測してトレーニングに活用するといった用途が考えられる。また、その他、トラック競技全般のほか、競輪、競馬、自動車レース、水泳などの中継映像の被写体の速度推定にも適用可能である。

また、競争系の競技以外にも、例えば、イベント会場などの警備用途で巡回しているドローンなどで撮影された映像について、上述した方法で被写体を特定し、その速度を推定して、警備担当者に通知するという用途にも適用可能である。例えば、警備指揮者に対し、特定の監視対象者と、その速度情報とを提供することで、警備担当者を差し向けたり、警備範囲を広げるといった指揮用途にも適用可能である。

また、上記した第１〜第３の実施形態に示した手順は、視聴支援装置１０、１００〜１００ｃとして機能するコンピュータ（図１３の９０００）に、視聴支援装置１０、１００〜１００ｃとしての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１３のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１３のＣＰＵ９０１０にて、移動体特定プログラムや速度推定プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。

即ち、上記した各実施形態に示した視聴支援装置１０、１００〜１００ｃの各部（処理手段、機能）は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による視聴支援装置参照）
［第２の形態］
上記した視聴支援装置が取り扱う移動体は、競争系競技の走者であり、
前記切り出す手段は、前記走者の足が地についたタイミングで、画像を切り出す構成を採ることができる。
［第３の形態］
前記移動体の速度を推定する手段は、
前記移動体が映し出された画像から、カメラと走者の相対距離を推定し、
前記移動体が映し出された画像のフレームレートと、前記カメラと走者の相対距離の変化から、前記カメラと移動体の相対速度を推定する処理を実行する構成を採ることができる。
［第４の形態］
前記移動体の速度を推定する手段は、
前記移動体の相対速度とカメラの移動速度とを合算することで、走者の移動速度を計算する構成を採ることができる。
［第５の形態］
上記した視聴支援装置において、
前記移動体の速度を推定する手段は、前記移動体が映し出された画像の背景画像から計算した特徴量の変化に基づいて、前記移動体の速度を推定する構成を採ることができる。
［第６の形態］
上記した視聴支援装置において、
前記移動体の速度を推定する手段は、
前記移動体の移動経路をモデル移動体が移動した際の撮影映像に含まれる前記モデル移動体の背景画像の特徴量と、
前記移動体が映し出された画像の背景画像から計算した特徴量とを照合することにより、前記移動体の位置を特定し、
前記特定した位置を用いて前記移動体の位置を推定する構成を採用できる。
［第７の形態］
第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す手段と、
前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記複数の移動体の間の距離差を推定する手段と、
前記複数の移動体の間の距離差を出力する手段と、を備えた
視聴支援装置。
［第８の形態］
上記した視聴支援装置は、
さらに、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する手段を備え、
前記特定した移動体の情報と、その推定速度または距離差の少なくとも一方と、を出力する構成を採ることができる。
［第９の形態］
上記した視聴支援装置において、
前記移動体は、競争系競技の走者であり、
前記移動体を特定する手段は、
前記走者の顔画像の特徴又はゼッケンの情報に基づいて、前記走者を特定する構成を採ることができる。
［第１０の形態］
上記した視聴支援装置において、
さらに、
前記走者の顔画像の特徴から、前記走者の表情を判定する手段を備え、
前記出力する手段は、前記走者の表情を所定の態様で出力する構成を採ることができる。
［第１１の形態］
（上記第３の視点による視聴支援方法参照）
［第１２の形態］
（上記第４の視点によるプログラム参照）
なお、上記第１１〜第１２の形態は、第１の形態と同様に、第２〜第１０の形態に展開することが可能である。

なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１００、１００ａ、１００ｂ、１００ｃ 視聴支援装置
１１、１１０ 画像切り出し部
１２、１２０、１２０ｂ 速度推定部
１４、１４０ 出力部
１８、１８０ 距離差推定部
１３０ 移動体特定部
１５０ 走者情報ＤＢ（データベース）
１５０ａ 走者特定エンジン
１６０ 基準背景画像ＤＢ（データベース）
１７０ 表情判定部
２００ カメラ
３００ テレビジョン受像機
４００ａ、４００ｂ ボックス
４０１ａ、４０１ｂ アイコン
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置

Claims (12)

1. 第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段と、
   前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段と、
   前記移動体の推定速度を出力する手段と、を備えた
   視聴支援装置。
2. 前記移動体は、競争系競技の走者であり、
   前記切り出す手段は、前記走者の足が地についたタイミングで、画像を切り出す請求項１の視聴支援装置。
3. 前記移動体の速度を推定する手段は、
   前記移動体が映し出された画像から、カメラと走者の相対距離を推定し、
   前記移動体が映し出された画像のフレームレートと、前記カメラと走者の相対距離の変化から、前記カメラと移動体の相対速度を推定する処理を実行する請求項１又は２の視聴支援装置。
4. 前記移動体の速度を推定する手段は、
   前記移動体の相対速度とカメラの移動速度とを合算することで、走者の移動速度を計算する請求項３の視聴支援装置。
5. 前記移動体の速度を推定する手段は、前記移動体が映し出された画像の背景画像から計算した特徴量の変化に基づいて、前記移動体の速度を推定する請求項１又は２の視聴支援装置。
6. 前記移動体の速度を推定する手段は、
   前記移動体の移動経路をモデル移動体が移動した際の撮影映像に含まれる前記モデル移動体の背景画像の特徴量と、
   前記移動体が映し出された画像の背景画像から計算した特徴量とを照合することにより、前記移動体の位置を特定し、
   前記特定した位置を用いて前記移動体の位置を推定する請求項１から３いずれか一の視聴支援装置。
7. 第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す手段と、
   前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記複数の移動体の間の距離差を推定する手段と、
   前記複数の移動体の間の距離差を出力する手段と、を備えた
   視聴支援装置。
8. さらに、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する手段を備え、
   前記特定した移動体の情報と、その推定速度または距離差の少なくとも一方と、を出力する請求項１から７いずれか一の視聴支援装置。
9. 前記移動体は、競争系競技の走者であり、
   前記移動体を特定する手段は、
   前記走者の顔画像の特徴又はゼッケンの情報に基づいて、前記走者を特定する請求項８の視聴支援装置。
10. さらに、
    前記走者の顔画像の特徴から、前記走者の表情を判定する手段を備え、
    前記出力する手段は、前記走者の表情を所定の態様で出力する請求項９の視聴支援装置。
11. 第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出すステップと、
    前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定するステップと、
    前記移動体の推定速度を出力するステップと、
    を含む視聴支援方法。
12. 視聴支援装置を構成するコンピュータに、
    第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す処理と、
    前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する処理と、
    前記移動体の推定速度を出力する処理と、
    を実行させるプログラム。

Images