JP7334527B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、卓球のプレーの内容を分かりやすく伝えるようにした情報処理装置、情報処理方法、及び、プログラムに関する。

従来、複数のスポーツの選手のプレー映像の見えの差異を低減し、容易に比較できるようにする技術が提案されている（例えば、特許文献１参照）。

特開２０１９－９２００６号公報

しかしながら、特許文献１では、卓球については特に検討されていない。

本技術は、このような状況に鑑みてなされたものであり、卓球のプレーの内容を分かりやすく伝えるようにするものである。

本技術の一側面の情報処理装置は、卓球のプレーの映像であるプレー映像内において、ボールの軌道における複数の前記ボールの位置を間欠的に示し、少なくとも一部の前記ボールの位置における前記ボール上又は前記ボールの周囲に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する画像処理部を備える。

本技術の一側面の情報処理方法は、情報処理装置が、卓球のプレーの映像であるプレー映像内において、ボールの軌道における複数の前記ボールの位置を間欠的に示し、少なくとも一部の前記ボールの位置における前記ボール上又は前記ボールの周囲に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する。

本技術の一側面のプログラムは、卓球のプレーの映像であるプレー映像内において、ボールの軌道における複数の前記ボールの位置を間欠的に示し、少なくとも一部の前記ボールの位置における前記ボール上又は前記ボールの周囲に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する処理をコンピュータに実行させる。

本技術の一側面においては、卓球のプレーの映像であるプレー映像内において、ボールの軌道における複数の前記ボールの位置を間欠的に示し、少なくとも一部の前記ボールの位置における前記ボール上又は前記ボールの周囲に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報が生成される。

本技術を適用した情報処理システムの構成例を示すブロック図である。 カメラ及びイメージセンサの設置位置の例を示す図である。 情報処理装置の構成例を示すブロック図である。 情報処理部の構成例を示すブロック図である。 分析編集処理を説明するためのフローチャートである。 視覚情報付加映像の第１の例を示す図である。 視覚情報付加映像の第２の例を示す図である。 視覚情報付加映像の第３の例を示す図である。 視覚情報付加映像の第４の例を示す図である。 視覚情報付加映像の第５の例を示す図である。 視覚情報付加映像の第６の例を示す図である。 視覚情報付加映像の第７の例を示す図である。 視覚情報付加映像の第８の例を示す図である。 視覚情報付加映像の第９の例を示す図である。 視覚情報付加映像の第１０の例を示す図である。 ボール情報の表示位置の例を示す図である。 視覚情報付加映像の第１１の例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。 視覚情報の変形例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．実施の形態
２．変形例
３．その他

＜＜１．実施の形態＞＞
図１乃至図２７を参照して、本技術の実施の形態について説明する。

＜情報処理システムの構成例＞
図１は、本技術を適用した情報処理システム１０１の一実施の形態を示すブロック図である。

情報処理システム１０１は、例えば、卓球の試合又は練習におけるプレーの撮影及び分析、並びに、卓球のプレーの映像（以下、プレー映像と称する）の編集及び配信等を行う。

情報処理システム１０１は、カメラ１１１－１乃至カメラ１１１－ｍ、イメージセンサ１１２－１乃至イメージセンサ１１２－ｎ、情報処理装置１１３、サーバ１１４、及び、ネットワーク１２１を備える。情報処理装置１１３とサーバ１１４は、インターネット等からなるネットワーク１２１を介して相互に接続されており、相互に通信することが可能である。

カメラ１１１－１乃至カメラ１１１－ｍは、例えば、放送用のカメラにより構成される。カメラ１１１－１乃至カメラ１１１－ｍの少なくとも一部は、高速度撮影（例えば、９６０ｆｐｓ）が可能なハイスピードカメラにより構成される。

例えば、カメラ１１１－１乃至カメラ１１１－ｍは、卓球のプレーを撮影し、得られたプレー映像を、情報処理装置１１３や他の放送用の機器等（不図示）に供給する。プレー映像は、例えば、卓球の試合の放送、プレーの分析等に用いられる。

イメージセンサ１１２－１乃至イメージセンサ１１２－ｎは、例えば、高速撮影（例えば、１０００ｆｐｓ）、及び、高速センシング（例えば、対象物の検出及び追跡）が可能なＣＭＯＳ（Complementary MOS）イメージセンサにより構成される。

例えば、イメージセンサ１１２－１乃至イメージセンサ１１２－ｎは、卓球のプレーの撮影を行うとともに、対象物となる卓球のボールの検出及び追跡を行う。また、イメージセンサ１１２－１乃至イメージセンサ１１２－ｎは、得られた画像（以下、センシング画像と称する）、並びに、ボールの検出及び追跡結果を含む情報（以下、センシング情報と称する）を情報処理装置１１３に供給する。

情報処理装置１１３は、例えば、映像編集機能を備える装置、例えば、コンピュータ、映像編集機器、放送機器等により構成される。情報処理装置１１３は、プレー映像、センシング画像、及び、センシング情報に基づいて、卓球のプレーの分析を行う。

また、情報処理装置１１３は、ユーザの指示やプレーの分析結果等に基づいて、プレー映像の編集を行う。情報処理装置１１３は、編集後のプレー映像（以下、編集済みプレー映像と称する）を記憶したり、出力したり、ネットワーク１２１を介してサーバ１１４に送信したりする。

サーバ１１４は、例えば、編集済みプレー映像を蓄積し、編集済みプレー映像の配信等を行う。

なお、以下、カメラ１１１－１乃至カメラ１１１－ｍを個々に区別する必要がない場合、単にカメラ１１１と称する。また、以下、イメージセンサ１１２－１乃至イメージセンサ１１２－ｎを個々に区別する必要がない場合、単にイメージセンサ１１２と称する。

＜カメラ１１１及びイメージセンサ１１２の設置位置の例＞
図２は、カメラ１１１及びイメージセンサ１１２の設置位置の例を示している。

カメラ１１１は、例えば、卓球の試合の中継やプレーの分析に必要な位置に設置される。この例では、カメラ１１１－１乃至カメラ１１１－８が、卓球台１５１の周囲を取り囲み、それぞれ卓球台１５１の方向を撮影できるように設置されている。

イメージセンサ１１２は、例えば、プレー中の卓球のボールを常時追跡可能な位置に設置される。この例では、イメージセンサ１１２－１及びイメージセンサ１１２－２が、ネット１５２を卓球台１５１に設置するためのサポート（不図示）の根元又は頂上付近に、卓球台１５１のコート内及び選手を撮影できるように設置される。

なお、図２のカメラ１１１及びイメージセンサ１１２の台数及び設置位置は、その一例であり、任意に変更することが可能である。例えば、カメラ１１１やイメージセンサ１１２を卓球台１５１の上方に設置し、卓球台１５１を上から見下ろすように撮影できるようにしてもよい。ただし、カメラ１１１及びイメージセンサ１１２は、選手のプレーに支障が出ない位置に設置することが要求される。

＜情報処理装置１１３の構成例＞
図３は、情報処理装置１１３の構成例を示すブロック図である。

情報処理装置１１３は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、バス２０４、入出力インタフェース２０５、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、ドライブ２１０、及び、リムーバブルメディア２１１を備える。

ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及び、ドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォン等を備える。

出力部２０７は、ディスプレイ、スピーカ等を備える。

記憶部２０８は、ハードディスクや不揮発性のメモリ等を備える。

通信部２０９は、ネットワークインタフェース等を備える。

ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

情報処理装置１１３では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、一連の処理を行う。

また、ＣＰＵ２０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

情報処理装置１１３では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。

＜情報処理部２５１の構成例＞
図４は、例えば、情報処理装置１１３のＣＰＵ２０１がプログラムを実行することにより実現される情報処理部２５１の構成例を示している。

情報処理部２５１は、分析部２６１、画像処理部２６２、表示制御部２６３、及び、通信制御部２６４を備える。

分析部２６１は、カメラ１１１から供給されるプレー映像、並びに、イメージセンサ１１２から供給されるセンシング画像及びセンシング情報に基づいて、卓球のプレーの分析を行う。例えば、分析部２６１は、ボールの特性（例えば、速度、回転方向、回転数（回転速度）等）、ボールの軌道、スイングの軌道、ラケットにボールが当たった位置（以下、ヒットポイントと称する）、打法、及び、コートでボールがバウンドした位置等の分析を行う。

画像処理部２６２は、各種の画像処理を行う。例えば、画像処理部２６２は、プレー映像の編集に関わる画像処理を行う。具体的には、例えば、画像処理部２６２は、分析部２６１によるプレーの分析結果、又は、編集者等の指示に基づいて、各カメラ１１１により撮影されたプレー映像からの必要なシーンの抽出及び合成、プレーの内容を示す視覚情報の生成及びプレー映像への合成等を行う。また、画像処理部２６２は、編集後の編集済みプレー映像を出力する。

表示制御部２６３は、出力部２０７が備えるディスプレイ等を制御し、編集前のプレー映像、編集済みプレー映像、及び、センシング画像等の表示の制御を行う。

通信制御部２６４は、通信部２０９による通信の制御を行う。

＜分析編集処理＞
次に、図５のフローチャートを参照して、情報処理システム１０１により実行される分析編集処理について説明する。

ステップＳ１において、各カメラ１１１及び各イメージセンサ１１２は、卓球のプレーの撮影を行う。

具体的には、各カメラ１１１は、卓球のプレーの撮影を行い、得られたプレー映像を情報処理装置１１３に供給する。

各イメージセンサ１１２は、各カメラ１１１による撮影と並行して、卓球のプレーの撮影を行うとともに、ボールの検出及び追跡を行う。各イメージセンサ１１２は、得られたセンシング画像及びセンシング情報を情報処理装置１１３に供給する。

情報処理装置１１３は、例えば、取得したプレー映像、センシング画像、及び、センシング情報を記憶部２０８に記憶させる。

ステップＳ２において、画像処理部２６２は、シーンの抽出を行う。例えば、画像処理部２６２は、入力部２０６を介して入力される編集者等の指示に基づいて、各カメラ１１１により撮影されたプレー映像の中から、プレーの分析や編集を行う対象となるシーンを抽出する。例えば、試合中の重要なシーンや、監督、コーチ、選手等が分析したいシーン等が抽出される。

なお、ステップＳ２の処理を省略して、ステップＳ３において、全てのプレー映像の分析が行われた後に、ステップＳ４において、シーンの抽出が行われるようにしてもよい。

ステップＳ３において、分析部２６１は、プレーの分析を行う。

例えば、分析部２６１は、プレー映像に基づいて、ボールの回転方向及び回転数（回転速度）を分析する。

ここで、ボールの回転方向及び回転数の分析方法の一例について説明する。

例えば、分析部２６１は、各フレームのボール画像のテクスチャ、より具体的には、ボール画像のロゴの動きに基づいて、ボールの回転方向及び回転数を推定する。

具体的には、分析部２６１は、背景差分法等を用いて、プレー映像の各フレームから、ボールが写っている領域、及び、ボールの中心点を検出する。分析部２６１は、プレー映像の各フレームから、検出したボールの中心点を中心にして、ボールが写っている領域の画像（以下、ボール画像と称する）を抽出する。分析部２６１は、必要に応じて、抽出した各ボール画像間でボールのサイズが合うように、ボール画像の大きさを調整する。

次に、分析部２６１は、各ボール画像を２値化し、２値化したボール画像に基づいて、ボールのロゴの中心点を検出する。

次に、分析部２６１は、各ボール画像におけるボールのロゴの中心点の座標の平均値と、ボールの中心点とを結ぶことにより、ボールの回転軸を検出する。

そして、分析部２６１は、例えば、異なる２方向以上から撮影したプレー映像に基づいてそれぞれ検出したボールの回転軸に基づいて、ワールド座標系におけるボールの回転軸の傾きを算出する。

また、分析部２６１は、ボール画像におけるボールのロゴの中心点の移動方向に基づいて、ボールの回転軸に対する回転方向を検出する。

さらに、分析部２６１は、ボール画像においてボールのロゴの中心点が略同じ位置に現れるまでのフレーム間隔を検出する。分析部２６１は、検出したフレーム間隔に対応する時間を、ボールが１回転するのに要する時間と推定する。そして、分析部２６１は、ボールが１回転するのに要する時間に基づいて、ボールの回転数（単位はｒｐｍ（rotations per minute））を計算する。

なお、上述したボールの回転方向及び回転数の分析方法は、その一例であり、異なる方法を用いることも可能である。

また、例えば、分析部２６１は、プレー映像においてボール及びラケットをトラッキングすることにより、スイング（ラケット）の軌道、及び、ラケットにボールが当たった位置（ヒットポイント）を検出する。

さらに、分析部２６１は、センシング画像及びセンシング情報に基づいて、プレー中のボールの軌道（コース、球筋）を検出する。

なお、例えば、カメラ１１１により撮影されたプレー映像の各フレームにおけるボールの位置を辿ることにより、球筋を検出することも可能である。

しかし、イメージセンサ１１２の方がカメラ１１１よりフレームレートが大きい。また、各カメラ１１１は、他のカメラ１１１と連携して、放送用のプレー映像の撮影を行うため、選手やボールの位置によって、ボールが見えなくなり、球筋を見失う場合がある。一方、イメージセンサ１１２は、上述したように、プレー中のボールを常時追跡可能な位置に設置されるため、想定外のプレーが発生しない限り、球筋を見失うことがない。

従って、センシング画像及びセンシング情報を用いた方が、より詳細かつ正確に球筋を検出することが可能である。

また、分析部２６１は、検出したボールの軌道に基づいて、コートでボールがバウンドした位置を検出する。

さらに、分析部２６１は、センシング画像及びセンシング情報に基づいて、プレー中のボールの速度（球速）を検出する。例えば、分析部２６１は、異なるフレームのセンシング画像間におけるボールの移動距離、及び、当該フレーム間の時間に基づいて、球速を算出する。

また、分析部２６１は、検出したスイングの軌道、ヒットポイント、並びに、ボールの回転方向、回転数、速度、及び、軌道等に基づいて、選手の各プレーにおける打法を検出する。ここで、打法の種類は、例えば、サーブ、ドライブ、カット、プッシュ、スマッシュ、ロビング等に分類される。また、各打法をさらに細かく分類して（例えば、サーブの種類を分類して）、検出するようにしてもよい。

ステップＳ４において、画像処理部２６２は、プレー映像の編集を行う。

例えば、画像処理部２６２は、プレーの内容を視覚的に示す視覚情報を生成する。プレーの内容は、例えば、プレーの分析結果、得点経過、選手に関する情報等を含む。

なお、画像処理部２６２は、視覚情報を自動的に生成する場合もあるし、入力部２０６を介して入力される編集者等の指示に基づいて、生成する場合もある。

そして、画像処理部２６２は、プレー映像の各フレームに必要に応じて視覚情報を重畳する。なお、視覚情報の例については、後述する。

また、例えば、画像処理部２６２は、必要に応じて、プレー映像から主要なシーンを抽出して繋ぎ合わせる。この作業は、例えば、画像処理部２６２が、編集者等の指示によらずに自動的に行う場合もあるし、入力部２０６を介して入力される編集者等の指示に基づいて行う場合もある。

なお、前者の場合、例えば、画像処理部２６２は、プレーの分析結果等に基づいて、重要なシーンや必要なシーン等を抽出する。例えば、試合の行方を左右するシーン、最高の球速や回転数が検出されたシーン、最もラリーが長く続いたシーン、観客の歓声が最も大きくなったシーン等が抽出される。

ステップＳ５において、情報処理装置１１３は、編集済みのプレー映像を出力又は記憶する。

例えば、編集済みプレー映像を記憶部２０８に記憶させる。

例えば、通信部２０９は、通信制御部２６４の制御の下に、編集済みプレー映像を、ネットワークを介して、サーバ１４１に送信する。

これに対して、サーバ１４１は、例えば、編集済みプレー映像を蓄積し、動画配信サービス等を用いて配信する。

例えば、情報処理装置１１３は、後段の放送用機器（不図示）に編集済みプレー映像を出力する。そして、編集済みプレー映像は、例えば、卓球の試合の中継において、試合中のゲームとゲームの間、試合と試合の間、試合終了後等に流される。また、例えば、編集済みプレー映像は、卓球の中継以外の番組（例えば、スポーツニュース）等で流される。

＜視覚情報の例＞
次に、図６乃至図２７を参照して、プレー映像に重畳される視覚情報の例について説明する。

まず、図６乃至図１８を参照して、視覚情報が重畳されたプレー映像の例について説明する。

なお、図６乃至図１５、図１７、及び、図１８において、視覚情報を重畳する前のプレー映像を点線で示し、視覚情報を実線で示している。視覚情報を重畳する前のプレー映像には、卓球台１５１、ネット１５２、選手３０１、ラケット３０２、及び、ボール３０３が映っている。

また、以下、プレー映像を見るユーザを視聴者と称する。

＜視覚情報付加映像の第１の例＞
図６は、視覚情報付加映像の第１の例を示している。

この例では、ボール情報３２１及び選手情報３２２がプレー映像に重畳されている。

ボール情報３２１は、プレー映像の左下に重畳されている。ボール情報３２１は、ボール３０３の特性（ボール３０３の動き）に関する情報を含む。具体的には、ボール情報３２１には、ボール３０３の回転方向を示す画像（以下、ボール回転画像と称する）、回転数、及び、回転方向が、横に並べて表示されている。

ボール回転画像においては、ボールの画像の周囲を取り巻くように、回転方向を示す矢印が描かれている。これにより、視聴者は、ボール３０３の回転方向を直感的に認識することが可能になる。

なお、例えば、ボール回転画像において、ボール又は矢印を回転方向に回転させるアニメーション表示が行われるようにしてもよい。

選手情報３２２は、プレー映像の右下に重畳されている。選手情報３２２は、選手３０１に関する情報を含む。具体的には、選手情報３２２には、選手３０１の上半身の画像、並びに、選手３０１のプロファイル（所属チーム及び選手名）が横に並べて表示されている。

＜視覚情報付加映像の第２の例＞
図７は、視覚情報付加映像の第２の例を示している。なお、図中、図６と対応する部分には同じ符号を付しており、その説明は適宜省略する。

図７の視覚情報付加映像は、図６の視覚情報付加映像と比較して、ボール情報３２１の代わりにボール情報３４１がプレー映像に重畳され、ボール３４２－１乃至ボール３４２－１２がプレー映像に重畳されている点が異なる。

なお、図を分かりやすくするために、ボール３４２－１乃至ボール３４２－１２の符号の図示が一部省略されている。実際には、ボール３４２－１乃至ボール３４２－９は、図内の右から左方向に順番に並び、ボール３４２－９乃至ボール３４２－１２は、図内の左から右方向に順番に並んでいる。これは、後で示す図８乃至図１０においても同様である。

ボール情報３４１は、プレー映像の左下に重畳されている。ボール情報３４１は、図６のボール情報３２１と比較して、ボール３０３の速度が追加されている点が異なる。また、ボール３０３の回転数が、大会の最高記録であることが示されている。

ボール３４２－１乃至ボール３４２－１２は、ボール３０３の軌道を示す視覚情報である。例えば、ボール３４２－１乃至ボール３４２－１２は、図７のプレー映像より前のフレームにおけるボール３０３の位置、すなわち、過去のボール３０３の軌道におけるボール３０３の位置を間欠的に示している。

なお、例えば、ボール３４２－１乃至ボール３４２－１２として、実際のボール３０３の画像が用いられてもよいし、ＣＧ（Computer Graphics）により生成した画像が用いられてもよい。なお、ボール３４２－１乃至ボール３４２－１２に実際のボール３０３の画像が用いられる場合、プレー映像のボール３０３と区別できるように、半透明にする等の画像処理が施されることが望ましい。

視聴者は、ボール３４２－１乃至ボール３４２－１２により、現在の位置に達するまでのボール３０３の軌道を容易に認識することができる。

＜視覚情報付加映像の第３の例＞
図８は、視覚情報付加映像の第３の例を示している。なお、図中、図７と対応する部分には同じ符号を付しており、その説明は適宜省略する。

図８の視覚情報付加映像は、図７の視覚情報付加映像と比較して、矢印３６１－１乃至矢印３６１－１３、及び、ボール情報３６２－１乃至ボール情報３６２－４がプレー映像に重畳されている点が異なる。

なお、図を分かりやすくするために、矢印３６１－１乃至矢印３６１－１３の符号の図示が一部省略されている。実際には、矢印３６１－１乃至矢印３６１－１２は、ボール３４２－１乃至ボール３４２－１２の上に重畳され、矢印３６１－１３は、ボール３０３の上に重畳されている。これは、後で示す図９においても同様である。

矢印３６１－１乃至矢印３６１－１３は、表示されている位置におけるボール３０３の回転方向を示す視覚効果である。すなわち、矢印３６１－１乃至矢印３６１－１３は、それぞれボール３４２－１乃至ボール３４２－１２、及び、ボール３０３の周囲を回転方向に沿って取り巻くように描かれている。これにより、視聴者は、ボール３０３の回転方向の時系列の変化を直感的に認識することができる。

なお、例えば、矢印３６１－１乃至矢印３６１－１３を回転方向に回転させるアニメーション表示が行われるようにしてもよい。

また、例えば、ボール３０３の回転数により、矢印３６１－１乃至矢印３６１－１３の表示態様（例えば、線の色や太さ等）が変化するようにしてもよい。

ボール情報３６２－１乃至ボール情報３６２－４は、ボール３４２－２、ボール３４２－４、ボール３４２－６、及び、ボール３４２－８の上方に重畳されている。ボール情報３６２－１乃至ボール情報３６２－４は、ボール３４２－２、ボール３４２－４、ボール３４２－６、及び、ボール３４２－８により示される位置におけるボール３０３の特性に関する情報をそれぞれ含む。具体的には、ボール情報３６２－１乃至ボール情報３６２－４には、それぞれ各位置におけるボール３０３の回転数及び速度が縦に並べて表示されている。

これにより、視聴者は、ボール３０３の回転数及び速度の時系列の変化を具体的に知ることができる。

＜視覚情報付加映像の第４の例＞
図９は、視覚情報付加映像の第４の例を示している。なお、図中、図８と対応する部分には同じ符号を付しており、その説明は適宜省略する。

図９の視覚情報付加映像は、図８の視覚情報付加映像と比較して、ラリー情報３８１が追加されている点が異なる。

ラリー情報３８１は、プレー映像の右端において、選手情報３２２の上方に重畳されている。また、ラリー情報３８１が重畳されることにより、図８の視覚情報付加映像において表示されていた、ボール３４２－１及び矢印３６１－１、ボール３４２－２及び矢印３６１－２、並びに、ボール情報３６２－１が消えている。

ラリー情報３８１は、ラリーの各ストロークに関する情報を含む。具体的には、この例では、ラリーの１打目から３打目までのストロークに関する情報が、上から順に並べられている。また、各ストロークに関する情報には、打法、回転数、速度、及び、ボール回転画像がそれぞれ表示されている。ボール回転画像は、上述した図６のボール情報３２１のボール回転画像と同様に、ボール３０３の回転方向を示す画像である。

なお、ラリーが４回以上連続した場合、例えば、最新の３回のストロークに関する情報がラリー情報３８１内に表示される。

これにより、視聴者は、ラリーの時系列の推移を容易かつ具体的に知ることができる。

＜視覚情報付加映像の第５の例＞
図１０は、視覚情報付加映像の第５の例を示している。なお、図中、図７と対応する部分には同じ符号を付しており、その説明は適宜省略する。

図１０の視覚情報付加映像は、図７の視覚情報付加映像と比較して、選手情報３２２及びボール情報３４１が削除され、ヒットポイント情報４０１及びプレー情報４０２が追加されている点が異なる。

ヒットポイント情報４０１は、プレー映像内のラケット３０２のボール３０３を打った面（以下、ヒット面と称する）の上に重畳されている。具体的には、ヒットポイント情報４０１において、ラケット３０２のヒット面が、縦３本及び横３本の補助線により１６個の領域に分割されている。ここで、ラケット３０２のヒット面の縦方向とは、ラケット３０２のグリップが伸びている方向であり、横方向とはグリップが伸びている方向に対して垂直な方向である。また、ラケット３０２のヒット面において、ボール３０３を打った位置（すなわち、ヒットポイント）が、黒丸と黒丸を囲む円により示されている。

プレー情報４０２は、プレー映像の下端に重畳されている。プレー情報４０２は、ボール３０３の打ち方、及び、ボール３０３の特性に関する情報を含む。

具体的には、プレー情報４０２には、ボール３０３の打ち方に関する情報として、ヒットポイント、及び、スイングスピードが、横に並べて表示されている。ヒットポイントは、ラケット３０２を模した画像上に、ヒットポイント情報４０１と同様の方法により示されている。ただし、ラケット３０２を模した画像は、ヒット面が正面方向を向くように表されており、視聴者がよりヒットポイントを認識しやすくなっている。

また、プレー情報４０２には、ボール３０３の特性に関する情報として、球速、回転数、及び、回転方向が横に並べて表示されている。

これにより、視聴者は、選手３０１が、現在の特性のボール３０３をどのようにして打ったのかを知ることができる。

＜視覚情報付加映像の第６の例＞
図１１は、視覚情報付加映像の第６の例を示している。

この例では、ボール情報４２１及び解説情報４２２がプレー映像に重畳されている。

ボール情報４２１は、プレー映像の左下に重畳されている。ボール情報４２１は、ボール３０３の特性に関する情報を含む。具体的には、ボール情報４２１は、図６のボール情報３２１と比較して、ボール３０３の回転方向が打法により示されている点、及び、ボール３０３の回転数が大会の最高記録であることを示す情報が追加されている点が異なる。

解説情報４２２は、プレー映像において、ボール情報４２１の右側に重畳されている。解説情報４２２は、プレー映像における選手３０１のプレーに関する解説を含む。例えば、解説情報４２２には、選手３０１の作戦やプレーの意図等が示される。

なお、解説情報４２２に示される解説は、例えば、編集者等が入力してもよいし、或いは、プレー映像ととともに流された解説者の解説内容を音声認識した情報が用いられてもよい。

これにより、視聴者は、選手３０１の作戦やプレーの意図等を理解することができ、卓球観戦の醍醐味が増す。

＜視覚情報付加映像の第７の例＞
図１２は、視覚情報付加映像の第７の例を示している。

この例では、視覚効果４４１、視覚効果４４２、及び、プレー情報４４３がプレー映像に重畳されている。

視覚効果４４１は、ボール３０３の軌道及び回転速度を示す視覚情報である。例えば、視覚効果４４１は、選手３０１がサーブを打つためにボール３０３を投げ上げ、ボール３０３が最高点に達したフレームから図１２に示されるフレームまでの間のボール３０３の特徴点を結ぶことにより描かれる複数の波型のラインを含む。また、視覚効果４４１の波型のラインの波長は、ボール３０３の速度に対して回転速度（回転数）が速くなるほど短くなる。

視覚効果４４２は、ボール３０３がラケット３０２に当たった瞬間、すなわち、インパクトの瞬間のボール３０３の位置を示す視覚情報である。

プレー情報４４３は、プレー映像の右端に重畳されている。プレー情報４４３は、インパクトの前と後のボール３０３の特性、及び、スイングスピードに関する情報を含む。具体的には、プレー情報４４３には、インパクト前のボール３０３のスピード、回転数、及び、回転方向、スイングスピード、並びに、インパクト後のボール３０３のスピード、回転数、及び、回転方向が、縦に並べて表示されている。

これにより、視聴者は、インパクトの位置、及び、インパクト前とインパクト後のボール３０３の動きの変化を容易に認識することができる。

＜視覚情報付加映像の第８の例＞
図１３は、視覚情報付加映像の第８の例を示している。なお、図中、図１２と対応する部分には同じ符号を付しており、その説明は適宜省略する。

第８の視覚情報付加映像は、図１２の視覚情報付加映像と比較して、視覚効果４４１及び視覚効果４４２が削除され、視覚効果４６１が追加されている点が異なる。

視覚効果４６１は、ボール３０３の軌道及び回転方向を示す視覚情報である。例えば、視覚効果４６１は、選手３０１がサーブを打つためにボール３０３を投げ上げ、ボール３０３が最高点に達したフレームから図１３に示されるフレームまでの間のボール３０３の軌道及び回転方向を示すラインを含む。視覚効果４６１は、基本的にボール３０３の軌道を示しているが、軌道の途中で適宜ボール３０３の回転方向を示している。

これにより、視聴者は、ボール３０３の軌道及び回転方向を容易に認識することができる。

＜視覚情報付加映像の第９の例＞
図１４は、視覚情報付加映像の第９の例を示している。

この例では、ボール４８１－１乃至ボール４８１－７、軌道４８２、視覚効果４８３、視覚効果４８４、及び、プレー情報４８５が、プレー映像に重畳されている。

なお、図を分かりやすくするために、ボール４８１－１乃至ボール４８１－７の符号の図示が一部省略されている。実際には、ボール４８１－１乃至ボール４８１－４は、図内の上から下方向に順番に並び、ボール４８１－４乃至ボール４８１－７は、図内の左から右方向に順番に並んでいる。これは、後で示す図１５及び図１７においても同様である。

ボール４８１－１乃至ボール４８１－７、及び、軌道４８２は、ボール３０３の軌道を表す視覚情報である。

ボール４８１－１乃至ボール４８１－７は、ボール３０３の軌道を表す視覚情報である。例えば、ボール４８１－１乃至ボール４８１－７は、図１４のプレー映像より前のフレームにおけるボール３０３の位置、すなわち、過去のボール３０３の軌道におけるボール３０３の位置を間欠的に示している。

なお、例えば、ボール４８１－１乃至ボール４８１－７として、実際のボール３０３の画像が用いられてもよいし、ＣＧにより生成した画像が用いられてもよい。なお、ボール４８１－１乃至ボール４８１－７に実際のボール３０３の画像が用いられる場合、プレー映像のボール３０３と区別できるように、半透明にする等の画像処理が施されることが望ましい。

軌道４８２は、例えば、過去から現在までのフレームにおけるボール３０３の特徴点を結ぶことにより描かれ、ボール３０３の軌道をラインにより示している。

視覚効果４８３は、ボール３０３の回転方向を示す視覚情報である。視覚効果４８３は、ボール３０３の回転方向を複数のラインにより示している。

視覚効果４８４は、スイングの軌道を示す視覚情報である。視覚効果４８４は、視覚効果４８４Ａ乃至視覚効果４８４Ｃを含む。

視覚効果４８４Ａは、例えば、選手３０１がサーブを打つためにラケット３０２を振り上げたときのプレー映像のフレームにおけるラケット３０２のヒット面の位置を示す。具体的には、視覚効果４８４Ａは、ラケット３０２のヒット面の外周を示すライン、ヒット面の縦方向の頂点を結ぶライン、及び、ヒット面の横方向の頂点を結ぶラインを含む。

視覚効果４８４Ｂは、例えば、図１４のプレー映像におけるラケット３０２のヒット面の位置を示す。具体的には、視覚効果４８４Ｂは、視覚効果４８４Ａと同様に、ラケット３０２のヒット面の外周を示すライン、ヒット面の縦方向の頂点を結ぶライン、及び、ヒット面の横方向の頂点を結ぶラインを含む。

視覚効果４８４Ｃは、ラケット３０２を振り上げたときのプレー映像のフレームから図１４のプレー映像のフレームまでのラケット３０２（スイング）の軌道を示す。具体的には、視覚効果４８４Ｃは、視覚効果４８４Ａから視覚効果４８４Ｂまでのラケット３０２の縦方向の頂点及び横方向の頂点の４点の軌道を示すラインを含む。

これにより、視聴者は、選手３０１のスイングの動きを明確に認識することができる。

プレー情報４８５は、プレー映像の右端より少し中央寄りの位置に重畳されている。プレー情報４８５は、ボール３０３の特性及びスイングスピードに関する情報を含む。具体的には、プレー情報４８５には、球速、回転数、及び、スイングスピードが縦方向に並べて表示されている。

＜視覚情報付加映像の第１０の例＞
図１５は、視覚情報付加映像の第１０の例を示している。なお、図中、図１４と対応する部分には同じ符号を付しており、その説明は適宜省略する。

図１５の視覚情報付加映像は、図１４の視覚情報付加映像と比較して、視覚効果４８４及びプレー情報４８５が削除され、ボール情報５０１、引き出し線５０２、及び、ゲーム情報５０３が追加されている点が異なる。

ボール情報５０１は、プレー映像の中央付近に重畳されている。ボール情報５０１は、ボール３０３の特性に関する情報を含む。具体的には、ボール情報５０１には、ボール３０３の速度及び回転数が、縦に並べて表示されている。

引き出し線５０２は、ボール３０３とボール情報５０１を結ぶことにより、両者を対応付けている。

ゲーム情報５０３は、プレー映像に示されるプレーが行われたゲーム（セット）に関する情報を含む。ゲーム情報５０３には、選手情報５１１及びスコア情報５１２が、縦に並べて表示されている。

選手情報５１１は、対戦中の選手に関する情報を含む。具体的には、選手情報５１１には、各選手の情報が横に並べて表示されている。また、各選手の情報には、所属チーム、上半身の画像、及び、選手名が縦に並べて表示されている。

スコア情報５１２は、左のプレー映像に示されるプレーが行われたゲーム（セット）の得点経過、及び、最終的なスコアに関する情報を含む。

得点経過は、得点を示す数字を含む矩形のマスが、各選手が得点を取った順番に縦方向に並べられることにより示されている。この例では、最初に選手１が１点目から３点目まで取得し、次に選手２が１点目と２点目を取得し、次に選手１が４点目と５点目を取得し、次に選手２が３点目を取得し、次に選手２が６点目を取得し、次に選手２が４点目を取得し、次に選手１が７点目から１１点目までを取得した経過が示されている。そして、スコア情報５１２の下端に、ゲームの最終的なスコアが表示されている。

また、得点経過を示すマスの色、及び、マスの横の丸印により、左のプレー映像がどの場面のシーンであるかが示されている。この例では、左のプレー映像が、選手１が第１ゲーム（第１セット）の４点目を取ったゲーム内のプレーに関するシーンであることが示されている。

これにより、視聴者は、得点経過を容易に把握できるとともに、プレー映像が試合中のどの場面のシーンであるかを容易に認識することができる。

図１６は、図１５のボール情報５０１が、プレー映像内において重畳される位置（表示位置）の例を示している。

ボール情報５０１の表示位置は、ボール３０３の位置により変化する。例えば、ボール情報５０１は、ボール３０３がプレー映像の中心付近に表示されている場合を除いて、基本的にボール３０３よりプレー映像の中心に近い位置に表示される。

例えば、図１６のＡの例では、ボール３０３がプレー映像の左下隅付近に位置している。図１６のＢの例では、ボール３０３がプレー映像の右端、かつ、上下方向の中央付近に位置している。図１６のＣの例では、ボール３０３がプレー映像の右上隅付近に位置している。図１６のＤの例では、ボール３０３がプレー映像の右下隅付近に位置している。これらの例において、ボール情報５０１は、ボール３０３よりプレー映像の中央に近い位置に表示されている。また、ボール情報５０１は、引き出し線５０２によりボール３０３に対応付けられている。

＜視覚情報付加映像の第１１の例＞
図１７は、視覚情報付加映像の第１１の例を示している。なお、図中、図１５と対応する部分には同じ符号を付しており、その説明は適宜省略する。

図１７の視覚情報付加映像は、図１５の視覚情報付加映像と比較して、ゲーム情報５０３の代わりに、ゲーム情報５３１が重畳されている点が異なる。

ゲーム情報５３１は、スコア情報５４１、選手情報５４２、選手情報５４３、サーブ情報５４４、及び、サーブ情報５４５を含む。ゲーム情報５３１内において、スコア情報５４１と、選手情報５４２、サーブ情報５４４、サーブ情報５４５、及び、選手情報５４３とが、横に並べて表示されている。また、選手情報５４２、サーブ情報５４４、サーブ情報５４５、及び、選手情報５４３が縦に並べて表示されている。

スコア情報５４１は、左のプレー映像に示されるプレーが行われたゲーム（セット）の得点経過に関する情報を含む。具体的には、スコア情報５４１は、両選手の得点の経過をグラフにより示している。

選手情報５４２は、一方の選手に関する情報を含み、選手情報５４３は、他方の選手に関する情報を含む。選手情報５４２及び選手情報５４３には、各選手の顔写真、所属チーム、及び、選手名がそれぞれ表示されている。

また、選手情報５４２及び選手情報５４３の一方に、左のプレー映像が、何番目のサーブのゲーム中のシーンであるかが示される。この例では、選手情報５４２に、選手１の４番目のサーブのゲーム中のシーンであることが示されている。

なお、左のプレー映像が選手２のサーブのゲーム中のシーンである場合、選手情報５４３に、選手２の何番目のサーブのゲーム中のシーンであるかが示される。

サーブ情報５４４には、サーブが相手のコート内でバウンドした位置が黒丸で示されている。また、試合中の各サーブが相手のコート内でバウンドした位置の分布が示されている。具体的には、相手のコートが縦４列×横３行のエリアに分割され、サービスがバウンドした位置の分布がエリア単位で示されている。なお、各エリアの表示態様（例えば、色、パターン等）の違いにより、各エリアでサーブがバウンドした頻度の違いが表わされる。

サーブ情報５４５には、サーブが自分のコート内でバウンドした位置が黒丸で示されている。また、試合中の各サーブが相手のコート内でバウンドした位置の分布が示されている。具体的には、相手のコートが縦４列×横２行のエリアに分割され、サービスがバウンドした位置の分布がエリア単位で示されている。なお、各エリアの表示態様（例えば、色、パターン等）の違いにより、各エリアでサーブがバウンドした頻度の違いが表わされる。

これにより、視聴者は、得点経過を容易に把握できるとともに、プレー映像が試合中のどの場面のシーンであるかを認識することができる。また、視聴者は、各選手のサーブの傾向を容易に知ることができる。

なお、例えば、サーブ以外のプレーにおいてコート内でボール３０３がバウンドした位置の分布を示すようにしてもよい。

＜視覚情報付加映像の第１２の例＞
図１８は、視覚情報付加映像の第１２の例を示している。

この例では、視覚効果５６１、ボール情報５６２、得失点情報５６３、及び、選手情報５６４がプレー映像に重畳されている。

視覚効果５６１は、ボール３０３の位置を示す視覚情報である。具体的には、視覚効果５６１は、ボール３０３の周囲を囲んでおり、この視覚効果５６１により、視聴者は、ボール３０３の位置を容易に認識することができる。

ボール情報５６２は、ボール３０３の特性に関する情報を含む。具体的には、ボール情報５６２には、ボール３０３のスピード、回転数、及び、回転方向が横に並べて表示されている。また、ボール情報５６２は、プレー映像が何ゲーム（セット）目の何番目のサーブのゲーム中のシーンであるかを示す情報を含む。

得失点情報５６３は、選手３０１の得失点の傾向に関する情報を含む。具体的には、得失点情報５６３には、選手３０１が、サーブでの得点回数及び失点回数、ラリーの２～３球目における得点回数及び失点回数、ラリーの４～５球目における得点回数及び失点回数、及び、ラリーの６～７球目における得点回数及び失点回数が示されている。これにより、視聴者は、選手３０１の得失点の傾向を知ることができる。

選手情報５６４は、選手３０１に関する情報を含む。具体的には、選手情報５６４には、選手３０１の上半身の画像、並びに、選手３０１のプロファイル（所属チーム及び選手名）が横に並べて表示されている。

＜視覚情報の変形例＞
次に、図１９乃至図２７を参照して、視覚情報の変形例について説明する。

図１９は、ボール３０３の回転数を示す視覚情報である視覚効果６０１の例を示している。視覚効果６０１は、ボール３０３の右側に重畳され、ボール３０３の回転数を大きな文字で３Ｄ表示している。このように、特殊なデザインによりボール３０３の回転数を表示することにより、視聴者にボール３０３の回転数を注目させることができる。

図２０は、ボール３０３の回転数を示す視覚情報である視覚効果６２１の例を示している。視覚効果６２１は、ボール３０３の下方に重畳され、矩形の枠内に回転数、及び、ボール３０３の影を表すＣＧを表示している。このように、特殊なデザインによりボール３０３の回転数を表示することにより、視聴者にボール３０３の回転数を注目させることができる。

図２１は、ボール３０３の回転の様子を示す視覚情報である視覚効果６４１の例を示している。図２１のＡは、ボール３０３の回転数が１００ｒｐｍの場合の例を示し、図２１のＢは、ボール３０３の回転数が２００ｒｐｍの場合の例を示している。なお、図２１内の点線の矢印は、視覚効果６４１の動きを示すものであり、実際には表示されない。

視覚効果６４１は、ボール３０３の周囲を囲むように９０度間隔に配置された４本のバー６４１ａ乃至バー６４１ｄを含む。バー６４１ａ乃至バー６４１ｄは、ボール３０３の外周に対して垂直な方向を向き、ボール３０３の回転数に応じて長さが変化する。すなわち、バー６４１ａ乃至バー６４１ｄは、ボール３０３の回転数が大きくなるほど長くなり、ボール３０３の回転数が小さくなるほど短くなる。また、バー６４１ａ乃至バー６４１ｄは、ボール３０３の回転方向に合わせてボール３０３の周囲を回転する。バー６４１ａ乃至バー６４１ｄの回転速度は、ボール３０３の回転数が大きくなるほど（回転速度が速くなるほど）、速くなり、ボール３０３の回転数が小さくなるほど（回転速度が遅くなるほど）、遅くなる。また、ボール３０３の下方には、回転数が表示されている。

このように、ボール３０３の回転数を視覚的な動きで表すことにより、視聴者にボール３０３の回転数を効果的に伝えることができるとともに、ボール３０３の回転数の違いを実感させることができる。

図２２は、ボール３０３の回転数を示す視覚情報である視覚効果６６１の例を示している。

図２２のＡ乃至Ｃに示されるように、視覚効果６６１は、ボール３０３の右側に重畳され、回転数に応じた速度で回転する。具体的には、視覚効果６６１は、プレー映像の水平方向に伸びる軸周りに回転する。また、視覚効果６６１の回転速度は、ボール３０３の回転数が大きくなるほど（回転速度が速くなるほど）、速くなり、ボール３０３の回転数が小さくなるほど（回転速度が遅くなるほど）、遅くなる。

さらに、例えば、ボール３０３の回転数が所定の閾値以上の場合、図２２のＣに示されるように、視覚効果６６１が正面方向を向いたとき、感嘆符を表す視覚効果６６２が表示される。

このように、ボール３０３の回転数を視覚的な動きで表すことにより、視聴者にボール３０３の回転数を効果的に伝えることができるとともに、ボール３０３の回転数の違いを実感させることができる。

図２３は、ボール３０３の位置を示す視覚情報である視覚効果６８１の例を示している。なお、図中、点線の矢印は、視覚効果６８１の動きを表すものであり、実際には表示されない。

例えば、図２３のＡに示されるように、ボール３０３のみが表示された状態から、図２３のＢに示されるように、ボール３０３の周囲に視覚効果６８１を構成する円弧６８１ａ乃至円弧６８１ｄが現れる。円弧６８１ａ乃至円弧６８１ｄは、中心角が９０度弱であり、ボール３０３の斜め左上、斜め左下、斜め右上、及び、斜め右下において、ボール３０３から少し離れた位置に同時に現れる。その後、円弧６８１ａ乃至円弧６８１ｄは、ボール３０３に徐々に近づき、最終的に、図２３のＣに示されるように、ボール３０３の近傍で停止し、ボール３０３の周囲を囲む。また、円弧６８１ａ乃至円弧６８１ｄが停止するのと略同時に、ボール３０３の回転数を示す視覚情報６８２が、ボール３０３の右側に表示される。

これにより、視聴者がボール３０３に注目し、視聴者にボール３０３の回転数を確実に伝えることができる。

図２４は、ボール３０３の位置を示す視覚情報である視覚効果７０１の例を示している。

まず、図２４のＡに示されるように、感嘆符を表す視覚効果７０１が、ボール３０３の右側に表示される。その後、図２４のＢに示されるように、視覚効果７０１の感嘆符の棒が、ボール３０３の周囲を囲むように伸びていき、最終的に、図２４のＣに示されるように、視覚効果７０１は、ボール３０３の周囲を囲むリング状となる。また、視覚効果７０１がリング状になるのと略同時に、ボール３０３の回転数を示す視覚情報７０２が、ボール３０３の左側に表示される。

これにより、視聴者がボール３０３に注目し、視聴者にボール３０３の回転数を確実に伝えることができる。

図２５は、ボール３０３の回転数を示す視覚情報７１１及び視覚効果７１２の例を示している。図２５のＡは、ボール３０３の回転数が１００ｒｐｍの場合の例を示し、図２５のＢは、ボール３０３の回転数が３００ｒｐｍの場合の例を示している。

視覚情報７１１は、ボール３０３の上方に表示され、ボール３０３の回転数に合わせて表示態様が変化する。具体的には、視覚情報７１１の文字の大きさが、ボール３０３の回転数が大きくなるほど大きくなり、ボール３０３の回転数が小さくなるほど小さくなる。

視覚効果７１２は、ボール３０３の周囲に表示され、ボール３０３の回転数に合わせて表示態様が変化する。具体的には、視覚効果７１３の大きさが、ボール３０３の回転数が大きくなるほど大きくなり、ボール３０３の回転数が小さくなるほど小さくなる。

これにより、視聴者がボール３０３に注目し、視聴者にボール３０３の回転数を確実に伝えることができる。

図２６は、ボール３０３の回転数を示す視覚効果７２１の例を示している。

視覚効果７２１は、ボール３０３の周囲を囲む円形のメータ、及び、ボール３０３の回転数を示す情報を含んでいる。メータの値は、ボール３０３の回転数が大きくなるほど大きくなり、ボール３０３の回転数が小さくなるほど小さくなる。ボール３０３の回転数は、メータの右下に重なるように表示される。

これにより、視聴者がボール３０３に注目し、視聴者にボール３０３の回転数を確実に伝えることができる。

また、ボール３０３の回転数をメータで表示することにより、エンターテイメント性が向上する。例えば、プレー映像が一旦ストップし、ボール３０３が停止した後、ボール３０３の周囲にメータが表示される。そして、ボール３０３の回転数に応じて、メータの値が徐々に上がっていく。これにより、回転数に対する視聴者の注目度を上げることができる。

図２７は、ボール３０３の回転及び軌道に関する視覚情報の例を示している。この例では、ボール３０３の周囲に、視覚効果７４１、視覚効果７４１、広告表示７４３、及び、視覚効果７４４乃至視覚効果７４６が重畳されている。

視覚効果７４１は、ボール３０３の周囲を囲むように表示され、ボール３０３の回転方向に合わせて回転する。また、視覚効果７４１は、ボール３０３の回転数により表示態様が変化する。例えば、視覚効果７４１は、ボールの回転数に応じて色及び回転速度が変化する。

視覚効果７４２は、図２６の視覚効果７２１と同様の円形のメータ、及び、ボール３０３の回転数を示す情報を含む。

広告表示７４３は、例えば、卓球の大会又は編集済み映像を流す番組等のスポンサ名等が表示される。

視覚効果７４４は、ボール３０３の回転によりボール３０３に加わる力の向き及び大きさをベクトルにより表している。

視覚効果７４５は、ボール３０３の実際の軌道を矢印により示している。

視覚効果７４６は、ボール３０３の回転が甘かった場合（回転数が小さかった場合）に想定されるボール３０３の軌道を矢印により示している。

視覚効果７４１及び視覚効果７４２により、ボール３０３の回転方向及び回転数に対する視聴者の注目度を上げるとともに、回転方向及び回転数を視聴者に分かりやすく伝えることができる。また、視聴者が、視覚効果７４１や視覚効果７４２に注目することにより、広告表示７４３による宣伝広告効果が高まる。

また、視覚効果７４４乃至視覚効果７４６により、ボール３０３の回転の効果を視聴者に分かりやすく伝えることができる。

以上のようにして、卓球のプレーの内容を視聴者に分かりやすく伝えることができる。

＜＜２．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

例えば、上述した視覚情報の組み合わせは、その一例であり、任意に変更することが可能である。

また、例えば、視覚情報の表示位置や表示態様（例えば、色、パターン等）を、必要に応じて任意に変更することが可能である。

さらに、例えば、視覚情報をプレー映像に重畳せずに、サーバ１１４や後段の装置に供給し、サーバ１１４や後段の装置で、視覚情報をプレー映像に重畳するようにしてもよい。

また、例えば、表示制御部２６３は、外部の装置における編集済みプレー映像の表示を制御するようにしてもよい。

さらに、例えば、本技術をＡＲ（Augmented Reality）に適用することも可能である。例えば、情報処理装置１１３の一部又は全部が、アイウエア型のウエアラブルデバイスにより構成される。そして、表示制御部２６３は、例えば、プレー映像を見ている視聴者の視界内において、視覚情報をプレー映像に重ねて表示するように出力部２０７に含まれる表示デバイスを制御する。これにより、視聴者の視界内において、視覚情報がプレー映像に重畳される。

さらに、視覚情報の重畳対象となるプレー映像は、必ずしも現実の卓球のプレー映像でなくてもよい。例えば、ゲーム内のプレー映像や、コンピュータグラッフィックスで生成されたプレー映像でもよい。

＜＜３．その他＞＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア（例えば、図３のリムーバブルメディア２１１）に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
卓球のプレーの映像であるプレー映像内のボール上又は前記ボールの周辺に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する画像処理部を
備える情報処理装置。
（２）
前記視覚情報は、前記ボール上又は前記ボールの周辺において前記ボールの特性を示す視覚効果を含む
前記（１）に記載の情報処理装置。
（３）
前記視覚効果は、前記ボールの特性により表示態様が異なる
前記（２）に記載の情報処理装置。
（４）
前記視覚効果は、動きにより前記ボールの特性を示す
前記（２）又は（３）に記載の情報処理装置。
（５）
前記プレー映像における前記ボールのロゴに基づいて、前記ボールの回転数及び回転方向のうち少なくとも１つを推定する分析部を
さらに備える前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記分析部は、前記プレー映像のフレーム間における前記ボールのロゴの動きに基づいて、前記ボールの回転数及び回転方向のうち少なくとも１つを推定する
前記（５）に記載の情報処理装置。
（７）
前記プレー映像に基づいて、プレーの分析を行う分析部を
さらに備え、
前記画像処理部は、前記プレーの分析結果に基づいて、前記プレー映像の編集を行うシーンを抽出する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（８）
前記画像処理部は、前記視覚情報を前記プレー映像に重畳する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記画像処理部は、前記プレー映像をストップさせた後、前記プレー映像内で停止した前記ボール上又は前記ボールの周辺において前記ボールの特性が表示されるように、前記視覚情報を前記プレー映像に重畳する
前記（８）に記載の情報処理装置。
（１０）
前記視覚情報を重畳した前記プレー映像の表示を制御する表示制御部を
さらに備える前記（８）又は（９）に記載の情報処理装置。
（１１）
ユーザの視界内において、前記視覚情報を前記プレー映像に重ねて表示する制御を行う表示制御部を
さらに備える前記（１）乃至（７）のいずれかに記載の情報処理装置。
（１２）
前記視覚情報は、前記ボールの軌道をさらに示す
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記視覚情報は、前記ボールの軌道における前記ボールの位置を間欠的に示す
前記（１２）に記載の情報処理装置。
（１４）
前記視覚情報は、少なくとも一部の前記ボールの位置における前記ボールの特性をさらに示す
前記（１３）に記載の情報処理装置。
（１５）
前記視覚情報は、前記ボールの軌道をラインにより示す
前記（１２）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記視覚情報は、前記ボールがラケットに当たった位置をさらに示す
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記視覚情報は、スイングの軌道をさらに示す
前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記視覚情報は、前記ボールがコート内でバウンドした位置の分布をさらに示す
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置が、
卓球のプレーの映像であるプレー映像内のボール上又は前記ボールの周辺に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する
情報処理方法。
（２０）
卓球のプレーの映像であるプレー映像内のボール上又は前記ボールの周辺に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する
処理をコンピュータに実行させるためのプログラム。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１０１ 情報処理システム， １１１－１乃至１１１－ｍ カメラ， １１２－１乃至１１２－ｎ イメージセンサ， １１３ 情報処理装置， １１４ サーバ， ２０１ ＣＰＵ， ２５１ 情報処理部， ２６１ 分析部， ２６２ 画像処理部， ２６３ 表示制御部， ２６４ 通信制御部

Claims (17)

1. 卓球のプレーの映像であるプレー映像内において、ボールの軌道における複数の前記ボールの位置を間欠的に示し、少なくとも一部の前記ボールの位置における前記ボール上又は前記ボールの周囲に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する画像処理部を
   備える情報処理装置。
2. 前記視覚情報は、前記ボール上又は前記ボールの周囲において前記ボールの特性を示す視覚効果を含む
   請求項１に記載の情報処理装置。
3. 前記視覚効果は、前記ボールの特性により表示態様が異なる
   請求項２に記載の情報処理装置。
4. 前記視覚効果は、動きにより前記ボールの特性を示す
   請求項２に記載の情報処理装置。
5. 前記プレー映像における前記ボールのロゴに基づいて、前記ボールの回転数及び回転方向のうち少なくとも１つを推定する分析部を
   さらに備える請求項１に記載の情報処理装置。
6. 前記分析部は、前記プレー映像のフレーム間における前記ボールのロゴの動きに基づいて、前記ボールの回転数及び回転方向のうち少なくとも１つを推定する
   請求項５に記載の情報処理装置。
7. 前記プレー映像に基づいて、プレーの分析を行う分析部を
   さらに備え、
   前記画像処理部は、前記プレーの分析結果に基づいて、前記プレー映像から編集を行うシーンを抽出する
   請求項１に記載の情報処理装置。
8. 前記画像処理部は、前記視覚情報を前記プレー映像に重畳する
   請求項１に記載の情報処理装置。
9. 前記画像処理部は、前記プレー映像をストップさせた後、前記プレー映像内で停止した前記ボール上又は前記ボールの周囲において前記ボールの特性が表示されるように、前記視覚情報を前記プレー映像に重畳する
   請求項８に記載の情報処理装置。
10. 前記視覚情報を重畳した前記プレー映像の表示を制御する表示制御部を
    さらに備える請求項８に記載の情報処理装置。
11. ユーザの視界内において、前記視覚情報を前記プレー映像に重ねて表示する制御を行う表示制御部を
    さらに備える請求項１に記載の情報処理装置。
12. 前記視覚情報は、前記ボールの軌道をラインにより示す
    請求項１に記載の情報処理装置。
13. 前記視覚情報は、前記ボールがラケットに当たった位置をさらに示す
    請求項１に記載の情報処理装置。
14. 前記視覚情報は、スイングの軌道をさらに示す
    請求項１に記載の情報処理装置。
15. 前記視覚情報は、前記ボールがコート内でバウンドした位置の分布をさらに示す
    請求項１に記載の情報処理装置。
16. 情報処理装置が、
    卓球のプレーの映像であるプレー映像内において、ボールの軌道における複数の前記ボールの位置を間欠的に示し、少なくとも一部の前記ボールの位置における前記ボール上又は前記ボールの周囲に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する
    情報処理方法。
17. 卓球のプレーの映像であるプレー映像内において、ボールの軌道における複数の前記ボールの位置を間欠的に示し、少なくとも一部の前記ボールの位置における前記ボール上又は前記ボールの周囲に重畳され、前記ボールの回転数及び回転方向のうち少なくとも１つを含む前記ボールの特性を示す視覚情報を生成する
    処理をコンピュータに実行させるためのプログラム。

Images