JP7141629B2 - プレイヤ位置可視化装置 - Google Patents

プレイヤ位置可視化装置 Download PDF

Info

Publication number
JP7141629B2
JP7141629B2 JP2017189860A JP2017189860A JP7141629B2 JP 7141629 B2 JP7141629 B2 JP 7141629B2 JP 2017189860 A JP2017189860 A JP 2017189860A JP 2017189860 A JP2017189860 A JP 2017189860A JP 7141629 B2 JP7141629 B2 JP 7141629B2
Authority
JP
Japan
Prior art keywords
player
moving image
data
players
display data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017189860A
Other languages
English (en)
Other versions
JP2019063121A (ja
Inventor
成典 田中
雄平 山本
健二 中村
文渊 姜
義典 塚田
諒 加藤
晴可 井上
ちひろ 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Style Co Ltd
Original Assignee
Intelligent Style Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Style Co Ltd filed Critical Intelligent Style Co Ltd
Priority to JP2017189860A priority Critical patent/JP7141629B2/ja
Publication of JP2019063121A publication Critical patent/JP2019063121A/ja
Application granted granted Critical
Publication of JP7141629B2 publication Critical patent/JP7141629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

この発明は、複数プレイヤが参加して行う競技の各プレイヤの位置を可視化する装置に関するものである。
サッカー、アメリカンフットボールなど複数のプレイヤが参加して行う競技においては、各プレイヤの能力もさることながら、状況に応じた戦術に基づいて各プレイヤが行動することが求められる。
特許文献1には、サッカーの各プレイヤの技能の向上に資するため、競技中における各選手の動きなどを記録しておき、これを後に解析するための装置が開示されている。ボールの軌跡、パスの種類、プレイヤ達の軌跡などが記録されて、解析される。解析結果は、各プレイヤにフィードバックされて、その技量向上に役立てることができる。
特表2003-533306
しかしながら、特許文献1の装置では、各プレイヤの位置関係を直ちに把握することが難しく、戦術の決定や分析を行うためには適していなかった。特に、リアルタイムにて戦術を決定する場合に、各プレイヤの位置関係を把握するのが容易でなく、適していないという問題があった。
この発明は上記のような問題点を解決して、各プレイヤの位置関係を容易に把握することのできるプレイヤ位置可視化システムを提供することを目的とする。
この発明のいくつかの独立して適用可能な特徴を以下に示す。
(1)(2)(3)(4)(5)この発明に係るプレイヤ位置可視化システムは、サーバ装置および当該サーバ装置と通信可能な端末装置を備えたプレイヤ位置可視化システムであって、
前記サーバ装置は、フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、前記フィールドの各プレイヤの位置を取得する位置取得手段と、位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、前記動画データと生成された状況表示データを、前記端末装置に送信するデータ送信手段とを備え、
前記端末装置は、前記サーバ装置からの動画データおよび状況表示データを受信するデータ受信手段と、前記受信した動画データを表示部に表示する動画データ表示手段と、前記受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段とを備えたことを特徴としている。
したがって、プレイヤの動画に重ねてその位置を示す状況データを表示し、プレイヤの位置関係を容易に把握することができる。
(6)(7)この発明に係るプレイヤ位置可視化装置は、フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、前記フィールドの各プレイヤの位置を取得する位置取得手段と、位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、前記動画データを表示部に表示する動画データ表示手段と、前記状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段とを備えたことを特徴としている。
したがって、プレイヤの動画に重ねてその位置を示す状況データを表示し、プレイヤの位置関係を容易に把握することができる。
(8)この発明に係るプレイヤ位置可視化システムは、位置取得手段は、取得した動画に基づいて、各プレイヤの位置を取得することを特徴としている。
したがって、動画データに基づいてプレイヤの位置を特定することができる。
(9)この発明に係るプレイヤ位置可視化システムは、位置取得手段は、位置計測装置からの各プレイヤの位置を受信して取得することを特徴としている。
したがって、迅速に各プレイヤの位置を得ることができる。
(10)この発明に係るプレイヤ位置可視化システムは、状況表示データは、時間経過とともに変動する、プレイヤ間を結ぶ少なくとも一つの直線を含むことを特徴としている。
したがって、プレイヤ間を結ぶ直線によって、プレイヤの位置関係を容易に把握することができる。
(11)この発明に係るプレイヤ位置可視化システムは、状況表示データは各プレイヤを結ぶ各プレイヤを頂点とする三角形を含むことを特徴としている。
したがって、プレイヤ相互の位置関係をさらに容易に把握することができ、プレーの戦術分析が容易となる。
(12)この発明に係るプレイヤ位置可視化システムは、三角形はドロネー三角形であることを特徴としている。
したがって、形成された三角形がドロネー条件を満たしていて、小さな三角形が形成されており、各プレイヤを中心とした守備範囲などを容易に把握することができ、プレーの戦術分析が容易となる。
(13)この発明に係るプレイヤ位置可視化システムは、各プレイヤの競技上の役割が記録されており、状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴としている。
したがって、役割を中心とした位置関係の把握が容易であり、プレーの戦術分析が容易となる。
(14)この発明に係るプレイヤ位置可視化システムは、状況表示データは、隣接する役割のプレイヤを結ぶ線を含むことを特徴としている。
したがって、役割を中心とした位置関係を把握しつつ、全体としての位置関係を把握することが容易であり、プレーの戦術分析が容易となる。
(15)この発明に係るプレイヤ位置可視化システムは、状況表示データは、前記プレイヤを中心とし、現実のフィールドにおける所定長さを半径とする円に対応する円を含むことを特徴としている。
したがって、プレイヤ間の距離を把握することが容易である。
(16)この発明に係るプレイヤ位置可視化システムは、位置取得手段は、少なくとも一方チームの各プレイヤの位置を取得し、状況表示データは、一方チームのプレイヤに関する表示のみを含むことを特徴としている。
したがって、一方のチームのプレイヤのみに注目して位置関係を把握することができる。
(17)この発明に係るプレイヤ位置可視化システムは、位置取得手段は、一方チームだけでなく対戦相手チームの各プレイヤの位置を取得し、状況表示データは、一方チームだけでなく対戦相手チームのプレイヤに関する表示も含むことを特徴としている。
したがって、双方のチームのプレイヤの位置関係を把握することができる。
(18)この発明に係るプレイヤ位置可視化システムは、状況表示データは、取得したプレイヤの位置がフィールド外である場合には、当該プレイヤに関する表示は含まないことを特徴としている。
したがって、控えプレイヤを除外して、実際にプレイをしているプレイヤのみの位置関係を把握することができる。
(19)この発明に係るプレイヤ位置可視化システムは、位置取得手段は、前記プレイヤ以外の競技参加者である二次的プレイヤの位置を取得し、状況表示データは、取得した前記二次的プレイヤの位置も含むことを特徴としている。
したがって、コーチや監督などとプレイヤとの位置関係も把握することができる。
(20)この発明に係るプレイヤ位置可視化システムは、位置取得手段は、プレイヤに従属せず移動する競技対象物の位置も取得し、状況表示データは、前記競技対象物の位置も含むことを特徴としている。
したがって、ボール、シャトル、パックなどの競技対象物の位置関係も把握することができる、
(21)(22)(23)この発明に係るプレイヤ位置可視化システムは、サーバ装置および当該サーバ装置と通信可能な端末装置を備えたプレイヤ位置可視化システムであって、
前記サーバ装置は、フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、前記フィールドの各プレイヤの位置を取得する位置取得手段と、位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて状況表示データが表示された重畳動画を生成する重畳動画データ生成手段と、前記重畳動画データを、前記端末装置に送信するデータ送信手段とを備え、
前記端末装置は、前記サーバ装置からの重畳動画データを受信するデータ受信手段と、前記受信した重畳動画データを表示部に表示する重畳動画データ表示手段とを備えたことを特徴としている。
したがって、プレイヤの動画に重ねてその位置を示す状況データを表示し、プレイヤの位置関係を容易に把握することができる。
この発明において「表示部」は、少なくとも状況表示データを表示するためのものであり、個人が一人で見ることを目的とするディスプレイなどだけでなく、複数人が見ることを目的とする大型パネルディスプレイなども含む概念である。
「動画取得手段」は、実施形態においてはステップS115がこれに対応する。
「位置取得手段」は、実施形態ではステップS12がこれに対応する。
「状況表示データ生成手段」は、実施形態ではステップS13、S14、S15がこれに対応する。
「データ送信手段」は、実施形態ではステップS16がこれに対応する。
「データ受信手段」は、実施形態ではステップS3がこれに対応する。
「動画データ表示手段」は、実施形態ではステップS81がこれに対応する。
「状況表示データ表示手段」は、実施形態ではステップS81がこれに対応する。
「同期手段」は、実施形態ではステップS82、S83がこれに対応する。
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
この発明の一実施形態によるプレイヤ位置可視化システムの機能ブロック図である。 プレイヤ位置可視化システムのシステム構成図である。 GNSS受信機12のブロック図である。 サーバ装置4のハードウエア構成である。 端末装置であるタブレット・コンピュータ2のハードウエア構成である。 プレイヤ可視化処理のフローチャートである。 図7Aはプレイヤの位置データ、図7Bはプレイヤの属性データを示す図である。 図8Aはフィールドの座標データ、図8Bはフィールドにプレイヤを配置した状態を示す図である。 図9A~図9Cは、ドロネー三角を説明するための図である。 プレイヤをドロネー三角によって結んだ状態を示す図である。 同じポジションのプレイヤを線で結んだ状態を示す図である。 同じポジションのプレイヤを線で結び、隣接するポジションのプレイヤも線で結んだ状態を示す図である。 異なるフォーメーションの際の状態を示す図である。 プレイヤの位置取得を動画に基づいて行う場合のフローチャートである。 グレースケール化した画像データの例である。 プレイヤを中心とした円を示した場合の図である。 タブレットコンピュータ2の側において、状況表示を拡大して表示した場合を示す図である。 サーバ装置2を用いずにタブレットコンピュータ2によって実現した場合の機能ブロック図である。 第2の実施形態によるプレイヤ位置可視化システムの機能ブロック図である。 プレイヤ位置可視化システムのシステム構成図である。 プレイヤ可視化処理のフローチャートである。 プレイヤ可視化処理のフローチャートである。 動画に重畳して状況表示を行った場合の表示例である。 サーバ装置4において重畳動画データを生成してタブレット・コンピュータ2に送信する場合の機能ブロック図である。 サーバ装置4を用いずにタブレットコンピュータ2によって実現した場合の機能ブロック図である。 フィールド上の撮像ポイントの例を示す図である。
1.第1の実施形態
1.1機能ブロック図
図1に、この発明の一実施形態によるプレイヤ位置可視化システムの機能ブロック図を示す。サーバ装置4の位置取得手段42は、各プレイヤの位置を特定するためのデータ(位置特定データ)を受けて、各プレイヤの位置を決定する。状況表示データ生成手段44は、フィールド平面画像上に、決定した位置に基づいて各プレイヤを配置した状況表示データを生成する。送信手段46は、生成された状況表示データを端末装置2に送信する。
端末装置2の状況表示データ受信手段22は、この状況表示データを受信する。状況表示データ表示手段24は、状況表示データを表示部26に表示する。
1.2システム構成およびハードウエア構成
図2に、プレイヤ位置可視化システムの構成を示す。各プレイヤ10は、GNSS受信機12を装着し、競技を行っている。GNSS受信機12が取得した位置情報は、インターネット回線6を介して、サーバ装置4に送信される。なお、GNSS受信機12からWiFi通信やブル-ツース(商標)通信によってフィールドに設置された通信機に送信し、この通信機からインターネット回線6を介して、サーバ装置4に送信するようにしてもよい。
サーバ装置4は、状況表示データを生成し、インターネット回線6を介して、端末装置であるタブレット・コンピュータ2に送信する。タブレット・コンピュータ2では、状況表示データが表示され、ユーザは、各プレイヤの位置関係などを図として把握することができる。
図3に、GNSS受信機12の構成を示す。アンテナ126は、衛星からの信号を受信するためのものである。信号処理手段120は、受信した信号から時間情報や位置情報などの受信データを取り出すための回路である。位置演算回路122は、受信データに基づいて、このGNSS受信機の位置(水平位置および垂直位置)を算出するものである。算出された位置は、通信回路124によって、アンテナ128からインターネットに向けて送信される。以下の実施形態では、水平位置のみを表示しているが、垂直位置を得ることで先の水平位置の推定に用いることができる。
図4に、サーバ装置4のハードウエア構成を示す。CPU40には、メモリ42、ハードディスク44、DVD-ROMドライブ46、通信回路48が接続されている。通信回路48は、インターネットに接続するためのものである。ハードディスク44には、オペレーティングシステム50、サーバプログラム52が記録されている。サーバプログラム52は、オペレーティングシステム50と協働してその機能を発揮するものである。これらプログラムは、DVD-ROM54に記録されていたものを、DVD-ROMドライブ46を介して、ハードディスク44にインストールしたものである。
図5に、タブレット・コンピュータ2のハードウエア構成を示す。CPU20には、メモリ22、タッチディスプレイ24、ハードディスク26、通信回路28が接続されている。
通信回路28はインターネットに接続するためのものである。不揮発性メモリ26には、オペレーティングシステム30、端末プログラム32(たとえば、ブラウザプログラム)が記録されている。端末プログラム32は、オペレーティングシステム30と協働してその機能を発揮するものである。
1.3プレイヤ位置可視化処理
図6に、プレイヤ位置可視化処理のフローチャートを示す。ここでは、サッカーの試合中にリアルタイムでプレイヤの位置を表示する場合について説明する。
競技場にいるコーチなどは、タブレット・コンピュータ2を操作して、プレイヤ可視化のためのサーバ装置4にアクセスする。タブレット・コンピュータ2のCPU20(以下タブレット・コンピュータ2と省略することがある)は、これを受けて、サーバ装置4にアクセスする(ステップS1)。
サーバ装置4のCPU40(以下サーバ装置4と省略することがある)は、ログイン画面を送信する。タブレット・コンピュータ2はログイン画面を表示し、ユーザによるログインID、パスワードなどの入力があると、これをサーバ装置4に送信する。サーバ装置4は、送信されてきたログインID、パスワードに基づいて認証を行う(ステップS2、S11)。
ログイン処理が正しく完了すると、サーバ装置4は、各プレイヤからの位置情報を受信し、ハードディスク44に記録する(ステップS12)。GNSS受信機12から送られてくる位置情報には、図7Aに示すように、選手ID、位置情報(緯度経度)、時刻が含まれている。なお、サーバ装置4のハードディスク44には、予め選手IDに対応づけてポジション(図ではMF)や氏名、年齢などの情報が記録されている。ハードディスク44には、さらに、図8Aに示すように、サッカー場のフィールド四隅の座標(緯度、経度)が記録されている。
次に、サーバ装置4は、フィールド上にプレイヤの位置を配置する(ステップS13)。この際、同時刻の位置データを用いて配置するようにする。図8Bに、フィールド上に配置されたプレイヤを示す。この実施形態では、選手IDに対応づけて記録されているポジションによって、プレイヤの表示を変えるようにしている(色や形状など)。また、この実施形態では、双方のチームのプレイヤを表示するようにしているが、一方のチームのプレイヤのみを表示するようにしてもよい。また、一方側のチームと他方側のチームとを区別可能なように、異なる色や形状などを用いることが好ましい。
次に、サーバ装置4は、ドロネー三角分割によって、チームごとに各プレイヤを結ぶ三角形を生成する(ステップS14)。ドロネー三角分割は、ドロネー基準にしたがった三角形の形成方法である。ドロネー基準は、図9Aに示すように、形成された三角形の外接円の中に、他の三角形の頂点を含まないことである。したがって、図9Bに示すように、プレイヤP1、P2、P3を頂点とする三角形の中に、プレイヤP4が含まれるような三角形の分割方法は、ドロネー基準に沿っていないことになる。この場合、図9Cに示すように、プレイヤP1、P2、P4による三角形を形成すればドロネー基準を満たすことになる。図10に、生成されたドロネー三角の例を示す。なお、ドロネー三角の線は、チームやポジションによって色や形態(破線、実線など)を変えるようにしてもよい。すなわち同じポジション同士のプレイヤを結ぶ線と異なるポジションのプレイヤを結ぶ線の色や形態を変えてもよい。また、同じポジション同士を結ぶ線であっても、異なるポジションであればその色や形態を変えてもよい。
サーバ装置4は、生成したドロネー三角を含め、フィールドの情報等を加え、タブレット・コンピュータ2において表示するための状況表示データを生成する(ステップS15)。たとえば、図10に示すような状況表示データが生成される。サーバ装置4は、生成した状況表示データをタブレット・コンピュータ2に送信する(ステップS16)。
タブレット・コンピュータ2は、これを受信する(ステップS3)。受信した状況表示データを、タッチディスプレイ24に表示する(ステップS4)。タブレットコンピュータ2においては、タッチディスプレイ24の表示を、回転したり拡大・縮小したりすることができる。このようにして、タブレットコンピュータ2は、現在のプレイヤの位置関係をリアルタイムに容易に把握することができる。なお、ドロネー三角形とすることにより、プレイヤを中心としてできるだけ小さな三角形が形成されるので、各プレイヤの守備すべき範囲を把握することが容易となる。これにより、例えば、三角形の大きさの変化などによりプレイヤ間のスペースの大きさなどをチェックして、指示どおりに動いているかどうかの確認など、プレーの戦術分析が可能となる。
以後、上記の処理が繰り返され、プレイヤの動きにつれて変化する位置関係を容易に把握することができる。
1.4その他
(1)上記実施形態では、プレイヤを結ぶドロネー三角形を生成するようにしている。しかし、その他、任意の三角形を生成するようにしてもよい。
また、図11に示すように、同じポジションのプレイヤ同士を結ぶ直線を引くようにしてもよい。異なるポジションにおける線の色や形態(実線・破線など)を変えて区別可能とすることが好ましい。図11のような表示を行うためには、各選手をY軸方向の座標値によってソートし、座標値の順に線で結ぶようにする。図11において、DF1、DF2、DF3、DF4は、4人のディフェンダをソートして符号を付けたものである。したがって、時間経過に伴うプレイヤ相互の位置関係の変化によって、DF1の符号を付されていたプレイヤが、他の符号DF2等の符号となる場合もある。MF1~MF4、FW1~FW2についても同様である。
さらに、図12に示すように、隣接するポジションのプレイヤを線で結ぶようにしてもよい。この実施形態では、いずれのポジションのプレイヤを、いずれのポジションのプレイヤに結ぶかを予め定めている。たとえば、FW1はMF1とMF2に結ぶ、FW2はMF3とMF4に結ぶ、MF1は、DF1と結ぶ・・・というように定めている。
図12では、4-4-2のフォーメーションの場合を示しているが、異なる役割のどのプレイヤを線で結ぶかは、フォーメーションごとに記録しておき、フォーメーションによって予めユーザが選択するようにする。たとえば、3-5-2のフォーメーションであれば、図13に示すように線で結ぶことができる。なお、図13に示す結び方は一例であり、どのような定め方をしてもよい。また、図13に示すように、同じポジションのプレイヤを結ぶ線と、異なるポジションのプレイヤを結ぶ線を区別可能に表示してもよい。
また、目的に応じて、プレイヤとプレイヤを結ぶ線は任意に決定することができる。たとえば、注目したいプレイヤのみに線を引くようにしてもよい。
(2)上記実施形態では、フィールド内にいるプレイヤの位置を表示するようにしている。控え選手もGNSS受信機12を装着している。したがって、システムは控え選手の位置も把握している。ただし、この実施形態では、フィールド内にいないプレイヤは表示しないようにしている。なお、控え選手も表示するようにしてもよい。
また、競技を直接的に行うプレイヤだけでなく、コーチ、監督、審判などの二次的プレイヤの位置も表示するようにしてもよい。さらに、ボール(選手に従属して移動しない競技物)にGNSS受信機12を埋め込み、ボールの位置を表示するようにしてもよい。
(3)上記実施形態では、GNSS受信機12を用いて各プレイヤの位置を特定するようにしている。しかし、レーザ測距などGNSS以外の手段を用いて各プレイヤの位置を特定するようにしてもよい。たとえば、画像処理、レーザ測距、電波や音波による測距、WiFi測位、RFID測位、ブルーツース(商標)測位などを用いてもよい。また、これらを任意に組み合わせて各プレイヤの位置を特定するようにしてもよい。たとえば、画像処理によってプレイヤの位置を特定する処理を、図14に示す。この処理は、サーバ装置4のステップS12の処理に該当する。
サーバ装置4は、フィールドおよびプレイヤを所定の場所で所定のアングルから撮像した動画を、受信してハードディスク44に記録している。したがって、ハードディスク44には、タイムスタンプが付されて、動画を構成する静止画が記録される。
サーバ装置4は、記録されている動画の1フレームを読み出す(ステップS51)。前述の記録と、ステップS51の読み出しは時間を空けずに行われるので、実質的にリアルタイムの処理がなされることになる。サーバ装置4は、読み込んだ画像をグレースケール化する(ステップS52)。グレースケール化された画像を図15に示す。
さらに、サーバ装置4は、予め同じアングルで撮像したプレイヤのいないフィールドのグレースケール画像と、図15の画像との差分を算出する(ステップS53)。この差分が所定値以上となる箇所を、プレイヤとして抽出する(ステップS54)。続いて、抽出したプレイヤの画像を拡大して縮小する処理を行い、連続した一つの塊とする(ステップS55)。
このようにして、各プレイヤを認識すれば、次に、プレイヤの最下部の位置を取得してこれをプレイヤの位置とする。なお、この位置は、フィールドの4隅C1、C2、C3、C4の位置が既知であるので、画面上においてこの4隅C1、C2、C3、C4との位置関係に基づいて、プレイヤの現実の位置を推定することができる。また、各プレイヤのユニフォームの番号により、誰であるかを特定するようにしている。全ての画像において番号を認識できなくとも、前後の画像によって同一人であることを推定することができる。また、いずれのチームのプレイヤであるかは、ユニフォームの色などによって識別することができる。
(4)上記実施形態では、リアルタイムにプレイヤの位置を表示するようにしている。しかし、プレイヤの位置を記録しておき、後からプレイヤの位置を表示するようにしてもよい。後に解析を行う際には、このような方式でも十分である。
(5)図16に示すように、各プレイヤを中心として所定距離(たとえば現実の距離で2m)を半径とする円を併せて表示するようにしてもよい。これにより、タブレット・コンピュータ2において、図17に示すように拡大表示をした場合であっても、選手間の距離やボールとの距離などを把握することができる。
なお、このような円の表示は、上記実施形態と組み合わせて実施してもよいが、単独で円のみを表示するようにして実施してもよい。
(6)上記実施形態では、サッカーを例として説明した。しかし、その他のプレイヤの位置によって戦術が生じうる競技一般に適用することができる。たとえば、ラグビー、アメリカンフットボール、バレーボール、クリケット、バスケットボール、ハンドボール、水球、アイスホッケー、ホッケー、フットサル、サイクルサッカー、バトミントン、テニス、卓球、騎馬戦、オートレース、競輪、競艇などにも適用することができる。
また、この発明は、屋外でプレイするものだけなく、WiFi測距などを用いることにより屋内でプレイするものにも用いることができる。
(7)上記実施形態では、サーバ装置4にてプレイヤとプレイヤを結ぶ線を生成するようにしている。しかし、サーバ装置4を設けずに、全ての処理をタブレットコンピュータ2の側で行うようにしてもよい。
この場合の機能ブロック図を、図18に示す。位置取得手段27は、GNSSデータや画像データ(位置特定データ)を受けて、プレイヤなどの位置を特定するものである。第1の実施形態におけるサーバ装置4の位置取得手段42がこれに対応する。状況表示手段25は、位置取得手段27によって取得した各プレイヤの位置に基づいてフィールド上にプレイヤを配置した状況表示データを生成し、表示部26に表示するものである。第1の実施形態における状況表示データ生成手段44と状況表示データ表示手段24がこれに対応する。
タブレットコンピュータ2(端末装置)のみで処理を行う場合も、リアルタイムにプレイヤの位置を取得して表示する方法と、USBメモリなどの記録媒体に記録したプレイヤの位置に基づいて表示する方法のいずれもを採用することができる。
(8)上記実施形態では、サーバ装置4にて表示データを生成し、タブレットコンピュータ2のブラウザプログラムにて表示するようにしている。しかし、表示に関する処理は、タブレットコンピュータ2の表示アプリケーションによって行うようにしてもよい。また、サーバ装置4とタブレットコンピュータ2(端末装置)との機能分担は、どのように行ってもよい。
(9)上記実施形態では、プレイヤ全員(あるいは一方チームのプレイヤ全員)を表示するようにしている。しかし、表示するプレイヤをユーザが選択できるようにしてもよい。この場合、選択されたプレイヤのみで三角形などの関連線を形成することになる。
また、プレイヤ全員の位置を表示しつつ、注目するプレイヤを選択可能とし、選択されたプレイヤを強調表示するようにしてもよい。この場合、全てのプレイヤについて三角形などの関連線を引いてもよいが、選択されたプレイヤのみで関連線を引いてもよい。
(10)上記実施形態では、形成された三角形の内部全体について色・模様を施すことはしていない。しかし、三角形の内部全体に色や模様を施すようにしてもよい。この場合、チームによってその色や模様を変えるようにしてもよい。
(11)上記実施形態では、同じチームのプレイヤがフィールド上の各位置をどれだけ通過したかを示すことはしていない。しかし、フールドを所定の矩形の領域に分割し(たとえば、1m×1mの矩形に分割し)、各領域を通過した同一チームのプレイヤの述べ人数を計数し、人数に応じて各領域の色を変えて(ヒートマップ)表示してもよい。なお、同一チームではなく、同一チームの同一ポジションのプレイヤとしてもよい。さらに、同一プレイヤが各領域を通過した回数であってもよい。
(12)状況データとして、各プレイヤの生体情報(心拍数、血圧など)や氏名やスピードなどを表示するようにしてもよい。生体情報は、プレイヤに生体情報取得のための機器を取り付け、これを無線送信することによって実現できる。また、スピードは、位置情報の変化から割り出してもよいし、加速度計などによって算出するようにしてもよい。
(13)上記実施形態では、端末装置としてタブレットコンピュータ2を用いている。しかし、スマートフォン、PC、携帯情報端末などを用いてもよい。
(14)上記実施形態では、プレイヤやボールの軌跡は表示していない。しかし、これらを表示するようにしてもよい。
(15)上記実施形態では、プレイヤやボールなどの位置を平面的に表示するようにしている。しかし、高さ方向の位置情報も取得した上で、三次元的(3D的)に表示を行うようにしてもよい。特に、ボールの位置についての高さ情報は重要であるから、ボールについてのみ高さ方向の位置データも取得し、三次元的な表示を行うようにしてもよい。この場合も、プレイヤ間を線で結ぶことで上記の各効果を得ることができる。
(16)上記実施形態では、タブレットコンピュータ2のディスプレイに状態を表示するようにしているが、スマートフォン、携帯情報端末、テレビ、携帯ゲーム装置、PC、屋外設置のディスプレイなどに表示するようにしてもよい。
(17)上記実施形態および変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。
2.第2の実施形態
2.1機能ブロック図
図19に、この発明の一実施形態によるプレイヤ位置可視化システムの機能ブロック図を示す。サーバ装置4の動画取得手段48は、フィールドで撮像された動画データを受信して取得する。位置取得手段42は、動画に基づいて各プレイヤの位置を取得する。状況表示データ生成手段44は、決定した位置に基づいて各プレイヤを配置した状況表示データを生成する。データ送信手段46は、生成された状況表示データおよび動画データを端末装置2に送信する。
端末装置2のデータ受信手段22は、この状況表示データおよび動画データを受信する。動画データ表示手段23は、動画データを表示部26に表示する。状況表示データ表示手段24は、状況表示データを表示部26に表示する。したがって、表示部26においては、動画データに状況表示データが重畳して表示される。同期手段25は、表示部26に表示される動画データと状況表示データが同期するように制御する。
したがって、表示部26において、動画データに重畳して状況表示データが同期して表示されることになる。
2.2システム構成およびハードウエア構成
図20に、プレイヤ位置可視化システムの構成を示す。動画撮像機であるビデオカメラ13は、各プレイヤ及び競技フィールドを撮像する。この動画データは、インターネット6を介してサーバ装置4に送信される。
サーバ装置4は、動画データに基づいて各プレイヤの位置を取得し、状況表示データを生成する。サーバ装置4は、生成した状況表示データと動画データを、インターネット回線6を介して、端末装置であるタブレット・コンピュータ2に送信する。タブレット・コンピュータ2では、動画データに重ねて状況表示データが同期をとって表示され、ユーザは、各プレイヤの位置関係などを把握することができる。
サーバ装置4のハードウエア構成は、図4に示すとおりである。また、タブレット・コンピュータ2のハードウエア構成は、図5に示すとおりである。
2.3プレイヤ位置可視化処理
図21に、プレイヤ位置可視化処理のフローチャートを示す。ここでは、サッカーの試合中にリアルタイムでプレイヤの位置を表示する場合について説明する。
競技場にいるコーチなどは、タブレット・コンピュータ2を操作して、プレイヤ可視化のためのサーバ装置4にアクセスする。タブレット・コンピュータ2のCPU20(以下タブレット・コンピュータ2と省略することがある)は、これを受けて、サーバ装置4にアクセスする(ステップS1)。
サーバ装置4のCPU40(以下サーバ装置4と省略することがある)は、ログイン画面を送信する。タブレット・コンピュータ2はログイン画面を表示し、ユーザによるログインID、パスワードなどの入力があると、これをサーバ装置4に送信する。サーバ装置4は、送信されてきたログインID、パスワードに基づいて認証を行う(ステップS2、S11)。
ログイン処理が正しく完了すると、サーバ装置4は、動画データを受信し、ハードディスク44に記録する(ステップS115)。さらに、サーバ装置4は、動画データに基づいて各プレイヤの位置を特定する(ステップS12)。動画データに基づいて位置情報を取得する処理は、図14に示すとおりである。これにより、選手ごとに、各時刻の位置情報(緯度経度)を得ることができる。
なお、サーバ装置4のハードディスク44には、予め選手IDに対応づけてポジションや氏名、年齢などの情報が記録されている。ハードディスク44には、さらに、図8Aに示すように、サッカー場のフィールド四隅の座標(緯度、経度)が記録されている。
次に、サーバ装置4は、フィールド上にプレイヤの位置を配置する(ステップS13)。この際、同時刻の位置データを用いて配置するようにする。図8Bに、フィールド上に配置されたプレイヤを示す。この実施形態では、選手IDに対応づけて記録されているポジションによって、プレイヤの表示を変えるようにしている(色や形状など)。また、この実施形態では、双方のチームのプレイヤを表示するようにしているが、一方のチームのプレイヤのみを表示するようにしてもよい。また、一方側のチームと他方側のチームとを区別可能なように、異なる色や形状などを用いることが好ましい。
次に、サーバ装置4は、ドロネー三角分割によって、チームごとに各プレイヤを結ぶ三角形を生成する(ステップS14)。これにより、図10に示すような各プレイヤの位置と直線のデータを得ることができる。
次に、サーバ装置4は、図10のデータを、動画に重ね合わせるための状況表示データを生成する(ステップS15)。この処理は以下のようにして行う。動画(その瞬間の静止画)のフィールドの四隅の画面上の座標を取得する(図15参照)。図10のフィールドの四隅のデータと、図15の動画上の四隅のデータトに基づいて、図10の各選手の位置を、図15の動画上の位置にアフィン変換する(同時刻のデータに基づいて行う)。これにより、動画における各選手の位置に、図10のデータの各選手の位置を重ねることができる。
なお、この実施形態では、タブレット・コンピュータ2の側において、図15の動画データに状況表示データを重ねて表示するだけでなく、図10のような平面的な状況表示データのみの表示も行えるようにしている。したがって、図10のような状況表示データを一旦生成しているが、動画データに状況表示データを重ねたものを表示するだけであれば、図ステップS12において直接的に状況表示データを取得するようにしてもよい。
サーバ装置4は、動画データとこれに対応して生成した状況表示データを、タブレット・コンピュータ2に送信する(ステップS16)。さらに、端末側において、動画データと状況表示データの同期をとるためのスクリプトを送信する(ステップS17)。なお、この実施形態では、JavaScript(商標)として送信するようにしている。
タブレット・コンピュータ2は、これを受信する(ステップS3)。以後、上記の処理が繰り返されて、サーバ装置4からタブレット・コンピュータ2に対して、動画データ、状況表示データが送信される。
これに並行して、タブレット・コンピュータ2においては、同期制御スクリプトの処理によって、動画データに重畳して状況表示データが表示される。この処理のフローチャートを、図22に示す。
同期制御スクリプトの制御により、タブレット・コンピュータ2は、ブラウザプログラムを2つ起動して、それぞれ、動画データと状況表示データを再生する。この際、2つのブラウザの表示画面は同じ位置(重なる位置)とし、状況表示データの表示レイヤーは透過性を有するようにしている。したがって、動画データの上に状況表示データが重畳して表示されることになる。また、動画データ、状況表示データが同時刻(記録されたタイムスタンプが同じ時刻)から再生を開始するように制御する。したがって、図23に示すような画面が表示されることになる。
なお、ブラウザプログラムを1つだけ起動し、動画を表示するエレメントと状況表示を行うエレメントとを重ねるようにしてもよい。
タブレット・コンピュータ2は、現在再生中の動画データと状況表示データのタイムスタンプが所定時間以上(たとえば500ms以上)ずれていないかどうかを判断する(ステップS82)。ずれが所定時間内であれば、引き続き双方の再生を進める。
ずれが所定時間以上であれば、進んでいる方の再生を停止する(ステップS83)。この状態で、遅れている方の再生が進み、両者のずれが所定時間内となれば(ステップS82)、再び、双方の再生を行う(ステップS81)。このように制御することで、たとえば、動画データの読み込みに時間がかかり動画の再生が遅くなった場合であっても、両者の同期をとって再生することができる。
2.4その他
(1)上記実施形態では、動画データに基づいて各プレイヤの位置を取得するようにしている。しかし、第1の実施形態と同じように、センサなどによって計測したプレイヤの位置を受信するようにしてもよい。
(2)上記実施形態では、ドロネー三角を表示するようにしている。しかし、第1の実施形態において示したような各種の表示形態(同じ役割同士のプレイヤを接続する、プレイヤを中心とした円を描く、ボールを表示、コーチを表示など)を採用することができる。
(3)上記実施形態では、動画データ上に状況表示データを重畳した画像のみをタブレット・コンピュータ2において表示するようにしている。しかし、これに加えて、第1の実施形態のような平面的な状況表示データを表示するようにしてもよい。また、このような表示を切り替えられるようにしてもよい。
(4)上記実施形態では、タブレット・コンピュータ2の側において、動画データと状況表示データの同期をとって再生を行うようにしている。しかし、サーバ装置4の側において、動画データと状況表示データの同期をとって重畳された一つの動画を生成し、この重畳動画をタブレット・コンピュータ2の側に送信するようにしてもよい。
この場合の機能ブロック図を図24に示す。重畳動画データ生成手段49は、動画データに状況表示データを同期させて重畳した重畳動画データを生成する。データ送信手段46は、この重畳動画データをタブレット・コンピュータ2に送信する。
タブレット・コンピュータ2のデータ受信手段2は重畳動画データを受信する。重畳動画データ表示手段27は、重畳動画データを表示部26に表示する。
(5)上記実施形態では、サーバ装置4にてプレイヤとプレイヤを結ぶ線を生成するようにしている。しかし、サーバ装置4を設けずに、全ての処理をタブレットコンピュータ2の側で行うようにしてもよい。この場合の機能ブロック図を、図25に示す。
(6)上記実施形態では、サーバ装置4からJavaScript(商標)を送信し、これによって同期をとる処理を行うようにしている。しかし、予めタブレット・コンピュータ2側に同期をとるためのアプリケーションをインストールしておくようにしてもよい。
(7)上記実施形態では、一カ所から動画の撮像を行って、これにプレイヤの位置などの状況データを重ねて表示するようにしている。しかし、複数の異なる箇所から動画の撮像を行い、それぞれの動画に状況データを重ねて表示するようにしてもよい。この場合、いずれの動画を表示するかを切り換えてもよいし、複数の動画を同時に表示するようにしてもよい。
(8)上記実施形態では、フィールドの四隅の位置を予め取得しておき、この四隅を含めて撮像することで、状況データを重ねて表示するようにしている。しかし、図26Aに示すように、フールドの四隅に代えて(あるいは加えて)、フィールドの中央点を含む四点Aの位置を記録しておいて、この4点Aを含めて撮像し、状況データを重ねて表示するようにしてもよい。
さらに、図26Bに示すように、動画において判別可能な多数の点Aの位置を記録しておけば、少なくともこれらの点Aを3つ以上撮像できれば、いずれの場所を撮像していても状況データを重ねて表示することができる。
また、一つの動画はフィールド全体を撮像し、他の動画は相手方のゴール近傍を撮像し、これらに状況データを重ねて表示することもできる。
(9)なお、状況データとしては、第1の実施形態と同じように、位置だけでなくプレイヤを結ぶ線、プレイヤの生体情報、スピードや通過回数のヒートマップなどを表示するようにしてもよい。
(10)上記実施形態および変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。





Claims (39)

  1. サーバ装置および当該サーバ装置と通信可能な端末装置を備えたプレイヤ位置可視化システムであって、
    前記サーバ装置は、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、前記端末装置に送信するデータ送信手段とを備え、
    前記端末装置は、
    前記サーバ装置からの動画データおよび状況表示データを受信するデータ受信手段と、
    前記受信した動画データを表示部に表示する動画データ表示手段と、
    前記受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えたことを特徴とするプレイヤ位置可視化システムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの位置に応じて隣接する各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含み、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、前記三角形を形成する線と区別可能な、同じ役割のプレイヤを結ぶ線を含むことを特徴とするプレイヤ位置可視化システム。
  2. プレイヤ可視化システムのためのサーバ装置であって、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、端末装置に送信するデータ送信手段と、
    を備えたサーバ装置において、
    前記状況表示データは、時間経過とともに変動する各プレイヤの位置に応じて隣接する各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含み、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、前記三角形を形成する線と区別可能な、同じ役割のプレイヤを結ぶ線を含むことを特徴とするサーバ装置。
  3. サーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、端末装置に送信するデータ送信手段として機能させるためのサーバプログラムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの位置に応じて隣接する各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含み、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、前記三角形を形成する線と区別可能な、同じ役割のプレイヤを結ぶ線を含むことを特徴とするサーバプログラム。
  4. プレイヤ可視化システムのための端末装置であって、
    サーバ装置からの動画データおよび状況表示データを受信するデータ受信手段と、
    前記受信した動画データを表示部に表示する動画データ表示手段と、
    前記受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えた端末装置において、
    前記状況表示データは、時間経過とともに変動する各プレイヤの位置に応じて隣接する各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含み、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、前記三角形を形成する線と区別可能な、同じ役割のプレイヤを結ぶ線を含むことを特徴とする端末装置。
  5. プレイヤ可視化のための端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
    サーバ装置から受信した動画データを表示部に表示する動画データ表示手段と、
    サーバ装置から受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段として機能させるための端末プログラムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの位置に応じて隣接する各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含み、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、前記三角形を形成する線と区別可能な、同じ役割のプレイヤを結ぶ線を含むことを特徴とする端末プログラム。
  6. フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データを表示部に表示する動画データ表示手段と、
    前記状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えたことを特徴とするプレイヤ位置可視化装置において、
    前記状況表示データは、時間経過とともに変動する各プレイヤの位置に応じて隣接する各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含み、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、前記三角形を形成する線と区別可能な、同じ役割のプレイヤを結ぶ線を含むことを特徴とするプレイヤ位置可視化装置。
  7. プレイヤ位置可視化装置をコンピュータによって実現するためのプレイヤ位置可視化プログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データを表示部に表示する動画データ表示手段と、
    前記状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段として機能させるためのプレイヤ位置可視化プログラムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの位置に応じて隣接する各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含み、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、前記三角形を形成する線と区別可能な、同じ役割のプレイヤを結ぶ線を含むことを特徴とするプレイヤ位置可視化プログラム。
  8. サーバ装置および当該サーバ装置と通信可能な端末装置を備えたプレイヤ位置可視化システムであって、
    前記サーバ装置は、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、前記端末装置に送信するデータ送信手段とを備え、
    前記端末装置は、
    前記サーバ装置からの動画データおよび状況表示データを受信するデータ受信手段と、
    前記受信した動画データを表示部に表示する動画データ表示手段と、
    前記受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えたことを特徴とするプレイヤ位置可視化システムにおいて、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするプレイヤ位置可視化システム。
  9. プレイヤ可視化システムのためのサーバ装置であって、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、端末装置に送信するデータ送信手段と、
    を備えたサーバ装置において、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするサーバ装置。
  10. サーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、端末装置に送信するデータ送信手段として機能させるためのサーバプログラムにおいて、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするサーバプログラム。
  11. プレイヤ可視化システムのための端末装置であって、
    サーバ装置からの動画データおよび状況表示データを受信するデータ受信手段と、
    前記受信した動画データを表示部に表示する動画データ表示手段と、
    前記受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えた端末装置において、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とする端末装置。
  12. プレイヤ可視化のための端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
    サーバ装置から受信した動画データを表示部に表示する動画データ表示手段と、
    サーバ装置から受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段として機能させるための端末プログラムにおいて、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とする端末プログラム。
  13. フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データを表示部に表示する動画データ表示手段と、
    前記状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えたことを特徴とするプレイヤ位置可視化装置において、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするプレイヤ位置可視化装置。
  14. プレイヤ位置可視化装置をコンピュータによって実現するためのプレイヤ位置可視化プログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データを表示部に表示する動画データ表示手段と、
    前記状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段として機能させるためのプレイヤ位置可視化プログラムにおいて、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするプレイヤ位置可視化プログラム。
  15. サーバ装置および当該サーバ装置と通信可能な端末装置を備えたプレイヤ位置可視化システムであって、
    前記サーバ装置は、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて状況表示データが表示された重畳動画を生成する重畳動画データ生成手段と、
    前記重畳動画データを、前記端末装置に送信するデータ送信手段とを備え、
    前記端末装置は、
    前記サーバ装置からの重畳動画データを受信するデータ受信手段と、
    前記受信した重畳動画データを表示部に表示する重畳動画データ表示手段と、
    を備えたことを特徴とするプレイヤ位置可視化システムにおいて、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするプレイヤ位置可視化システム。
  16. プレイヤ可視化システムのためのサーバ装置であって、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて状況表示データが表示された重畳動画を生成する重畳動画データ生成手段と、
    前記重畳動画データを、端末装置に送信するデータ送信手段と、
    を備えたサーバ装置において、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするサーバ装置。
  17. サーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて状況表示データが表示された重畳動画を生成する重畳動画データ生成手段と、
    前記重畳動画データを、端末装置に送信するデータ送信手段として機能させるためのサーバプログラムにおいて、
    前記各プレイヤの競技上の役割が記録されており、
    前記状況表示データは、同じ役割のプレイヤを結ぶ線を含むことを特徴とするサーバプログラム。
  18. 請求項1~17のシステム、装置またはプログラムにおいて、
    前記状況表示データは、隣接する役割のプレイヤを結ぶ線を含むことを特徴とするシステム、装置またはプログラム。
  19. 請求項1~18のいずれかのシステム、装置またはプログラムにおいて、
    前記各プレイヤの位置は、取得した動画に基づいて、取得したものであることを特徴とするシステム、装置またはプログラム。
  20. 請求項1~18のいずれかのシステム、装置またはプログラムにおいて、
    前記各プレイヤの位置は、位置計測装置から取得したものであることを特徴とするシステム、装置またはプログラム。
  21. 請求項1~20のいずれかのシステム、装置またはプログラムにおいて、
    前記状況表示データは各プレイヤを結ぶ各プレイヤを頂点とする三角形を含むことを特徴とするシステム、装置またはプログラム。
  22. 請求項1~7のシステム、装置またはプログラムにおいて、
    前記三角形はドロネー三角形であることを特徴とするシステム、装置またはプログラム。
  23. 請求項1~22のいずれかのシステム、装置またはプログラムにおいて、
    前記状況表示データは、前記プレイヤを中心とし、現実のフィールドにおける所定長さを半径とする円に対応する円を含むことを特徴とするシステム、装置またはプログラム。
  24. 請求項1~23のいずれかのシステム、装置またはプログラムにおいて、
    前記各プレイヤの位置は、少なくとも一方チームの各プレイヤの位置を取得したものであり、
    前記状況表示データは、一方チームのプレイヤに関する表示のみを含むことを特徴とするシステム、装置またはプログラム。
  25. 請求項1~24のいずれかのシステム、装置またはプログラムにおいて、
    前記各プレイヤの位置は、一方チームだけでなく対戦相手チームの各プレイヤの位置を取得したものであり、
    前記状況表示データは、一方チームだけでなく対戦相手チームのプレイヤに関する表示も含むことを特徴とするシステム、装置またはプログラム。
  26. 請求項1~25のいずれかのシステム、装置またはプログラムにおいて、
    前記状況表示データは、取得したプレイヤの位置がフィールド外である場合には、当該プレイヤに関する表示は含まないことを特徴とするシステム、装置またはプログラム。
  27. 請求項1~26のいずれかのシステム、装置またはプログラムにおいて、
    前記各プレイヤの位置は、前記プレイヤ以外の競技参加者である二次的プレイヤの位置も含み、
    前記状況表示データは、取得した前記二次的プレイヤの位置も含むことを特徴とするシステム、装置またはプログラム。
  28. 請求項1~27のいずれかのシステム、装置またはプログラムにおいて、
    前記各プレイヤの位置の取得に加えて、プレイヤに従属せず移動する競技対象物の位置も取得し、
    前記状況表示データは、前記競技対象物の位置も含むことを特徴とするシステム、装置またはプログラム。
  29. サーバ装置および当該サーバ装置と通信可能な端末装置を備えたプレイヤ位置可視化システムであって、
    前記サーバ装置は、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、前記端末装置に送信するデータ送信手段とを備え、
    前記端末装置は、
    前記サーバ装置からの動画データおよび状況表示データを受信するデータ受信手段と、
    前記受信した動画データを表示部に表示する動画データ表示手段と、
    前記受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えたことを特徴とするプレイヤ位置可視化システムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするプレイヤ位置可視化システム。
  30. プレイヤ可視化システムのためのサーバ装置であって、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、端末装置に送信するデータ送信手段と、
    を備えたサーバ装置において、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするサーバ装置。
  31. サーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データと生成された状況表示データを、端末装置に送信するデータ送信手段として機能させるためのサーバプログラムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするサーバプログラム。
  32. プレイヤ可視化システムのための端末装置であって、
    サーバ装置からの動画データおよび状況表示データを受信するデータ受信手段と、
    前記受信した動画データを表示部に表示する動画データ表示手段と、
    前記受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えた端末装置において、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とする端末装置。
  33. プレイヤ可視化のための端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
    サーバ装置から受信した動画データを表示部に表示する動画データ表示手段と、
    サーバ装置から受信した状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段として機能させるための端末プログラムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とする端末プログラム。
  34. フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データを表示部に表示する動画データ表示手段と、
    前記状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段と、
    を備えたことを特徴とするプレイヤ位置可視化装置において、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするプレイヤ位置可視化装置。
  35. プレイヤ位置可視化装置をコンピュータによって実現するためのプレイヤ位置可視化プログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて表示するための少なくともプレイヤの位置を含む状況表示データを生成する状況表示データ生成手段と、
    前記動画データを表示部に表示する動画データ表示手段と、
    前記状況表示データを動画に重畳させて表示部に表示する状況表示データ表示手段と、
    前記動画の各プレイヤに前記状況表示データによる各プレイヤの位置を同期させて表示するよう制御する同期手段として機能させるためのプレイヤ位置可視化プログラムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするプレイヤ位置可視化プログラム。
  36. サーバ装置および当該サーバ装置と通信可能な端末装置を備えたプレイヤ位置可視化システムであって、
    前記サーバ装置は、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて状況表示データが表示された重畳動画を生成する重畳動画データ生成手段と、
    前記重畳動画データを、前記端末装置に送信するデータ送信手段とを備え、
    前記端末装置は、
    前記サーバ装置からの重畳動画データを受信するデータ受信手段と、
    前記受信した重畳動画データを表示部に表示する重畳動画データ表示手段と、
    を備えたことを特徴とするプレイヤ位置可視化システムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするプレイヤ位置可視化システム。
  37. プレイヤ可視化システムのためのサーバ装置であって、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて状況表示データが表示された重畳動画を生成する重畳動画データ生成手段と、
    前記重畳動画データを、端末装置に送信するデータ送信手段と、
    を備えたサーバ装置において、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするサーバ装置。
  38. サーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
    フィールドで複数プレイヤが参加して行う競技の各プレイヤを撮像した動画データを取得する動画取得手段と、
    前記フィールドの各プレイヤの位置を取得する位置取得手段と、
    位置取得手段によって取得した各プレイヤの位置が動画データにおける各プレイヤの位置と合致するように、前記動画データに重ねて状況表示データが表示された重畳動画を生成する重畳動画データ生成手段と、
    前記重畳動画データを、端末装置に送信するデータ送信手段として機能させるためのサーバプログラムにおいて、
    前記状況表示データは、時間経過とともに変動する各プレイヤの最下部の位置において各プレイヤを結んで形成される各プレイヤを頂点とする三角形を含むことを特徴とするサーバプログラム。
  39. 請求項29~38のいずれかのシステム、装置またはプログラムにおいて、
    前記状況表示データは、前記プレイヤを中心とし、現実のフィールドにおける所定長さを半径とする円に対応する円を含むようにすることで、画面の縮小拡大を行っても当該円に基づいて選手間の距離を容易に把握できるようにしたことを特徴とするシステム、装置またはプログラム。
JP2017189860A 2017-09-29 2017-09-29 プレイヤ位置可視化装置 Active JP7141629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017189860A JP7141629B2 (ja) 2017-09-29 2017-09-29 プレイヤ位置可視化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017189860A JP7141629B2 (ja) 2017-09-29 2017-09-29 プレイヤ位置可視化装置

Publications (2)

Publication Number Publication Date
JP2019063121A JP2019063121A (ja) 2019-04-25
JP7141629B2 true JP7141629B2 (ja) 2022-09-26

Family

ID=66338221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017189860A Active JP7141629B2 (ja) 2017-09-29 2017-09-29 プレイヤ位置可視化装置

Country Status (1)

Country Link
JP (1) JP7141629B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000044449A1 (fr) 1999-01-29 2000-08-03 Scale Inc. Dispositif et procede de traitement des donnees en series chronologiques
JP2002352250A (ja) 2001-05-15 2002-12-06 Internatl Business Mach Corp <Ibm> チームプレーの解析方法、チームプレーの表示方法、チームプレー解析装置、プログラム、および記憶媒体
JP2003533306A (ja) 2000-05-17 2003-11-11 サッカーデータバンク カンパニー リミテッド コンピュータネットワークを利用したサッカー競技の記録分析方法と、分析システム及び記録分析プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008046686A (ja) 2006-08-10 2008-02-28 Hokkaido Univ 経路推定装置およびその制御方法、経路推定装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP2008117042A (ja) 2006-11-01 2008-05-22 Nomura Research Institute Ltd 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム
WO2016094894A1 (en) 2014-12-13 2016-06-16 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
JP2017080197A (ja) 2015-10-29 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000044449A1 (fr) 1999-01-29 2000-08-03 Scale Inc. Dispositif et procede de traitement des donnees en series chronologiques
JP2003533306A (ja) 2000-05-17 2003-11-11 サッカーデータバンク カンパニー リミテッド コンピュータネットワークを利用したサッカー競技の記録分析方法と、分析システム及び記録分析プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002352250A (ja) 2001-05-15 2002-12-06 Internatl Business Mach Corp <Ibm> チームプレーの解析方法、チームプレーの表示方法、チームプレー解析装置、プログラム、および記憶媒体
JP2008046686A (ja) 2006-08-10 2008-02-28 Hokkaido Univ 経路推定装置およびその制御方法、経路推定装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP2008117042A (ja) 2006-11-01 2008-05-22 Nomura Research Institute Ltd 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム
WO2016094894A1 (en) 2014-12-13 2016-06-16 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
JP2017080197A (ja) 2015-10-29 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP2019063121A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
US11783721B2 (en) Virtual team sport trainer
US9288545B2 (en) Systems and methods for tracking and tagging objects within a broadcast
JP2018143780A (ja) 運動トレーニングのシステムおよび方法
CN106164817A (zh) 体育设备与可穿戴的计算机的交互
US11159854B2 (en) Systems and methods for tracking and tagging objects within a broadcast
WO2013171658A1 (en) System and method for automatic video filming and broadcasting of sports events
EP3278268A1 (en) System for the automated analisys of a sporting match
KR101962578B1 (ko) Vr을 이용한 피트니스 운동 서비스 제공 시스템
US11758238B2 (en) Systems and methods for displaying wind characteristics and effects within a broadcast
JP7141629B2 (ja) プレイヤ位置可視化装置
KR20110130846A (ko) 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체
JP7437652B2 (ja) 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
JP7076727B2 (ja) プレイヤ位置可視化装置
US20230009700A1 (en) Automated offside detection and visualization for sports
US20240144613A1 (en) Augmented reality method for monitoring an event in a space comprising an event field in real time
CN114500773B (zh) 一种转播方法、系统和存储介质
JP7300668B2 (ja) プレイ分析装置、及び、プレイ分析方法
CN117354568A (zh) 一种显示方法、设备及系统
EP3632129A1 (en) Systems and methods for tracking and tagging objects within a broadcast

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171002

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200306

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7141629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350