JP6996384B2 - 表示プログラム、表示方法および表示装置 - Google Patents

表示プログラム、表示方法および表示装置 Download PDF

Info

Publication number
JP6996384B2
JP6996384B2 JP2018060417A JP2018060417A JP6996384B2 JP 6996384 B2 JP6996384 B2 JP 6996384B2 JP 2018060417 A JP2018060417 A JP 2018060417A JP 2018060417 A JP2018060417 A JP 2018060417A JP 6996384 B2 JP6996384 B2 JP 6996384B2
Authority
JP
Japan
Prior art keywords
event
time
video
display
occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018060417A
Other languages
English (en)
Other versions
JP2019176260A (ja
Inventor
友洋 滝澤
拓人 本山
和宏 有馬
深一 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018060417A priority Critical patent/JP6996384B2/ja
Priority to US16/292,935 priority patent/US10950276B2/en
Priority to CN201910199273.6A priority patent/CN110310302B/zh
Priority to DE102019203614.7A priority patent/DE102019203614A1/de
Publication of JP2019176260A publication Critical patent/JP2019176260A/ja
Application granted granted Critical
Publication of JP6996384B2 publication Critical patent/JP6996384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22Means responsive to presence or absence of recorded information signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Description

本発明は、表示プログラム等に関する。
従来、スポーツの試合において、各選手のプレー内容をスタッツ情報として記録している。たとえば、バスケットの試合では、作業者は、試合を直接目視したり、試合の映像を参照して、各選手が行うパスやシュート、ゴール、リバウンドなどのイベントを確認し、確認したものをスタッツ情報として、コンピュータに入力して記録している。
また、試合の映像から特定のイベントを特定する従来技術があり、かかる技術を用いることで、スタッツ情報を自動的に生成する従来技術がある。
特開2006-312088号公報 特開2010-183301号公報 特開2015-070503号公報 特開2001-230993号公報 特開2009-153144号公報
しかし、従来技術を用いたコンピュータにより検出されるイベントが実際に発生したイベントと異なる場合があり、すなわち誤検出される場合があり、スタッツ情報を適切に生成することができない場合がある。このため、作業者は、コンピュータにより自動的に生成されるスタッツ情報と、試合の映像とを見くらべ、スタッツ情報が適切であるか否かを判断する。たとえば、作業者は、自動生成されたスタッツ情報が正しい場合には、そのままスタッツ情報を記録する。一方、自動生成されたスタッツ情報が間違っている場合には、作業者が、スタッツ情報を修正し、修正したスタッツ情報を記録する。
なお、コンピュータがイベントを検出する処理時間は、映像が入力されてから例えば数十秒である。実際にイベントが発生してから、イベントの検出結果が出力されるまでに、数十秒の遅れが発生する。たとえば、映像をリアルタイムに再生すると、映像上ではイベントが発生した後になってから、従来技術により検出されたイベントが表示されることになり、作業者はイベントを確認し辛い。このため、作業者の確認画面に、リアルタイムに試合映像を再生させるのではなく、検出処理に掛かる数十秒ぶんを遅らせて再生することで、従来技術により検出されたイベントと試合映像とを同期させる態様が考えられる。
しかしながら、上述した態様では、確認作業の操作性を向上させることができないという問題がある。
1つの側面では、本発明は、確認作業の操作性を向上させることができる表示プログラム、表示方法および表示装置を提供することを目的とする。
第1の案では、コンピュータは、次の処理を実行する。コンピュータは、スポーツの試合映像を取得する。コンピュータは、試合映像を取得してから、試合映像を解析してスポーツで発生するイベントの発生タイミングと、イベントのイベント種別と、イベントの発生位置とを特定するまでに要する所要時間に、所定時間以上の時間長を加えた遅れで、試合映像を再生する。コンピュータは、イベント種別と、イベントの発生位置とを受け付けた場合に、イベントの発生タイミングの所定時間前のタイミングで、試合映像にイベント種別と、イベントの発生位置を示す領域情報とを所定時間継続して表示する。
確認作業の操作性を向上させることができる。
図1は、本実施例に係るシステムの構成を示す図である。 図2は、本実施例に係る表示装置の処理の一例を説明するための図である。 図3は、本実施例に係る表示装置の構成を示す機能ブロック図である。 図4は、映像バッファのデータ構造の一例を示す図である。 図5は、トラッキングテーブルのデータ構造の一例を示す図である。 図6は、対応テーブルのデータ構造の一例を示す図である。 図7は、イベントテーブルのデータ構造の一例を示す図である。 図8は、表示画面の一例を示す図である。 図9は、本実施例に係る表示装置の処理手順を示すフローチャートである。 図10は、予見サークルの表現パターンの一例を示す図である。 図11は、イベントが発生する位置を示すパターンの一例を示す図である。 図12は、表示装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
以下に、本願の開示する表示プログラム、表示方法および表示装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係るシステムの構成を示す図である。図1に示すように、このシステムは、カメラ10a~10hと、表示装置100とを有する。
このシステムは、カメラ10a~10h以外のカメラを有していてもよい。以下の説明では、カメラ10a~10hをまとめて適宜、カメラ10と表記する。カメラ10は、表示装置100に接続される。
コート1において、選手2a~2jはスポーツを行う。以下の説明では、選手2a~2jをまとめて適宜、選手2と表記する。本実施例では、選手2がコート1でバスケットボールの試合を行う場合について説明するが、これに限定されるものではない。たとえば、本発明は、バスケットボールの他にも、サッカー、バレーボール、野球、陸上等の競技や、ダンス等にも適用することができる。
カメラ10は、所定のフレームレート(FPS:Frames Per Second)によって撮像した、撮像範囲の映像データを、表示装置100に出力するカメラである。この映像データは、選手2により行われる試合の映像データである。映像データには、映像データを撮影したカメラ10を一意に識別するカメラID(Identifier)および各フレームの時刻の情報が付与される。
表示装置100は、カメラ10から取得する映像データを解析して、試合中に発生するイベントを検出し、検出したイベントの情報と、映像データとを表示する装置である。ここで、表示装置100が、イベントの発生を検出するまでに要する時間を「解析時間」と表記する。表示装置100は、解析時間と予見時間とを加算した「遅延時間」だけ遅らせて、映像データを再生させると共に、映像データでイベントが発生する前(予見時間だけ前)に、イベントの情報を予め表示させる処理を行う。
図2は、本実施例に係る表示装置の処理の一例を説明するための図である。図2に示す例では、試合中の時刻t11にイベント20が発生している。たとえば、発生したイベント20を「背番号8の選手が2ポイントシュートを失敗」とする。
表示装置100による映像データの解析時間を「T」とし、予見時間を「T」とすると、遅延時間は「T+T」となる。表示装置100は、実際にイベント20が発生した時刻t11から、遅延時間「T+T」だけ遅延させて、映像データの再生を行う。また、表示装置100は、遅延時間「T+T」だけ遅延させて、映像データの再生を行う場合に、時刻t11から解析時間Tだけ経過した時点で、解析結果となるイベントの情報21の表示を開始する。たとえば、表示装置100が、時刻t11+T~時刻t11+T+Tの間に表示するイベントの情報は、イベント種別、イベントの発生位置などである。
上記のように、本実施例に係る表示装置100によれば、時刻t11+T~時刻t11+T+Tの間に、イベントの情報を前もって作業者に表示させておき、時刻t11から、遅延時間「T+T」だけ経過した時点で、イベント20が映像データで表示される。このため、作業者は、どのようなイベントが発生するかを前もって知ることができるので、表示装置100が自動で判定したイベントの情報が適切か否かを確認しやすくなる。すなわち、確認作業の操作性を向上することができる。
続いて、図1に示した表示装置100の構成の一例について説明する。図3は、本実施例に係る表示装置の構成を示す機能ブロック図である。図3に示すように、この表示装置100は、インタフェース部110と、入力部120と、表示部130と、記憶部140と、制御部150とを有する。
インタフェース部110は、カメラ10から映像データの入力を受け付けるインタフェースである。インタフェース部110は、カメラ10から受け付けた映像データを、制御部150に出力する。
入力部120は、表示装置100に各種の情報を入力するための入力装置である。入力部120は、キーボードやマウス、タッチパネル等に対応する。
表示部130は、制御部150から出力されるイベントの情報、映像データを表示する装置である。表示部130は、液晶ディスプレイやタッチパネル等に対応する。
作業者は、表示部130に表示されるイベントの情報を参照し、映像データと見くらべることで、イベントの情報が適切であるか否かを確認する。作業者は、イベントの情報が適切でないと判断した場合には、入力部120を操作して、イベントの情報を修正する。一方、作業者は、イベントの情報が適切である場合には、イベントの修正を行わない。
記憶部140は、映像バッファ141と、トラッキングテーブル142と、対応テーブル143と、イベントテーブル144とを有する。記憶部140は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
映像バッファ141は、カメラ10が撮影した映像データを保持するバッファである。図4は、映像バッファのデータ構造の一例を示す図である。図4に示すように、映像バッファは、カメラIDと、映像データとを対応付ける。カメラIDは、カメラ10を一意に識別する情報である。たとえば、カメラ10a~10hに対応するカメラIDをそれぞれ、カメラID「K10a~K10h」とする。映像データは、該当するカメラにより撮影された試合の映像データである。
トラッキングテーブル142は、選手2または試合で使用されるボールに関する各時刻の位置座標(移動軌跡)の情報を保持するテーブルである。図5は、トラッキングテーブルのデータ構造の一例を示す図である。図5に示すように、このトラッキングテーブル142は、トラッキングIDと、時刻と、種別と、座標とを対応付ける。トラッキングIDは、時刻と座標とによって特定される、一連の選手またはボールの移動軌跡を一意に識別する情報である。時刻は、選手2またはボールの座標を検出した時刻を示す。種別は、トラッキングIDにより識別される軌跡が、選手2の軌跡であるか、ボールの軌跡であるかを示す情報である。座標は、選手2またはボールの3次元座標を示す。たとえば、x軸方向の座標は、コート1の短辺方向の座標を示す。y軸方向の座標は、コート1の長辺方向の座標を示す。z軸方向の座標は、コート1の垂直方向の座標を示す。
図5では、トラッキングID「o1」により識別される「選手」の座標(軌跡)が、各時刻「t、t、t、・・・」において、座標「(xo11,yo11,zo11)、(xo12,yo12,zo12)、(xo13,yo13,zo13)、・・・」と移動していることを示す。
対応テーブル143は、選手2の情報と、図5で説明したトラッキングテーブルの情報とを対応付けるテーブルである。図6は、対応テーブルのデータ構造の一例を示す図である。図6に示すように、この対応テーブル143は、紐付け時刻と、トラッキングIDと、選手カラーと、背番号とを対応付ける。紐付け時刻は、選手とトラッキングIDとの紐付け(対応付け)を行う時刻である。トラッキングIDは、図5で説明したトラッキングIDに対応する。選手カラーは、選手2が着用するユニフォームの色を示す。背番号は、選手2の背番号を示すものである。選手カラーと、背番号との組によって、選手2が一意に特定される。
たとえば、図6において、選手カラー「red」、背番号「1」の選手2は、紐付け時刻「t10」において、トラッキングID「o1」の時刻「t10」の座標に位置することを示す。
イベントテーブル144は、映像データから検出されたイベントに関する各種の情報を保持するテーブルである。図7は、イベントテーブルのデータ構造の一例を示す図である。図7に示すように、このイベントテーブル144は、通番と、イベント種別と、トラッキングIDと、選手カラーと、背番号と、時刻と、座標とを対応付ける。通番は、イベントの発生した順番を示すものである。イベント種別は、イベントの種別を示すものである。トラッキングID、選手カラー、背番号に関する説明は、図6のトラッキングID、選手カラー、背番号に関する説明と同様である。時刻は、イベントが発生した時刻を示すものである。座標はイベントの発生位置を示すものである。
図3の説明に戻る。制御部150は、取得部151、画像解析部152、映像再生部153、表示制御部154、修正部155を有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
取得部151は、インタフェース部110を介して、カメラ10から映像データを取得する処理部である。取得部151は、映像データに付与されたカメラIDを参照し、映像バッファ141のカメラIDに対応する領域に、映像データを格納する。
画像解析部152は、映像バッファ141に格納された映像データを解析することで、トラッキングテーブル142、対応テーブル143、イベントテーブル144を生成する処理部である。画像解析部152は、映像データを解析して、イベントの情報を生成するまでの解析時間の情報を、映像再生部153および表示制御部154に出力する。
画像解析部152が、トラッキングテーブル142および対応テーブル143を生成する処理の一例について説明する。画像解析部152は、映像バッファ141に格納される映像データのフレームから選手2の特徴部分(色、形状等)を検出し、2台のカメラ10によるステレオカメラ(三角測量)の原理に基づいて、選手2の3次元座標を算出する。画像解析部152は、トラッキングIDと、時刻と、種別「選手」と、座標とを対応付けた情報を、トラッキングテーブル142に登録する。また、画像解析部152は、紐付け時刻と、トラッキングIDと、選手カラーと、背番号とを対応付けた情報を、対応テーブル143に登録する。
画像解析部152は、映像バッファ141に格納される映像データのフレームからボールの特徴部分(色、形状等)を検出し、2台のカメラ10によるステレオカメラの原理に基づいて、ボールの3次元座標を算出する。画像解析部152は、トラッキングIDと、時刻と、種別「ボール」と、座標とを対応付けた情報を、トラッキングテーブル142に登録する。
なお、画像解析部152は、他の技術を用いて、トラッキングテーブル142および対応テーブル143を生成してもよい。たとえば、選手2またはボールに、予め信号を発生するセンサを装着しておき、画像解析部152は、係る信号を受信する複数の受信機(図示略)を用いて、選手2またはボールの3次元座標を算出してもよい。また、画像解析部152は、選手2またはボールのトラッキングデータを生成する外部のトラッキングシステム(図示略)から、トラッキングデータを受信し、トラッキングテーブル142および対応テーブル143に情報を登録してもよい。
画像解析部152が、イベントテーブル144を生成する処理の一例について説明する。画像解析部152は、トラッキングテーブル142に示される選手の座標、ボールが通過する領域の組合せを基にして、各種のイベント検出を行う。たとえば、画像解析部152は、バスケットゴールからの距離が閾値以上の場所の選手2から離れたボールが、所定の領域(バスケットゴール)を通過した場合に、イベント種別「3ポイントシュート成功」の発生を検出する。画像解析部152は、通番、イベント種別、トラッキングID、選手カラー、背番号、時刻、座標を対応付けて、イベントテーブル144に登録する。
ここで、コート1上の各ラインや、バスケットゴールの位置に関する情報は、予め記憶部140に記憶されているものとする。画像解析部152は、他の技術を用いて、イベントテーブル144を生成してもよい。また、画像解析部152は、イベント種別を検出する外部のトラッキングシステム(図示略)から、イベントの情報を受信し、イベントテーブル144に登録してもよい。
更に、画像解析部152は、特開2006-312088号公報、2010-183301号公報、特開2015-070503号公報等に記載された技術を利用して、選手やボールのトラッキング、イベント発生の検出をおこなってもよい。
画像解析部152は、映像バッファ141を解析して、イベントの情報を生成するまでに要する解析時間の情報を、映像再生部153および表示制御部154に出力する。画像解析部152は、各イベントの情報を生成する際に、イベントの情報を生成するまでの平均の解析時間を算出し、この平均の解析時間により、映像再生部153に出力する解析時間を更新してもよい。なお、画像解析部152は、外部のトラッキングシステムから、イベントの情報を受信する場合には、かかるトラッキングシステムが、イベントの情報を生成するまでに要する解析時間を予め取得しておき、かかる解析時間を、映像生成部153および表示制御部154に出力する。
映像再生部153は、映像バッファ141に格納された映像データを、表示部130に出力することで、映像データを再生する処理部である。ここで、映像再生部153は、映像データを再生する場合に、解析時間と予見時間とを加算した遅延時間を算出しておく。解析時間は、画像解析部152から受け付ける時間である。予見時間は、入力部120等を介して、作業者に予め設定される時間である。
たとえば、映像再生部153は、イベントテーブル144にイベントの情報が登録されると、映像バッファ141に格納された映像データがカメラ10に撮影された時刻から、遅延時間だけ遅延させて、映像データを再生する。
映像再生部153は、各カメラにより撮影された各映像データを再生してもよいし、入力部120を介して作業者に指定されるカメラ10により撮影された映像データを再生してもよい。映像再生部153から出力される映像データは、後述する表示制御部154により生成される表示画面の一部の領域で、表示される。
表示制御部154は、イベントテーブル144に格納されたイベントの情報を、表示部130に出力することで表示する処理部である。たとえば、表示制御部154は、イベントテーブル144にイベントの情報が登録されると、イベントが発生した時刻から、遅延時間経過後に、予見時間の間、イベントの情報を、表示部130に表示させる。
たとえば、図7のイベントテーブル144に通番「s1」に示すように、イベント種別「2ポイントシュート失敗」が時刻「t11」に発生した場合には、表示制御部154は、時刻t11+遅延時間~時刻t11+遅延時間+予見時間の間、イベントの情報を継続して、表示部130に表示させる。イベントの情報は、たとえば、イベント種別、イベントに関連する選手2の情報、イベントが発生する座標である。
図8は、表示画面の一例を示す図である。表示制御部154は、図8に示すような表示画面50の情報を生成し、表示部130に表示させる。たとえば、表示画面50には、領域50a~50hが含まれる。領域50aは、映像再生部153により出力される、遅延時間だけ遅延した、映像データが表示される領域である。
領域50bは、イベント種別とイベントを行う選手の情報を表示する領域である。図8に示す例では、背番号「8」の選手2が「2ポイントシュートを失敗する」旨の情報が表示されている。
領域50cは、遅延時間を表示する領域である。領域50dは、過去に発生したイベントの情報を表示する領域である。領域50eは、現在選択されているカメラの位置を表示する領域である。領域50fは、停止、再生、早送り、巻き戻し等の各種の操作ボタンを表示する領域である。領域50gは、各種のショートカットを表示する領域である。領域50hは、試合に出場している選手2の一覧情報を表示する領域である。
図8の領域50aには、イベントが発生する座標が、予見サークル60によって表示されている。たとえば、表示制御部154は、カメラに応じた座標変換テーブルを有しており、この座標変換テーブルと、イベントが発生した座標とを比較することで、領域50a上のイベントが発生する座標を算出し、該当する位置に予見サークル60を表示させる。
表示制御部154は、イベントが発生する位置に予見サークル60を継続して表示させてもよいし、予見時間の間、イベントを発生する選手の移動軌跡に合わせて、予見サークル60を移動させてもよい。表示制御部154は、イベントテーブル144の該当イベント種別のトラッキングIDと、トラッキングテーブル142とを比較して、各時刻の移動軌跡(座標)を特定し、予見サークル60を移動させる。
作業者は、表示部130に表示される表示画面50を参照し、領域50aで表示されるイベントの情報が適切であるか否かを判断する。作業者は、イベントの情報が適切でないと判断した場合には、入力部120を操作して、領域50bに表示されるイベントの情報を修正する。
修正部155は、入力部120から入力される修正に応じて、イベントテーブル144のイベント情報を修正する処理部である。たとえば、領域50bに、背番号「8」の選手2が「2ポイントシュートを失敗する」旨の情報が表示されており、背番号「8」の選手2が「2ポイントシュートを成功する」旨の修正を受け付けたとする。この場合には、修正部155は、イベントテーブル144の「2ポイントシュートを失敗する」を「2ポイントシュートを成功する」に修正する。
次に、本実施例に係る表示装置100の処理手順の一例について説明する。図9は、本実施例に係る表示装置の処理手順を示すフローチャートである。図9に示すように、この表示装置100の取得部151は、カメラ10から映像データを取得し、映像バッファ141に格納する(ステップS101)。
表示装置100の画像解析部152は、映像バッファ141に格納された映像データを解析する(ステップS102)。表示装置100の映像再生部153は、イベントが発生した時刻から、遅延時間だけ遅延させて、映像データを再生する(ステップS103)。
表示装置100の表示制御部154は、予見時間の間、イベントの情報とイベントの発生位置とを継続して表示画面に表示する(ステップS104)。表示装置100の修正部155は、作業者の確認結果を受け付ける(ステップS105)。
修正部155は、イベントの情報が正しい旨の確認結果を受け付けた場合には(ステップS106,Yes)、ステップS108に移行する。修正部155は、イベントの情報が正しくない旨の確認結果を受け付けた場合には(ステップS106,No)、イベントテーブル144のイベントの情報を修正する(ステップS107)。修正部155は、イベントテーブル144のイベントの情報を確定する(ステップS108)。
次に、本実施例に係る表示装置100の効果について説明する。表示装置100は、映像データの解析時間に予見時間を加えた遅延時間だけ、映像データを送らせて再生し、映像データでイベントが発生する前に、イベントの情報を事前に表示する処理を行う。これにより、作業者は、どのようなイベントが発生するかを前もって知ることができるので、表示装置100が自動で判定したイベントの情報が適切か否かを確認しやすくなる。すなわち、確認作業の操作性を向上することができる。
ところで、上述した表示装置100の処理は一例であり、表示装置100はその他の処理を行ってもよい。以下では、表示装置100のその他の処理1~3について説明する。
表示装置100が行うその他の処理1について説明する。表示装置100の映像再生部153および表示制御部154は、イベント種別に応じて予見時間を調整する処理を行ってもよい。たとえば、イベント種別には、かかるイベント種別が適切であるか否かを作業者が判断しやすいものと、判断しにくいものがあり、判断しにくいイベント種別に関しては、予見時間を長くしたほうがよい場合がある。
映像再生部153および表示制御部154は、イベントテーブル144のイベント種別を、判断しやすいイベント種別と、判断しにくいイベント種別に区別しておく。映像再生部153および表示制御部154は、判断しやすいイベント種別に関する予見時間を、予め設定される予見時間とする。一方、映像再生部153および表示制御部154は、判断しやすいイベント種別に関する予見時間よりも、判断しにくいイベント種別に関する予見時間を長くする。どの程度予見時間を長くするのかは、予め作業者が設定しておくものとする。
たとえば、イベント種別のうちディフェンスリバウンド、オフェンスリバウンド等は、多くの選手2が競り合うイベントであるため、判断しにくいイベントである。これに対して、3ポイントシュート等は、多くの選手2が競り合うことが少ないイベントであり、判断がしやすいイベントである。
表示装置100が行うその他の処理2について説明する。表示装置100の表示制御部154は、予見時間において、予見サークルを表示させる場合に、イベントの発生時刻(発生タイミング)に近づくにつれて、予見サークルの表現パターンを変化させてもよい。本実施例では一例として、イベントの発生時刻を基にして、説明を行うが、イベントの発生時刻の代わりに、試合開始時点からの相対的なイベントの発生タイミングに基づいて、処理を行ってもよい。
図10は、予見サークルの表現パターンの一例を示す図である。図10に示す例では、表現パターン60a,60b,60cを示す。表現パターン60aでは、表示制御部154は、イベントの発生時刻taに近づくにつれて、予見サークルの濃淡を変化させる。たとえば、表示制御部154は、予見サークルを予見サークル61a、61b、61cの順に変化させる。予見サークル61cは、予見サークル61bよりも濃い予見サークルである。予見サークル61bは、予見サークル61aよりも濃い予見サークルである。
表現パターン60bでは、表示制御部154は、イベントの発生時刻taに近づくにつれて、予見サークルの線の太さを変化させる。たとえば、表示制御部154は、予見サークルを予見サークル62a,62b,62cの順に変化させる。予見サークル62cの線は、予見サークル62bの線よりも太い線である。予見サークル62bの線は、予見サークル62cの線よりも太い線である。
表現パターン60cでは、表示制御部154は、イベントの発生時刻taに近づくにつれて、予見サークルの点滅の間隔を変化させる。たとえば、表示制御部154は、予見サークルを予見サークル63a,63b,63cの順に変化させる。予見サークル63cの点滅の間隔は、予見サークル63bの点滅の間隔よりも狭い。予見サークル63bの点滅の間隔は、予見サークル63aの点滅の間隔よりも狭い。
上記のように、表示装置100が、イベントの発生時刻に近づくにつれて、予見サークルの表現パターンを変化させることで、映像データにおいて、イベントが発生するタイミングがわかりやすくなる。
表示装置100が行うその他の処理3について説明する。表示装置100の表示制御部154は、イベントが発生する位置に予見サークルを表示させたが、これに限定されるものではない。図11は、イベントが発生する位置を示すパターンの一例を示す図である。
図11に示すように、イベントが発生する位置を示すパターンは、サークル65a、点線上のサークル65b、二重のサークル65cであってもよい。また、三角マーク66a,66bによって、イベントが発生するパターンを示してもよい。三角マーク66a,66bは、選手が重なっても、見やすいという利点がある。また、イベントが発生する位置を示すパターンは、三角形67a、星形67b、ダイヤ型67c、5角形67dであってもよい。図11のパターンでは説明を省略したが、パターンの色を変化させてもよい。
表示制御部154は、図11に示した何れかのパターンを用いて、イベントが発生する位置を表示画面に表示させる。更に、表示制御部154は、イベント種別と、パターンとを対応付けたテーブルを保持しておき、かかるテーブルに基づいて、イベント種別に対応したパターンにより、イベントが発生する位置を表示してもよい。また、表示制御部154は、オフェンス中の選手に表示させるパターンと、ディフェンス中の選手に表示させるパターンとを区別して、表示してもよい。
次に、上記実施例に示した表示装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図12は、表示装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図12に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、有線または無線ネットワークを介して収録機器等との間でデータの授受を行うインタフェース装置205とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201~207は、バス208に接続される。
ハードディスク装置207は、取得プログラム207a、画像解析プログラム207b、映像再生プログラム207c、表示制御プログラム207d、修正プログラム207eを有する。また、ハードディスク装置207は、各プログラム207a~207eを読み出してRAM206に展開する。
取得プログラム207aは、取得プロセス206aとして機能する。画像解析プログラム207bは、画像解析プロセス206bとして機能する。映像再生プログラム207cは、映像再生プロセス206cとして機能する。表示制御プログラム207dは、表示制御プロセス206dとして機能する。修正プログラム207eは、修正プロセス206eとして機能する。
取得プロセス206aの処理は、取得部151の処理に対応する。画像解析プロセス206bの処理は、画像解析部152の処理に対応する。映像再生プロセス206cの処理は、映像再生部153の処理に対応する。表示制御プロセス206dの処理は、表示制御部154の処理に対応する。修正プロセス206eの処理は、修正部155の処理に対応する。
なお、各プログラム207a~207eについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD-ROM、DVD、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a~207eを読み出して実行するようにしても良い。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)スポーツの試合映像を取得し、
前記試合映像を取得してから、前記試合映像を解析して前記スポーツで発生するイベントの発生タイミングと、前記イベントのイベント種別と、前記イベントの発生位置とを特定するまでに要する所要時間に、所定時間以上の時間長を加えた遅れで、前記試合映像を再生し、
前記イベント種別と、前記イベントの発生位置とを受け付けた場合に、前記イベントの発生タイミングの前記所定時間前のタイミングで、前記試合映像に前記イベント種別と、前記イベントの発生位置を示す領域情報とを前記所定時間継続して表示する
処理をコンピュータに実行させることを特徴とする表示プログラム。
(付記2)前記イベント種別を基にして、前記所要時間に加える時間長を調整する処理を更にコンピュータに実行させることを特徴とする付記1に記載の表示プログラム。
(付記3)前記表示する処理は、前記イベント種別に応じたパターンを、前記イベントの発生位置を示す領域情報として、表示することを特徴とする付記1または2に記載の表示プログラム。
(付記4)前記表示する処理は、前記試合映像の時刻が、前記イベントの発生タイミングに近づくに伴い、前記イベント種別に応じたパターンの表現を変化させることを特徴とする付記3に記載の表示プログラム。
(付記5)コンピュータが実行する表示方法であって、
スポーツの試合映像を取得し、
前記試合映像を取得してから、前記試合映像を解析して前記スポーツで発生するイベントの発生タイミングと、前記イベントのイベント種別と、前記イベントの発生位置とを特定するまでに要する所要時間に、所定時間以上の時間長を加えた遅れで、前記試合映像を再生し、
前記イベント種別と、前記イベントの発生位置とを受け付けた場合に、前記イベントの発生タイミングの前記所定時間前のタイミングで、前記試合映像に前記イベント種別と、前記イベントの発生位置を示す領域情報とを前記所定時間継続して表示する
処理を実行させることを特徴とする表示方法。
(付記6)前記イベント種別を基にして、前記所要時間に加える時間長を調整する処理を更に実行することを特徴とする付記5に記載の表示方法。
(付記7)前記表示する処理は、前記イベント種別に応じたパターンを、前記イベントの発生位置を示す領域情報として、表示することを特徴とする付記5または6に記載の表示方法。
(付記8)前記表示する処理は、前記試合映像の時刻が、前記イベントの発生タイミングに近づくに伴い、前記イベント種別に応じたパターンの表現を変化させることを特徴とする付記7に記載の表示方法。
(付記9)スポーツの試合映像を取得する取得部と、
前記試合映像を取得してから、前記試合映像を解析して前記スポーツで発生するイベントの発生タイミングと、前記イベントのイベント種別と、前記イベントの発生位置とを特定するまでに要する所要時間に、所定時間以上の時間長を加えた遅れで、前記試合映像を再生する映像再生部と、
前記イベント種別と、前記イベントの発生位置とを受け付けた場合に、前記イベントの発生タイミングの前記所定時間前のタイミングで、前記試合映像に前記イベント種別と、前記イベントの発生位置を示す領域情報とを前記所定時間継続して表示する表示制御部と
を有することを特徴とする表示装置。
(付記10)前記映像再生部は、前記イベント種別を基にして、前記所要時間に加える時間長を調整する処理を更に実行することを特徴とする付記9に記載の表示装置。
(付記11)前記表示制御部は、前記イベント種別に応じたパターンを、前記イベントの発生位置を示す領域情報として、表示することを特徴とする付記9または10に記載の表示装置。
(付記12)前記表示制御部は、前記試合映像の時刻が、前記イベントの発生タイミングに近づくに伴い、前記イベント種別に応じたパターンの表現を変化させることを特徴とする付記11に記載の表示装置。
100 表示装置
110 インタフェース部
120 入力部
130 表示部
140 記憶部
141 映像バッファ
142 トラッキングテーブル
143 対応テーブル
144 イベントテーブル
150 制御部
151 取得部
152 画像解析部
153 映像再生部
154 表示制御部
155 修正部

Claims (6)

  1. スポーツの試合映像を取得し、
    前記試合映像を取得してから、前記試合映像を解析して前記スポーツで発生するイベントの発生タイミングと、前記イベントのイベント種別と、前記イベントの発生位置とを特定するまでに要する所要時間に、所定時間以上の時間長を加えた遅れで、前記試合映像を再生し、
    前記イベント種別と、前記イベントの発生位置とを受け付けた場合に、前記イベントの発生タイミングの前記所定時間前のタイミングで、前記試合映像に前記イベント種別と、前記イベントの発生位置を示す領域情報とを前記所定時間継続して表示する
    処理をコンピュータに実行させることを特徴とする表示プログラム。
  2. 前記イベント種別を基にして、前記所要時間に加える時間長を調整する処理を更にコンピュータに実行させることを特徴とする請求項1に記載の表示プログラム。
  3. 前記表示する処理は、前記イベント種別に応じたパターンを、前記イベントの発生位置を示す領域情報として、表示することを特徴とする請求項1または2に記載の表示プログラム。
  4. 前記表示する処理は、前記試合映像の時刻が、前記イベントの発生タイミングに近づくに伴い、前記イベント種別に応じたパターンの表現を変化させることを特徴とする請求項3に記載の表示プログラム。
  5. コンピュータが実行する表示方法であって、
    スポーツの試合映像を取得し、
    前記試合映像を取得してから、前記試合映像を解析して前記スポーツで発生するイベントの発生タイミングと、前記イベントのイベント種別と、前記イベントの発生位置とを特定するまでに要する所要時間に、所定時間以上の時間長を加えた遅れで、前記試合映像を再生し、
    前記イベント種別と、前記イベントの発生位置とを受け付けた場合に、前記イベントの発生タイミングの前記所定時間前のタイミングで、前記試合映像に前記イベント種別と、前記イベントの発生位置を示す領域情報とを前記所定時間継続して表示する
    処理を実行させることを特徴とする表示方法。
  6. スポーツの試合映像を取得する取得部と、
    前記試合映像を取得してから、前記試合映像を解析して前記スポーツで発生するイベントの発生タイミングと、前記イベントのイベント種別と、前記イベントの発生位置とを特定するまでに要する所要時間に、所定時間以上の時間長を加えた遅れで、前記試合映像を再生する映像再生部と、
    前記イベント種別と、前記イベントの発生位置とを受け付けた場合に、前記イベントの発生タイミングの前記所定時間前のタイミングで、前記試合映像に前記イベント種別と、前記イベントの発生位置を示す領域情報とを前記所定時間継続して表示する表示制御部と
    を有することを特徴とする表示装置。
JP2018060417A 2018-03-27 2018-03-27 表示プログラム、表示方法および表示装置 Active JP6996384B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018060417A JP6996384B2 (ja) 2018-03-27 2018-03-27 表示プログラム、表示方法および表示装置
US16/292,935 US10950276B2 (en) 2018-03-27 2019-03-05 Apparatus and method to display event information detected from video data
CN201910199273.6A CN110310302B (zh) 2018-03-27 2019-03-15 显示装置、显示方法及非暂态计算机可读记录介质
DE102019203614.7A DE102019203614A1 (de) 2018-03-27 2019-03-18 Einrichtung und Verfahren zur Anzeige von Ereignisinformation, die aus Videodaten detektiert wird

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018060417A JP6996384B2 (ja) 2018-03-27 2018-03-27 表示プログラム、表示方法および表示装置

Publications (2)

Publication Number Publication Date
JP2019176260A JP2019176260A (ja) 2019-10-10
JP6996384B2 true JP6996384B2 (ja) 2022-01-17

Family

ID=67910309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018060417A Active JP6996384B2 (ja) 2018-03-27 2018-03-27 表示プログラム、表示方法および表示装置

Country Status (4)

Country Link
US (1) US10950276B2 (ja)
JP (1) JP6996384B2 (ja)
CN (1) CN110310302B (ja)
DE (1) DE102019203614A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122438B1 (ja) 2021-06-17 2022-08-19 株式会社 ディー・エヌ・エー 試合の統計情報を管理するためのシステム、方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123823A (ja) 2003-10-15 2005-05-12 Nippon Hoso Kyokai <Nhk> 距離情報付加装置、付加映像生成装置、付加映像生成方法及び距離情報付加プログラム
WO2014006143A1 (en) 2012-07-04 2014-01-09 Sports Vision & Facts Ug Method and system for real-time virtual 3d reconstruction of a live scene, and computer-readable media
WO2014024475A1 (ja) 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
JP2015070503A (ja) 2013-09-30 2015-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017163286A (ja) 2016-03-08 2017-09-14 富士通株式会社 映像処理装置、映像処理方法および映像処理プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3057041B2 (ja) * 1996-11-21 2000-06-26 コナミ株式会社 ビデオゲームシステムにおけるガイド表示装置、ガイド表示方法及びガイド表示を行うプログラムを記憶した媒体
JPH11339009A (ja) * 1998-05-26 1999-12-10 Sony Corp 解析データ生成装置
JP2006312088A (ja) 1999-01-29 2006-11-16 Scale:Kk 時系列データ処理装置及び方法
JP3566894B2 (ja) 2000-02-14 2004-09-15 株式会社リコー 映像インデックス付与方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像インデックス配信装置および映像インデックス保存装置
GB0105421D0 (en) * 2001-03-06 2001-04-25 Prozone Holdings Ltd Sport analysis system and method
CN1989502A (zh) 2004-06-30 2007-06-27 松下电器产业株式会社 事件重要度调整方法和实施该方法的装置
JP4905474B2 (ja) * 2009-02-04 2012-03-28 ソニー株式会社 映像処理装置、映像処理方法及びプログラム
JP2010183301A (ja) 2009-02-04 2010-08-19 Sony Corp 映像処理装置、映像処理方法及びプログラム
AU2011203707B2 (en) * 2010-01-05 2016-01-21 Isolynx, Llc Systems and methods for analyzing event data
EP2407943B1 (en) * 2010-07-16 2016-09-28 Axis AB Method for event initiated video capturing and a video camera for capture event initiated video
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9615015B2 (en) * 2012-01-27 2017-04-04 Disney Enterprises, Inc. Systems methods for camera control using historical or predicted event data
GB2532154A (en) * 2013-08-01 2016-05-11 Brennan Broadcast Group Pty Ltd Synchronisation of video and audio capture
JP6488295B2 (ja) * 2014-06-10 2019-03-20 パナソニック株式会社 映像処理方法、映像処理装置
US9807341B2 (en) * 2016-02-19 2017-10-31 Microsoft Technology Licensing, Llc Communication event
JP2017169930A (ja) * 2016-03-24 2017-09-28 株式会社Jvcケンウッド 表示装置、表示方法及び表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123823A (ja) 2003-10-15 2005-05-12 Nippon Hoso Kyokai <Nhk> 距離情報付加装置、付加映像生成装置、付加映像生成方法及び距離情報付加プログラム
WO2014006143A1 (en) 2012-07-04 2014-01-09 Sports Vision & Facts Ug Method and system for real-time virtual 3d reconstruction of a live scene, and computer-readable media
WO2014024475A1 (ja) 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
JP2015070503A (ja) 2013-09-30 2015-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017163286A (ja) 2016-03-08 2017-09-14 富士通株式会社 映像処理装置、映像処理方法および映像処理プログラム

Also Published As

Publication number Publication date
US20190304508A1 (en) 2019-10-03
CN110310302B (zh) 2022-10-04
US10950276B2 (en) 2021-03-16
DE102019203614A1 (de) 2019-10-02
CN110310302A (zh) 2019-10-08
JP2019176260A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6120837B2 (ja) スポーツ動作のビデオを解析する方法
JP7010292B2 (ja) 映像生成プログラム、映像生成方法および映像生成装置
JP7205201B2 (ja) 表示方法、表示プログラムおよび情報処理装置
JP5264335B2 (ja) ゲームシステム、ゲーム装置の制御方法、及びプログラム
JP6720587B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP7222226B2 (ja) 表示方法、表示プログラムおよび情報処理装置
JP6996384B2 (ja) 表示プログラム、表示方法および表示装置
JP5811263B2 (ja) 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法
US10786742B1 (en) Broadcast synchronized interactive system
TWI321058B (ja)
JP3929811B2 (ja) 画像合成装置及び画像合成方法
EP3836012B1 (en) A device, computer program and method for determining handball performed by a player
JP7437652B2 (ja) 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
JPWO2018008259A1 (ja) 情報処理装置、センサ装置及び情報処理システム
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
JP7429887B2 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
JP7357258B2 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
JP2020135177A (ja) 動画を解析するためのプログラム、装置、及び方法
KR101231587B1 (ko) 영상 비교 처리 장치
US20230186628A1 (en) Systems and methods for virtual camera highlight creation
KR101707626B1 (ko) 영상 비교 장치 및 영상 비교 방법
KR101102926B1 (ko) 스포츠 영상 분석 시스템
WO2023106201A1 (ja) プレイ分析装置、プレイ分析方法、及びコンピュータ読み取り可能な記録媒体
WO2023127044A1 (ja) 画像処理装置、画像処理方法、及び非一時的なコンピュータ可読媒体
JP2021150668A (ja) 解析情報修正装置、解析情報修正方法、及び、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6996384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150