JP6481436B2 - 判定プログラム、判定方法および判定装置 - Google Patents

判定プログラム、判定方法および判定装置 Download PDF

Info

Publication number
JP6481436B2
JP6481436B2 JP2015051082A JP2015051082A JP6481436B2 JP 6481436 B2 JP6481436 B2 JP 6481436B2 JP 2015051082 A JP2015051082 A JP 2015051082A JP 2015051082 A JP2015051082 A JP 2015051082A JP 6481436 B2 JP6481436 B2 JP 6481436B2
Authority
JP
Japan
Prior art keywords
center line
detected
team
determination
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015051082A
Other languages
English (en)
Other versions
JP2016168258A (ja
Inventor
辰真 村松
辰真 村松
淳 小口
淳 小口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015051082A priority Critical patent/JP6481436B2/ja
Priority to EP16156662.5A priority patent/EP3067825B1/en
Priority to US15/049,867 priority patent/US9706262B2/en
Publication of JP2016168258A publication Critical patent/JP2016168258A/ja
Application granted granted Critical
Publication of JP6481436B2 publication Critical patent/JP6481436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、判定プログラム等に関する。
近年、各種のスポーツ中継を見逃したユーザに対して、勝ち負けやスコアだけでなく、より臨場感のあるデータを提供する試みがなされている。例えば、サッカーの試合結果をユーザに提供する場合に、各チームのボール支配率をあわせて提供する従来技術が存在する。サッカーは、相手のゴールにボールを入れた回数を競うスポーツであり、ボールを持って相手の陣内に攻め込むことが基本となる。このため、押しているチームの判断指標として、ボール支配率を用いることが多く、ユーザはボール支配率を参照することで、チームの優劣を想像することが出来る。
特開２００６−２０４４２０号公報
しかしながら、上述した従来技術には、チームの優劣をユーザに通知することができないという問題がある。
例えば、サッカーというスポーツの性質上、ボールをキープしているチームが相手チームを攻撃できていない状況が発生する。例えば、Ａチームの守備がうまく、Ｂチームが攻めあぐんでいる状況を想定すると、Ｂチームのボール支配率は高くなるものの、Ｂチームが、Ａチームと比較して優勢であったとはいえない場合がある。また、例えば、トーナメント等の短期決戦では、強豪チームが格下チームと対戦する場合に、体力を温存するべく、積極的にボールをキープしない場合があり、かかる場合には、格下チームのボール支配率が高くなる。すなわち、ボール支配率だけでは、チームの優劣を判断できない場合がある。
本発明は、上記に鑑みてなされたものであって、１つの側面では、チームの優劣をユーザに通知することができる判定プログラム、判定方法および判定装置を提供することを目的とする。
第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、センターラインで一方の陣地と他方の陣地が区分されたフィールドで行われる、相手チーム陣地に設けられたゴールへ攻め込む対戦形式の競技を撮影して得られた映像から、前記センターラインを検出する。コンピュータは、検出したセンターラインで区分される陣地のうち、いずれの陣地が主として映像に映されているかの判定結果に応じて、競技においていずれのチームがより優勢であるかの指標を出力する。
本発明の１つの側面によれば、チームの優劣をユーザに通知することができる。
図１は、本実施例に係るシステムの構成を示す図である。 図２は、本実施例に係る判定装置の構成を示す機能ブロック図である。 図３は、管理テーブルのデータ構造の一例を示す図である。 図４は、フィルタ情報に含まれるテンプレートの一例を示す図である。 図５は、ズーム中の画像フレームの一例を示す図である。 図６は、画像フレームからセンターラインを抽出する処理を説明するための図である。 図７は、判定部が管理テーブルに情報を登録する場合の処理を説明するための図である。 図８は、本実施例に係る判定装置の処理手順を示すフローチャートである。 図９は、画像処理プログラムを実行するコンピュータの一例を示す図である。
以下に、本願の開示する判定プログラム、判定方法および判定装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、本実施例に係るシステムの構成を示す図である。図１に示すように、このシステムは、利用者端末１０と、テレビ局サーバ２０と、判定装置１００とを有する。利用者端末１０、テレビ局サーバ２０、判定装置１００は、ネットワーク５０に接続される。ここでは一例として、利用者端末１０のみを示すが、本実施例１に係るシステムはその他の利用者端末を含んでいてもよい。
利用者端末１０は、テレビ局サーバ２０からテレビ番組等の映像データを受信し、受信した映像データを表示する装置である。例えば、利用者端末１０は、ＰＣ（Personal Computer）やテレビ等の装置に対応する。なお、利用者端末１０は、ネットワーク５０を介して、映像データを受信しても良いし、電波塔などから発信される電波を介して、映像データを受信しても良い。
テレビ局サーバ２０は、テレビ番組等の各種の映像データを利用者端末１０に提供するサーバである。また、テレビ局サーバ２０は、例えば、サッカー中継の映像データを、判定装置１００に送信し、サッカーの試合を行った各チームにおいて、何れのチームがより優勢であったのかを示す指標の情報を、判定装置１００から受信する。以下の説明において、何れのチームがより優勢であったのかを示す指標の情報を適宜、「優劣指標情報」と表記する。テレビ局サーバ２０は、優劣指標情報を利用者端末１０に送信する。
判定装置１００は、テレビ局サーバ２０から受信するサッカー中継の映像データを基にして、優劣指標情報を生成する装置である。例えば、判定装置１００は、映像データに対して画像処理を実行し、サッカーのフィールド上に存在するセンターラインを検出する。そして、判定装置１００は、検出したセンターラインで区分される陣地のうち、何れの陣地が主として映像に映されているかの判定結果を用いて、優劣指標情報を生成する。判定装置１００は、生成した優劣指標情報を、テレビ局サーバ２０に送信する。
次に、図１に示した判定装置１００の構成の一例について説明する。図２は、本実施例に係る判定装置の構成を示す機能ブロック図である。図２に示すように、この判定装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
通信部１１０は、ネットワーク５０を介して他の装置とデータ通信を実行する処理部である。例えば、通信部１１０は、通信装置等に対応する。例えば、通信部１１０は、テレビ局サーバ２０からサッカー中継の映像データを受信した場合には、受信した映像データを、制御部１５０に出力する。制御部１５０は、通信部１１０を介して、テレビ局サーバ２０とデータをやり取りする。
入力部１２０は、各種の情報を判定装置１００に入力する入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。
表示部１３０は、制御部１５０から出力される各種データを表示する表示装置である。例えば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。
記憶部１４０は、画像データバッファ１４０ａと、管理テーブル１４０ｂと、フィルタ情報１４０ｃとを有する。記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。
画像データバッファ１４０ａは、サッカー中継の映像データを蓄積するバッファである。例えば、映像データは、連続する複数の画像フレームを有するものとする。本実施例では一例として、「Ｈｏｍｅチーム」と、「Ａｗａｙチーム」とが、サッカーの試合をするものとして説明を行う。また、画像フレームには、画像フレームを一意に識別するフレーム識別番号や、試合開始からの経過時間の情報が対応付けられているものとする。
管理テーブル１４０ｂは、画像フレーム毎に、画像フレームから検出されるサッカーフィールドのセンターラインの位置情報を保持するテーブルである。図３は、管理テーブルのデータ構造の一例を示す図である。図３に示すように、この管理テーブル１４０ｂは、フレーム識別番号と、Ｔｉｍｅと、Ｈｏｍｅと、Ａｗａｙとを対応付ける。フレーム識別番号は、画像フレームを一意に識別する情報である。Ｔｉｍｅは、例えば、サッカーの試合が開始してからの経過時間に対応する。
Ｈｏｍｅは、Ｈｏｍｅチームが攻め上がる方向とは逆の方向に対して、基準位置からセンターラインがどれだけ移動しているのかを示す情報である。例えば、Ｈｏｍｅの数値が大きくなればなるほど、Ｈｏｍｅチームは、Ａｗａｙチームのゴール前でプレーしているといえる。また、図３の管理テーブル１４０ｂにおいて、Ｈｏｍｅの列に含まれる「見切り」は、画面フレーム上のセンターラインが、Ｈｏｍｅチームが攻め上がる方向とは逆の方向側にはみ出て、画面フレーム上に存在していないことを示す。
なお、基準位置からセンターラインが、Ｈｏｍｅチームが攻め上がる方向に対して移動している場合には、管理テーブル１４０ｂのＨｏｍｅの数値はブランクとなる。
Ａｗａｙは、Ａｗａｙチームが攻め上がる方向とは逆の方向に対して、基準位置からセンターラインがどれだけ移動しているのかを示す情報である。例えば、Ａｗａｙの数値が大きくなればなるほど、Ａｗａｙチームは、Ｈｏｍｅチームのゴール前でプレーしているといえる。また、図３の管理テーブル１４０ｂにおいて、Ａｗａｙの列に含まれる「見切り」は、画面フレーム上のセンターラインが、Ａｗａｙチームが攻め上がる方向とは逆の方向側にはみ出て、画面フレーム上に存在していないことを示す。
なお、基準位置からセンターラインが、Ａｗａｙチームが攻め上がる方向に対して移動している場合には、管理テーブル１４０ｂのＡｗａｙの数値はブランクとなる。
図２の説明に戻る。フィルタ情報１４０ｃは、センターラインを含まないゴール前の画像フレームのテンプレートを有する。図４は、フィルタ情報に含まれるテンプレートの一例を示す図である。例えば、図４のテンプレート６１，６２に示すように、センターラインを含まないゴール前の画像フレームでは、サッカーフィールドの角６１ａ，６２ａが、画像フレームの中央上方に存在している。ここでは、テンプレート６１，６２を示すが、フィルタ情報１４０ｃは、その他のテンプレートを有していても良い。
制御部１５０は、取得部１５０ａと、判定部１５０ｂと、判定結果通知部１５０ｃとを有する。制御部１５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
取得部１５０ａは、テレビ局サーバ２０から映像データを取得する処理部である。取得部１５０ａは、取得した映像データを、画像データバッファ１４０ａに格納する。
判定部１５０ｂは、画像データバッファ１４０ａに格納された各画像フレームを基にして、センターラインを検出し、検出したセンターラインで区分される陣地のうち、いずれの陣地が主として映像に映されているかを判定する処理部である。判定部１５０ｂは、判定結果を基にして、優劣指標情報を生成し、生成した優劣指標情報を判定結果通知部１５０ｃに出力する。
判定結果通知部１５０ｃは、判定部１５０ｂから取得した優劣指標情報を、テレビ局サーバ２０に通知する処理部である。
続いて、判定部１５０ｂの処理の一例を具体的に説明する。判定部１５０ｂは、ズーム中の画像フレームを取り除く処理、画像フレームからセンターラインを検出して、管理テーブル１４０ｂに各情報を登録する処理、管理テーブル１４０ｂを基にして、優劣指標情報を生成する処理を実行する。
判定部１５０ｂが、ズーム中の画像フレームを取り除く処理について説明する。例えば、選手の映像を拡大したようなズーム中の画像フレームには、センターラインが含まれないので、判定部１５０ｂは、係るズーム中の画像フレームを、センターラインを検出する対象の画像フレームから除外する。図５は、ズーム中の画像フレームの一例を示す図である。例えば、図５に示すズーム中の画像フレーム７０には、看板等が含まれており、係る看板の枠等が、誤ってセンターラインと誤検出される場合がある。
判定部１５０ｂは、どのような技術を用いて、ズーム中の画像フレームを検出してもよい。例えば、判定部１５０ｂは、前後する画像フレームＡ１と画像フレームＡ２との差分を算出し、算出した差分の値が閾値以上である場合には、画像フレームＡ２を、ズーム中の画像フレームとして検出する。
判定部１５０ｂが、画像フレームからセンターラインを検出して、管理テーブル１４０ｂに各情報を登録する処理について説明する。図６は、画像フレームからセンターラインを抽出する処理を説明するための図である。図６に示すように、判定部１５０ｂは、画像フレーム７１に対して二値化処理を実行してエッジを抽出することで、エッジ画像７２を生成する。判定部１５０ｂは、エッジ画像７２から、エッジの長さが閾値未満となるエッジを、エッジ画像７２から取り除く処理を実行しても良い。判定部１５０ｂは、予め設定されたセンターラインの直線の情報と、エッジ画像７２とを比較することで、センターライン７３を検出する。
判定部１５０ｂは、センターラインを検出した後に、センターラインの位置に基づいて、管理テーブルの「Ｈｏｍｅ」または「Ａｗａｙ」の何れに数値を登録するのかを判定し、判定した側の領域に、基準位置とセンターラインの位置との距離を、登録する。
図７は、判定部が管理テーブルに情報を登録する場合の処理を説明するための図である。図７では一例として、画像フレーム８１〜８４の左側をＡｗａｙチームの陣地とし、右側をＨｏｍｅチームの陣地とする。また、センターラインをセンターライン８０ａとし、基準位置を基準位置８０ｂとする。判定部１５０ｂは、基準位置をどのように決定してもよいが、例えば、試合開始時の画像フレームの中心位置を、基準位置として特定する。
例えば、センターライン８０ａが、右に移動して、Ａｗａｙチームの陣地が主として画像フレームに存在する場合には、ＨｏｍｅチームがＡｗａｙチームの陣地に攻め込んでおり、Ｈｏｍｅチームが優勢であると言える。これに対して、センターライン８０ａが、左に移動して、Ｈｏｍｅチームの陣地が主として画像フレームに存在する場合には、ＡｗａｙチームがＨｏｍｅチームの陣地に攻め込んでおり、Ａｗａｙチームが優勢であると言える。
画像フレーム８１に対する判定部１５０ｂの処理について説明する。画像フレーム８１では、センターライン８０ａと、基準位置８０ｂとが重なっている。この場合には、判定部１５０ｂは、画像フレーム８１のフレーム識別番号および時間と対応付けて、ＨｏｍｅおよびＡｗａｙの欄に「０」を設定する。なお、判定部１５０ｂは、センターライン８０ａと、基準位置８０ｂとの距離が閾値未満の場合にも、同様の処理を実行しても良い。
画像フレーム８２に対する判定部１５０ｂの処理について説明する。画像フレーム８２では、センターライン８０ａがＨｏｍｅの陣地側に移動しており、ＨｏｍｅチームがＡｗａｙチームの陣地に攻め込んでいる。この場合には、判定部１５０ｂは、画像フレーム８２のフレーム識別番号および時間と対応付けて、センターライン８０ａと基準位置８０ｂとの距離を、Ｈｏｍｅの欄に設定する。
画像フレーム８３に対する判定部１５０ｂの処理について説明する。画像フレーム８３では、センターライン８０ａがＨｏｍｅの陣地側に移動しており、ＨｏｍｅチームがＡｗａｙチームの陣地に攻め込んでいる。この場合には、判定部１５０ｂは、画像フレーム８３のフレーム識別番号および時間と対応付けて、センターライン８０ａと基準位置８０ｂとの距離を、Ｈｏｍｅの欄に設定する。
画像フレーム８４に対する判定部１５０ｂの処理について説明する。画像フレーム８４では、センターライン８０ａがＨｏｍｅの陣地側にはみ出ている。この場合には、判定部１５０ｂは、画像フレーム８４のフレーム識別番号および時間と対応付けて、Ｈｏｍｅの欄に「見切り」を設定する。
判定部１５０ｂは、見切りをどのように判定しても良い。例えば、画像フレームＢ１，Ｂ２，Ｂ３が存在し、画像フレームＢ１，Ｂ３において、センターラインと基準位置との距離が閾値以上で、センターラインがＨｏｍｅの陣地上に存在し、画像フレームＢ２において、センターラインが存在しないとする。この場合に、判定部１５０ｂは、Ｈｏｍｅの陣地側にセンターラインがはみ出たと判定する。
これに対して、画像フレームＣ１，Ｃ２，Ｃ３が存在し、画像フレームＣ１，Ｃ３において、センターラインと基準位置との距離が閾値以上で、センターラインがＡｗａｙの陣地上に存在し、画像フレームＣ２において、センターラインが存在しないとする。この場合に、判定部１５０ｂは、Ａｗａｙの陣地側にセンターラインがはみ出たと判定する。
ところで、判定部１５０ｂは、画像フレームからセンターラインを検出する場合に、画像フレームの特徴と、フィルタ情報１４０ｃに含まれるテンプレートの特徴とが一致するか否かを判定する。判定部１５０ｂは、画像フレームの特徴と、テンプレートの特徴とが一致する場合には、係る画像フレームからセンターラインを検出することを抑止する。例えば、画像フレームと、テンプレートの特徴とが一致する場合には、画像フレームは、ゴール前の画像フレームである可能性があり、ペナルティアーク等を誤って、センターラインとして検出することを抑止できる。
判定部１５０ｂが、管理テーブル１４０ｂを基にして、優劣指標情報を生成する処理について説明する。例えば、判定部１５０ｂは、式（１）に基づいて、Ｈｏｍｅチームの優勢値を算出し、式（２）に基づいて、Ａｗａｙチームの優勢値を算出する。例えば、Ｈｏｍｅチームの優勢値と、Ａｗａｙチームの優勢値とを組み合わせた情報が、優劣指標情報に対応する。
Ｈｏｍｅチームの優勢値＝第１時間／（第１時間＋第２時間）×１００・・・（１）
Ａｗａｙチームの優勢値＝第２時間／（第１時間＋第２時間）×１００・・・（２）
式（１）、（２）において、第１時間は、ＨｏｍｅチームがＡｗａｙの陣地に攻め込んでいた時間である。例えば、判定部１５０ｂは、第１時間を下記のように算出する。管理テーブル１４０ｂの各レコードのうち、Ｈｏｍｅの欄に０より大きい数値または見切りが設定されているレコードの数に、１画像フレームあたりの時間を乗算した値を合計することで、第１時間を算出する。
式（１）、（２）において、第２時間は、ＡｗａｙチームがＨｏｍｅの陣地に攻め込んでいた時間である。例えば、判定部１５０ｂは、第２時間を下記のように算出する。管理テーブル１４０ｂの各レコードのうち、Ａｗａｙの欄に０より大きい数値または見切りが設定されているレコードの数に、１画像フレームあたりの時間を乗算した値を合計することで、第２時間を算出する。
ところで、判定部１５０ｂは、第１時間を計算する場合に、Ｈｏｍｅの欄に「見切り」を含むレコードについては、重みをつけて、計算しても良い。例えば、判定部１５０ｂは、式（３）に示すように、第１時間を計算しても良い。式（３）において、Ｘは、１画像フレームあたりの時間である。レコード数Ａは、Ｈｏｍｅの欄に０より大きい数値が設定されているレコードの数である。レコード数Ｂは、Ｈｏｍｅの欄に「見切り」が設定されているレコードの数である。αは重みであり、例えば、１以上の整数が設定される。
第１時間＝時間Ｘ×レコード数Ａ＋α×時間Ｘ×レコード数Ｂ・・・（３）
判定部１５０ｂは、第２時間を計算する場合に、Ａｗａｙの欄に「見切り」を含むレコードについては、重みをつけて、計算しても良い。例えば、判定部１５０ｂは、式（４）に示すように、第２時間を計算しても良い。式（４）において、Ｘは、１画像フレームあたりの時間である。レコード数Ｃは、Ａｗａｙの欄に０より大きい数値が設定されているレコードの数である。レコード数Ｄは、Ａｗａｙの欄に「見切り」が設定されているレコードの数である。αは重みであり、例えば、１以上の整数が設定される。
第２時間＝時間Ｘ×レコード数Ｃ＋α×時間Ｘ×レコード数Ｄ・・・（４）
次に、本実施例に係る判定装置１００の処理手順について説明する。図８は、本実施例に係る判定装置の処理手順を示すフローチャートである。判定装置１００の判定部１５０ｂは、画像データバッファ１４０ａから画像フレームを取得し（ステップＳ１０１）、戦後の画像フレームを比較して、ズーム中の画像フレームであるか否かを判定する（ステップＳ１０２）。
判定部１５０ｂは、ズーム中の画像フレームである場合には（ステップＳ１０３，Ｙｅｓ）、ステップＳ１１０に移行する。一方、判定部１５０ｂは、ズーム中の画像フレームでない場合には（ステップＳ１０３，Ｎｏ）、マッチングを実行しセンターラインを検出したか否かを判定する（ステップＳ１０４）。
判定部１５０ｂは、センターラインを検出していない場合には（ステップＳ１０５，Ｎｏ）、一方の陣地側にセンターラインが見切れたか否かを判定する（ステップＳ１０６）。判定部１５０ｂは、一方の陣地側にセンターラインが見切れていない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１１０に移行する。
一方、判定部１５０ｂは、一方の陣地側にセンターラインが見切れている場合には（ステップＳ１０７，Ｙｅｓ）、センターラインが見切れた旨の情報を管理テーブル１４０ｂに設定し（ステップＳ１０８）、ステップＳ１１０に移行する。
ところで、ステップＳ１０５において、判定部１５０ｂは、センターラインを検出した場合には（ステップＳ１０５，Ｙｅｓ）、センターライン位置と基準位置との距離を管理テーブル１４０ｂに設定し（ステップＳ１０９）、ステップＳ１１０に移行する。
ステップＳ１１０において、判定部１５０ｂは、最後の画像フレームでない場合には（ステップＳ１１０，Ｎｏ）、ステップＳ１０１に移行する。一方、判定部１５０ｂは、最後の画像フレームである場合には（ステップＳ１１０，Ｙｅｓ）、管理テーブル１４０ｂを基にして、優劣指標情報を生成する（ステップＳ１１１）。
次に、本実施例にかかる判定装置１００の効果について説明する。判定装置１００は、各画像フレームに対して画像処理を実行し、サッカーのフィールド上に存在するセンターラインを検出する。そして、判定装置１００は、検出したセンターラインで区分される陣地のうち、何れの陣地が主として映像に映されているかの判定結果を用いて、優劣指標情報を生成する。例えば、判定装置１００は、画像内で検出されたセンターラインが、一方の陣地側に変移していることを検出すると、一方の陣地側のチームがより優勢であると判定する。このため、本実施例によれば、チームの優劣をユーザに通知することができる。
例えば、ＨｏｍｅチームとＡｗａｙチームが試合をしており、Ｈｏｍｅチームの陣地が画像に主として映し出される場合について説明する。この場合には、判定装置１００は、Ａｗａｙチームが優勢であると判定する。主としてＨｏｍｅチームの陣地が映像に映し出されている場合には、Ａｗａｙチームが実際にボールを持ってＨｏｍｅチームを攻撃しているといえ、Ａｗａｙチームが優勢であるといえる。また、主としてＨｏｍｅチームの陣地が映像に映し出されている場合には、積極的な守備でＡｗａｙチームがＨｏｍｅチームの陣地でボールを回しており、Ａｗａｙチームが優勢であるといえる。また、主としてＨｏｍｅチームの陣地が映像に映し出されている場合には、試合終了間近、Ａｗａｙチームが、失点リスクを軽減するためにフラッグ付近でボールをキープすることがあり、Ａｗａｙチームが優勢であるといえる。
また、判定装置１００は、検出したセンターラインが一方の陣地側に見切れたことを検出した場合に、検出されたセンターラインが前記一方の陣地側に変移していることを検出した場合よりも、一方の陣地側のチームがより優勢であると判定する。例えば、Ｈｏｍｅチームの陣地側で、センターラインが見切れた場合には、ＡｗａｙチームがよりＨｏｍｅチームの陣地に攻め込んでいるといえるため、優劣をより正確に判定することができる。
また、判定装置１００は、ゴール近傍の特徴を示す画像領域を画像フレーム内に検出すると、画像フレームからのセンターラインの検出を抑制する。このため、センターラインを含まない画像フレームからセンターラインを誤検出することを予防することができる。例えば、ゴール前のペナルティエリアの線分をセンターラインとして検出することを予防できる。
次に、上記の実施例に示した画像処理装置と同様の機能を実現する判定プログラムを実行するコンピュータの一例を説明する。図９は、画像処理プログラムを実行するコンピュータの一例を示す図である。
図９に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。
ハードディスク装置２０７は、例えば、判定プログラム２０７ａを有する。ＣＰＵ２０１は、判定プログラム２０７ａを読み出してＲＡＭ２０６に展開する。判定プログラム２０７ａは、判定プロセス２０６ａとして機能する。判定プロセス２０６ａは、例えば、判定部１５０ｂに対応する。
なお、判定プログラム２０７ａについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから判定プログラム２０７ａを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）コンピュータに、
センターラインで一方の陣地と他方の陣地が区分されたフィールドで行われる、相手チーム陣地に設けられたゴールへ攻め込む対戦形式の競技を撮影して得られた映像から、前記センターラインを検出し、
検出した前記センターラインで区分される陣地のうち、いずれの陣地が主として前記映像に映されているかの判定結果に応じて、前記競技においていずれのチームがより優勢であるかの指標を出力する、
処理を実行させることを特徴とする判定プログラム。
（付記２）前記コンピュータに、
前記映像内で検出された前記センターラインが、前記一方の陣地側に変移していることを検出すると、前記一方の陣地側のチームがより優勢であると判定する、
処理を実行させることを特徴とする付記１記載の判定プログラム。
（付記３）前記コンピュータに、
前記映像内で検出された前記センターラインが、前記一方の陣地側に見切れたことを検出すると、前記一方の陣地側のチームがより優勢であると判定する、
処理を実行させることを特徴とする付記２記載の判定プログラム。
（付記４）前記コンピュータに、
検出された前記センターラインが前記一方の陣地側に見切れたことを検出した場合に、検出された前記センターラインが前記一方の陣地側に変移していることを検出した場合よりも、前記一方の陣地側のチームがより優勢であると判定する、
処理を実行させることを特徴とする付記３記載の判定プログラム。
（付記５）前記コンピュータに、
ゴール近傍の特徴を示す映像領域を前記映像内に検出すると、前記映像からの前記センターラインの検出を抑制する、
処理を実行させることを特徴とする付記１乃至４のいずれか１つに記載の判定プログラム。
（付記６）前記コンピュータに、
検出された前記センターラインが前記一方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記一方の陣地側に前記センターラインが存在する時間とを加算した第１の時間と、前記センターラインが前記他方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記他方の陣地側に前記センターラインが存在する時間とを加算した第２の時間とを算出し、前記第１の時間と前記第２の時間とを基にして、前記競技においていずれのチームがより優勢であるかの指標を出力する処理を実行させることを特徴とする付記４記載の判定プログラム。
（付記７）コンピュータが実行する判定方法であって、
センターラインで一方の陣地と他方の陣地が区分されたフィールドで行われる、相手チーム陣地に設けられたゴールへ攻め込む対戦形式の競技を撮影して得られた映像から、前記センターラインを検出し、
検出した前記センターラインで区分される陣地のうち、いずれの陣地が主として前記映像に映されているかの判定結果に応じて、前記競技においていずれのチームがより優勢であるかの指標を出力する、
処理を実行することを特徴とする判定方法。
（付記８）前記コンピュータが、
前記映像内で検出された前記センターラインが、前記一方の陣地側に変移していることを検出すると、前記一方の陣地側のチームがより優勢であると判定する、
処理を実行することを特徴とする付記７記載の判定方法。
（付記９）前記コンピュータが、
前記映像内で検出された前記センターラインが、前記一方の陣地側に見切れたことを検出すると、前記一方の陣地側のチームがより優勢であると判定する、
処理を実行することを特徴とする付記８記載の判定方法。
（付記１０）前記コンピュータが、
検出された前記センターラインが前記一方の陣地側に見切れたことを検出した場合に、検出された前記センターラインが前記一方の陣地側に変移していることを検出した場合よりも、前記一方の陣地側のチームがより優勢であると判定する、
処理を実行することを特徴とする付記９記載の判定方法。
（付記１１）前記コンピュータが、
ゴール近傍の特徴を示す映像領域を前記映像内に検出すると、前記映像からの前記センターラインの検出を抑制する、
処理を実行させることを特徴とする付記７乃至１０のいずれか１つに記載の判定方法。
（付記１２）前記コンピュータが、
検出された前記センターラインが前記一方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記一方の陣地側に前記センターラインが存在する時間とを加算した第１の時間と、前記センターラインが前記他方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記他方の陣地側に前記センターラインが存在する時間とを加算した第２の時間とを算出し、前記第１の時間と前記第２の時間とを基にして、前記競技においていずれのチームがより優勢であるかの指標を出力する処理を実行することを特徴とする付記１０記載の判定方法。
（付記１３）センターラインで一方の陣地と他方の陣地が区分されたフィールドで行われる、相手チーム陣地に設けられたゴールへ攻め込む対戦形式の競技を撮影して得られた映像から、前記センターラインを検出し、検出した前記センターラインで区分される陣地のうち、いずれの陣地が主として前記映像に映されているかの判定結果に応じて、前記競技においていずれのチームがより優勢であるかの指標を出力する判定部
を有することを特徴とする判定装置。
（付記１４）前記判定部は、前記映像内で検出された前記センターラインが、前記一方の陣地側に変移していることを検出すると、前記一方の陣地側のチームがより優勢であると判定することを特徴とする付記１３記載の判定装置。
（付記１５）前記判定部は、前記映像内で検出された前記センターラインが、前記一方の陣地側に見切れたことを検出すると、前記一方の陣地側のチームがより優勢であると判定する付記１４記載の判定装置。
（付記１６）前記判定部は、検出された前記センターラインが前記一方の陣地側に見切れたことを検出した場合に、検出された前記センターラインが前記一方の陣地側に変移していることを検出した場合よりも、前記一方の陣地側のチームがより優勢であると判定する付記１５記載の判定装置。
（付記１７）前記判定部は、ゴール近傍の特徴を示す映像領域を前記映像内に検出すると、前記映像からの前記センターラインの検出を抑制する、付記１３乃至１６のいずれか１つに記載の判定装置。
（付記１８）前記判定部は、検出された前記センターラインが前記一方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記一方の陣地側に前記センターラインが存在する時間とを加算した第１の時間と、前記センターラインが前記他方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記他方の陣地側に前記センターラインが存在する時間とを加算した第２の時間とを算出し、前記第１の時間と前記第２の時間とを基にして、前記競技においていずれのチームがより優勢であるかの指標を出力することを特徴とする付記１７記載の判定装置。
１０ 利用者端末
２０ テレビ局サーバ
１００ 判定装置

Claims (8)

  1. コンピュータに、
    センターラインで一方の陣地と他方の陣地が区分されたフィールドで行われる、相手チーム陣地に設けられたゴールへ攻め込む対戦形式の競技を撮影して得られた映像から、前記センターラインを検出し、
    検出した前記センターラインで区分される陣地のうち、いずれの陣地が主として前記映像に映されているかの判定結果に応じて、前記競技においていずれのチームがより優勢であるかの指標を出力する、
    処理を実行させることを特徴とする判定プログラム。
  2. 前記コンピュータに、
    前記映像内で検出された前記センターラインが、前記一方の陣地側に変移していることを検出すると、前記一方の陣地側のチームがより優勢であると判定する、
    処理を実行させることを特徴とする請求項１記載の判定プログラム。
  3. 前記コンピュータに、
    前記映像内で検出された前記センターラインが、前記一方の陣地側に見切れたことを検出すると、前記一方の陣地側のチームがより優勢であると判定する、
    処理を実行させることを特徴とする請求項２記載の判定プログラム。
  4. 前記コンピュータに、
    検出された前記センターラインが前記一方の陣地側に見切れたことを検出した場合に、検出された前記センターラインが前記一方の陣地側に変移していることを検出した場合よりも、前記一方の陣地側のチームがより優勢であると判定する、
    処理を実行させることを特徴とする請求項３記載の判定プログラム。
  5. 前記コンピュータに、
    ゴール近傍の特徴を示す映像領域を前記映像内に検出すると、前記映像からの前記センターラインの検出を抑制する、
    処理を実行させることを特徴とする請求項１乃至４のいずれか１項に記載の判定プログラム。
  6. 前記コンピュータに、
    検出された前記センターラインが前記一方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記一方の陣地側に前記センターラインが存在する時間とを加算した第１の時間と、前記センターラインが前記他方の陣地側に見切れたことを検出した時間に重みを付した時間と、前記他方の陣地側に前記センターラインが存在する時間とを加算した第２の時間とを算出し、前記第１の時間と前記第２の時間とを基にして、前記競技においていずれのチームがより優勢であるかの指標を出力する処理を実行させることを特徴とする請求項４記載の判定プログラム。
  7. コンピュータが実行する判定方法であって、
    センターラインで一方の陣地と他方の陣地が区分されたフィールドで行われる、相手チーム陣地に設けられたゴールへ攻め込む対戦形式の競技を撮影して得られた映像から、前記センターラインを検出し、
    検出した前記センターラインで区分される陣地のうち、いずれの陣地が主として前記映像に映されているかの判定結果に応じて、前記競技においていずれのチームがより優勢であるかの指標を出力する、
    処理を実行することを特徴とする判定方法。
  8. センターラインで一方の陣地と他方の陣地が区分されたフィールドで行われる、相手チーム陣地に設けられたゴールへ攻め込む対戦形式の競技を撮影して得られた映像から、前記センターラインを検出し、検出した前記センターラインで区分される陣地のうち、いずれの陣地が主として前記映像に映されているかの判定結果に応じて、前記競技においていずれのチームがより優勢であるかの指標を出力する判定部
    を有することを特徴とする判定装置。
JP2015051082A 2015-03-13 2015-03-13 判定プログラム、判定方法および判定装置 Active JP6481436B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015051082A JP6481436B2 (ja) 2015-03-13 2015-03-13 判定プログラム、判定方法および判定装置
EP16156662.5A EP3067825B1 (en) 2015-03-13 2016-02-22 Determination program, determination method, and determination device
US15/049,867 US9706262B2 (en) 2015-03-13 2016-02-22 Non-transitory computer-readable recording medium, determination method, and determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015051082A JP6481436B2 (ja) 2015-03-13 2015-03-13 判定プログラム、判定方法および判定装置

Publications (2)

Publication Number Publication Date
JP2016168258A JP2016168258A (ja) 2016-09-23
JP6481436B2 true JP6481436B2 (ja) 2019-03-13

Family

ID=55435997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015051082A Active JP6481436B2 (ja) 2015-03-13 2015-03-13 判定プログラム、判定方法および判定装置

Country Status (3)

Country Link
US (1) US9706262B2 (ja)
EP (1) EP3067825B1 (ja)
JP (1) JP6481436B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138431B2 (en) 2019-04-01 2021-10-05 Foundation Of Soongsil University-Industry Cooperation Method for judging in or out, computer readable medium and apparatus for performing the method
JP7186321B1 (ja) * 2022-04-11 2022-12-08 株式会社Cygames 形勢評価装置、形勢評価方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424204B2 (ja) * 1999-07-23 2003-07-07 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクトの軌跡を利用したビデオ・コンテンツへのアクセス方法及び装置
JP3656118B2 (ja) * 2003-09-25 2005-06-08 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置、コンピュータの制御方法及びプログラム
JP4621910B2 (ja) * 2005-01-26 2011-02-02 国立大学法人北海道大学 優勢度判定装置及び優勢度判定方法
GB2487209A (en) * 2011-01-12 2012-07-18 Javid Nourie A ball monitoring and tracking system
US9367745B2 (en) * 2012-04-24 2016-06-14 Liveclips Llc System for annotating media content for automatic content understanding
WO2013166456A2 (en) * 2012-05-04 2013-11-07 Mocap Analytics, Inc. Methods, systems and software programs for enhanced sports analytics and applications
LT3005233T (lt) * 2013-06-04 2018-05-25 Isolynx, Llc Objektų sekimo sistemos optimizavimas ir priemoės
WO2015069123A1 (en) * 2013-11-08 2015-05-14 Performance Lab Technologies Limited Classification of activity derived from multiple locations
US20150235076A1 (en) * 2014-02-20 2015-08-20 AiScreen Oy Method for shooting video of playing field and filtering tracking information from the video of playing field
AU2015222869B2 (en) * 2014-02-28 2019-07-11 Genius Sports Ss, Llc System and method for performing spatio-temporal analysis of sporting events
US10269390B2 (en) * 2015-06-11 2019-04-23 David M. DeCaprio Game video processing systems and methods

Also Published As

Publication number Publication date
US20160269805A1 (en) 2016-09-15
EP3067825A2 (en) 2016-09-14
JP2016168258A (ja) 2016-09-23
EP3067825A3 (en) 2016-09-21
US9706262B2 (en) 2017-07-11
EP3067825B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
US11263462B2 (en) Non-transitory computer readable recording medium, extraction method, and information processing apparatus
JP6606985B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
JP7289080B2 (ja) 球技映像解析装置、及び、球技映像解析方法
JP6720587B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2010522926A (ja) 色分割および形状解析によってサッカービデオの関心対象を検出するための方法と装置
AU2017358066B2 (en) Measuring a property of a trajectory of a ball
JP6677319B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
JP6481436B2 (ja) 判定プログラム、判定方法および判定装置
CN113888588A (zh) 目标跟踪方法、装置、设备及存储介质
JP2007274400A (ja) スポーツ映像のイベント区間補正装置およびイベント区間補正方法
JP2021087186A (ja) 映像生成プログラム、映像生成方法及び映像生成システム
JP6962145B2 (ja) 画像処理プログラム、画像処理方法および情報処理装置
WO2016067553A1 (ja) プレー区間抽出方法、プレー区間抽出装置
Kolbinger et al. A closer look at the prevalence of time rule violations and the inter-point time in men’s Grand Slam tennis
JP2006190091A (ja) 画像処理システム、ゲーム装置、プログラム、情報記憶媒体および画像処理方法
JP7345108B2 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
US10950276B2 (en) Apparatus and method to display event information detected from video data
Leong et al. Computer vision approach to automatic linesman
US20210166734A1 (en) Electronic device for tagging event in sports play video and operating method thereof
JP7289054B2 (ja) プレイ分析装置、プレイ分析方法、及び、コンピュータプログラム
JP2021157406A (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
WO2023106028A1 (ja) 動体検出装置、動体検出方法、及びコンピュータ読み取り可能な記録媒体
CN113537052B (zh) 一种视频片段抽取方法、装置、设备及存储介质
JP2014106803A (ja) 行動制御装置、行動制御方法、プログラム
US20230031622A1 (en) Live Possession Value Model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190128

R150 Certificate of patent or registration of utility model

Ref document number: 6481436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150