JP6464616B2 - 情報処理プログラム、方法、及び装置 - Google Patents

情報処理プログラム、方法、及び装置 Download PDF

Info

Publication number
JP6464616B2
JP6464616B2 JP2014173150A JP2014173150A JP6464616B2 JP 6464616 B2 JP6464616 B2 JP 6464616B2 JP 2014173150 A JP2014173150 A JP 2014173150A JP 2014173150 A JP2014173150 A JP 2014173150A JP 6464616 B2 JP6464616 B2 JP 6464616B2
Authority
JP
Japan
Prior art keywords
batting
information
frame
bat
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014173150A
Other languages
English (en)
Other versions
JP2016048853A (ja
Inventor
淳 小口
淳 小口
美帆 坂井
美帆 坂井
壮吉 藤田
壮吉 藤田
辰真 村松
辰真 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014173150A priority Critical patent/JP6464616B2/ja
Priority to TW104124765A priority patent/TWI579026B/zh
Priority to US14/814,682 priority patent/US10115318B2/en
Priority to KR1020150119729A priority patent/KR101792909B1/ko
Publication of JP2016048853A publication Critical patent/JP2016048853A/ja
Application granted granted Critical
Publication of JP6464616B2 publication Critical patent/JP6464616B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Physical Education & Sports Medicine (AREA)

Description

本発明は、情報処理プログラム、情報処理方法、及び情報処理装置に関する。
従来、野球の試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド(Video on Demand、VoD)コンテンツとして配信したりするサービスが存在する。VoDコンテンツとして配信する場合、例えば、視聴者が所望のイニングを選択して視聴可能な形式で、視聴者に提供することが行われている。
一方で、例えば打席毎の結果など、野球の試合に関する各種データを提供することが行われている。
なお、野球の試合を撮影した映像などの映像コンテンツに関するメタデータを生成する技術が提案されている。
特開2008−176538号公報
従来技術では、野球の試合を撮影した映像に対して、既存の外部データを対応付けることは行われていない。
一つの側面として、本発明は、野球の試合を撮影した映像から、既存の外部データと対応付け可能な打席の切り替わりを検出することを目的とする。
一つの態様では、記憶手段に記憶された野球の試合の撮影映像に含まれる試合状況を示す画像情報から取得した、アウト数、ランナー数、得点数、のいずれかの変化に基づいて、打席の切り替わりを検出する。
一つの側面として、野球の試合を撮影した映像から、既存の外部データと対応付け可能な打席の切り替わりを検出することができる、という効果を有する。
本実施形態に係る映像配信システムの概略構成を示すブロック図である。 野球データ・データベースの一例を示す図である。 本実施形態に係る対応付け装置及び配信装置の機能ブロック図である。 投球構図フレーム及び編集の一例を説明するための図である。 カウント表示の一例を示す図である。 フレーム情報テーブルの一例を示す図である。 打席タグデータテーブルの一例を示す図である。 野球データDBのデータと、編集済み映像の各フレームとの対応付けを説明するための図である。 修正画面の一例を示す図である。 配信画面の一例を示す図である。 対応付け装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 対応付け処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。
以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。本実施形態では、本発明に係る情報処理装置を、映像配信システムに適用した例について説明する。
図1に示すように、本実施形態に係る映像配信システム10は、対応付け装置20と、配信装置30と、ユーザ端末40と、外部装置50とを含む。対応付け装置20と、配信装置30と、ユーザ端末40と、外部装置50とは、互いにネットワークを介して接続されている。なお、対応付け装置20は、本発明の情報処理装置の一例である。
ユーザ端末40は、映像を表示する表示部及び情報を入力する入力部を備えた装置であり、例えば、パーソナルコンピュータ(PC)、ノート型PC、タブレット端末、スマートフォン等である。なお、図1では、ユーザ端末40を1台のみ表記しているが、ユーザ端末は複数台であってもよい。
外部装置50には、野球の試合に関する各種データが記録された野球データ・データベース(DB)51が記憶されている。図2に野球データDB51の一例を示す。図2の例では、野球データDB51は、打席データテーブル51A、試合データテーブル51Bと、打者データテーブル51Cと、投手データテーブル51Dとを含む。
図2の例では、打席データテーブル51Aは、各打席を識別するための識別情報である「打席イベントID」に、「試合ID」、「イニング」、「打順」、「打者ID」、「投手ID」、及び「打席結果」の各項目が対応付けられて記憶されている。打席データテーブル51Aにおいて、各レコード(各行)が1打席のデータに相当する。「打席イベントID」は、試合毎かつチーム毎の各打席に対して、試合開始からの通し番号を付与したものである。
「試合ID」は、その打席を含む試合を識別するための識別情報である。「イニング」は、その打席が何イニング時の打席かを示す情報である。「打順」は、その打席が1番から9番までのいずれの打順における打席かを示す情報である。「打者ID」は、その打席における打者を識別するための識別情報である。「投手ID」は、その打席での対戦チームの投手を識別するための識別情報である。「打席結果」は、その打席の詳細な最終結果を示す情報である。
試合データテーブル51Bには、打席データテーブル51Aの「試合ID」に対応する情報が記憶される。図2の例では、試合データテーブル51Bは、「試合ID」、「日時」、「場所」、「チーム」等の項目を含む。「日時」は、試合が行われた日時、「場所」は試合が行われた球場名等である。「チーム」はその試合で対戦したチーム及び先攻または後攻の区別を示す情報である。
打者データテーブル51Cには、打席データテーブル51Aの「打者ID」に対応する情報が記憶される。図2の例では、打者データテーブル51Cは、「打者ID」、「選手名」、及び「チーム」の項目を含む。「選手名」は、打者IDで識別される打者の氏名の情報である。「チーム」は、打者IDで識別される打者の所属チームの情報である。
投手データテーブル51Dには、打席データテーブル51Aの「投手ID」に対応する情報が記憶される。図2の例では、投手データテーブル51Dは、「投手ID」、「選手名」、「チーム」、及び「左右」の項目を含む。「選手名」は、投手IDで識別される投手の氏名の情報である。「チーム」は、投手IDで識別される投手の所属チームの情報である。「左右」は、投手IDで識別される投手が左投手(左投げ)か右投手(右投げ)かを示す情報である。
なお、野球データDB51に含まれるテーブル及び各テーブルの項目は、図2に示す例に限定されず、他の情報を含んでもよい。また、データ構造も図2の例に限定されず、打席毎のデータが、その打席の順番を識別できる状態で記録されたデータであればよい。
映像配信システム10では、対応付け装置20により、野球の試合を撮影した映像に、外部装置50に記憶された野球データDB51のデータをメタ情報として対応付けて、配信装置30及びネットワークを介して、ユーザ端末40に配信する。図3に示すように、対応付け装置20は、検出部21と、計算部22と、対応付け部23とを含む。検出部21、計算部22、及び対応付け部23は、本発明の検出部または付与部の一例である。また、配信装置30は、編集部31と、配信部32とを含む。
まず、配信装置30の各部について詳述する。
編集部31は、野球の試合を撮影した映像(以下、「撮影映像」という)を取得する。撮影映像は、例えば30fpsや60fps等のフレームレートで撮影された映像であり、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表されるフレーム時間が対応付けられている。本実施形態では、フレーム時間は、フレームの識別情報としても用いられる。
編集部31は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。編集内容としては、例えば図4に示すように、撮影映像の所定の場面に対応する各フレーム100に対して、試合状況を示すカウント表示102を付加することを含む。
カウント表示102は、イニング、ボールカウント、ストライクカウント、アウトカウント、ランナーの状況、及びチーム毎の現在の得点を含むカウント情報を示す表示である。カウント表示102は、例えば図5に示すように、イニングを示すイニング表示104、ボールカウントを示すボールカウント表示105、及びストライクカウントを示すストライクカウント表示106を含む。さらに、カウント表示102は、アウトカウントを示すアウトカウント表示107、ランナーの状況を示すランナー表示108、及びチーム毎の現在の得点を示す得点表示109を含む。なお、カウント表示102のフォーマットは図5の例に限定されず、少なくとも、イニング、アウトカウント、ランナーの状況、及びチーム毎の現在の得点を含むカウント情報を示す表示であればよい。
なお、編集内容はカウント表示102の付加に限定されず、氏名やプロフィールなどの選手情報を示すテロップの付加など、様々な内容を含む。以下では、撮影映像に対して編集部31による編集が行われた映像を「編集済み映像」という。編集部31は、編集済み映像を、対応付け装置20へ送信する。
配信部32は、対応付け装置20によりメタ情報が付加された映像(以下、「メタ情報付き映像」という。詳細は後述)を取得する。配信部32は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先のユーザ端末40に配信する。
次に、対応付け装置20の各部について詳述する。
検出部21は、配信装置30から送信された編集済み映像を取得する。検出部21は、編集済み映像から、打席の区切りを示す箇所を検出し、打席の区切りを示す打席タグを編集済み映像に付与する。打席の区切りを示す箇所の検出は、編集済み映像の各フレームの特徴から検出してもよいし、人手により検出してもよい。本実施形態では、一例として、各フレームの構図及びカウント表示102に基づいて、打席の始まりを示すフレームを検出し、そのフレームに打席タグを付与する場合について説明する。
検出部21は、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された構図のフレームを、投球構図フレームとして検出する。本実施形態では、図4に示すように、投手の背後から打者方向を撮影した構図のフレームを、投球構図フレームとする場合について説明する。
具体的には、検出部21は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、検出部21は、予め用意された投球構図フレームから抽出された基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。検出部21は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、投球構図フレームとして抽出する。画像特徴としては、画像の構図(構成)を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。
また、検出部21は、各フレームから、カウント表示102を抽出し、カウント表示102が示すカウント情報を検出する。例えば、検出部21は、カウント表示102が表示される領域として予め定められたフレーム内の領域から、カウント表示102を抽出する。または、予め定められたカウント表示102のフォーマットを用いたパターンマッチング等により、フレーム内からカウント表示102を抽出する。そして、検出部21は、抽出したカウント表示102から、パターンマッチングや文字認識処理等により、イニング表示104の領域を特定すると共に、イニング表示104が示すイニングを検出する。同様に、検出部21は、ボールカウント表示105からボールカウントを、ストライクカウント表示106からストライクカウントを検出する。また、検出部21は、アウトカウント表示107からアウトカウントを、ランナー表示108からランナーの状況を、得点表示109から得点を検出する。
検出部21は、投球構図フレームの検出結果、及びフレーム毎に検出したカウント情報を、フレーム情報テーブル26に記録する。フレーム情報テーブル26の一例を図6に示す。図6の例では、フレーム時間で識別されるフレーム毎に、「構図判定」、「ボール」、「ストライク」、「アウト」、「ランナー」、「得点(先攻)」、「得点(後攻)」、及び「イニング」の項目を含む。検出部21は、投球構図フレームとして検出したフレームに対応する「構図判定」の項目に、「TRUE」を記録する。投球構図フレームとして検出されなかったフレームに対応する「構図判定」の項目はブランクとする。また、検出部21は、カウント情報として検出したボールカウント、ストライクカウント、アウトカウント、ランナーの状況、得点、及びイニングの各々を、対応する項目の各々に記録する。
なお、図6では、説明を簡単にするため、フレーム時間を0.1秒刻みとして表現しているが、例えば、撮影映像のフレームレートが30fpsの場合にはフレーム時間は約0.03秒刻みであり、60fpsの場合にはフレーム時間は約0.017秒刻みである。
検出部21は、フレーム情報テーブル26を参照して、連続する複数の投球構図フレームからなるフレーム群を投球構図シーンとして特定する。検出部21は、投球構図シーンの開始フレームを、投球の始まりを示すフレームとして判定し、「投球タグ」を付与する。さらに、検出部21は、投球の始まりを示すフレームのボールカウントが0、かつストライクカウントが0の場合に、そのフレームを打席の始まりを示すフレームとして判定し、「打席タグ」を付与する。図6の例では、「投球タグ」の項目に「start」が記録されているフレームが、投球タグが付与されたフレーム、すなわち投球の始まりを示すフレームを表す。また、「打席タグ」の項目に「start」が記録されているフレームが、打席タグが付与されたフレーム、すなわち打席の始まりを示すフレームを表している。
例えば、図6の例では、検出部21は、まず、フレーム時間=128.3〜130.0に含まれるフレーム群により表されるシーンを、投球構図シーンとして特定する。そして、検出部21は、投球構図シーンの開始フレームであるフレーム時間=128.3のフレームを投球の始まりを示すフレームとして判定する。さらに、フレーム時間=128.3のフレームのボールカウント及びストライクカウントはいずれも0であるため、フレーム時間=128.3のフレームを打席の始まりを示すフレームとして判定する。同様に、フレーム時間=130.7以降に含まれるフレーム群により表されるシーンを、投球構図シーンとして特定する。そして、検出部21は、投球構図シーンの開始フレームであるフレーム時間=130.7のフレームを投球の始まりを示すフレームとして判定する。ただし、フレーム時間=130.7のフレームは、ボールカウントが0、ストライクカウントが1であるため、打席の始まりを示すフレームとしては判定されない。
計算部22は、フレーム情報テーブル26から、打席の順番を計算するために必要な情報を抽出した打席タグデータテーブル27を作成する。図7に、打席タグデータテーブル27の一例を示す。図7の例では、「フレーム時間」、「イニング」、「アウト」、「ランナー」、「得点(先攻)」、「得点(後攻)」、「残塁(累積)」、及び「打席イベントID」の項目を含む。打席タグデータテーブル27において、各レコード(各行)が打席タグで区切られた各打席に関するタグデータ(以下、「打席タグデータ」という)に相当する。
具体的には、計算部22は、検出部21により打席タグが付与されたフレームをフレーム情報テーブル26から抽出し、抽出したフレームのフレーム時間、イニング、アウトカウント、得点(先攻)、及び得点(後攻)の情報を、打席タグデータテーブル27に記録する。また、検出部21は、フレーム情報テーブル26の「ランナー」の項目に記録されたランナーの状況から、ランナーの数を求め、打席タグデータテーブル27の「ランナー」の項目に記録する。例えば、フレーム情報テーブル26の「ランナー」の項目に記録されたランナーの状況が、1塁及び2塁にランナーがいることを示している場合には、打席タグデータテーブル27の「ランナー」の項目に「2」を記録する。
また、計算部22は、各イニングにおける残塁数を累積した値を、「残塁(累積)」の項目に記録する。各イニングにおける残塁数は、「イニング」の項目に同一の値が記録されている打席タグデータのうち、フレーム時間が最も大きい打席タグデータの「ランナー」の項目に記録された人数を、イニングの「表」または「裏」毎に累積したものである。
また、計算部22は、「イニング」、「アウト」、「ランナー」、「得点(先攻)」、「得点(後攻)」、及び「残塁(累積)」の各項目に記録された値に基づいて、各打席がその試合におけるそのチームにとっての何打席目かを示す打席の順番を計算する。例えば、計算部22は、下記の式により打席の順番を計算することができる。
打席の順番={((「イニング」の数字)−1)×3+「残塁(累積)」+1}
+「アウト」+「ランナー」+「得点」
ここで、「得点」は、「イニング」が「表」の場合には、「得点(先攻)」の値を用い、「イニング」が「裏」の場合には、「得点(後攻)」の値を用いる。計算部22は、打席毎に計算した打席の順番を、打席タグデータテーブル27の「打席イベントID」の項目に記録する。
なお、打席の順番の計算方法は上記に限定されず、その打席に至るまでに何人の打者を送り出したかということを計算するものであればよい。例えば、下記の式によっても打席の順番を計算することができる。
打席の順番=(前のイニングにおける最終の打席の順番)+「アウト」
+「ランナー」+(「得点」−前のイニングにおける最終の「得点」)
ここで、(前のイニングにおける最終の打席の順番)は、「イニング」の項目に前のイニングの値が記録されている打席タグデータのうち、フレーム時間が最も大きい打席タグデータの「打席イベントID」の項目に記録された値である。同様に、前のイニングにおける最終の「得点」は、「イニング」の項目に前のイニングの値が記録されている打席タグデータのうち、フレーム時間が最も大きい打席タグデータの「得点」の項目に記録された値である。なお、「前のイニングの値」は、計算対象の打席タグデータの「イニング」に記録された値と、「表」または「裏」の区別が同一で、数字が1小さい値である。
対応付け部23は、外部装置50から野球データDB51を取得して、野球データDB51と、打席タグデータテーブル27とを、両者の打席イベントIDに基づいて対応付ける(統合を行なう)。これにより、図8に示すように、既存の外部データである野球データDB51のデータを、編集済み映像の各フレームに対応するメタ情報として、編集済み映像に付加することができる。図8の例では、打席毎の打者及び打席結果をメタ情報として付加する例を示しているが、他の項目も同様に、メタ情報として付加することができる。なお、図8の例における打者の氏名は、野球データDB51の打席データテーブル51Aの「打者ID」に対応する選手名を打者データテーブル51Cから抽出したものである。
なお、対応付け部23は、野球データDB51と、打席タグデータテーブル27とを対応付ける際に、野球データDB51、及び打席タグデータテーブル27それぞれの「イニング」の情報を参照して、イニング毎に対応付けを行なうこととしてもよい。野球データDB51と、打席タグデータテーブル27とをイニング毎に対応付けることで、後述する打席タグの付与エラーが生じた際に、以降のイニングまで対応付けのずれが波及することを抑止することができる。
ここで、本実施形態では、フレームの画像特徴、及びフレームから抽出したカウント表示102が示す情報に基づいて、打席の区切りを検出し、打席タグを付与している。そのため、打席の区切りを完全に検出できず、打席タグの付与もれが生じたり、打席の区切りでない箇所を打席の区切りとして検出してしまい、打席タグの重複が生じたりする場合もある。なお、この問題は、打席タグを人手により付与する場合も同様に生じえる。
そこで、対応付け部23は、打席タグデータテーブル27の「打席イベントID」に数字の飛びや重複が存在する箇所を、対応付け装置20に備えられた表示装置を用いてオペレータに提示し、打席タグの修正を促す。例えば、対応付け部23は、対応付け装置20に備えられた表示装置に、図9に示すような修正画面110を表示する。図9の例では、修正画面110は、編集済み映像が再生される映像再生領域111と、対応付けデータ表示領域112と、映像の再生、早送り、早戻し、コマ送り、一時停止等の操作を行うための操作ボタン113とを含む。また、修正画面110は、映像再生領域111に表示されているフレームに打席タグを付与するための打席タグ付与ボタン114を含む。
対応付けデータ表示領域112には、野球データDB51から編集済み映像に対応付けた打席毎のメタ情報が表示される。対応付けデータ表示領域112に表示するメタ情報としては、少なくとも打席イベントIDを含み、打席タグの確認を容易にするための他の情報を表示するとよい。対応付けデータ表示領域112に表示された各打席のデータが選択されると、対応付け部23は、打席タグデータテーブル27から対応するフレーム時間を取得する。そして、映像再生領域111において、取得したフレーム時間で示されるフレーム以降の編集済み映像を再生する。
また、対応付けデータ表示領域112にメタ情報を表示する際には、打席イベントIDに飛びまたは重複がある打席のデータを強調表示するなどして、オペレータに打席タグの付与エラーの存在を提示する。図9の例では、チームAについての打席イベントID=2(図9中「ID:2」と表記、他の打席イベントIDについても同様)が重複している。また、チームBについての打席イベントID=3が飛んでいる(2以上増加している)。図9では、打席タグの付与エラーと判断される打席に下線が付与され、強調表示されている。強調表示の態様は図9に示した下線の付与以外にも、例えば、文字の色を変える、文字の大きさを変える、文字の字体を変える、などの様々な変形例が考えらえる。
打席イベントIDが重複している場合、誤検出として、打席が重複して検出されていることが考えられる。したがって、打席イベントIDが重複している場合、対応付け部23は、打席が重複して検出される誤検出が発生していることをデータ表示領域112に表示させることとしてもよい。また、打席イベントIDが、1つ前の打席イベントIDに対して2以上増加している場合は、打席IDの検出漏れが発生していることが考えられる。したがって、打席イベントIDが重複している場合、対応付け部23は、誤検出として、打席の検出漏れが発生していることをデータ表示領域112に表示させることとしてもよい。また、対応付け部23は、打席イベントIDが、1つ前の打席イベントIDに対して減少している場合にも誤検出が発生していると判定してもよい。
対応付け装置20のオペレータは、例えば、打席イベントIDが重複している場合には、該当の打席のデータを対応付けデータ表示領域112から選択することにより、映像を確認する。そして、オペレータは、打席タグの付与エラーに該当する打席のデータを、対応付けデータ表示領域112から削除する。対応付け部23は、対応付けデータ表示領域112から削除された打席のデータに対応する打席タグデータを打席タグデータテーブル27から削除する。これにより、誤って打席タグが付与されていたフレームから打席タグを外す。
また、対応付け装置20のオペレータは、例えば、打席イベントIDが飛んでいる場合には、該当の前後の打席のデータを対応付けデータ表示領域112から選択することにより、映像を確認する。そして、オペレータは、映像再生領域111に打席の始まりを示すフレームを表示させた状態で、打席タグ付与ボタン114を選択する。対応付け部23は、打席タグ付与ボタン114選択時に、映像再生領域111に表示されているフレームのフレーム時間を打席タグデータテーブル27に追加する。そして、打席タグデータテーブル27における前後のフレーム時間に対応付けられた打席イベントIDを参照して、追加したフレーム時間に打席イベントIDを付与する。
対応付け部23は、修正後の打席タグデータテーブル27に基づいて、再度野球データDB51との対応付けを行う。これにより、打席タグが付与された各フレーム、すなわち打席の始まりを示す各フレームのフレーム時間に、野球データDB51の打席毎のデータがメタ情報として対応付けられる。対応付け部23は、メタ情報付き映像を配信装置30へ送信する。
なお、野球データDB51と、打席タグデータテーブル27との対応付けを行なう際には、下記の態様で対応付けを行なうこととしてもよい。
・打席タグデータテーブル27の打席イベントIDが、1つ前の打席イベントIDから1増加している場合には対応付けを行なう。・打席タグデータテーブル27の打席イベントIDが、1つ前の打席イベントIDから1増加している値でない場合には、対応付けの処理を抑止する。
打席イベントIDが、1つ前の打席イベントIDから1増加している値でない場合とは、上述した、打席イベントIDが重複している、打席イベントIDが2以上増加している、打席イベントIDが減少している、などの場合である。対応付けの処理が抑止される場合は、1つ前の打席イベントIDから1増加している値でない打席イベントIDの部分について抑止することとしてもよい。また、対応付けの処理において1つ前の打席イベントIDから1増加している値でない打席イベントIDが検出された時点で、対応付けの処理が中断されることとしても良い。これにより、打席イベントIDが誤って付与されたことに伴い、誤った対応付けの処理が行なわれてしまうことを抑止することができる。
メタ情報付き映像が配信装置30により配信用映像に変換されて、ユーザ端末40に配信されると、ユーザ端末40では、例えば図10に示すような配信画面120が表示される。配信画面120は、ユーザが視聴したい打席の映像を検索するための検索領域121と、検索結果を一覧表示する一覧表示領域122と、映像が再生される映像再生領域123とを含む。
検索領域121には、例えば、打者名を指定した検索を行うためのテキストボックスや、打席結果を選択して検索を行うための打席結果毎のチェックボックス等が表示される。なお、検索領域121の表示はこの例に限定されず、配信映像に付加されているメタ情報を用いた検索条件を設定可能な表示であればよい。
一覧表示領域122では、検索領域121で設定された検索条件をキーとして、配信映像に付加されているメタ情報を検索することにより抽出されたフレーム時間により識別されるフレームが一覧で表示される。一覧には、例えば、抽出されたフレーム時間により識別されるフレームのサムネイル画像、及び抽出されたフレーム時間に対応付けられたメタ情報を含めることができる。
映像再生領域123では、一覧表示領域122から選択されたサムネイル画像に対応するフレームから、次に打席タグが付与されているフレームの前のフレームまでのフレーム群で表される映像が再生される。
対応付け装置20は、例えば図11に示すコンピュータ60で実現することができる。コンピュータ60はCPU61、一時記憶領域としてのメモリ62、及び不揮発性の記憶部63を備える。また、コンピュータ60は、表示装置及び入力装置等の入出力装置68が接続される入出力インターフェース(I/F)64を備える。また、コンピュータ60は、記録媒体69に対するデータの読み込み及び書き込みを制御するread/write(R/W)部65、及びインターネット等のネットワークに接続されるネットワークI/F66を備える。CPU61、メモリ62、記憶部63、入出力I/F64、R/W部65、及びネットワークI/F66は、バス67を介して互いに接続される。
記憶部63はHDD(Hard Disk Drive)、SSD(solid state drive)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部63には、コンピュータ60を対応付け装置20として機能させるための対応付けプログラム70が記憶される。CPU61は、対応付けプログラム70を記憶部63から読み出してメモリ62に展開し、対応付けプログラム70が有するプロセスを順次実行する。
対応付けプログラム70は、検出プロセス71と、計算プロセス72と、対応付けプロセス73とを有する。CPU61は、検出プロセス71を実行することで、図3に示す検出部21として動作する。また、CPU61は、計算プロセス72を実行することで、図3に示す計算部22として動作する。また、CPU61は、対応付けプロセス73を実行することで、図3に示す対応付け部23として動作する。これにより、対応付けプログラム70を実行したコンピュータ60が、対応付け装置20として機能することになる。
また、配信装置30は、例えば図12に示すコンピュータ80で実現することができる。コンピュータ80はCPU81、メモリ82、不揮発性の記憶部83、入出力装置88が接続される入出力I/F84を備える。また、コンピュータ80は、記録媒体89に対するデータの読み込み及び書き込みを制御するR/W部85、及びインターネット等のネットワークに接続されるネットワークI/F86を備える。CPU81、メモリ82、記憶部83、入出力I/F84、R/W部85、及びネットワークI/F86は、バス87を介して互いに接続される。
また、配信装置30を実現するコンピュータ80と対応付け装置20を実現するコンピュータ60とは、コンピュータ80のネットワークI/F86、ネットワーク、及びコンピュータ60のネットワークI/F66を介して接続される。
記憶部83はHDD、SSD、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部83には、コンピュータ80を配信装置30として機能させるための配信プログラム90が記憶されている。CPU81は、配信プログラム90を記憶部83から読み出してメモリ82に展開し、配信プログラム90が有するプロセスを順次実行する。
配信プログラム90は、編集プロセス91と、配信プロセス92とを有する。CPU81は、編集プロセス91を実行することで、図2に示す編集部31として動作する。また、CPU81は、配信プロセス92を実行することで、図2に示す配信部32として動作する。これにより、配信プログラム90を実行したコンピュータ80が、配信装置30として機能することになる。
なお、対応付け装置20及び配信装置30の各々は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、本実施形態に係る映像配信システム10の作用について説明する。撮影映像が配信装置30に入力されると、配信装置30が、図13に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が対応付け装置20に入力されると、対応付け装置20が、図14に示す対応付け処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置30に入力されると、配信装置30が、図15に示す配信処理を実行し、配信用映像を出力する。以下、各処理について詳述する。
まず、図13に示す編集処理のステップS10で、編集部31が、撮影映像を取得する。次に、ステップS12で、編集部31が、入出力装置68を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。次に、ステップS14で、編集部31が、編集済み映像を、対応付け装置20へ送信して、編集処理は終了する。
次に、図14に示す対応付け処理のステップS20で、検出部21が、配信装置30から送信された編集済み映像を取得する。
次に、ステップS22で、検出部21が、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された構図のフレームを、投球構図フレームとして検出する。また、検出部21が、各フレームから、カウント表示102を抽出し、カウント表示102が示すカウント情報を検出する。検出部21は、投球構図フレームの検出結果、及びフレーム毎に検出したカウント情報を、フレーム情報テーブル26に記録する。
次に、ステップS24で、検出部21が、フレーム情報テーブル26を参照して、連続する複数の投球構図フレームからなるフレーム群を投球構図シーンとして特定する。そして、投球構図シーンの開始フレームを、投球の始まりを示すフレームとして判定し、「投球タグ」を付与する。さらに、検出部21は、投球の始まりを示すフレームのボールカウントが0、かつストライクカウントが0の場合に、そのフレームを打席の始まりを示すフレームとして判定し、「打席タグ」を付与する。
次に、ステップS26で、計算部22が、フレーム情報テーブル26から、打席の順番を計算するために必要な情報を抽出した、例えば図7に示すような打席タグデータテーブル27を作成する。そして、計算部22は、「イニング」、「アウト」、「ランナー」、「得点(先攻)」、「得点(後攻)」、及び「残塁(累積)」の各項目に記録された値に基づいて、各打席がその試合におけるそのチームにとっての何打席目かを示す打席の順番を計算する。計算部22は、打席毎に計算した打席の順番を、打席タグデータテーブル27の「打席イベントID」の項目に記録する。
次に、ステップS28で、対応付け部23が、外部装置50から野球データDB51を取得して、野球データDB51と、打席タグデータテーブル27とを、両者の打席イベントIDに基づいて対応付ける。
次に、ステップS30で、対応付け部23が、打席タグデータテーブル27の「打席イベントID」に数字の飛びや重複が存在する箇所を提示し、打席タグの修正を促すための、例えば図9に示すような修正画面110を表示する。
修正画面110を提示された対応付け装置20のオペレータは、打席イベントIDが重複している場合には、映像を確認して、打席タグの付与エラーに該当する打席のデータを、対応付けデータ表示領域112から削除する。また、オペレータは、打席イベントIDが飛んでいる場合には、映像を確認しながら、打席タグを付与したい箇所で打席タグ付与ボタン114を選択する。
次に、ステップS32で、対応付け部23が、オペレータからの打席タグの修正を受け付けたか否かを判定する。受け付けていない場合には、受け付けるまで本ステップの判定を繰り返す。受け付けた場合には、処理はステップS34へ移行する。
ステップS34では、対応付け部23は、対応付けデータ表示領域112からの打席のデータの削除を受け付けた場合には、削除された打席のデータに対応する打席タグデータを打席タグデータテーブル27から削除する。また、対応付け部23は、打席タグ付与ボタン114の選択を受け付けた場合には、打席タグ付与ボタン114選択時に、映像再生領域111に表示されているフレームのフレーム時間を打席タグデータテーブル27に追加する。そして、対応付け部23は、打席タグデータテーブル27における前後のフレーム時間に対応付けられた打席イベントIDを参照して、追加したフレーム時間に打席イベントIDを付与する。
次に、ステップS36で、対応付け部23が、修正後の打席タグデータテーブル27に基づいて、再度野球データDB51との対応付けを行い、メタ情報付き映像を配信装置30へ送信し、対応付け処理は終了する。
次に、図15に示す配信処理のステップS40で、配信部32が、対応付け装置20から送信されたメタ情報付き映像を取得する。次に、ステップS42で、配信部32が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先のユーザ端末40に配信し、配信処理は終了する。
以上説明したように、本実施形態に係る対応付け装置20によれば、野球の試合を撮影した映像に付与された打席の区切りを示す打席タグ毎に、イニング、アウトカウント、ランナーの状況、得点等から計算される打席の順番を示す打席イベントIDを付与する。そして、打席イベントIDの飛びまたは重複を提示することにより、打席タグの付与エラーの修正を受け付ける。そして、修正後の打席タグ毎に付与された打席イベントIDに基づいて、打席毎のデータが打席の順番で記録された既存の外部の野球データと対応付けるため、既存の外部データを、映像に対するメタ情報として精度良く対応付けることができ
また、外部データを利用することができるため、打席毎の詳細なデータを、打席の区切り毎にメタ情報として映像に付加することができる。従って、本発明によるメタ情報付きの映像によれば、メタ情報に基づいて打席の頭出しが可能であるだけでなく、詳細な検索条件を設定して、所望の打席の映像を検索して視聴することが可能である。
なお、上記実施形態では、投手の背後から打者方向を撮影したフレームを、投球構図フレームとする場合について説明したが、投球構図フレームはこれに限定されない。例えば、球審の頭部に備え付けられたカメラから撮影されたフレーム(球審から投手方向を撮影したフレーム)など、投手の投球場面に使用される特徴的なカメラアングルで撮影されたフレームであればよい。
また、打席の区切りの検出方法は本実施形態の例に限定されず、上述したように人手で検出したものであってもよいし、他の検出方法により検出されたものであってもよい。さらに、既に打席の区切りを示す打席タグが付与された映像を、対応付け装置に入力してもよい。この場合、検出部21において映像に打席タグを付与する処理を省略することができる。
また、上記各実施形態では、配信装置30と対応付け装置20とを含む映像配信システム10を例に説明したが、これに限定されない。配信装置30の各機能部と対応付け装置20の各機能部とを、1つのコンピュータで実現するようにしてもよい。
また、本発明の情報処理装置は、映像配信システムに適用する場合に限定されない。例えば、ネットワークで接続された外部の記憶装置に格納された映像ファイルを取得し、既存の外部の野球データをメタ情報として映像ファイルに対応付けて、記憶装置に格納し直すようにしてもよい。また、本発明の情報処理装置は、野球の他、ソフトボール等のスポーツにも適用可能である。
また、上記では、対応付けプログラム70が記憶部63に、配信プログラム90が記憶部83に予め記憶(インストール)されている態様を説明したが、CD−ROMやDVD−ROM等の記憶媒体に記録された形態で提供することも可能である。
以上の上記実施形態に関し、更に以下の付記を開示する。
(付記1)
コンピュータに、
記憶手段に記憶された野球の試合の撮影映像に含まれる試合状況を示す画像情報から取得した、アウト数、ランナー数、得点数、のいずれかの変化に基づいて、打席の切り替わりを検出する、
処理を実行させることを特徴とする情報処理プログラム。
(付記2)
前記コンピュータに、
前記アウト数、前記ランナー数、前記得点数、のいずれかが増加した場合に、打席が切り替わったことを検出する、
処理を実行させることを特徴とする付記1記載の情報処理プログラム。
(付記3)
前記コンピュータに、
ランナー数が2以上増加した場合、打席の切り替わりの誤検出と判定する、
処理を実行させることを特徴とする付記2記載の情報処理プログラム。
(付記4)
前記コンピュータに、
前記いずれかの変化について、ランナー数より1大きい数を超える増加がある場合、打席の切り替わりの誤検出と判定する、
処理を実行させることを特徴とする付記2または付記3記載の情報処理プログラム。
(付記5)
前記コンピュータに、
前記アウト数、前記ランナー数、前記得点数の総和が1増加した場合、打席が切り替わったことを検出し、前記総和が2以上増加した場合、前記総和が減少した場合、前記総和が同じ打席が複数検出される場合、のいずれかの場合、打席の切り替わりの誤検出と判定する、
処理を実行させることを特徴とする付記1記載の情報処理プログラム。
(付記6)
前記コンピュータに、
前記総和が2以上増加した場合、打席の切り替わりの検出漏れがあることを判定する、
処理を実行させることを特徴とする付記5記載の情報処理プログラム。
(付記7)
前記コンピュータに、
前記総和が同じ打席が複数検出された場合、打席が重複して検出されていると判定する、
処理を実行させることを特徴とする付記5または付記6記載の情報処理プログラム。
(付記8)
前記コンピュータに、
検出された前記打席の切り替わりについて、前記総和に応じて、前記試合における打席の順序を示す順序情報を付与する、
処理を実行させることを特徴とする付記5〜付記7のいずれか1項に記載の情報処理プログラム。
(付記9)
前記コンピュータに、
前記誤検出があると判定された場合、前記誤検出が発生した旨を示す情報と、前記誤検出があると判定された打席の情報と、を表示手段に出力する、
処理を実行させることを特徴とする付記4〜付記8のいずれか1項に記載の情報処理プログラム。
(付記10)
前記コンピュータに、
前記誤検出があると判定された打席の情報を、前記表示手段に、選択可能に出力し、
出力された前記打席の情報が選択されると、選択された前記打席の情報に対応する撮影映像を前記表示手段にて再生する、
処理を実行させることを特徴とする付記9記載の情報処理プログラム。
(付記11)
コンピュータに、
記憶手段に記憶された野球の試合の撮影映像に含まれる打席シーンと、前記試合における順序を示す第1の順序番号情報を含む前記試合の打席それぞれの打席情報と、を統合するキー情報として、前記撮影映像に含まれる、試合状況を示す画像情報から取得した、アウト数、ランナー数、得点数の総和に応じて、前記打席シーンに対して第2の順序番号情報を付与する、
処理を実行させることを特徴とする情報処理プログラム。
(付記12)
前記コンピュータに、
前記第1の順序番号情報と前記第2の順序番号情報とに基づいて、前記撮影映像に含まれる打席シーンと前記打席情報とを統合する際に、前記第2の順序番号情報が前記試合において該第2の順序番号情報に対応する打席シーンの1つ前の打席シーンの第2の順序番号情報から1増加している場合に、前記撮影映像に含まれる打席シーンと前記打席情報との統合を実行し、前記第2の順序番号情報が、前記1つ前の打席シーンの第2の順序番号情報から減少している、増減がない、2以上増加している、のいずれかの場合、前記打席シーンに対する前記第2の順序番号情報の付与が誤りであるとして前記撮影映像に含まれる打席シーンと前記打席情報との統合を抑止する、
処理を実行させることを特徴とする付記11記載の情報処理プログラム。
(付記13)
コンピュータに、
記憶手段に記憶された野球の試合の撮影映像に含まれる試合状況を示す画像情報から取得した、アウト数、ランナー数、得点数、のいずれかの変化に基づいて、打席の切り替わりを検出する、
処理を実行させることを特徴とする情報処理方法。
(付記14)
前記コンピュータに、
前記アウト数、前記ランナー数、前記得点数、のいずれかが増加した場合に、打席が切り替わったことを検出する、
処理を実行させることを特徴とする付記13記載の情報処理方法。
(付記15)
前記コンピュータに、
ランナー数が2以上増加した場合、打席の切り替わりの誤検出と判定する、
処理を実行させることを特徴とする付記14記載の情報処理方法。
(付記16)
前記コンピュータに、
前記いずれかの変化について、ランナー数より1大きい数を超える増加がある場合、打席の切り替わりの誤検出と判定する、
処理を実行させることを特徴とする付記14または付記15記載の情報処理方法。
(付記17)
前記コンピュータに、
前記アウト数、前記ランナー数、前記得点数の総和が1増加した場合、打席が切り替わったことを検出し、前記総和が2以上増加した場合、前記総和が減少した場合、前記総和が同じ打席が複数検出される場合、のいずれかの場合、打席の切り替わりの誤検出と判定する、
処理を実行させることを特徴とする付記13記載の情報処理方法。
(付記18)
前記コンピュータに、
前記総和が2以上増加した場合、打席の切り替わりの検出漏れがあることを判定する、
処理を実行させることを特徴とする付記17記載の情報処理方法。
(付記19)
前記コンピュータに、
前記総和が同じ打席が複数検出された場合、打席が重複して検出されていると判定する、
処理を実行させることを特徴とする付記17または付記18記載の情報処理方法。
(付記20)
前記コンピュータに、
検出された前記打席の切り替わりについて、前記総和に応じて、前記試合における打席の順序を示す順序情報を付与する、
処理を実行させることを特徴とする付記17〜付記19のいずれか1項に記載の情報処理方法。
(付記21)
前記コンピュータに、
前記誤検出があると判定された場合、前記誤検出が発生した旨を示す情報と、前記誤検出があると判定された打席の情報と、を表示手段に出力する、
処理を実行させることを特徴とする付記16〜付記20のいずれか1項に記載の情報処理方法。
(付記22)
前記コンピュータに、
前記誤検出があると判定された打席の情報を、前記表示手段に、選択可能に出力し、
出力された前記打席の情報が選択されると、選択された前記打席の情報に対応する撮影映像を前記表示手段にて再生する、
処理を実行させることを特徴とする付記21記載の情報処理方法。
(付記23)
記憶手段に記憶された野球の試合の撮影映像に含まれる試合状況を示す画像情報から取得した、アウト数、ランナー数、得点数、のいずれかの変化に基づいて、打席の切り替わりを検出する検出部
を含むことを特徴とする情報処理装置。
(付記24)
前記検出部は、前記アウト数、前記ランナー数、前記得点数、のいずれかが増加した場合に、打席が切り替わったことを検出する、
ことを特徴とする付記23記載の情報処理装置。
(付記25)
前記検出部は、ランナー数が2以上増加した場合、打席の切り替わりの誤検出と判定する、
ことを特徴とする付記24記載の情報処理装置。
(付記26)
前記検出部は、前記いずれかの変化について、ランナー数より1大きい数を超える増加がある場合、打席の切り替わりの誤検出と判定する、
ことを特徴とする付記24または付記25記載の情報処理装置。
(付記27)
前記検出部は、前記アウト数、前記ランナー数、前記得点数の総和が1増加した場合、打席が切り替わったことを検出し、前記総和が2以上増加した場合、前記総和が減少した場合、前記総和が同じ打席が複数検出される場合、のいずれかの場合、打席の切り替わりの誤検出と判定する、
ことを特徴とする付記23記載の情報処理装置。
(付記28)
前記検出部は、前記総和が2以上増加した場合、打席の切り替わりの検出漏れがあることを判定する、
ことを特徴とする付記27記載の情報処理装置。
(付記29)
前記検出部は、前記総和が同じ打席が複数検出された場合、打席が重複して検出されていると判定する、
ことを特徴とする付記27または付記28記載の情報処理装置。
(付記30)
前記検出部は、検出された前記打席の切り替わりについて、前記総和に応じて、前記試合における打席の順序を示す順序情報を付与する、
ことを特徴とする付記27〜付記29のいずれか1項に記載の情報処理装置。
(付記31)
前記検出部は、前記誤検出があると判定された場合、前記誤検出が発生した旨を示す情報と、前記誤検出があると判定された打席の情報と、を表示手段に出力する、
ことを特徴とする付記26〜付記30のいずれか1項に記載の情報処理装置。
(付記32)
前記検出部は、前記誤検出があると判定された打席の情報を、前記表示手段に、選択可能に出力し、
出力された前記打席の情報が選択されると、選択された前記打席の情報に対応する撮影映像を前記表示手段にて再生する、
ことを特徴とする付記31記載の情報処理装置。
(付記33)
コンピュータに、
記憶手段に記憶された野球の試合の撮影映像に含まれる打席シーンと、前記試合における順序を示す第1の順序番号情報を含む前記試合の打席それぞれの打席情報と、を統合するキー情報として、前記撮影映像に含まれる、試合状況を示す画像情報から取得した、アウト数、ランナー数、得点数の総和に応じて、前記打席シーンに対して第2の順序番号情報を付与する、
処理を実行させることを特徴とする情報処理方法。
(付記34)
前記コンピュータに、
前記第1の順序番号情報と前記第2の順序番号情報とに基づいて、前記撮影映像に含まれる打席シーンと前記打席情報とを統合する際に、前記第2の順序番号情報が前記試合において該第2の順序番号情報に対応する打席シーンの1つ前の打席シーンの第2の順序番号情報から1増加している場合に、前記撮影映像に含まれる打席シーンと前記打席情報との統合を実行し、前記第2の順序番号情報が、前記1つ前の打席シーンの第2の順序番号情報から減少している、増減がない、2以上増加している、のいずれかの場合、前記打席シーンに対する前記第2の順序番号情報の付与が誤りであるとして前記撮影映像に含まれる打席シーンと前記打席情報との統合を抑止する、
処理を実行させることを特徴とする付記33記載の情報処理方法。
(付記35)
記憶手段に記憶された野球の試合の撮影映像に含まれる打席シーンと、前記試合における順序を示す第1の順序番号情報を含む前記試合の打席それぞれの打席情報と、を統合するキー情報として、前記撮影映像に含まれる、試合状況を示す画像情報から取得した、アウト数、ランナー数、得点数の総和に応じて、前記打席シーンに対して第2の順序番号情報を付与する付与部
を含むことを特徴とする情報処理装置。
(付記36)
前記付与部は、前記第1の順序番号情報と前記第2の順序番号情報とに基づいて、前記撮影映像に含まれる打席シーンと前記打席情報とを統合する際に、前記第2の順序番号情報が前記試合において該第2の順序番号情報に対応する打席シーンの1つ前の打席シーンの第2の順序番号情報から1増加している場合に、前記撮影映像に含まれる打席シーンと前記打席情報との統合を実行し、前記第2の順序番号情報が、前記1つ前の打席シーンの第2の順序番号情報から減少している、増減がない、2以上増加している、のいずれかの場合、前記打席シーンに対する前記第2の順序番号情報の付与が誤りであるとして前記撮影映像に含まれる打席シーンと前記打席情報との統合を抑止する、
ことを特徴とする付記35記載の情報処理装置。
(付記37)
コンピュータに、
複数のフレームを含む野球の試合の撮影映像に付与された打席の区切りで特定される打席毎の映像を示すフレームの画像から抽出される試合状況を示す情報に基づいて、前記打席毎の映像が示す打席の順番を計算し、
計算した前記打席の順番に基づいて、前記打席の区切りのエラーを提示すると共に、前記エラーの修正を受け付け、
1打席毎の打席のデータが打席順に記録された外部データの前記1打席毎の打席のデータの各々と、エラー修正後の前記打席の区切りで特定される打席毎の映像の各々とを対応付ける
ことを含む処理を実行させるための対応付けプログラム。
(付記38)
前記試合状況を示す情報として、イニング数、アウトカウント、ランナーの状況、及び得点を抽出する付記37記載の対応付けプログラム。
10 映像配信システム
20 対応付け装置
21 検出部
22 計算部
23 対応付け部
26 フレーム情報テーブル
27 打席タグデータテーブル
30 配信装置
31 編集部
32 配信部
40 ユーザ端末
50 外部装置
51 野球データ・データベース
60、80 コンピュータ
61、81 CPU
62、82 メモリ
63、83 記憶部
70 対応付けプログラム
90 配信プログラム
102 カウント表示
104 イニング表示
105 ボールカウント表示
106 ストライクカウント表示
107 アウトカウント表示
108 ランナー表示
109 得点表示
110 修正画面
120 配信画面

Claims (16)

  1. コンピュータに、
    打席の切り替わりを示すフレームに打席タグが付与された野球の試合の撮影映像を取得し、
    取得した前記撮影映像の各フレームに含まれる試合状況を示す画像情報から、ランナー数を取得し、
    前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得したランナー数と、1つ前の前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前回のランナー数とを比較し、
    前記ランナー数が前記前回のランナー数から2以上増加した場合、前記打席タグが付与されたフレームが示す打席の切り替わりを、誤検出と判定する
    処理を実行させることを特徴とする情報処理プログラム。
  2. ンピュータに、
    打席の切り替わりを示すフレームに打席タグが付与された野球の試合の撮影映像を取得し、
    取得した前記撮影映像の各フレームに含まれる試合状況を示す画像情報から、アウト数、ランナー数、及び得点数を取得し、
    前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前記アウト数と、前記ランナー数と、前記得点数とを加算して総和を計算し、前記総和を、1つ前の前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報に基づいて計算した前回の総和と比較し、
    記総和が前記前回の総和から1増加した場合、前記打席タグが付与されたフレームが示す打席切り替を検出し、
    前記総和が前記前回の総和から2以上増加した場合、前記総和が減少した場合、及び前記総和が前記前回の総和と同じ場合のいずれかの場合、前記打席タグが付与されたフレームが示す打席の切り替わりを、誤検出と判定する、
    処理を実行させることを特徴とする情報処理プログラム。
  3. 前記コンピュータに、
    前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前記アウト数、前記ランナー数、及び前記得点数の各々と、1つ前の前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前回のアウト数、前回のランナー数、及び前回の得点数の各々とを比較し、
    前記アウト数又は前記得点数が、前記前回のアウト数又は前記前回の得点数から、前記ランナー数より1大きい数を超える増加がある場合、前記打席タグが付与されたフレームが示す打席の切り替わりを、誤検出と判定する、
    処理を実行させることを特徴とする請求項に記載の情報処理プログラム。
  4. 前記コンピュータに、
    前記総和が前記前回の総和から2以上増加した場合、打席の切り替わりの検出漏れがあることを判定する、
    処理を実行させることを特徴とする請求項2又は請求項3に記載の情報処理プログラム。
  5. 前記コンピュータに、
    前記総和が前記前回の総和とじ場合、打席が重複して検出されていると判定する、
    処理を実行させることを特徴とする請求項2〜請求項4のいずれか1項に記載の情報処理プログラム。
  6. 前記コンピュータに、
    検出された前記打席の切り替わりに対応付けて、前記総和に応じて、前記試合における打席の順序を示す順序情報を付与する、
    処理を実行させることを特徴とする請求項〜請求項のいずれか1項に記載の情報処理プログラム。
  7. 前記コンピュータに、
    前記誤検出があると判定された場合、前記誤検出が発生した旨を示す情報と、前記誤検出があると判定された打席の情報と、を表示手段に出力する、
    処理を実行させることを特徴とする請求項〜請求項のいずれか1項に記載の情報処理プログラム。
  8. 前記コンピュータに、
    前記誤検出があると判定された打席の情報を、前記表示手段に、選択可能に出力し、
    出力された前記打席の情報が選択されると、選択された前記打席の情報に対応する撮影映像を前記表示手段にて再生する、
    処理を実行させることを特徴とする請求項7に記載の情報処理プログラム。
  9. コンピュータに、
    球の試合の撮影映像に含まれる打席シーンと、前記試合における順序を示す第1の順序番号情報を含む前記試合の打席それぞれの打席情報と、を統合するキー情報として、前記打席シーンに対して第2の順序番号情報を付与する場合において、
    前記撮影映像に含まれる試合状況を示す画像情報から、アウト数、ランナー数、及び得点数を取得し、
    取得した前記アウト数と、前記ランナー数と、前記得点数とを加算して総和を計算し、
    計算した前記総和に応じて、前記打席シーンに対して第2の順序番号情報を付与する、
    処理を実行させることを特徴とする情報処理プログラム。
  10. 前記コンピュータに、
    前記第1の順序番号情報と前記第2の順序番号情報とに基づいて、前記撮影映像に含まれる打席シーンと前記打席情報とを統合する際に、前記第2の順序番号情報を、前記試合において該第2の順序番号情報に対応する打席シーンの1つ前の打席シーンの第2の順序番号情報と比較し、
    前記第2の順序番号情報が、前記1つ前の打席シーンの第2の順序番号情報から1増加している場合に、前記撮影映像に含まれる打席シーンと前記打席情報との統合を実行し
    前記第2の順序番号情報が、前記1つ前の打席シーンの第2の順序番号情報から減少している場合、増減がない場合及び2以上増加している場合のいずれかの場合、前記打席シーンに対する前記第2の順序番号情報の付与が誤りであるとして前記撮影映像に含まれる打席シーンと前記打席情報との統合を抑止する、
    処理を実行させることを特徴とする請求項9に記載の情報処理プログラム。
  11. コンピュータ
    打席の切り替わりを示すフレームに打席タグが付与された野球の試合の撮影映像を取得し、
    取得した前記撮影映像の各フレームに含まれる試合状況を示す画像情報から、ランナー数を取得し、
    前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得したランナー数と、1つ前の前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前回のランナー数とを比較し、
    前記ランナー数が前記前回のランナー数から2以上増加した場合、前記打席タグが付与されたフレームが示す打席の切り替わりを、誤検出と判定する
    処理を実行ることを特徴とする情報処理方法。
  12. 打席の切り替わりを示すフレームに打席タグが付与された野球の試合の撮影映像を取得し、取得した前記撮影映像の各フレームに含まれる試合状況を示す画像情報から、ランナー数を取得する取得部と、
    前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得したランナー数と、1つ前の前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前回のランナー数とを比較する比較部と、
    前記ランナー数が前記前回のランナー数から2以上増加した場合、前記打席タグが付与されたフレームが示す打席の切り替わりを、誤検出と判定する判定部と、
    を含むことを特徴とする情報処理装置。
  13. コンピュータが、
    打席の切り替わりを示すフレームに打席タグが付与された野球の試合の撮影映像を取得し、
    取得した前記撮影映像の各フレームに含まれる試合状況を示す画像情報から、アウト数、ランナー数、及び得点数を取得し、
    前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前記アウト数と、前記ランナー数と、前記得点数とを加算して総和を計算し、前記総和を、1つ前の前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報に基づいて計算した前回の総和と比較し、
    前記総和が前記前回の総和から1増加した場合、前記打席タグが付与されたフレームが示す打席の切り替りを検出し、
    前記総和が前記前回の総和から2以上増加した場合、前記総和が減少した場合、及び前記総和が前記前回の総和と同じ場合のいずれかの場合、前記打席タグが付与されたフレームが示す打席の切り替わりを、誤検出と判定する、
    処理を実行することを特徴とする情報処理方法。
  14. 打席の切り替わりを示すフレームに打席タグが付与された野球の試合の撮影映像を取得し、取得した前記撮影映像の各フレームに含まれる試合状況を示す画像情報から、アウト数、ランナー数、及び得点数を取得する取得部と、
    前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報から取得した前記アウト数と、前記ランナー数と、前記得点数とを加算して総和を計算し、前記総和を、1つ前の前記打席タグが付与されたフレームに含まれる試合状況を示す画像情報に基づいて計算した前回の総和と比較する比較部と、
    前記総和が前記前回の総和から1増加した場合、前記打席タグが付与されたフレームが示す打席の切り替りを検出する検出部と、
    前記総和が前記前回の総和から2以上増加した場合、前記総和が減少した場合、及び前記総和が前記前回の総和と同じ場合のいずれかの場合、前記打席タグが付与されたフレームが示す打席の切り替わりを、誤検出と判定する判定部と、
    を含むことを特徴とする情報処理装置。
  15. コンピュータ
    球の試合の撮影映像に含まれる打席シーンと、前記試合における順序を示す第1の順序番号情報を含む前記試合の打席それぞれの打席情報と、を統合するキー情報として、前記打席シーンに対して第2の順序番号情報を付与する場合において、
    前記撮影映像に含まれる試合状況を示す画像情報から、アウト数、ランナー数、及び得点数を取得し、
    取得した前記アウト数と、前記ランナー数と、前記得点数とを加算して総和を計算し、
    計算した前記総和に応じて、前記打席シーンに対して第2の順序番号情報を付与する、
    処理を実行ることを特徴とする情報処理方法。
  16. 球の試合の撮影映像に含まれる打席シーンと、前記試合における順序を示す第1の順序番号情報を含む前記試合の打席それぞれの打席情報と、を統合するキー情報として、前記打席シーンに対して第2の順序番号情報を付与する情報処理装置であって、
    前記撮影映像に含まれる試合状況を示す画像情報から、アウト数、ランナー数、及び得点数を取得する取得部と、
    取得した前記アウト数と、前記ランナー数と、前記得点数とを加算して総和を計算し、計算した前記総和に応じて、前記打席シーンに対して第2の順序番号情報を付与する付与部と、
    を含むことを特徴とする情報処理装置。
JP2014173150A 2014-08-27 2014-08-27 情報処理プログラム、方法、及び装置 Expired - Fee Related JP6464616B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014173150A JP6464616B2 (ja) 2014-08-27 2014-08-27 情報処理プログラム、方法、及び装置
TW104124765A TWI579026B (zh) 2014-08-27 2015-07-30 資訊處理方法及裝置
US14/814,682 US10115318B2 (en) 2014-08-27 2015-07-31 Information processing method and device
KR1020150119729A KR101792909B1 (ko) 2014-08-27 2015-08-25 정보 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014173150A JP6464616B2 (ja) 2014-08-27 2014-08-27 情報処理プログラム、方法、及び装置

Publications (2)

Publication Number Publication Date
JP2016048853A JP2016048853A (ja) 2016-04-07
JP6464616B2 true JP6464616B2 (ja) 2019-02-06

Family

ID=55401358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014173150A Expired - Fee Related JP6464616B2 (ja) 2014-08-27 2014-08-27 情報処理プログラム、方法、及び装置

Country Status (4)

Country Link
US (1) US10115318B2 (ja)
JP (1) JP6464616B2 (ja)
KR (1) KR101792909B1 (ja)
TW (1) TWI579026B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169930A (ja) * 2016-03-24 2017-09-28 株式会社Jvcケンウッド 表示装置、表示方法及び表示プログラム
JP6660784B2 (ja) * 2016-03-24 2020-03-11 Run.Edge株式会社 表示制御プログラム、方法、及び表示制御装置
CN111405360B (zh) * 2020-03-25 2021-09-28 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650167B2 (ja) * 1995-06-02 2005-05-18 データスタジアム株式会社 ベースボールゲームにおけるデータ処理装置
JP2001331494A (ja) * 2000-05-24 2001-11-30 Victor Co Of Japan Ltd コンテンツ提供装置及びコンテンツ提供システム
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
JP2003264771A (ja) * 2002-03-06 2003-09-19 Sony Corp 信号記録再生装置、信号記録再生方法、並びに信号記録再生プログラムを記録している媒体
JP4079095B2 (ja) * 2004-02-18 2008-04-23 日本電信電話株式会社 野球映像対応付け支援方法及び装置及びプログラム
JP4401220B2 (ja) 2004-04-01 2010-01-20 富士通株式会社 ハイライトシーン抽出装置およびハイライトシーン配信システム
US20090208184A1 (en) 2004-12-03 2009-08-20 Nec Corporation Video content playback assistance method, video content playback assistance system, and information distribution program
JP2007274400A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd スポーツ映像のイベント区間補正装置およびイベント区間補正方法
JP2007335984A (ja) 2006-06-12 2007-12-27 Matsushita Electric Ind Co Ltd イベント終了点抽出装置、イベント終了点抽出方法および抽出プログラム
JP2008005204A (ja) * 2006-06-22 2008-01-10 Matsushita Electric Ind Co Ltd 映像区間決定装置、方法、プログラム
US7956893B2 (en) * 2006-12-11 2011-06-07 Mavs Lab. Inc. Method of indexing last pitching shots in a video of a baseball game
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
US20080269924A1 (en) * 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof

Also Published As

Publication number Publication date
KR101792909B1 (ko) 2017-11-02
US20160059106A1 (en) 2016-03-03
US10115318B2 (en) 2018-10-30
KR20160025477A (ko) 2016-03-08
JP2016048853A (ja) 2016-04-07
TWI579026B (zh) 2017-04-21
TW201620592A (zh) 2016-06-16

Similar Documents

Publication Publication Date Title
KR101891382B1 (ko) 추출 프로그램, 방법 및 장치
JP6260292B2 (ja) 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
TW201611619A (zh) 映像片段擷取方法、映像片段重播方法及裝置
TWI586161B (zh) 擷取方法及裝置
US20080269924A1 (en) Method of summarizing sports video and apparatus thereof
JP6464616B2 (ja) 情報処理プログラム、方法、及び装置
KR101860256B1 (ko) 비일시적 컴퓨터 판독 가능한 기억 매체, 재생 제어 방법, 및 재생 제어 장치
KR101988713B1 (ko) 비일시적 컴퓨터 판독 가능 저장 매체 및 표시 제어 장치
KR101701632B1 (ko) 판정 방법 및 장치
US9538244B2 (en) Extraction method for extracting a pitching scene and device for the same
US20170274266A1 (en) Non-transitory computer-readable storage medium, display control device, and display control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181224

R150 Certificate of patent or registration of utility model

Ref document number: 6464616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees