JP6260292B2 - 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム - Google Patents

情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム Download PDF

Info

Publication number
JP6260292B2
JP6260292B2 JP2014008172A JP2014008172A JP6260292B2 JP 6260292 B2 JP6260292 B2 JP 6260292B2 JP 2014008172 A JP2014008172 A JP 2014008172A JP 2014008172 A JP2014008172 A JP 2014008172A JP 6260292 B2 JP6260292 B2 JP 6260292B2
Authority
JP
Japan
Prior art keywords
section
frame
indicating
bat
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014008172A
Other languages
English (en)
Other versions
JP2015139017A (ja
Inventor
淳 小口
淳 小口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014008172A priority Critical patent/JP6260292B2/ja
Priority to TW103144776A priority patent/TWI563837B/zh
Priority to US14/580,422 priority patent/US9681200B2/en
Priority to KR1020140191976A priority patent/KR101696984B1/ko
Publication of JP2015139017A publication Critical patent/JP2015139017A/ja
Application granted granted Critical
Publication of JP6260292B2 publication Critical patent/JP6260292B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7343Query language or query format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理プログラム、情報処理方法、情報処理装置、野球映像メタ情報作成装置、野球映像メタ情報作成方法、及び野球映像メタ情報作成プログラムに関する。
従来、野球の試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド(Video on Demand、VoD)コンテンツとして配信したりするサービスが存在する。VoDコンテンツとして配信する場合、例えば、視聴者が所望のイニングを選択して視聴可能な形式で、視聴者に提供することが行われている。このようなVoDコンテンツを提供するために、人手により映像をイニング毎に切り出している。
なお、野球の試合を撮影した映像からハイライトシーンを抽出する技術が提案されている。
特開2005−295296号公報
しかしながら、例えば上述のように、人手により映像をイニング毎に切り出す場合は、1イニングの映像の切り出しに10分程度かかってしまう。さらに、より詳細なVoDコンテンツとして、例えば、1打席毎の映像を選手の識別情報と対応付けて頭出しが可能なVoDコンテンツを想定すると、1打席毎の映像を選手の識別情報と対応付けて切り出す必要があり、人手による作業工数は増大する。
一つの側面として、本発明は、野球の試合を撮影した映像から、打席の選手を識別することを目的とする。
一つの態様では、複数のフレームを含む野球の試合の撮影映像に含まれる、投球シーンを示すフレームが連続する区間のうち、ボールカウントの表示が初期状態に対応するフレームが含まれる区間から、次にボールカウントの表示が初期状態に対応するフレームが含まれる区間の前の区間をある打席の区間として検出し、前記ある打席の区間に含まれるフレーム群のうちの1または複数のフレームに選手名の表示が含まれる場合に、表示された該選手名を前記ある打席における打者の名前として特定する。そして、特定した前記名前を前記ある打席に関するフレーム群に対応する打者名として記憶部に記憶させる。
一つの側面として、野球の試合を撮影した映像から、野球の試合を撮影した映像から、打席の選手を識別することができる、という効果を有する。
第1及び第2実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 編集の一例を説明するための図である。 特定カットを説明するための図である。 1球の始まりを示すフレームを説明するための図である。 1球の終わりを示すフレームを説明するための図である。 試合状況を示すテロップの一例を示す図である。 選手情報を示すテロップの一例を示す図である。 打者リストの一例を示す図である。 打者リストの更新の一例を示す図である。 メタ情報ファイルの一例を示す図である。 野球映像メタ情報作成装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 第1実施形態における野球映像メタ情報作成処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。 1球の始まりを示すフレーム、1球の終わりを示すフレーム、1打席の始まりを示す区間、及び1打席に対応する選手の識別情報を説明するための図である。 選手の識別情報の推定を説明するための図である。 判別情報としてのマークの一例を示す図である。 同一の特定カット中に複数の投球場面が含まれる場合を説明するための図である。 球の軌跡を検出するための所定領域を説明するための図である。 差分画像の一例を示す図である。 球の軌跡の検出を説明するための図である。 球の軌跡の方向を説明するための図である。 ランナー数、アウトカウント、及び得点の合計に基づく、打者変更の判定を説明するための図である。 試合状況を示すテロップの一例を示す図である。
以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。本実施形態では、野球映像メタ情報作成装置を、映像配信システムに適用した例について説明する。
<第1実施形態>
図1に示すように、第1実施形態に係る映像配信システム10は、野球映像メタ情報作成装置20と、配信装置30とを含む。野球映像メタ情報作成装置20と、配信装置30とは、ネットワークを介して接続されている。映像配信システム10では、野球映像メタ情報作成装置20により作成されたメタ情報が付加された映像を、配信装置30により、ネットワークを介して、所定の端末に配信する。野球映像メタ情報作成装置20は、第1検出部22と、第2検出部24と、第3検出部26と、作成部28とを含む。また、配信装置30は、編集部32と、配信部34とを含む。
まず、配信装置30の各部について詳述する。
編集部32は、野球の試合を撮影した映像(以下、「撮影映像」という)を取得する。撮影映像は、例えば30fpsや60fps等のフレームレートで撮影された映像であり、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表される時刻情報が対応付けられている。
編集部32は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。編集内容としては、例えば図2に示すように、撮影映像の所定の場面に対応する各フレームに対して、選手情報を示すテロップ80、及び試合状況を示すテロップ82を付加することを含む。以下では、撮影映像に対して編集部32による編集が行われた映像を「編集済み映像」という。編集部32は、編集済み映像を、野球映像メタ情報作成装置20へ送信する。
配信部34は、野球映像メタ情報作成装置20により作成されたメタ情報が付加された映像(以下、「メタ情報付き映像」という。詳細は後述)を取得する。配信部34は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末(図示省略)に配信する。
次に、野球映像メタ情報作成装置20の各部について詳述する。
第1検出部22は、配信装置30から送信された編集済み映像を取得する。第1検出部22は、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影されたカット(以下、「特定カット」という)を示すフレームを抽出する。なお、カットとは、同一のカメラアングルで撮影されたひと続きの部分である。本実施形態では、図3に示すように、投手の背後から打者方向を撮影したカットを、特定カットとする場合について説明する。
具体的には、第1検出部22は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、第1検出部22は、予め用意された特定カットを示すフレームから抽出された基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。第1検出部22は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、特定カットを示すフレームとして抽出する。
なお、第1検出部22は、画像特徴として、画像の構成(構図)を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。このような画像特徴を抽出する場合は、各フレームの全体から抽出してもよいし、各フレームの一部(例えば、撮影映像に含まれる球場のフェンスや壁面部分)の特徴を抽出してもよい。実際の撮影映像では、同じ特定カットであっても、カメラアングルの若干の相違、選手の立ち位置の相違、背景の看板の変化等、画像の構成に多少の相違が生じている場合がある。フレーム全体から画像特徴を抽出した場合には、このような画像の構成に生じる多少の相違の影響を抑制した画像特徴を抽出することができる。例えば、一方、フレームの一部から画像特徴を抽出する場合には、画像の構成に多少の相違が生じている領域、例えば背景の看板を示す領域を除外した領域から画像特徴を抽出する。このように抽出された画像特徴を用いることで、類否判定の精度を向上させることができる。
また、球場毎に異なる背景や選手が着用するユニホームの色の違い、放送局毎に異なるテロップのフォーマット等を考慮して、複数種類の基準画像特徴を用意しておいてもよい。この場合、第1検出部22は、編集済み映像と共に、球場、チーム、放送局等の情報を取得し、取得した情報に応じた基準画像特徴量を選択して用いるようにするとよい。また、カメラアングルの相違について、投手や打者の利き手に応じて、カメラアングルや画像の特徴に相違が発生することが考えられる。そのため、投手や打者の利き手別の基準画像特徴量(例えば、投手:左投げ且つ打者:左打ち、投手:左投げ且つ打者:右打ち、投手:右投げ且つ打者:左打ち、投手:右投げ且つ打者:右打ち、の4パターンなど)を用意することとしてもよい。そして、用意した基準画像特徴量のいずれかに合致する場合に、特定カットを示すフレームとして抽出することとしてもよい。
また、第1検出部22は、画像特徴として、投手の投球フォームなど、特定カットにおいて映像内の選手に特徴的に表れる動きを示す特徴を抽出してもよい。例えば、特徴点の動きベクトルを画像特徴として抽出することができる。この場合、球場、チーム、テロップのフォーマット等が異なる場合でも、それらの影響を抑制した画像特徴を抽出することができる。
また、第1検出部22は、抽出した特定カットを示すフレームに基づいて、特定カットを示すフレーム以外のフレームから特定カットを示すフレームへ切り替わったフレームを、1球の始まりを示すフレームとして検出する。例えば、図4に示すように、フレーム84が特定カットを示すフレーム以外のフレーム、フレーム84の次のフレーム86が特定カットを示すフレームであったとする。この場合、第1検出部22は、フレーム86を1球の始まりを示すフレームとして検出する。
また、第1検出部22は、特定カットを示すフレームから特定カットを示すフレーム以外のフレームへ切り替わったフレームを、1球の終わりを示すフレームとして検出する。例えば、図5に示すように、フレーム88が特定カットを示すフレーム、フレーム88の次のフレーム90が特定カットを示すフレーム以外のフレームであったとする。この場合、第1検出部22は、フレーム88を1球の終わりを示すフレームとして検出する。すなわち、第1検出部22は、1球の始まりを示すフレームから1球の終わりを示すフレームまでの特定カットを示すフレームが連続する区間を、投手による投球1球分を示す区間として検出する。
第2検出部24は、第1検出部22により検出された区間毎に、区間内のボールカウント表示が初期状態か否かを判定する。具体的には、第2検出部24は、各区間内の少なくとも1つのフレームに含まれる試合状況を示すテロップ82から、ボールカウントを示すボールカウント表示を抽出する。なお、ボールカウントとは、投手の投球に対するボールかストライクかの判定結果である。第2検出部24は、区間内のフレームに付加された試合状況を示すテロップ82から、例えば図6に示すようなボールカウント表示92を抽出する。ボールカウント表示92の抽出は、例えばフレーム内で試合状況を示すテロップが表示される領域として予め定めた領域を抽出したり、パターンマッチングにより抽出したりすることができる。また、文字認識処理により抽出してもよい。図6の例では、ボールカウント表示として、「B●○○ S○○」が抽出される。(ボールが1球、ストライクが0球)が抽出される。
また、編集済み映像の編集者や放送局毎に、テロップの形式が異なることを考慮し、編集済み映像の編集者や放送局毎に、抽出すべきテロップの形式は適宜変更することとしてもよい。また、複数の編集済み映像の編集者や複数の放送局それぞれに対応した複数のテロップの形式それぞれを特定するための情報を、予め記憶部46等が記憶し、第2検出部24が、編集済み映像の編集者や放送局毎に適宜利用することとしてもよい。
また、第2検出部24は、区間毎に抽出したボールカウント表示が、初期状態、すなわち0ボール−0ストライクのボールカウント(以下、「0−0」と表記する。他のボールカウントについても同様)を表すものか否かを判定する。この判定は、パターンマッチングや文字認識処理により行うことができる。第2検出部24は、ボールカウント表示が初期状態を示す場合には、その区間を1打席の始まりを示す区間として検出する。すなわち、1打席の始まりを示す区間から次の1打席の始まりを示す区間の前の区間までが、1打席を示す区間となる。
第3検出部26は、第2検出部24により検出された1打席の始まりを示す区間に対応するフレームに含まれる選手情報を示すテロップ80に基づいて、選手の識別情報を検出する。選手情報を示すテロップ80は、図7に示すように、選手名や背番号などの選手の識別情報表示94を含む。ここでは、1打席の始まりを示す区間に対応するフレームを、前の1打席を示す区間の終わりから、対象の1打席を示す区間の終わりまでに含まれるフレームとする。これにより、その打席での1球目の前に選手情報を示すテロップ80が表示された場合も含め、1打席に対応した選手の識別情報を精度良く検出することができる。
具体的には、第3検出部26は、対応するフレームの全体または一部に対して文字認識処理を行って、文字情報を抽出する。フレームの一部に対して文字認識処理を行う場合には、フレーム内で選手情報を示すテロップ80が表示される領域として予め定めた領域に対して行えばよい。フレームの全体から文字情報を抽出した場合には、背景の看板等の文字情報も抽出される場合がある。また、選手情報を示すテロップ80の領域から文字情報を抽出した場合でも、誤認識が生じている場合もある。そこで、第3検出部26は、打者リスト30と、抽出した文字情報とを照合して、選手の識別情報を検出する。
打者リスト30は、その試合に出場している打者のリストであり、例えば図8に示すように、選手の背番号及び名前を打順で登録したものとすることができる。打者リスト30は、野球映像メタ情報作成装置20の所定の記憶領域に記憶しておいてもよいし、外部装置に記憶しておいてもよい。また、打者リスト30は、試合状況に応じて更新してもよい。更新するための情報は、試合情報を公開する野球関連のウェブサイトから取得したり、野球情報を提供するサービス業者等から取得したりすることができる。また、例えば図9に示すように、打者リスト30に代走及び代打の情報を含めてもよい。図9の例は、選手「B」に代走の選手として「Z」が起用されたことを表している。
第3検出部26は、抽出した文字情報が、打者リスト30に登録された選手の識別情報と一致する場合に、その一致した選手の識別情報を検出する。このように打者リスト30を利用することにより、投手や代走の選手についての選手情報を示すテロップ80から文字情報が抽出された場合でも、打者の識別情報として誤検出することを防止することができる。
作成部28は、第1検出部22により検出されたフレームに基づいて、投手による投球1球毎の始まりを示すメタ情報及び1球毎の終わりを示すメタ情報を作成する。具体的には、作成部28は、第1検出部22により検出された1球の始まりを示すフレームに対応付けられた時刻情報に、1球の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部28は、第1検出部22により検出された1球の終わりを示すフレームに対応付けられた時刻情報に、1球の終わりを示す情報を対応付けたメタ情報を作成する。なお、作成部28は、メタ情報をフレームに対応付けることとしてもよい。
また、作成部28は、第2検出部24により検出された区間に基づいて、1打席毎の始まりを示すメタ情報及び1打席毎の終わりを示すメタ情報を作成する。具体的には、作成部28は、第2検出部24により検出された区間内の先頭フレームに対応付けられた時刻情報に、1打席の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部28は、第2検出部24により検出され区間の前の区間内の最終フレームに対応付けられた時刻情報に、1打席の終わりを示す情報を対応付けたメタ情報を作成する。
また、作成部28は、1打席を示す区間に、その1打席を示す区間に対応して第3検出部26により検出された選手の識別情報を対応付けたメタ情報を作成する。
また、作成部28は、作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。メタ情報ファイルは、例えばcsv(Comma-Separated Values)形式のファイルとして作成することができる。図10に、メタ情報ファイルの一例を示す。図10の例では、各行が1つのメタ情報を示し、各メタ情報は、時刻情報96、1球の始まりまたは終わりを示す情報(記号98)、1打席の始まりまたは終わりを示す情報(記号100)、及び選手の識別情報102を含む。
なお、ここでは、フレームに対応付けられた時刻情報を用いたメタ情報を作成する場合について説明したが、フレーム番号等の各フレームを識別するための他の情報を用いて、メタ情報を作成してもよい。
作成部28は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置30へ送信する。
野球映像メタ情報作成装置20は、例えば図11に示すコンピュータ40で実現することができる。コンピュータ40はCPU42、メモリ44、不揮発性の記憶部46、入出力インターフェース(I/F)47、及びネットワークI/F48を備えている。CPU42、メモリ44、記憶部46、入出力I/F47、及びネットワークI/F48は、バス49を介して互いに接続されている。
記憶部46はHDD(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部46には、コンピュータ40を野球映像メタ情報作成装置20として機能させるための野球映像メタ情報作成プログラム50が記憶されている。CPU42は、野球映像メタ情報作成プログラム50を記憶部46から読み出してメモリ44に展開し、野球映像メタ情報作成プログラム50が有するプロセスを順次実行する。
野球映像メタ情報作成プログラム50は、第1検出プロセス52と、第2検出プロセス54と、第3検出プロセス56と、作成プロセス58とを有する。CPU42は、第1検出プロセス52を実行することで、図1に示す第1検出部22として動作する。また、CPU42は、第2検出プロセス54を実行することで、図1に示す第2検出部24として動作する。また、CPU42は、第3検出プロセス56を実行することで、図1に示す第3検出部26として動作する。また、CPU42は、作成プロセス58を実行することで、図1に示す作成部28として動作する。これにより、野球映像メタ情報作成プログラム50を実行したコンピュータ40が、野球映像メタ情報作成装置20として機能することになる。
また、配信装置30は、例えば図12に示すコンピュータ60で実現することができる。コンピュータ60はCPU62、メモリ64、不揮発性の記憶部66、入出力I/F67、及びネットワークI/F68を備えている。CPU62、メモリ64、記憶部66、入出力I/F67、及びネットワークI/F68は、バス69を介して互いに接続されている。また、コンピュータ60には、入出力I/F67を介して、図示しない表示装置及び入力装置が接続されている。
また、配信装置30と野球映像メタ情報作成装置20とは、配信装置30のネットワークI/F68、ネットワーク、及び野球映像メタ情報作成装置20のネットワークI/F48を介して接続されている。
記憶部66はHDDやフラッシュメモリ等によって実現できる。記憶媒体としての記憶部66には、コンピュータ60を配信装置30として機能させるための配信プログラム70が記憶されている。CPU62は、配信プログラム70を記憶部66から読み出してメモリ64に展開し、配信プログラム70が有するプロセスを順次実行する。
配信プログラム70は、編集プロセス72と、配信プロセス74とを有する。CPU62は、編集プロセス72を実行することで、図1に示す編集部32として動作する。また、CPU62は、配信プロセス74を実行することで、図1に示す配信部34として動作する。これにより、配信プログラム70を実行したコンピュータ60が、配信装置30として機能することになる。
なお、野球映像メタ情報作成装置20及び配信装置30の各々は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、第1実施形態に係る映像配信システム10の作用について説明する。撮影映像が配信装置30に入力されると、配信装置30が、図13に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が野球映像メタ情報作成装置20に入力されると、野球映像メタ情報作成装置20が、図14に示す野球映像メタ情報作成処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置30に入力されると、配信装置30が、図15に示す配信処理を実行し、配信用映像を出力する。以下、各処理いついて詳述する。
まず、図13に示す編集処理のステップS10で、編集部32が、撮影映像を取得する。次に、ステップS12で、編集部32が、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。次に、ステップS14で、編集部32が、編集済み映像を、野球映像メタ情報作成装置20へ送信して、編集処理は終了する。
次に、図14に示す野球映像メタ情報作成処理のステップS20で、第1検出部22が、配信装置30から送信された編集済み映像を取得する。
次に、ステップS22で、第1検出部22が、編集済み映像に含まれる複数のフレームの各々から、特定カットを示すフレームを抽出する。具体的には、第1検出部22が、編集済み映像に含まれる複数のフレームの各々から抽出画像特徴を抽出する。そして、第1検出部22は、予め用意された基準画像特徴と抽出画像特徴との類似度を求め、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、特定カットを示すフレームとして抽出する。
次に、ステップS24で、第1検出部22が、抽出した特定カットを示すフレームに基づいて、特定カットを示すフレーム以外のフレームから特定カットを示すフレームへ切り替わったフレームを、1球の始まりを示すフレームとして検出する。同様に、第1検出部22は、特定カットを示すフレームから特定カットを示すフレーム以外のフレームへ切り替ったフレームを、1球の終わりを示すフレームとして検出する。すなわち、第1検出部22は、1球の始まりを示すフレームから1球の終わりを示すフレームまでの特定カットを示すフレームが連続する区間を、投手による投球1球分を示す区間として検出する。
次に、ステップS26で、第2検出部24が、第1検出部22により検出された各区間内の少なくとも1つのフレームに含まれる試合状況を示すテロップ82から、ボールカウントを示すボールカウント表示を抽出する。そして、第2検出部24は、ボールカウント表示が初期状態(0−0)を示す区間を、1打席の始まりを示す区間として検出する。
次に、ステップS28で、第3検出部26が、第2検出部24により検出された1打席の始まりを示す区間に対応するフレームの全体または一部に対して文字認識処理を行って、文字情報を抽出する。ここでは、1打席の始まりを示す区間に対応するフレームを、前の1打席を示す区間の終わりから、対象の1打席を示す区間の終わりまでに含まれるフレームとする。そして、第3検出部26は、抽出した文字情報が、打者リスト30に登録された選手の識別情報と一致する場合に、その一致した選手の識別情報を検出する。
図16に、1球の始まりを示すフレーム、1球の終わりを示すフレーム、1打席の始まりを示す区間、及び1打席に対応する選手の識別情報が検出された一例を概略的に示す。図16の例では、フレーム110から始まる区間が1打席の始まりを示す区間として検出されている。従って、フレーム106から始まる区間が1打席の終わりを示す区間となる。そして、フレーム106までに含まれるフレーム104から、フレーム106から始まる区間で終わる打席に対応する選手名として「○田○男」が検出されている。また、フレーム106の次以降のフレーム108から、フレーム110から始まる区間から始まる打席に対応する選手名として「△川△夫」が検出されている。
次に、ステップS30で、作成部28が、第1検出部22により検出された1球の始まりを示すフレームに対応付けられた時刻情報に、1球の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部28は、第1検出部22により検出された1球の終わりを示すフレームに対応付けられた時刻情報に、1球の終わりを示す情報を対応付けたメタ情報を作成する。
次に、ステップS32で、作成部28が、第2検出部24により検出された区間内の先頭フレームに対応付けられた時刻情報に、1打席の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部28は、第2検出部24により検出され区間の前の区間内の最終フレームに対応付けられた時刻情報に、1打席の終わりを示す情報を対応付けたメタ情報を作成する。
次に、ステップS34で、作成部28が、1打席を示す区間に、その1打席を示す区間に対応して第3検出部26により検出された選手の識別情報を対応付けたメタ情報を作成する。
次に、ステップS36で、作成部28が、上記ステップS30〜S34で作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。そして、作成部28は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置30へ送信し、野球映像メタ情報作成処理は終了する。
次に、図15に示す配信処理のステップS40で、配信部34が、野球映像メタ情報作成装置20から送信されたメタ情報付き映像を取得する。次に、ステップS42で、配信部34が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末(図示省略)に配信し、配信処理は終了する。
以上説明したように、第1実施形態に係る野球映像メタ情報作成装置20によれば、野球の試合を撮影した映像から、投手の背後から打者方向を撮影した特定カットを示すフレームを抽出する。そして、この特定カットを示すフレームが連続する区間を投手による投球1球分の区間とし、区間内から得られるボールカウント表示が初期状態となる区間を、1打席の始まりを示す区間として検出する。そして、1打席の始まりを示す区間に対応するフレームから検出された選手の識別情報を、対応する1打席を示す区間に対応付けたメタ情報を作成する。従って、野球の試合を撮影した映像から、1打席毎の映像を選手の識別情報と対応付けて頭出し可能なメタ情報を自動的に作成することができる。
また、本発明によるメタ情報が付加された映像では、野球の試合映像(撮影映像、または編集済み映像)から、メタ情報に基づく1球単位及び1打席単位の頭出し、並びに選手の識別が可能であり、例えば、投手の投球時の映像、打者の打席の映像、指定した選手の打席の映像、リプレイなどを、容易に特定し、視聴することができる。
なお、第1実施形態では、打者リストを利用して選手の識別情報を検出する場合について説明したが、これに限定されない。例えば、選手情報を示すテロップ80に、そのテロップに表示された選手が、打者、投手、代走等のいずれであるかを示す表示がある場合には、この表示と共に文字認識してもよい。この場合、打者リスト30を利用しなくても、投手や代走の選手の識別情報を誤検出することを防止することができる。
また、選手情報を示すテロップ80が打者に対して表示される場合と、投手や代走に対して表示される場合とでは、画面の構成(構図)が相違する。この画面の構成の相違に基づいて、打者に対して表示された選手情報を示すテロップ80を選択し、選手の識別情報を検出するようにしてもよい。
<第2実施形態>
次に、第2実施形態について説明する。なお、第1実施形態に係る映像配信システム10と同様の部分については、同一符号を付して、詳細な説明を省略する。
図1に示すように、第2実施形態に係る映像配信システム210は、野球映像メタ情報作成装置220と、配信装置30とを含む。野球映像メタ情報作成装置220は、第1検出部22と、第2検出部24と、第3検出部226と、作成部28とを含む。
第3検出部226は、第1実施形態の第3検出部26と同様に、第2検出部24により検出された1打席の始まりを示す区間に対応するフレームに含まれる選手情報を示すテロップ80に基づいて、選手の識別情報を検出する。
ここで、選手情報を示すテロップ80が表示される前に打者が打撃を行って打席が終了した場合などのように、1打席の始まりを示す区間に対応するフレームから、その打席に対応する選手の識別情報を検出できない場合がある。
そこで、第3検出部226は、打順の情報を含む打者リスト30を利用して、検出できなかった選手の識別情報を推定する。具体的には、第3検出部226は、打者リスト30に含まれる打順の情報と、選手の識別情報を推定したい打席の前及び次の打席に対応して検出された選手の識別情報の少なくとも一方とに基づいて、推定したい打席における選手の識別情報を推定する。
例えば、図17に示すように、連続する打席1、打席2、打席3において、打席1に対応する選手名「A」が検出され、打席3に対応する選手名「C」が検出され、打席2に対応する選手名が検出されなかったとする。この場合、第3検出部226は、例えば図8に示すような打者リスト30を参照して、打順が「A」と「C」との間である「B」を、打席2に対応する選手名として推定する。
第2実施形態に係る映像配信システム210の作用は、図14に示す第1実施形態における野球映像メタ情報作成処理のステップS28で、打者リスト30を利用した選手の識別情報の推定処理が加わるだけであるため、説明を省略する。
以上説明したように、第2実施形態に係る野球映像メタ情報作成装置220によれば、打席に対応した選手の識別情報をフレームから検出できなかった場合に、打者リストに含まれる打順の情報と、前後の打席の選手の識別情報とを照合して推定する。そのため選手の識別情報の検出漏れを低減することができる。
なお、上記各実施形態では、各フレームの画像特徴に基づいて特定カットを示すフレームを検出する場合について説明したが、これに限定されない。例えば、特定カットを示すフレームに、特定カットを判別するための判別情報が予め付加されている編集済み映像が入力された場合には、この判別情報を用いて、特定カットを示すフレームを検出することができる。判別情報は、例えば図18に示すようなマーク112として、編集済み映像に付加しておくことができる。
なお、判別情報は、撮影映像を撮影する際に付加されてもよいし、撮影映像を編集する際に付加されてもよい。例えば、投手の背後から打者方向を撮影するカメラにスイッチを設けておき、スイッチを押下している間は、そのカメラで撮影される撮影映像に判別情報が付加されるようにすることができる。また、投手の背後から打者方向を撮影するカメラで撮影される撮影映像には、常に判別情報が付加されるようにしてもよい。また、撮影映像にテロップ等を付加する編集の際に、判別情報となるマーク112を付加してもよい。
具体的には、第1検出部22が、編集済み映像のフレーム毎に、判別情報が付加されているか否かを判別する。例えば、第1検出部22は、各フレームの予め定めた領域に対して、判別情報を示すパターンを用いたパターンマッチングを行って、判別情報が付加されているか否かを判別することができる。第1検出部22は、判別情報が付加されていると判別したフレームを、特定カットを示すフレームとして抽出する。
このように、特定カットを示すフレームに判別情報が付加された映像を取得することができる場合には、簡易な処理により、特定カットを示すフレームを検出することができる。
なお、上述のように、撮影や編集の際に判別情報を付加する場合には、特定カットを示すフレーム以外のフレームと特定カットを示すフレームとの厳密な切り替わり箇所に判別情報を付加することができない場合がある。そこで、第1検出部22は、判別情報に基づいて抽出した特定カットを示すフレームの数フレーム分前または後のフレームを、1球の始まりまたは終わりを示すフレームとして検出してもよい。また、上記各実施形態においても、抽出した特定カットを示すフレームの数フレーム分前または後のフレームを、1球の始まりまたは終わりを示すフレームとして検出してもよい。
また、上記各実施形態では、特定カットを示すフレームが連続する区間を、1球を示す区間として検出する場合について説明したが、撮影映像には、1つの特定カットの中に複数の投球場面が含まれていることが考えられる。例えば図19に示すように、1球目の映像はフレーム114で終わり、次のフレーム116からは2球目の映像であるとする。フレーム114及びフレーム116はいずれも特定カットを示すフレームであるため、両フレーム間で1球の始まり及び終わりの間に特定カットと異なるカットの映像が含まれない。図19のような態様は、例えば、撮影映像において、投手の複数回分(例えば2球分)の投球動作が、特定カットを撮影するカメラ以外のカメラで撮影された映像を含まずに撮影されている場合に生じうる。
そこで、第1検出部22は、特定カットを示すフレームの各々に含まれる試合状況を示すテロップ82からボールカウント表示を抽出する。そして、特定カットを示すフレームが連続している間で、ボールカウント表示が変化したフレームを、1球の始まりに対応するフレームとして検出してもよい。そして、作成部28は、第1検出部22によりボールカウント表示の変化に基づいて検出された1球の始まりに対応するフレームの所定フレーム分前または後のフレームを、1球の始まりを示すフレームとすることとしてもよい。所定フレーム分前または後は、過去の試合映像などに基づいて、1球の始まりからボールカウント表示が変化するまでの時間、またはボールカウント表示が変化してから次の投球を投手が開始するまでの時間に対応したフレーム数を予め定めておけばよい。
この場合、同一の特定カットの中に複数の投球場面が含まれている場合でも、それぞれの1球の始まりを示すメタ情報を作成することができる。
また、第1検出部22は、特定カットを示すフレームが連続している間で、連続する複数の特定カットを示すフレームの所定領域から、投手による所定方向への投球を示す球の軌跡が現れたフレームを、1球の始まりに対応するフレームとして検出してもよい。例えば図20に示すように、投手と打者との間に所定領域118を設定する。第1検出部22は、例えば図21に示すように、連続する特定カットを示すフレーム間の対応する画素同士の差分で表される差分画像を生成する。図21では、手前の差分画像ほど、元になったフレームの時刻情報が新しいことを表している。また、図21では、フレーム全体の差分画像を示しているが、所定領域118のみの差分画像を生成してもよい。
また、第1検出部22は、例えば、連続する数枚の差分画像を重ね合わせることにより、球の軌跡が現れた場合には、その軌跡の方向が所定方向か否かを判定する。図22に、差分画像を5枚重ね合わせた例を示す。図22中の白丸の各々は、各差分画像に現れた球に対応する差分領域であり、差分画像の重ね合わせにより、破線の矢印で示す球の軌跡が現れた例を示している。
所定方向は、例えば、投手が投球をした際に投げた球が向かっていく編集済み映像(撮影映像でも良い)上の方向である。所定方向は、予め定めておくこととしてもよいし、打者や捕手、球審等の人物の撮影画像中の位置を特定し、特定した人物の位置によって定めることとしてもよい。また、所定方向は、球の軌跡が示す方向が、打者への投球か牽制球かを区別可能な方向を予め定めておくこととしてもよい。例えば、図23に示すように、特定カットを示すフレームにおいて、矢印120は打者への投球方向を示し、矢印122及び矢印124は牽制球の方向を示す。従って、図23の例では、矢印120の方向を所定方向として定めておけばよい。なお、球の軌跡を検出する領域を牽制球も検出可能な領域として設定しておき、検出された球の軌跡が打者への投球を示す軌跡か、牽制球を示す軌跡(図23の矢印122または矢印124の方向の軌跡)かも合わせて判定するようにしてもよい。これにより、編集済み映像(撮影映像でもよい)において、打者への投球か牽制球かを区別可能となる。
作成部28は、第1検出部22により球の軌跡に基づいて検出された1球の始まりに対応するフレームの所定フレーム分前のフレームを、1球の始まりを示すフレームとするメタ情報を作成する。所定フレーム分前は、過去の試合映像などに基づいて、1球の始まりから実際の投球が行われるまでの時間に対応したフレーム数を予め定めておけばよい。
この場合も、同一の特定カットの中に複数の投球場面が含まれている場合でも、それぞれの1球の始まりを示すメタ情報を作成することができる。さらに、ボールカウント表示の変化に基づく1球の始まりを示すメタ情報の作成に加えて、球の軌跡に基づくメタ情報の作成を実行するようにしてもよい。この場合、例えば、ツーストライク後に打者がファールを打った場合のように、ボールカウント表示は変化しない場合でも、精度良く1球の始まりを検出することができる。
また、上記各実施形態では、ボールカウントが初期状態(0−0)となる区間を、1打席の始まりを示す区間として検出する場合について説明したが、この場合、打者の変更がない場面でも、1打席の始まりを示す区間として検出されうる。そこで、第2検出部24は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合であっても、打者の変更を伴わない場合には、1打席の始まりを示す区間として検出しないようにしてもよい。
具体的には、第2検出部24は、連続する前の区間と後の区間とで、各区間のランナーの数、アウトカウント、及び得点の合計が1増加した場合には、後の区間も1打席の始まりを示す区間として検出する。一方、合計に変化がない場合には、第2検出部24は、後の区間を1打席の始まりを示す区間として検出しない。これは、ランナーの数、アウトカウント、及び得点の合計が1増加するということは、打者が変更したことを表し、合計が変化しない場合には、打者が変更していないことを表すこととなるためである。一例として、1球前の状況が、ランナー数が1、アウトカウントが0、得点が0であった場合に、今回の投球に対する結果の場合分けによる打者の変更の有無を、図24に示す。図24に示す、ヒット、タイムリーヒット、ホームラン、アウト、ダブルプレー、犠牲フライスクイズ、犠打(進塁のみ)は、いずれも、野球の試合において、打者が変更となる事象である。一方、牽制、暴投等は、野球の試合において、打者が変更とならない事象である。第2検出部224は、図24に示す情報を記憶部46等に保持し、打者の変更の有無を判定することとしてもよい。
なお、図24は、投球に対する結果の場合分けによる打者の変更の有無を判定する情報の一例であり、図24の態様に限定されない。例えば、図24では、説明のため、1球前の状況を明記しているが、第2検出部24は、ランナー数、アウトカウント、特定、合計、及び打者の変更の有無を示す情報によって、打者の変更の有無を判定できる。また、図24はランナー数が1の場合の例を示しているが、ランナー数が1以外の場合でも、第2検出部24は、上述した処理と同様の手順で、打者の変更の有無を判定できる。あるいは、打者の変更の有無の判定を、例えば、ストライクが2球カウントされている状況で実行することにより、第2検出部24は、ファウルボール等の判定を行なうこともできる。
第2検出部24は、図25に示すように、試合状況を示すテロップ82から、出塁状況を示す出塁表示126、アウトカウントを示すアウトカウント表示128、及びチーム毎の得点を示す得点表示130を抽出する。そして、第2検出部24は、抽出した出塁表示126が示すランナーの数、アウトカウント表示128が示すアウトカウント、及び得点表示130が示す攻撃中のチームの得点を取得する。これらの情報は、抽出した各表示に対して、パターンマッチングや文字認識処理等を行って取得することができる。また、攻撃中のチームは、試合状況を示すテロップ82の現在のイニングを示すイニング表示132から得られる情報に基づいて判定することができる。
これにより、ボールカウントが0−0の場合でも、試合状況を示す表示の変化に基づいて、打者の変更を伴わないと判断される場合には、1打席の始まりを示す区間として検出しないようにすることができ、より精度良く1打席の始まりを検出することができる。
なお、上記では、ランナーの数、アウトカウント、及び得点の合計の変化に基づいて、打者の変更の有無を判断する場合について説明したが、これに限定されない。ランナーの数、アウトカウント、及び得点のパターンが、前の区間からどのように変化したかを、予め定めたパターンと比較することにより判断してもよい。例えば、ランナーの数が1減少し、アウトカウントが1増加し、得点は変化しないというパターンを、打者の変更がないことを示すパターンとして定めておく。そして、ランナーの数、アウトカウント、及び得点の前の区間からの変化が、この定めたパターンに該当する場合には、後の区間は1打席の始まりを示す区間として検出しないようにすることができる。
また、1打席の始まりの検出のみならず、イニングの始まりを検出することとしてもよい。例えば、第2検出部24が、ボールカウント、ランナーの数、及びアウトカウントを取得する。そして、ボールカウント(0−0)かつ、アウトカウント及びランナーの数が0に切り替わるフレームまたは打席を、第2検出部24が、イニングの始まりとして検出することとしてもよい。これにより、1打席の始まりの検出のみならず、イニングの始まりも検出することができる。あるいは、第2検出部24が、テロップ82の現在のイニングを示すイニング表示132から得られる情報に基づいて、イニングが変更されたことを検知した際に、変更が検知されたフレームまたは打席をイニングの始まりとして検出することとしてもよい。
また、上記各実施形態では、投手の背後から打者方向を撮影したカットを、特定カットとする場合について説明したが、特定カットはこれに限定されない。例えば、球審の頭部に備え付けられたカメラから撮影されたカット(球審から投手方向を撮影したカット)など、投手の投球場面に使用される特徴的なカメラアングルで撮影されたカットであればよい。
また、上記各実施形態では、特定カットに基づいて、1球の始まりを示すフレーム及び1球の終わりを示すフレームの各々を検出する場合について説明したが、これに限定されない。例えば、1球の終わりを示すフレームを、次の1球を示すフレームの所定フレーム分前のフレームとして検出してもよい。
また、野球映像メタ情報作成装置に入力される映像に、リプレイやダイジェストが含まれている場合には、これらを除外した部分から1球の始まりを示すフレームを検出するようにするとよい。例えば、リプレイとは、イニング中の比較的短い時間で、直前のプレイや前打席の映像等を再生するものであり、ダイジェスト映像は、イニング間などの比較的長い時間で、そこまでの試合状況を振り返るような映像を再生するものである。リプレイやダイジェストの映像部分は、例えば、リプレイやダイジェストであることを示すテロップ等を認識することにより除外することができる。
また、リプレイの映像の場合、異なるカメラアングルで撮影された映像や、一部をズームした映像を再生する場合がある。このような場合には、リプレイの映像が特定カットとして抽出されないため、1球の始まりを示すフレームの検出に影響しない。また、リプレイの映像としてスローモーション映像が使用される場合もある。このような場合を考慮して、特定カットを示すフレームとして抽出されたフレームから、スローモーション映像のフレームを除外するようにしてもよい。スローモーション映像は、例えば同一フレームが所定数連続するか否かを判定するなどのスローモーション判定を行うことにより除外することができる。
また、上記各実施形態では、配信装置と野球映像メタ情報作成装置とを含む映像配信システムを例に説明したが、これに限定されない。配信装置の各機能部と野球映像メタ情報作成装置の各機能部とを、1つのコンピュータで実現するようにしてもよい。
また、野球映像メタ情報作成装置からの出力を、映像配信システム以外の用途で利用してもよい。
また、上記では、野球映像メタ情報作成プログラム50が記憶部46に、配信プログラム70が記憶部66に予め記憶(インストール)されている態様を説明したが、CD−ROMやDVD−ROM等の記憶媒体に記録された形態で提供することも可能である。
以上の上記各実施形態に関し、更に以下の付記を開示する。
(付記1)
野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出する第1検出部と、
前記第1検出部により検出された区間から、該区間内の少なくとも1つのフレームに含まれるボールカウント表示が初期状態を示す区間を、1打席の始まりを示す区間として検出する第2検出部と、
前記第2検出部により検出された1打席の始まりを示す区間に対応するフレームに含まれる選手情報表示に基づいて、選手の識別情報を検出する第3検出部と、
前記1打席の始まりを示す区間から次の1打席の始まりを示す区間の前の区間までを、前記第3検出部により検出された識別情報が示す選手の1打席とするメタ情報を作成する作成部と、
を含む野球映像メタ情報作成装置。
(付記2)
前記第3検出部は、前記1打席の始まりを示す区間に対応するフレームを、前記1打席の始まりを示す区間の前の区間の終わりから、次の1打席の始まりを示す区間の前の区間の終わりまでに含まれるフレームとする付記1記載の野球映像メタ情報作成装置。
(付記3)
前記第3検出部は、前記野球の試合に出場する打者のリストと、前記選手情報表示とを照合して、前記選手の識別情報を検出する付記1または付記2記載の野球映像メタ情報作成装置。
(付記4)
前記打者のリストは打順の情報を含み、
前記第3検出部は、前記1打席の始まりを示す区間に対応するフレームに前記選手情報表示が含まれなかった場合に、前記打者のリストに含まれる打順の情報と、前の1打席の始まりを示す区間に対応して検出された選手の識別情報、及び次の1打席の始まりを示す区間に対応して検出された選手の識別情報の少なくとも一方とに基づいて、対象の選手の識別情報を推定する
付記3記載の野球映像メタ情報作成装置。
(付記5)
コンピュータに、
野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
検出された区間から、該区間内の少なくとも1つのフレームに含まれるボールカウント表示が初期状態を示す区間を、1打席の始まりを示す区間として検出し、
前記1打席の始まりを示す区間に対応するフレームに含まれる選手情報表示に基づいて、選手の識別情報を検出し、
前記1打席の始まりを示す区間から次の1打席の始まりを示す区間の前の区間までを、検出された識別情報が示す選手の1打席とするメタ情報を作成する
ことを含む処理を実行させる野球映像メタ情報作成方法。
(付記6)
前記1打席の始まりを示す区間に対応するフレームを、前記1打席の始まりを示す区間の前の区間の終わりから、次の1打席の始まりを示す区間の前の区間の終わりまでに含まれるフレームとする付記5記載の野球映像メタ情報作成方法。
(付記7)
前記野球の試合に出場する打者のリストと、前記選手情報表示とを照合して、前記選手の識別情報を検出する付記5または付記6記載の野球映像メタ情報作成方法。
(付記8)
前記打者のリストは打順の情報を含み、
前記1打席の始まりを示す区間に対応するフレームに前記選手情報表示が含まれなかった場合に、前記打者のリストに含まれる打順の情報と、前の1打席の始まりを示す区間に対応して検出された選手の識別情報、及び次の1打席の始まりを示す区間に対応して検出された選手の識別情報の少なくとも一方とに基づいて、対象の選手の識別情報を推定する
付記7記載の野球映像メタ情報作成方法。
(付記9)
コンピュータに、
野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
検出された区間から、該区間内の少なくとも1つのフレームに含まれるボールカウント表示が初期状態を示す区間を、1打席の始まりを示す区間として検出し、
前記1打席の始まりを示す区間に対応するフレームに含まれる選手情報表示に基づいて、選手の識別情報を検出し、
前記1打席の始まりを示す区間から次の1打席の始まりを示す区間の前の区間までを、検出された識別情報が示す選手の1打席とするメタ情報を作成する
ことを含む処理を実行させるための野球映像メタ情報作成プログラム。
(付記10)
前記1打席の始まりを示す区間に対応するフレームを、前記1打席の始まりを示す区間の前の区間の終わりから、次の1打席の始まりを示す区間の前の区間の終わりまでに含まれるフレームとする付記9記載の野球映像メタ情報作成プログラム。
(付記11)
前記野球の試合に出場する打者のリストと、前記選手情報表示とを照合して、前記選手の識別情報を検出する付記9または付記10記載の野球映像メタ情報作成プログラム。
(付記12)
前記打者のリストは打順の情報を含み、
前記1打席の始まりを示す区間に対応するフレームに前記選手情報表示が含まれなかった場合に、前記打者のリストに含まれる打順の情報と、前の1打席の始まりを示す区間に対応して検出された選手の識別情報、及び次の1打席の始まりを示す区間に対応して検出された選手の識別情報の少なくとも一方とに基づいて、対象の選手の識別情報を推定する
付記11記載の野球映像メタ情報作成プログラム。
(付記13)
コンピュータに、
複数のフレームを含む野球の試合の撮影映像から抽出された、ある打席に関するフレーム群のうちの1または複数のフレームに選手名の表示が含まれる場合に、表示された該選手名を前記ある打席における打者の名前として特定する処理と、
特定した前記名前を前記ある打席に関するフレーム群に対応する打者名として記憶部に記憶させる処理と、
を実行させることを特徴とする情報処理プログラム。
(付記14)
前記ある打席に関するフレーム群は、ボールカウントの表示が初期状態に対応するフレームを基準として抽出される、
ことを特徴とする付記13記載の情報処理プログラム。
(付記15)
ボールカウントの表示が初期状態に対応するフレームの直前の投球シーンに対応するフレームを、前記フレーム群の先頭フレームとして抽出する、
ことを特徴とする付記13または付記14記載の情報処理プログラム。
(付記16)
コンピュータが、
複数のフレームを含む野球の試合の撮影映像から抽出された、ある打席に関するフレーム群のうちの1または複数のフレームに選手名の表示が含まれる場合に、表示された該選手名を前記ある打席における打者の名前として特定する処理と、
特定した前記名前を前記ある打席に関するフレーム群に対応する打者名として記憶部に記憶させる処理と、
を実行することを特徴とする情報処理方法。
(付記17)
複数のフレームを含む野球の試合の撮影映像から抽出された、ある打席に関するフレーム群のうちの1または複数のフレームに選手名の表示が含まれる場合に、表示された該選手名を前記ある打席における打者の名前として特定する特定部と、
特定した前記名前を前記ある打席に関するフレーム群に対応する打者名として記憶する記憶部と、
を含むことを特徴とする情報処理装置。
10、210 映像配信システム
20、220 野球映像メタ情報作成装置
22 第1検出部
24 第2検出部
26、226 第3検出部
28 作成部
30 打者リスト
30 配信装置
32 編集部
34 配信部
40、60 コンピュータ
42、62 CPU
44、64 メモリ
46、66 記憶部
50 野球映像メタ情報作成プログラム
70 配信プログラム

Claims (10)

  1. コンピュータに、
    複数のフレームを含む野球の試合の撮影映像に含まれる、投球シーンを示すフレームが連続する区間のうち、ボールカウントの表示が初期状態に対応するフレームが含まれる区間から、次にボールカウントの表示が初期状態に対応するフレームが含まれる区間の前の区間をある打席の区間として検出し、前記ある打席の区間に含まれるフレーム群のうちの1または複数のフレームに選手名の表示が含まれる場合に、表示された該選手名を前記ある打席における打者の名前として特定する処理と、
    特定した前記名前を前記ある打席に関するフレーム群に対応する打者名として記憶部に記憶させる処理と、
    を実行させることを特徴とする情報処理プログラム。
  2. 前記ある打席に関するフレーム群は、ボールカウントの表示が初期状態に対応するフレームを基準として抽出される、
    ことを特徴とする請求項1記載の情報処理プログラム。
  3. ボールカウントの表示が初期状態に対応するフレームの直前の投球シーンに対応するフレームを、前記フレーム群の先頭フレームとして抽出する、
    ことを特徴とする請求項1または請求項2記載の情報処理プログラム。
  4. コンピュータが、
    複数のフレームを含む野球の試合の撮影映像に含まれる、投球シーンを示すフレームが連続する区間のうち、ボールカウントの表示が初期状態に対応するフレームが含まれる区間から、次にボールカウントの表示が初期状態に対応するフレームが含まれる区間の前の区間をある打席の区間として検出し、前記ある打席の区間に含まれるフレーム群のうちの1または複数のフレームに選手名の表示が含まれる場合に、表示された該選手名を前記ある打席における打者の名前として特定する処理と、
    特定した前記名前を前記ある打席に関するフレーム群に対応する打者名として記憶部に記憶させる処理と、
    を実行することを特徴とする情報処理方法。
  5. 複数のフレームを含む野球の試合の撮影映像に含まれる、投球シーンを示すフレームが連続する区間のうち、ボールカウントの表示が初期状態に対応するフレームが含まれる区間から、次にボールカウントの表示が初期状態に対応するフレームが含まれる区間の前の区間をある打席の区間として検出し、前記ある打席の区間に含まれるフレーム群のうちの1または複数のフレームに選手名の表示が含まれる場合に、表示された該選手名を前記ある打席における打者の名前として特定する特定部と、
    特定した前記名前を前記ある打席に関するフレーム群に対応する打者名として記憶する記憶部と、
    を含むことを特徴とする情報処理装置。
  6. 野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出する第1検出部と、
    前記第1検出部により検出された区間から、該区間内の少なくとも1つのフレームに含まれるボールカウント表示が初期状態を示す区間を、1打席の始まりを示す区間として検出する第2検出部と、
    前記第2検出部により検出された1打席の始まりを示す区間の前の区間の終わりから、次の1打席の始まりを示す区間の前の区間の終わりまでに含まれるフレームに含まれる選手情報表示に基づいて、選手の識別情報を検出する第3検出部と、
    前記1打席の始まりを示す区間から次の1打席の始まりを示す区間の前の区間までを、前記第3検出部により検出された識別情報が示す選手の1打席とするメタ情報を作成する作成部と、
    を含む野球映像メタ情報作成装置。
  7. 前記第3検出部は、前記野球の試合に出場する打者のリストと、前記選手情報表示とを照合して、前記選手の識別情報を検出する請求項6記載の野球映像メタ情報作成装置。
  8. 前記打者のリストは打順の情報を含み、
    前記第3検出部は、前記1打席の始まりを示す区間に対応するフレームに前記選手情報表示が含まれなかった場合に、前記打者のリストに含まれる打順の情報と、前の1打席の始まりを示す区間に対応して検出された選手の識別情報、及び次の1打席の始まりを示す区間に対応して検出された選手の識別情報の少なくとも一方とに基づいて、対象の選手の識別情報を推定する
    請求項記載の野球映像メタ情報作成装置。
  9. コンピュータに、
    野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
    検出された区間から、該区間内の少なくとも1つのフレームに含まれるボールカウント表示が初期状態を示す区間を、1打席の始まりを示す区間として検出し、
    前記1打席の始まりを示す区間の前の区間の終わりから、次の1打席の始まりを示す区間の前の区間の終わりまでに含まれるフレームに含まれる選手情報表示に基づいて、選手の識別情報を検出し、
    前記1打席の始まりを示す区間から次の1打席の始まりを示す区間の前の区間までを、検出された識別情報が示す選手の1打席とするメタ情報を作成する
    ことを含む処理を実行させる野球映像メタ情報作成方法。
  10. コンピュータに、
    野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
    検出された区間から、該区間内の少なくとも1つのフレームに含まれるボールカウント表示が初期状態を示す区間を、1打席の始まりを示す区間として検出し、
    前記1打席の始まりを示す区間の前の区間の終わりから、次の1打席の始まりを示す区間の前の区間の終わりまでに含まれるフレームに含まれる選手情報表示に基づいて、選手の識別情報を検出し、
    前記1打席の始まりを示す区間から次の1打席の始まりを示す区間の前の区間までを、検出された識別情報が示す選手の1打席とするメタ情報を作成する
    ことを含む処理を実行させるための野球映像メタ情報作成プログラム。
JP2014008172A 2014-01-20 2014-01-20 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム Active JP6260292B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014008172A JP6260292B2 (ja) 2014-01-20 2014-01-20 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
TW103144776A TWI563837B (en) 2014-01-20 2014-12-22 Data processing method and device
US14/580,422 US9681200B2 (en) 2014-01-20 2014-12-23 Data processing method and device
KR1020140191976A KR101696984B1 (ko) 2014-01-20 2014-12-29 정보 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014008172A JP6260292B2 (ja) 2014-01-20 2014-01-20 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015139017A JP2015139017A (ja) 2015-07-30
JP6260292B2 true JP6260292B2 (ja) 2018-01-17

Family

ID=53545958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014008172A Active JP6260292B2 (ja) 2014-01-20 2014-01-20 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US9681200B2 (ja)
JP (1) JP6260292B2 (ja)
KR (1) KR101696984B1 (ja)
TW (1) TWI563837B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6555155B2 (ja) * 2016-02-29 2019-08-07 富士通株式会社 再生制御プログラム、方法、及び情報処理装置
US10575036B2 (en) 2016-03-02 2020-02-25 Google Llc Providing an indication of highlights in a video content item
JP2017187969A (ja) * 2016-04-07 2017-10-12 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP2018170001A (ja) * 2017-03-29 2018-11-01 西日本電信電話株式会社 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム
JP6462974B1 (ja) * 2018-08-20 2019-01-30 富士フイルムイメージングシステムズ株式会社 画像管理システム、画像管理方法、プログラム、及び画像管理装置
GB2579816B (en) * 2018-12-14 2021-11-10 Sony Interactive Entertainment Inc Player identification system and method
JP6854493B2 (ja) * 2019-07-12 2021-04-07 ジャングルX株式会社 情報提供装置、情報提供方法及び情報提供プログラム
KR20220141312A (ko) * 2020-02-13 2022-10-19 에디슨 인코포레이티드 비디오들을 실시간으로 분석하기 위한 시스템 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953056A (en) * 1996-12-20 1999-09-14 Whack & Track, Inc. System and method for enhancing display of a sporting event
JP2002335572A (ja) * 2001-05-09 2002-11-22 Asobous:Kk 移動体映像通信手段を用いた野球の観戦方法
US7143354B2 (en) * 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
JP2003264771A (ja) * 2002-03-06 2003-09-19 Sony Corp 信号記録再生装置、信号記録再生方法、並びに信号記録再生プログラムを記録している媒体
JP4401220B2 (ja) 2004-04-01 2010-01-20 富士通株式会社 ハイライトシーン抽出装置およびハイライトシーン配信システム
JP4276638B2 (ja) * 2005-04-28 2009-06-10 日本電信電話株式会社 映像編集装置、映像編集方法、映像編集プログラム、及びプログラムの記録媒体
JP2007049662A (ja) * 2005-08-10 2007-02-22 Shinzo Ito 端末装置よりインターネット通信網を介して、スポーツの動画像情報の情報取得要求を受け、前記端末装置へ情報取得要求を受けた動画像情報を伝達する方法および装置、および、プレイ動作の結果が判明する結果プレイ終了タイミングを画像認識する方法
JP2007124368A (ja) * 2005-10-28 2007-05-17 Matsushita Electric Ind Co Ltd セグメントメタデータ作成装置およびセグメントメタデータ作成方法
KR100836197B1 (ko) * 2006-12-14 2008-06-09 삼성전자주식회사 동영상 자막 검출 장치 및 그 방법
US9141860B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
WO2011004381A1 (en) * 2009-07-08 2011-01-13 Yogesh Chunilal Rathod An apparatus, system, and method for automated production of rule based near live sports event in the form of a video film for entertainment
US9186548B2 (en) * 2009-07-20 2015-11-17 Disney Enterprises, Inc. Play sequence visualization and analysis

Also Published As

Publication number Publication date
JP2015139017A (ja) 2015-07-30
US20150208138A1 (en) 2015-07-23
TW201536039A (zh) 2015-09-16
KR101696984B1 (ko) 2017-01-16
KR20150087091A (ko) 2015-07-29
US9681200B2 (en) 2017-06-13
TWI563837B (en) 2016-12-21

Similar Documents

Publication Publication Date Title
JP6260292B2 (ja) 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
JP6307892B2 (ja) 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
TWI590856B (zh) 擷取方法及裝置
EP2922061B1 (en) Extraction method and device
US20080269924A1 (en) Method of summarizing sports video and apparatus thereof
US9508012B2 (en) Extraction method and device
TWI616101B (zh) 非暫時性電腦可讀取儲存媒體、回放控制方法及回放控制裝置
US10200764B2 (en) Determination method and device
JP6464616B2 (ja) 情報処理プログラム、方法、及び装置
JP2008005204A (ja) 映像区間決定装置、方法、プログラム
JP6303525B2 (ja) 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R150 Certificate of patent or registration of utility model

Ref document number: 6260292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150