KR101696984B1 - 정보 처리 방법 및 장치 - Google Patents

정보 처리 방법 및 장치 Download PDF

Info

Publication number
KR101696984B1
KR101696984B1 KR1020140191976A KR20140191976A KR101696984B1 KR 101696984 B1 KR101696984 B1 KR 101696984B1 KR 1020140191976 A KR1020140191976 A KR 1020140191976A KR 20140191976 A KR20140191976 A KR 20140191976A KR 101696984 B1 KR101696984 B1 KR 101696984B1
Authority
KR
South Korea
Prior art keywords
frame
section
information
indicating
batting
Prior art date
Application number
KR1020140191976A
Other languages
English (en)
Other versions
KR20150087091A (ko
Inventor
아츠시 오구치
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20150087091A publication Critical patent/KR20150087091A/ko
Application granted granted Critical
Publication of KR101696984B1 publication Critical patent/KR101696984B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7343—Query language or query format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 야구 시합을 촬영한 영상으로부터 타석의 선수를 식별하는 과제로 한다.
복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출된, 어느 타석에 관한 프레임군 중 하나 또는 복수의 프레임에 선수명의 표시가 포함되는 경우에, 표시된 선수명을 어느 타석에 있어서의 타자의 이름으로서 특정한다. 그리고, 특정한 이름을 어느 타석에 관한 프레임군에 대응하는 타자명으로서 기억부에 기억시킨다.

Description

정보 처리 방법 및 장치{DATA PROCESSING METHOD AND DEVICE}
본 발명은 정보 처리 프로그램, 정보 처리 방법, 정보 처리 장치, 야구 영상 메타 정보 작성 장치, 야구 영상 메타 정보 작성 방법, 및 야구 영상 메타 정보 작성 프로그램에 관한 것이다.
종래, 야구 시합을 촬영한 영상을 라이브로 배신(配信)하거나, 비디오 온 디맨드(Video on Demand, VoD) 콘텐츠로서 배신하거나 하는 서비스가 존재한다. VoD 콘텐츠로서 배신하는 경우, 예컨대, 시청자가 원하는 이닝(inning)을 선택하여 시청할 수 있는 형식으로 시청자에게 제공하고 있다. 이러한 VoD 콘텐츠를 제공하기 위해서, 수동으로 영상을 이닝마다 잘라내고 있다.
한편, 야구 시합을 촬영한 영상으로부터 하이라이트 장면을 잘라내는 기술이 제안되어 있다.
일본 특허공개 2005-295296호 공보
그러나, 예컨대 전술한 바와 같이, 수동으로 영상을 이닝마다 잘라내는 경우는, 1 이닝의 영상을 잘라내는 데에 10분 정도 걸려 버린다. 또한, 보다 상세한 VoD 콘텐츠로서, 예컨대, 1 타석마다의 영상을 선수의 식별 정보와 대응시켜 큐잉이 가능한 VoD 콘텐츠를 상정하면, 1 타석마다의 영상을 선수의 식별 정보와 대응시켜 잘라낼 필요가 있어, 수동 작업 공정수는 늘어난다.
일 측면으로서, 본 발명은 야구 시합을 촬영한 영상으로부터 타석의 선수를 식별하는 것을 목적으로 한다.
일 양태에서는, 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출된, 어느 타석에 관한 프레임군 중 하나 또는 복수의 프레임에 선수명의 표시가 포함되는 경우에, 표시된 해당 선수명을 상기 어느 타석에 있어서의 타자의 이름으로서 특정한다. 그리고, 특정한 상기 이름을 상기 어느 타석에 관한 프레임군에 대응하는 타자명으로서 기억부에 기억시킨다.
일 측면으로서, 야구 시합을 촬영한 영상으로부터 타석의 선수를 식별할 수 있다고 하는 효과를 갖는다.
도 1은 제1 및 제2 실시형태에 따른 영상 배신 시스템의 개략 구성을 도시하는 기능 블록도이다.
도 2는 편집의 일례를 설명하기 위한 도면이다.
도 3은 특정 컷트를 설명하기 위한 도면이다.
도 4는 1 구의 시작을 나타내는 프레임을 설명하기 위한 도면이다.
도 5는 1 구의 끝을 나타내는 프레임을 설명하기 위한 도면이다.
도 6은 시합 상황을 나타내는 텔롭(telop)의 일례를 도시하는 도면이다.
도 7은 선수 정보를 나타내는 텔롭의 일례를 도시하는 도면이다.
도 8은 타자 리스트의 일례를 도시하는 도면이다.
도 9는 타자 리스트의 갱신의 일례를 도시하는 도면이다.
도 10은 메타 정보 파일의 일례를 도시하는 도면이다.
도 11은 야구 영상 메타 정보 작성 장치로서 기능하는 컴퓨터의 일례를 도시하는 개략 블록도이다.
도 12는 배신 장치로서 기능하는 컴퓨터의 일례를 도시하는 개략 블록도이다.
도 13은 편집 처리의 일례를 도시하는 흐름도이다.
도 14는 제1 실시형태에 있어서의 야구 영상 메타 정보 작성 처리의 일례를 도시하는 흐름도이다.
도 15는 배신 처리의 일례를 도시하는 흐름도이다.
도 16은 1 구의 시작을 나타내는 프레임, 1 구의 끝을 나타내는 프레임, 1 타석의 시작을 나타내는 구간, 및 1 타석에 대응하는 선수의 식별 정보를 설명하기 위한 도면이다.
도 17은 선수의 식별 정보의 추정을 설명하기 위한 도면이다.
도 18은 판별 정보로서의 마크의 일례를 도시하는 도면이다.
도 19는 동일한 특정 컷트 속에 복수의 투구 장면이 포함되는 경우를 설명하기 위한 도면이다.
도 20은 공의 궤적을 검출하기 위한 소정 영역을 설명하기 위한 도면이다.
도 21은 차분 화상의 일례를 도시하는 도면이다.
도 22는 공의 궤적의 검출을 설명하기 위한 도면이다.
도 23은 공의 궤적의 방향을 설명하기 위한 도면이다.
도 24는 주자수, 아웃카운트 및 득점의 합계에 기초한, 타자 변경의 판정을 설명하기 위한 도면이다.
도 25는 시합 상황을 나타내는 텔롭의 일례를 도시하는 도면이다.
이하, 도면을 참조하여 본 발명에 따른 실시형태의 일례를 상세히 설명한다. 본 실시형태에서는, 야구 영상 메타 정보 작성 장치를, 영상 배신 시스템에 적용한 예에 관해서 설명한다.
<제1 실시형태>
도 1에 도시하는 바와 같이, 제1 실시형태에 따른 영상 배신 시스템(10)은 야구 영상 메타 정보 작성 장치(20)와 배신 장치(30)를 포함한다. 야구 영상 메타 정보 작성 장치(20)와 배신 장치(30)는 네트워크를 통해 접속되어 있다. 영상 배신 시스템(10)에서는, 야구 영상 메타 정보 작성 장치(20)에 의해 작성된 메타 정보가 부가된 영상을, 배신 장치(30)에 의해, 네트워크를 통해, 소정의 단말에 배신한다. 야구 영상 메타 정보 작성 장치(20)는 제1 검출부(22)와 제2 검출부(24)와 제3 검출부(26)와 작성부(28)를 포함한다. 또한, 배신 장치(30)는 편집부(32)와 배신부(34)를 포함한다.
우선, 배신 장치(30)의 각 부에 관해서 상술한다.
편집부(32)는 야구 시합을 촬영한 영상(이하, 「촬영 영상」이라고 함)을 취득한다. 촬영 영상은, 예컨대 30 fps나 60 fps 등의 프레임 레이트로 촬영된 영상이며, 복수의 프레임을 포함한다. 각 프레임에는, 촬영 영상의 촬영 시작부터의 경과 시간으로 표시되는 시각 정보가 연관되어 있다.
편집부(32)는, 도시하지 않는 표시 장치 및 입력 장치를 이용하여 오퍼레이터의 조작에 의해 지시된 편집 내용을, 화상 처리에 의해 촬영 영상에 적용한다. 편집 내용으로서는, 예컨대 도 2에 도시하는 바와 같이, 촬영 영상의 소정의 장면에 대응하는 각 프레임에 대하여, 선수 정보를 나타내는 텔롭(80) 및 시합 상황을 나타내는 텔롭(82)을 부가하는 것을 포함한다. 이하에서는, 촬영 영상에 대하여 편집부(32)에 의한 편집이 행해진 영상을 「편집 완료 영상」이라고 한다. 편집부(32)는 편집 완료 영상을, 야구 영상 메타 정보 작성 장치(20)에 송신한다.
배신부(34)는 야구 영상 메타 정보 작성 장치(20)에 의해 작성된 메타 정보가 부가된 영상(이하, 「메타 정보를 지닌 영상」이라고 함. 상세한 것은 후술)을 취득한다. 배신부(34)는 메타 정보를 지닌 영상을 소정의 규격에 따른 배신용 영상으로 변환하여, 배신처의 단말(도시 생략)에 배신한다.
이어서, 야구 영상 메타 정보 작성 장치(20)의 각 부에 관해서 상술한다.
제1 검출부(22)는 배신 장치(30)로부터 송신된 편집 완료 영상을 취득한다. 제1 검출부(22)는 편집 완료 영상에 포함되는 복수 프레임의 각각으로부터, 투수의 투구 장면에 사용되는 카메라 앵글로 촬영된 컷트(이하, 「특정 컷트」라고 함)를 나타내는 프레임을 추출한다. 한편, 컷트란, 동일한 카메라 앵글로 촬영된 하나로 연속된 부분이다. 본 실시형태에서는, 도 3에 도시하는 바와 같이, 투수의 배후에서 타자 방향을 촬영한 컷트를 특정 컷트로 하는 경우에 관해서 설명한다.
구체적으로, 제1 검출부(22)는 프레임마다 화상 특징을 추출한다. 화상 특징이란, 프레임 내의 각 화소의 휘도나 색 등의 화소 정보에 의해 나타내어지는 특징이다. 그리고, 제1 검출부(22)는 미리 준비된 특정 컷트를 나타내는 프레임으로부터 추출된 기준 화상 특징과, 편집 완료 영상의 각 프레임으로부터 추출한 추출 화상 특징과의 유사도를 구한다. 제1 검출부(22)는 기준 화상 특징과의 유사도가 소정치 이상이 되는 추출 화상 특징을 갖는 프레임을, 특정 컷트를 나타내는 프레임으로서 추출한다.
한편, 제1 검출부(22)는, 화상 특징으로서, 화상의 구성(구도)을 나타내는 특징, 예컨대 색이나 휘도의 배치나 분포를 나타내는 특징, 웨이블렛 변환에 의해 얻어지는 특징 등을 이용할 수 있다. 이러한 화상 특징을 추출하는 경우는, 각 프레임 전체로부터 추출하여도 좋고, 각 프레임의 일부(예컨대, 촬영 영상에 포함되는 구장의 펜스나 벽면 부분)의 특징을 추출하여도 좋다. 실제의 촬영 영상에서는, 동일한 특정 컷트라도, 카메라 앵글의 약간의 차이, 선수가 서는 위치의 차이, 배경 간판의 변화 등, 화상의 구성에 다소의 차이가 생긴 경우가 있다. 프레임 전체로부터 화상 특징을 추출한 경우에는, 이러한 화상의 구성에 생기는 다소의 차이의 영향을 억제한 화상 특징을 추출할 수 있다. 예컨대, 한편, 프레임의 일부로부터 화상 특징을 추출하는 경우에는, 화상의 구성에 다소의 차이가 생긴 영역, 예컨대 배경의 간판을 나타내는 영역을 제외한 영역으로부터 화상 특징을 추출한다. 이와 같이 추출된 화상 특징을 이용함으로써, 유사 여부 판정의 정밀도를 향상시킬 수 있다.
또한, 구장마다 다른 배경이나 선수가 착용하는 유니폼의 색의 차이, 방송국마다 다른 텔롭의 포맷 등을 고려하여, 복수 종류의 기준 화상 특징을 준비해 두어도 좋다. 이 경우, 제1 검출부(22)는 편집 완료 영상과 함께, 구장, 팀, 방송국 등의 정보를 취득하고, 취득한 정보에 따른 기준 화상 특징량을 선택하여 이용하도록 하면 된다. 또한, 카메라 앵글의 차이에 관해서, 투수나 타자의 손잡이에 따라서, 카메라 앵글이나 화상의 특징에 차이가 발생하는 경우를 생각할 수 있다. 그 때문에, 투수나 타자의 손잡이별 기준 화상 특징량(예컨대, 좌투 투수이면서 좌타 타자, 좌투 투수이면서 우타 타자, 우투 투수이면서 좌타 타자, 우투 투수이면서 우타 타자의 4 패턴 등)을 준비하는 것으로 하여도 좋다. 그리고, 준비한 기준 화상 특징량 중 어느 것에 일치하는 경우에, 특정 컷트를 나타내는 프레임으로서 추출하는 것으로 하여도 좋다.
또한, 제1 검출부(22)는 화상 특징으로서, 투수의 투구 폼 등, 특정 컷트에 있어서 영상 내의 선수에게 특징적으로 나타나는 움직임을 보이는 특징을 추출하여도 좋다. 예컨대, 특징점의 운동 벡터를 화상 특징으로서 추출할 수 있다. 이 경우, 구장, 팀, 텔롭의 포맷 등이 다른 경우라도, 이들의 영향을 억제한 화상 특징을 추출할 수 있다.
또한, 제1 검출부(22)는, 추출한 특정 컷트를 나타내는 프레임에 기초하여, 특정 컷트를 나타내는 프레임 이외의 프레임으로부터 특정 컷트를 나타내는 프레임으로 전환된 프레임을, 1 구의 시작을 나타내는 프레임으로서 검출한다. 예컨대, 도 4에 도시하는 바와 같이, 프레임(84)이 특정 컷트를 나타내는 프레임 이외의 프레임, 프레임(84)의 다음 프레임(86)이 특정 컷트를 나타내는 프레임이었다고 하면, 이 경우, 제1 검출부(22)는 프레임(86)을 1 구의 시작을 나타내는 프레임으로서 검출한다.
또한, 제1 검출부(22)는 특정 컷트를 나타내는 프레임으로부터 특정 컷트를 나타내는 프레임 이외의 프레임으로 전환된 프레임을, 1 구의 끝을 나타내는 프레임으로서 검출한다. 예컨대, 도 5에 도시하는 바와 같이, 프레임(88)이 특정 컷트를 나타내는 프레임, 프레임(88)의 다음 프레임(90)이 특정 컷트를 나타내는 프레임 이외의 프레임이었다고 하면, 이 경우, 제1 검출부(22)는 프레임(88)을 1 구의 끝을 나타내는 프레임으로서 검출한다. 즉, 제1 검출부(22)는 1 구의 시작을 나타내는 프레임으로부터 1 구의 끝을 나타내는 프레임까지의 특정 컷트를 나타내는 프레임이 연속되는 구간을, 투수에 의한 투구 1 구 분량을 나타내는 구간으로서 검출한다.
제2 검출부(24)는 제1 검출부(22)에 의해 검출된 구간마다, 구간 내의 볼 카운트 표시가 초기 상태인지 여부를 판정한다. 구체적으로는, 제2 검출부(24)는 각 구간 내의 적어도 하나의 프레임에 포함되는 시합 상황을 나타내는 텔롭(82)으로부터, 볼 카운트를 나타내는 볼 카운트 표시를 추출한다. 한편, 볼 카운트란, 투수의 투구에 대한 볼인지 스트라이크인지의 판정 결과이다. 제2 검출부(24)는 구간 내의 프레임에 부가된 시합 상황을 나타내는 텔롭(82)으로부터, 예컨대 도 6에 도시하는 바와 같은 볼 카운트 표시(92)를 추출한다. 볼 카운트 표시(92)의 추출은, 예컨대 프레임 내에서 시합 상황을 나타내는 텔롭이 표시되는 영역으로서 미리 정한 영역을 추출하거나, 패턴 매칭에 의해 추출하거나 할 수 있다. 또한, 문자 인식 처리에 의해 볼 카운트 표시를 추출하여도 좋다. 도 6의 예에서는, 볼 카운트 표시로서 「B●○○ S○○」(볼이 1 구, 스트라이크가 0 구)가 추출된다.
또한, 편집 완료 영상의 편집자나 방송국마다 텔롭의 형식이 다르다는 것을 고려하여, 편집 완료 영상의 편집자나 방송국마다, 추출하여야 할 텔롭의 형식은 적절하게 변경하는 것으로 하여도 좋다. 또한, 복수의 편집 완료 영상의 편집자나 복수의 방송국 각각에 대응한 복수의 텔롭의 형식 각각을 특정하기 위한 정보를, 미리 기억부(46) 등이 기억하고, 제2 검출부(24)가 편집 완료 영상의 편집자나 방송국마다 적절하게 이용하는 것으로 하여도 좋다.
또한, 제2 검출부(24)는 구간마다 추출한 볼 카운트 표시가, 초기 상태, 즉 0 볼-0 스트라이크의 볼 카운트(이하, 「0-0」라고 표기함. 다른 볼 카운트에 관해서도 마찬가지)를 나타내는 것인지 여부를 판정한다. 이 판정은 패턴 매칭이나 문자 인식 처리에 의해 이루어질 수 있다. 제2 검출부(24)는 볼 카운트 표시가 초기 상태를 나타내는 경우에는, 그 구간을 1 타석의 시작을 나타내는 구간으로서 검출한다. 즉, 1 타석의 시작을 나타내는 구간으로부터 다음 1 타석의 시작을 나타내는 구간 앞의 구간까지가 1 타석을 나타내는 구간으로 된다.
제3 검출부(26)는 제2 검출부(24)에 의해 검출된 1 타석의 시작을 나타내는 구간에 대응하는 프레임에 포함되는 선수 정보를 나타내는 텔롭(80)에 기초하여, 선수의 식별 정보를 검출한다. 선수 정보를 나타내는 텔롭(80)은, 도 7에 도시하는 바와 같이, 선수명이나 등번호 등의 선수의 식별 정보 표시(94)를 포함한다. 여기서는, 1 타석의 시작을 나타내는 구간에 대응하는 프레임을, 앞의 1 타석을 나타내는 구간의 끝에서부터, 대상의 1 타석을 나타내는 구간의 끝까지 포함되는 프레임으로 한다. 이에 따라, 그 타석에서의 1번째 구 전에 선수 정보를 나타내는 텔롭(80)이 표시된 경우도 포함시켜, 1 타석에 대응한 선수의 식별 정보를 정밀도 좋게 검출할 수 있다.
구체적으로는, 제3 검출부(26)는, 대응하는 프레임의 전체 또는 일부에 대하여 문자 인식 처리를 하여, 문자 정보를 추출한다. 프레임의 일부에 대하여 문자 인식 처리를 하는 경우에는, 프레임 내에서 선수 정보를 나타내는 텔롭(80)이 표시되는 영역으로서 미리 정한 영역에 대하여 처리하면 된다. 프레임 전체로부터 문자 정보를 추출한 경우에는, 배경의 간판 등의 문자 정보도 추출되는 경우가 있다. 또한, 선수 정보를 나타내는 텔롭(80)의 영역으로부터 문자 정보를 추출한 경우라도, 오인식이 생기고 있는 경우도 있다. 그래서, 제3 검출부(26)는 타자 리스트(30)와 추출한 문자 정보를 대조하여, 선수의 식별 정보를 검출한다.
타자 리스트(30)는 그 시합에 출장한 타자의 리스트이며, 예컨대 도 8에 도시하는 바와 같이, 선수의 등번호 및 이름을 타순으로 등록한 것으로 할 수 있다. 타자 리스트(30)는 야구 영상 메타 정보 작성 장치(20)의 소정의 기억 영역에 기억해 두어도 좋고, 외부 장치에 기억해 두어도 좋다. 또한, 타자 리스트(30)는 시합 상황에 따라서 갱신하여도 좋다. 갱신하기 위한 정보는, 시합 정보를 공개하는 야구 관련 웹사이트에서 취득하거나, 야구 정보를 제공하는 서비스업자 등으로부터 취득하거나 할 수 있다. 또한, 예컨대 도 9에 도시하는 바와 같이, 타자 리스트(30)에 대주 및 대타 정보를 포함하여도 좋다. 도 9의 예는 선수「B」에 대주 선수로서 「Z」가 기용되었음을 나타내고 있다.
제3 검출부(26)는 추출한 문자 정보가, 타자 리스트(30)에 등록된 선수의 식별 정보와 일치하는 경우에, 그 일치한 선수의 식별 정보를 검출한다. 이와 같이 타자 리스트(30)를 이용함으로써, 투수나 대주 선수에 관한 선수 정보를 나타내는 텔롭(80)으로부터 문자 정보가 추출된 경우라도, 타자의 식별 정보로서 잘못 검출하는 것을 방지할 수 있다.
작성부(28)는 제1 검출부(22)에 의해 검출된 프레임에 기초하여, 투수에 의한 투구 1 구마다의 시작을 나타내는 메타 정보 및 1 구마다의 끝을 나타내는 메타 정보를 작성한다. 구체적으로, 작성부(28)는 제1 검출부(22)에 의해 검출된 1 구의 시작을 나타내는 프레임에 연관된 시각 정보에, 1 구의 시작을 나타내는 정보를 대응시킨 메타 정보를 작성한다. 마찬가지로, 작성부(28)는 제1 검출부(22)에 의해 검출된 1 구의 끝을 나타내는 프레임에 연관된 시각 정보에, 1 구의 끝을 나타내는 정보를 대응시킨 메타 정보를 작성한다. 한편, 작성부(28)는 메타 정보를 프레임에 대응시키는 것으로 하여도 좋다.
또한, 작성부(28)는 제2 검출부(24)에 의해 검출된 구간에 기초하여, 1 타석마다의 시작을 나타내는 메타 정보 및 1 타석마다의 끝을 나타내는 메타 정보를 작성한다. 구체적으로는, 작성부(28)는 제2 검출부(24)에 의해 검출된 구간 내의 선두 프레임에 연관된 시각 정보에, 1 타석의 시작을 나타내는 정보를 대응시킨 메타 정보를 작성한다. 마찬가지로, 작성부(28)는 제2 검출부(24)에 의해 검출되고 구간 앞의 구간 내의 최종 프레임에 연관된 시각 정보에, 1 타석의 끝을 나타내는 정보를 대응시킨 메타 정보를 작성한다.
또한, 작성부(28)는 1 타석을 나타내는 구간에, 그 1 타석을 나타내는 구간에 대응하여 제3 검출부(26)에 의해 검출된 선수의 식별 정보를 대응시킨 메타 정보를 작성한다.
또한, 작성부(28)는 작성한 복수의 메타 정보를, 메타 정보에 포함되는 시각 정보 순으로 기록한 메타 정보 파일을 작성한다. 메타 정보 파일은, 예컨대 csv(Comma-Separated Values) 형식의 파일로서 작성할 수 있다. 도 10에 메타 정보 파일의 일례를 도시한다. 도 10의 예에서는, 각 행이 하나의 메타 정보를 나타내고, 각 메타 정보는 시각 정보(96), 1 구의 시작 또는 끝을 나타내는 정보(98), 1 타석의 시작 또는 끝을 나타내는 정보(100) 및 선수의 식별 정보(102)를 포함한다.
한편, 여기서는, 프레임에 연관된 시각 정보를 이용한 메타 정보를 작성하는 경우에 관해서 설명했지만, 프레임 번호 등의 각 프레임을 식별하기 위한 다른 정보를 이용하여, 메타 정보를 작성하여도 좋다.
작성부(28)는 작성한 메타 정보 파일을 편집 완료 영상에 부가하여, 메타 정보를 지닌 영상으로서 배신 장치(30)에 송신한다.
야구 영상 메타 정보 작성 장치(20)는, 예컨대 도 11에 도시하는 컴퓨터(40)로 실현될 수 있다. 컴퓨터(40)는 CPU(42), 메모리(44), 비휘발성 기억부(46), 입출력 인터페이스(I/F)(47) 및 네트워크 I/F(48)를 구비한다. CPU(42), 메모리(44), 기억부(46), 입출력 I/F(47) 및 네트워크 I/F(48)는 버스(49)를 통해 상호 접속되어 있다.
기억부(46)는 HDD(Hard Disk Drive)나 플래시 메모리 등에 의해서 실현될 수 있다. 기억 매체로서의 기억부(46)에는, 컴퓨터(40)를 야구 영상 메타 정보 작성 장치(20)로서 기능시키기 위한 야구 영상 메타 정보 작성 프로그램(50)이 기억되어 있다. CPU(42)는 야구 영상 메타 정보 작성 프로그램(50)을 기억부(46)로부터 독출하여 메모리(44)에 전개하여, 야구 영상 메타 정보 작성 프로그램(50)이 갖는 프로세스를 순차 실행한다.
야구 영상 메타 정보 작성 프로그램(50)은 제1 검출 프로세스(52)와 제2 검출 프로세스(54)와 제3 검출 프로세스(56)와 작성 프로세스(58)를 갖는다. CPU(42)는 제1 검출 프로세스(52)를 실행함으로써, 도 1에 도시하는 제1 검출부(22)로서 동작한다. 또한, CPU(42)는 제2 검출 프로세스(54)를 실행함으로써, 도 1에 도시하는 제2 검출부(24)로서 동작한다. 또한, CPU(42)는 제3 검출 프로세스(56)를 실행함으로써, 도 1에 도시하는 제3 검출부(26)로서 동작한다. 또한, CPU(42)는 작성 프로세스(58)를 실행함으로써, 도 1에 도시하는 작성부(28)로서 동작한다. 이에 따라, 야구 영상 메타 정보 작성 프로그램(50)을 실행한 컴퓨터(40)가 야구 영상 메타 정보 작성 장치(20)로서 기능하게 된다.
또한, 배신 장치(30)는, 예컨대 도 12에 도시하는 컴퓨터(60)로 실현될 수 있다. 컴퓨터(60)는 CPU(62), 메모리(64), 비휘발성 기억부(66), 입출력 I/F(67) 및 네트워크 I/F(68)를 구비한다. CPU(62), 메모리(64), 기억부(66), 입출력 I/F(67) 및 네트워크 I/F(68)는 버스(69)를 통해 상호 접속되어 있다. 또한, 컴퓨터(60)에는, 입출력 I/F(67)을 통해, 도시하지 않는 표시 장치 및 입력 장치가 접속되어 있다.
또한, 배신 장치(30)와 야구 영상 메타 정보 작성 장치(20)는 배신 장치(30)의 네트워크 I/F(68), 네트워크, 및 야구 영상 메타 정보 작성 장치(20)의 네트워크 I/F(48)를 통해 접속되어 있다.
기억부(66)는 HDD나 플래시 메모리 등에 의해서 실현될 수 있다. 기억 매체로서의 기억부(66)에는, 컴퓨터(60)를 배신 장치(30)로서 기능시키기 위한 배신 프로그램(70)이 기억되어 있다. CPU(62)는 배신 프로그램(70)을 기억부(66)로부터 판독해서 메모리(64)에 전개하여, 배신 프로그램(70)이 갖는 프로세스를 순차 실행한다.
배신 프로그램(70)은 편집 프로세스(72)와 배신 프로세스(74)를 갖는다. CPU(62)는 편집 프로세스(72)를 실행함으로써, 도 1에 도시하는 편집부(32)로서 동작한다. 또한, CPU(62)는 배신 프로세스(74)를 실행함으로써, 도 1에 도시하는 배신부(34)로서 동작한다. 이에 따라, 배신 프로그램(70)을 실행한 컴퓨터(60)가 배신 장치(30)로서 기능하게 된다.
한편, 야구 영상 메타 정보 작성 장치(20) 및 배신 장치(30)의 각각은, 예컨대 반도체 집적 회로, 보다 자세하게는 ASIC(Application Specific Integrated Circuit) 등으로 실현되는 것도 가능하다.
이어서, 제1 실시형태에 따른 영상 배신 시스템(10)의 작용에 관해서 설명한다. 촬영 영상이 배신 장치(30)에 입력되면, 배신 장치(30)가, 도 13에 도시하는 편집 처리를 실행하여, 편집 완료 영상을 출력한다. 이어서, 편집 완료 영상이 야구 영상 메타 정보 작성 장치(20)에 입력되면, 야구 영상 메타 정보 작성 장치(20)가, 도 14에 도시하는 야구 영상 메타 정보 작성 처리를 실행하여, 메타 정보를 지닌 영상을 출력한다. 그리고, 메타 정보를 지닌 영상이 배신 장치(30)에 입력되면, 배신 장치(30)가, 도 15에 도시하는 배신 처리를 실행하여, 배신용 영상을 출력한다. 이하, 각 처리에 관해서 상술한다.
우선, 도 13에 도시하는 편집 처리의 단계 S10에서, 편집부(32)가 촬영 영상을 취득한다. 이어서, 단계 S12에서, 편집부(32)가 도시하지 않는 표시 장치 및 입력 장치를 이용하여 오퍼레이터의 조작에 의해 지시된 편집 내용을, 화상 처리에 의해 촬영 영상에 적용한다. 이어서, 단계 S14에서, 편집부(32)가 편집 완료 영상을, 야구 영상 메타 정보 작성 장치(20)에 송신하고, 편집 처리는 종료된다.
이어서, 도 14에 도시하는 야구 영상 메타 정보 작성 처리의 단계 S20에서, 제1 검출부(22)가 배신 장치(30)로부터 송신된 편집 완료 영상을 취득한다.
이어서, 단계 S22에서, 제1 검출부(22)가 편집 완료 영상에 포함되는 복수 프레임의 각각으로부터 특정 컷트를 나타내는 프레임을 추출한다. 구체적으로는, 제1 검출부(22)가 편집 완료 영상에 포함되는 복수 프레임의 각각으로부터 추출 화상 특징을 추출한다. 그리고, 제1 검출부(22)는 미리 준비된 기준 화상 특징과 추출 화상 특징과의 유사도를 구하여, 기준 화상 특징과의 유사도가 소정치 이상이 되는 추출 화상 특징을 갖는 프레임을, 특정 컷트를 나타내는 프레임으로서 추출한다.
이어서, 단계 S24에서, 제1 검출부(22)가, 추출한 특정 컷트를 나타내는 프레임에 기초하여, 특정 컷트를 나타내는 프레임 이외의 프레임으로부터 특정 컷트를 나타내는 프레임으로 전환된 프레임을, 1 구의 시작을 나타내는 프레임으로서 검출한다. 마찬가지로, 제1 검출부(22)는 특정 컷트를 나타내는 프레임으로부터 특정 컷트를 나타내는 프레임 이외의 프레임으로 전환된 프레임을, 1 구의 끝을 나타내는 프레임으로서 검출한다. 즉, 제1 검출부(22)는 1 구의 시작을 나타내는 프레임으로부터 1 구의 끝을 나타내는 프레임까지의 특정 컷트를 나타내는 프레임이 연속되는 구간을, 투수에 의한 투구 1 구 분량을 나타내는 구간으로서 검출한다.
이어서, 단계 S26에서, 제2 검출부(24)가 제1 검출부(22)에 의해 검출된 각 구간 내의 적어도 하나의 프레임에 포함되는 시합 상황을 나타내는 텔롭(82)으로부터, 볼 카운트를 나타내는 볼 카운트 표시를 추출한다. 그리고, 제2 검출부(24)는 볼 카운트 표시가 초기 상태 (0-0)를 나타내는 구간을, 1 타석의 시작을 나타내는 구간으로서 검출한다.
이어서, 단계 S28에서, 제3 검출부(26)가, 제2 검출부(24)에 의해 검출된 1 타석의 시작을 나타내는 구간에 대응하는 프레임의 전체 또는 일부에 대하여 문자 인식 처리를 하여, 문자 정보를 추출한다. 여기서는, 1 타석의 시작을 나타내는 구간에 대응하는 프레임을, 앞의 1 타석을 나타내는 구간의 끝에서부터, 대상의 1 타석을 나타내는 구간의 끝까지 포함되는 프레임으로 한다. 그리고, 제3 검출부(26)는 추출한 문자 정보가, 타자 리스트(30)에 등록된 선수의 식별 정보와 일치하는 경우에, 그 일치한 선수의 식별 정보를 검출한다.
도 16에, 1 구의 시작을 나타내는 프레임, 1 구의 끝을 나타내는 프레임, 1 타석의 시작을 나타내는 구간 및 1 타석에 대응하는 선수의 식별 정보가 검출된 일례를 개략적으로 도시한다. 도 16의 예에서는, 프레임(110)에서 시작되는 구간이 1 타석의 시작을 나타내는 구간으로서 검출되고 있다. 따라서, 프레임(106)에서 시작되는 구간이 1 타석의 끝을 나타내는 구간이 된다. 그리고, 프레임(106)까지 포함되는 프레임(104)으로부터, 프레임(106)에서 시작되는 구간에서 끝나는 타석에 대응하는 선수명으로서 「박○○」가 검출되고 있다. 또한, 프레임(106)의 다음 이후의 프레임(108)으로부터, 프레임(110)에서 시작되는 구간에서 시작되는 타석에 대응하는 선수명으로서 「김△△」이 검출되고 있다.
이어서, 단계 S30에서, 작성부(28)가, 제1 검출부(22)에 의해 검출된 1 구의 시작을 나타내는 프레임에 연관된 시각 정보에, 1 구의 시작을 나타내는 정보를 대응시킨 메타 정보를 작성한다. 마찬가지로, 작성부(28)는 제1 검출부(22)에 의해 검출된 1 구의 끝을 나타내는 프레임에 연관된 시각 정보에, 1 구의 끝을 나타내는 정보를 대응시킨 메타 정보를 작성한다.
이어서, 단계 S32에서, 작성부(28)가, 제2 검출부(24)에 의해 검출된 구간 내의 선두 프레임에 연관된 시각 정보에, 1 타석의 시작을 나타내는 정보를 대응시킨 메타 정보를 작성한다. 마찬가지로, 작성부(28)는 제2 검출부(24)에 의해 검출되고 구간 앞의 구간 내의 최종 프레임에 연관된 시각 정보에, 1 타석의 끝을 나타내는 정보를 대응시킨 메타 정보를 작성한다.
이어서, 단계 S34에서, 작성부(28)가, 1 타석을 나타내는 구간에, 그 1 타석을 나타내는 구간에 대응하여 제3 검출부(26)에 의해 검출된 선수의 식별 정보를 대응시킨 메타 정보를 작성한다.
이어서, 단계 S36에서, 작성부(28)가, 상기 단계 S30~S34에서 작성한 복수의 메타 정보를, 메타 정보에 포함되는 시각 정보 순으로 기록한 메타 정보 파일을 작성한다. 그리고, 작성부(28)는, 작성한 메타 정보 파일을 편집 완료 영상에 부가하여, 메타 정보를 지닌 영상으로서 배신 장치(30)에 송신하고, 야구 영상 메타 정보 작성 처리는 종료된다.
이어서, 도 15에 도시하는 배신 처리의 단계 S40에서, 배신부(34)가, 야구 영상 메타 정보 작성 장치(20)로부터 송신된 메타 정보를 지닌 영상을 취득한다. 이어서, 단계 S42에서, 배신부(34)가, 메타 정보를 지닌 영상을 소정의 규격에 따른 배신용 영상으로 변환하여, 배신처의 단말(도시 생략)에 배신하고, 배신 처리는 종료된다.
이상 설명한 바와 같이, 제1 실시형태에 따른 야구 영상 메타 정보 작성 장치(20)에 의하면, 야구 시합을 촬영한 영상으로부터, 투수의 배후에서 타자 방향을 촬영한 특정 컷트를 나타내는 프레임을 추출한다. 그리고, 이 특정 컷트를 나타내는 프레임이 연속되는 구간을 투수에 의한 투구 1 구 분량의 구간으로 하고, 구간 내에서 얻어지는 볼 카운트 표시가 초기 상태가 되는 구간을, 1 타석의 시작을 나타내는 구간으로서 검출한다. 그리고, 1 타석의 시작을 나타내는 구간에 대응하는 프레임으로부터 검출된 선수의 식별 정보를, 대응하는 1 타석을 나타내는 구간에 대응시킨 메타 정보를 작성한다. 따라서, 야구 시합을 촬영한 영상으로부터, 1 타석마다의 영상을 선수의 식별 정보와 대응시켜 큐잉 가능한 메타 정보를 자동적으로 작성할 수 있다.
또한, 본 발명에 의한 메타 정보가 부가된 영상에서는, 야구 시합 영상(촬영 영상 또는 편집 완료 영상)으로부터, 메타 정보에 기초한 1 구 단위 및 1 타석 단위의 큐잉 및 선수의 식별이 가능하여, 예컨대, 투수의 투구시의 영상, 타자의 타석의 영상, 지정한 선수의 타석의 영상, 리플레이 등을 용이하게 특정하여, 시청할 수 있다.
한편, 제1 실시형태에서는, 타자 리스트를 이용하여 선수의 식별 정보를 검출하는 경우에 관해서 설명했지만, 이것에 한정되지 않는다. 예컨대, 선수 정보를 나타내는 텔롭(80)에, 그 텔롭에 표시된 선수가 타자, 투수, 대주 등 중 어느 것인지를 나타내는 표시가 있는 경우에는, 이 표시와 함께 문자 인식하여도 좋다. 이 경우, 타자 리스트(30)를 이용하지 않더라도, 투수나 대주의 선수 식별 정보를 잘못 검출하는 것을 방지할 수 있다.
또한, 선수 정보를 나타내는 텔롭(80)이 타자에 대하여 표시되는 경우와, 투수나 대주에 대하여 표시되는 경우에는, 화면의 구성(구도)이 상이하다. 이 화면의 구성 차이에 기초하여, 타자에 대하여 표시된 선수 정보를 나타내는 텔롭(80)을 선택하여, 선수의 식별 정보를 검출하도록 하여도 좋다.
<제2 실시형태>
이어서, 제2실시형태에 관해서 설명한다. 한편, 제1 실시형태에 따른 영상 배신 시스템(10)과 같은 부분에 대해서는 동일한 부호를 붙이고, 상세한 설명을 생략한다.
도 1에 도시하는 바와 같이, 제2 실시형태에 따른 영상 배신 시스템(210)은 야구 영상 메타 정보 작성 장치(220)와 배신 장치(30)를 포함한다. 야구 영상 메타 정보 작성 장치(220)는 제1 검출부(22)와 제2 검출부(24)와 제3 검출부(226)와 작성부(28)를 포함한다.
제3 검출부(226)는 제1 실시형태의 제3 검출부(26)와 마찬가지로, 제2 검출부(24)에 의해 검출된 1 타석의 시작을 나타내는 구간에 대응하는 프레임에 포함되는 선수 정보를 나타내는 텔롭(80)에 기초하여, 선수의 식별 정보를 검출한다.
여기서, 선수 정보를 나타내는 텔롭(80)이 표시되기 전에 타자가 타격을 하여 타석이 종료된 경우 등과 같이, 1 타석의 시작을 나타내는 구간에 대응하는 프레임으로부터, 그 타석에 대응하는 선수의 식별 정보를 검출할 수 없는 경우가 있다.
그래서, 제3 검출부(226)는 타순의 정보를 포함하는 타자 리스트(30)를 이용하여, 검출할 수 없었던 선수의 식별 정보를 추정한다. 구체적으로는, 제3 검출부(226)는 타자 리스트(30)에 포함되는 타순의 정보와, 선수의 식별 정보를 추정하고 싶은 타석의 앞 및 다음 타석에 대응하여 검출된 선수의 식별 정보 중 적어도 한쪽에 기초하여, 추정하고 싶은 타석에 있어서의 선수의 식별 정보를 추정한다.
예컨대, 도 17에 도시하는 바와 같이, 연속되는 타석 1, 타석 2, 타석 3에서, 타석 1에 대응하는 선수명 「A」가 검출되고, 타석 3에 대응하는 선수명 「C」가 검출되고, 타석 2에 대응하는 선수명이 검출되지 않았다고 하면, 이 경우, 제3 검출부(226)는, 예컨대 도 8에 도시하는 바와 같은 타자 리스트(30)를 참조하여, 타순이 「A」와 「C」 사이인 「B」를, 타석 2에 대응하는 선수명으로서 추정한다.
제2 실시형태에 따른 영상 배신 시스템(210)의 작용은, 도 14에 도시하는 제1 실시형태에서의 야구 영상 메타 정보 작성 처리의 단계 S28에서, 타자 리스트(30)를 이용한 선수의 식별 정보의 추정 처리가 더해질 뿐이기 때문에, 설명을 생략한다.
이상 설명한 바와 같이, 제2 실시형태에 따른 야구 영상 메타 정보 작성 장치(220)에 의하면, 타석에 대응한 선수의 식별 정보를 프레임으로부터 검출할 수 없었던 경우에, 타자 리스트에 포함되는 타순의 정보와, 전후 타석의 선수의 식별 정보를 대조하여 추정한다. 그 때문에 선수의 식별 정보의 검출 누락을 저감할 수 있다.
한편, 상기 각 실시형태에서는, 각 프레임의 화상 특징에 기초하여 특정 컷트를 나타내는 프레임을 검출하는 경우에 관해서 설명했지만, 이것에 한정되지 않는다. 예컨대, 특정 컷트를 나타내는 프레임에, 특정 컷트를 판별하기 위한 판별 정보가 미리 부가되어 있는 편집 완료 영상이 입력된 경우에는, 이 판별 정보를 이용하여, 특정 컷트를 나타내는 프레임을 검출할 수 있다. 판별 정보는, 예컨대 도 18에 도시하는 바와 같은 마크(112)로서, 편집 완료 영상에 부가해 둘 수 있다.
한편, 판별 정보는 촬영 영상을 촬영할 때에 부가되어도 좋고, 촬영 영상을 편집할 때에 부가되어도 좋다. 예컨대, 투수의 배후에서 타자 방향을 촬영하는 카메라에 스위치를 설치해 두고서, 스위치를 누르고 있는 동안은, 그 카메라로 촬영되는 촬영 영상에 판별 정보가 부가되도록 할 수 있다. 또한, 투수의 배후에서 타자 방향을 촬영하는 카메라로 촬영되는 촬영 영상에는, 항상 판별 정보가 부가되도록 하여도 좋다. 또한, 촬영 영상에 텔롭 등을 부가하는 편집을 할 때에, 판별 정보가 되는 마크(112)를 부가하여도 좋다.
구체적으로는, 제1 검출부(22)가 편집 완료 영상의 프레임마다, 판별 정보가 부가되어 있는지 여부를 판별한다. 예컨대, 제1 검출부(22)는 각 프레임의 미리 정한 영역에 대하여, 판별 정보를 나타내는 패턴을 이용한 패턴 매칭을 하여, 판별 정보가 부가되어 있는지 여부를 판별할 수 있다. 제1 검출부(22)는 판별 정보가 부가되어 있다고 판별한 프레임을, 특정 컷트를 나타내는 프레임으로서 추출한다.
이와 같이, 특정 컷트를 나타내는 프레임에 판별 정보가 부가된 영상을 취득할 수 있는 경우에는, 간이한 처리에 의해, 특정 컷트를 나타내는 프레임을 검출할 수 있다.
한편, 전술한 바와 같이, 촬영이나 편집을 할 때에 판별 정보를 부가하는 경우에는, 특정 컷트를 나타내는 프레임 이외의 프레임과 특정 컷트를 나타내는 프레임과의 엄밀한 전환 개소에 판별 정보를 부가할 수 없는 경우가 있다. 그래서, 제1 검출부(22)는 판별 정보에 기초하여 추출한 특정 컷트를 나타내는 프레임의 수 프레임분 앞 또는 뒤의 프레임을, 1 구의 시작 또는 끝을 나타내는 프레임으로서 검출하여도 좋다. 또한, 상기 각 실시형태에서도, 추출한 특정 컷트를 나타내는 프레임의 수 프레임분 앞 또는 뒤의 프레임을, 1 구의 시작 또는 끝을 나타내는 프레임으로서 검출하여도 좋다.
또한, 상기 각 실시형태에서는, 특정 컷트를 나타내는 프레임이 연속되는 구간을, 1 구를 나타내는 구간으로서 검출하는 경우에 관해서 설명했지만, 촬영 영상에는, 하나의 특정 컷트 속에 복수의 투구 장면이 포함되어 있는 것을 생각할 수 있다. 예컨대 도 19에 도시하는 바와 같이, 1번째 구의 영상은 프레임(114)에서 끝나고, 다음 프레임(116)부터는 2번째 구의 영상이라고 하기로 한다. 프레임(114) 및 프레임(116)은 모두 특정 컷트를 나타내는 프레임이기 때문에, 양 프레임 사이에서 1 구의 시작 및 끝의 사이에 특정 컷트와 다른 컷트의 영상이 포함되지 않는다. 도 19와 같은 양태는 예컨대, 촬영 영상에 있어서, 투수의 복수 회분(예컨대 2 구분)의 투구 동작이 특정 컷트를 촬영하는 카메라 이외의 카메라로 촬영된 영상을 포함하지 않고서 촬영되는 경우에 생길 수 있다.
그래서, 제1 검출부(22)는 특정 컷트를 나타내는 프레임의 각각에 포함되는 시합 상황을 나타내는 텔롭(82)으로부터 볼 카운트 표시를 추출한다. 그리고, 특정 컷트를 나타내는 프레임이 연속되고 있는 동안에, 볼 카운트 표시가 변화된 프레임을, 1 구의 시작에 대응하는 프레임으로서 검출하여도 좋다. 그리고, 작성부(28)는 제1 검출부(22)에 의해 볼 카운트 표시의 변화에 기초하여 검출된 1 구의 시작에 대응하는 프레임의 소정 프레임분 앞 또는 뒤의 프레임을, 1 구의 시작을 나타내는 프레임으로 하는 것으로 하여도 좋다. 소정 프레임분 앞 또는 뒤는, 과거의 시합 영상 등에 기초하여, 1 구의 시작에서부터 볼 카운트 표시가 변화될 때까지의 시간, 또는 볼 카운트 표시가 변화되고 나서 다음 투구를 투수가 시작할 때까지의 시간에 대응한 프레임의 수를 미리 정해 놓으면 된다.
이 경우, 동일한 특정 컷트 속에 복수의 투구 장면이 포함되어 있는 경우라도, 각각의 1 구의 시작을 나타내는 메타 정보를 작성할 수 있다.
또한, 제1 검출부(22)는 특정 컷트를 나타내는 프레임이 연속되고 있는 동안에, 연속되는 복수의 특정 컷트를 나타내는 프레임의 소정 영역으로부터, 투수에 의한 소정 방향으로의 투구를 나타내는 공의 궤적이 나타난 프레임을, 1 구의 시작에 대응하는 프레임으로서 검출하여도 좋다. 예컨대 도 20에 도시하는 바와 같이, 투수와 타자 사이에 소정 영역(118)을 설정한다. 제1 검출부(22)는, 예컨대 도 21에 도시하는 바와 같이, 연속되는 특정 컷트를 나타내는 프레임 사이의 대응하는 화소끼리의 차분으로 나타내어지는 차분 화상을 생성한다. 도 21에서는, 앞쪽의 차분 화상일수록, 기초가 된 프레임의 시각 정보가 새롭다는 것을 나타내고 있다. 또한, 도 21에서는, 프레임 전체의 차분 화상을 나타내고 있지만, 소정 영역(118)만의 차분 화상을 생성하여도 좋다.
또한, 제1 검출부(22)는, 예컨대, 연속되는 여러 장의 차분 화상을 서로 겹침으로써, 공의 궤적이 나타난 경우에는, 그 궤적의 방향이 소정 방향인지 여부를 판정한다. 도 22에 차분 화상을 5장 겹친 예를 도시한다. 도 22에서의 흰 동그라미의 각각은 각 차분 화상에 나타난 공에 대응하는 차분 영역이며, 차분 화상의 겹침에 의해, 파선의 화살표로 나타내는 공의 궤적이 나타난 예를 도시하고 있다.
소정 방향은, 예컨대, 투수가 투구를 했을 때에 던진 공이 향해 가는 편집 완료 영상(촬영 영상이라도 좋음) 상의 방향이다. 소정 방향은, 미리 정해 놓는 것으로 하여도 좋고, 타자나 포수, 구심(球審) 등의 인물의 촬영 화상 속의 위치를 특정하여, 특정한 인물의 위치에 의해서 정하는 것으로 하여도 좋다. 또한, 소정 방향은, 공의 궤적이 나타내는 방향이, 타자에 대한 투구인지 견제구인지를 구별할 수 있는 방향을 미리 정해 놓는 것으로 하여도 좋다. 예컨대, 도 23에 도시하는 바와 같이, 특정 컷트를 나타내는 프레임에 있어서, 화살표(120)는 타자에 대한 투구 방향을 나타내고, 화살표(122) 및 화살표(124)는 견제구의 방향을 나타낸다. 따라서, 도 23의 예에서는, 화살표(120)의 방향을 소정 방향으로서 정해 놓으면 된다. 한편, 공의 궤적을 검출하는 영역을 견제구도 검출할 수 있는 영역으로서 설정해 두고서, 검출된 공의 궤적이 타자에 대한 투구를 나타내는 궤적인지 견제구를 나타내는 궤적(도 23의 화살표(122) 또는 화살표(124)의 방향의 궤적)인지도 아울러 판정하도록 하여도 좋다. 이에 따라, 편집 완료 영상(촬영 영상이라도 좋음)에 있어서, 타자에 대한 투구인지 견제구인지를 구별할 수 있게 된다.
작성부(28)는 제1 검출부(22)에 의해 공의 궤적에 기초하여 검출된 1 구의 시작에 대응하는 프레임의 소정 프레임분 앞의 프레임을, 1 구의 시작을 나타내는 프레임으로 하는 메타 정보를 작성한다. 소정 프레임분 앞은, 과거의 시합 영상 등에 기초하여, 1 구의 시작부터 실제의 투구가 행해질 때까지의 시간에 대응한 프레임의 수를 미리 정해 놓으면 된다.
이 경우도, 동일한 특정 컷트 속에 복수의 투구 장면이 포함되어 있는 경우라도, 각각의 1 구의 시작을 나타내는 메타 정보를 작성할 수 있다. 또한, 볼 카운트 표시의 변화에 기초한 1 구의 시작을 나타내는 메타 정보의 작성에 더하여, 공의 궤적에 기초한 메타 정보의 작성을 실행하도록 하여도 좋다. 이 경우, 예컨대, 투 스트라이크 후에 타자가 파울을 친 경우와 같이, 볼 카운트 표시는 변화되지 않는 경우라도, 정밀도 좋게 1 구의 시작을 검출할 수 있다.
또한, 상기 각 실시형태에서는, 볼 카운트가 초기 상태 (0-0)가 되는 구간을, 1 타석의 시작을 나타내는 구간으로서 검출하는 경우에 관해서 설명했지만, 이 경우, 타자의 변경이 없는 장면이라도, 1 타석의 시작을 나타내는 구간으로서 검출될 수 있다. 그래서, 제2 검출부(24)는 연속되는 복수 구간의 각각의 볼 카운트 표시가 초기 상태를 나타내는 경우라도, 타자의 변경을 동반하지 않는 경우에는, 1 타석의 시작을 나타내는 구간으로서 검출하지 않도록 하여도 좋다.
구체적으로는, 제2 검출부(24)는 연속되는 앞의 구간과 뒤의 구간에서, 각 구간의 주자의 수, 아웃카운트 및 득점의 합계가 1 증가한 경우에는, 뒤의 구간도 1 타석의 시작을 나타내는 구간으로서 검출한다. 한편, 합계에 변화가 없는 경우에는, 제2 검출부(24)는 뒤의 구간을 1 타석의 시작을 나타내는 구간으로서 검출하지 않는다. 이것은, 주자의 수, 아웃카운트 및 득점의 합계가 1 증가한다는 것은, 타자가 변경되었음을 나타내고, 합계가 변화하지 않는 경우에는, 타자가 변경되지 않았음을 나타내게 되기 때문이다. 일례로서, 1 구 앞의 상황이, 주자수가 1, 아웃카운트가 0, 득점이 0이었던 경우에, 이번 투구에 대한 결과의 분류에 의한 타자의 변경 유무를, 도 24에 도시한다. 도 24에 도시하는, 안타, 적시 안타, 홈런, 아웃, 더블 플레이, 희생 플라이 스퀴즈, 희생타(진루만)는, 모두 야구 시합에서, 타자가 변경이 되는 이벤트이다. 한편, 견제, 폭투 등은, 야구 시합에서, 타자가 변경이 되지 않는 이벤트이다. 제2 검출부(24)는 도 24에 나타내는 정보를 기억부(46) 등에 유지하여, 타자의 변경 유무를 판정하는 것으로 하여도 좋다.
한편, 도 24는, 투구에 대한 결과의 분류에 의한 타자의 변경 유무를 판정하는 정보의 일례이며, 도 24의 양태에 한정되지 않는다. 예컨대, 도 24에서는, 설명을 위해, 1 구 앞의 상황을 명기하고 있지만, 제2 검출부(24)는 주자수, 아웃카운트, 특정, 합계 및 타자의 변경 유무를 나타내는 정보에 따라, 타자의 변경 유무를 판정할 수 있다. 또한, 도 24는 주자수가 1인 경우의 예를 도시하고 있지만, 주자수가 1 이외인 경우라도, 제2 검출부(24)는 전술한 처리와 같은 순서로, 타자의 변경 유무를 판정할 수 있다. 혹은, 타자의 변경 유무의 판정을, 예컨대, 스트라이크가 2 구 카운트되어 있는 상황에서 실행함으로써, 제2 검출부(24)는 파울 볼 등의 판정을 할 수도 있다.
제2 검출부(24)는, 도 25에 도시하는 바와 같이, 시합 상황을 나타내는 텔롭(82)으로부터, 출루 상황을 나타내는 출루 표시(126), 아웃카운트를 나타내는 아웃카운트 표시(12), 및 팀마다의 득점을 나타내는 득점 표시(130)를 추출한다. 그리고, 제2 검출부(24)는 추출한 출루 표시(126)가 나타내는 주자의 수, 아웃카운트 표시(128)가 나타내는 아웃카운트, 및 득점 표시(130)가 나타내는 공격중인 팀의 득점을 취득한다. 이들 정보는, 추출한 각 표시에 대하여, 패턴 매칭이나 문자 인식 처리 등을 하여 취득할 수 있다. 또한, 공격중인 팀은, 시합 상황을 나타내는 텔롭(82)의 현재의 이닝을 나타내는 이닝 표시(132)로부터 얻어지는 정보에 기초하여 판정할 수 있다.
이에 따라, 볼 카운트가 0-0인 경우라도, 시합 상황을 나타내는 표시의 변화에 기초하여, 타자의 변경을 동반하지 않는다고 판단되는 경우에는, 1 타석의 시작을 나타내는 구간으로서 검출하지 않도록 할 수 있어, 보다 정밀도 좋게 1 타석의 시작을 검출할 수 있다.
한편, 상기에서는, 주자의 수, 아웃카운트 및 득점 합계의 변화에 기초하여, 타자의 변경 유무를 판단하는 경우에 관해서 설명했지만, 이것에 한정되지 않는다. 주자의 수, 아웃카운트 및 득점의 패턴이 앞의 구간으로부터 어떻게 변화했는지를, 미리 정한 패턴과 비교함으로써 판단하여도 좋다. 예컨대, 주자의 수가 1 감소하고, 아웃카운트가 1 증가하고, 득점은 변화하지 않는다고 하는 패턴을, 타자의 변경이 없음을 나타내는 패턴으로서 정해 놓는다. 그리고, 주자의 수, 아웃카운트 및 득점의 앞의 구간으로부터의 변화가, 이 정한 패턴에 해당하는 경우에는, 뒤의 구간은 1 타석의 시작을 나타내는 구간으로서 검출하지 않도록 할 수 있다.
또한, 1 타석의 시작의 검출뿐만 아니라, 이닝의 시작을 검출하는 것으로 하여도 좋다. 예컨대, 제2 검출부(24)가 볼 카운트, 주자의 수 및 아웃카운트를 취득한다. 그리고, 볼 카운트 (0-0)이면서 아웃카운트 및 주자의 수가 0으로 전환되는 프레임 또는 타석을, 제2 검출부(24)가 이닝의 시작으로서 검출하는 것으로 하여도 좋다. 이에 따라, 1 타석의 시작의 검출뿐만 아니라, 이닝의 시작도 검출할 수 있다. 혹은, 제2 검출부(24)가 텔롭(82)의 현재의 이닝을 나타내는 이닝 표시(132)로부터 얻어지는 정보에 기초하여, 이닝이 변경되었음을 검지했을 때에, 변경이 검지된 프레임 또는 타석을 이닝의 시작으로서 검출하는 것으로 하여도 좋다.
또한, 상기 각 실시형태에서는, 투수의 배후에서 타자 방향을 촬영한 컷트를, 특정 컷트로 하는 경우에 관해서 설명했지만, 특정 컷트는 이것에 한정되지 않는다. 예컨대, 구심의 머리 부분에 비치된 카메라로부터 촬영된 컷트(구심으로부터 투수 방향을 촬영한 컷트) 등, 투수의 투구 장면에 사용되는 특징적인 카메라 앵글로 촬영된 컷트면 된다.
또한, 상기 각 실시형태에서는, 특정 컷트에 기초하여, 1 구의 시작을 나타내는 프레임 및 1 구의 끝을 나타내는 프레임의 각각을 검출하는 경우에 관해서 설명했지만, 이것에 한정되지 않는다. 예컨대, 1 구의 끝을 나타내는 프레임을, 다음 1 구를 나타내는 프레임의 소정 프레임분 앞의 프레임으로서 검출하여도 좋다.
또한, 야구 영상 메타 정보 작성 장치에 입력되는 영상에, 리플레이나 다이제스트가 포함되어 있는 경우에는, 이들을 제외한 부분으로부터 1 구의 시작을 나타내는 프레임을 검출하도록 하면 된다. 예컨대, 리플레이란, 이닝 중의 비교적 짧은 시간에, 직전의 플레이나 앞 타석의 영상 등을 재생하는 것이고, 다이제스트 영상은, 이닝 사이 등의 비교적 긴 시간에, 그때까지의 시합 상황을 되돌아보는 식의 영상을 재생하는 것이다. 리플레이나 다이제스트 영상 부분은, 예컨대, 리플레이나 다이제스트임을 나타내는 텔롭 등을 인식함으로써 제외할 수 있다.
또한, 리플레이 영상의 경우, 다른 카메라 앵글로 촬영된 영상이나, 일부를 줌한 영상을 재생하는 경우가 있다. 이러한 경우에는, 리플레이 영상이 특정 컷트로서 추출되지 않기 때문에, 1 구의 시작을 나타내는 프레임의 검출에 영향을 주지 않는다. 또한, 리플레이 영상으로서 슬로우 모션 영상이 사용되는 경우도 있다. 이러한 경우를 고려하여, 특정 컷트를 나타내는 프레임으로서 추출된 프레임으로부터 슬로우 모션 영상의 프레임을 제외하도록 하여도 좋다. 슬로우 모션 영상은, 예컨대 동일 프레임이 소정수 연속되는지 여부를 판정하는 등의 슬로우 모션 판정을 함으로써 제외할 수 있다.
또한, 상기 각 실시형태에서는, 배신 장치와 야구 영상 메타 정보 작성 장치를 포함하는 영상 배신 시스템을 예로 설명했지만, 이것에 한정되지 않는다. 배신 장치의 각 기능부와 야구 영상 메타 정보 작성 장치의 각 기능부를, 하나의 컴퓨터로 실현하도록 하여도 좋다.
또한, 야구 영상 메타 정보 작성 장치로부터의 출력을, 영상 배신 시스템 이외의 용도로 이용하여도 좋다.
또한, 상기에서는, 야구 영상 메타 정보 작성 프로그램(50)이 기억부(46)에, 배신 프로그램(70)이 기억부(66)에 미리 기억(인스톨)되어 있는 양태를 설명했지만, CD-ROM이나 DVD-ROM 등의 기억 매체에 기록된 형태로 제공하는 것도 가능하다.

Claims (11)

  1. 컴퓨터에,
    복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출된, 어느 타석에 관한 프레임군 중 하나 또는 복수의 프레임에 선수명의 표시가 포함되는 경우에, 표시된 해당 선수명을 상기 어느 타석에 있어서의 타자의 이름으로서 특정하는 처리와,
    특정한 상기 이름을 상기 어느 타석에 관한 프레임군에 대응하는 타자명으로서 기억부에 기억시키는 처리
    를 실행시키고,
    상기 선수명을 특정하는 처리에서는, 상기 하나 또는 복수의 프레임에 대하여 문자 인식 처리를 하여, 문자 정보를 추출하고, 미리 기억된 타자 리스트와 추출한 문자 정보를 대조하여 타자의 선수명을 특정하고,
    상기 어느 타석에 관한 프레임군은, 볼 카운트의 표시가 초기 상태에 대응하는 프레임을 기준으로 하여 추출되는 것을 특징으로 하는 매체에 저장된 정보 처리 프로그램.
  2. 삭제
  3. 제1항에 있어서, 볼 카운트의 표시가 초기 상태에 대응하는 프레임의 직전의 투구 장면에 대응하는 프레임을, 상기 프레임군의 선두 프레임으로서 추출하는 것을 특징으로 하는 매체에 저장된 정보 처리 프로그램.
  4. 컴퓨터가,
    복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출된, 어느 타석에 관한 프레임군 중 하나 또는 복수의 프레임에 선수명의 표시가 포함되는 경우에, 표시된 해당 선수명을 상기 어느 타석에 있어서의 타자의 이름으로서 특정하는 처리와,
    특정한 상기 이름을 상기 어느 타석에 관한 프레임군에 대응하는 타자명으로서 기억부에 기억시키는 처리
    를 실행하고,
    상기 선수명을 특정하는 처리에서는, 상기 하나 또는 복수의 프레임에 대하여 문자 인식 처리를 하여, 문자 정보를 추출하고, 미리 기억된 타자 리스트와 추출한 문자 정보를 대조하여 타자의 선수명을 특정하고,
    상기 어느 타석에 관한 프레임군은, 볼 카운트의 표시가 초기 상태에 대응하는 프레임을 기준으로 하여 추출되는 것을 특징으로 하는 정보 처리 방법.
  5. 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출된, 어느 타석에 관한 프레임군 중 하나 또는 복수의 프레임에 선수명의 표시가 포함되는 경우에, 표시된 해당 선수명을 상기 어느 타석에 있어서의 타자의 이름으로서 특정하는 특정부와,
    특정한 상기 이름을 상기 어느 타석에 관한 프레임군에 대응하는 타자명으로서 기억하는 기억부
    를 포함하고,
    상기 특정부는, 상기 하나 또는 복수의 프레임에 대하여 문자 인식 처리를 하여, 문자 정보를 추출하고, 미리 기억된 타자 리스트와 추출한 문자 정보를 대조하여 타자의 선수명을 특정하고,
    상기 어느 타석에 관한 프레임군은, 볼 카운트의 표시가 초기 상태에 대응하는 프레임을 기준으로 하여 추출되는 것을 특징으로 하는 정보 처리 장치.
  6. 야구 시합을 촬영한 복수의 프레임을 포함하는 영상으로부터, 투수의 투구 장면에 사용되는 카메라 앵글로 촬영된 특정 컷트를 나타내는 프레임이 연속되는 구간을 검출하는 제1 검출부와,
    상기 제1 검출부에 의해 검출된 구간으로부터, 그 구간 내의 적어도 하나의 프레임에 포함되는 볼 카운트 표시가 초기 상태를 나타내는 구간을, 1 타석의 시작을 나타내는 구간으로서 검출하는 제2 검출부와,
    상기 제2 검출부에 의해 검출된 1 타석의 시작을 나타내는 구간에 대응하는 프레임에 포함되는 선수 정보 표시에 기초하여, 선수의 식별 정보를 검출하는 제3 검출부와,
    상기 1 타석의 시작을 나타내는 구간으로부터 다음 1 타석의 시작을 나타내는 구간의 앞의 구간까지를, 상기 제3 검출부에 의해 검출된 식별 정보가 나타내는 선수의 1 타석으로 하는 메타 정보를 작성하는 작성부
    를 포함하고,
    상기 제3 검출부는 상기 프레임에 대하여 문자 인식 처리를 하여, 문자 정보를 추출하고, 상기 야구 시합에 출장하는 타자의 리스트와, 추출한 문자 정보를 대조하여 상기 선수의 식별 정보를 검출하는 것인 야구 영상 메타 정보 작성 장치.
  7. 제6항에 있어서, 상기 제3 검출부는, 상기 1 타석의 시작을 나타내는 구간에 대응하는 프레임을, 상기 1 타석의 시작을 나타내는 구간의 앞의 구간의 끝에서부터, 다음 1 타석의 시작을 나타내는 구간의 앞의 구간의 끝까지 포함되는 프레임으로 하는 것인 야구 영상 메타 정보 작성 장치.
  8. 삭제
  9. 제6항 또는 제7항에 있어서, 상기 타자의 리스트는 타순의 정보를 포함하고,
    상기 제3 검출부는, 상기 1 타석의 시작을 나타내는 구간에 대응하는 프레임에 상기 선수 정보 표시가 포함되지 않은 경우에, 상기 타자의 리스트에 포함되는 타순의 정보와, 앞의 1 타석의 시작을 나타내는 구간에 대응하여 검출된 선수의 식별 정보, 및 다음 1 타석의 시작을 나타내는 구간에 대응하여 검출된 선수의 식별 정보 중 적어도 한쪽에 기초하여, 대상 선수의 식별 정보를 추정하는 것인 야구 영상 메타 정보 작성 장치.
  10. 컴퓨터에,
    야구 시합을 촬영한 복수의 프레임을 포함하는 영상으로부터, 투수의 투구 장면에 사용되는 카메라 앵글로 촬영된 특정 컷트를 나타내는 프레임이 연속되는 구간을 검출하고,
    검출된 구간으로부터, 그 구간 내의 적어도 하나의 프레임에 포함되는 볼 카운트 표시가 초기 상태를 나타내는 구간을, 1 타석의 시작을 나타내는 구간으로서 검출하고,
    상기 1 타석의 시작을 나타내는 구간에 대응하는 프레임에 포함되는 선수 정보 표시에 기초하여, 선수의 식별 정보를 검출하고,
    상기 1 타석의 시작을 나타내는 구간으로부터 다음 1 타석의 시작을 나타내는 구간의 앞의 구간까지를, 검출된 식별 정보가 나타내는 선수의 1 타석으로 하는 메타 정보를 작성하는
    것을 포함하는 처리를 실행시키고,
    상기 선수의 식별 정보를 검출하는 것은 상기 프레임에 대하여 문자 인식 처리를 하여, 문자 정보를 추출하고, 상기 야구 시합에 출장하는 타자의 리스트와, 추출한 문자 정보를 대조하여 상기 선수의 식별 정보를 검출하는 것을 포함하는 것인 야구 영상 메타 정보 작성 방법.
  11. 컴퓨터에,
    야구 시합을 촬영한 복수의 프레임을 포함하는 영상으로부터, 투수의 투구 장면에 사용되는 카메라 앵글로 촬영된 특정 컷트를 나타내는 프레임이 연속되는 구간을 검출하고,
    검출된 구간으로부터, 그 구간 내의 적어도 하나의 프레임에 포함되는 볼 카운트 표시가 초기 상태를 나타내는 구간을, 1 타석의 시작을 나타내는 구간으로서 검출하고,
    상기 1 타석의 시작을 나타내는 구간에 대응하는 프레임에 포함되는 선수 정보 표시에 기초하여, 선수의 식별 정보를 검출하고,
    상기 1 타석의 시작을 나타내는 구간으로부터 다음 1 타석의 시작을 나타내는 구간의 앞의 구간까지를, 검출된 식별 정보가 나타내는 선수의 1 타석으로 하는 메타 정보를 작성하는
    것을 포함하는 처리를 실행시키기 위한 것이고,
    상기 선수의 식별 정보를 검출하는 것은 상기 프레임에 대하여 문자 인식 처리를 하여, 문자 정보를 추출하고, 상기 야구 시합에 출장하는 타자의 리스트와, 추출한 문자 정보를 대조하여 상기 선수의 식별 정보를 검출하는 것을 포함하는 것인 매체에 저장된 야구 영상 메타 정보 작성 프로그램.
KR1020140191976A 2014-01-20 2014-12-29 정보 처리 방법 및 장치 KR101696984B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-008172 2014-01-20
JP2014008172A JP6260292B2 (ja) 2014-01-20 2014-01-20 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20150087091A KR20150087091A (ko) 2015-07-29
KR101696984B1 true KR101696984B1 (ko) 2017-01-16

Family

ID=53545958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140191976A KR101696984B1 (ko) 2014-01-20 2014-12-29 정보 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US9681200B2 (ko)
JP (1) JP6260292B2 (ko)
KR (1) KR101696984B1 (ko)
TW (1) TWI563837B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6555155B2 (ja) * 2016-02-29 2019-08-07 富士通株式会社 再生制御プログラム、方法、及び情報処理装置
US10575036B2 (en) * 2016-03-02 2020-02-25 Google Llc Providing an indication of highlights in a video content item
JP2017187969A (ja) * 2016-04-07 2017-10-12 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP2018170001A (ja) * 2017-03-29 2018-11-01 西日本電信電話株式会社 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム
JP6462974B1 (ja) * 2018-08-20 2019-01-30 富士フイルムイメージングシステムズ株式会社 画像管理システム、画像管理方法、プログラム、及び画像管理装置
GB2579816B (en) * 2018-12-14 2021-11-10 Sony Interactive Entertainment Inc Player identification system and method
JP6854493B2 (ja) * 2019-07-12 2021-04-07 ジャングルＸ株式会社 情報提供装置、情報提供方法及び情報提供プログラム
CA3171181A1 (en) * 2020-02-13 2021-08-19 Edisn Inc. System and method for analyzing videos in real-time

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052003A (ja) 2001-06-04 2003-02-21 Sharp Corp 野球を内容とするビデオの処理方法
JP2007049662A (ja) 2005-08-10 2007-02-22 Shinzo Ito 端末装置よりインターネット通信網を介して、スポーツの動画像情報の情報取得要求を受け、前記端末装置へ情報取得要求を受けた動画像情報を伝達する方法および装置、および、プレイ動作の結果が判明する結果プレイ終了タイミングを画像認識する方法
JP2007124368A (ja) * 2005-10-28 2007-05-17 Matsushita Electric Ind Co Ltd セグメントメタデータ作成装置およびセグメントメタデータ作成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953056A (en) * 1996-12-20 1999-09-14 Whack & Track, Inc. System and method for enhancing display of a sporting event
JP2002335572A (ja) * 2001-05-09 2002-11-22 Asobous:Kk 移動体映像通信手段を用いた野球の観戦方法
JP2003264771A (ja) * 2002-03-06 2003-09-19 Sony Corp 信号記録再生装置、信号記録再生方法、並びに信号記録再生プログラムを記録している媒体
JP4401220B2 (ja) 2004-04-01 2010-01-20 富士通株式会社 ハイライトシーン抽出装置およびハイライトシーン配信システム
JP4276638B2 (ja) * 2005-04-28 2009-06-10 日本電信電話株式会社 映像編集装置、映像編集方法、映像編集プログラム、及びプログラムの記録媒体
KR100836197B1 (ko) * 2006-12-14 2008-06-09 삼성전자주식회사 동영상 자막 검출 장치 및 그 방법
US9141860B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
WO2011004381A1 (en) * 2009-07-08 2011-01-13 Yogesh Chunilal Rathod An apparatus, system, and method for automated production of rule based near live sports event in the form of a video film for entertainment
US9186548B2 (en) * 2009-07-20 2015-11-17 Disney Enterprises, Inc. Play sequence visualization and analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052003A (ja) 2001-06-04 2003-02-21 Sharp Corp 野球を内容とするビデオの処理方法
JP2007049662A (ja) 2005-08-10 2007-02-22 Shinzo Ito 端末装置よりインターネット通信網を介して、スポーツの動画像情報の情報取得要求を受け、前記端末装置へ情報取得要求を受けた動画像情報を伝達する方法および装置、および、プレイ動作の結果が判明する結果プレイ終了タイミングを画像認識する方法
JP2007124368A (ja) * 2005-10-28 2007-05-17 Matsushita Electric Ind Co Ltd セグメントメタデータ作成装置およびセグメントメタデータ作成方法

Also Published As

Publication number Publication date
TW201536039A (zh) 2015-09-16
KR20150087091A (ko) 2015-07-29
US9681200B2 (en) 2017-06-13
JP6260292B2 (ja) 2018-01-17
JP2015139017A (ja) 2015-07-30
US20150208138A1 (en) 2015-07-23
TWI563837B (en) 2016-12-21

Similar Documents

Publication Publication Date Title
KR101696984B1 (ko) 정보 처리 방법 및 장치
KR101966476B1 (ko) 추출 방법 및 장치
KR101891382B1 (ko) 추출 프로그램, 방법 및 장치
US9508012B2 (en) Extraction method and device
JP4839226B2 (ja) シーン区間分割装置
KR101701632B1 (ko) 판정 방법 및 장치
KR101792909B1 (ko) 정보 처리 방법 및 장치
US9934821B2 (en) Non-transitory computer-readable storage medium, playback control method, and playback control device
JP6303525B2 (ja) 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141229

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160307

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20160912

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160307

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20160912

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20160705

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20161220

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20161206

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20160912

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20160705

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170110

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170110

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20191217

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20201216

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20241021