KR101701632B1 - 판정 방법 및 장치 - Google Patents

판정 방법 및 장치 Download PDF

Info

Publication number
KR101701632B1
KR101701632B1 KR1020150119681A KR20150119681A KR101701632B1 KR 101701632 B1 KR101701632 B1 KR 101701632B1 KR 1020150119681 A KR1020150119681 A KR 1020150119681A KR 20150119681 A KR20150119681 A KR 20150119681A KR 101701632 B1 KR101701632 B1 KR 101701632B1
Authority
KR
South Korea
Prior art keywords
frames
frame
runners
consecutive frames
counts
Prior art date
Application number
KR1020150119681A
Other languages
English (en)
Other versions
KR20160025474A (ko
Inventor
아츠시 오구치
미호 사카이
소키치 후지타
다츠마 무라마츠
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20160025474A publication Critical patent/KR20160025474A/ko
Application granted granted Critical
Publication of KR101701632B1 publication Critical patent/KR101701632B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G06F17/30—
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

야구 시합을 촬영한 영상으로부터, 투구 장면을 판정한다.
기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 미리 정해진 특징을 가지며, 또한, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화가 검출되는, 연속하는 복수의 프레임을, 투구 장면으로서 판정한다.

Description

판정 방법 및 장치{DETERMINATION METHOD AND DEVICE}
본 발명은 판정 프로그램을 기억한 기억 매체, 판정 방법, 및 판정 장치에 관한 것이다.
종래, 야구 시합을 촬영한 영상을, 라이브 전송하거나, 비디오·온·디멘드(Video on Demand, VoD) 콘텐츠로서 전송하거나 하는 서비스가 존재한다. VoD 콘텐츠로서 전송하는 경우, 예컨대, 시청자가 원하는 이닝을 선택하여 시청 가능한 형식으로, 시청자에게 제공하는 것이 행해지고 있다. 이러한 VoD 콘텐츠를 제공하기 위해, 사람손에 의해 영상을 이닝마다 잘라내고 있다.
또한, 야구 시합을 촬영한 영상으로부터 하이라이트 장면을 추출하는 기술이 제안되어 있다.
특허문헌 1: 일본 특허 공개 제2005-295296호 공보
그러나, 예컨대 전술한 바와 같이, 남의 손에 의해 영상을 이닝마다 잘라내는 경우는, 1이닝의 영상을 잘라내는 데 10분 정도 걸려 버린다. 또한, 보다 상세한 VoD 콘텐츠로서, 예컨대, 투수에 의한 투구 1구마다의 큐잉(queing)이 가능한 VoD 콘텐츠를 상정하면, 1구마다 영상을 잘라낼 필요가 있어, 사람손에 의한 작업 공정수는 증가한다.
하나의 측면으로서, 본 발명은, 야구 시합을 촬영한 영상으로부터, 투구 장면을 판정하는 것을 목적으로 한다.
하나의 양태에서는, 기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 투구 장면을 판정한다. 이 판정은, 미리 정해진 특징을 가지고, 또한, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화가 검출되는, 연속하는 복수의 프레임을 판정함으로써 행한다.
도 1은 본 실시형태에 따른 영상 전송 시스템의 개략 구성을 나타내는 블록도이다.
도 2는 본 실시형태에 따른 판정 장치 및 전송 장치의 기능 블록도이다.
도 3은 투구 구도 프레임 및 편집의 일례를 설명하기 위한 도면이다.
도 4는 카운트 표시의 일례를 나타내는 도면이다.
도 5는 투구의 시작을 나타내는 프레임의 판정을 설명하기 위한 도면이다.
도 6은 투구의 시작을 나타내는 프레임의 판정을 설명하기 위한 도면이다.
도 7은 투구 구도 장면의 개시 프레임이 투구의 시작을 나타내는 프레임으로서 판정되지 않는 경우를 설명하기 위한 도면이다.
도 8은 견제 장면을 설명하기 위한 도면이다.
도 9는 투구 결과의 판정을 설명하기 위한 도면이다.
도 10은 메타 정보 파일의 일례를 나타내는 도면이다.
도 11은 판정 장치로서 기능하는 컴퓨터의 일례를 나타내는 개략 블록도이다.
도 12는 전송 장치로서 기능하는 컴퓨터의 일례를 나타내는 개략 블록도이다.
도 13은 편집 처리의 일례를 나타내는 흐름도이다.
도 14는 판정 처리의 일례를 나타내는 흐름도이다.
도 15는 투구 판정 처리의 일례를 나타내는 흐름도이다.
도 16은 전송 처리의 일례를 나타내는 흐름도이다.
도 17은 라이브 전송 시의 처리를 설명하기 위한 도면이다.
도 18은 카운트 표시에 이펙트가 가해져 있는 경우의 카운트 정보의 변화의 검출을 설명하기 위한 도면이다.
이하, 도면을 참조하여 본 발명에 따른 실시형태의 일례를 상세하게 설명한다. 본 실시형태에서는, 본 발명에 따른 판정 장치를, 영상 전송 시스템에 적용한 예에 대해서 설명한다.
도 1에 나타내는 바와 같이, 본 실시형태에 따른 영상 전송 시스템(10)은, 판정 장치(20)와, 전송 장치(30)와, 사용자 단말(40)을 포함한다. 판정 장치(20)와, 전송 장치(30)와, 사용자 단말(40)은, 서로 네트워크를 통해 접속되어 있다.
사용자 단말(40)은, 영상을 표시하는 표시부 및 정보를 입력하는 입력부를 구비한 장치이며, 예컨대, 퍼스널 컴퓨터(PC), 노트형 PC, 타블렛 단말, 스마트 폰 등이다. 또한, 도 1에서는, 사용자 단말(40)을 1대만 표기하고 있지만, 사용자 단말은 복수대여도 좋다.
영상 전송 시스템(10)에서는, 판정 장치(20)에 의해 작성된 투구 장면에 관한 메타 정보가 부가된 영상을, 전송 장치(30)에 의해, 네트워크를 통해, 사용자 단말(40)에 전송한다. 도 2에 나타내는 바와 같이, 판정 장치(20)는, 검출부(21)와, 판정부(22)와, 작성부(23)를 포함한다. 또한, 전송 장치(30)는, 편집부(31)와, 전송부(32)를 포함한다.
우선, 전송 장치(30)의 각 부에 대해서 상세하게 설명한다.
편집부(31)는, 야구 시합을 촬영한 영상(이하, 「촬영 영상」이라고 함)을 취득한다. 촬영 영상은, 예컨대 30 fps나 60 fps 등의 프레임 레이트로 촬영된 영상이며, 복수의 프레임을 포함한다. 각 프레임에는, 촬영 영상의 촬영 개시로부터의 경과 시간으로 나타내는 프레임 시간이 대응시켜져 있다. 본 실시형태에서는, 프레임 시간은, 프레임의 식별 정보로서도 이용된다.
편집부(31)는, 도시하지 않는 표시 장치 및 입력 장치를 이용하여 오퍼레이터의 조작에 의해 지시된 편집 내용을, 화상 처리에 의해 촬영 영상에 적용한다. 편집 내용으로서는, 예컨대 도 3에 나타내는 바와 같이, 촬영 영상의 미리 정해진 장면에 대응하는 각 프레임(90)에 대하여, 시합 상황을 나타내는 카운트 표시(92)를 부가하는 것을 포함한다.
카운트 표시(92)는, 볼 카운트, 스트라이크 카운트, 아웃 카운트, 주자의 상황, 및 팀마다의 현재의 득점을 포함하는 카운트 정보를 나타내는 표시이다. 카운트 표시(92)는, 예컨대 도 4에 나타내는 바와 같이, 볼 카운트를 나타내는 볼 카운트 표시(95), 및 스트라이크 카운트를 나타내는 스트라이크 카운트 표시(96)를 포함한다. 또한, 카운트 표시(92)는, 아웃 카운트를 나타내는 아웃 카운트 표시(97), 주자의 상황을 나타내는 주자 표시(98), 및 팀마다의 현재의 득점을 나타내는 득점 표시(99)를 포함한다. 또한, 카운트 표시(92)의 포맷은 도 4의 예에 한정되지 않고, 볼 카운트, 스트라이크 카운트, 아웃 카운트, 주자의 상황, 및 팀마다의 현재의 득점을 포함하는 카운트 정보를 나타내는 표시이면 좋다.
또한, 편집 내용은 카운트 표시(92)의 부가에 한정되지 않고, 성명이나 프로필 등의 선수 정보를 나타내는 텔롭의 부가 등, 여러가지 내용을 포함한다. 이하에서는, 촬영 영상에 대하여 편집부(31)에 의한 편집이 행해진 영상을 「편집 완료 영상」이라고 한다. 편집부(31)는, 편집 완료 영상을, 판정 장치(20)에 송신한다.
전송부(32)는, 판정 장치(20)에 의해 작성된 메타 정보가 부가된 영상(이하, 「메타 정보를 갖는 영상」이라고 함. 상세한 것은 후술)을 취득한다. 전송부(32)는, 메타 정보를 갖는 영상을 미리 정해진 규격에 따른 전송용 영상으로 변환하여, 전송처의 사용자 단말(40)에 전송한다.
다음에, 판정 장치(20)의 각 부에 대해서 상세하게 설명한다.
검출부(21)는, 전송 장치(30)로부터 송신된 편집 완료 영상을 취득한다. 검출부(21)는, 편집 완료 영상에 포함되는 복수의 프레임의 각각으로부터, 투수의 투구 장면에 사용되는 카메라 앵글로 촬영된 구도의 프레임을, 투구 구도 프레임으로서 검출한다. 본 실시형태에서는, 도 3에 나타내는 바와 같이, 투수의 배후로부터 타자 방향을 촬영한 구도의 프레임을, 투구 구도 프레임으로 하는 경우에 대해서 설명한다.
구체적으로는, 검출부(21)는, 프레임마다 화상 특징을 추출한다. 화상 특징이란, 프레임 내의 각 화소의 휘도나 색 등의 화소 정보에 의해 나타내는 특징이다. 그리고, 검출부(21)는, 미리 준비된 투구 구도 프레임으로부터 추출된 기준 화상 특징과, 편집 완료 영상의 각 프레임으로부터 추출한 추출 화상 특징의 유사도를 구한다. 검출부(21)는, 기준 화상 특징과의 유사도가 미리 정해진 값 이상이 되는 추출 화상 특징을 갖는 프레임을, 투구 구도 프레임으로서 추출한다.
또한, 검출부(21)는, 화상 특징으로서, 화상의 구도(구성)를 나타내는 특징, 예컨대 색이나 휘도의 배치나 분포를 나타내는 특징, 웨이블릿 변환에 의해 얻어지는 특징 등을 이용할 수 있다. 이러한 화상 특징을 추출하는 경우는, 각 프레임의 전체로부터 추출하여도 좋고, 각 프레임의 일부(예컨대, 촬영 영상에 포함되는 구장의 펜스나 벽면 부분)의 특징을 추출하여도 좋다. 실제의 촬영 영상에서는, 동일한 투구 구도 프레임이어도, 카메라 앵글의 약간의 차이, 선수가 서 있는 위치의 차이, 배경의 간판의 변화 등, 화상의 구도에 다소의 차이가 발생하고 있는 경우가 있다. 프레임 전체로부터 화상 특징을 추출한 경우에는, 이러한 화상의 구도에 발생하는 다소의 차이의 영향을 억제한 화상 특징을 추출할 수 있다. 한편, 프레임의 일부로부터 화상 특징을 추출하는 경우에는, 화상의 구도에 다소의 차이가 발생하고 있는 영역, 예컨대 배경의 간판을 나타내는 영역을 제외한 영역으로부터 화상 특징을 추출한다. 이와 같이 추출된 화상 특징을 이용함으로써, 유사성 판정의 정밀도를 향상시킬 수 있다.
또한, 구장마다 상이한 배경이나 선수가 착용하는 유니폼의 색의 차이, 방송국마다 다른 텔롭의 포맷 등을 고려하여, 복수 종류의 기준 화상 특징을 준비해 두어도 좋다. 이 경우, 검출부(21)는, 편집 완료 영상과 함께, 구장, 팀, 방송국 등의 정보를 취득하고, 취득한 정보에 따른 기준 화상 특징을 선택하여 이용하도록 하면 좋다. 또한, 카메라 앵글의 차이에 대해서, 투수나 타자의 우세손에 따라, 카메라 앵글이나 화상의 특징에 차이가 발생하는 것이 생각된다. 그 때문에, 투수나 타자의 우세손별의 기준 화상 특징을 준비하는 것으로 하여도 좋다. 예컨대, 투수가 좌투 또한 타자가 좌타인 경우, 투수가 좌투 또한 타자가 우타인 경우, 투수가 우투 또한 타자가 좌타의 경우, 및 투수가 우투 또한 타자가 우타인 경우의 4패턴을 준비해 둘 수 있다. 그리고, 준비한 기준 화상 특징 중 어느 하나에 합치하는 경우에, 투구 구도 프레임으로서 추출하는 것으로 하여도 좋다.
또한, 검출부(21)는, 각 프레임으로부터, 카운트 표시(92)를 추출하여, 카운트 표시(92)가 나타내는 카운트 정보를 검출한다. 예컨대, 검출부(21)는, 카운트 표시(92)가 표시되는 영역으로서 미리 정해진 프레임 내의 영역으로부터, 카운트 표시(92)를 추출한다. 또는, 미리 정해진 카운트 표시(92)의 포맷을 이용한 패턴 매칭 등에 따라, 프레임 내로부터 카운트 표시(92)를 추출한다. 그리고, 검출부(21)는, 추출한 카운트 표시(92)로부터, 패턴 매칭이나 문자 인식 처리 등에 의해, 볼 카운트 표시(95)의 영역을 특정하며, 볼 카운트 표시(95)가 나타내는 볼 카운트를 검출한다. 마찬가지로, 검출부(21)는, 스트라이크 카운트 표시(96)로부터 스트라이크 카운트를, 아웃 카운트 표시(97)로부터 아웃 카운트를, 주자 표시(98)로부터 주자의 상황을, 및 득점 표시(99)로부터 득점을 검출한다.
검출부(21)는, 투구 구도 프레임의 검출 결과, 및 프레임마다 검출한 카운트 정보를, 프레임 정보 테이블(26)에 기록한다. 프레임 정보 테이블(26)의 일례를 도 5에 나타낸다. 도 5의 예에서는, 프레임 시간으로 식별되는 프레임마다, 「구도 판정」, 「볼」, 「스트라이크」, 「아웃」, 「주자」, 및 「득점」의 항목을 포함한다. 검출부(21)는, 투구 구도 프레임으로서 검출한 프레임에 대응하는 「구도 판정」의 항목에, 「TRUE」를 기록한다. 투구 구도 프레임으로서 검출되지 않은 프레임에 대응하는 「구도 판정」의 항목은 블랭크로 한다. 또한, 검출부(21)는, 카운트 정보로서 검출한 볼 카운트, 스트라이크 카운트, 아웃 카운트, 주자의 상황, 및 득점의 각각을, 대응하는 「볼」, 「스트라이크」, 「아웃」, 「주자」, 및 「득점」의 항목의 각각에 기록한다.
또한, 도 5 및 후술하는 도 6 및 도 7에서는, 설명을 간단하게 하기 위해, 프레임 시간을 0.1초 피치로서 표현하고 있지만, 예컨대, 촬영 영상의 프레임 레이트가 30 fps인 경우에는 프레임 시간은 약 0.03초 피치이다. 또한, 촬영 영상의 프레임 레이트가 60 fps인 경우에는 프레임 시간은 약 0.017초 피치이다.
판정부(22)는, 검출부(21)에 의해 기록된 프레임 정보 테이블(26)을 참조하여, 연속하는 복수의 투구 구도 프레임으로 이루어지는 프레임군을 투구 구도 장면으로서 특정한다. 또한, 판정부(22)는, 투구 구도 장면에 포함되는 어느 하나의 프레임 사이에서, 카운트 정보가 변화하였는지의 여부를 판정한다. 카운트 정보가 변화한 경우에는, 판정부(22)는, 그 투구 구도 장면은, 투수에 의한 투구가 1구 행해진 것을 나타내고 있다고 판정하여, 투구 구도 장면의 개시 프레임(선두 프레임)을, 투구의 시작을 나타내는 프레임으로서 판정한다.
예컨대, 도 5의 예에서는, 판정부(22)는, 우선, 프레임 시간=128.3∼130.0에 포함되는 프레임군에 의해 나타내는 장면을, 투구 구도 장면으로서 특정한다. 이 투구 구도 장면 내에서는, 프레임 시간=129.4의 프레임과, 프레임 시간=129.5의 프레임 사이에서, 스트라이크 카운트가 변화하고 있다. 판정부(22)는, 이 변화를 검출하면, 투구 구도 장면의 개시 프레임인 프레임 시간=128.3의 프레임을, 투구의 시작을 나타내는 프레임으로서 판정한다.
또한, 카운트 정보의 변화에 대해서는, 투구 구도 장면으로서 특정된 프레임군의 각 프레임에 대해서 판정을 행하여도 좋고, 투구 구도 장면으로서 특정된 프레임군의 일부를 샘플로서 선택하여 판정을 행하여도 좋다. 또한, 투구 구도 장면 내에서 카운트 정보가 변화하는 경우는, 투구 구도 장면으로서 특정된 프레임군의 개시 프레임과 최종 프레임(최후미의 프레임)에서 카운트 정보가 변화한다. 그 때문에, 개시 프레임과 최종 프레임(최후미의 프레임)을 비교하여 카운트 정보의 변화의 판정을 행하는 것으로 하여도 좋다. 개시 프레임과 최종 프레임(최후미의 프레임)을 비교하여 카운트 정보의 변화의 판정을 행하는 경우는, 2프레임분의 판정에 의해, 투구 구도 장면 내에서 투구가 이루어졌는지의 여부를 판정할 수 있다.
상기 판정 방법에서는, 카운트 표시(92)가 변화하기 전에 카메라 앵글이 변한 경우, 즉 투구 구도 장면이 아니게 된 경우에는, 투수가 1구를 던진 경우라도, 투구의 시작을 판정할 수 없는 경우가 있다. 예컨대, 타자가 파울을 친 경우는, 투 스트라이크까지는 스트라이크 카운트 표시(96)가 변화하지만, 스트라이크 카운트 표시(96)가 변화하기 전에, 타구의 행방을 쫓는 카메라 앵글로 전환하는 경우가 많다. 이 경우, 스트라이크 카운트의 변화는, 투구 구도 장면 내에 나타나지 않기 때문에, 상기 판정 방법에서는 투구의 시작을 판정할 수 없다.
또한, 타자에 의한 타격이 행해진 경우에는, 그 결과가 아웃인지 히트인지에 따라, 아웃 카운트, 주자의 상황, 및 득점 중 적어도 하나가 변화한다. 그러나, 이러한 경우에는, 아웃 카운트 표시(97), 주자 표시(98), 및 득점 표시(99) 중 어느 하나가 변화하기 전에, 타구나 주자의 행방을 쫓는 카메라 앵글로 변화할 가능성이 높다. 이 경우도, 상기 판정 방법에서는 투구의 시작을 판정할 수 없다.
또한, 투수의 투구 결과가 볼 또는 스트라이크였던 경우에는, 볼 카운트 표시(95) 또는 스트라이크 카운트 표시(96)가 변화한다. 그러나, 포수가 포구 직후에 어느 하나의 베이스에 송구한 경우에는, 볼 카운트 표시(95) 또는 스트라이크 카운트 표시(96)가 변화하기 전에, 포수에 의한 송구처의 베이스 부근을 촬영하는 카메라 앵글로 변화할 가능성이 높다. 이 경우도, 상기 판정 방법에서는 투구의 시작을 판정할 수 없다.
그래서, 판정부(22)는, 판정 대상의 투구 구도 장면 내에서 카운트 정보의 변화가 검출되지 않은 경우에는, 판정 대상의 투구 구도 장면의 최종 프레임과, 다음 투구 구도 장면의 개시 프레임에서 카운트 정보를 비교한다. 판정부(22)는, 양프레임 사이에서 카운트 정보가 변화하고 있는 것을 검출한 경우에는, 판정 대상의 투구 구도 장면의 개시 프레임을, 투구의 시작을 나타내는 프레임으로서 판정한다. 또한, 카운트 표시(92)가 곧바로 변화하지 않는 것을 고려하여, 판정 대상의 투구 구도 장면의 최종 프레임과 비교하는 대상의 프레임을, 다음 투구 구도 장면의 개시 프레임으로부터 미리 정해진 수만큼의 프레임으로 하여도 좋다.
예컨대, 도 6에 나타내는 바와 같은 프레임 정보 테이블(26)에 있어서, 프레임 시간=128.3∼130.6에 포함되는 프레임군이 판정 대상의 투구 구도 장면으로서 특정되었다고 한다. 또한, 프레임 시간=131.1 이후의 프레임군이, 판정 대상의 투구 구도 장면의 다음 투구 구도 장면으로서 특정되었다고 한다. 판정 대상의 투구 구도 장면 내에서는, 프레임 사이에서 카운트 정보의 변화가 검출되지 않는다. 그래서, 판정부(22)는, 판정 대상의 투구 구도 장면의 최종 프레임인 프레임 시간=130.6의 프레임과, 다음 투구 구도 장면의 개시 프레임인 프레임 시간=131.1의 프레임에서 카운트 정보를 비교한다. 양프레임 사이에서, 스트라이크 카운트가 변화하고 있기 때문에, 판정부(22)는, 판정 대상의 투구 구도 장면의 개시 프레임인 프레임 시간=128.3의 프레임을, 투구의 시작을 나타내는 프레임으로서 판정한다.
즉, 도 7에 나타내는 바와 같이, 상기 어느 판정 방법에서도 카운트 정보의 변화가 검출되지 않은 경우에는, 투구 구도 장면의 개시 프레임은, 투구의 시작을 나타내는 프레임으로서 판정되지 않는다. 이것은, 투수에 의한 투구가 행해지기 전에, 카메라 앵글에 변경이 있었던 경우, 즉 투구 구도 장면이 일단 중단된 경우이다.
이러한 경우에 해당하는 예로서는, 투수가 견제구를 던진 경우 등이 있다. 이 경우, 예컨대 도 8에 나타내는 바와 같이, 투구 구도 장면(도 8의 상단의 도면), 견제처의 베이스 부근의 장면(도 8의 중단의 도면), 다음의 투구 구도 장면(도 8의 하단의 도면)에서 장면이 전환된다. 이 경우, 투수의 투구가 행해지기 전에 투구 구도 장면이 중단되게 되지만, 카운트 정보의 변화는 검출되지 않기 때문에, 그 투구 구도 장면의 개시 프레임이, 투구의 시작을 나타내는 프레임으로서 판정되는 경우는 없다.
마찬가지로, 예컨대, 투수가 투구 자세를 취한 후, 일단 플레이트를 벗어난 경우 등은, 투구 구도 장면으로부터 투수의 업 등의 장면으로 전환하는 경향이 있다. 이 경우도 견제의 경우와 마찬가지로, 투수의 투구가 행해지기 전에 투구 구도 장면이 중단되게 되지만, 카운트 정보의 변화는 검출되지 않기 때문에, 그 투구 구도 장면의 개시 프레임이, 투구의 시작을 나타내는 프레임으로서 판정되는 일은 없다.
이러한 견제 장면이나, 투수가 플레이트를 벗어나는 장면 등은, 투구 장면만을 추출하고자 하는 경우에는, 소위 노이즈가 되는 장면이다. 본 실시형태에서는, 전술한 바와 같이, 카운트 정보의 변화도 이용하여 투구의 시작을 나타내는 프레임을 판정한다. 이에 의해, 투구 구도 장면의 개시 프레임을 투구의 시작을 나타내는 프레임으로서 단순히 판정하는 경우에는 제거할 수 없는 노이즈가 되는 장면을 제거하여, 투구의 시작을 판정할 수 있다.
또한, 판정부(22)는, 투구 구도 장면에 포함되는 모든 프레임에서, 어떤 카운트 정보도 검출되지 않은 경우에는, 그 투구 구도 장면은 리플레이라고 판정하고, 그 투구 구도 장면의 개시 프레임을 투구의 시작을 나타내는 프레임으로서 판정하지 않는다. 또한, 본 실시형태에서는, 리플레이 시에는, 카운트 표시(92)가 표시되지 않는 것을 이용하기 때문에, 프레임 정보 테이블(26)에 기록된 카운트 정보에 기초하여 리플레인지의 여부를 판정할 수 있다. 또한, 리플레이의 판정 방법은 이 방법에 한정되지 않고, 카운트 정보와는 별도로, 프레임으로부터 「Replay」나 「VTR」 등의 리플레이를 나타내는 표시나, 장식 프레임 등의 특수한 가공을 검출하여, 리플레이인지의 여부를 판정하여도 좋다.
또한, 판정부(22)는, 투구 구도 장면 내, 또는 다음의 투구 구도 장면의 개시 프레임에 있어서의 카운트 정보의 변화를 검출한 경우에는, 도 9에 나타내는 바와 같이, 그 카운트 정보의 변화에 기초하여, 투구 결과를 판정한다. 예컨대, 도 5의 경우에서는, 프레임 시간=129.4의 프레임의 카운트 정보와, 프레임 시간=129.5의 프레임의 카운트 정보에서는, 스트라이크 카운트가 1 증가하고 있다. 따라서, 판정부(22)는, 투구의 시작으로서 판정한 프레임 시간=128.3의 프레임으로부터 시작되는 투구 장면의 투구 결과는, 「스트라이크」라고 판정한다.
마찬가지로, 도 6의 경우에서는, 프레임 시간=130.6의 프레임의 카운트 정보와, 프레임 시간=131.1의 프레임의 카운트 정보에서는, 스트라이크 카운트가 1 증가하고 있다. 따라서, 판정부(22)는, 투구의 시작으로서 판정한 프레임 시간=128.3의 프레임으로부터 시작되는 투구 장면의 투구 결과는, 「스트라이크」라고 판정한다.
작성부(23)는, 판정부(22)에 의한 판정 결과에 기초하여, 투구 장면에 관한 메타 정보를 작성한다. 구체적으로는, 작성부(23)는, 판정부(22)에 의해 판정된 투구의 시작을 나타내는 프레임의 프레임 시간에, 투구의 시작을 나타내는 정보와, 그 프레임으로부터 시작되는 투구 장면에 대해서 판정된 투구 결과의 정보를 대응시킨 메타 정보를 작성한다. 작성부(23)는, 판정부(22)에 의해 투구의 시작을 나타내는 프레임으로서 판정된 프레임의 각각에 대해서, 메타 정보를 작성한다.
또한, 작성부(23)는, 작성한 복수의 메타 정보를, 메타 정보에 포함되는 프레임 시간순으로 기록한 메타 정보 파일(27)을 작성한다. 메타 정보 파일(27)은, 예컨대 csv(Comma-Separated Values) 형식의 파일로서 작성할 수 있다. 도 10에, 메타 정보 파일(27)의 일례를 나타낸다. 도 10의 예에서는, 각 행이 하나의 메타 정보를 나타내고, 「투구」의 항목이 투구의 시작을 나타내는 정보, 「투구 결과」의 항목이 투구 결과의 정보이다.
또한, 여기서는, 프레임 시간을 이용한 메타 정보를 작성하는 경우에 대해서 설명하였지만, 프레임 번호 등의 각 프레임을 식별하기 위한 다른 정보를 이용하여, 메타 정보를 작성하여도 좋다.
작성부(23)는, 작성한 메타 정보 파일(27)을 편집 완료 영상에 부가하여, 메타 정보를 갖는 영상으로서 전송 장치(30)에 송신한다.
판정 장치(20)는, 예컨대 도 11에 나타내는 컴퓨터(50)로 실현할 수 있다. 컴퓨터(50)는 CPU(51), 일시 기억 영역으로서의 메모리(52), 및 불휘발성의 기억부(53)를 구비한다. 또한, 컴퓨터(50)는, 표시 장치 및 입력 장치 등의 입출력 장치(58)가 접속되는 입출력 인터페이스(I/F)(54)를 구비한다. 또한, 컴퓨터(50)는, 기록 매체(59)에 대한 데이터의 판독 및 기록을 제어하는 read/write(R/W)부(55), 및 인터넷 등의 네트워크에 접속되는 네트워크 I/F(56)를 구비한다. CPU(51), 메모리(52), 기억부(53), 입출력 I/F(54), R/W부(55), 및 네트워크 I/F(56)는, 버스(57)를 통해 서로 접속된다.
기억부(53)는 HDD(Hard Disk Drive), SSD(solid state drive), 플래시 메모리 등에 의해 실현된다. 기억 매체로서의 기억부(53)에는, 컴퓨터(50)를 판정 장치(20)로서 기능시키기 위한 판정 프로그램(60)이 기억된다. CPU(51)는, 판정 프로그램(60)을 기억부(53)로부터 읽어내어 메모리(52)에 전개하여, 판정 프로그램(60)이 갖는 프로세스를 순차 실행한다.
판정 프로그램(60)은, 검출 프로세스(61)와, 판정 프로세스(62)와, 작성 프로세스(63)를 갖는다. CPU(51)는, 검출 프로세스(61)를 실행함으로써, 도 2에 나타내는 검출부(21)로서 동작한다. 또한, CPU(51)은, 판정 프로세스(62)를 실행함으로써, 도 2에 나타내는 판정부(22)로서 동작한다. 또한, CPU(51)는, 작성 프로세스(63)를 실행함으로써, 도 2에 나타내는 작성부(23)로서 동작한다. 이에 의해, 판정 프로그램(60)을 실행한 컴퓨터(50)가, 판정 장치(20)로서 기능하게 된다.
또한, 전송 장치(30)는, 예컨대 도 12에 나타내는 컴퓨터(70)로 실현할 수 있다. 컴퓨터(70)는 CPU(71), 메모리(72), 불휘발성의 기억부(73), 입출력 장치(78)가 접속되는 입출력 I/F(74)를 구비한다. 또한, 컴퓨터(70)는, 기록 매체(79)에 대한 데이터의 판독 및 기록을 제어하는 R/W부(75), 및 인터넷 등의 네트워크에 접속되는 네트워크 I/F(76)를 구비한다. CPU(71), 메모리(72), 기억부(73), 입출력 I/F(74), R/W부(75), 및 네트워크 I/F(76)는, 버스(77)를 통해 서로 접속된다.
또한, 전송 장치(30)를 실현하는 컴퓨터(70)와 판정 장치(20)를 실현하는 컴퓨터(50)는, 컴퓨터(70)의 네트워크 I/F(78), 네트워크, 및 컴퓨터(50)의 네트워크 I/F(58)를 통해 접속된다.
기억부(73)는 HDD, SSD, 플래시 메모리 등에 의해 실현된다. 기억 매체로서의 기억부(73)에는, 컴퓨터(70)를 전송 장치(30)로서 기능시키기 위한 전송 프로그램(80)이 기억되어 있다. CPU(71)는, 전송 프로그램(80)을 기억부(73)로부터 읽어내어 메모리(72)에 전개하여, 전송 프로그램(80)이 갖는 프로세스를 순차 실행한다.
전송 프로그램(80)은, 편집 프로세스(81)와, 전송 프로세스(82)를 갖는다. CPU(71)는, 편집 프로세스(81)를 실행함으로써, 도 2에 나타내는 편집부(31)로서 동작한다. 또한, CPU(71)는, 전송 프로세스(82)를 실행함으로써, 도 2에 나타내는 전송부(32)로서 동작한다. 이에 의해, 전송 프로그램(80)을 실행한 컴퓨터(70)가, 전송 장치(30)로서 기능하게 된다.
또한, 판정 장치(20) 및 전송 장치(30)의 각각은, 예컨대 반도체 집적 회로, 보다 자세하게는 ASIC(Application Specific Integrated Circuit) 등으로 실현하는 것도 가능하다.
다음에, 본 실시형태에 따른 영상 전송 시스템(10)의 작용에 대해서 설명한다. 촬영 영상이 전송 장치(30)에 입력되면, 전송 장치(30)가, 도 13에 나타내는 편집 처리를 실행하여, 편집 완료 영상을 출력한다. 다음에, 편집 완료 영상이 판정 장치(20)에 입력되면, 판정 장치(20)가, 도 14에 나타내는 판정 처리를 실행하여, 메타 정보를 갖는 영상을 출력한다. 그리고, 메타 정보를 갖는 영상이 전송 장치(30)에 입력되면, 전송 장치(30)가, 도 16에 나타내는 전송 처리를 실행하여, 전송용 영상을 출력한다. 이하, 각 처리에 대해서 상세하게 설명한다.
우선, 도 13에 나타내는 편집 처리의 단계 S10에서, 편집부(31)가, 촬영 영상을 취득한다. 다음에, 단계 S12에서, 편집부(31)가, 입출력 장치(78)를 이용하여 오퍼레이터의 조작에 의해 지시된 편집 내용을, 화상 처리에 의해 촬영 영상에 적용한다. 다음에, 단계 S14에서, 편집부(31)가, 편집 완료 영상을, 판정 장치(20)에 송신하여, 편집 처리는 종료된다.
다음에, 도 14에 나타내는 판정 처리의 단계 S20에서, 검출부(21)가, 전송 장치(30)로부터 송신된 편집 완료 영상을 취득한다.
다음에, 단계 S22에서, 검출부(21)가, 편집 완료 영상에 포함되는 복수의 프레임의 각각으로부터, 투구 구도 프레임을 검출한다. 구체적으로는, 검출부(21)가, 편집 완료 영상에 포함되는 복수의 프레임의 각각으로부터 추출 화상 특징을 추출한다. 그리고, 검출부(21)는, 미리 준비된 기준 화상 특징과 추출 화상 특징의 유사도를 구하고, 기준 화상 특징과의 유사도가 미리 정해진 값 이상이 되는 추출 화상 특징을 갖는 프레임을, 투구 구도 프레임으로서 추출한다.
다음에, 단계 S24에서, 검출부(21)가, 패턴 매칭 등을 이용하여, 각 프레임으로부터 카운트 표시(92)를 추출한다. 그리고, 검출부(21)는, 패턴 매칭이나 문자 인식 처리 등을 이용하여, 추출한 카운트 표시(92)에 포함되는 볼 카운트 표시(95), 스트라이크 카운트 표시(96), 아웃 카운트 표시(97), 주자 표시(98), 및 득점 표시(99)의 각각을 특정한다. 검출부(21)는, 특정한 각 표시로부터, 볼 카운트, 스트라이크 카운트, 아웃 카운트, 주자의 상황, 및 득점의 각각을 검출한다. 검출부(21)는, 투구 구도 프레임의 검출 결과, 및 프레임마다 검출한 카운트 정보를, 프레임 정보 테이블(26)에 기록한다.
다음에, 단계 S26에서, 도 15에 상세를 나타내는 투구 판정 처리가 실행된다. 도 15에 나타내는 투구 판정 처리의 단계 S262에서, 판정부(22)가, 검출부(21)에 의해 기록된 프레임 정보 테이블(26)을 참조하여, 연속하는 복수의 투구 구도 프레임으로 이루어지는 프레임군을 투구 구도 장면으로서 특정한다. 그리고, 판정부(22)가, 판정 대상으로서 하나의 투구 구도 장면을 선택한다.
다음에, 단계 S264에서, 판정부(22)가, 선택한 판정 대상의 투구 구도 장면에 포함되는 어느 하나의 프레임 사이에서, 카운트 정보가 변화하고 있는지의 여부를 판정한다. 카운트 정보가 변화한 경우에는, 처리는 단계 S266으로 이행하고, 카운트 정보가 변화하지 않은 경우에는, 처리는 단계 S280으로 이행한다.
단계 S266에서는, 판정부(22)가, 판정 대상의 투구 구도 장면은, 투수에 의한 투구가 1구 행해진 것을 나타내고 있다고 판정하여, 투구 구도 장면의 개시 프레임을, 투구의 시작을 나타내는 프레임으로서 판정한다.
다음에, 단계 S268에서, 판정부(22)가, 판정 대상의 투구 구도 장면 내에 있어서 검출한 카운트 정보의 변화에 기초하여, 투구의 시작으로서 판정한 프레임으로부터 시작되는 투구 장면의 투구 결과를 판정한다. 예컨대, 변화 전의 카운트 정보에 대하여, 변화 후의 카운트 정보에서는, 스트라이크 카운트가 1 증가하고 있었던 경우에는, 투구 결과는, 「스트라이크」라고 판정한다. 그리고, 처리는 단계 S286으로 이행한다.
한편, 단계 S280에서는, 판정부(22)가, 판정 대상의 투구 구도 장면의 최종 프레임과, 다음 투구 구도 장면의 개시 프레임에서 카운트 정보를 비교한다. 다음에, 단계 S282에서, 판정부(22)가, 상기 단계 S280의 비교의 결과, 양프레임 사이에서 카운트 정보가 변화하고 있는지의 여부를 판정한다. 카운트 정보가 변화한 경우에는, 처리는 단계 S284로 이행한다. 카운트 정보가 변화하지 않은 경우에는, 판정부(22)가, 판정 대상의 투구 구도 장면은 견제나 투수가 플레이트를 벗어나는 등 한 노이즈를 나타내는 장면이라고 판정한다. 그리고, 처리는, 상기 단계 S266 및 S268을 거치는 일없이, 단계 S286으로 이행한다.
단계 S284에서는, 판정부(22)가, 판정 대상의 투구 구도 장면에 포함되는 어느 하나의 프레임에서, 어느 하나의 카운트 정보가 검출되어 있는지의 여부를 판정한다. 카운트 정보가 검출된 경우에는, 처리는 단계 S266으로 이행한다. 카운트 정보가 검출되지 않은 경우에는, 판정부(22)가, 판정 대상의 투구 구도 장면은 리플레이라고 판정하고, 처리는, 상기 단계 S266 및 S268을 거치는 일없이, 단계 S286으로 이행한다.
단계 S286에서는, 판정부(22)가, 프레임 정보 테이블(26) 내의 모든 투구 구도 장면에 대해서, 상기 단계 S264∼S268의 처리를 종료하였는지의 여부를 판정한다. 미처리의 투구 구도 장면이 존재하는 경우에는, 처리는 단계 S262로 되돌아가서, 미처리의 투구 구도 장면을 선택하여, 단계 S264∼S268의 처리를 반복한다. 모든 투구 구도 장면에 대해서 처리가 종료한 경우에는, 처리는 도 14에 나타내는 판정 처리로 되돌아간다.
다음에, 도 14에 나타내는 판정 처리의 단계 S30에서, 작성부(23)가, 투구 장면에 관한 메타 정보를 작성한다. 여기서 작성되는 메타 정보는, 예컨대, 판정부(22)에 의해 판정된 투구의 시작을 나타내는 프레임의 프레임 시간에, 투구의 시작을 나타내는 정보와, 그 프레임으로부터 시작되는 투구 장면에 대해서 판정된 투구 결과의 정보를 대응시킨 정보이다.
다음에, 단계 S32에서, 작성부(23)가, 작성한 복수의 메타 정보를, 메타 정보에 포함되는 프레임 시간순으로 기록한 메타 정보 파일(27)을 작성한다. 그리고, 작성부(23)는, 작성한 메타 정보 파일(27)을 편집 완료 영상에 부가하여, 메타 정보를 갖는 영상으로서 전송 장치(30)에 송신하여, 판정 처리는 종료된다.
다음에, 도 16에 나타내는 전송 처리의 단계 S40에서, 전송부(32)가, 판정 장치(20)로부터 송신된 메타 정보를 갖는 영상을 취득한다. 다음에, 단계 S42에서, 전송부(32)가, 메타 정보를 갖는 영상을 미리 정해진 규격에 따른 전송용 영상으로 변환하여, 전송처의 사용자 단말(40)에 전송하여, 전송 처리는 종료된다.
이상 설명한 바와 같이, 본 실시형태에 따른 판정 장치(20)에 따르면, 야구 시합을 촬영한 영상으로부터, 투수의 배후로부터 타자 방향을 촬영한 구도의 투구 구도 프레임을 검출하여, 복수의 투구 구도 프레임이 연속하는 투구 구도 장면을 특정한다. 또한, 각 프레임의 카운트 표시로부터 카운트 정보를 검출한다. 그리고, 판정 대상의 투구 구도 장면에 포함되는 어느 하나의 프레임 사이에서 카운트 정보가 변화하였는지의 여부, 또는, 판정 대상의 투구 구도 장면의 최종 프레임과 다음의 투구 구도 장면의 개시 프레임에서 카운트 정보가 변화하였는지의 여부를 판정한다. 카운트 정보가 변화한 경우에는, 판정 대상의 투구 구도 장면의 개시 프레임을, 투구의 시작을 나타내는 프레임으로서 판정한다. 이에 의해, 투구 구도 장면의 개시 프레임을 투구의 시작을 나타내는 프레임으로서 단순히 판정하는 경우에는 제거할 수 없는 노이즈가 되는 장면을 제거하여, 투구의 시작을 판정할 수 있다.
또한, 검출한 카운트 정보의 변화에 기초하여, 투구의 시작을 나타내는 프레임으로부터 시작되는 투구 장면의 투구 결과도 판정하기 위해, 투구 장면의 추출과 함께, 투구 결과의 정보도 취득할 수 있다.
또한, 투구의 시작을 나타내는 프레임의 정보를 포함하는 메타 정보를 작성하여 영상에 부가함으로써, 메타 정보에 기초하여, 메타 정보를 갖는 영상에 있어서의 1구 단위의 큐잉이 가능하다. 예컨대, 메타 정보를 갖는 영상에 있어서, 투수의 투구 시의 영상이나 리플레이 등을 용이하게 특정하여, 시청할 수 있다. 또한, 메타 정보에 투구 결과의 정보도 포함시킨 경우에는, 투구 결과를 검색 조건으로 한 1구 단위의 투구 장면의 추출이 가능해진다.
또한, 상기 실시형태에서는, 투수의 배후로부터 타자 방향을 촬영한 프레임을, 투구 구도 프레임으로 하는 경우에 대해서 설명하였지만, 투구 구도 프레임은 이것에 한정되지 않는다. 예컨대, 구심의 머리 부분에 비치된 카메라로부터 촬영된 프레임(구심으로부터 투수 방향을 촬영한 프레임) 등, 투수의 투구 장면에 사용되는 특징적인 카메라 앵글로 촬영된 프레임이면 좋다.
또한, 상기 실시형태에서는, 시합 종료 후에 촬영 영상 전체를 판정 장치(20)에 입력하여, 촬영 영상 전체에 대한 메타 정보 파일(27)을 작성하는 경우를 상정하여 설명하였지만, 이것에 한정되지 않는다. 예컨대, 촬영 영상을 라이브 전송하는 경우에는, 메타 정보가 하나 작성될 때마다, 전송 장치(30)를 통해 사용자 단말(40)에 송신하도록 하여도 좋다.
구체적으로는, 축차 취득되는 촬영 영상의 각 프레임으로부터 투구 구도 장면 및 프레임마다의 카운트 정보가 검출될 때마다, 프레임 정보 테이블(26)을 축차 갱신한다. 그리고, 프레임 정보 테이블(26)에 있어서의 카운트 정보의 변화를 감시하여, 도 17에 나타내는 바와 같이, 카운트 정보의 변화가 검출된 단계에서, 투구의 시작을 나타내는 프레임인 투구 구도 장면의 개시 프레임을 특정하고, 또한, 투구 결과를 판정한다. 그리고, 예컨대 「128.3 투구의 시작 스트라이크」와 같은 하나의 메타 정보를 작성하여, 전송 장치(30)에 송신하고, 전송 장치(30)로부터 사용자 단말(40)에 송신한다. 사용자 단말(40)에서는, 메타 정보를 수신한 단계에서, 그 메타 정보에 기초한 1구의 큐잉 등의 처리가 가능해진다.
또한, 카운트 표시(92)가 변화할 때에, 변화시키는 부분의 휘도를 서서히 밝게 하거나, 점멸시키는 등의 이펙트가 가해지는 경우가 있다. 이러한 경우, 예컨대, 도 18에 나타내는 바와 같이, 카운트 정보의 일부가 검출되지 않는 경우가 있다(도 18 중의 사선의 매스). 이 경우, 카운트 정보가 검출되지 않은 프레임을 제외한 프레임 사이에서, 카운트 정보를 비교하면 좋다. 도 18의 예의 경우, 프레임 시간=129.1∼129.4의 프레임으로부터, 스트라이크 카운트 및 아웃 카운트가 검출되어 있지 않다. 그래서, 프레임 시간=129.0의 프레임과, 프레임 시간=129.5의 프레임 사이에서, 스트라이크 카운트 및 아웃 카운트의 각각의 변화를 검출하면 좋다.
또한, 상기 각 실시형태에서는, 전송 장치(30)와 판정 장치(20)를 포함하는 영상 전송 시스템(10)을 예로 설명하였지만, 이것에 한정되지 않는다. 전송 장치(30)의 각 기능부와 판정 장치(20)의 각 기능부를, 하나의 컴퓨터로 실현하도록 하여도 좋다.
또한, 본 발명의 판정 장치는, 영상 전송 시스템에 적용하는 경우에 한정되지 않는다. 예컨대, 네트워크로 접속된 외부의 기억 장치에 저장된 영상 파일을 취득하여, 메타 정보 파일(27)을 작성하고, 메타 정보 파일(27)과 함께 영상 파일을 기억 장치에 다시 저장하도록 하여도 좋다. 또한, 본 발명의 판정 장치는, 야구 외에, 소프트 볼 등의 스포츠에도 적용 가능하다.
또한, 상기에서는, 판정 프로그램(60)이 기억부(53)에, 전송 프로그램(80)이 기억부(73)에 미리 기억(인스톨)되어 있는 양태를 설명하였지만, CD-ROM이나 DVD-ROM 등의 기억 매체에 기록된 형태로 제공하는 것도 가능하다.
하나의 측면으로서, 야구 시합을 촬영한 영상으로부터, 투구 장면을 판정할 수 있다고 하는 효과를 갖는다.

Claims (14)

  1. 판정 프로그램을 기억한 기억 매체에 있어서,
    컴퓨터에,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 미리 정해진 특징을 가지며, 또한, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화가 검출되는 연속하는 복수의 프레임을, 투구 장면으로서 판정하고,
    상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  2. 제1항에 있어서, 상기 컴퓨터에,
    상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나의 변화가 검출되면, 연속하는 상기 복수의 프레임의 선두 프레임을, 투구의 시작을 나타내는 프레임으로서 추출하는 것을 실행시키는 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  3. 제1항 또는 제2항에 있어서,
    상기 미리 정해진 특징을 갖는 연속하는 상기 복수의 프레임은, 촬영 영상이 특정 앵글로 촬상되고 나서 상기 특정 앵글과는 상이한 앵글로 전환되기까지의 연속하는 복수의 프레임인 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  4. 제1항에 있어서, 상기 미리 정해진 특징을 갖는 연속하는 상기 복수의 프레임은, 촬영 영상이, 투수의 배후로부터 타자 방향을 촬영한 구도의 프레임을 포함하는 특정 앵글로 촬상되고 나서 상기 특정 앵글과는 상이한 앵글로 전환되기까지의 연속하는 복수의 프레임인 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  5. 제1항 또는 제2항에 있어서, 상기 컴퓨터에,
    연속하는 상기 복수의 프레임의, 선두 프레임과 최후미의 프레임에 있어서, 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화가 검출되면, 연속하는 상기 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  6. 제1항 또는 제2항에 있어서, 상기 컴퓨터에,
    연속하는 상기 복수의 프레임의 일부 또는 전부의 프레임 각각에 대해서, 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의, 상기 일부 또는 전부의 프레임의 다른 프레임과의 변화가 검출되면, 연속하는 상기 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  7. 판정 방법에 있어서,
    컴퓨터에,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 미리 정해진 특징을 가지며, 또한, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화가 검출되는 연속하는 복수의 프레임을, 투구 장면으로서 판정하고,
    상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 방법.
  8. 판정 장치에 있어서,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 미리 정해진 특징을 가지며, 또한, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화가 검출되는 연속하는 복수의 프레임을, 투구 장면으로서 판정하는 판정부를 포함하고,
    상기 판정부는, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 특징으로 하는 판정 장치.
  9. 판정 프로그램을 기억한 기억 매체에 있어서,
    컴퓨터에,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 미리 정해진 특징을 갖는 연속하는 복수의 프레임을 추출하고,
    추출한 상기 연속하는 복수의 프레임에 있어서의, 볼 카운트수, 아웃 카운트수, 주자수의 전부에 있어서의 변화의 미검출에 따라, 상기 연속하는 복수의 프레임에 투구 장면은 포함되지 않는다고 판정하며,
    상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  10. 판정 프로그램을 기억한 기억 매체에 있어서,
    컴퓨터에,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출되는, 미리 정해진 특징을 갖는, 연속하는 복수의 프레임에 대해서, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화를, 상기 연속하는 복수의 프레임에 있어서 투구가 이루어졌는지의 여부의 판정에 이용하고,
    상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 프로그램을 기억한 기억 매체.
  11. 판정 방법에 있어서,
    컴퓨터에,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 미리 정해진 특징을 갖는 연속하는 복수의 프레임을 추출하고,
    추출한 상기 연속하는 복수의 프레임에 있어서의, 볼 카운트수, 아웃 카운트수, 주자수의 전부에 있어서의 변화의 미검출에 따라, 상기 연속하는 복수의 프레임에 투구 장면은 포함되지 않는다고 판정하고,
    상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 방법.
  12. 판정 방법에 있어서,
    컴퓨터에,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출되는, 미리 정해진 특징을 갖는, 연속하는 복수의 프레임에 대해서, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화를, 상기 연속하는 복수의 프레임에 있어서 투구가 이루어졌는지의 여부의 판정에 이용하고,
    상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 실행시키는 것을 특징으로 하는 판정 방법.
  13. 판정 장치에 있어서,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터, 미리 정해진 특징을 갖는 연속하는 복수의 프레임을 추출하는 추출부와,
    추출한 상기 연속하는 복수의 프레임에 있어서의, 볼 카운트수, 아웃 카운트수, 주자수의 전부에 있어서의 변화의 미검출에 따라, 상기 연속하는 복수의 프레임에 투구 장면은 포함되지 않는다고 판정하는 판정부를 포함하고,
    상기 판정부는, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 특징으로 하는 판정 장치.
  14. 판정 방법에 있어서,
    기억 수단에 기억된 복수의 프레임을 포함하는 야구 시합의 촬영 영상으로부터 추출되는, 미리 정해진 특징을 갖는, 연속하는 복수의 프레임에 대해서, 시합 상황을 나타내는 화상 정보로부터 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나의 변화를, 상기 연속하는 복수의 프레임에 있어서 투구가 이루어졌는지의 여부의 판정에 이용하는 판정부를 포함하고,
    상기 판정부는, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수 중 어느 하나에도 변화가 없는 경우라도, 상기 볼 카운트수, 상기 아웃 카운트수, 상기 주자수가, 상기 촬영 영상에 있어서, 판정 대상의 상기 연속하는 복수의 프레임의 다음에 검출되는 상기 미리 정해진 특징을 갖는 연속하는 복수의 프레임의 선두 프레임으로부터 미리 정해진 수만큼의 프레임에 관하여 취득한 볼 카운트수, 아웃 카운트수, 주자수 중 어느 하나와의 차분이 검출되는 경우에, 판정 대상의 상기 연속하는 복수의 프레임을 투구 장면으로서 판정하는 것을 특징으로 하는 판정 방법.
KR1020150119681A 2014-08-27 2015-08-25 판정 방법 및 장치 KR101701632B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-173149 2014-08-27
JP2014173149A JP6394184B2 (ja) 2014-08-27 2014-08-27 判定プログラム、方法、及び装置

Publications (2)

Publication Number Publication Date
KR20160025474A KR20160025474A (ko) 2016-03-08
KR101701632B1 true KR101701632B1 (ko) 2017-02-01

Family

ID=55404128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150119681A KR101701632B1 (ko) 2014-08-27 2015-08-25 판정 방법 및 장치

Country Status (4)

Country Link
US (1) US10200764B2 (ko)
JP (1) JP6394184B2 (ko)
KR (1) KR101701632B1 (ko)
TW (1) TWI579025B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6394184B2 (ja) * 2014-08-27 2018-09-26 富士通株式会社 判定プログラム、方法、及び装置
US11138438B2 (en) * 2018-05-18 2021-10-05 Stats Llc Video processing for embedded information card localization and content extraction
JP6902497B2 (ja) 2018-05-28 2021-07-14 富士フイルム株式会社 磁気テープ、磁気テープの製造方法、磁気テープの製造装置、及び記録再生システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269015A (ja) * 2004-03-17 2005-09-29 Tama Tlo Kk 複数のアルゴリズムを利用する動画像抽出装置
JP2007274400A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd スポーツ映像のイベント区間補正装置およびイベント区間補正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
JP2002200210A (ja) * 2000-12-28 2002-07-16 Asobous:Kk 野球におけるスコアメイカーシステムと、自動編集システムと、動作分析システムよりなる情報処理の方法
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
JP2003264771A (ja) * 2002-03-06 2003-09-19 Sony Corp 信号記録再生装置、信号記録再生方法、並びに信号記録再生プログラムを記録している媒体
US8214741B2 (en) * 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
JP4401220B2 (ja) 2004-04-01 2010-01-20 富士通株式会社 ハイライトシーン抽出装置およびハイライトシーン配信システム
JP2007335984A (ja) 2006-06-12 2007-12-27 Matsushita Electric Ind Co Ltd イベント終了点抽出装置、イベント終了点抽出方法および抽出プログラム
US7956893B2 (en) * 2006-12-11 2011-06-07 Mavs Lab. Inc. Method of indexing last pitching shots in a video of a baseball game
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
US9005016B2 (en) * 2008-10-24 2015-04-14 Lee Amaitis Wagering on event outcomes during the event
JP6307892B2 (ja) * 2014-01-20 2018-04-11 富士通株式会社 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
US10674195B2 (en) * 2014-02-11 2020-06-02 Disney Enterprises, Inc. Method and system for detecting commercial breaks
JP6394184B2 (ja) * 2014-08-27 2018-09-26 富士通株式会社 判定プログラム、方法、及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269015A (ja) * 2004-03-17 2005-09-29 Tama Tlo Kk 複数のアルゴリズムを利用する動画像抽出装置
JP2007274400A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd スポーツ映像のイベント区間補正装置およびイベント区間補正方法

Also Published As

Publication number Publication date
TWI579025B (zh) 2017-04-21
KR20160025474A (ko) 2016-03-08
US10200764B2 (en) 2019-02-05
JP6394184B2 (ja) 2018-09-26
TW201607592A (zh) 2016-03-01
JP2016048852A (ja) 2016-04-07
US20160066062A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
KR101696984B1 (ko) 정보 처리 방법 및 장치
US9530061B2 (en) Extraction method for extracting a pitching scene and device for the same
KR101891382B1 (ko) 추출 프로그램, 방법 및 장치
JP6354229B2 (ja) 抽出プログラム、方法、及び装置
US20080269924A1 (en) Method of summarizing sports video and apparatus thereof
WO2015190071A1 (ja) 映像処理方法、映像処理装置
KR101701632B1 (ko) 판정 방법 및 장치
JP4906588B2 (ja) 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム
KR20090118634A (ko) 운동경기의 자동분석 시스템 및 그 방법
KR101792909B1 (ko) 정보 처리 방법 및 장치
US9538244B2 (en) Extraction method for extracting a pitching scene and device for the same
JP2003143546A (ja) フットボールビデオ処理方法
JP6371020B1 (ja) 情報処理装置
JP7429887B2 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
CN117178285A (zh) 信息处理装置、信息处理方法和程序
KR20210061641A (ko) 스포츠 경기 정보 검출 장치 및 스포츠 경기 정보 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4