KR20220128433A - 정보 처리 프로그램, 장치, 및 방법 - Google Patents

정보 처리 프로그램, 장치, 및 방법 Download PDF

Info

Publication number
KR20220128433A
KR20220128433A KR1020227028571A KR20227028571A KR20220128433A KR 20220128433 A KR20220128433 A KR 20220128433A KR 1020227028571 A KR1020227028571 A KR 1020227028571A KR 20227028571 A KR20227028571 A KR 20227028571A KR 20220128433 A KR20220128433 A KR 20220128433A
Authority
KR
South Korea
Prior art keywords
time
image
icing
player
sound signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020227028571A
Other languages
English (en)
Inventor
고우지 나까무라
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20220128433A publication Critical patent/KR20220128433A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/13—Relative positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/18—Skating
    • A63B2244/183—Artistic or figure skating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

정보 처리 장치(10)는 스케이트 링크(30)를 포함하는 회장 내에 마련된 마이크(20)로 집음된 소리 신호, 및 스케이트 링크(30) 상의 경기자(32)의 위치를 특정 가능하게 촬영한 영상을 취득하고, 소리 신호에 기초하는 얼음의 소리의 소실 및 복귀에 따라, 경기자(32)가 행한 점프의 이빙 시각 및 착빙 시각을 추정하고, 소리 신호의 시각 정보와 영상의 시각 정보를 동기시켜, 영상으로부터 모션 트래킹에 의해 취득된 스케이트 링크(30) 상에서의 경기자(32)의 위치의 궤적에 있어서, 이빙 시각에 대응하는 위치, 및 착빙 시각에 대응하는 위치의 각각을 특정함으로써, 피겨 스케이팅에 있어서의 점프의 이빙점 및 착빙점을 특정한다.

Description

정보 처리 프로그램, 장치, 및 방법
개시된 기술은, 정보 처리 프로그램, 정보 처리 장치, 및 정보 처리 방법에 관한 것이다.
종래, 스포츠의 경기 중의 영상으로부터, 경기자의 위치, 자세 등의 소정의 포인트나 구간을 특정하는 것이 행하여지고 있다. 소정의 포인트는, 예를 들어, 골프, 야구, 테니스 등에 있어서의 볼에 대한 임팩트의 순간, 체조 경기 등에 있어서의 도약이나 착지의 순간 등이다.
상기와 같은 소정의 포인트나 구간의 특정에 관한 기술로서, 예를 들어, 피사체의 연속하는 모션 중에서 결정적 순간을 특정하여 화상으로서 추출하는 정보 처리 장치가 제안되어 있다. 이 장치는, 유저 또는 유저에게 접촉하는 오브젝트에 장착된 센서로부터의 센서 데이터, 및 센서 데이터에 대응하는 시각 정보를 수신한다. 또한, 이 장치는, 센서 데이터 및 시각 정보에 기초하여, 유저 또는 오브젝트에 소정의 모션 패턴이 발생한 시각을 특정한다. 그리고, 이 장치는, 특정한 시각에 따라, 소정의 시간 간격으로 촬영된 유저 또는 오브젝트를 포함하는 일련의 화상으로부터 1개 또는 복수의 화상을 선택한다.
일본 특허 공개 제2015-82817호 공보
특정 대상의 포인트로서, 피겨 스케이팅의 점프의 이빙점 및 착빙점의 위치를 상정한다. 피겨 스케이팅에 있어서는, 경기자, 또는 경기자가 장착하는 웨어나 슈즈에 센서를 설치하는 등의 약간의 변화가, 점프 등의 정밀도에 영향을 주어버리는 경우가 있다. 그 때문에, 종래 기술을 적용하여, 피겨 스케이팅에 있어서의 점프의 이빙점 및 착빙점의 위치를 특정하는 것은 곤란하다.
하나의 측면으로서, 개시된 기술은, 피겨 스케이팅에 있어서의 점프의 이빙점 및 착빙점을 특정하는 것을 목적으로 한다.
하나의 양태로서, 개시된 기술은, 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크 상의 경기자를 촬영한 제1 영상을 취득한다. 또한, 개시된 기술은, 상기 소리 신호에 기초하는 얼음의 소리의 소실 및 복귀에 따라, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 그리고, 개시된 기술은, 상기 소리 신호의 시각 정보와 상기 제1 영상의 시각 정보를 동기시켜, 상기 제1 영상에 기초하는 상기 스케이트 링크 상에서의 상기 경기자의 위치의 궤적을 취득한다. 또한, 개시된 기술은, 상기 경기자의 위치의 궤적에 있어서, 상기 이빙 시각에 대응하는 위치, 및 상기 착빙 시각에 대응하는 위치의 각각을 특정한다.
하나의 측면으로서, 피겨 스케이팅에 있어서의 점프의 이빙점 및 착빙점을 특정할 수 있다고 하는 효과를 갖는다.
도 1은 제1 실시 형태에 관계되는 정보 처리 시스템의 개략 구성을 도시하는 블록도이다.
도 2는 제1 실시 형태에 관계되는 정보 처리 장치의 기능 블록이다.
도 3은 이빙 시각 및 착빙 시각의 추정을 설명하기 위한 도면이다.
도 4는 영상에 대한 소리 신호의 지연 시간을 설명하기 위한 도면이다.
도 5는 이빙점 및 착빙점의 특정을 설명하기 위한 도면이다.
도 6은 이빙점의 특정한 상세를 설명하기 위한 도면이다.
도 7은 정보 처리 장치로서 기능하는 컴퓨터의 개략 구성을 도시하는 블록도이다.
도 8은 제1 실시 형태에 있어서의 정보 처리 루틴의 일례를 도시하는 흐름도이다.
도 9는 제2 실시 형태에 관계되는 정보 처리 시스템의 개략 구성을 도시하는 블록도이다.
도 10은 제2 실시 형태에 관계되는 정보 처리 장치의 기능 블록이다.
도 11은 기준선의 특정을 설명하기 위한 도면이다.
도 12는 점프의 구간을 나타내는 제2 영상의 프레임의 특정을 설명하기 위한 도면이다.
도 13은 소정 부위로서 블레이드의 선단 및 종단의 위치를 산출하는 것을 설명하기 위한 도면이다.
도 14는 점프의 구간에 포함되는 프레임의 각각으로부터 산출된 회전 각도 θ를 도시하는 도면이다.
도 15는 도 14의 파선 프레임으로 나타내는 부분의 확대도이다.
도 16은 제2 실시 형태에 있어서의 정보 처리 루틴의 일례를 도시하는 흐름도이다.
이하, 도면을 참조하여, 개시된 기술에 관계되는 실시 형태의 일례를 설명한다.
<제1 실시 형태>
먼저, 제1 실시 형태에 관계되는 정보 처리 시스템의 개요에 대하여 설명한다. 도 1에 도시하는 바와 같이, 정보 처리 시스템(100)은 정보 처리 장치(10)와, 마이크(20)와, 카메라(22)를 포함한다. 정보 처리 시스템(100)은 마이크(20)로부터 출력되는 소리 신호, 및 카메라(22)로부터 출력되는 영상에 대하여 정보 처리를 행하고, 경기자의 위치의 궤적 상에 있어서의, 이빙점부터 착빙점까지의 점프의 구간을 특정한다.
마이크(20)는 스케이트 링크(30)의 얼음 중에 설치된다. 예를 들어, 스케이트 링크(30)의 설영 시에 있어서, 얼음을 얼릴 때에 스케이트 링크(30) 내에 매립함으로써 마이크(20)를 얼음 중에 설치할 수 있다. 마이크(20)는 경기회장의 음성을 집음하고, 소리 신호를 출력한다. 마이크(20)가 얼음 중에 설치되어 있음으로써, 마이크(20)로 집음되는 소리 신호에 포함되는 소리 성분은, 환성이나 음악 등을 나타내는 소리 성분이 억제되어, 스케이트 링크(30) 표면(얼음)과 스케이트 슈즈의 블레이드의 마찰음을 나타내는 소리 성분이 지배적이 된다. 출력되는 소리 신호의 각 샘플링점에는 시각 정보가 대응되어 있다. 스케이트 링크(30) 표면(얼음)과 스케이트 슈즈의 블레이드의 마찰음은, 얼음의 소리의 일례이다.
카메라(22)는 스케이트 링크(30) 상의 경기자(32)의 위치를 특정 가능한 영상을 촬영하는, 예를 들어 모션 트래킹용의 촬영 장치이다. 예를 들어, 카메라(22)는 회장의 천장, 측벽 등에 복수대(예를 들어, 3대) 설치된다. 또한, 도 1에서는, 카메라(22)는 1대만 도시하고 있다. 각 카메라(22)는 소정의 프레임 레이트(예를 들어, 120fps)로 촬영한 영상을 출력한다. 출력되는 영상은, 복수의 프레임을 포함하고 있고, 각 프레임에는 시각 정보가 대응되어 있다.
정보 처리 장치(10)는 기능적으로는, 도 2에 도시하는 바와 같이, 취득부(12)와, 추정부(14)와, 특정부(16)와, 출력부(18)를 포함한다.
취득부(12)는 마이크(20)로부터 출력된 소리 신호, 및 복수의 카메라(22)의 각각으로부터 출력된 영상을 취득한다. 취득부(12)는 취득한 소리 신호를 추정부(14)에 전달하고, 취득한 영상을 특정부(16)에 전달한다.
추정부(14)는 소리 신호에 기초하는 얼음의 소리의 소실과 복귀에 따라, 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 예를 들어, 추정부(14)는 소리 신호의 레벨이 미리 정한 역치 이하가 되는 구간에 기초하여, 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 이것은, 점프 개시의 이빙 시에는, 블레이드와 얼음의 마찰음이 소실되고, 착빙 시에 마찰음이 복귀되는 것을 이용한 것이다. 역치로서는, 대략 소리 신호가 소실되었다고 간주할 수 있는 값을 정해 두면 된다. 구체적으로는, 도 3에 도시한 바와 같이, 추정부(14)는 소리 신호가 역치 TH 이하로 된 시각을 이빙 시각 tA로서 추정한다. 또한, 추정부(14)는 역치 TH 이하로 되어 있었던 소리 신호가 다시 역치 TH를 초과한 시각을 착빙 시각 tB로서 추정한다.
또한, 추정부(14)는 소리 신호에 포함되는 소정의 주파수 성분을 제거한 후의 소리 신호에 기초하여, 점프의 이빙 시각 tA 및 착빙 시각 tB를 추정해도 된다. 소정의 주파수 성분으로서는, 예를 들어, 환성이나 음악 등, 블레이드와 얼음의 마찰음 이외의 소리에 상당하는 주파수 성분으로 할 수 있다. 상술한 바와 같이, 마이크(20)가 얼음 중에 설치되어 있는 경우에는, 환성이나 음악 등, 블레이드와 얼음의 마찰음 이외의 소리는 억제되어 있다. 단, 블레이드와 얼음의 마찰음 이외의 소리에 상당하는 주파수 성분을 제거함으로써, 보다 고정밀도로 점프의 이빙 시각 tA 및 착빙 시각 tB를 추정할 수 있다. 또한, 마이크(20)가 얼음 중이 아닌 회장 내에 설치되어 있는 경우, 소리 신호에는 환성이나 음악 등도 많이 포함되게 되기 때문에, 소정의 주파수 성분을 제거하는 것이 유효해진다. 추정부(14)는 추정한 점프의 이빙 시각 tA 및 착빙 시각 tB를 특정부(16)에 전달한다.
특정부(16)는 취득부(12)로부터 전달된 영상으로부터, 모션 트래킹에 의해 스케이트 링크(30) 상에서의 경기자(32)의 위치의 궤적을 취득한다. 예를 들어, 특정부(16)는 각 카메라(22)로 촬영된 영상의 프레임마다, 모션 트래킹의 대상인 경기자(32)를 인식한다. 예를 들어, 특정부(16)는 경기자(32) 또는 경기자(32)가 장착하는 장착물의 색, 형상 등의 특징에 기초하여, 각 프레임으로부터 경기자(32)를 인식한다. 또한, 특정부(16)는 프레임 간의 차분이 나타내는 이동하는 물체를 경기자(32)로서 인식해도 된다. 그리고, 특정부(16)는 각 프레임에 있어서 인식된 경기자(32)의 위치를 프레임마다 산출한다. 그리고, 특정부(16)는 각 프레임에 있어서의 경기자의 위치를 추적함으로써, 궤적 정보를 생성한다. 또한, 경기자의 위치는 3차원으로 산출되어도 되고, 2차원으로 산출되어도 된다. 본 실시 형태에서는, 스케이트 링크(30)를 평면으로 본 xy 평면에 있어서의, 인식한 경기자(32)의 위치 좌표(x, y)를 산출하는 경우에 대하여 설명한다.
특정부(16)는 소리 신호의 시각 정보와 영상의 시각 정보를 동기시킨다. 이때, 특정부(16)는 경기자(32)와 마이크(20)의 거리에 따른, 영상에 대한 소리 신호의 지연 시간을 반영시키도록 해도 된다. 구체적으로는, 도 4에 도시하는 바와 같이, 경기자(32)와 마이크(20)의 거리가 X[m]인 경우, 얼음 중의 음속 3230[m/s]을 사용하여, 지연 시간은, X÷3230이 된다. 예를 들어, 특정부(16)는 마이크(20)의 위치로부터 스케이트 링크(30)의 단까지의 거리의 최댓값을 X=30m로 하고, 지연 시간을, 30÷3230=9.28[ms]로 구할 수 있다. 특정부(16)는 상기와 같이 구한 지연 시간을 사용하여, 소리 신호의 시각 정보로부터 지연 시간을 감산한 시각 정보와, 영상의 시각 정보를 동기시켜도 된다.
특정부(16)는 경기자(32)의 위치의 궤적 상에서, 이빙 시각 tA에 대응하는 위치로부터 착빙 시각 tB에 대응하는 위치까지를 점프의 구간으로서 특정한다. 또한, 상기한 바와 같이 소리 신호의 지연 시간을 반영시키는 경우, 이빙 시각 tA 및 착빙 시각 tB의 각각은, 추정부(14)에 의해 추정된 이빙 시각 tA 및 착빙 시각 tB의 각각으로부터 지연 시간을 감산한 시각 정보이다.
구체적으로는, 도 5에 도시한 바와 같이, 특정부(16)는 소리 신호와 시각 정보를 동기시킨 영상에 있어서, 이빙 시각 tA의 직전 및 직후의 시각 정보에 대응하는 프레임의 각각으로부터 취득된 경기자(32)의 위치를 특정한다. 그리고, 특정부(16)는 특정한 양쪽 위치의 사이에서, 이빙 시각 tA에 대응하는 위치(이하, 「이빙점」이라고도 한다)를 특정한다. 또한, 도 5에서는, 설명의 사정상, 경기자(32)의 위치의 궤적을, 소리 신호의 시간축에 대응시킨 직선으로 나타내고 있다.
보다 구체적으로는, 특정부(16)는 도 6에 도시하는 바와 같이, 이빙 시각 tA의 직전의 시각 정보 t1에 대응하는 프레임을 m1, 이빙 시각 tA의 직후의 시각 정보 t2에 대응하는 프레임을 m2로 한다. 또한, 특정부(16)는 프레임 m1로부터 취득된 위치를 P1, 프레임 m2로부터 취득된 위치를 P2로 하고, P1과 P2 사이에서는, 경기자(32)의 위치는 직선적으로 변화하는 것으로 가정한다. 이 경우, 특정부(16)는 P1과 P2 사이의 위치이며, 1프레임분의 시간(t2-t1)에 대한 tA의 비율에 대응하는 위치를, 이빙점 A로 특정한다. 즉, 특정부(16)는 A=P1+(P2-P1)×(tA-t1)/(t2-t1)에 의해, 이빙점을 특정할 수 있다.
특정부(16)는 착빙 시각 tB에 대응하는 위치(이하, 「착빙점」이라고도 한다)에 대해서도, 상기 이빙점과 마찬가지로 특정한다. 특정부(16)는 모션 트래킹에 의해 취득한 경기자(32)의 위치의 궤적과, 특정한 이빙점 및 착빙점의 위치를 출력부(18)에 전달한다.
출력부(18)는 스케이트 링크(30)를 나타내는 화상에, 경기자(32)의 위치의 궤적을 나타내는 화상을 중첩함과 함께, 특정된 점프의 구간을, 궤적에 있어서의 다른 구간과는 다른 표시 양태로 표시하기 위한 화상 데이터를 생성하고, 출력한다. 예를 들어, 출력부(18)는 도 1에 도시한 바와 같은 화상(38)을 나타내는 화상 데이터를 생성한다. 도 1의 화상(38)의 예에서는, 궤적을 파선으로 나타내고, 점프의 구간을 실선으로 나타내고 있다. 출력된 화상 데이터가 나타내는 화상(38)은 예를 들어, 심판원이 사용하는 표시 장치 등에 표시되어, 링크 커버 등의 판정에 사용할 수 있다. 또한, 텔레비전 방송 등의 화면에 화상(38)을 삽입하는 것도 가능하다.
정보 처리 장치(10)는 예를 들어 도 7에 도시하는 컴퓨터(40)로 실현할 수 있다. 컴퓨터(40)는 CPU(Central Processing Unit)(41)와, 일시 기억 영역으로서의 메모리(42)와, 불휘발성의 기억부(43)를 구비한다. 또한, 컴퓨터(40)는 입력부, 표시부 등의 입출력 장치(44)와, 기억 매체(49)에 대한 데이터의 읽어들이기 및 기입을 제어하는 R/W(Read/Write)부(45)를 구비한다. 또한, 컴퓨터(40)는 인터넷 등의 네트워크에 접속되는 통신 I/F(Interface)(46)를 구비한다. CPU(41), 메모리(42), 기억부(43), 입출력 장치(44), R/W부(45), 및 통신 I/F(46)는, 버스(47)를 통하여 서로 접속된다.
기억부(43)는 HDD(Hard Disk Drive), SSD(Solid State Drive), 플래시 메모리 등에 의해 실현할 수 있다. 기억 매체로서의 기억부(43)에는, 컴퓨터(40)를 정보 처리 장치(10)로서 기능시키기 위한 정보 처리 프로그램(50)이 기억된다. 정보 처리 프로그램(50)은 취득 프로세스(52)와, 추정 프로세스(54)와, 특정 프로세스(56)와, 출력 프로세스(58)를 갖는다.
CPU(41)는, 정보 처리 프로그램(50)을 기억부(43)로부터 읽어내서 메모리(42)에 전개하고, 정보 처리 프로그램(50)이 갖는 프로세스를 순차 실행한다. CPU(41)는, 취득 프로세스(52)를 실행함으로써, 도 2에 도시하는 취득부(12)로서 동작한다. 또한, CPU(41)는, 추정 프로세스(54)를 실행함으로써, 도 2에 도시하는 추정부(14)로서 동작한다. 또한, CPU(41)는, 특정 프로세스(56)를 실행함으로써, 도 2에 도시하는 특정부(16)로서 동작한다. 또한, CPU(41)는, 출력 프로세스(58)를 실행함으로써, 도 2에 도시하는 출력부(18)로서 동작한다. 이에 의해, 정보 처리 프로그램(50)을 실행한 컴퓨터(40)가 정보 처리 장치(10)로서 기능하게 된다. 또한, 프로그램을 실행하는 CPU(41)는 하드웨어이다.
또한, 정보 처리 프로그램(50)에 의해 실현되는 기능은, 예를 들어 반도체 집적 회로, 보다 상세하게는 ASIC(Application Specific Integrated Circuit) 등으로 실현하는 것도 가능하다.
이어서, 제1 실시 형태에 관계되는 정보 처리 시스템(100)의 작용에 대하여 설명한다. 정보 처리 장치(10)에, 마이크(20)로부터 출력된 소리 신호, 및 복수의 카메라(22)의 각각으로 촬영된 영상이 입력되면, 정보 처리 장치(10)에 있어서, 도 8에 도시하는 정보 처리 루틴이 실행된다. 또한, 정보 처리 루틴은, 개시된 기술의 정보 처리 방법의 일례이다.
스텝 S12에서, 취득부(12)가 정보 처리 장치(10)에 입력된 소리 신호 및 영상을 취득한다. 취득부(12)는 취득한 소리 신호를 추정부(14)에 전달하고, 취득한 영상을 특정부(16)에 전달한다.
이어서, 스텝 S14에서, 추정부(14)가 소리 신호가 역치 TH 이하로 된 시각을 이빙 시각 tA로서 추정하고, 역치 TH 이하로 되어 있었던 소리 신호가 다시 역치 TH를 초과한 시각을 착빙 시각 tB로서 추정한다. 추정부(14)는 추정한 점프의 이빙 시각 tA 및 착빙 시각 tB를 특정부(16)에 전달한다.
이어서, 스텝 S16에서, 특정부(16)가 취득부(12)로부터 전달된 영상의 각 프레임으로부터, 모션 트래킹에 의해 스케이트 링크(30) 상에서의 경기자(32)의 위치의 궤적을 취득한다.
이어서, 스텝 S18에서, 특정부(16)가 소리 신호의 시각 정보와 영상의 시각 정보를 동기시킨다. 그리고, 특정부(16)가 소리 신호와 시각 정보를 동기시킨 영상의 각 프레임에 있어서, 이빙 시각 tA의 직전 및 직후의 시각 정보에 대응하는 프레임의 각각으로부터 취득된 경기자(32)의 위치를 특정한다. 그리고, 특정부(16)는 특정한 양쪽 위치의 사이에서, 이빙 시각 tA에 대응하는 이빙점 A의 위치를 특정한다. 특정부(16)는 마찬가지로, 소리 신호와 시각 정보를 동기시킨 영상의 각 프레임에 있어서, 착빙 시각 tB의 직전 및 직후의 시각 정보에 대응하는 프레임의 각각으로부터 취득된 경기자(32)의 위치를 특정한다. 그리고, 특정부(16)는 특정한 양쪽 위치의 사이에서, 착빙 시각 tB에 대응하는 착빙점 B의 위치를 특정한다. 특정된 이빙점 A부터 착빙점 B까지의 구간이 점프의 구간으로서 특정된다. 특정부(16)는 모션 트래킹에 의해 취득한 경기자(32)의 위치의 궤적과, 특정한 이빙점 및 착빙점의 위치를 출력부(18)에 전달한다.
이어서, 스텝 S20에서, 출력부(18)가 스케이트 링크(30)를 나타내는 화상에, 경기자(32)의 위치의 궤적을 나타내는 화상을 중첩함과 함께, 특정된 점프의 구간을, 궤적을 나타내는 화상과는 다른 표시 양태로 표시하기 위한 화상 데이터를 생성하고, 출력한다. 그리고, 정보 처리 루틴은 종료한다.
이상 설명한 바와 같이, 제1 실시 형태에 관계되는 정보 처리 시스템에 의하면, 정보 처리 장치가, 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 스케이트 링크 상의 경기자의 위치를 특정 가능하게 촬영한 영상을 취득한다. 그리고, 정보 처리 장치는, 소리 신호에 기초하는 얼음의 소리의 소실 및 복귀에 따라, 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 또한, 정보 처리 장치는, 소리 신호의 시각 정보와 영상의 시각 정보를 동기시켜, 영상으로부터 모션 트래킹에 의해 취득된 스케이트 링크 상에서의 경기자의 위치의 궤적에 있어서, 이빙 시각에 대응하는 위치, 및 상기 착빙 시각에 대응하는 위치의 각각을 특정한다. 이에 의해, 경기자에게 센서 등을 설치할 일 없이, 피겨 스케이팅에 있어서의 점프의 이빙점 및 착빙점을 특정할 수 있다.
또한, 소리 신호로부터 이빙 시각 및 착빙 시각을 추정함으로써, 영상으로부터 모션 트래킹에 의해 위치를 특정하는 경우에 비해, 1프레임분의 시간 단위의 시각보다 미세한 시각에 있어서의 위치를 특정할 수 있다.
<제2 실시 형태>
이어서, 제2 실시 형태에 대하여 설명한다. 또한, 제2 실시 형태에 관계되는 정보 처리 시스템에 있어서, 제1 실시 형태에 관계되는 정보 처리 시스템(100)과 마찬가지의 구성에 대해서는, 동일 부호를 붙여서 상세한 설명을 생략한다.
도 9에 도시하는 바와 같이, 제2 실시 형태에 관계되는 정보 처리 시스템(200)은 정보 처리 장치(210)와, 마이크(20)와, 제1 카메라(22)와, 제2 카메라(24)를 포함한다. 정보 처리 시스템(200)은 마이크(20)로부터 출력되는 소리 신호, 제1 카메라(22) 및 제2 카메라(24)로부터 출력되는 영상에 대하여 정보 처리를 행하고, 제1 실시 형태와 마찬가지로, 경기자의 위치의 궤적 상에 있어서의, 이빙점부터 착빙점까지의 점프의 구간을 특정한다. 추가로, 정보 처리 시스템(200)은 특정한 점프의 구간을 사용하여, 점프의 착빙 시의 블레이드의 회전 각도 등, 점프에 관한 정보를 산출한다.
제1 카메라(22)는 제1 실시 형태에 있어서의 카메라(22)와 마찬가지이며, 스케이트 링크(30) 상의 경기자(32)의 위치를 특정 가능한 영상을 촬영하는, 예를 들어 모션 트래킹용의 촬영 장치이다.
제2 카메라(24)는 스케이트 링크(30) 상의 경기자(32) 및 경기자(32)가 장착하는 장착물의 소정 부위의 3차원 위치를 특정 가능하게 촬영하는 촬영 장치이다. 제2 카메라(24)는 상기 소정 부위의 3차원 위치를 스테레오 카메라 방식에 의해 계측 가능한 위치에 복수대(예를 들어, 2대) 설치된다. 또한, 도 9에서는, 제2 카메라(24)는 1대만 도시하고 있다. 각 제2 카메라(24)는 소정의 프레임 레이트(예를 들어, 30fps, 60fps 등)로 촬영한 영상을 출력한다. 출력되는 영상은, 복수의 프레임을 포함하고 있고, 각 프레임에는 시각 정보가 대응되어 있다. 또한, 제2 카메라(24)로서, ToF(Time-of-Flight) 방식의 1대의 카메라를 사용해도 된다.
이하에서는, 제1 카메라(22)로 촬영된 영상을 제1 영상, 제2 카메라(24)로 촬영된 영상을 제2 영상이라고 한다.
정보 처리 장치(210)는 기능적으로는, 도 10에 도시하는 바와 같이, 취득부(212)와, 추정부(14)와, 특정부(216)와, 산출부(19)와, 출력부(218)를 포함한다.
취득부(212)는 마이크(20)로부터 출력된 소리 신호, 복수의 제1 카메라(22)의 각각으로부터 출력된 제1 영상, 및 복수의 제2 카메라(24)의 각각으로부터 출력된 제2 영상을 취득한다. 취득부(212)는 취득한 소리 신호를 추정부(14)에 전달하고, 취득한 제1 영상 및 제2 영상을 특정부(216)에 전달한다.
특정부(216)는 제1 실시 형태에 있어서의 특정부(16)와 마찬가지로, 추정부(14)에서 추정된 이빙 시각 tA 및 착빙 시각 tB와, 제1 영상에 기초하여, 이빙점 A 및 착빙점 B의 각각의 위치를 특정한다. 또한, 특정부(216)는 도 11에 도시한 바와 같이, 이빙점 A와 착빙점 B를 통과하는 직선을, 점프의 회전을 판정하기 위한 기준선(A-B)으로서 특정한다. 특정부(216)는 경기자(32)의 위치의 궤적과, 이빙점 A 및 착빙점 B의 위치를 출력부(218)에 전달하고, 이빙점 A 및 착빙점 B의 위치와, 기준선(A-B)의 정보를 산출부(19)에 전달한다.
또한, 특정부(216)는 소리 신호의 시각 정보와 제2 영상의 시각 정보를 동기시켜, 취득부(212)로부터 전달된 제2 영상에 있어서, 점프의 이빙 시각 tA에 대응하는 프레임으로부터 착빙 시각 tB에 대응하는 프레임까지를 점프의 구간으로서 특정한다.
구체적으로는, 도 12에 도시하는 바와 같이, 특정부(216)는 이빙 시각 tA와 동기하는 시각 정보의 제2 영상의 프레임(이하, 「이빙 프레임 mA」라고 함)의 소정수 전의 프레임을, 이빙 시각 tA에 대응하는 개시 프레임 mS로서 특정한다. 또한, 특정부(216)는 착빙 시각 tB와 동기하는 시각 정보의 제2 영상의 프레임(이하, 「착빙 프레임 mB」라고 함)의 소정수 후의 프레임을, 착빙 시각 tB에 대응하는 종료 프레임 mE로서 특정한다. 이빙 프레임 mA 내지 착빙 프레임 mB의 전후의 프레임을 포함하는 것은, 이빙부터 착빙까지가 확실하게 포함되도록, 개시 프레임 mS 및 종료 프레임 mE를 특정하기 위해서이다. 도 12에 도시하는 바와 같이, 소정수는, 예를 들어 1로 할 수 있다.
또한, 특정부(216)는, 소정수를, 상술한, 영상에 대한 소리 신호의 지연 시간을 프레임수로 환산한 수로 해도 된다. 예를 들어, 경기자(32)와 마이크(20)의 거리 X[m]을, X=30m로 한 경우, 지연 시간은, 30÷3230=9.28[ms]이다. 제2 영상의 프레임 레이트가 30fps 또는 60fps인 경우, 상기 도 12의 예와 마찬가지로, 소정수를 1로 하고, 120fps인 경우, 소정수를 2로 하면 된다.
또한, 특정부(216)는 개시 프레임 mS를 특정할 때에는, 지연 시간에 기초하는 소정수를 사용하고, 종료 프레임 mE를 특정할 때에는, 소정수로서 1을 사용하게 해도 된다.
특정부(216)는 취득부(212)로부터 전달된 제2 영상으로부터, 개시 프레임 mS부터 종료 프레임 mE까지의 구간을, 점프의 구간으로서 추출하고, 산출부(19)에 전달한다.
산출부(19)는 특정부(216)로부터 전달된 점프의 구간에 포함되는, 제2 영상의 프레임 각각을 3차원 해석하고, 경기자(32) 및 경기자(32)가 장착하는 장착물의 소정 부위의 3차원 위치(x, y, z)를 산출한다. 소정 부위는, 도 13에 도시하는 바와 같이, 경기자(32)가 장착하는 스케이트 슈즈의 블레이드 선단(34) 및 종단(36)을 포함한다. 또한, 소정 부위는, 경기자(32)의 각 관절, 헤드부, 및 눈, 코, 입 등의 얼굴의 부위를 포함해도 된다. 또한, 각 프레임으로부터, 이들 소정 부위를 인식하는 방법은, 소정 부위의 형상을 사용한 인식 방법이나, 인체 골격 모델을 사용한 인식 방법 등, 기존의 방법을 사용할 수 있다.
또한, 정보 처리 시스템(200)이 3대 이상의 제2 카메라(24)를 구비하고 있는 것으로 한다. 이 경우, 산출부(19)는 복수의 제2 카메라(24)의 각각으로 촬영된 영상 중, 3차원 위치의 산출에 적합한 각도로 경기자(32)를 촬영한 2개의 영상을 사용하여, 소정 부위의 3차원 위치를 산출하면 된다.
산출부(19)는 점프의 구간에 포함되는 프레임의 각각으로부터 산출한 블레이드의 선단(34) 및 종단(36)의 위치를 사용하여, 제2 카메라(24)의 촬영 방향을 기준으로 한 블레이드의 절대 각도를 산출한다. 예를 들어, 산출부(19)는 제2 카메라(24)의 촬영 방향, 또는 촬영 방향에 수직한 선과, 블레이드의 선단(34)과 종단(36)을 연결하는 선이 이루는 각도를, 블레이드의 절대 각도로서 산출할 수 있다. 또한, 산출부(19)는 복수의 제2 카메라(24) 중, 어느 제2 카메라(24)를 메인의 카메라로서 정해 두고, 메인의 제2 카메라(24)의 촬영 방향을 기준으로, 블레이드의 절대 각도를 산출하면 된다.
또한, 산출부(19)는 블레이드의 절대 각도를, 점프의 회전 부족을 판정하기 위한 기준선에 대한 각도(이하, 「회전 각도 θ」라고 함)로 변환한다. 구체적으로는, 산출부(19)는 제2 카메라(24)의 촬영 방향을 기준으로 한 선과, 특정부(216)에 의해 특정된 기준선(A-B)의 각도차를, 블레이드의 절대 각도로부터 차감하고, 블레이드의 회전 각도 θ를 산출한다. 도 14에, 점프의 구간에 포함되는 프레임의 각각으로부터 산출된 회전 각도 θ를 나타낸다.
산출부(19)는 착빙 시에 있어서의, 제2 영상에 대한 소리 신호의 지연 시간 Δt를 산출한다. 상술한 바와 같이, 지연 시간은, 거리 X[m]÷3230[m/s](얼음 중의 음속)이다. 여기에서는, 거리 X를, 마이크(20)의 위치와, 착빙점 B의 거리로 한다.
산출부(19)는 종료 프레임 mE로부터 산출한 회전 각도 θ(mE)와, 종료 프레임 mE의 1개 전의 프레임 mE-1로부터 산출한 회전 각도 θ(mE-1)에 기초하여, 착빙 시의 블레이드의 회전 각도를 산출한다.
도 15를 참조하여 구체적으로 설명한다. 도 15는, 도 14의 파선 프레임으로 나타내는 부분의 확대도이다. 소리 신호에 기초하여 추정한 착빙 시각 tB에, 산출한 지연 시간 Δt를 고려한 보정 후의 착빙 시각 tB-Δt는, 프레임 mE-1 내지 프레임 mE까지의 1프레임분의 시간 내에 포함된다. 또한, 여기에서는, 지연 시간 Δt는, 1프레임분의 시간과 비교하여 미소한 시간이다. 산출부(19)는 점프 중의 회전 속도는 거의 일정하다고 가정하고, 프레임 mE-1 내지 프레임 mE 간의 회전 각도를, 회전 각도 θ(mE-1) 및 회전 각도 θ(mE)를 사용하여 선형 보완한다. 그리고, 산출부(19)는 보정 후의 착빙 시각 tB-Δt에 대응하는 회전 각도를, 착빙 시의 회전 각도 θ(tB-Δt)로서 산출한다.
또한, 산출부(19)는 점프의 구간에 대응하는 소정 부위의 3차원 위치에 기초하여, 다른 정보를 산출할 수도 있다. 예를 들어, 산출부(19)는 소정 부위로서 허리의 위치를 산출하고, 점프의 구간에 포함되는 각 프레임으로부터 산출된 허리의 위치의 최솟값과 최댓값의 차를 점프의 높이로서 산출할 수 있다. 또한, 산출부(19)는 특정부(216)에서 특정된 이빙점 A부터 착빙점 B까지의 거리를 점프의 비거리로서 산출할 수 있다. 또한, 산출부(19)는 이빙 시각 tA부터 착빙 시각 tB까지의 시간과, 점프의 구간에 있어서의 회전 각도의 변화로부터, 회전 속도를 산출할 수 있다. 또한, 산출부(19)는 개시 프레임 mS부터 소정 프레임까지의 시간과, 그동안에 있어서의 소정 부위의 위치 변화량으로부터, 횡단 속도를 산출할 수 있다. 산출부(19)는 착빙 시의 회전 각도 θ(tB-Δt), 및 기타 산출한 정보를 출력부(218)에 전달한다.
출력부(218)는 제1 실시 형태에 있어서의 출력부(18)와 마찬가지로, 경기자(32)의 위치의 궤적 상에 점프의 구간을 나타내는 화상(38)의 화상 데이터를 생성하고, 출력한다. 또한, 출력부(218)는 산출부(19)로부터 전달된 착빙 시의 회전 각도 θ(tB-Δt) 등의 정보를 출력한다. 착빙 시의 회전 각도 θ(tB-Δt)는 점프의 회전 부족 등의 판정에 사용할 수 있다. 또한, 출력된 정보를, 텔레비전 방송 등의 화면에 표시하는 스탯으로서 사용할 수도 있다.
정보 처리 장치(210)는 예를 들어 도 7에 도시하는 컴퓨터(40)로 실현할 수 있다. 컴퓨터(40)의 기억부(43)에는, 컴퓨터(40)를 정보 처리 장치(210)로서 기능시키기 위한 정보 처리 프로그램(250)이 기억된다. 정보 처리 프로그램(250)은 취득 프로세스(252)와, 추정 프로세스(54)와, 특정 프로세스(256)와, 산출 프로세스(59)와, 출력 프로세스(258)를 갖는다.
CPU(41)는, 정보 처리 프로그램(250)을 기억부(43)로부터 읽어내서 메모리(42)에 전개하고, 정보 처리 프로그램(250)이 갖는 프로세스를 순차 실행한다. CPU(41)는, 취득 프로세스(252)를 실행함으로써, 도 10에 도시하는 취득부(212)로서 동작한다. 또한, CPU(41)는, 추정 프로세스(54)를 실행함으로써, 도 10에 도시하는 추정부(14)로서 동작한다. 또한, CPU(41)는, 특정 프로세스(256)를 실행함으로써, 도 10에 도시하는 특정부(216)로서 동작한다. 또한, CPU(41)는, 산출 프로세스(59)를 실행함으로써, 도 10에 도시하는 산출부(19)로서 동작한다. 또한, CPU(41)는, 출력 프로세스(258)를 실행함으로써, 도 10에 도시하는 출력부(218)로서 동작한다. 이에 의해, 정보 처리 프로그램(250)을 실행한 컴퓨터(40)가 정보 처리 장치(210)로서 기능하게 된다.
또한, 정보 처리 프로그램(250)에 의해 실현되는 기능은, 예를 들어 반도체 집적 회로, 보다 상세하게는 ASIC 등으로 실현하는 것도 가능하다.
이어서, 제2 실시 형태에 관계되는 정보 처리 시스템(200)의 작용에 대하여 설명한다. 정보 처리 장치(210)에, 마이크(20)로부터 출력된 소리 신호, 복수의 제1 카메라(22)의 각각으로 촬영된 제1 영상, 및 복수의 제2 카메라(24)의 각각으로 촬영된 제2 영상이 입력된다. 그리고, 정보 처리 장치(210)에 있어서, 도 16에 도시하는 정보 처리 루틴이 실행된다. 또한, 도 16에 도시하는 정보 처리 루틴에 있어서, 제1 실시 형태에 있어서의 정보 처리 루틴(도 8)과 마찬가지의 처리에 대해서는, 동일한 스텝 번호를 부여하여 상세한 설명을 생략한다. 또한, 정보 처리 루틴은, 개시된 기술의 정보 처리 방법의 일례이다.
스텝 S212에서, 취득부(212)가 정보 처리 장치(210)에 입력된 소리 신호, 제1 영상, 및 제2 영상을 취득한다. 취득부(212)는 취득한 소리 신호를 추정부(14)에 전달하고, 제1 영상 및 제2 영상을 특정부(216)에 전달한다.
스텝 S14 내지 S18을 거쳐서, 다음 스텝 S218에서, 특정부(216)가 상기 스텝 S18에서 특정한 이빙점 A 및 착빙점 B의 각각의 위치를 사용하여, 이빙점 A와 착빙점 B를 통과하는 직선을, 점프의 회전을 판정하기 위한 기준선(A-B)으로서 특정한다.
이어서, 스텝 S220에서, 특정부(216)가 제2 영상에 있어서, 이빙 시각 tA와 동기하는 시각 정보의 이빙 프레임 mA의 소정수(예를 들어, 1프레임) 전의 프레임을, 이빙 시각 tA에 대응하는 개시 프레임 mS로서 특정한다. 또한, 특정부(216)가 착빙 시각 tB와 동기하는 시각 정보의 착빙 프레임 mB의 소정수(예를 들어, 1프레임) 후의 프레임을, 착빙 시각 tB에 대응하는 종료 프레임 mE로서 특정한다. 특정부(216)는 취득부(212)로부터 전달된 제2 영상으로부터, 개시 프레임 mS부터 종료 프레임 mE까지의 구간을, 점프의 구간으로서 추출하고, 산출부(19)에 전달한다.
이어서, 스텝 S222에서, 산출부(19)가 특정부(216)로부터 전달된 점프의 구간에 포함되는 프레임의 각각을 3차원 해석하고, 블레이드의 선단(34) 및 종단(36)을 포함하는 소정 부위의 3차원 위치(x, y, z)를 산출한다. 그리고, 산출부(19)가 제2 카메라(24)의 촬영 방향을 기준으로 한 선과, 블레이드의 선단(34)과 종단(36)을 연결하는 선이 이루는 각도를, 블레이드의 절대 각도로서 산출한다. 또한, 산출부(19)가 상기 스텝 S218에서 특정부(216)에 의해 특정된 기준선과, 제2 카메라(24)의 촬영 방향을 기준으로 한 선의 각도차를, 블레이드의 절대 각도로부터 차감하고, 블레이드의 회전 각도 θ를 산출한다.
이어서, 스텝 S224에서, 산출부(19)가 마이크(20)의 위치와, 착빙점 B의 거리 X를 산출하고, 착빙 시에 있어서의, 영상에 대한 소리 신호의 지연 시간 Δt를, Δt=거리 X[m]÷3230[m/s](얼음 중의 음속)로서 산출한다. 그리고, 산출부(19)가 프레임 mE-1 내지 프레임 mE간의 회전 각도를, 회전 각도 θ(mE-1) 및 θ(mE)를 사용하여 선형 보완하고, 보정 후의 착빙 시각 tB-Δt에 대응하는 회전 각도를, 착빙 시의 회전 각도 θ(tB-Δt)로서 산출한다.
이어서, 스텝 S226에서, 산출부(19)가 점프의 구간에 대응하는 소정 부위의 3차원 위치, 및 특정부(216)에서 특정된 이빙점 A 및 착빙점 B의 위치 등에 기초하여, 비거리, 회전 속도 등의 다른 정보를 산출한다.
이어서, 스텝 S228에서, 출력부(218)가 경기자(32)의 위치의 궤적 상에 점프의 구간을 나타내는 화상(38)의 화상 데이터를 생성하고, 화상 데이터와, 상기 스텝 S226에서 산출된, 착빙 시의 회전 각도 θ(tB-Δt) 등의 정보를 출력한다. 그리고, 정보 처리 루틴은 종료한다.
이상 설명한 바와 같이, 제2 실시 형태에 관계되는 정보 처리 시스템에 의하면, 정보 처리 장치가, 제1 실시 형태에 관계되는 정보 처리 장치와 마찬가지로, 소리 신호로부터 이빙 시각 및 착빙 시각을 추정함으로써, 고정밀도로 이빙점 및 착빙점의 위치를 특정한다. 또한, 정보 처리 장치는, 특정한 이빙점 및 착빙점을 사용하여, 점프의 회전을 판정하기 위한 기준선을 특정한다. 이에 의해, 점프의 회전 부족 등의 판정을 고정밀도로 행하기 위한 지원을 행할 수 있다.
또한, 상기 각 실시 형태에서는, 정보 처리 프로그램이 기억부에 미리 기억(인스톨)되어 있는 양태를 설명했지만, 이것에 한정되지 않는다. 개시된 기술에 관계되는 프로그램은, CD-ROM, DVD-ROM, USB 메모리 등의 기억 매체에 기억된 형태로 제공하는 것도 가능하다.
10, 210: 정보 처리 장치
12, 212: 취득부
14: 추정부
16, 216: 특정부
18, 218: 출력부
19: 산출부
20: 마이크
22: 카메라, 제1 카메라
24: 제2 카메라
30: 스케이트 링크
32: 경기자
34: 블레이드의 선단
36: 블레이드의 종단
38: 화상
40: 컴퓨터
41: CPU
42: 메모리
43: 기억부
49: 기억 매체
50, 250: 정보 처리 프로그램
100, 200: 정보 처리 시스템

Claims (20)

  1. 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크 상의 경기자를 촬영한 제1 영상을 취득하고,
    상기 소리 신호에 기초하는 얼음의 소리의 소실 및 복귀에 따라, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하고,
    상기 소리 신호의 시각 정보와 상기 제1 영상의 시각 정보를 동기시켜, 상기 제1 영상에 기초하는 상기 스케이트 링크 상에서의 상기 경기자의 위치의 궤적에 있어서, 상기 이빙 시각에 대응하는 위치, 및 상기 착빙 시각에 대응하는 위치의 각각을 특정하는
    것을 포함하는 처리를 컴퓨터에 실행시키기 위한 정보 처리 프로그램.
  2. 제1항에 있어서, 상기 궤적에 있어서의 상기 경기자의 위치는, 상기 제1 영상에 포함되는 프레임의 각각에 대응하여 취득되고 있고,
    상기 이빙 시각의 직전의 시각 정보에 대응하는 프레임으로부터 취득된 위치와, 상기 이빙 시각의 직후의 시각 정보에 대응하는 프레임으로부터 취득된 위치 사이에서, 상기 이빙 시각에 대응하는 위치를 특정하고,
    상기 착빙 시각의 직전의 시각 정보에 대응하는 프레임으로부터 취득된 위치와, 상기 착빙 시각의 직후의 시각 정보에 대응하는 프레임으로부터 취득된 위치 사이에서, 상기 착빙 시각에 대응하는 위치를 특정하는
    정보 처리 프로그램.
  3. 제1항 또는 제2항에 있어서, 상기 소리 신호의 시각 정보와 상기 제1 영상의 시각 정보를 동기시킬 때, 상기 제1 영상에 대한 상기 소리 신호의 지연 시간을 반영시키는 정보 처리 프로그램.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 컴퓨터에, 또한,
    상기 스케이트 링크를 나타내는 화상에, 상기 경기자의 위치의 궤적을 나타내는 화상을 중첩함과 함께, 특정한 점프의 구간을, 상기 궤적에 있어서의 다른 구간과는 다른 표시 양태로 표시하기 위한 화상 데이터를 출력하는
    처리를 실행시키기 위한 정보 처리 프로그램.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 컴퓨터에, 또한,
    상기 이빙 시각에 대응하는 위치와 상기 착빙 시각에 대응하는 위치를 통과하는 직선을, 상기 점프의 회전을 판정하기 위한 기준선으로서 특정하는
    처리를 실행시키기 위한 정보 처리 프로그램.
  6. 제5항에 있어서, 상기 컴퓨터에, 또한,
    상기 스케이트 링크 상의 경기자 및 상기 경기자가 장착하는 장착물의 소정 부위의 3차원 위치를 특정 가능하게 촬영한 제2 영상을 취득하고,
    상기 소리 신호의 시각 정보와 상기 제2 영상의 시각 정보를 동기시켜, 상기 제2 영상에 포함되는 상기 점프의 구간에 대응하는 프레임의 각각으로부터 3차원 화상 해석에 의해 취득되는 상기 소정 부위의 3차원 위치에 기초하여, 상기 기준선에 대한 상기 소정 부위의 각도를 산출하는
    처리를 실행시키는 정보 처리 프로그램.
  7. 제6항에 있어서, 상기 소정 부위는, 상기 경기자가 장착하는 스케이트 슈즈의 블레이드의 방향을 특정 가능한 부위인 정보 처리 프로그램.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 마이크는, 상기 스케이트 링크의 얼음 중에 마련되는 정보 처리 프로그램.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 소리 신호에 포함되는 소정의 주파수 성분을 제거한 후의 소리 신호에 기초하여, 상기 이빙 시각 및 상기 착빙 시각을 추정하는 정보 처리 프로그램.
  10. 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크 상의 경기자를 촬영한 제1 영상을 취득하는 취득부와,
    상기 소리 신호에 기초하는 얼음의 소리의 소실 및 복귀에 따라, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하는 추정부와,
    상기 소리 신호의 시각 정보와 상기 제1 영상의 시각 정보를 동기시켜, 상기 제1 영상에 기초하는 상기 스케이트 링크 상에서의 상기 경기자의 위치의 궤적에 있어서, 상기 이빙 시각에 대응하는 위치, 및 상기 착빙 시각에 대응하는 위치의 각각을 특정하는 특정부
    를 포함하는 정보 처리 장치.
  11. 제10항에 있어서, 상기 특정부는,
    상기 궤적에 있어서의 상기 경기자의 위치를, 상기 제1 영상에 포함되는 프레임의 각각에 대응하여 취득하고,
    상기 이빙 시각의 직전의 시각 정보에 대응하는 프레임으로부터 취득된 위치와, 상기 이빙 시각의 직후의 시각 정보에 대응하는 프레임으로부터 취득된 위치 사이에서, 상기 이빙 시각에 대응하는 위치를 특정하고,
    상기 착빙 시각의 직전의 시각 정보에 대응하는 프레임으로부터 취득된 위치와, 상기 착빙 시각의 직후의 시각 정보에 대응하는 프레임으로부터 취득된 위치 사이에서, 상기 착빙 시각에 대응하는 위치를 특정하는
    정보 처리 장치.
  12. 제10항 또는 제11항에 있어서, 상기 특정부는, 상기 소리 신호의 시각 정보와 상기 제1 영상의 시각 정보를 동기시킬 때, 상기 제1 영상에 대한 상기 소리 신호의 지연 시간을 반영시키는 정보 처리 장치.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서, 상기 스케이트 링크를 나타내는 화상에, 상기 경기자의 위치의 궤적을 나타내는 화상을 중첩함과 함께, 특정한 점프의 구간을, 상기 궤적에 있어서의 다른 구간과는 다른 표시 양태로 표시하기 위한 화상 데이터를 출력하는 출력부를 더 포함하는 정보 처리 장치.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서, 상기 특정부는, 또한, 상기 이빙 시각에 대응하는 위치와 상기 착빙 시각에 대응하는 위치를 통과하는 직선을, 상기 점프의 회전을 판정하기 위한 기준선으로서 특정하는 정보 처리 장치.
  15. 제14항에 있어서, 상기 취득부는, 상기 스케이트 링크 상의 경기자 및 상기 경기자가 장착하는 장착물의 소정 부위의 3차원 위치를 특정 가능하게 촬영한 제2 영상을 취득하고,
    상기 소리 신호의 시각 정보와 상기 제2 영상의 시각 정보를 동기시켜, 상기 제2 영상에 포함되는 상기 점프의 구간에 대응하는 프레임의 각각으로부터 3차원 화상 해석에 의해 취득되는 상기 소정 부위의 3차원 위치에 기초하여, 상기 기준선에 대한 상기 소정 부위의 각도를 산출하는 산출부를 더 포함하는
    정보 처리 장치.
  16. 제15항에 있어서, 상기 소정 부위는, 상기 경기자가 장착하는 스케이트 슈즈의 블레이드의 방향을 특정 가능한 부위인 정보 처리 장치.
  17. 제10항 내지 제16항 중 어느 한 항에 있어서, 상기 마이크는, 상기 스케이트 링크의 얼음 중에 마련되는 정보 처리 장치.
  18. 제10항 내지 제17항 중 어느 한 항에 있어서, 상기 추정부는, 상기 소리 신호에 포함되는 소정의 주파수 성분을 제거한 후의 소리 신호에 기초하여, 상기 이빙 시각 및 상기 착빙 시각을 추정하는 정보 처리 장치.
  19. 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크 상의 경기자를 촬영한 제1 영상을 취득하고,
    상기 소리 신호에 기초하는 얼음의 소리의 소실 및 복귀에 따라, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하고,
    상기 소리 신호의 시각 정보와 상기 제1 영상의 시각 정보를 동기시켜, 상기 제1 영상에 기초하는 상기 스케이트 링크 상에서의 상기 경기자의 위치의 궤적에 있어서, 상기 이빙 시각에 대응하는 위치, 및 상기 착빙 시각에 대응하는 위치의 각각을 특정하는
    것을 포함하는 처리를 컴퓨터가 실행하는 정보 처리 방법.
  20. 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크 상의 경기자를 촬영한 제1 영상을 취득하고,
    상기 소리 신호에 기초하는 얼음의 소리의 소실 및 복귀에 따라, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하고,
    상기 소리 신호의 시각 정보와 상기 제1 영상의 시각 정보를 동기시켜, 상기 제1 영상에 기초하는 상기 스케이트 링크 상에서의 상기 경기자의 위치의 궤적에 있어서, 상기 이빙 시각에 대응하는 위치, 및 상기 착빙 시각에 대응하는 위치의 각각을 특정하는
    것을 포함하는 처리를 컴퓨터에 실행시키기 위한 정보 처리 프로그램을 기억한 기억 매체.
KR1020227028571A 2020-03-18 2020-03-18 정보 처리 프로그램, 장치, 및 방법 Ceased KR20220128433A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012122 WO2021186645A1 (ja) 2020-03-18 2020-03-18 情報処理プログラム、装置、及び方法

Publications (1)

Publication Number Publication Date
KR20220128433A true KR20220128433A (ko) 2022-09-20

Family

ID=77771747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227028571A Ceased KR20220128433A (ko) 2020-03-18 2020-03-18 정보 처리 프로그램, 장치, 및 방법

Country Status (6)

Country Link
US (1) US20220394322A1 (ko)
EP (1) EP4093024A4 (ko)
JP (1) JP7444238B2 (ko)
KR (1) KR20220128433A (ko)
CN (1) CN115136591A (ko)
WO (1) WO2021186645A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12337211B2 (en) * 2023-10-03 2025-06-24 Paul V. Mackovjak Jump height measuring device and method of use

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539336B1 (en) * 1996-12-12 2003-03-25 Phatrat Technologies, Inc. Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance
DE19614253A1 (de) * 1996-03-05 1997-09-11 Karl Leonhardtsberger Elektronisches Aufzeichnungs- und Wiedergabeverfahren für Bewegungsabläufe auf Sportplätzen und/oder in Sport- und Eislaufhallen
JP4541744B2 (ja) * 2004-03-31 2010-09-08 ヤマハ株式会社 音像移動処理装置およびプログラム
RU2399402C2 (ru) * 2008-03-04 2010-09-20 Алексей Николаевич Мишин Система измерения параметров вращательного движения фигуриста
JP5515671B2 (ja) * 2009-11-20 2014-06-11 ソニー株式会社 画像処理装置、その制御方法およびプログラム
JP5924109B2 (ja) 2012-05-11 2016-05-25 セイコーエプソン株式会社 センサーユニット、運動解析装置
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN109074629A (zh) * 2015-10-29 2018-12-21 Oy沃肯视觉有限公司 使用联网照相机对关注的区域进行视频摄像
US9812175B2 (en) * 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
JP6882057B2 (ja) 2017-05-11 2021-06-02 キヤノン株式会社 信号処理装置、信号処理方法、およびプログラム
JP2019033869A (ja) 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7400937B2 (ja) * 2020-02-27 2023-12-19 富士通株式会社 情報処理プログラム、装置、及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法

Also Published As

Publication number Publication date
US20220394322A1 (en) 2022-12-08
JPWO2021186645A1 (ko) 2021-09-23
EP4093024A1 (en) 2022-11-23
WO2021186645A1 (ja) 2021-09-23
CN115136591A (zh) 2022-09-30
JP7444238B2 (ja) 2024-03-06
EP4093024A4 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
EP3243554B1 (en) Information processing device, information processing method, and program
JP7437652B2 (ja) 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム
JP2003523643A (ja) 時空アラインメント付ビデオシーケンスの合成方法および装置
US20160045785A1 (en) Action sports tracking system and method
EP2819398A1 (en) Image processing device, image processing method, and program
US20220392222A1 (en) Information processing program, device, and method
JP6834590B2 (ja) ３次元データ取得装置及び方法
WO2016036689A1 (en) Systems and methods for providing digital video with data identifying motion
KR20220128433A (ko) 정보 처리 프로그램, 장치, 및 방법
US11514704B2 (en) Method and apparatus of game status determination
CN115209124A (zh) 信息处理设备、信息处理方法和存储介质
JPWO2021171470A5 (ko)
KR102907065B1 (ko) 정보 처리 프로그램, 장치, 및 방법
JP2022077706A (ja) 位置計測システム、及び位置計測方法
JP7534699B2 (ja) 映像投影装置、映像投影方法、及びプログラム
JP7429887B2 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
JP7240258B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
EP4700704A1 (en) A device, computer program and method
US20260087639A1 (en) Selecting a camera perspective to convey a perspective of depth
JPWO2021186645A5 (ko)
US20250095187A1 (en) Terminal device, position posture estimation method, and program
KR20250108358A (ko) 스크린 골프에서 활용 가능한 인공지능 모델을 이용한 골프 스윙 동작 분석 방법 및 장치
JP2023048531A (ja) 情報処理装置、情報処理方法、プログラム、及び音響自動合成システム
JP2009239721A (ja) テレビジョン受像装置及びテレビジョン受像方法

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20220818

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220818

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20241015

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20241218

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D