KR20220128404A - 정보 처리 프로그램, 장치 및 방법 - Google Patents

정보 처리 프로그램, 장치 및 방법 Download PDF

Info

Publication number
KR20220128404A
KR20220128404A KR1020227028019A KR20227028019A KR20220128404A KR 20220128404 A KR20220128404 A KR 20220128404A KR 1020227028019 A KR1020227028019 A KR 1020227028019A KR 20227028019 A KR20227028019 A KR 20227028019A KR 20220128404 A KR20220128404 A KR 20220128404A
Authority
KR
South Korea
Prior art keywords
time
icing
sound signal
information processing
jump
Prior art date
Application number
KR1020227028019A
Other languages
English (en)
Inventor
고우지 나까무라
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20220128404A publication Critical patent/KR20220128404A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/18—Skating
    • A63B2244/183—Artistic or figure skating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Devices For Executing Special Programs (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

피겨 스케이팅에 있어서의 점프의 개시부터 종료까지의 구간을 특정하는 것을 목적으로 한다. 정보 처리 장치(10)는, 스케이트 링크의 얼음 중에 마련된 마이크(20)로 집음된 소리 신호의 소실 및 복귀에 기초하여, 이빙 시각 tA 및 착빙 시각 tB를 추정하고, 스케이트 링크(30)에서 경기하는 경기자(32)를 카메라(22)로 촬영한 영상과 소리 신호로 시각 정보를 동기시켜, 이빙 시각 tA 및 착빙 시각 tB의 각각에 대응하는 개시 프레임 mS로부터 종료 프레임 mE까지를 점프의 구간으로서 특정한다. 또한, 정보 처리 장치(10)는, 특정한 점프의 구간의 영상을 3차원 해석하여, 착빙 시의 블레이드의 회전 각도 등의 정보를 산출한다

Description

정보 처리 프로그램, 장치 및 방법
개시의 기술은, 정보 처리 프로그램, 정보 처리 장치 및 정보 처리 방법에 관한 것이다.
종래, 스포츠의 경기 중의 영상으로부터, 소정의 씬을 잘라내는 것이 행해지고 있다. 소정의 씬은, 예를 들어 골프, 야구, 테니스 등에 있어서의 볼에 대한 임팩트의 순간을 포함하는 씬, 체조 경기 등에 있어서의 도약이나 착지를 포함하는 씬 등이다.
상기와 같은 씬 잘라내기에 관한 기술로서, 예를 들어 피사체의 연속하는 모션 중으로부터 결정적 순간을 특정하여 화상으로서 추출하는 정보 처리 장치가 제안되어 있다. 이 장치는, 유저 또는 유저에게 접촉하는 오브젝트에 장착된 센서로부터의 센서 데이터, 및 센서 데이터에 대응하는 시각 정보를 수신한다. 또한, 이 장치는, 센서 데이터 및 시각 정보에 기초하여, 유저 또는 오브젝트에 소정의 모션 패턴이 발생한 시각을 특정한다. 그리고, 이 장치는, 특정한 시각에 따라서, 소정의 시간 간격으로 촬영된 유저 또는 오브젝트를 포함하는 일련의 화상으로부터 1개 또는 복수의 화상을 선택한다.
일본 특허 공개 제2015-82817호 공보
잘라내기 대상의 씬으로서, 피겨 스케이팅의 점프의 구간을 상정한다. 피겨 스케이팅에 있어서는, 경기자, 또는 경기자가 장착하는 웨어나 슈즈에 센서를 설치하는 등의 약간의 변화가, 점프 등의 정밀도에 영향을 주어 버리는 경우가 있다. 그 때문에, 종래 기술을 적용하여, 피겨 스케이팅에 있어서의 점프의 개시부터 종료까지의 구간을 특정하는 것은 곤란하다.
하나의 측면으로서, 개시의 기술은, 피겨 스케이팅에 있어서의 점프의 개시부터 종료까지의 구간을 특정하는 것을 목적으로 한다.
하나의 양태로서, 개시의 기술은, 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크에서 경기하는 경기자를 촬영한 영상을 취득한다. 또한, 개시의 기술은, 상기 소리 신호에 기초하는 얼음의 소리의 소실과 복귀에 따라서, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 그리고, 개시의 기술은, 상기 소리 신호의 시각 정보와 상기 영상의 시각 정보를 동기시켜, 상기 영상에 있어서, 상기 이빙 시각에 대응하는 프레임으로부터 상기 착빙 시각에 대응하는 프레임까지를 점프의 구간으로서 특정한다.
하나의 측면으로서, 피겨 스케이팅에 있어서의 점프의 개시부터 종료까지의 구간을 특정할 수 있다고 하는 효과를 갖는다.
도 1은 본 실시 형태에 관한 정보 작성 시스템의 개략 구성을 도시하는 블록도이다.
도 2는 본 실시 형태에 관한 정보 처리 장치의 기능 블록이다.
도 3은 이빙 시각 및 착빙 시각의 추정을 설명하기 위한 도면이다.
도 4는 점프의 구간의 특정을 설명하기 위한 도면이다.
도 5는 영상에 대한 소리 신호의 지연 시간을 설명하기 위한 도면이다.
도 6은 소정 부위로서 블레이드의 선단 및 종단의 위치를 산출하는 것을 설명하기 위한 도면이다.
도 7은 기준선 및 회전 각도를 설명하기 위한 도면이다.
도 8은 점프의 구간에 포함되는 프레임의 각각으로부터 산출된 회전 각도 θ를 도시하는 도면이다.
도 9는 도 8의 파선 프레임으로 나타내는 부분의 확대도이다.
도 10은 정보 처리 장치로서 기능하는 컴퓨터의 개략 구성을 도시하는 블록도이다.
도 11은 본 실시 형태에 있어서의 정보 처리 루틴의 일례를 나타내는 흐름도이다.
이하, 도면을 참조하여, 개시의 기술에 관한 실시 형태의 일례를 설명한다. 이하의 실시 형태에서는, 정보 처리 장치에 의해 특정되는 점프의 구간의 영상에 관한 정보를 작성하는 정보 작성 시스템에 대하여 설명한다.
먼저, 본 실시 형태에 관한 정보 작성 시스템의 개요에 대하여 설명한다. 도 1에 도시한 바와 같이, 정보 작성 시스템(100)은, 정보 처리 장치(10)와, 마이크(20)와, 복수의 카메라(22)를 포함한다. 정보 작성 시스템(100)은, 마이크(20)로부터 출력되는 소리 신호, 및 카메라(22)로부터 출력되는 영상에 대하여 정보 처리를 행하여, 점프의 착빙 시의 블레이드의 회전 각도 등의 정보를 산출하여 출력한다.
마이크(20)는, 스케이트 링크(30)의 얼음 중에 설치된다. 예를 들어, 스케이트 링크(30)를 설영 시에 있어서, 얼음을 얼릴 때 스케이트 링크(30) 내에 매립함으로써, 마이크(20)를 얼음 중에 설치할 수 있다. 마이크(20)는, 경기 회장의 음성을 집음하여, 소리 신호를 출력한다. 마이크(20)가 얼음 중에 설치되어 있음으로써, 마이크(20)로 집음되는 소리 신호에 포함되는 소리 성분은, 환성이나 음악 등을 나타내는 소리 성분이 억제되고, 스케이트 링크(30) 표면(얼음)과 스케이트 슈즈의 블레이드의 마찰 소리를 나타내는 소리 성분이 지배적으로 된다. 출력되는 소리 신호의 각 샘플링점에는 시각 정보가 대응지어져 있다.
복수의 카메라(22)의 각각은, 스케이트 링크(30) 상의 경기자(32) 및 경기자(32)가 장착하는 장착물의 소정 부위의 3차원 위치를 스테레오 카메라 방식에 의해 계측 가능한 위치에 각각 설치된다. 각 카메라(22)는, 소정의 프레임 레이트(예를 들어, 30fps, 60fps 등)로 촬영한 영상을 출력한다. 출력되는 영상은, 복수의 프레임을 포함하고 있고, 각 프레임에는 시각 정보가 대응지어져 있다. 또한, ToF(Time-of-Flight) 방식의 1대의 카메라를 사용해도 된다.
정보 처리 장치(10)는, 기능적으로는, 도 2에 도시한 바와 같이, 취득부(12)와, 추정부(14)와, 특정부(16)와, 산출부(18)를 포함한다.
취득부(12)는, 마이크(20)로부터 출력된 소리 신호, 및 복수의 카메라(22)의 각각으로부터 출력된 영상을 취득한다. 취득부(12)는, 취득한 소리 신호를 추정부(14)에 전달하고, 취득한 영상을 특정부(16)에 전달한다.
추정부(14)는, 소리 신호에 기초하는 얼음의 소리의 소실과 복귀에 따라서, 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 예를 들어, 추정부(14)는, 소리 신호의 레벨이 미리 정한 역치 이하가 되는 구간에 기초하여, 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 이것은, 점프 개시의 이빙 시에는, 블레이드와 얼음의 마찰 소리가 소실되고, 착빙 시에 마찰 소리가 복귀하는 것을 이용한 것이다. 역치로서는, 대략 소리 신호가 소실되었다고 간주할 수 있는 값을 정해 두면 된다. 구체적으로는, 도 3에 도시한 바와 같이, 추정부(14)는, 소리 신호가 역치 TH 이하가 된 시각을 이빙 시각 tA로서 추정한다. 또한, 추정부(14)는, 역치 TH 이하가 되었던 소리 신호가 다시 역치 TH를 초과한 시각을 착빙 시각 tB로서 추정한다.
또한, 추정부(14)는, 소리 신호에 포함되는 소정의 주파수 성분을 제거한 후의 소리 신호에 기초하여, 점프의 이빙 시각 tA 및 착빙 시각 tB를 추정해도 된다. 소정의 주파수 성분으로서는, 예를 들어 환성이나 음악 등, 블레이드와 얼음의 마찰 소리 이외의 소리에 상당하는 주파수 성분으로 할 수 있다. 상술한 바와 같이, 마이크(20)가 얼음 중에 설치되어 있는 경우에는, 환성이나 음악 등, 블레이드와 얼음의 마찰 소리 이외의 소리는 억제되어 있다. 단, 블레이드와 얼음의 마찰 소리 이외의 소리에 상당하는 주파수 성분을 제거함으로써, 보다 고정밀도로 점프의 이빙 시각 tA 및 착빙 시각 tB를 추정할 수 있다. 또한, 마이크(20)가 얼음 중이 아닌 회장 내에 설치되어 있는 경우, 소리 신호에는 환성이나 음악 등도 많이 포함되게 되기 때문에, 소정의 주파수 성분을 제거하는 것이 유효해진다. 추정부(14)는, 추정한 점프의 이빙 시각 tA 및 착빙 시각 tB를 특정부(16)에 전달한다.
특정부(16)는, 소리 신호의 시각 정보와 영상의 시각 정보를 동기시켜, 취득부(12)로부터 전달된 영상에 있어서, 점프의 이빙 시각 tA에 대응하는 프레임으로부터 착빙 시각 tB에 대응하는 프레임까지를 점프의 구간으로서 특정한다.
구체적으로는, 도 4에 도시한 바와 같이, 특정부(16)는, 이빙 시각 tA와 동기하는 시각 정보의 프레임(이하, 「이빙 프레임 mA」라 함)의 소정수 전의 프레임을, 이빙 시각 tA에 대응하는 개시 프레임 mS로서 특정한다. 또한, 특정부(16)는, 착빙 시각 tB와 동기하는 시각 정보의 프레임(이하, 「착빙 프레임 mB」라 함)의 소정수 후의 프레임을, 착빙 시각 tB에 대응하는 종료 프레임 mE로서 특정한다. 이빙 프레임 mA 내지 착빙 프레임 mB의 전후의 프레임을 포함시키는 것은, 이빙부터 착빙까지가 확실하게 포함되도록, 개시 프레임 mS 및 종료 프레임 mE를 특정하기 위해서이다. 도 4에 도시한 바와 같이, 소정수는, 예를 들어 1로 할 수 있다.
또한, 특정부(16)는, 소정수를, 경기자(32)와 마이크(20)의 거리에 따른, 영상에 대한 소리 신호의 지연 시간을 프레임수로 환산한 수로 해도 된다. 도 5에 도시한 바와 같이, 경기자(32)와 마이크(20)의 거리가 X[m]인 경우, 얼음 중의 음속 3230[m/s]을 사용하여, 지연 시간은, X÷3230이 된다. 여기에서는, 엄밀한 거리 X를 사용할 필요는 없고, 예를 들어 마이크(20)의 위치로부터 스케이트 링크(30)의 단부까지의 거리의 최댓값을 X로 할 수 있다. 예를 들어, X=30m로 한 경우, 지연 시간은, 30÷3230=9.28[㎳]이다. 영상의 프레임 레이트가 30fps 또는 60fps인 경우, 상기 도 4의 예와 마찬가지로, 소정수를 1로 하고, 120fps인 경우, 소정수를 2로 하면 된다.
또한, 특정부(16)는, 개시 프레임 mS를 특정할 때는, 지연 시간에 기초하는 소정수를 사용하고, 종료 프레임 mE를 특정할 때는, 소정수로서 1을 사용하도록 해도 된다.
특정부(16)는, 취득부(12)로부터 전달된 영상으로부터, 개시 프레임 mS로부터 종료 프레임 mE까지의 구간을, 점프의 구간으로서 추출하여, 산출부(18)에 전달한다.
산출부(18)는, 특정부(16)로부터 전달된 점프의 구간에 포함되는 프레임의 각각을 3차원 해석하여, 경기자(32) 및 경기자(32)가 장착하는 장착물의 소정 부위의 3차원 위치(x, y, z)를 산출한다. 소정 부위는, 도 6에 도시한 바와 같이, 경기자(32)가 장착하는 스케이트 슈즈의 블레이드의 선단(34) 및 종단(36)을 포함한다. 또한, 소정 부위는, 경기자(32)의 각 관절, 헤드부, 및 눈, 코, 입 등의 얼굴의 부위를 포함해도 된다. 또한, 각 프레임으로부터, 이들 소정 부위를 인식하는 방법은, 소정 부위의 형상을 사용한 인식 방법이나, 인체 골격 모델을 사용한 인식 방법 등, 기존의 방법을 사용할 수 있다.
또한, 정보 작성 시스템(100)이 3대 이상의 카메라(22)를 구비하고 있는 경우, 복수의 카메라(22)의 각각에서 촬영된 영상 중, 3차원 위치의 산출에 적합한 각도로 경기자(32)를 촬영한 2개의 영상을 사용하여, 소정 부위의 3차원 위치를 산출하면 된다.
산출부(18)는, 점프의 구간에 포함되는 프레임의 각각으로부터 산출한 블레이드의 선단(34) 및 종단(36)의 위치를 사용하여, 카메라(22)의 촬영 방향을 기준으로 한 블레이드의 절대 각도를 산출한다. 예를 들어, 산출부(18)는, 카메라(22)의 촬영 방향, 또는 촬영 방향에 수직인 선과, 블레이드의 선단(34)과 종단(36)을 연결하는 선이 이루는 각도를, 블레이드의 절대 각도로서 산출할 수 있다. 또한, 복수의 카메라(22) 중, 어느 카메라(22)를 메인의 카메라로서 정해 두고, 메인의 카메라(22)의 촬영 방향을 기준으로, 블레이드의 절대 각도를 산출하면 된다. 또한, 산출부(18)는, 블레이드의 절대 각도를, 점프의 회전 부족을 판정하기 위한 기준선에 대한 각도(이하, 「회전 각도 θ」라 함)로 변환한다.
구체적으로는, 산출부(18)는, 이빙 시각 tA 및 착빙 시각 tB의 각각에 있어서의 블레이드의 선단(34)의 위치에 기초하여 기준선을 특정한다. 보다 구체적으로는, 도 7에 도시한 바와 같이, 산출부(18)는, 이빙 프레임 mA로부터 산출된 블레이드의 선단(34)의 위치를 이빙점 A로서 특정한다. 또한, 산출부(18)는, 착빙 프레임 mB로부터 산출된 블레이드의 선단(34)의 위치를 착빙점 B로서 특정한다. 그리고, 산출부(18)는, 이빙점 A 및 착빙점 B를 통과하는 직선을 기준선으로 하고, 카메라(22)의 촬영 방향에 수직인 선과 기준선의 각도차를, 블레이드의 절대 각도로부터 차감하여, 블레이드의 회전 각도 θ를 산출한다. 도 8에, 점프의 구간에 포함되는 프레임의 각각으로부터 산출된 회전 각도 θ를 나타낸다.
산출부(18)는, 착빙 시에 있어서의, 영상에 대한 소리 신호의 지연 시간 Δt를 산출한다. 상술한 바와 같이, 지연 시간은, 거리 X[m]÷3230[m/s](얼음 중의 음속)이다. 여기에서는, 거리 X를, 마이크(20)의 위치와, 착빙점 B의 거리로 한다.
산출부(18)는, 종료 프레임 mE로부터 산출한 회전 각도 θ(mE)와, 종료 프레임 mE의 1개 전의 프레임 mE-1로부터 산출한 회전 각도 θ(mE-1)에 기초하여, 착빙 시의 블레이드의 회전 각도를 산출한다.
도 9를 참조하여, 구체적으로 설명한다. 도 9는 도 8의 파선 프레임으로 나타내는 부분의 확대도이다. 소리 신호에 기초하여 추정한 착빙 시각 tB에, 산출한 지연 시간 Δt를 고려한 보정 후의 착빙 시각 tB-Δt는, 프레임 mE-1 내지 프레임 mE까지의 1프레임분의 시간 내에 포함된다. 또한, 여기에서는, 지연 시간 Δt는, 1프레임분의 시간과 비교하여 미소한 시간이다. 산출부(18)는, 점프 중의 회전 속도는 거의 일정하다고 가정하고, 프레임 mE-1 내지 프레임 mE간의 회전 각도를, 회전 각도 θ(mE-1) 및 회전 각도 θ(mE)를 사용하여 선형 보완한다. 그리고, 산출부(18)는, 보정 후의 착빙 시각 tB-Δt에 대응하는 회전 각도를, 착빙 시의 회전 각도 θ(tB-Δt)로서 산출한다.
또한, 산출부(18)는, 점프의 구간에 대응하는 소정 부위의 3차원 위치에 기초하여, 다른 정보를 산출할 수도 있다. 예를 들어, 산출부(18)는, 소정 부위로서 허리의 위치를 산출하고, 점프의 구간에 포함되는 각 프레임으로부터 산출된 허리의 위치의 최솟값과 최댓값의 차를 점프의 높이로서 산출할 수 있다. 또한, 산출부(18)는, 이빙점 A로부터 착빙점 B까지의 거리를 점프의 비거리로서 산출할 수 있다. 또한, 산출부(18)는, 이빙 시각 tA로부터 착빙 시각 tB까지의 시간과, 점프의 구간에 있어서의 회전 각도의 변화로부터, 회전 속도를 산출할 수 있다. 또한, 산출부(18)는, 개시 프레임 mS로부터 소정 프레임까지의 시간과, 그 동안에 있어서의 소정 부위의 위치의 변화량으로부터, 도약 속도를 산출할 수 있다.
산출부(18)는, 착빙 시의 회전 각도 θ(tB-Δt), 및 그 밖에 산출한 정보를 출력한다. 착빙 시의 회전 각도 θ(tB-Δt)는, 점프의 회전 부족 등의 판정에 사용할 수 있다. 또한, 출력된 정보를, 텔레비전 방송 등의 화면에 표시하는 스탯으로서 사용할 수도 있다.
정보 처리 장치(10)는, 예를 들어 도 10에 도시한 컴퓨터(40)로 실현할 수 있다. 컴퓨터(40)는, CPU(Central Processing Unit)(41)와, 일시 기억 영역으로서의 메모리(42)와, 불휘발성의 기억부(43)를 구비한다. 또한, 컴퓨터(40)는, 입력부, 표시부 등의 입출력 장치(44)와, 기억 매체(49)에 대한 데이터의 읽어들이기 및 기입을 제어하는 R/W(Read/Write)부(45)를 구비한다. 또한, 컴퓨터(40)는, 인터넷 등의 네트워크에 접속되는 통신 I/F(Interface)(46)를 구비한다. CPU(41), 메모리(42), 기억부(43), 입출력 장치(44), R/W부(45), 및 통신 I/F(46)는, 버스(47)를 통해 서로 접속된다.
기억부(43)는, HDD(Hard Disk Drive), SSD(Solid State Drive), 플래시 메모리 등에 의해 실현할 수 있다. 기억 매체로서의 기억부(43)에는, 컴퓨터(40)를 정보 처리 장치(10)로서 기능시키기 위한 정보 처리 프로그램(50)이 기억된다. 정보 처리 프로그램(50)은, 취득 프로세스(52)와, 추정 프로세스(54)와, 특정 프로세스(56)와, 산출 프로세스(58)를 갖는다.
CPU(41)는, 정보 처리 프로그램(50)을 기억부(43)로부터 읽어내어 메모리(42)에 전개하여, 정보 처리 프로그램(50)이 갖는 프로세스를 순차적으로 실행한다. CPU(41)는, 취득 프로세스(52)를 실행함으로써, 도 2에 도시한 취득부(12)로서 동작한다. 또한, CPU(41)는, 추정 프로세스(54)를 실행함으로써, 도 2에 도시한 추정부(14)로서 동작한다. 또한, CPU(41)는, 특정 프로세스(56)를 실행함으로써, 도 2에 도시한 특정부(16)로서 동작한다. 또한, CPU(41)는, 산출 프로세스(58)를 실행함으로써, 도 2에 도시한 산출부(18)로서 동작한다. 이에 의해, 정보 처리 프로그램(50)을 실행한 컴퓨터(40)가, 정보 처리 장치(10)로서 기능하게 된다. 또한, 프로그램을 실행하는 CPU(41)는 하드웨어이다.
또한, 정보 처리 프로그램(50)에 의해 실현되는 기능은, 예를 들어 반도체 집적 회로, 보다 상세하게는 ASIC(Application Specific Integrated Circuit) 등으로 실현하는 것도 가능하다.
다음에, 본 실시 형태에 관한 정보 작성 시스템(100)의 작용에 대하여 설명한다. 정보 처리 장치(10)에, 마이크(20)로부터 출력된 소리 신호, 및 복수의 카메라(22)의 각각에서 촬영된 영상이 입력되면, 정보 처리 장치(10)에 있어서, 도 11에 도시한 정보 처리 루틴이 실행된다. 또한, 정보 처리 루틴은, 개시의 기술의 정보 처리 방법의 일례이다.
스텝 S12에서, 취득부(12)가, 정보 처리 장치(10)에 입력된 소리 신호 및 영상을 취득한다. 취득부(12)는, 취득한 소리 신호를 추정부(14)에 전달하고, 취득한 영상을 특정부(16)에 전달한다.
다음에, 스텝 S14에서, 추정부(14)가, 소리 신호가 역치 TH 이하가 된 시각을 이빙 시각 tA로서 추정하고, 역치 TH 이하가 되었던 소리 신호가 다시 역치 TH를 초과한 시각을 착빙 시각 tB로서 추정한다. 추정부(14)는, 추정한 점프의 이빙 시각 tA 및 착빙 시각 tB를 특정부(16)에 전달한다.
다음에, 스텝 S16에서, 특정부(16)가, 이빙 시각 tA와 동기하는 시각 정보의 이빙 프레임 mA의 소정수(예를 들어, 1프레임) 전의 프레임을, 이빙 시각 tA에 대응하는 개시 프레임 mS로서 특정한다. 또한, 특정부(16)가, 착빙 시각 tB와 동기하는 시각 정보의 착빙 프레임 mB의 소정수(예를 들어, 1프레임) 후의 프레임을, 착빙 시각 tB에 대응하는 종료 프레임 mE로서 특정한다. 특정부(16)는, 취득부(12)로부터 전달된 영상으로부터, 개시 프레임 mS로부터 종료 프레임 mE까지의 구간을, 점프의 구간으로서 추출하여, 산출부(18)에 전달한다.
다음에, 스텝 S18에서, 산출부(18)가, 특정부(16)로부터 전달된 점프의 구간에 포함되는 프레임의 각각을 3차원 해석하여, 블레이드의 선단(34) 및 종단(36)을 포함하는 소정 부위의 3차원 위치(x, y, z)를 산출한다. 그리고, 산출부(18)가, 카메라(22)의 촬영 방향에 수직인 선과, 블레이드의 선단(34)과 종단(36)을 연결하는 선이 이루는 각도를, 블레이드의 절대 각도로서 산출한다.
다음에, 스텝 S20에서, 산출부(18)가, 이빙 프레임 mA로부터 산출된 블레이드의 선단(34)의 위치를 이빙점 A로서 특정하고, 착빙 프레임 mB로부터 산출된 블레이드의 선단(34)의 위치를 착빙점 B로서 특정한다. 그리고, 산출부(18)는, 이빙점 A 및 착빙점 B를 통과하는 직선을 기준선으로 하고, 카메라(22)의 촬영 방향에 수직인 선과 기준선의 각도차를, 블레이드의 절대 각도로부터 차감하여, 블레이드의 회전 각도 θ를 산출한다.
다음에, 스텝 S22에서, 산출부(18)가, 마이크(20)의 위치와, 착빙점 B의 거리 X를 산출하고, 착빙 시에 있어서의, 영상에 대한 소리 신호의 지연 시간 Δt를, Δt=거리 X[m]÷3230[m/s](얼음 중의 음속)으로서 산출한다.
다음에, 스텝 S24에서, 산출부(18)가, 프레임 mE-1 내지 프레임 mE간의 회전 각도를, 회전 각도 θ(mE-1) 및 θ(mE)를 사용하여 선형 보완하고, 보정 후의 착빙 시각 tB-Δt에 대응하는 회전 각도를, 착빙 시의 회전 각도 θ(tB-Δt)로서 산출한다. 또한, 산출부(18)는, 점프의 구간에 대응하는 소정 부위의 3차원 위치에 기초하여, 다른 정보를 산출해도 된다. 산출부(18)는, 산출한 착빙 시의 회전 각도 θ(tB-Δt), 및 산출한 다른 정보를 출력하고, 정보 처리 루틴은 종료한다.
이상 설명한 바와 같이, 본 실시 형태에 관한 정보 작성 시스템에 의하면, 정보 처리 장치가, 스케이트 링크에 마련된 마이크로 집음된 소리 신호, 및 스케이트 링크에서 경기하는 경기자를 촬영한 영상을 취득한다. 그리고, 정보 처리 장치는, 소리 신호의 레벨이 미리 정한 역치 이하가 되는 구간에 기초하여, 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정한다. 또한, 정보 처리 장치는, 소리 신호의 시각 정보와 영상의 시각 정보를 동기시켜, 영상에 있어서, 이빙 시각에 대응하는 프레임으로부터 착빙 시각에 대응하는 프레임까지를 점프의 구간으로서 특정한다. 이에 의해, 경기자에게 센서 등을 설치하지 않고, 피겨 스케이팅에 있어서의 점프의 개시부터 종료까지의 구간을 특정할 수 있다.
또한, 영상의 화상 해석만으로 점프의 개시 및 종료를 특정하는 경우에 비해, 소리 신호를 사용하여, 보다 정밀도가 높은 이착빙의 시각을 추정할 수 있고, 추정한 시각에 의해, 고정밀도로 점프의 구간을 특정할 수 있다.
또한, 점프의 회전 부족의 판정에 있어서는, 착빙 시의 블레이드의 각도가 사용된다. 이것을 영상만으로 판정하고자 하면, 프레임 레이트 30fps의 경우, 1프레임 동안에 60° 정도 회전해 버리기 때문에, 정확한 판정을 행할 수 없다. 본 실시 형태에서는, 소리 신호를 사용하여 추정한 착빙의 시각을 사용하여, 1프레임분의 시간 단위의 시각보다 미세한 시각에 있어서의 회전 각도를 산출할 수 있기 때문에, 회전 부족의 판정을 고정밀도로 지원할 수 있다.
또한, 상기 실시 형태에서는, 정보 처리 프로그램이 기억부에 미리 기억(인스톨)되어 있는 양태를 설명하였지만, 이것에 한정되지 않는다. 개시의 기술에 관한 프로그램은, CD-ROM, DVD-ROM, USB 메모리 등의 기억 매체에 기억된 형태로 제공하는 것도 가능하다.
10: 정보 처리 장치
12: 취득부
14: 추정부
16: 특정부
18: 산출부
20: 마이크
22: 카메라
30: 스케이트 링크
32: 경기자
34: 블레이드의 선단
36: 블레이드의 종단
40: 컴퓨터
41: CPU
42: 메모리
43: 기억부
49: 기억 매체
50: 정보 처리 프로그램
100: 정보 작성 시스템

Claims (20)

  1. 스케이트 링크를 포함하는 회장 내에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크에서 경기하는 경기자를 촬영한 영상을 취득하고,
    상기 소리 신호에 기초하는 얼음의 소리의 소실과 복귀에 따라서, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하고,
    상기 소리 신호의 시각 정보와 상기 영상의 시각 정보를 동기시켜, 상기 영상에 있어서, 상기 이빙 시각에 대응하는 프레임으로부터 상기 착빙 시각에 대응하는 프레임까지를 점프의 구간으로서 특정하는
    것을 포함하는 처리를 컴퓨터에 실행시키기 위한 정보 처리 프로그램.
  2. 제1항에 있어서,
    상기 컴퓨터에, 또한,
    상기 영상에 기초하여, 상기 경기자 및 상기 경기자가 장착하는 장착물의 소정 부위의 3차원 위치를 특정하고,
    상기 점프의 구간에 포함되는 프레임의 각각으로부터, 상기 이빙 시각 및 상기 착빙 시각의 각각에 있어서의 상기 소정 부위의 위치에 기초하는 기준선에 대한 상기 소정 부위의 각도를 산출하는 처리를 실행시키는 정보 처리 프로그램.
  3. 제2항에 있어서,
    상기 착빙 시각에 대응하는 프레임으로부터 산출된 상기 각도와, 상기 착빙 시각에 대응하는 프레임의 1개 전의 프레임으로부터 산출된 상기 각도에 기초하여, 상기 착빙 시각에 있어서의 상기 소정 부위의 각도를 산출하는 정보 처리 프로그램.
  4. 제2항 또는 제3항에 있어서,
    상기 점프의 구간에 대응하는 상기 소정 부위의 3차원 위치에 기초하여, 도약 속도, 점프의 높이, 비거리, 및 회전 속도 중 적어도 하나를 산출하는 정보 처리 프로그램.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 소정 부위는, 상기 경기자가 장착하는 스케이트 슈즈의 블레이드의 방향을 특정 가능한 부위인 정보 처리 프로그램.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 이빙 시각에 대응하는 프레임으로서, 상기 이빙 시각과 동기하는 시각 정보의 프레임의 소정수 전의 프레임을 특정하고, 상기 착빙 시각에 대응하는 프레임으로서, 상기 착빙 시각과 동기하는 시각 정보의 프레임의 소정수 후의 프레임을 특정하는 정보 처리 프로그램.
  7. 제6항에 있어서,
    상기 소정수를 1, 또는, 상기 경기자와 상기 마이크의 거리에 따른, 상기 영상에 대한 상기 소리 신호의 지연 시간을 프레임수로 환산한 수로 하는 정보 처리 프로그램.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 마이크는, 상기 스케이트 링크의 얼음 중에 마련되는 정보 처리 프로그램.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 소리 신호에 포함되는 소정의 주파수 성분을 제거한 후의 소리 신호에 기초하여, 상기 이빙 시각 및 상기 착빙 시각을 추정하는 정보 처리 프로그램.
  10. 스케이트 링크에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크에서 경기하는 경기자를 촬영한 영상을 취득하는 취득부와,
    상기 소리 신호의 레벨이 미리 정한 역치 이하가 되는 구간에 기초하여, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하는 추정부와,
    상기 소리 신호의 시각 정보와 상기 영상의 시각 정보를 동기시켜, 상기 영상에 있어서, 상기 이빙 시각에 대응하는 프레임으로부터 상기 착빙 시각에 대응하는 프레임까지를 점프의 구간으로서 특정하는 특정부
    를 포함하는 정보 처리 장치.
  11. 제10항에 있어서,
    상기 취득부는, 상기 영상으로서, 상기 경기자 및 상기 경기자가 장착하는 장착물의 소정 부위의 3차원 위치를 계측 가능한 영상을 취득하고,
    상기 점프의 구간에 포함되는 프레임의 각각으로부터, 상기 이빙 시각 및 상기 착빙 시각의 각각에 있어서의 상기 소정 부위의 위치에 기초하는 기준선에 대한 상기 소정 부위의 각도를 산출하는 산출부를 포함하는 정보 처리 장치.
  12. 제11항에 있어서,
    상기 산출부는, 상기 착빙 시각에 대응하는 프레임으로부터 산출된 상기 각도와, 상기 착빙 시각에 대응하는 프레임의 1개 전의 프레임으로부터 산출된 상기 각도에 기초하여, 상기 착빙 시각에 있어서의 상기 소정 부위의 각도를 산출하는 정보 처리 장치.
  13. 제11항 또는 제12항에 있어서,
    상기 산출부는, 상기 점프의 구간에 대응하는 상기 소정 부위의 3차원 위치에 기초하여, 도약 속도, 점프의 높이, 비거리, 및 회전 속도 중 적어도 하나를 산출하는 정보 처리 장치.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 소정 부위는, 상기 경기자가 장착하는 스케이트 슈즈의 블레이드의 방향을 특정 가능한 부위인 정보 처리 장치.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 특정부는, 상기 이빙 시각에 대응하는 프레임으로서, 상기 이빙 시각과 동기하는 시각 정보의 프레임의 소정수 전의 프레임을 특정하고, 상기 착빙 시각에 대응하는 프레임으로서, 상기 착빙 시각과 동기하는 시각 정보의 프레임의 소정수 후의 프레임을 특정하는 정보 처리 장치.
  16. 제15항에 있어서,
    상기 특정부는, 상기 소정수를 1, 또는, 상기 경기자와 상기 마이크의 거리에 따른, 상기 영상에 대한 상기 소리 신호의 지연 시간을 프레임수로 환산한 수로 하는 정보 처리 장치.
  17. 제10항 내지 제16항 중 어느 한 항에 있어서,
    상기 마이크는, 상기 스케이트 링크의 얼음 중에 마련되는 정보 처리 장치.
  18. 제10항 내지 제17항 중 어느 한 항에 있어서,
    상기 추정부는, 상기 소리 신호에 포함되는 소정의 주파수 성분을 제거한 후의 상기 소리 신호에 기초하여, 상기 이빙 시각 및 상기 착빙 시각을 추정하는 정보 처리 장치.
  19. 스케이트 링크에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크에서 경기하는 경기자를 촬영한 영상을 취득하고,
    상기 소리 신호의 레벨이 미리 정한 역치 이하가 되는 구간에 기초하여, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하고,
    상기 소리 신호의 시각 정보와 상기 영상의 시각 정보를 동기시켜, 상기 영상에 있어서, 상기 이빙 시각에 대응하는 프레임으로부터 상기 착빙 시각에 대응하는 프레임까지를 점프의 구간으로서 특정하는
    것을 포함하는 처리를 컴퓨터가 실행하기 위한 정보 처리 방법.
  20. 스케이트 링크에 마련된 마이크로 집음된 소리 신호, 및 상기 스케이트 링크에서 경기하는 경기자를 촬영한 영상을 취득하고,
    상기 소리 신호의 레벨이 미리 정한 역치 이하가 되는 구간에 기초하여, 상기 경기자가 행한 점프의 이빙 시각 및 착빙 시각을 추정하고,
    상기 소리 신호의 시각 정보와 상기 영상의 시각 정보를 동기시켜, 상기 영상에 있어서, 상기 이빙 시각에 대응하는 프레임으로부터 상기 착빙 시각에 대응하는 프레임까지를 점프의 구간으로서 특정하는
    것을 포함하는 처리를 컴퓨터에 실행시키기 위한 정보 처리 프로그램을 기억한 기억 매체.
KR1020227028019A 2020-02-27 2020-02-27 정보 처리 프로그램, 장치 및 방법 KR20220128404A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007998 WO2021171470A1 (ja) 2020-02-27 2020-02-27 情報処理プログラム、装置、及び方法

Publications (1)

Publication Number Publication Date
KR20220128404A true KR20220128404A (ko) 2022-09-20

Family

ID=77490036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227028019A KR20220128404A (ko) 2020-02-27 2020-02-27 정보 처리 프로그램, 장치 및 방법

Country Status (6)

Country Link
US (1) US20220392222A1 (ko)
EP (1) EP4093023A4 (ko)
JP (1) JP7400937B2 (ko)
KR (1) KR20220128404A (ko)
CN (1) CN115136590A (ko)
WO (1) WO2021171470A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021186645A1 (ja) * 2020-03-18 2021-09-23 富士通株式会社 情報処理プログラム、装置、及び方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539336B1 (en) * 1996-12-12 2003-03-25 Phatrat Technologies, Inc. Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance
DE19614253A1 (de) * 1996-03-05 1997-09-11 Karl Leonhardtsberger Elektronisches Aufzeichnungs- und Wiedergabeverfahren für Bewegungsabläufe auf Sportplätzen und/oder in Sport- und Eislaufhallen
JP5924109B2 (ja) 2012-05-11 2016-05-25 セイコーエプソン株式会社 センサーユニット、運動解析装置
WO2016092933A1 (ja) 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6673221B2 (ja) 2014-12-18 2020-03-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10083537B1 (en) * 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
JP6882057B2 (ja) 2017-05-11 2021-06-02 キヤノン株式会社 信号処理装置、信号処理方法、およびプログラム
JP2019033869A (ja) 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082817A (ja) 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法

Also Published As

Publication number Publication date
JP7400937B2 (ja) 2023-12-19
EP4093023A1 (en) 2022-11-23
EP4093023A4 (en) 2023-03-01
WO2021171470A1 (ja) 2021-09-02
JPWO2021171470A1 (ko) 2021-09-02
CN115136590A (zh) 2022-09-30
US20220392222A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
US20160225410A1 (en) Action camera content management system
WO2016111069A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10271775B2 (en) Determining performance indicators for periodic movements
US20160045785A1 (en) Action sports tracking system and method
US20160065984A1 (en) Systems and methods for providing digital video with data identifying motion
EP2819398A1 (en) Image processing device, image processing method, and program
US20220392222A1 (en) Information processing program, device, and method
JP6834590B2 (ja) ３次元データ取得装置及び方法
KR102226623B1 (ko) 실내 스포츠를 위한 카메라를 이용한 운동량 산출 시스템
WO2021186645A1 (ja) 情報処理プログラム、装置、及び方法
KR101703316B1 (ko) 영상을 기반으로 속도를 측정하는 방법 및 장치
WO2007085683A1 (en) Time parametrized trajectory determination
US20160310788A1 (en) Analysis device, recording medium, and analysis method
US20220405943A1 (en) Information processing apparatus, information processing method, and program
JPWO2021171470A5 (ko)
WO2022215116A1 (ja) 情報処理プログラム、装置、及び方法
CN114519740A (zh) 轨道计算装置、轨道计算方法、计算机可读记录介质
KR101971060B1 (ko) 모듈형 고속 촬영 장치, 고속 영상 기반의 공 운동 인식 장치 및 방법
JP7429887B2 (ja) 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム
KR102671099B1 (ko) 궤도 산출 장치, 궤도 산출 방법, 궤도 산출 프로그램
US20230222795A1 (en) System and Method for Impact Detection and Analysis
JP2002372436A (ja) 軌跡表示システム
JPWO2021186645A5 (ko)
KR20240013950A (ko) 인체 관절 위치 추출 기반 스피드 스케이팅 팔 스트로크 횟수 자동 측정 장치 및 방법