KR20190110566A - 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐 - Google Patents

레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐 Download PDF

Info

Publication number
KR20190110566A
KR20190110566A KR1020197023721A KR20197023721A KR20190110566A KR 20190110566 A KR20190110566 A KR 20190110566A KR 1020197023721 A KR1020197023721 A KR 1020197023721A KR 20197023721 A KR20197023721 A KR 20197023721A KR 20190110566 A KR20190110566 A KR 20190110566A
Authority
KR
South Korea
Prior art keywords
audio
motion data
video stream
motion
timing
Prior art date
Application number
KR1020197023721A
Other languages
English (en)
Other versions
KR102471667B1 (ko
Inventor
알라 에딘 리마메
장 프랑수아 메나드
Original Assignee
디-박스 테크놀러지스 인코포레이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디-박스 테크놀러지스 인코포레이트 filed Critical 디-박스 테크놀러지스 인코포레이트
Publication of KR20190110566A publication Critical patent/KR20190110566A/ko
Application granted granted Critical
Publication of KR102471667B1 publication Critical patent/KR102471667B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 모션 데이터를 오디오/비디오 스트림과 동기화하기 위한 방법 및 시스템을 제공한다. 적어도 하나의 타이밍 마커를 포함하는 오디오/비디오 스트림이 획득된다. 오디오/비디오 스트림은 적어도 하나의 타이밍 마커를 검출하도록 프로세싱된다. 오디오/비디오 스트림과 관련된 모션 데이터 및 모션 데이터에 대한 타이밍 정보가 획득되고, 타이밍 정보는 적어도 하나의 타이밍 마커에 관한 타이밍 정보를 포함한다. 적어도 하나의 타이밍 마커가 검출된 오디오/비디오 스트림 및 모션 데이터는 타이밍 정보와 함께 출력된다.

Description

레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐
본 발명은 오디오/비디오 레코딩과 관련된 모션 데이터를 캡쳐하기 위한, 그리고 재생(playback)시 오디오/비디오 레코딩과 모션 데이터를 동기화하기 위한 방법 및 시스템에 관한 것이다.
소비자 전자 장치의 진화에서, 비디오 카메라는 비교적 낮은 비용으로 많은 구성에서 용이하게 이용할 수 있게 되었다. 이로 인해 그러한 카메라가 광범위하게 사용되었다. 사용 중에, 사용자는 예를 들어 레저 또는 운동 활동을 수행할 때 관련된 액션 장면을 기록하는 경향이 있게 되었다. 예를 들어, 많은 차량 운전자는 경치 좋은 도로에서 자동차 드라이브를 레코딩하거나 활강 스키 선수는 액션 카메라로 알려진 비디오 카메라로 사용자가 나타나는 환경의 동적 이미지 및 오디오를 레코딩하여 타는 것을 레코딩할 수 있다.
이와 동시에, 진동 운동 효과를 수행하는 모션 시뮬레이터는 비디오 프로그램의 시청 경험을 향상시키기 위해 일반적으로 사용된다. 이러한 기술에서, 모션 시뮬레이터는 오디오-비쥬얼 프로그램 또는 비쥬얼 이벤트와 동기화하여 진동 운동 효과로 액츄에이터에 의해 변위되는 시트 또는 플랫폼을 특징으로 한다. 이러한 특정 유형의 모션 시뮬레이터에서, 모션 시뮬레이터는 시청각 프로그램의 사운드트랙으로부터 추출되는 진동과 대조적으로 모션 트랙으로 인코딩된 모션 신호에 기초하여 이동할 수 있다.
모션 카메라가 오디오/비디오 레코딩에 진동 운동 효과를 추가하기 위해 모션 시뮬레이터를 사용하는 것이 바람직할 것이다.
본 발명의 목적은 오디오/비디오 레코딩과 관련된 모션을 캡쳐하기 위한, 그리고 재생시 오디오/비디오 레코딩과 모션 데이터를 동기화하기 위한 새로운 방법을 제공하는 것이다.
본 발명의 다른 목적은 오디오 비디오 레코딩과 관련된 모션을 캡쳐하기 위한, 그리고 재생시 오디오/비디오 레코딩과 모션 데이터를 동기화하기 위한 새로운 시스템을 제공하는 것이다.
광범위한 양태에 따르면, 오디오 비디오 스트림과 모션 데이터를 동기화하기 위한 방법이 제공된다. 오디오/비디오 스트림에서 캡쳐하기 위해 적어도 하나의 타이밍 마커(timing marker)가 생성된다. 적어도 하나의 타이밍 마커를 포함하는 오디오/비디오 스트림이 획득된다. 오디오/비디오 스트림은 적어도 하나의 타이밍 마커를 검출하도록 프로세싱된다. 오디오/비디오 스트림과 관련된 모션 데이터 및 모션 데이터에 대한 타이밍 정보가 획득되고, 타이밍 정보는 적어도 하나의 타이밍 마커에 관한 타이밍 정보를 포함한다. 모션 데이터는 오디오/비디오 스트림에서 검출된 적어도 하나의 타이밍 마커 및 타이밍 정보에 기초하여 오디오/비디오 스트림과 동기화된다.
광범위한 양태에 따르면, 오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 방법이 제공되며, 상기 방법은: 오디오/비디오 스트림을 획득하는 단계 ― 오디오/비디오 스트림은 적어도 하나의 타이밍 마커를 포함함 ―; 적어도 하나의 타이밍 마커를 검출하기 위해 오디오/비디오 스트림을 프로세싱하는 단계; 오디오/비디오 스트림과 관련된 모션 데이터 및 모션 데이터에 대한 타이밍 정보를 획득하는 단계 ― 타이밍 정보는 적어도 하나의 타이밍 마커에 관한 타이밍 정보를 포함함 ―; 및 적어도 하나의 타이밍 마커가 검출된 오디오/비디오 스트림 및 상기 타이밍 정보를 갖는 모션 데이터를 출력하는 단계;를 포함하는, 방법이 제공된다.
일부 실시예에서, 모션 데이터를 획득하는 단계는 적어도 하나의 타이밍 마커를 생성하는 단계와 실질적으로 동시에 시작하여 적어도 하나의 모션 센서를 통해 모션 데이터를 캡쳐하는 단계를 포함한다.
일부 실시예에서, 방법은 오디오/비디오 스트림에서 검출된 타이밍 정보 및 적어도 하나의 타이밍 마커에 기초하여 오디오/비디오 스트림과 모션 데이터를 동기화하는 단계를 더 포함하며, 이로써 오디오/비디오 스트림을 출력하는 단계는 오디오/비디오 스트림과 동기화된 모션 데이터를 출력하는 단계를 포함한다.
일부 실시예에서, 모션 데이터를 동기화하는 단계는 적어도 하나의 타이밍 마커에 기초하여 오디오/비디오 스트림과 정렬되도록 모션 데이터의 타이밍 정보를 변경함으로써 동기화된 모션 파일을 생성하는 단계를 포함한다.
일부 실시예에서, 방법은 동기화에 기초하여 오디오/비디오 스트림에 모션 데이터를 매핑하는 단계를 포함하는 타이밍 파일을 생성하는 단계를 더 포함한다.
일부 실시예에서, 방법은 오디오/비디오 스트림의 재생과 동기화된 모션 데이터를 출력하는 단계를 더 포함한다.
일부 실시예에서, 모션 데이터를 출력하는 단계는 모션 데이터에 기초하여 적어도 하나의 모션 시스템에서 이동을 초래하는 단계를 포함한다.
일부 실시예에서, 방법은 적어도 하나의 모션 시스템에서 이동을 초래하기 위한 명령을 포함하는 모션 파일을 생성하는 단계를 더 포함하며, 모션 파일은 모션 데이터에 기초하여 오디오/비디오 스트림과 정렬된다.
일부 실시예에서, 모션 데이터를 오디오/비디오 스트림과 동기화하는 단계는 모션 데이터의 데이터 포인트를 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬시키는 단계를 포함한다.
일부 실시예에서, 모션 데이터의 데이터 포인트를 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬시키는 단계는 모션 데이터의 제로 포인트를 오디오/비디오 스트림의 대응하는 제로 포인트와 정렬시키는 단계를 포함한다.
일부 실시예에서, 방법은 오디오/비디오 스트림을 획득할 때 오디오/비디오 스트림에서 캡쳐하기 위한 적어도 하나의 타이밍 마커를 생성하는 단계를 더 포함한다.
일부 실시예에서, 적어도 하나의 타이밍 마커를 생성하는 단계는 사용자 입력에 응답하여 적어도 하나의 타이밍 마커를 생성하는 단계를 포함한다.
일부 실시예에서, 적어도 하나의 타이밍 마커가 검출된 오디오/비디오 스트림을 출력하는 단계는 모션 데이터의 타이밍 정보를 조절하고 오디오/비디오 스트림과 동기화된 조절된 모션 데이터를 출력하는 단계를 포함한다.
다른 광범위한 양태에 따르면, 오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 시스템이 제공된다. 시스템은 적어도 하나의 타이밍 마커를 포함하는 오디오/비디오 스트림을 획득하고, 적어도 하나의 타이밍 마커를 검출하도록 오디오/비디오 스트림을 프로세싱하기 위한 마커 검출 모듈; 및 모션 데이터에 대한 타이밍 정보와 오디오/비디오 스트림과 관련된 모션 데이터를 획득하고 ― 상기 타이밍 정보는 적어도 하나의 타이밍 마커에 관한 타이밍 정보를 포함함 ―, 타이밍 정보 및 식별된 적어도 하나의 타이밍 마커를 사용하여 모션 데이터의 데이터 포인트를 오디오/비디오 스트림과 정렬함으로써 모션 데이터를 오디오/비쥬얼 스트림과 동기화 및 출력하기 위한 동기화 모듈;을 포함한다.
일부 실시예에서, 동기화 장치는 동기화에 기초하여 모션 데이터를 오디오/비디오 스트림에 매핑하는 것을 포함하는 타이밍 파일을 생성하도록 추가로 구성된다.
일부 실시예에서, 동기화 장치는 오디오/비디오 스트림의 재생과 동기화된 모션 데이터를 출력하도록 추가로 구성된다.
일부 실시예에서, 모션 데이터를 출력하는 단계는 모션 데이터에 기초하여 적어도 하나의 모션 시스템에서의 이동을 초래하는 단계를 포함한다.
일부 실시예에서, 동기화 장치는 적어도 하나의 모션 시스템에서의 이동을 초래하기 위한 명령을 포함하는 모션 파일을 생성하도록 추가로 구성되며, 모션 파일은 모션 데이터에 기초하고 오디오/비디오 스트림과 정렬된다.
일부 실시예에서, 모션 데이터를 동기화하기 위한 동기화 모듈은 모션 데이터의 데이터 포인트를 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬시키는 것을 포함한다.
일부 실시예에서, 모션 데이터의 데이터 포인트를 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬하는 것은 모션 데이터의 제로 포인트를 오디오/비디오 스트림의 대응하는 제로 포인트와 정렬하는 것을 포함한다.
다른 광범위한 양태에 따르면, 모션 데이터를 오디오/비디오 스트림과 동기화하기 위한 동기화 시스템이 제공되며, 동기화 시스템은: 동기화 장치; 및 모션 캡쳐 장치를 포함하며, 모션 캡쳐 장치는: 오디오/비디오 스트림에서의 캡쳐를 위해 적어도 하나의 타이밍 마커를 생성하기 위한 타이밍 마커 생성기; 및 타이밍 마커의 생성과 실질적으로 동시에 시작하여, 모션 데이터를 캡쳐하기 위한 모션 센서;를 포함한다.
일부 실시예에서, 모션 캡쳐 장치는 사용자 입력을 더 포함하며, 타이밍 마커 생성기는 사용자 입력의 활성화에 응답하여 적어도 하나의 타이밍 마커를 생성하도록 구성된다.
본 명세서에 기술된 시스템, 장치 및 방법의 특징은 다양한 조합으로 사용될 수 있으며, 시스템 및 컴퓨터 판독가능 저장 매체에 다양한 조합으로 사용될 수도 있다.
본 명세서에 기술된 실시예의 추가적인 특징 및 이점은 첨부된 도면과 결합하여 이하 상세한 설명으로부터 명확하게 될 수 있다:
도 1은 오디오/비디오 스트림과 모션 데이터를 동기화하고 캡쳐하기 위한 방법을 도시하는 흐름도이다.
도 2는 일 실시예에 따른 도 1의 방법을 구현하기 위한 예시적인 컴퓨팅 시스템의 개략도이다.
도 3은 오디오/비디오 스트림과 모션 데이터를 동기화하고 캡쳐하기 위한 시스템의 예시적인 구현의 블록도이다.
첨부된 도면 전체에서, 유사한 특징은 유사한 참조 번호로 식별된다는 것을 주목해야 할 것이다.
도 1을 참조하면, 오디오 스트림 및 비디오 스트림 중 적어도 하나와 모션 데이터(모션 센서 데이터라고도 불림)를 동기화하고 캡쳐하기 위한 방법(100)이 제공된다. 설명을 단순화하기 위해, 용어 “오디오/비디오 스트림”이 본 명세서에서 사용될 것이지만, 모션 데이터는 하나 이상의 오디오 스트림, 하나 이상의 비디오 스트림 또는 오디오 및 비디오 스트림의 임의의 적절한 조합 중 임의의 것과 동기화될 수 있음을 이해해야 한다. 모션 데이터는 오디오/비디오 스트림의 레코딩 중에 발생하는 액션의 결과로서 모션 센서에 의해 생성되고, 따라서 모션 센서 데이터로 지칭될 수 있지만, 여기서는 간단하게 모션 데이터로 참조된다. 모션 센서는 가속도계, 자이로미터 또는 자이로스코프, 자력계, 위치 센서, GPS 기반 센서 또는 이들의 임의의 적절한 조합일 수 있다.
단계 102에서, 오디오 신호 및 비쥬얼 신호 중 적어도 하나, 이하에서는 “타이밍 마커”는 타이밍 정보에 기초하여 생성된다. 적어도 하나의 타이밍 마커는 스피커, 스크린, 조명 또는 다른 유사한 구성요소에 의해 생성될 수 있다. 적어도 하나의 타이밍 마커는 적어도 하나의 레코딩 장치에 의해 캡쳐되는 방식으로 생성되며, 상기 레코딩 장치는 카메라(예를 들어, 액션 카메라), 마이크 또는 오디오/비디오 스트림을 캡쳐하도록 구성되는 임의의 다른 적절한 레코딩 장치일 수 있다. 타이밍 정보는 신호가 생성될 때의 하나 이상의 순간에 대한 임의의 적절한 표현일 수 있다. 예를 들어, 타이밍 정보는 절대 시간, 상대 시간, 클럭 사이클 카운트(clock cycle count), GPS 클럭 카운트(GPS clock count), 샘플링 또는 프로세싱 레이트 또는 임의의 다른 적절한 표현일 수 있다.
일부 실시예에서, 타이밍 마커는 인간의 청각에 인지될 수 있거나 인지되지 않을 수 있는 오디오 핑(audio ping), 차임(chime) 또는 처프(chirp)이다. 다른 실시예에서, 타이밍 마커는 광 플래시, 광 점멸 패턴(light blinking pattern), 파장 또는 진폭이 변하는 광 또는 사람 눈에 인지될 수 있거나 인지되지 않을 수 있는 다른 적합한 광 방출(예를 들어, 적외선 또는 자외선 방출)이다. 다른 실시예에서, 타이밍 마커는 레코딩 장치에 의해 캡쳐되는 오디오/비디오 스트림이 타이밍 마커로서 비쥬얼 패턴을 포함하도록 바코드, QR코드 또는 레코딩 장치 앞에 유지되는 스크린 상에 표시되는 다른 비쥬얼 패턴이다. 또 다른 실시예에서, 타이밍 마커는 임의의 적합한 다른 신호 또는 상기 열겨된 신호의 임의의 조합이다.
특정 실시예에서, 타이밍 마커는 사용자 입력에 응답하여 생성된다. 예를 들어, 사용자는 타이밍 마커가 생성되어야 함을 나타내기 위해 버튼, 터치스크린 또는 다른 입력 장치를 누를 수 있다. 다른 실시예에서, 스마트폰 또는 다른 모바일 장치는 타이밍 마커가 생성될 것임을 나타내기 위해 사용될 수 있거나 또는 예를 들어 블루투스(Bluetooth®) 또는 임의의 다른 적합한 무선 프로토콜을 통해 타이밍 마커를 생성하기 위해 사용될 수 있다. 타이밍 마커를 생성하기 위한 표시를 제공하는 또 다른 방법이 고려된다. 타이밍 마커는 미리 결정된 횟수만큼 생성될 수 있거나(예를 들어, 레코딩의 시작 시에만), 실질적으로 연속적으로 생성될 수 있다. 예를 들어, 비쥬얼 타이밍 마커는 사용자 입력을 수신한 후 5회, 그 후에 2분마다 1회 생성될 수 있다. 다른 예에서, 오디오 타이밍 마커는 사용자 입력의 수신 후 30초마다 생성되고 후속 사용자 입력이 수신될 때까지 계속된다.
일부 실시예에서, 청각적이든 시각적이든 타이밍 마커는 시간에 따라 형태 및/또는 유형이 다양한 시변 타이밍 마커(time-varying timing marker)이다. QR 코드를 통해 표시되는 패턴이 초당 수회, 초당, 수초마다 변하도록 비쥬얼 타이밍 마커, 예를 들어 QR 코드는 시간에 따라 변할 수 있다. 일부 경우에, QR 코드에 대한 재생률(refresh rate), 즉 후속 비쥬얼 패턴 사이의 시간은 타이밍 마커를 캡쳐하는 장치, 예를 들어 카메라의 재생률과 동기화되지 않도록 선택될 수 있다. 카메라가 24 초당 프레임(FPS), 60 FPS 또는 120 FPS의 재생률을 가지는 것으로 알려진 경우 QR 코드의 재생률은 카메라의 재생률과 일치하지 않는 기간을 가지도록 선택될 수 있다. 예를 들어, QR 코드는 1003 밀리초(~0.997 FPS)마다 변경될 수 있으므로 QR 코드의 변경은 카메라에 의해 캡쳐된 인접 프레임 사이에서 발생한다. 이는 이하에 보다 상세히 설명되는 바와 같이 카메라에 의해 캡쳐된 비디오 스트림에서 타이밍 마커의 검출 정밀도를 향상시키기 위해 사용될 수 있다. 오디오 타이밍 마커의 주파수 또는 피치 등이 시간에 따라 변화할 수 있는 오디오 타이밍 마커에 대해 유사한 고려사항이 적용될 수 있다.
단계 104에서, 타이밍 마커를 포함하는 오디오/비디오 스트림이 획득된다. 오디오/비디오 스트림은 캡쳐 장치, 예를 들어 카메라, 사운드 레코더 등으로부터, 저장 매체, 예를 들어 데이터베이스, 하드 드라이브 또는 메모리 드라이브로부터, 원격 소스로부터, 예를 들어 서버, 데이터베이스, 웹 서버로부터 또는 임의의 다른 적합한 소스로부터 획득될 수 있다. 일부 실시예에서, 오디오/비디오 스트림은 오디오 스트림 및 비디오 스트림 모두를 포함한다. 다른 실시예에서, 오디오 스트림 및 비디오 스트림 중 단지 하나만이 획득된다. 또 다른 실시예에서, 적절하게 별도로 프로세싱되거나 조합될 수 있는 별개의 오디오 및 비디오 스트림이 획득된다.
단계 106에서, 일 실시예에 따르면, 102 및 104에서 레코딩 장치에 의해 캡쳐된 오디오/비디오 스트림은 캡쳐된 타이밍 마커(들)를 검출하도록 프로세싱된다. 오디오/비디오 스트림으로부터 획득된 캡쳐된 타이밍 마커(들)는, 단계 102에서 생성된 타이밍 마커의 표시가 오디도/비디오 스트림의 레코딩 장치에 의해 캡쳐된 오디오/비디오 스트림에서의 순간(들)을 나타낸다. 따라서, 오디오/비디오 스트림은 레코딩 장치에 의해 캡쳐된 가청 및/또는 가시적 표현의 형태로 타이밍 마커(들)를 검출하도록 프로세싱된다. 이렇나 타이밍 마커(들)가 발견되면, 타이밍 정보는 예를 들어 표현이 발견되는 오디오/비디오 스트림의 하나 이상의 프레임에 대한 프레임 주파수 정보를 통해 또는 임의의 적절한 방식으로 오디오/비디오 스트림으로부터 도출된다.
단계 102에서 생성된 타이밍 마커(들)는 임의의 적절한 오디오 및/또는 비디오 프로세싱 기술을 사용하여 오디오/비디오 스트림에서 검출될 수 있다. 일부 실시예에서, 단계 102에서 생성된 타이밍 마커는 미리 결정된 간격으로 미리 결정된 횟수만큼 반복되는 미리 정해진 주파수 및 지속시간을 갖는 오디오 처프이다. 예를 들어, 21kHz(킬로 헤르츠)에서 200ms 처프는 500ms 간격으로 10번 반복된다. 이 에에서, 오디오 필터는 21kHz를 포함하는 범위 밖의 모든 사운드를 제거하여 오디오/비디오 스트림에서 처프의 위치를 결정하는데 사용될 수 있다. 오디오/비디오 스트림에서 처프가 발견되는 프레임에 관한 프레임 주파수 정보는 타이밍 정보를 얻기 위해 사용될 수 있다. 유사한 기술이 다른 사운드 반 패턴에 적용될 수 있다. 예를 들어, 오디오 처프는 처프의 주파수를 변화시킴으로써, 처프의 다수의 주파수를 결합함으로써, 처프 사이의 간격을 변화시킴으로써 타이밍 마커에 타이밍 정보의 추가 요소를 인코딩할 수 있다. 또한, 오디오/비디오 스트림에 존재하는 비쥬얼 타이밍 마커의 비쥬얼 표현을 검출하기 위해 이미지 프로세싱 기술이 적용될 수 있다. 예를 들어, 이미지 프로세싱 기술은 오디오/비디오 스트림에서 2차원 바코드(또는 QR 코드), GPS 클록 시간 값 등을 검출할 수 있다. QR 코드는 캡쳐된 타이밍 마커(들)를 얻기 위해 프로세싱될 수 있는 인코딩된 타임스탬프를 나타낼 수 있고 일부 경우에는 특정 간격으로 변경될 수 있다. 일부 실시예에서, 타이밍 마커의 재생률은 타이밍 마커를 캡쳐하는 장치의 캡쳐 레이트와 동기화하지 않도록 선택된다. 예를 들어, 1003 밀리초마다 변화하는 비쥬얼 타이밍 마커는 하나의 타이밍 마커에서 다음으로의 전환이 비디오 스트림의 후속 프레임 사이에서 발생하도록 하여 타이밍 마커의 존재를 결정하는 정확도 및 전환 시간을 향상시킬 수 있다.
단계 108에서, 오디오/비디오 스트림과 관련된 모션 데이터가 획득된다. 적어도 하나의 타이밍 마커에 관한 타이밍 정보를 포함하는 모션 데이터에 대한 타이밍 정보가 또한 획득된다. 일부 실시예에서, 모션 데이터는 예를 들어 적어도 하나의 모션 센서를 통해 캡쳐된다. 모션 데이터의 캡쳐는, 단계 102에서 타이밍 마커의 생성과 함께 또는 그 후에 미리 결정된 시간에 계산된 알려진 지연으로 실질적으로 동시에 시작될 수 있다. 타이밍 마커(들)를 특징으로 하는 모션 데이터 및 오디오/비디오 스트림은 모션 센서 및 레코딩 장치에 의해 동시에 그리고 각각 캡쳐되고, 104의 오디오/비디오 스트림 캡쳐에 걸쳐 타이밍 마커가 주기적으로 존재하도록 하기 위해 102의 생성은 104의 캡쳐와 동시에 수행될 수 있다. 그 후에, 모션 데이터는 단계 102의 오디오 및/또는 비쥬얼 신호의 생성에 기초한 타이밍 정보와 관련하여 저장된다. 모션 데이터는 이하에서 더 상세히 설명되는 바와 같이 임의의 적합한 데이터베이스 또는 다른 저장 매체에 저장될 수 있고, 예를 들어 태그, 메타데이터, 포인터 등을 통해 임의의 적절한 방식으로 타이밍 정보와 관련하여 저장될 수 있다.
모션 데이터는 모션 센서(들)에 의해 느껴지는 하나 이상의 축을 따른 힘, 가속 및/또는 각속도를 나타낸다. 예를 들어, 모션 센서가 지면으로 떨어질 경우, 모션 데이터는 아래로 향하는 힘 및/또는 지면을 향하는 가속도를 나타낼 수 있고, 이어서 예를 들어 좌표계를 참조하여 모션 센서가 지면에 충격을 가할 때 지면을 향한 힘 또는 가속도를 나타낼 수 있다. 근접하거나 레코딩 장치 상에 위치할 때, 모션 데이터는 레코딩 장치에 의해 느껴지는 힘 및/또는 가속도, 또는 레코딩 장치를 유지, 착용 또는 사용하는 사용자를 나타낼 수 있다. 모션 데이터 및 오디오/비디오 스트림의 캡쳐 기간은 모션 센서 및 레코딩 장치를 통합한 장치의 저장 용량 및 사용자의 요구에 기초하여 임의의 적절한 지속시간을 갖는다. 방법(100)은, 오디오/비디오 스트림이 타이밍 마커(들)가 없도록, 102없이 수행될 수 있다는 것이 지적된다.
단계 108는 동기화된 모션 데이터에 기초하여 모션 시뮬레이션 트랙을 생성하는 단계를 더 포함할 수 있다. 모션 시뮬레이션 트랙은 모션 데이터를 나타내는 모션 샘플을 포함할 수 있지만, 모션 시뮬레이터에서 이용가능한 자유도를 고려한다. 예를 들어, 모션 센서는 모션 시뮬레이터에서 이용하는 것보다 더 많은 자유도에 관한 모션 데이터를 캡쳐할 수 있다. 따라서, 108에서 모션 시뮬레이션 트랙의 생성은 모션 데이터를 재생하는 것과 반대로 모션 데이터에서 발생하는 액션을 시뮬레이션하거나 근사화한다. 일 실시예에 따르면, 단계 108는 모션 데이터에서 발생하는 액션의 세부사항(예를 들어, 크기, 방향)의 함수로서 모션 샘플 데이터베이스로부터 모션 샘플을 검색하는 단계를 포함한다. 예를 들어, 단계 108는 모션 데이터로부터 스키 활동에서의 점프 및 착륙을 검출할 수 있고, 모션 샘플 데이터베이스에 동등한 공중 및 착륙 샘플을 가질 수 있다. 마찬가지로, 차량의 경우, 도로 곡선에서의 회전이 모션 데이터에서 검출될 수 있고, 이러한 움직임은 모션 시뮬레이션 트랙에서 모션 샘플의 형태로 재생될 수 있다. 또 다른 실시예에 따르면, 모션 시뮬레이터의 생성은 오디오/비디오 스트림에 기초할 수 있다. 비디오 스트림의 이미지의 프로세싱은 점프 및 착륙 또는 회전 등의 검출을 가능하게 할 수 있고, 따라서 모션 시뮬레이터 트랙의 생성에 사용될 수 있다. 오디오 스트림은 오디오/비디오 스트림에서 발생하는 액션을 검출하는 것을 돕기 위해 비디오 스트림의 이미지의 프로세싱과 함께 사용될 수 있다. 대안적으로, 모션 시뮬레이션 트랙은 단계 108에서 오디오/비디오 스트림과 동기화된 모션 데이터를 사용하여 모션 플랫폼에서 생성될 수 있다.
단계 110에서, 일 실시예에서, 모션 데이터는 캡쳐된 모션 데이터의 타이밍 정보 및 오디오 비디오 스트림 상의 타이밍 마커(들)에 기초하여 오디오/비디오 스트림과 동기화된다. 일부 실시예에서, 단계 104에서 캡쳐된 모션 데이터는 타이밍 마커(들)가 단계 102에서 생성될 때 순간에 모션 데이터의 데이터 포인트들이 오디오/비디오 스트림에서 타이밍 마커(들)의 데이터 포인트들과 시간적으로 정렬되도록 동기화된다. 일부 실시예에서, 모션 데이터는 오디오/비디오 스트림의 데이터 포인트와 모션 데이터의 데이터 포인트를 정렬하기 위해 연관된 타이밍 정보가 조절되도록 수정된다. 다른 실시예에서, 생성된 타이밍 마커를 나타내는 타이밍 정보를 갖는 제1 데이터 포인트가 “시간=0” 포인트로 설정되도록 수정된다. 대안적으로, 오디오/비디오 스트림은 모션 데이터와 동기화될 수 있어서, 오디오/비디오 스트림의 타이밍 특성이 모션 데이터와 정렬되도록 변경된다. 단계 108에서 획득된 모션 데이터가 이산 모션 이벤트(discrete motion event)의 수집인 실시예에서, 단계 110는 모션 데이터를 오디오/비디오 스트림과 동기화하기 위해 이산 모션 이벤트를 재정렬 또는 재배치하는 단계를 포함할 수 있다. 모션 데이터가 실질적으로 연속인, 예를 들어 일정한 속도로 측정된 일련의 샘플인 실시예에서, 단계 110는 하나 이상의 리샘플링 기술, 하나 이상의 신장 또는 압축 기술 등을 적용하는 단계를 포함할 수 있다.
동기화는 오디오/비디오 스트림의 프레임 주파수 및 시간/클럭 및/또는 모션 센서의 샘플링 또는 프로세싱 속도를 사용한 계산, 모션 센서 장치 및 레코딩 장치의 GPS 클럭을 사용한 계산을 포함할 수 있다. 예를 들어, QR 코드 또는 다른 비쥬얼 표현으로부터 캡쳐된 바와 같이, 모션 데이터 및 오디오/비디오 프로세싱의 동기화된 재생을 위해 오디오/비디오 스트림에서 하나 이상의 타이밍 마커는 모션 데이터와 관련된 타이밍 정보와 정렬된다. 모션 데이터를 동기화하기 위한 또 다른 접근이 고려된다. 예를 들어, 모션 데이터의 정렬은 특히 모션 센서 장치와 레코딩 장치 사이에 클록 드리프트(clock drift)가 존재하는 경우, 타이밍 마커와 정렬하도록 모션 데이터의 데이터 포인트 사이의 시간 간격을 신장 또는 압축함으로써 수행될 수 있다. 일부 실시예에서, 예를 들어 동기화에 기초하여 수정된 상태에서 동기화된 모션 데이터는 데이터베이스 또는 다른 데이터 저장 매체에 저장될 수 있다.
단계 112에서, 동기화된 모션 데이터는 하나 이상의 방식으로 출력된다. 일부 실시예에서, 모션 데이터는 예를 들어 모션 시뮬레이터 및 오디오/비디오 디스플레이 시스템에 각각 오디오/비디오 스트림과 동시에 그리고 동기식으로(in synchrony) 출력된다. 모션 데이터는 멀티 채널 오디오/비디오 스트림의 하나 이상의 전용 채널을 점유하는 모션 시뮬레이션 트랙의 형태일 수 있다. 단계 112는 또한 모션 데이터만을 출력하는 단계를 포함할 수 있지만, 오디오/비디오 스트림과 동기식으로 동시에(in parallel) 재생된다. 예를 들어, 오디오/비디오 스트림은 병행 오디오/비디오 스트림(parallel audio/vido stream)으로 단계 106 및 108을 수행하는 방법(100)으로 오디오/비디오 디스플레이 시스템에 직접 출력될 수 있다. 또 다른 실시예에서, 모션 데이터는 오디오/비디오 스트림과 동기화될 수 있는 전술한 모션 시뮬레이션 트랙을 통해 출력된다. 예를 들어, 모션 데이터에 대한 타이밍 정보는 오디오/비디오 스트림과 정렬되도록 변경될 수 있다. 다른 실시예에서, 단계 110에서 수행된 동기화에 기초하여 모션 데이터를 오디오/비디오 스트림에 맵핑하는 타이밍 파일이 생성될 수 있다. 단계 112는 또한 동기화 단계 110가 예를 들어 다른 장치에서 후속적으로 수행되도록 적어도 하나의 타이밍 마커가 검출된 오디오/비디오 스트림 및 타이밍 정보를 갖는 모션 데이터를 출력하는 단계를 포함할 수 있다. 달리 말하면, 단계 112는 단계 108 이후 단계 110 전에 발생할 수 있다. 동기화된 모션 데이터를 출력하기 위한 또 다른 접근이 고려된다.
동기화된 모션 데이터 및 오디오/비디오 스트림은 임의의 적절한 전송 프로토콜을 사용하여 임의의 적절한 데이터 포맷으로 출력될 수 있다. 예를 들어, 동기화된 모션 데이터 및 오디오/비디오 스트림은 각각 USB(Universal Serial Bus) 및 HDMI(Migh-Definition Multimedia Interface)를 통해 출력된다. 다른 예에서, 동기화된 모션 데이터 및 오디오/비디오 스트림은 적합한 무선 프로토콜 예를 들어 블루투스(Bluetooth®), WiFi 등을 통해 출력된다.
따라서, 모션 데이터는 레코딩 장치에 의해 캡쳐된 오디오/비디오 스트림과 동기화되어, 재생 동안, 모션 데이터 또는 모션 시뮬레이션 트랙을 사용하여 모션 시뮬레이터 또는 다른 모션 시스템에 의해 생성된 움직임은 오디오/비디오 스트림과 동기화되고 선택적으로 스크린 또는 모니터 상에 표시되거나 그리고/또는 스피커를 통해 재생된다. 이는 오디오/비디오 스트림의 시청자가 오디오/비디오 스트림의 캡쳐 동안 경험된 힘의 표현을 즐길 수 있게 한다. 동기화된 모션 데이터 및 오디오/비디오 스트림은 또한 재생 전에 단계 108에서 달성된 동기화에 의존하여 재생 전에 저장 또는 편집될 수 있다.
도 2를 참조하면, 방법(100)은 컴퓨터 실행 가능 명령(216)을 저장한 메모리(214) 및 프로세싱 유닛(212)을 포함하는 컴퓨팅 장치(210)에 의해 구현될 수 있다. 프로세싱 유닛(212)은 명령(216)이 컴퓨팅 장치(210) 또는 다른 프로그램 가능 장치에 의해 실행될 때 본 명세서에서 기술된 방법에서 특정된 기능/동작/단계가 실행되는 것을 초래할 수 있도록 방법(100)을 구현하기 위해 일련의 단계가 수행되도록 구성된 임의의 적절한 장치를 포함할 수 있다. 프로세싱 유닛(212)은 예를 들어, 임의의 유형의 범용 마이크로 프로세서 또는 마이크로 컨트롤러, DSP(digital signal processing) 프로세서, CPU(central processing unit), 집적 회로, FPGA(field programmable gate array), 재구성 가능 프로세서, 다른 적절하게 프로그래밍되거나 프로그래밍 가능한 논리 회로 또는 이들의 임의의 조합을 포함할 수 있다.
메모리(214)는 임의의 적절한 알려진 또는 다른 기계 판독 저장 매체(machine-readable storage medium)를 포함할 수 있다. 메모리(214)는 예를 들어 이에 제한되지는 않지만 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치(apparatus or device) 또는 전술한 것의 임의의 적절한 조합과 같은 비 일시적 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 메모리(214)는 장치(210)의 내부 또는 외부에 위치하는 임의의 유형의 컴퓨터 메모리, 예를 들어 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 컴팩트 디스크 판독 전용 메모리(CDROM), 전기-광학 메모리, 자기-광학 메모리, 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 강유전성 RAM(FRAM) 등의 적절한 조합을 포함할 수 있다. 메모리(214)는 프로세싱 유닛(212)에 의해 실행 가능한 기계 판독 가능 명령(216)을 검색 가능하게 저장하기에 적합한 임의의 저장 수단(예를 들어, 장치)을 포함할 수 있다.
도 3을 참조하면, 오디오/비디오 스트림과 모션 데이터를 동기화하고 캡쳐하기 위한 시스템(300)이 도시된다. 시스템(300)은 모션 캡쳐 장치(310) 및 동기화 장치(340)를 포함한다. 도 3의 예에서, 모션 캡쳐 장치(310) 및 동기화 장치(340)는 2 개의 개별 엔티티(entity)로 도시되어 있지만, 특정 실시예에서 이들은 단일 공통 엔티티일 수 있다. 다른 실시예에서, 모션 캡쳐 장치(310) 및/또는 동기화 장치(340)는 도 2의 컴퓨팅 장치(210)의 구성에 대응하는 구성을 갖는다. 시스템(300)은 카메라, 마이크, 스마트폰 또는 임의의 다른 적절한 레코딩 장치일 수 있는 적어도 하나의 레코딩 장치(350)와 인터페이스 또는 그렇지 않으면 통신하도록 구성된다. 또한, 시스템(300)은 효과 발생기(345) 및 출력 인터페이스(346)를 통해 오디오/비디오 시스템(360) 및 모션 시뮬레이터(370)에 출력을 제공하도록 구성된다. 오디오/비디오 시스템(360)은 오디오/비디오 컨텐츠를 표시하기 위한 하나 이상의 스크린 및/또는 하나 이상의 스피커를 포함할 수 있다. 모션 시뮬레이터(370)는 사용자에 의한 경험을 위한 모션을 생성할 수 있는 임의의 시스템일 수 있다. 예를 들어, 모션 시뮬레이터(370)는 플랫폼 또는 시트를 지지하는 액추에이터(예를 들어, 전기 기계식 액츄에이터, 공압 또는 유압 실린더 등)를 갖는 액츄에이터 유형으로서, 액츄에이터의 작동 기능과 동일하게 변위된다.
모션 캡쳐 장치(310)는 마커 생성 모듈(312), 타이밍 정보 모듈(314), 데이터베이스(316), 인터페이스(318), 입력 모듈(320) 및/또는 몇 개의 예를 말하면(to name a few examples) 관성 센서, 가속도계, 자이로스코프(gyroscope), GPS와 같은 하나 이상의 모션 센서를 특징으로 하는 모션 센서 유닛(325)을 포함한다. 모션 캡쳐 장치(310)는 선택적으로 버튼 또는 터치 스크린, 즉 사용자 인터페이스(322) 또는 다른 입력 장치를 포함하고, 스피커(332) 및/또는 광원(334)을 포함할 수 있거나, 유선 또는 무선일 수 있는 하나 이상의 커넥터를 통해 스피커(332) 및 광원(334) 중 하나 또는 둘 다에 연결될 수 있다. 일 실시예에서, 터치 스크린은 입력 장치(322) 및 광원(334) 모두로서 기능한다.
마커 생성 모듈(312)은 예를 들어 단계 102에 따라 스피커(332) 및/또는 광원(334)을 통해 적어도 하나의 타이밍 마커의 생성을 초래하도록 구성된다. 신호는 타이밍 마커(들)로서 레코딩 장치(350)에 의해 캡쳐되도록 생성되고 타이밍 정보와 관련된다. 특정 실시예에서, 입력 모듈(320)은 예를 들어 버튼(322)을 통해 또는 무선 연결을 통해 오디오 및/또는 비쥬얼 신호를 생성하라는 요청을 수신하고, 단계 102를 구현하도록 마커 생성 모듈(312)에 지시하기 위해 마커 생성 모듈(312)에 메시지를 전송한다.
마커 생성 모듈(312)은 타이밍 정보 모듈(314)로부터 타이밍 정보를 획득한다. 일부 실시예에서, 마커 생성 모듈(312)은 오디오 및/또는 비쥬얼 신호의 생성을 초래하기 전에 타이밍 정보 모듈(314)로부터 타이밍 정보를 요청할 수 있다. 다른 실시예에서, 마커 생성 모듈(312)에는 타이밍 정보가 미리 제공된다. 타이밍 정보는 모션 캡쳐 장치(310)의 모션 센서 유닛(325)의 클럭(예를 들어, GPS 클럭) 시간 및/또는 샘플링 레이트로부터 도출될 수 있다.
또한, 스피커(332) 및 광원(334)은 임의의 적합한 스피커 및 광원 또는 패턴 방출 장치일 수 있다. 일부 실시예에서, 스피커(332)는 보이스 코일, 트위터 스피커, 압전 스피커 등과 같은 스피커의 어레이이며, 임의의 적절한 주파수에서 임의의 적절한 진폭을 갖는 사운드를 생성할 수 있다. 예를 들어, 사운드는 후속 동기화를 용이하게 하기 위해 동기화 서명 또는 지문을 나타내는 가변 시간 간격으로 생성될 수 있다. 일부 실시예에서, 광원(334)은 미리 결정된 파장을 갖는 하나 이상의 LED 조명이다. 다른 실시예에서, 광원(334)은 가변 파장 및/또는 진폭을 갖는 임의의 다른 적합한 기술의 하나 이상의 광이다. 또 다른 실시예에서, 광원(334)은 임의의 적절한 기술의 스크린이다. 다른 실시예에서, 광원(334)은 자신의 광을 방출하지 않고 주변 광을 반사 및/또는 확산시키는 QR 코드 또는 시간 값을 표시하는 이미지 소스, 예를 들어 스크린에 가깝다. 간략화를 위해, 표현 광원(334)이 사용되지만 이는 이미지 소스(334)일 수 있다.
타이밍 정보 모듈(314)은 타이밍 정보를 마커 생성 모듈(312)에 의한 타이밍 마커의 생성에 연관시키고 그리고 모션 센서 유닛(325)에 의해 생성된 모션 데이터와 연관시키도록 구성된다. 일부 실시예에서, 타이밍 정보 모듈(314)은 모션 센서 유닛(325)이 모션 데이터의 캡쳐를 시작하게 하도록 구성된다. 다른 실시예에서, 입력 모듈(320)은 모션 센서 유닛(325)이 모션 데이터의 캡쳐를 시작하게 하도록 구성된다. 또한, 일부 실시예에서, 타이밍 정보 모듈(314)은 타이밍 정보를 모션 센서 유닛(325)에 제공하도록 구성되어, 모션 데이터는 타이밍 마커의 시간 위치와 함께 타이밍 정보와 관련하여 저장될 수 있다. 다른 실시예에서, 타이밍 정보 모듈(314)은 모션 센서 유닛(325)으로부터 모션 데이터를 수신하고 타이밍 정보와 관련하여 데이터베이스(316)에 이를 저장한다.
모션 센서 유닛(325)은 예를 들어 단계 104에 따라 모션 데이터를 캡쳐하도록 구성된다. 모션 센서 유닛(325)은 타이밍 정보 모듈(314)로부터 타이밍 정보를 획득할 수 있고, 모션 데이터가 타이밍 마커(들)의 시간 위치를 포함하여 시간 정보와 쌍을 이루어 데이터베이스(316)에 저장되게 할 수 있다. 일부 실시예에서, 모션 데이터는 타이밍 마커를 특징으로 하는 타임라인을 형성하는 모션 데이터 스트림이다. 일부 실시예에서, 모션 센서 유닛(325)은 데이터베이스(316)에 직접 기록하고, 적어도 모션 데이터 및 선택적으로 타이밍 정보를 기록한다. 다른 실시예에서, 모션 센서 유닛(325)은 모션 데이터를 데이터베이스(316)에 기록하고 타이밍 정보 모듈(314)은 타이밍 정보를 데이터베이스(316)의 모션 데이터와 연관시킨다. 다른 실시예에서, 모션 센서 유닛(325)은 타이밍 정보를 캡쳐하여 타이밍 정보 모듈(314)에 전송한다.
데이터베이스(316)는 정보, 이 경우 타이밍 정보와 관련된 모션 데이터의 저장에 적합한 임의의 데이터베이스일 수 있다. 예를 들어, 데이터베이스(316)는 내부 저장 장치, SD 카드 또는 USB 메모리 스틱과 같은 이동식 저장 장치, 또는 이들의 임의의 적절한 조합일 수 있다. 인터페이스(318)는 정보의 전송을 위한 임의의 적절한 유선 또는 무선 인터페이스일 수 있다. 인터페이스(318)는 모션 데이터 및 타이밍 정보를 동기화 장치(340)에 제공하도록 구성된다. 일부 실시예에서, 인터페이스(318)는 데이터베이스(316)를 모션 캡쳐 장치(310)로부터 동기화 장치(340)로 변위시킴으로써, 예를 들어 SD 카드를 이동시킴으로써 제공된다.
입력 모듈(320)은 모션 데이터의 캡쳐 및 오디오 및/또는 가시 신호의 생성이 수행되어야 한다는 것을 나타내는 사용자 입력을 수신하도록 구성된다. 사용자 입력은 선택적인 버튼(322) 또는 다른 입력 장치(스위치, 터치 스크린, 노브(knob) 등)에 의해 또는 입력 모듈(320)이 연결될 수 있는 유선 또는 무선 연결을 통해 수신될 수 있다.
동기화 장치(340)는 오디오/비쥬얼(A/V) 마커 검출 모듈(342), 선택적으로 동기화 모듈(344) 및 인터페이스(348)를 포함할 수 있다. 동기화 장치(340)는 레코딩 장치(350)로부터의 오디오/비디오 스트림뿐만 아니라 모션 캡쳐 장치(310)로부터의 모션 데이터를 수신하고, 효과 생성 모듈(345) 및 출력 인터페이스(346)를 통해 오디오/비디오 시스템(360) 및 모션 시뮬레이터(370)에 출력을 제공하도록 구성된다. 일부 실시예에서, 동기화 장치(340)는 동기화 장치(340)에 오디오/비디오 스트림이 저장된 SD 카드 또는 다른 이동식 메모리 장치를 제공함으로써 레코딩 장치(350)로부터 오디오/비디오 스트림을 수신한다. 따라서, 동기화 장치(340)는 오디오/비디오 스트림을 찾기 위해 이동식 메모리 장치 상의 디렉토리를 검색하도록 구성될 수 있다.
A/V 마커 검출 모듈(342)은 단계 106에 따라, 타이밍 마커(들)를 검출하기 위해 레코딩 장치(350)로부터 수신된 오디오/비디오 스트림을 프로세싱하도록 구성된다. 따라서, A/V 마커 검출 모듈(342)은 마커 생성 모듈(312)에 의해 생성되고 레코딩 장치(350)에 의해 기록된 타이밍 마커(들)의 표현을 검출하기 위해 적절한 오디오 및/또는 비디오 분석 및 프로세싱 기술을 수행하도록 구성된다. A/V 마커 검출 모듈(342)은 타이밍 마커(들)의 존재를 도기화 모듈(344)에 표시하고, 일부 실시예에서 타이밍 마커(들) 정보를 데이터베이스(미도시)에 저장한다. 일 실시예에서, 동기화 장치(340)는 캡쳐된 타이밍 정보가 없는 레코딩 장치로부터의 오디오 스트림을 사용하여 동기화를 수행할 수 있으며, 이에 의해 A/V 마커 검출 모듈(342)은 우회되거나 없을 수 있다. 일부 실시예에서, 타이밍 마커는 실질적으로 자동으로 검출된다. 다른 실시예에서, 타이밍 마커는 예를 들어 프로세싱 시간을 감소시키기 위해 오디오/비디오 스트림에서 근사치로서 수동으로 표시된다. 타이밍 마커를 검출하기 위한 프로세싱 기술은 오디오 신호 필터링, 또는 사운드 또는 비쥬얼 특징 추출 및 인식을 위해 훈련된 인공 신경망(artificial neural network)을 이용하는 것과 같은 다양한 신호 처리 방법을 포함할 수 있다.
인터페이스(348)는 정보의 전송을 위한 임의의 적합한 유선 또는 무선 인터페이스일 수 있다. 인터페이스(348)는 모션 캡쳐 장치(310)로부터 모션 데이터 및 타이밍 정보를 수신하고 모션 데이터 및 타이밍 정보를 동기화 모듈(344)에 제공하거나, 타이밍 마커를 나타내는 A/V 마커 검출 모듈(342)에 의해 프로세싱되는 오디오/비디오 스트림과 함께 모션 데이터 및 타이밍 정보를 출력하도록 구성된다. 이러한 출력은 모션 데이터를 오디오/비디오 스트림과 동기화하기 위해 효과 생성 모듈(345) 또는 출력 인터페이스(346)에 의해 사용될 수 있다. 또한, 인터페이스(348)는 모션 데이터 및 티이밍 정보에 대한 요청을 모션 캡쳐 장치(310)의 인터페이스(318)로 전송하도록 구성된다. 일부 실시예에서, 인터페이스(348)는 인터페이스(318)와 실질적으로 동일하다.
동기화 모듈(344)은 인터페이스(348)로부터 모션 데이터 및 타이밍 정보를 획득하고 A/V 마커 검출 모듈(342)로부터(또는 선택적으로 타이밍 마커(들)가 저장된 데이터베이스로부터) 타이밍 마커(들)을 획득하도록 구성되며, 동기화 장치(340) 내에 존재하거나 동기화 장치(340)가 타이밍 정보를 갖는 모션 데이터 및 프로세싱된 오디오/비디오 스트림을 개별적으로 출력하는 경우 임의의 다른 다운스트림 장치 내에 존재할 수 있다. 동기화 모듈(344)은 단계 108에 따라 모션 데이터를 오디오/비디오 스트림과 동기화하도록 추가로 구성된다. 보다 구체적으로, 동기화 모듈(344)은 타이밍 정보 및 타이밍 마커(들)에 기초하여 모션 데이터의 데이터 포인트를 오디오/비디오 스트림의 데이터 포인트와 정렬함으로써 모션 데이터를 오디오/비디오 스트림과 동기화하도록 구성된다. 동기화 모듈(344)은 또한 효과 발생 모듈(345)이 부재하거나 이를 우회함으로써 동기화된 모션 데이터를 출력 인터페이스(346)에 제공하도록 구성되며, 일부 실시예에서 동기화된 모션 데이터를 데이터베이스(미도시)에 저장한다. 일부 실시예에서, 동기화 모듈(344)의 기능은 A/V 마커 검출 모듈(342), 효과 생성 모듈(345) 또는 출력 인터페이스(345)에 제공되며, 이는 아래에 더 상세히 설명된다.
예를 들어, 다음 표는 A/V 마커 검출 모듈(342)로부터의 검출, 타이밍 마커로 모션 데이터를 캡쳐, 캡쳐된 오디오/비디오 스트림과 일치하도록 동기화 모듈(344)에 의해 출력된 조절된 모션 데이터를 예시한다.
Figure pct00001
효과 생성 모듈(345)은 예를 들어 단계 108에서와 같이 동기화된 모션 데이터에 기초하여 모션 시뮬레이션 트랙을 생성할 수 있다. 효과 생성 모듈(345)은 모션 데이터를 재생하는 것과 반대로 모션 데이터에서 발생하는 액션을 시뮬레이션하거나 근사화할 수 있다. 일 실시예에 따르면, 효과 생성 모듈(345)은 모션 데이터의 데이터 포인트(예를 들어 크기, 방향)의 분석의 함수로서 모션 샘플 데이터베이스(미도시)로부터 모션 샘플을 검색한다. 대안적으로, 모션 시뮬레이션 트랙은 단계 108에서 오디오/비디오 스트림과 동기화된 모션 데이터를 사용하여 모션 플랫폼에서 생성될 수 있다. 일부 실시예에서, 효과 생성 모듈(345)은 A/V 마커 검출 모듈(342)에 의해 제공된 정보에 기초하여 모션 데이터와 오디오/비디오 스트림의 동기화를 수행하도록 구성된다.
또 다른 실시예에 따르면, 효과 생성 모듈(345)은 오디오/비디오 스트림을 사용하여 모션 시뮬레이션 트랙을 생성하거나 대안적으로 생성할 수 있다. 비디오 스트림의 이미지의 프로세싱은 점프 및 착륙, 또는 회전 등과 같은 액션의 검출을 가능하게 할 수 있고, 따라서 모션 시뮬레이션 트랙의 생성에 사용될 수 있다. 오디오 스트림은 오디오/비디오 스트림에서 발생하는 액션을 검출하는 것을 돕기 위해 비디오 스트림의 이미지의 프로세싱과 함께 사용될 수 있다. 따라서, 일부 실시예에서, 모션 시뮬레이션 트랙은 오디오/비디오 스트림만을 사용하여 효과 생성 모듈(345)에 의해 생성될 수 있다. 이러한 경우에, 동기화 장치(340)는 오디오/비디오 스트림을 위한 통과 장치(pass-through device)로서 작용할 수 있고, 효과 발생 모듈(345)은 모션 시뮬레이션 트랙을 생성하기 위해 오디오/비쥬얼 스트림을 처리하는 데 시간이 필요하다면 오디오/비디오 시스템(360)으로의 오디오/비쥬얼 스트림의 출력을 선택적으로 지연시킨다. 일부 실시예에서, 타이밍 마커가 오디오/비디오 스트림에 존재하지 않으면, 오디오/비디오 스트림을 포함하는 디지털 파일 및 모션 데이터를 포함하는 디지털 파일에 대한 타임 스탬프에 기초하여 근사화된 동기화가 수행될 수 있다. 근사화된 동기화는 전술한 이미지 프로세싱 기술을 사용하여 개선될 수 있다.
출력 모듈 또는 인터페이스(346)는 효과 생성 모듈(345)을 통해 동기화 모듈(344)로부터(또는 선택적으로 동기화된 모션 데이터가 저장된 데이터베이스로부터) 동기화된 모션 데이터를 수신하고, 선택적으로 레코딩 장치(350)로부터 오디오/비디오 스트림을 수신하도록 구성된다. 출력 모듈(346)은 동기화된 모션 데이터 또는 시뮬레이션 모션 트랙을 모션 시뮬레이터(370)에 출력하고, 선택적으로 오디오/비디오 스트림을 오디오/비디오 시스템(360)에 출력하도록 추가로 구성된다. 예를 들어, 단계 110에 따라, 동기화 장치(340)는 모션 데이터 또는 모션 시뮬레이션 트랙만을 출력할 수 있지만, 오디오/비디오 스트림과 동기식으로 동시에 재생될 수 있다. 예를 들어, 오디오/비디오 스트림은 프로세싱을 위한 병행 오디오/비디오 스트림을 사용하여 동기화 장치(340)와 함께 오디오/비디오 디스플레이 시스템(360)에 직접 출력될 수 있다. 출력 모듈(346)은 임의의 적합한 포맷, 예를 들어 MPEG(Moving Picture Experts Group) 포맷으로 오디오/비디오 스트림을 출력할 수 있다. 또한, 출력 모듈(346)은 동기화된 모션 데이터를 임의의 적합한 포맷으로 출력할 수 있다.
다른 실시예에서, 모션 데이터는 오디오/비디오 스트림과 관련된 각각의 지문 파일과 함께 모션 코드 파일의 형태로 출력될 수 있다. 모션 코드 파일은 재생된 오디오/비디오 스트림의 지문 인식에 의해 모션 데이터의 추후 동기화를 위해 원격 저장소, 예를 들어 클라우드 기반 저장 시스템으로 전송될 수 있다.
일부 대안적인 실시예에서, 모션 캡쳐 장치(310)는 하나 이상의 오디오 레코딩 장치, 예를 들어 하나 이상의 마이크를 포함한다. 모션 데이터는 모션 센서 유닛(325)에 의해 캡쳐되고 타이밍 정보로서 기능하는 오디오 레코딩 장치에 의해 캡쳐된 기록된 오디오 정보와 관련하여 저장된다. 이어서, 동기화 장치(340)의 동기화 모듈(344)은 레코딩 장치(350)에 의해 제공된 오디오/비디오 스트림으로부터의 오디오 스트림을 모션 캡쳐 장치의 마이크에 의해 획득된 기록된 오디오 정보와 일치시킴으로써 동기화를 수행한다. 따라서, A/V 마커 검출 모듈(342)은 우회되고, 동기화 모듈(344)은 오디오/비디오 스트림으로부터 오디오 트랙을 추출하고 이를 프로세싱하여 오디오 기록을 나타내는 사운드 지문을 획득할 수 있다. 동기화 모듈(344)은 오디오 트랙 및 기록된 오디오 정보를 사용하여 모션 데이터를 오디오/비디오 스트림과 동기화할 수 있다. 모션 캡쳐 장치(310)에 의해 제공되는 타이밍 정보는 모션 캡쳐 장치(310)에 의해 캡쳐된 오디오 트랙을 포함할 수 있고, 타이밍 정보 모듈(314)에 의해 프로세싱되어 동기화 모듈(344)에 의해 프로세싱된 것과 유사한 사운드 지문을 획득할 수 있다. 디지털 오디오 신호 상관 기술(digital audio signal correlation technique)은 또한 두 오디오 스트림 사이의 상대적인 타이밍 차이를 설정하고 동기화를 수행하는데 사용될 수 있다. 대안적으로, 모션 캡쳐 장치(310)를 레코딩하는 로우 오디오(raw audio)는 타이밍 정보이고, 그 처리는 동기화 모듈(344)에 의해 수행된다. 이러한 실시예에서, 타이밍 마커가 존재하지 않기 때문에, 오디오/비디오 스트림을 포함하는 디지털 파일 및 모션 데이터를 포함하는 디지털 파일에 대한 타임 스탬프에 기초하여 수행되는 근사화된 동기화는 동기화를 가속화하는데 도움을 주기 위해 사용될 수 있다.
다른 대안적인 실시예에서, 단일 모듈, 예를 들어 동기화 장치(340)는 독립적인 동작을 위해 구성된다. 즉, 동기화 장치(340)는 임의의 적절한 소스로부터, 예를 들어 원격 서버 또는 저장 장치로부터 모션 데이터를 획득하고, 임의의 적절한 소스로부터, 예를 들어 전술한 원격 서버 또는 저장 장치로부터 오디오/비디오 스트림을 획득하도록 구성된다. 획득된 모션 데이터는 타이밍 정보, 예를 들어 생성된 타이밍 마커의 타이밍과 관련되고, 오디오/비디오 스트림은 그 안에 타이밍 마커를 포함한다. 동기화 장치(340)는 전술한 바와 같이, 예를 들어 타이밍 마커를 정렬하고 GPS 클록 타임 스탬프를 비교함으로써 모션 데이터를 임의의 적절한 방식으로 오디오/비디오 스트림과 동기화하도록 구성된다. 일부 예에서, 동기화는 예를 들어 모션 데이터 및/또는 오디오/비디오 스트림의 캡쳐를 수행하는 장치의 알려진 캡쳐 지연에 기초하여 모션 데이터와 오디오/비디오 스트림 사이에 미리 결정된 오프셋을 적용할 수 있다. 경우에 따라 오프셋이 null일 수 있다는 것을 알아야 한다.
다른 대안적인 실시예에서, 동기화 장치(340)는 모션 데이터 및 오디오/비디오 스트림의 타이밍 정보 및/또는 타이밍 마커를 디코딩하여 모션 데이터 및 오디오/비디오 스트림에 대한 타임라인 정보를 얻는다. 타임라인 정보는 모션 데이터 및/또는 오디오/비디오 스트림의 하나 이상의 부분을 타임라인, 예를 들어 시작점, 첫번째 또는 n번째 타이밍 마커 등에 위치시킨다. 예를 들어, 타임라인 정보는 GPS 클럭으로부터 획득된 GPS 시간에 기초할 수 있다. 오디오/비디오 스트림과 모션 데이터의 동기화는 모션 데이터를 오디오/비디오 스트림에 대한 타임라인과 매칭시킴으로써 수행될 수 있고 그 반대도 가능하며, 오프셋을 적절히 포함시킬 수 있다.
본 명세서에 개시된 오디오/비디오 스트림과 모션 데이터를 캡쳐 및 동기화하기 위한 방법 및 시스템의 다양한 양태는 전술한 실시예에서 구체적으로 논의되지 않은 다양한 구성으로, 단독으로 또는 조합하여 사용될 수 있으며, 따라서 전술한 설명에서 설명되거나 도면에 도시된 구성요소의 세부사항 및 배열에 대한 적용에 제한되지 않는다. 예를 들어, 일 실시예에서 설명된 양태는 다른 실시예에서 설명된 양태와 임의의 방식으로 결합될 수 있다. 특정 실시예가 도시되고 설명되었지만, 보다 광범위한 양태에서 본 발명을 벗어나지 않고 변경 및 수정이 이루어질 수 있음이 당업자에게 명백할 것이다. 하기 청구항의 범위는 예로 설명된 바람직한 실시예에 의해 제한되지 않아야 하고, 그 설명 전체와 일치하는 가장 광범위하고 합리적인 해석이 주어져야 한다. 일 실시예에 따르면, 청구된 방법 및 시스템 목표가 해결하고자 하는 과제는 예를 들어 2개의 독립적인 엔티티(예를 들어, 2 개의 장치, 장치의 2 개의 소프트웨어 또는 어플리케이션 등)로부터 취해질 때 오디오 및/또는 비디오 스트림과 모션 센서 데이터와의 동기화이다.
예를 들어, GPS 클럭이 사용되는 일 실시예에 따르면, 모션 데이터를 오디오/비디오 스트림과 동기화하는 방법이 수행될 수 있으며, 상기 방법은: a. 적어도 하나의 관련된/임베딩된 타이밍 마커를 갖는 모션 데이터를 획득하는 단계로서, (i) 모션 타이밍 마커를 획득하고 타임 정보 값(TimeM)을 디코딩 하는 단계를 포함할 수 있는, 모션 데이터를 획득하는 단계; b. 적어도 하나의 관련된/임베딩된 타이밍 마커를 갖는 오디오/비디오 데이터를 획득하는 단계로서, (i) A/V 타이밍 마커를 획득하고 타임 정보 값(TimeAV)을 디코딩하는 단계를 포함할 수 있는, 오디오/비디오 데이터를 획득하는 단계; c. (i) TimeM 값을 TimeAV 값에 의해 생성된 타임라인 상에 매칭시킴으로써 모션 데이터를 A/V 데이터와, 또는 (ii) TimeAV 값을 TimeM 값에 의해 생성된 타임라인 상에 매칭시킴으로써 A/V 데이터를 모션 데이터와 동기화하는 단계;를 포함한다. 선택적으로, 방법의 매칭은 미리 결정된 타임 값에 의해 오프셋될 수 있다.

Claims (23)

  1. 오디오/비디오 스트림과 모션 데이터를 동기화하는 방법으로서,
    적어도 하나의 타이밍 마커를 포함하는 오디오/비디오 스트림을 획득하는 단계;
    적어도 하나의 상기 타이밍 마커를 검출하도록 상기 오디오/비디오 스트림을 프로세싱하는 단계;
    오디오/비디오 스트림과 관련된 모션 데이터 및 상기 모션 데이터에 대한 타이밍 정보를 획득하는 단계 ― 상기 타이밍 정보는 적어도 하나의 상기 타이밍 마커에 관한 타이밍 정보를 포함함 ―; 및
    적어도 하나의 상기 타이밍 마커가 검출된 상기 오디오/비디오 스트림과 상기 타이밍 정보를 갖는 모션 데이터를 출력하는 단계;를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  2. 제1항에 있어서,
    상기 모션 데이터를 획득하는 단계는 적어도 하나의 상기 타이밍 마커를 생성하는 단계와 실질적으로 동시에 시작하여 적어도 하나의 모션 센서를 통해 상기 모션 데이터를 캡쳐하는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 오디오/비디오 스트림에서 검출된 상기 타이밍 정보 및 적어도 하나의 상기 타이밍 마커에 기초하여 상기 모션 데이터를 상기 오디오/비디오 스트림과 동기화하는 단계를 더 포함하며,
    이로써 상기 오디오/비디오 스트림을 출력하는 단계는 상기 오디오/비디오 스트림과 동기화된 상기 모션 데이터를 출력하는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  4. 제3항에 있어서,
    상기 모션 데이터를 동기화하는 단계는 적어도 하나의 상기 타이밍 마커에 기초하여 상기 오디오/비디오 스트림과 정렬되도록 상기 모션 데이터의 타이밍 정보를 변경함으로써 동기화된 모션 파일을 생성하는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  5. 제3항 또는 제4항에 있어서,
    동기화에 기초하여 상기 오디오/비디오 스트림에 상기 모션 데이터를 매핑하는 단계를 포함하는 타이밍 파일을 생성하는 단계를 더 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 오디오/비디오 스트림의 재생과 동기화된 상기 모션 데이터를 출력하는 단계를 더 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  7. 제6항에 있어서,
    상기 모션 데이터를 출력하는 단계는 상기 모션 데이터에 기초하여 적어도 하나의 모션 시스템에서 이동을 초래하는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  8. 제1항 내지 제 6항 중 어느 한 항에 있어서,
    적어도 하나의 모션 시스템에서 이동을 초래하기 위한 명령을 포함하는 모션 파일을 생성하는 단계를 더 포함하며,
    상기 모션 파일은 상기 모션 데이터에 기초하여 상기 오디오/비디오 스트림과 정렬되는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  9. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 모션 데이터를 상기 오디오/비디오 스트림과 동기화하는 단계는 상기 모션 데이터의 데이터 포인트를 상기 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬시키는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  10. 제9항에 있어서,
    상기 모션 데이터의 데이터 포인트를 상기 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬시키는 단계는 상기 모션 데이터의 제로 포인트를 상기 오디오/비디오 스트림의 대응하는 제로 포인트와 정렬시키는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 오디오/비디오 스트림을 획득할 때 상기 오디오/비디오 스트림에서 캡쳐하기 위한 적어도 하나의 타이밍 마커를 생성하는 단계를 더 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  12. 제11항에 있어서,
    적어도 하나의 상기 타이밍 마커를 생성하는 단계는 사용자 입력에 응답하여 적어도 하나의 상기 타이밍 마커를 생성하는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    적어도 하나의 상기 타이밍 마커가 검출된 상기 오디오/비디오 스트림을 출력하는 단계는 상기 모션 데이터의 타이밍 정보를 조절하고 상기 오디오/비디오 스트림과 동기화된 조절된 모션 데이터를 출력하는 단계를 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하는 방법.
  14. 오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치로서,
    적어도 하나의 타이밍 마커를 포함하는 오디오/비디오 스트림을 획득하고, 적어도 하나의 상기 타이밍 마커를 검출하도록 상기 오디오/비디오 스트림을 프로세싱하기 위한 마커 검출 모듈; 및
    모션 데이터에 대한 타이밍 정보와 오디오/비디오 스트림과 관련된 모션 데이터를 획득하고 ― 상기 타이밍 정보는 적어도 하나의 상기 타이밍 마커에 관한 타이밍 정보를 포함함 ―, 상기 타이밍 정보 및 식별된 적어도 하나의 상기 타이밍 마커를 사용하여 상기 모션 데이터의 데이터 포인트를 상기 오디오/비디오 스트림과 정렬함으로써 상기 모션 데이터를 오디오/비쥬얼 스트림과 동기화 및 출력하기 위한 동기화 모듈;을 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  15. 제14항에 있어서,
    상기 모션 데이터를 동기화 하는 것은 적어도 하나의 상기 타이밍 마커에 기초하여 상기 오디오/비디오 스트림과 정렬하도록 상기 모션 데이터의 타이밍 정보를 변경함으로써 동기화된 모션 파일을 생성하는 것을 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  16. 제14항 또는 제15항에 있어서,
    동기화 장치는 동기화에 기초하여 상기 모션 데이터를 상기 오디오/비디오 스트림에 매핑하는 것을 포함하는 타이밍 파일을 생성하도록 추가로 구성되는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서,
    동기화 장치는 상기 오디오/비디오 스트림의 재생과 동기화된 상기 모션 데이터를 출력하도록 추가로 구성되는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  18. 제17항에 있어서,
    상기 모션 데이터를 출력하는 것은 상기 모션 데이터에 기초하여 적어도 하나의 모션 시스템에서의 이동을 초래하는 것을 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  19. 제14항 내지 제18항 중 어느 한 항에 있어서,
    동기화 장치는 적어도 하나의 모션 시스템에서의 이동을 초래하기 위한 명령을 포함하는 모션 파일을 생성하도록 추가로 구성되며,
    상기 모션 파일은 상기 모션 데이터에 기초하고 상기 오디오/비디오 스트림과 정렬되는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  20. 제14항 내지 제19항 중 어느 한 항에 있어서,
    상기 모션 데이터를 동기화하기 위한 동기화 모듈은 상기 모션 데이터의 데이터 포인트를 상기 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬시키는 것을 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  21. 제20항에 있어서,
    상기 모션 데이터의 데이터 포인트를 상기 오디오/비디오 스트림의 적어도 하나의 타이밍 마킹과 정렬하는 것은 상기 모션 데이터의 제로 포인트를 상기 오디오/비디오 스트림의 대응하는 제로 포인트와 정렬하는 것을 포함하는,
    오디오/비디오 스트림과 모션 데이터를 동기화하기 위한 동기화 장치.
  22. 모션 데이터를 오디오/비디오 스트림과 동기화하기 위한 동기화 시스템으로서,
    제14항 내지 제21항 중 어느 한 항에 따른 동기화 장치; 및
    모션 캡쳐 장치;를 포함하며,
    상기 모션 캡쳐 장치는:
    상기 오디오/비디오 스트림에서의 캡쳐를 위해 적어도 하나의 타이밍 마커를 생성하기 위한 타이밍 마커 생성기; 및
    상기 타이밍 마커의 생성과 실질적으로 동시에 시작하여, 상기 모션 데이터를 캡쳐하기 위한 모션 센서;를 포함하는,
    모션 데이터를 오디오/비디오 스트림과 동기화하기 위한 동기화 시스템.
  23. 제22항에 있어서,
    상기 모션 캡쳐 장치는 사용자 입력을 더 포함하며, 상기 타이밍 마커 생성기는 상기 사용자 입력의 활성화에 응답하여 적어도 하나의 상기 타이밍 마커를 생성하도록 구성되는,
    모션 데이터를 오디오/비디오 스트림과 동기화하기 위한 동기화 시스템.
KR1020197023721A 2017-01-26 2018-01-26 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐 KR102471667B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762450754P 2017-01-26 2017-01-26
US62/450,754 2017-01-26
PCT/CA2018/050096 WO2018137040A1 (en) 2017-01-26 2018-01-26 Capturing and synchronizing motion with recorded audio/video

Publications (2)

Publication Number Publication Date
KR20190110566A true KR20190110566A (ko) 2019-09-30
KR102471667B1 KR102471667B1 (ko) 2022-11-25

Family

ID=62977878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197023721A KR102471667B1 (ko) 2017-01-26 2018-01-26 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐

Country Status (6)

Country Link
US (1) US11140372B2 (ko)
JP (1) JP7184780B2 (ko)
KR (1) KR102471667B1 (ko)
CN (1) CN110476437B (ko)
CA (1) CA3051610A1 (ko)
WO (1) WO2018137040A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885943B1 (en) 2019-11-18 2021-01-05 Artificial Intelligence Research Institute Multimedia authoring apparatus with synchronized motion and voice feature and method for the same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107010B2 (en) * 2005-01-05 2012-01-31 Rovi Solutions Corporation Windows management in a television environment
EP3830762A4 (en) * 2018-11-28 2022-04-06 Hewlett-Packard Development Company, L.P. EVENT BASED PROCESSING USING DEEP NEURAL NETWORK OUTPUT
CN115065844B (zh) * 2022-05-24 2023-09-12 北京跳悦智能科技有限公司 一种主播肢体动作节奏的自适应调整方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120006026A (ko) * 2009-03-25 2012-01-17 디-박스 테크놀러지스 인코포레이트 다중 좌석환경 내에 동작 신호들을 분배하기 위한 방법 및 장치
KR101154122B1 (ko) * 2012-02-20 2012-06-11 씨제이포디플렉스 주식회사 영상과 모션 간의 시간 동기화를 이용한 모션 제어 시스템 및 그 방법
US20130038792A1 (en) * 2008-10-10 2013-02-14 Internet Services, Llc System and method for synchronization of haptic data and media data
KR20130134130A (ko) * 2012-05-30 2013-12-10 한국전자통신연구원 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US20150324636A1 (en) * 2010-08-26 2015-11-12 Blast Motion Inc. Integrated sensor and video motion analysis method
US20160361637A1 (en) * 2015-06-11 2016-12-15 Oculus Vr, Llc Connectable Hand-Held Controllers for Virtual-Reality Systems

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6604064B1 (en) * 1999-11-29 2003-08-05 The United States Of America As Represented By The Secretary Of The Navy Moving weapons platform simulation system and training method
US20040054512A1 (en) 2000-12-20 2004-03-18 Byung-Su Kim Method for making simulator program and simulator system using the method
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
JP2008539452A (ja) 2005-04-26 2008-11-13 ディー−ボックス テクノロジーズ インコーポレイテッド 音声信号と共に動作信号を符号化する方法及び装置
CN101346741A (zh) * 2005-12-22 2009-01-14 皇家飞利浦电子股份有限公司 通过嵌入水印实现脚本同步
US20070271104A1 (en) * 2006-05-19 2007-11-22 Mckay Martin Streaming speech with synchronized highlighting generated by a server
WO2007143849A1 (en) 2006-06-14 2007-12-21 D-Box Technologies Inc. Control of a plurality of motion platforms in synchrony with a sequence of images
US8628453B2 (en) * 2008-12-05 2014-01-14 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US8978077B2 (en) * 2009-02-23 2015-03-10 Qualcomm Incorporated Video content presentation
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US9699431B2 (en) * 2010-02-10 2017-07-04 Satarii, Inc. Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US9626554B2 (en) * 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US8941723B2 (en) * 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US20120294594A1 (en) 2011-05-17 2012-11-22 Jer-Min Hsiao Audio-video synchronization method and audio-video synchronization module for performing audio-video synchronization by referring to indication information indicative of motion magnitude of current video frame
US20130036353A1 (en) 2011-08-05 2013-02-07 At&T Intellectual Property I, L.P. Method and Apparatus for Displaying Multimedia Information Synchronized with User Activity
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US8842969B2 (en) * 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US10292647B1 (en) * 2012-12-19 2019-05-21 Alert Core, Inc. System and method for developing core muscle usage in athletics and therapy
US9261960B2 (en) * 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9609373B2 (en) * 2013-10-25 2017-03-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Presentation timeline synchronization across audio-video (AV) streams
EP2870984A1 (en) 2013-11-08 2015-05-13 Beats Medical Limited A system and method for selecting an audio file using motion sensor data
JP6664069B2 (ja) * 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US9374477B2 (en) 2014-03-05 2016-06-21 Polar Electro Oy Wrist computer wireless communication and event detection
US20150277550A1 (en) * 2014-04-01 2015-10-01 Moju Labs, Inc. Face-Centered Motion-Based Content Navigation
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US9674438B2 (en) * 2014-07-06 2017-06-06 Apple Inc. Low light video image stabilization strength modulation
US10086208B2 (en) * 2015-02-27 2018-10-02 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating authorized telemetry with an implantable device
US20180296163A1 (en) * 2015-07-27 2018-10-18 Google Inc. Altering Physiological Signals Based On Patient Movement
KR20170052976A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 모션을 수행하는 전자 장치 및 그 제어 방법
US9880627B2 (en) * 2015-12-15 2018-01-30 Immersion Corporation Automated haptic setting generation
US20170336220A1 (en) * 2016-05-20 2017-11-23 Daqri, Llc Multi-Sensor Position and Orientation Determination System and Device
US10506163B2 (en) * 2016-06-10 2019-12-10 Invensense, Inc. Systems and methods for synchronizing sensor data
WO2018120092A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Positional analysis using computer vision sensor synchronization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038792A1 (en) * 2008-10-10 2013-02-14 Internet Services, Llc System and method for synchronization of haptic data and media data
KR20120006026A (ko) * 2009-03-25 2012-01-17 디-박스 테크놀러지스 인코포레이트 다중 좌석환경 내에 동작 신호들을 분배하기 위한 방법 및 장치
US20150324636A1 (en) * 2010-08-26 2015-11-12 Blast Motion Inc. Integrated sensor and video motion analysis method
KR101154122B1 (ko) * 2012-02-20 2012-06-11 씨제이포디플렉스 주식회사 영상과 모션 간의 시간 동기화를 이용한 모션 제어 시스템 및 그 방법
KR20130134130A (ko) * 2012-05-30 2013-12-10 한국전자통신연구원 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US20160361637A1 (en) * 2015-06-11 2016-12-15 Oculus Vr, Llc Connectable Hand-Held Controllers for Virtual-Reality Systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885943B1 (en) 2019-11-18 2021-01-05 Artificial Intelligence Research Institute Multimedia authoring apparatus with synchronized motion and voice feature and method for the same
KR102215256B1 (ko) * 2019-11-18 2021-02-15 주식회사 인공지능연구원 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법

Also Published As

Publication number Publication date
CA3051610A1 (en) 2018-08-02
US20190373237A1 (en) 2019-12-05
KR102471667B1 (ko) 2022-11-25
CN110476437B (zh) 2022-04-15
US11140372B2 (en) 2021-10-05
JP7184780B2 (ja) 2022-12-06
JP2020505861A (ja) 2020-02-20
CN110476437A (zh) 2019-11-19
WO2018137040A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
KR102471667B1 (ko) 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐
JP6664137B2 (ja) 触感記録および再生
US9667907B2 (en) System and method for haptic integration and generation in multimedia devices
US20180343224A1 (en) Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements
CN106648083B (zh) 增强演奏场景合成控制方法及装置
EP2376207B1 (en) Method and system for generating data for controlling a system for rendering at least one signal
US9330431B2 (en) System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
CN102244788B (zh) 信息处理方法、信息处理装置和丢失恢复信息生成装置
KR101884483B1 (ko) 미디어 인식 및 움직임 신호와의 동기화
KR20160120722A (ko) 비디오 메타데이터
KR20090093309A (ko) 개인용 비디오 레코더를 이용한 영상 비교 장치 및 방법
KR20070008238A (ko) 율동 기반 음악 동조화 장치 및 방법
US20220328074A1 (en) Pose estimation for video editing
Sexton et al. Automatic CNN-based enhancement of 360° video experience with multisensorial effects
US20180365940A1 (en) Media recognition and synchronisation to a motion signal
TWI694851B (zh) 虛擬跑步系統用之影像及梯度訊號取得裝置與虛擬跑步系統
CN110324702B (zh) 视频播放过程中的信息推送方法和装置
WO2016072130A1 (ja) 情報処理装置
JP6619072B2 (ja) 音合成装置、音合成方法、及びそのプログラム
WO2017026387A1 (ja) 映像処理装置、映像処理方法および記録媒体
KR102472892B1 (ko) 자전거 라이더를 위한 음성인식 기반 라이딩 영상 편집 방법 및 시스템
JP7102826B2 (ja) 情報処理方法および情報処理装置
JP2017017387A (ja) 映像処理装置および映像処理方法
JP6495722B2 (ja) 音合成装置、音合成方法、及びそのプログラム
Gowing et al. A multi-modal dance corpus for research into real-time interaction between humans in online virtual environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant