KR20160075341A - 멀티미디어 데이터와 함께 사용하기 위한 햅틱 데이터를 기록하기 위한 시스템 및 방법 - Google Patents

멀티미디어 데이터와 함께 사용하기 위한 햅틱 데이터를 기록하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20160075341A
KR20160075341A KR1020150179750A KR20150179750A KR20160075341A KR 20160075341 A KR20160075341 A KR 20160075341A KR 1020150179750 A KR1020150179750 A KR 1020150179750A KR 20150179750 A KR20150179750 A KR 20150179750A KR 20160075341 A KR20160075341 A KR 20160075341A
Authority
KR
South Korea
Prior art keywords
recorder
sensor
interest
data
vibration
Prior art date
Application number
KR1020150179750A
Other languages
English (en)
Inventor
크리스토퍼 제이. 율리히
로버트 라크르와
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20160075341A publication Critical patent/KR20160075341A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Analytical Chemistry (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

시스템은 관심 대상의 오디오 및/또는 비디오를 기록하고 관심 대상의 기록을 출력하도록 구성된 리코더, 및 리코더와 연관된 비접촉 센서를 포함한다. 비접촉 센서는 리코더와 실질적으로 동일한 관점 및 동일한 시간에서 관심 대상의 움직임 및/또는 진동을 측정하도록 구성되고 배열된다. 시스템은 비접촉 센서에 의해 측정된 관심 대상의 측정된 움직임 및/또는 진동을 촉각 데이터 스트림으로 변환하도록 구성된 제어기를 포함하고, 촉각 데이터 스트림은 리코더에 의한 관심 대상의 기록과 함께 재생을 위해 햅틱 디스플레이 디바이스에 전송하고 측정된 움직임 및/또는 진동에 대응하는 햅틱 효과들을 기록과 동기화하여 햅틱 디스플레이 디바이스의 사용자에게 제공하기 위한 것이다.

Description

멀티미디어 데이터와 함께 사용하기 위한 햅틱 데이터를 기록하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR RECORDING HAPTIC DATA FOR USE WITH MULTI-MEDIA DATA}
본 발명은 멀티미디어 데이터와 함께 사용하기 위한 햅틱 데이터를 기록하기 위한 시스템들 및 방법들에 관한 것이다.
라이브 및 사전-제작 콘텐츠 생성 모두에는, 액션을 설정하고 캡처하기 위한 잘 확립된 기술들이 있다. 예를 들어, 위치 기반 라이브 스포츠 이벤트의 경우, 사이트 프로듀서는 그 이벤트에 1 내지 2주 앞서 도착해서, 로케이션에서 멀티미디어 데이터의 흥미진진한 라이브 제작(방송) 스트림을 생성하기 위해 다양한 카메라 위치를 설정한다. 사이트 제작진이 로케이션 중인 한 세트의 마이크로폰들을 사전에 혼합하여 방송된 콘텐츠의 수신인의 체험을 풍부하게 하기 위해 각각의 카메라 위치에 대해 "자기 중심적(egocentric)" 음장(sound field)을 생성하는 것이 일반적이다.
예를 들어, 스포츠 경기장에서, 스탠드보다 높게 설치된 카메라들은 균등하게 혼합된 관중 음향 효과와 경기장 음향 효과 양쪽을 포함할 수 있다. 경기장 측 카메라들은 경기장의 현장감을 더 크게 생성하기 위해 파라볼라 또는 집속된 마이크로폰을 가질 수 있다. 운동선수 장착 카메라들을 운동선수 장착 마이크로폰을 가질 수 있고, 운동선수 중심의 경기장 체험을 제공하기 위해 경기장 측 카메라들과 혼합될 수 있다. 유사한 전략들이 영화 및 텔레비전용 사전 제작된 콘텐츠에 사용될지라도, 최종 제작물을 생성하기 위해 행해지는 오디오 제작 후 편집은 더욱 중요해진다.
전자 디바이스들 상에서 라이브 스포츠 이벤트들과 다른 엔터테인먼트를 시청하는 청중들을 위해, 전자 디바이스들의 사용자들에게 스트리밍되고 재생될 수 있는 방송에 햅틱 콘텐츠를 추가하여 더 실감나는 체험을 생성하는 것이 바람직하다. 또한, 체험의 전파와 사용자 수용을 용이하게 하기 위해 실세계 햅틱 데이터가 더 쉽게 획득되게 하고 가능한 한 사람 개입이 거의 없이 실세계 햅틱 데이터를 변환시킴에 의해 햅틱 데이터를 더 널리 퍼트리는 것이 바람직하다.
본 발명의 일 양태에 따르면, 관심 대상의 오디오 및/또는 비디오를 기록하고 관심 대상의 기록을 출력하도록 구성된 리코더, 및 리코더와 연관된 비접촉 센서를 포함하는 시스템이 제공된다. 비접촉 센서는 리코더와 실질적으로 동일한 관점 및 동일한 시간에서 관심 대상의 움직임 및/또는 진동을 측정하도록 구성되고 배열된다. 시스템은 비접촉 센서에 의해 측정된 관심 대상의 측정된 움직임 및/또는 진동을 촉각 데이터 스트림으로 변환하도록 구성된 제어기를 포함하고, 촉각 데이터 스트림은 리코더에 의한 관심 대상의 기록과 함께 재생을 위해 햅틱 디스플레이 디바이스에 전송하고 측정된 움직임 및/또는 진동에 대응하는 햅틱 효과들을 기록과 동기화하여 햅틱 디스플레이 디바이스의 사용자에게 제공하기 위한 것이다.
일 실시예에서, 비접촉 센서는 레이저 진동계를 포함한다. 일 실시예에서, 비접촉 센서는 트래킹 디바이스를 포함한다.
일 실시예에서, 비접촉 센서는 비디오 스트림 분석 알고리즘들을 포함한다.
일 실시예에서, 리코더와 비접촉 센서는 함께 위치된다.
일 실시예에서, 시스템은 제어기에 의해 제어되고 비접촉 센서를 리코더와 실질적으로 동일한 관점을 갖는 위치 및/또는 방향으로 이동시키도록 구성되고 배열된 제1 서보메커니즘을 포함한다. 일 실시예에서, 시스템은 제어기에 의해 제어되고 리코더를 이동시키도록 구성되고 배열된 제2 서보메커니즘을 포함한다. 제1 서보메커니즘은 비접촉 센서의 움직임이 리코더의 움직임과 동기화되도록 제2 서보메커니즘과 동기화된다.
일 실시예에서, 시스템은 리코더에 의해 기록되고 있는 대상과 접촉하고 그 대상의 움직임 및/또는 진동을 감지하도록 구성되고 배열된 제2 센서를 포함한다. 제어기는 또한 비접촉 센서 및 제2 센서로부터 수신된 데이터를 결합하고 결합된 데이터를 촉각 데이터 스트림으로 변환하도록 구성된다. 일 실시예에서, 제어기는 상이한 샘플링 레이트 및/또는 감도를 갖는 센서 신호들을 혼합하고 변환된 결합된 데이터를 출력하도록 구성되고 배열된 변환기를 포함한다.
본 발명의 일 양태에 따르면, 리코더를 이용하여 관심 대상의 오디오 및/또는 비디오를 기록하는 단계, 및 리코더와 실질적으로 동일한 관점을 갖고 이와 연관되는 비접촉 센서를 이용하여 관심 대상의 움직임 및/또는 진동을 측정하는 단계를 포함한다. 방법은 제어기를 이용하여, 측정된 움직임 및/또는 진동을 촉각 데이터 스트림으로 변환하는 단계를 포함하고, 촉각 데이터 스트림은 관심 대상의 오디오 및/또는 비디오의 기록과 함께 재생하기 위해 햅틱 디스플레이 디바이스에 전송하고 측정된 움직임 및/또는 진동에 대응하는 햅틱 효과들을 기록과 동기화하여 햅틱 디스플레이 디바이스의 사용자에게 제공하기 위한 것이다.
일 실시예에서, 방법은 제어기에 의해 제어되는 제1 서보메커니즘을 이용하여, 리코더가 이동하고 관점을 변경할 때 리코더와 실질적으로 동일한 관점을 갖는 위치로 비접촉 센서를 이동시키는 단계를 포함한다. 일 실시예에서, 방법은 제어기에 의해 제어되는 제2 서보메커니즘을 이용하여 리코더를 이동시키는 단계를 포함한다. 제1 서보메커니즘은 비접촉 센서의 움직임이 리코더의 움직임과 동기화되도록 제2 서보메커니즘과 동기화된다.
일 실시예에서, 방법은 관심 대상과 접촉하는 제2 센서를 이용하여 관심 대상의 움직임 및/또는 진동을 감지하는 단계, 비접촉 센서와 제2 센서로부터 수신된 데이터를 결합하는 단계, 및 결합된 데이터를 촉각 데이터 스트림으로 변환하는 단계를 포함한다.
일 실시예에서, 방법은 상이한 샘플링 레이트 및/또는 감도를 갖는 센서 신호들을 변환하고 변환된 결합된 데이터를 출력하는 단계를 포함한다.
본 발명의 이러한 및 다른 양태들, 특징들 및 특성들뿐만 아니라, 구조의 관련 요소들의 동작 방법들과 기능들, 및 부품들의 조합과 제조의 경제성은, 첨부 도면과 관련하여 다음의 설명 및 첨부된 청구항들을 고려할 때 더 명백해질 것이며, 이들 모두는 본 명세서의 일부를 형성한다. 그러나 도면들이 단지 예시 및 설명의 목적을 위한 것이며, 본 발명의 제한의 정의로서 의도되지는 않는다는 점을 명백하게 이해해야 한다. 명세서 및 청구항에서 사용된 바와 같이, 단수 형태("a", "an" 및 "the")는 문맥이 다른 방식으로 명백하게 지시하지 않는 한 복수 지시대상들을 포함한다.
다음의 도면들의 컴포넌트들은 본 개시 내용의 일반적인 원리들을 강조하도록 예시되며, 반드시 축척에 맞게 도시되지는 않는다. 대응하는 컴포넌트들을 지정하는 참조 부호들은 일관성 및 명료성을 위해 도면들 전반에 걸쳐 필요한 경우 반복된다.
도 1a은 발명의 일 실시예에 따르는 시스템을 개략적으로 예시한다;
도 1b는 도 1a의 시스템의 제어기의 추가 상세 사항들을 개략적으로 예시한다;
도 2a은 본 발명의 일 실시예에 따르는 도 1의 시스템의 구현을 개략적으로 예시한다;
도 2b는 도 2a에 의해 예시된 본 발명의 실시예의 추가 상세 사항들을 개략적으로 예시한다;
도 3은 본 발명의 일 실시예에 따르는, 비접촉 센서와 비디오/오디오 리코더에서 재생 디바이스로의 데이터 흐름을 개략적으로 예시한다;
도 4는 본 발명의 일 실시예에 따르는, 비접촉 센서, 접촉 센서 및 비디오/오디오 리코더에서 재생 디바이스로의 데이터 흐름을 개략적으로 예시한다; 및
도 5는 본 발명의 일 실시예에 따르는 방법을 개략적으로 예시한다.
도 1a는 발명의 일 실시예에 따르는 시스템(100)을 개략적으로 예시한다. 예시된 바와 같이, 시스템(100)은 하나 이상의 센서(102)를 포함하고, 이들은 아래 더 상세히 설명되는 바와 같이, 멀리 떨어진 이벤트의 관심 대상에 의해 체험되는 움직임 및/또는 진동들을 감지하고, 감지된 움직임 및/또는 진동들을 햅틱 효과들로서 전자 재생 디바이스(130)의 사용자에게 재생하기 위한 촉각 효과 데이터로 변환하도록 구성된다. 일 실시예에서, 센서(102)는 아래 더 상세히 설명되는 바와 같이 비접촉 센서이다.
일 실시예에서, 센서(102)는 스포츠 이벤트 등의 일부로서 선수들 및/또는 장비 또는 다른 관심 대상의 움직임 및/또는 진동을 감지하도록 구성되고 배열된다. 일 실시예에서, 플레잉 필드/링크/코드와 플레잉 필드/링크/코드의 경계들 등에 대한 주변 움직임 및 진동은 센서(102)에 의해 감지될 수 있다. 센서(102)의 실시예들은 아래 더 상세히 설명된다. 센서(102)에 의해 감지된 진동은 진동 주파수 범위가 인간의 기계 수용체(human mechanoreceptor)들에 의해 정상적으로 느껴질 수 없을지라도, 임의의 주파수 범위에 있을 수 있다. 그런 실시예에서, 진동은 그 후 센서 데이터의 변환 동안 기계 수용체 범위로 변환되거나 번역될 수 있다. 센서 데이터의 촉각 효과 데이터로의 변환은 이하 더 상세히 설명된다.
시스템(100)은 또한 관심 대상의 이미지들과 사운드들을 캡처하도록 구성되고 배열된 하나 이상의 카메라(104)를 포함한다. 카메라(104)는 일체형 비디오/오디오 리코더를 포함할 수 있거나, 또는 도 1a에서 각각 106 및 108로 표기된 분리된 비디오 및 오디오 리코더들을 포함할 수 있다. 오디오 리코더(108)는 이벤트와 연관된 사운드들을 캡처하도록 구성되고 배열된 하나 이상의 마이크로폰을 포함할 수 있다. 예를 들어, 이벤트가 축구 게임인 경우, 축구 경기의 방송중에 현재 행해지고 있는 바와 같이, 하나 이상의 마이크로폰은 플레잉 필드의 사이드 라인 상의 필드 레벨에 배치될 수 있고, 하나 이상의 마이크로폰은 플레잉 필드 위의 위치들에 배치될 수 있다. 본 명세서에 사용된 바와 같이, 2개의 리코더가 함께 위치되지 않고 물리적으로 분리될지라도, "카메라"는 비디오 리코더(106)와 오디오 리코더(108)의 조합을 지칭한다. 일 실시예에서, 센서(들)(102), 비디오 리코더(106) 및 오디오 리코더(108)는 동일한 전자 디바이스의 일부일 수 있다. 일 실시예에서, 센서(들)(102), 비디오 리코더(106) 및 오디오 리코더(108)는 별개의 독립적 디바이스들일 수 있거나, 또는 별개의 독립적 디바이스들의 일부일 수 있다.
도 1a에 예시된 바와 같이, 시스템(100)은 제어 신호들을 센서(들)(102), 비디오 리코더(106) 및 오디오 리코더(108)에 출력하고, 또한 추가 처리와 전자 재생 디바이스(130)로의 최종 전송을 위해 센서(들)(102), 비디오 리코더(106) 및 오디오 리코더(108)로부터 데이터 신호들을 수신하도록 구성되고 배열된 제어기(110)를 더 포함한다. 제어기(110)는 센서(들)(102), 비디오 리코더(106) 및 오디오 리코더(108)에 의해 출력된 신호들과 데이터를 처리하도록 구성되고 배열된 하나 이상의 프로세서(112)를 포함한다. 프로세서(들)(112)는 아래 더 상세히 설명되는 바와 같이, 제어기(110)의 다양한 기능들을 수행하기 위한 실행 가능 명령어들을 포함하는 컴퓨터 프로그램 모듈들을 실행하도록 프로그래밍될 수 있다. 일 실시예에서, 센서(들)(102)는 프로세서(들)(112)와 분리된 프로세서(들)를 포함할 수 있거나, 또는 프로세서(들)(112)는 센서(들)의 일부일 수 있다.
전자 재생 디바이스(130)는 햅틱 효과들을 전자 재생 디바이스(130)의 사용자에게 출력하도록 구성된 햅틱 출력 디바이스(132), 비디오 리코더(106)에 의해 캡처된 이미지들과 같은 이미지들을 표시하도록 구성된 디스플레이(134), 및 오디오 리코더(108)에 의해 캡처된 사운드일 수 있는 사운드를 출력하도록 구성된 스피커(136)를 포함한다. 일 실시예에서, 햅틱 출력 디바이스(132)는 예를 들어, 팔찌, 시계, 아암 밴드, 헤드 밴드, 머리 장착 디스플레이 등과 같은 웨어러블 디바이스의 일부일 수 있다. 일 실시예에서, 햅틱 출력 디바이스(132), 디스플레이(134) 및 스피커(136)는 예를 들어, 무선 접속을 통해 서로 통신하도록 구성된 개별 디바이스들일 수 있다. 일 실시예에서, 햅틱 출력 디바이스(132)는 웨어러블 디바이스의 일부일 수 있고, 디스플레이(134)는 텔레비전의 일부일 수 있고, 스피커(136)는 디스플레이(134)와 분리된 무선 스피커일 수 있다.
햅틱 출력 디바이스(132)는, 액추에이터, 예를 들어 편심 질량이 모터에 의해 이동되는 편심 회전 질량("ERM, Eccentric Rotating Mass")과 같은 전자기 액추에이터, 스프링에 부착된 질량이 앞뒤로 구동되는 선형 공진 액추에이터("LRA, Linear Resonant Actuator"), 압전, 전기-활성 폴리머들 또는 형상 기억 합금 등의 "스마트 재료(smart material)", 매크로-합성 파이버 액추에이터, 정전 액추에이터, 전기-촉각 액추에이터, 및/또는 햅틱(예를 들어, 진동촉각) 피드백 등의 물리적 피드백을 제공하는 다른 유형의 액추에이터를 포함할 수 있다. 햅틱 출력 디바이스(132)는, 정전 마찰(ESF, ElectroStatic Friction), 초음파 표면 마찰(USF, Ultrasonic Surface Friction)를 사용하는 것들, 또는 초음파 햅틱 트랜스듀서로 음향 방사 압력을 유도하는 것들, 또는 햅틱 기판 및 플렉서블한 또는 변형 가능한 표면을 사용하는 것들, 또는 공기 분사를 사용하는 공기 분사기와 같은 계획된 햅틱 출력을 제공하는 것 등과 같은 비-기계형 또는 비-진동형 디바이스들을 포함할 수 있다.
도 1b는 제어기(110)의 실시예의 추가 상세 사항들을 예시한다. 제어기(110)는 시스템(100)의 동작들 및 기능들을 관리 또는 제어하기 위한 범용 또는 특수-목적 마이크로컨트롤러일 수 있다. 예를 들어, 제어기(110)는, 햅틱 효과들을 제공하는 햅틱 출력 디바이스(132)로의 출력 신호들을 제어하는 ASIC(Application Specific Integrated Circuit)으로서 특수하게 설계될 수 있다. 제어기(110)는, 미리 정의된 팩터들에 기초하여, 무슨 햅틱 효과들이 생성되어야 할지, 햅틱 효과들이 생성되는 순서, 및 햅틱 효과들의 크기, 빈도, 지속시간 및/또는 기타 파라미터들을 결정하도록 구성될 수 있다. 제어기(110)는 또한, 특정 햅틱 효과를 제공하기 위해 햅틱 출력 디바이스(132)를 구동하는데 사용될 수 있는 스트리밍 커맨드들을 제공하도록 구성될 수 있다. 일 실시예에서, 제어기(110)는 2 이상의 프로세서(112), 즉, 복수의 프로세서(112)를 포함할 수 있고, 이들 각각은 시스템(100) 내에서 소정 기능들을 수행하도록 구성된다. 제어기(110)는 또한, 햅틱 효과 프로필들, 햅틱 출력 디바이스(132)가 어떻게 구동되어야 하는지에 관한 명령들, 및/또는 햅틱 효과를 생성하기 위한 기타 정보를 포함할 수 있는 하나 이상의 저장 디바이스를 포함하는 전자 메모리를 포함할 수 있다. 일 실시예에서, 전자 메모리(114)는 프로세서(112)의 일부일 수 있다.
전자 메모리(114)는 센서(들)(102)에 의해 감지된 데이터, 비디오 리코더(106)에 의해 기록된 데이터, 및 오디오 리코더(108)에 의해 기록된 데이터를 저장하는데 사용될 수 있다. 전자 메모리(114)는 하나 이상의 내부적으로 고정된 스토리지 유닛, 제거 가능한 스토리지 유닛들, 및/또는 원격 액세스 가능한 스토리지 유닛들을 포함할 수 있다. 다양한 스토리지 유닛들은 휘발성 메모리와 비휘발성 메모리의 임의의 조합을 포함할 수 있다. 스토리지 유닛들은 정보, 데이터, 명령들, 소프트웨어 코드 등의 임의의 조합을 저장하도록 구성될 수 있다.
예시된 바와 같이, 제어기(110)는 입력 변환기(116), 센서 데이터 인코더(118), 비디오/오디오 데이터 인코더(120), 디코더(122), 및 출력 변환기(122)를 더 포함한다. 위에 논의된 바와 같이, 센서(들)(102)에 의해 생성된 데이터는 전자 메모리(114)에 저장될 수 있다. 또한, 센서(들)(102)에 의해 생성된 데이터는 전자 메모리(114)에 저장되기 이전에 입력 변환기(116)에 의해 변환될 수 있다. 센서 데이터의 변환은 선택적인 단계로 고려되고, 변환이 필요한지는 사용되는 센서들의 속성에 의존할 수 있다. 예를 들어, 샘플링 등을 위해 각각이 상이한 주파수를 이용하는 다수의 센서(102)를 이용하는 실시예에서, 입력 변환기(116)는 데이터가 동일한 주파수 등을 갖는 단일 데이터 스트림에 결합될 수 있도록 데이터를 변환하는데 사용될 수 있다.
일 실시예에서, 센서 데이터 인코더(118)는 기록 동안 센서 데이터를, 단일 파일 컨테이너에 있는 비디오 및 오디오와는 다른 데이터의 저장을 허용하는, MPEG-4 파일과 같은 플렉서블 컨테이너 포맷에 배치하도록 구성될 수 있다. 유사하게, 비디오/오디오 데이터 인코더(120)는 기록 동안 비디오 및 오디오 데이터를 MPEG-4 파일과 같은 컨테이너 포맷에 배치하도록 구성될 수 있다. 일 실시예에서, 소프트웨어는 센서 데이터를 개별 파일에 저장하도록 기입될 수 있지만, 재생시에 비디오/오디오 데이터와의 적절한 동기화를 허용하기 위해 센서 데이터에 특수 마커들이 있을 수 있다. 이런 실시예에서는, 설계된 기록 포맷의 제한들에 따르도록 센서 데이터를 성형하는 것 외에는 입력 변환이 적용될 필요가 거의 없을 수 있다. 정확한 포맷은 시행자에 의해 결정될 수 있다. 이벤트를 기록하는 사용자가 이들의 활동을 완료할 때, 기록은 정지될 수 있다. MPEG-4 파일은 닫힐 수 있고, 모든 센서 데이터는 비디오/오디오 데이터와 함께 전자 메모리(114)에서 MPEG-4 파일에 상주할 수 있다.
예시된 제어기(110)의 일부일 수 있거나 또는 미디어 파일을 재생하도록 구성된 전자 재생 디바이스(130)의 미디어 플레이어의 일부일 수 있는 디코더(122)는, 센서(들)(102)에 의해 생성된 데이터를 전자 메모리(114)로부터 판독하고, 이 데이터를 전자 메모리(114)에 기록되어 저장되었던 오디오 데이터 및 비디오 데이터와 시간적으로 연관시키도록 구성된다. 미디어 재생 동안, 디코더(122)는 하나 이상의 햅틱 효과 또는 햅틱 감각 커맨드 - 이들은 진동, 표면 마찰 변조, 스킨 핀치(skin pinch), 스킨 스퀴즈(skin squeeze) 등을 포함하지만 이에 제한되지 않음 -를 생성하기 위해 센서 데이터를 햅틱 출력 신호로 변환하도록 구성된 출력 변환기(124)에 센서 데이터를 통과시킬 수 있다. 디코더(122)는 햅틱 효과가 재생 동안 비디오 및 오디오와 동기화되도록 센서 데이터로부터 변환되었던 햅틱 출력 데이터를 비디오/오디오 데이터와 동기화하도록 구성될 수 있다. 일 실시예에서, 동기화는 재생중인, 비디오 데이터, 오디오 데이터 및 햅틱 효과와 동일한 시간에 있음을 보장함으로써 완료될 수 있다.
햅틱 출력 신호는 그 후 디코더(122)로부터 햅틱 출력 디바이스(132)에 전송될 수 있고, 따라서 햅틱 출력 디바이스(132)를 포함하는 전자 재생 디바이스(130)를 통해 미디어를 체험하는 사람(들)이 재생중인 이벤트를 보다 완전하게 체험할 수 있다. 전자 재생 디바이스(130)는 휴대폰, 게임 디바이스, 개인용 정보 단말기("PDA"), 휴대용 이메일 디바이스, 휴대용 인터넷 액세스 디바이스, 태블릿 등의 전자 핸드헬드 디바이스와 같은 임의의 디바이스일 수 있다. 전자 재생 디바이스(130)는, 미디어를 표시하는 디스플레이(134) - 이는 고해상도 디스플레이일 수 있음 -를 가진 핸드헬드 디바이스 또는 웨어러블 디바이스, 및 햅틱 감각들 또는 효과들을 생성할 수 있는 핸드헬드 객체, 또는 신체에 부착되고 신체를 학습하거나 그렇지 않으면 촉각 감각들 및 햅틱 효과들을 사용자에 전송할 수 있는 객체를 포함할 수 있지만, 이에 제한되지 않는다. 진동, 비디오 및 오디오 데이터를 포함하는 데이터 스트림들 모두의 동기화는 도 1a 및 1b에 예시된 시스템(100)의 프로세서(들)(112)에 상주할 수 있는 기록 소프트웨어에 의해 관리될 수 있다.
수행되고 있는 액티비티(activity)와 동시에 또는 차후에, 한 명 이상의 시청자는 액티비티를 체험하는데 관심을 가질 수 있다. 액티비티를 재생하기 위해, 시청자들은 그들의 개별적 전자 재생 디바이스(130) 상에서 적절한 재생 소프트웨어를 착수할 수 있다. 일 실시예에서, 재생 소프트웨어는, 전술한 디코더(122)에 의해 수행되는 센서 디코딩 방식을 포함하는 플레이어 소프트웨어 애플리케이션뿐만 아니라, 출력 변환기(124)에 의해 실행될 수 있는 출력 변환 소프트웨어를 포함할 수 있고, 출력 변환 소프트웨어는 센서 데이터를 전자 재생 디바이스(130)에서 햅틱 출력 디바이스(132)에 적합한 햅틱 출력 신호로 변환하기 위한 것이다. 일 실시예에서, 플레이어 소프트웨어 애플리케이션은 센서 디코딩 방식을 포함할 수 있다. 플레이어 소프트웨어는 전자 재생 디바이스(130)에 상주하거나 아니면 미리 설치된 출력 변환 소프트웨어에 의존할 수 있고, 이러한 출력 변환 소프트웨어는 센서 데이터를 전자 재생 디바이스(130)에서 햅틱 출력 디바이스(132)에 적합한 햅틱 출력 신호로 변환할 수 있다. 달리 말하면, 출력 변환기(124) 및/또는 디코더(122)는 전자 재생 디바이스(130) 상에 위치할 수 있다.
일 실시예에서, 전자 재생 디바이스(130)는 비디오 및 촉각 효과 데이터의 스트림을 디코딩하고, 비디오와 촉각 효과 데이터 사이에 동기화를 유지하도록 구성될 수 있다. 전자 재생 디바이스(130) 내의 단일 마이크로컨트롤러는, 예를 들어 비디오 및 촉각 효과 데이터 스트림들에 기초하여 비디오 디스플레이(134)와 햅틱 출력 디바이스(132) 양자를 제어할 수 있다. 일 실시예에서, 플레이어 소프트웨어 애플리케이션은 미디어 재생을 수행하기 위해 재생 디바이스의 운영 체제 소프트웨어에 의존할 수 있고, 이는 센서 디코딩 방식을 포함한다. 운영 체제 소프트웨어는 전자 재생 디바이스(130) 상에 상주하거나 아니면 미리 설치된 출력 변환 소프트웨어에 의존할 수 있고, 이러한 출력 변환 소프트웨어는 센서 데이터를 전자 재생 디바이스(130)에서 햅틱 출력 디바이스(132)에 적합한 햅틱 출력 신호로 변환한다. 시청자는 그 후 이벤트 또는 공연의 시청과 연관된 햅틱 효과들을 체험할 수 있고, 이러한 햅틱 효과들은 출력 변환 소프트웨어에 의해 생성된다. 일 실시예에서, 출력 변환은 전자 재생 디바이스(130)의 외부에서 발생할 수 있고, 그보다는 방송사(들)이 소유한 서버상에서 발생하고 클라우드에 저장될 수 있다. 그러한 실시예에서, 햅틱 트랙의 다수의 버전이 상이한 디바이스들 및/또는 디바이스 유형들에 대해 생성될 수 있고, 적절한 햅틱 트랙이 선택되어 전자 재생 디바이스(130)의 햅틱 출력 디바이스(132)에 전송될 수 있다.
일 실시예에서, 비디오, 오디오 및 센서 데이터 스트림들은 동기화되고, 결합되어, 재생 디바이스(130)에 전송될 수 있다. 동기화는, 예를 들어 모든 비디오 프레임 및 센서 측정에 대한 시간스탬프를 포함함으로써 행해질 수 있으며, 캡처가 유선 또는 무선 네트워크를 통해 통신하는 독립적인 디바이스들에서 일어날 수 있음에 유의한다. 따라서, 기록 디바이스는 예를 들어, GPS 시스템으로부터 공유된 시간 기준을 얻을 필요가 있을 수 있다. 일 실시예에서, 동기화는 비디오와 센서 데이터 스트림들 양자에서 검출 가능한 특정한 액션을 수행함으로써 수행될 수 있다.
최종 데이터는 진동과 비디오를 결합한 단일 데이터 스트림으로서 전송될 수 있고, 단일 데이터 스트림은 또한 오디오, 또는 동기화 정보를 가진 2개의 데이터 스트림을 포함한다. 데이터 스트림은 전자 재생 디바이스(130)에 점차적으로 전송되거나 차후 재생을 위해 파일에 저장될 수 있다. 일 실시예에서, 햅틱 효과들은 편집 도구들을 이용하여 오프라인으로 생성되고 후반 제작에서 비디오를 추가될 수 있다.
비디오는 차후에 재생되거나 실시간으로 스트리밍될 수 있고, 두 경우 모두 하나 또는 그 이상의 수신인에 대한 것이다. 비디오는 스마트폰들 또는 태블릿들, 컴퓨터들, 홈 시어터 시스템 등을 포함하지만 이에 제한되지 않는 여러 디바이스들 상에서 재생될 수 있다. 햅틱 효과들은, 스마트폰 또는 태블릿, 머리 장착 디스플레이 디바이스, 손목 밴드, 링 또는 글러브와 같은 웨어러블 디바이스, 또는 의자 또는 책상과 같은 한점의 가구에 위치한 상이한 햅틱 출력 디바이스들(132)을 이용하여 유사하게 생성될 수 있다.
도 2a는 도 1a 및 1b와 관련하여 위에서 설명된 시스템(100)의 일 실시예인 시스템(200)을 개략적으로 예시한다. 도 2a에 예시된 실시예에서, 센서(들)(102)는 움직임/진동 캡처 디바이스(210)을 포함할 수 있고, 이는 관심 대상의 움직임 및/또는 진동들을 측정하도록 구성되고 배열된 비접촉 측정 디바이스(212), 및/또는 관심 대상의 움직임 및/또는 진동들을 측정하도록 구성되고 배열된 트래킹 디바이스(214)를 포함할 수 있다. 비접촉 측정 디바이스(212)와 트래킹 디바이스(214)의 양자가 움직임/진동 디바이스(210)의 일부인 것으로 예시된다할지라도, 일부 실시예에서, 움직임/진동 디바이스(210)는 비접촉 측정 디바이스(212) 또는 트래킹 디바이스(214) 중 하나만을 포함할 수 있다. 시스템(200)은 비디오/오디오 리코더(220), 변환기(230) 및 전자 재생 디바이스(240)를 더 포함하고, 전자 재생 디바이스는 움직임/진동 캡처 디바이스(210)에 의해 캡처된 움직임 및/또는 진동들을 나타내는 햅틱 효과(HE, Haptic Effect)들을 생성하도록 구성된 적어도 하나의 햅틱 출력 디바이스(242), 및 비디오/오디오 리코더(220)에 의해 캡처된 이미지들을 표시하도록 구성된 디스플레이(244)를 포함한다.
일 실시예에서, 비접촉 측정 디바이스(212)는 관심 대상의 진동을 측정하도록 구성된 레이저 진동계일 수 있다. 본 분야에 알려진 바와 같이, 레이저 진동계는 사용시 관심 대상을 지향하는 제1 주파수에서의 레이저 빔을 방출하고, 관심 대상에 의해 반사되고 광검출기에 의해 검출된 레이저 빔의 제2 주파수를 측정한다. 그 대상의 표면이 움직이고 있다면, 예를 들어 진동한다면, 제2 주파수가 제1 주파수와 상이하도록 주파수에서 편이가 있을 것이다. 주파수의 편이는 그 후 관심 대상의 진동과 상관될 수 있다. 트래킹 디바이스(214)는 관심 대상의 진동들이 공지된 방법에 의한 이미지 분석을 통해 결정될 수 있도록 관심 대상의 움직임을 3차원까지 트래킹하도록 구성될 수 있다. 일 실시예에서, 움직임 및/또는 진동은 이미지 분석 소프트웨어를 이용하여 2차원 또는 3차원 비디오 스트림으로부터 도출될 수 있다.
일 실시예에서, 가속도계와 같은, 움직임 및/또는 진동들을 감지하도록 구성된 하나 이상의 추가 센서(216)가 관심 대상에 배치될 수 있다. 그런 센서(들)(216)는 이들이 관심 대상과 접촉하지 않는 것이 아니라 그 대상과 접촉한다는 점에서 본 명세서에 설명된 비접촉 센서(들)와 상이하다.
일 실시예에서, 하나 이상의 추가 센서(도시 생략)는 특정 범위에서 관심 대상을 둘러싸는 광 필드의 변화를 트래킹하도록 구성된 광센서들을 포함할 수 있고, 광 필드의 변화는 움직임/진동을 나타내는 센서 데이터로서 이용될 수 있다.
또한 도 2a에 예시된 바와 같이, 카메라일 수 있는 비디오/오디오 리코더(220)은 도 1a와 관련하여 위에서 설명된 비디오 리코더(106) 및 오디오 리코더(108)로서 구현되고 관심 대상으로부터 이미지들 및 사운드들을 캡처하도록 구성될 수 있다. 오디오/비디오 리코더(220)가 일체형 디바이스로서 예시되었다 할지라도, 본 발명의 실시예는 비디오 리코더가 전술한 바와 같이, 오디오 리코더와 분리되는 배열을 커버한다. 일 실시예에서, 움직임/진동 캡처 디바이스(210) 및 비디오/오디오 리코더(220)는 동일한 전자 디바이스 상에 함께 위치될 수 있다.
움직임/진동 캡처 디바이스(210) 및 접촉 센서(216)에 의해 캡처된 데이터는 변환기(230)에 의해 처리되고 전자 재생 디바이스(240)로의 전송을 위해 촉각 효과 데이터로서 출력될 수 있다. 일 실시예에서, 촉각 효과 데이터는 라이브 이벤트 관중 소비를 위한 즉시 방송 또는 차후 렌더링을 위해 시청각 데이터와 함께 저장되거나 이와 인터리빙될 수 있다.
일 실시예에서, 칼만(Kalman) 필터링과 같은 센서 데이터 융합 기술들은, 상이한 센서들(212, 214, 216)이 예를 들어, 상이한 샘플링 레이트를 이용하고/하거나 상이한 감도를 갖는 경우에 변환기(230)에 의해 사용될 수 있다. 변환기(230)에 의해 출력된 촉각 효과 데이터는 전자 재생 디바이스(240)로의 전송 전에 인코딩될 수 있고, 전자 재생 디바이스(240) 상에서 재생시 디코딩될 수 있다. 비디오/오디오 리코더(220)에 의해 캡처된 미디어 데이터는 또한 오디오/비디오 데이터로서 전자 재생 디바이스(240)에 전송될 수 있고, 전송 이전에 전술한 바와 같이 인코딩될 수 있고 전자 재생 디바이스 상에서 재생시 디코딩될 수 있다.
도 2a에 의해 예시된 실시예에서, 시스템에 의해 기록되고 있는 이벤트는 하키 게임이고 움직임에서 관심 대상은 하키 스틱(HS, Hockey Stick)이 때리는 하키 퍽(HP, Hockey Puck)이다. 비접촉 움직임/진동 캡처 디바이스(210)는 하키 스틱(HS)이 하키 퍽(HP)을 때릴 때 하키 퍽(HP)의 움직임/진동을 기록한다. 동시에, 하키 퍽(HP)과 접촉하는 접촉 센서(216)는 하키 스틱(HS)에 의해 하키 퍽(HP)을 때림으로써 생성된 진동을 측정한다. 움직임/진동 캡처 디바이스(210) 및 접촉 센서(216)에 의해 기록된 데이터는 변환기(230)에 의해 처리되어 촉각 효과 데이터로 변환되고, 오디오/비디오 데이터와 함께 또는 인터리빙되어 전자 재생 디바이스(240)에 전송된다. 전송의 수신시, 전자 재생 디바이스(240)는 데이터를 차후에 재생을 위해 전자 메모리에 저장할 수 있거나, 또는 비디오 이미지들을 디스플레이(244) 상에 표시하고 햅틱 출력 디바이스(242)를 이용하여 감지된 진동에 대응하는 햅틱 효과(HE)를 표시하도록 진행할 수 있고, 따라서 전자 재생 디바이스(240)를 휴대한 사용자는 하키 퍽(HP)을 치는 하키 스틱(HS)과 연관된 진동을 느낄 수 있다.
일 실시예에서, 전자 재생 디바이스(240)는 도 1의 전자 재생 디바이스(130)일 수 있고, 디스플레이(134), 스피커(136), 및 햅틱 효과를 제공하는 햅틱 출력 디바이스(132)로서의 진동 디바이스를 갖는 이동 전화 또는 태블릿의 형태일 수 있다. 일 실시예에서, 햅틱 출력 디바이스(242)는 디바이스의 사용자에 부착되거나 또는 사용자가 휴대하도록 구성되고 배열된 전자 디바이스의 일부일 수 있다. 예를 들어, 햅틱 디스플레이 디바이스(242)는 스마트폰, 태블릿, 게임패드, 웨어러블 디바이스, 예를 들어 스마트시계, 손목 밴드, 아암 밴드, 헤드 밴드, 머리 장착 디스플레이 등과 같은, 이동 전화의 일부일 수 있다
자기 중심적 비디오/오디오 리코더(즉, 카메라(104)) 관점을 유지하기 위해, 센서(102)는 지각적으로 의미있는 방식으로 카메라(104) 시점을 트래킹해야만 한다. 예를 들어, 카메라(104)가 축구 게임 동안 축구공을 따라간다면, 센서(102)는 카메라(104)와 동기화된 관점을 유지하기 위해 이동되어야 한다. 카메라(104)와 센서(102) 사이의 이런 동기화는 다양한 방식으로 달성될 수 있다. 일 실시예에서, 트래킹 기술들을 기초로 하는, 마커들 또는 비디오를 이용하는 객체 트래킹이 이용될 수 있다. 일 실시예에서, 카메라(104) 및 센서(102)의 위치 및 방향은 카메라(104)와 센서(102)의 조작자에 의해 수동으로 제어될 수 있다.
도 2b에 예시된 실시예에서, 비디오/오디오 리코더(220)(즉, 카메라)의 위치 및 방향의 움직임/진동 캡처 디바이스(210)(즉, 비접촉 센서)로의 서보 매칭이 이용될 수 있다. 예시된 바와 같이, 시스템은 제어기(250), 제어기(250)에 의해 제어되고 비접촉 측정 디바이스(212)의 위치 및/또는 방향을 제어하도록 구성되고 배열된 제1 서보메커니즘("서보")(252), 제어기(250)에 의해 제어되고 트래킹 디바이스(214)의 위치 및/또는 방향을 제어하도록 구성되고 배열된 제2 서보메커니즘("서보")(254), 및 제어기(250)에 의해 제어되고 비디오/오디오 리코더(220)의 위치 및/또는 방향을 제어하도록 구성되고 배열된 제3 서보메커니즘("서보")(256)을 더 포함한다. 제어기(250)는 서보들(252, 254, 256)을 위한 서보 위치 커맨드들로 번역될 수 있는 객체 마커를 제어기(250)에 제공하는 3차원 이미지 분석 소프트웨어를 실행하도록 구성된 프로세서를 포함할 수 있다. 일 실시예에서, 3차원 이미지 분석 소프트웨어는 대상의 움직임/진동을 결정하고 전자 재생 디바이스의 사용자에게 표시될 햅틱 효과로 변환될 수 있는 신호를 출력하기 위한 알고리즘들을 포함할 수 있다. 일 실시예에서, 제어기(250)는 기존 비컨 & 삼각 측량 시스템들과 유사한 기술을 이용하여 3차원 공간에서 관심 대상을 트래킹하는 위치 트래킹 시스템(260)에 의해 명령받을 수 있다. 위치 트래킹 시스템(260)은 제어기(250)를 위한 서보 위치 커맨드들로 번역될 수 있는 객체 마커를 제공한다.
도 3은 비접촉 센서(310)와 비디오/오디오 리코더(320)에서 전자 재생 디바이스(330)로의 데이터 흐름(300)의 실시예를 예시한다. 예시된 바와 같이, 센서(310)에 의해 출력된 데이터는 312에서 교정 매핑을 겪고, 314에서 재샘플링되고, 전술한 포맷과 같은 통상의 기술자에게 알려진 포맷을 이용하여 316에서 인코더로 인코딩된다. 데이터가 인코딩된 후, 인코더는 예를 들어, 전자 재생 디바이스(330) 상의 재생 미디어(350)로서 소비를 위해, 인터넷을 통해 스트리밍될 수 있는 미디어(340)에 포함될 신호(318)를 출력한다. 동시에 또는 실질적으로 동시에, 비디오/오디오 리코더(320)로부터의 데이터는 재생 디바이스(330)로 스트리밍되는 미디어(320)에 포함될 인코딩된 신호(324)를 준비하기 위해, 전술한 포맷과 같은, 통상의 기술자에게 공지된 포맷을 이용하여 322에서 인코더로 인코딩된다. 인코딩된 신호들(318, 324)은 전술한 바와 같이, 재생 디바이스(330)로 스트리밍(아니면 전달)되기 전에 동기화될 수 있고, 또는 인코딩된 신호들(318, 324)은 재생 디바이스(330)에 전달된 후 재생 디바이스(330) 상에서 국부적으로 동기화될 수 있다. 인코딩된 신호들(318, 324)은 서로 함께 스트리밍되거나 또는 단일 신호로 인터리빙될 수 있다.
도 4는 예를 들어, 관심 대상의 진동을 측정하는 비접촉 센서(410) 및 관심 대상과 접촉하는 접촉 센서(420)와 같은 2 이상의 센서와, 관심 대상을 전자 재생 디바이스(440)에 기록하는 비디오/오디오 리코더(430)로부터의 데이터 흐름(400)의 실시예를 예시한다. 일 실시예에서, 센서 데이터는 교정 및 샘플링 레이트 일관성을 보장하도록 처리될 수 있다. 다중 센서 데이터 채널은 그 후 단일 햅틱 신호를 생성하기 위해, 상태 추정, 혼합, 평균화 등과 같은 다양한 기술을 이용하여 결합될 수 있다. 도 4에 예시된 실시예에서, 비접촉 센서(410)에 의해 출력된 데이터는 412에서 교정 매핑을 겪고, 414에서 재샘플링된다. 접촉 센서(420)에 의해 출력된 데이터는 422에서 교정 매핑을 겪고, 424에서 재샘플링된다. 414 및 424에서 재샘플링된 후 데이터는 상태 추정을 위해 416에서 변환되고, 따라서 예를 들어, 2개의 스트림에 있는 데이터가 상이한 주파수들에 있는 경우, 데이터 신호들은 추정되고 전술한 포맷과 같은, 통상의 기술자에게 공지된 포맷을 이용하는 인코더에 의해 418에서 인코딩을 위해 단일 데이터 신호로 변환될 수 있다. 일 실시예에서, 2개의 스트림에 있는 데이터는 하나 이상의 햅틱 데이터 채널로 구성될 수 있는 햅틱 출력 스트림으로 변환될 수 있다. 인코더는 예를 들어, 재생 디바이스(440) 상의 재생 미디어(438)로서 소비를 위해, 인터넷을 통해 스트리밍될 수 있는 미디어(436)에 포함될 신호(426)를 출력한다. 동시에 또는 실질적으로 동시에, 비디오/오디오 리코더(430)로부터의 데이터는 재생 디바이스(440)로 스트리밍되는 미디어(436)에 포함될 인코딩된 신호(434)를 준비하기 위해, 전술한 포맷과 같은, 통상의 기술자에게 공지된 포맷을 이용하는 인코더로 432에서 인코딩된다. 전술한 바와 같이, 인코딩된 신호들(426, 434)은 재생 디바이스(440)로 스트리밍되거나 아니면 전달되기 전에 동기화될 수 있고, 인코딩된 신호들(426, 434)은 재생 디바이스(440)에 전달된 후이지만 재생 미디어(438)로서 재생되기 전에 재생 디바이스(440) 상에서 국부적으로 동기화될 수 있다. 인코딩된 신호들(426, 434)은 서로 함께 스트리밍될 수 있거나 단일 신호로 인터리빙될 수 있다.
도 3 및 4에 예시된 양쪽 실시예들에서, 필드 기반 촉각 감지의 출력은 2개의 구별되는 유형의 데이터 인코딩을 포함할 수 있으며, 이들 유형은 예를 들어, 필드 센서 소스들로부터의 완전하고 혼합되지 않은 센서 데이터를 포함하는 RAW 마스터 기록, 및 혼합되고 방송 준비된 촉각 트랙을 포함하고 방송물로서 모든 촉각 센서들의 최종 혼합된 제작물인 다운믹스 기록과 같다. 일부 실시예에서, 다운믹스 기록은 이벤트에서 각각의 카메라에 이용 가능할 수 있다. 센서 기술들의 차이로 인해, RAW 기록들은 다양한 샘플링 레이트를 가질 수 있고, 다운믹스는 다운스트림 믹싱과 최종-디바이스 렌더링을 용이하게 하기 위해 표준 샘플링 레이트(예를 들어, 200Hz)를 따를 수 있다.
본 발명의 실시예들에 따르면, 전술한 시스템들(100, 200)은 구동된 미디어 서버일 수 있다. 미디어 서버는 예를 들어, NETFLIX(등록상표)와 같은 클라우드 비디오 스트리밍 서비스, NBC와 같은 방송 네트워크 제공 서비스, 마이크로소프트(사)의 Xbox와 같은 게임 콘솔, 또는 임의의 다른 유형의 서버일 수 있다. 촉각 효과 데이터는 미디어 서버로부터 전자 재생 디바이스(130, 240)에 유선 또는 무선으로 통신되는 신호로서 제공될 수 있다. 신호는 직접적인 촉각 효과 스트림 또는 커맨드들의 세트와, 다수의 액션이 수행되어야 한다는, 햅틱 출력 디바이스(132, 242)에 대한 임의의 추상적인 표시 사이에 있는 임의의 것일 수 있으며, 수행된 액션들 중 하나가 촉각 효과 데이터에 기초하는 햅틱 효과의 렌더링이다.
본 발명의 실시예들에 따르면, 시스템들(100, 200)은 구동된 PVD일 수 있다. PVD는 촉각 효과 데이터 신호를 인식하고 그 후 동일한 촉각 효과 데이터 신호 또는 촉각 효과 데이터 신호로부터 변환된 상이한 신호를 전송할 수 있도록 구성될 수 있으며, 이들 신호는 결국 햅틱 출력 디바이스(132, 242)에 의해 생성되는 햅틱 효과들을 가져온다.
도 5는 본 발명의 실시예에 따르는 방법(500)을 예시한다. 510에서, 비디오 및/또는 오디오는 전술한, 비디오 리코더(106) 및/또는 오디오 리코더(108) 또는 비디오/오디오 리코더(220)와 같은 기록 디바이스에 의해 기록된다. 520에서, 움직임 및/또는 진동들은 전술한 움직임/진동 캡처 디바이스(210)와 같은 적어도 하나의 비접촉 센서에 의해 감지된다. 일 실시예에서, 움직임/진동 데이터는 촉각 데이터 스트림으로 변환될 수 있다. 530에서, 비디오, 및 촉각 데이터 스트림에서의 진동들은 전술한 프로세서(112)와 같은 프로세서를 이용하여 동기화된다. 540에서, 동기화된 비디오 및/또는 오디오 및 진동들은 디스플레이(134), 스피커(136) 및 햅틱 출력 디바이스(132)를 포함하는 전술한 전자 재생 디바이스(130) 또는 전술한 전자 재생 디바이스(240)와 같은 전자 재생 디바이스를 이용하여 재생된다.
전술한 본 발명의 실시예들은 멀티미디어 데이터 스트림에서 비디오 및/또는 오디오 데이터와 함께 사용될 촉각 효과 데이터를 생성하기 위해 움직임/진동 캡처를 이용할 의도로 관심 대상의 움직임 및/또는 진동을 캡처한다. 움직임/진동 캡처는 관심 대상의 비접촉 관측과 관련된다.
전술한 본 발명의 실시예들은 적어도 하나의 비접촉 촉각 센서를 포함하는 이벤트의 생방송을 제작할 수 있는 능력을 제공한다. 전술한 본 발명의 실시예들은 접촉 기반 촉각 감지에 적합하지 않은 까다롭거나 극단적인 환경 상태를 가질 수 있는 이벤트들에 특히 유용할 수 있다.
전술한 본 발명의 실시예들은 오디오 및 촉각 피드백의 양쪽이 스포츠 방송 또는 사전 제작 슈트의 일부로서 캡처되고 렌더링될 수 있도록 확장될 수 있는 카메라 기반 자기 중심적 음장을 제공한다. 전술한 본 발명의 실시예들은 각각의 카메라의 시야에 대한 적절한 최종 사용자 체험을 제작하기 위해 혼합될 수 있는 온-서브젝트(on-subject) 및 비접촉 촉각 감지 기술들의 조합을 제공한다.
본 명세서에서 설명된 실시예들은 복수의 가능한 구현예 및 예시를 나타내며 본 개시 내용을 반드시 임의의 특정 실시예들로 제한하도록 의도되지 않는다. 대신에, 이들 실시예에 대하여 본 기술분야의 통상의 기술자에 의해서 이해될 수 있는 다양한 수정들이 이루어질 수 있다. 임의의 이러한 수정들은 본 개시 내용의 사상 및 범위 내에 포함되며 후속하는 청구항들에 의해 보호되도록 의도된다.

Claims (14)

  1. 시스템으로서,
    관심 대상의 오디오 및/또는 비디오를 기록하고 상기 관심 대상의 기록을 출력하도록 구성된 리코더;
    상기 리코더와 실질적으로 동일한 관점 및 동일한 시간에서 상기 관심 대상의 움직임 및/또는 진동을 측정하도록 구성되고 배열된, 상기 리코더와 연관된 비접촉 센서; 및
    상기 비접촉 센서에 의해 측정된 상기 관심 대상의 상기 측정된 움직임 및/또는 진동을 촉각 데이터 스트림으로 변환하도록 구성된 제어기 - 상기 촉각 데이터 스트림은 상기 리코더에 의한 상기 관심 대상의 기록과 함께 재생을 위해 햅틱 디스플레이 디바이스에 전송하고 상기 측정된 움직임 및/또는 진동에 대응하는 햅틱 효과들을 상기 기록과 동기화하여 상기 햅틱 디스플레이 디바이스의 사용자에게 제공하기 위한 것임 -
    을 포함하는 시스템.
  2. 제1항에 있어서, 상기 비접촉 센서는 레이저 진동계를 포함하는 시스템.
  3. 제1항에 있어서, 상기 비접촉 센서는 트래킹 디바이스를 포함하는 시스템.
  4. 제1항에 있어서, 상기 비접촉 센서는 비디오 스트림 분석 알고리즘들을 포함하는 시스템.
  5. 제1항에 있어서, 상기 리코더 및 상기 비접촉 센서는 함께 위치하는, 시스템.
  6. 제1항에 있어서, 상기 제어기에 의해 제어되고, 상기 비접촉 센서를 상기 리코더와 실질적으로 동일한 관점을 갖는 위치 및/또는 방향으로 이동시키도록 구성되고 배열된 제1 서보메커니즘을 더 포함하는 시스템.
  7. 제6항에 있어서, 상기 제어기에 의해 제어되고 상기 리코더를 이동시키도록 구성되고 배열된 제2 서보메커니즘을 더 포함하고, 상기 제1 서보메커니즘은 상기 비접촉 센서의 움직임이 상기 리코더의 움직임과 동기화되도록 상기 제2 서보 메카니즘과 동기화되는, 시스템.
  8. 제1항에 있어서, 상기 리코더에 의해 기록되고 있는 상기 대상과 접촉하고 상기 대상의 움직임 및/또는 진동을 감지하도록 구성되고 배열된 제2 센서를 더 포함하고, 상기 제어기는 또한 상기 비접촉 센서 및 상기 제2 센서로부터 수신된 데이터를 결합하고 상기 결합된 데이터를 상기 촉각 데이터 스트림으로 변환하도록 구성되는, 시스템.
  9. 제8항에 있어서, 상기 제어기는 상이한 샘플링 레이트 및/또는 감도를 갖는 센서 신호들을 혼합하고 상기 변환된 결합된 데이터를 출력하도록 구성되고 배열된 변환기를 포함하는 시스템.
  10. 방법으로서,
    관심 대상의 오디오 및/또는 비디오를 리코더를 이용하여 기록하는 단계;
    상기 리코더와 실질적으로 동일한 관점을 갖고 이와 연관되는 비접촉 센서를 이용하여 상기 관심 대상의 움직임 및/또는 진동을 측정하는 단계; 및
    제어기를 이용하여, 상기 측정된 움직임 및/또는 진동을 촉각 데이터 스트림으로 변환하는 단계 - 상기 촉각 데이터 스트림은 상기 관심 대상의 오디오 및/또는 비디오의 기록과 함께 재생을 위해 햅틱 디스플레이 디바이스에 전송하고 상기 측정된 움직임 및/또는 진동에 대응하는 햅틱 효과들을 상기 기록과 동기화하여 상기 햅틱 디스플레이 디바이스의 사용자에게 제공하기 위한 것임 -
    를 포함하는 방법.
  11. 제10항에 있어서, 상기 제어기에 의해 제어되는 제1 서보메커니즘을 이용하여, 상기 리코더가 이동하고 관점을 변경할 때 상기 리코더와 실질적으로 동일한 관점을 갖는 위치로 상기 비접촉 센서를 이동시키는 단계를 더 포함하는 방법.
  12. 제11항에 있어서, 상기 제어기에 의해 제어된 제2 서보메커니즘을 이용하여 상기 리코더를 이동시키는 단계를 더 포함하고, 상기 제1 서보메커니즘은 상기 비접촉 센서의 움직임이 상기 리코더의 움직임과 동기화되도록 상기 제2 서보메커니즘과 동기화되는, 방법.
  13. 제10항에 있어서,
    상기 관심 대상과 접촉하는 제2 센서를 이용하여 상기 관심 대상의 움직임 및/또는 진동을 감지하는 단계;
    상기 비접촉 센서 및 상기 제2 센서로부터 수신된 데이터를 결합하는 단계; 및
    상기 결합된 데이터를 상기 촉각 데이터 스트림으로 변환하는 단계
    를 더 포함하는 방법.
  14. 제13항에 있어서, 상이한 샘플링 레이트 및/또는 감도를 갖는 센서 신호들을 변환하고 상기 변환된 결합된 데이터를 출력하는 단계를 더 포함하는 방법.
KR1020150179750A 2014-12-19 2015-12-16 멀티미디어 데이터와 함께 사용하기 위한 햅틱 데이터를 기록하기 위한 시스템 및 방법 KR20160075341A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/576,589 US9812165B2 (en) 2014-12-19 2014-12-19 Systems and methods for recording haptic data for use with multi-media data
US14/576,589 2014-12-19

Publications (1)

Publication Number Publication Date
KR20160075341A true KR20160075341A (ko) 2016-06-29

Family

ID=55024811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150179750A KR20160075341A (ko) 2014-12-19 2015-12-16 멀티미디어 데이터와 함께 사용하기 위한 햅틱 데이터를 기록하기 위한 시스템 및 방법

Country Status (5)

Country Link
US (2) US9812165B2 (ko)
EP (2) EP3035161B1 (ko)
JP (1) JP6664071B2 (ko)
KR (1) KR20160075341A (ko)
CN (1) CN105721814B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879445B1 (ko) * 2016-11-03 2018-07-18 재단법인 실감교류인체감응솔루션연구단 데이터 유형별 패키지 처리를 위한 센싱 데이터 전송 장치 및 센싱 데이터 수신 장치
US11656683B2 (en) 2018-08-10 2023-05-23 Sony Corporation Signal generation device, signal generation method, and reproduction device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
US9972216B2 (en) * 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
JP6522454B2 (ja) * 2015-07-28 2019-05-29 ローム株式会社 センサ情報無線送信装置
ITUA20164783A1 (it) * 2016-06-30 2017-12-30 Lacs S R L Un sistema di controllo di simulazioni tattiche
CN106534142B (zh) * 2016-11-22 2018-04-20 包磊 多媒体数据的实时传输方法及装置
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
WO2019087504A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 振動発生装置、振動制御方法及びプログラム
CN111712778B (zh) * 2018-02-23 2023-08-29 索尼公司 信息处理装置、信息处理方法和计算机程序
CN108593087A (zh) * 2018-03-29 2018-09-28 湖南科技大学 一种薄壁件工作模态参数确定方法及系统
EP4022410A4 (en) * 2019-08-30 2023-09-27 Vrx Ventures Ltd. SYSTEMS AND METHODS FOR MAPPING PARAMETERS RELATING TO THE MOVEMENT OF MOVING OBJECTS AT A REMOTE
CN111525700B (zh) * 2020-05-23 2021-09-24 宁波市电力设计院有限公司 一种变电站远程可视化智能巡视系统
CN116506673B (zh) * 2023-06-30 2023-09-12 安格利(成都)仪器设备有限公司 一种音像记录与检测设备数据同步联动及声控检索方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111838A (ja) * 1994-10-07 1996-04-30 Hitachi Ltd 映像記録再生システム
JPH11282479A (ja) * 1998-03-27 1999-10-15 Daiichikosho Co Ltd 歌唱する姿をビデオカメラで撮影して記録する機能を付加したカラオケ装置
JP2002027453A (ja) * 2000-07-05 2002-01-25 Hitachi Ltd コンサート臨場感補助システム
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20050062841A1 (en) 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
JP4582329B2 (ja) * 2005-07-22 2010-11-17 日本電気株式会社 バーチャル映像用信号生成方法および送受信端末
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
CN104063056B (zh) 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
JP2007285898A (ja) * 2006-04-17 2007-11-01 Tokai Univ レーザ振動計
US8199009B2 (en) * 2007-06-08 2012-06-12 Bas Strategic Solutions, Inc. Method and system for administering remote area monitoring system
NO327577B1 (no) * 2007-07-31 2009-08-24 Kongsberg Defence & Aerospace Naerobservasjonssensor med folgestyring og malbestemmelse for vapenstasjon
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
WO2011011737A1 (en) 2009-07-24 2011-01-27 Digimarc Corporation Improved audio/video methods and systems
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US20120221148A1 (en) * 2011-02-28 2012-08-30 D-Box Technologies Inc. Real-time performance enabled by a motion platform
WO2013008869A1 (ja) * 2011-07-14 2013-01-17 株式会社ニコン 電子機器及びデータ生成方法
US8842969B2 (en) 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US9277204B2 (en) * 2013-01-23 2016-03-01 Advanced Scientific Concepts, Inc. Modular LADAR sensor
US9261960B2 (en) * 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879445B1 (ko) * 2016-11-03 2018-07-18 재단법인 실감교류인체감응솔루션연구단 데이터 유형별 패키지 처리를 위한 센싱 데이터 전송 장치 및 센싱 데이터 수신 장치
US11656683B2 (en) 2018-08-10 2023-05-23 Sony Corporation Signal generation device, signal generation method, and reproduction device

Also Published As

Publication number Publication date
JP2016119071A (ja) 2016-06-30
CN105721814A (zh) 2016-06-29
CN105721814B (zh) 2020-05-01
JP6664071B2 (ja) 2020-03-13
EP3035161A1 (en) 2016-06-22
EP3035161B1 (en) 2019-09-18
US9812165B2 (en) 2017-11-07
EP3575933A1 (en) 2019-12-04
US20180033459A1 (en) 2018-02-01
US10650859B2 (en) 2020-05-12
US20160180879A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US10650859B2 (en) Systems and methods for recording haptic data for use with multi-media data
US10593167B2 (en) Crowd-based haptics
JP6664137B2 (ja) 触感記録および再生
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US9484065B2 (en) Intelligent determination of replays based on event identification
JP2015041385A (ja) スポーツイベントのハプティック可能な閲覧
JP2020509492A (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US20120204202A1 (en) Presenting content and augmenting a broadcast
KR20160146551A (ko) 방송 햅틱 아키텍처
JP6323505B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP2015185167A (ja) 感覚データを触覚効果に変換するシステム及び方法
JP6843164B2 (ja) プログラム、方法、および情報処理装置
WO2012100114A2 (en) Multiple viewpoint electronic media system
US20190130644A1 (en) Provision of Virtual Reality Content