KR20150144704A - 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템 및 방법 - Google Patents

폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20150144704A
KR20150144704A KR1020150082617A KR20150082617A KR20150144704A KR 20150144704 A KR20150144704 A KR 20150144704A KR 1020150082617 A KR1020150082617 A KR 1020150082617A KR 20150082617 A KR20150082617 A KR 20150082617A KR 20150144704 A KR20150144704 A KR 20150144704A
Authority
KR
South Korea
Prior art keywords
haptic
audio
track
haptic effect
sensor
Prior art date
Application number
KR1020150082617A
Other languages
English (en)
Inventor
더그 빌링턴
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150144704A publication Critical patent/KR20150144704A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/0255—Display systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Business, Economics & Management (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

본 명세서에 개시된 하나의 예시적인 시스템은 오디오 입력을 검출하고 오디오 입력과 연관된 오디오 신호를 전송하도록 구성된 오디오 입력 디바이스를 포함한다. 예시적인 시스템은 센서를 포함하는 햅틱 트리거 디바이스를 더 포함하며, 센서는 이벤트와 연관된 센서 신호를 전송하도록 구성된다. 더욱이, 예시적인 시스템은 오디오 입력 디바이스 및 햅틱 트리거 디바이스와 통신하는 프로세서를 포함하며, 프로세서는, 오디오 신호를 수신하고; 오디오 신호를 수신하는 것과 실질적으로 동시에 센서 신호를 수신하고; 오디오 신호를 오디오 트랙에 기록하고; 센서 신호에 부분적으로 기초하여 햅틱 효과 마커를 햅틱 트랙에 삽입하도록 구성되며, 햅틱 트랙 및 오디오 트랙은 비디오와 연관된다.

Description

폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR FOLEY-STYLE HAPTIC CONTENT CREATION}
본 발명은 비디오들을 위한 햅틱 콘텐츠를 생성하는 것과 관련된다. 더욱 특히, 본 발명은 비디오들을 위한 햅틱 콘텐츠의 폴리-스타일 생성(Foley-style creation)과 관련된다.
기술적 진보로 인해, 비디오 제작(예를 들어, 필름, 영화 및 광고의 제작)은 점점 중요하게 되었다. 비디오 제작은 비디오 촬영으로 시작된다. 비디오는 그 후 후반 제작 단계(post-production stage)에 들어간다. 후반 제작은 햅틱 트랙을 비디오에 추가하는 것을 포함할 수 있다. 햅틱 트랙들은 햅틱 효과들(예를 들어, 기계적 진동들)을 비디오에서 발생하는 이벤트들(예를 들어, 폭발들)과 연관시킬 수 있다. 따라서, 시청자가 비디오를 시청할 때, 시청자는 연관된 햅틱 효과들을 인지할 수 있다. 그러나, 햅틱 트랙을 생성하는 것은 시간 소모적이며 지루할 수 있다. 이에 따라, 비디오에 햅틱 트랙을 추가하기 위한 프로세스를 단순화할 필요가 있다.
본 개시 내용의 실시예들은 폴리-스타일 햅틱 콘텐츠 생성을 위해 구성된 컴퓨팅 디바이스들을 포함한다. 일 실시예에서, 본 개시 내용의 시스템은 오디오 입력을 검출하고 오디오 입력과 연관된 오디오 신호를 전송하도록 구성된 오디오 입력 디바이스를 포함할 수 있다. 시스템은 센서를 포함하는 햅틱 트리거 디바이스를 더 포함할 수 있으며, 센서는 이벤트와 연관된 센서 신호를 전송하도록 구성된다. 시스템은 오디오 입력 디바이스 및 햅틱 트리거 디바이스와 통신하는 프로세서를 더 포함할 수 있고, 프로세서는 오디오 신호를 수신하고; 오디오 신호를 수신하는 것과 실질적으로 동시에 센서 신호를 수신하며; 오디오 신호를 오디오 트랙에 기록하고; 센서 신호에 부분적으로 기초하여 햅틱 효과 마커(haptic effect marker)를 햅틱 트랙에 삽입하도록 구성되며, 햅틱 트랙 및 오디오 트랙은 비디오와 연관된다.
다른 실시예에서, 본 개시 내용의 방법은, 오디오 입력 디바이스로부터 오디오 신호를 수신하는 단계; 및 오디오 신호를 수신하는 것과 실질적으로 동시에 햅틱 트리거 디바이스로부터 센서 신호를 수신하는 단계를 포함할 수 있다. 방법은 오디오 트랙에 오디오 신호를 기록하는 단계, 및 센서 신호에 부분적으로 기초하여 햅틱 효과 마커를 햅틱 트랙에 삽입하는 단계를 더 포함하며, 햅틱 트랙 및 오디오 트랙은 비디오와 연관된다. 또 다른 실시예는 이런 방법을 구현하기 위한 컴퓨터 판독 가능 매체를 포함한다.
이들 예시적인 실시예는 본 발명 내용의 범위를 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명의 이해를 돕기 위한 예를 제공하기 위해 언급된다. 예시적인 실시예는 상세한 설명에서 논의되며, 추가 설명이 거기에서 제공된다. 다양한 실시예에 의해 제공되는 장점이 본 명세서를 살펴보고/보거나 청구된 발명 내용의 하나 이상의 실시예를 실시함으로써 더 이해될 수 있다.
충분하고 실시 가능한 개시 내용이 명세서의 나머지 부분에 더 구체적으로 기술되어 있다. 명세서에서는 이하의 첨부 도면을 참고한다.
도 1은 일 실시예에 따른 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템을 도시하는 블록도이다;
도 2은 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템의 일 실시예를 도시한다;
도 3은 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템의 다른 실시예를 도시한다;
도 4은 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템의 또 다른 실시예를 도시한다;
도 5은 일 실시예에 따른 폴리-스타일 햅틱 콘텐츠 생성을 위한 방법을 수행하는 단계들의 흐름도이다.
지금부터, 다양한 대안의 예시적인 실시예들 및 첨부 도면들에 대한 참고가 상세하게 이루어질 것이다. 각각의 예는 제한이 아니라 설명으로서 제공된다. 통상의 기술자에게는 수정들 및 변형들이 이루어질 수 있음이 자명할 것이다. 예를 들어, 일 실시예의 일부로서 설명 또는 기술되는 특징(feature)들이 다른 실시예에서, 사용되어 또 다른 실시예를 만들어 낼 수 있다. 따라서, 본 개시 내용은 첨부된 청구항들 및 그의 등가물들의 범위 내에 있는 수정들 및 변형들을 포함하는 것으로 의도된다.
폴리 -스타일 햅틱 콘텐츠 생성의 예시적인 예들
본 개시 내용의 하나의 예시적인 실시예는 데스크톱 시스템과 같은 컴퓨팅 디바이스를 포함한다. 컴퓨팅 디바이스는 디스플레이, 메모리, 오디오 입력 디바이스(예를 들어, 마이크로폰), 및 이들 요소 각각과 통신하는 프로세서를 포함한다.
컴퓨팅 디바이스는 비디오를 위한 오디오 트랙 및 햅틱 트랙을 실질적으로 동시에 생성하도록 구성된다. 오디오 트랙을 생성하기 위해, 컴퓨팅 디바이스는 폴리 효과를 기록하도록 구성된다. 폴리 효과는 비디오를 촬영하는 동안 기록된 음향을 대체하거나 향상시키는데 사용되는 음향 효과이다. 폴리 아티스트(foley artist)는 다양한 소도구(예를 들어, 옷감, 젤라틴, 가죽, 금속 봉들, 및 캔들) 또는 디지털 효과를 이용하여 음향 효과들을 생성할 수 있다. 폴리 아티스트는 비디오를 보고 비디오를 위한 필요한 음향 효과 모두를 동시에 수동으로 생성하여, 음향 효과를 비디오 콘텐츠에 동기화할 수 있다. 예를 들어, 폴리 아티스트는 컴퓨팅 디바이스의 디스플레이상에서 비디오를 볼 수 있고, 사람이 주먹을 날리는 비디오의 한 지점에서 폴리 아티스트는 전화번호부를 표면에 칠 수 있다. 컴퓨팅 디바이스는 비디오와 연관된 오디오 트랙에 (예를 들어, 오디오 입력 디바이스를 통해) 음향 효과를 기록할 수 있다. 폴리 아티스트는 이런 프로세스, 생성 및 기록 프로세스와, 비디오를 위한 모든 필요한 음향 효과를 반복할 수 있다.
햅틱 트랙을 생성하기 위해, 컴퓨팅 디바이스는 햅틱 트리거 디바이스와 통신한다. 예시적인 실시예에서, 햅틱 트리거 디바이스는 컴퓨팅 디바이스 외부에 있으며, 소도구(예를 들어, 코코넛)와 연결되고, 폴리 아티스트는 이 소도구를 음향 효과(예를 들어, 말 달리는 소리)를 생성하는데 사용할 수 있다.
예시적인 실시예에서, 햅틱 트리거 디바이스는 이벤트의 발생을 검출하기 위한 센서(예를 들어, 압전 센서)를 포함한다. 본 명세서에서 사용되는 이벤트는 연관된 햅틱 효과를 잠재적으로 포함할 수 있는 햅틱 트리거 디바이스의 동작 동안 일어나는 임의의 상호 작용, 액션, 충돌, 또는 기타 이벤트이다. 센서는 센서 신호를 컴퓨팅 디바이스에 전송하도록 구성된다. 예를 들어, 예시적인 실시예에서, 폴리 아티스트가 음향 효과를 생성하기 위해 소도구를 조작(예를 들어, 이동, 틸트 또는 접촉)하는 경우, 센서는 조작을 검출하고 조작과 연관된 센서 신호를 컴퓨팅 디바이스에 전송할 수 있다. 예를 들어, 폴리 아티스트가 음향 효과를 생성하기 위해 코코넛을 다른 코코넛에 대고 치면, 센서는 코코넛들의 충돌로부터 진동들을 검출하고 센서 신호를 컴퓨팅 디바이스로 전송할 수 있다.
예시적인 실시예에서, 센서 신호에 응답하여, 컴퓨팅 디바이스는 햅틱 효과 마커를 생성하고, 햅틱 효과 마커를 햅틱 트랙에 디지털 방식으로 삽입한다. 햅틱 효과 마커는 타임 스탬프 데이터(time stamp data) 및/또는 프레임 스탬프 데이터(frame stamp data)를 포함한다. 타임 스탬프 데이터 또는 프레임 스탬프 데이터는 비디오 내의 시간 또는 프레임(들) 중 이벤트가 검출된 시간 또는 프레임(들) 각각과 연관될 수 있다. 일부 실시예에서, 햅틱 효과 마커는 타임 스탬프 및/또는 프레임 스탬프 데이터와 연관된 햅틱 효과 데이터를 더 포함할 수 있다. 햅틱 효과 데이터는 컴퓨팅 디바이스가 햅틱 트랙의 재생시에 연관된 햅틱 효과를 출력하게 하도록 구성된다. 따라서, 폴리 아티스트는 비디오를 위한 오디오 트랙 및 햅틱 트랙을 실질적으로 동시에 생성할 수 있다. 일부 실시예에서, 이는 비디오를 제작하는데 걸리는 전체 시간량을 줄일 수 있다.
예시적인 실시예에서, 햅틱 트랙은 비디오 파일에 통합되거나 또는 개별 햅틱 파일(예를 들어, .hapt 파일)로서 저장될 수 있다. 사용자는 파일(들)을 (예를 들어, 비디오 플레이어를 통해) 재생시키고 비디오와 동기화된 햅틱 효과들을 경험할 수 있다.
전술한 예시적인 실시예의 설명은 단지 일례로서 제공되어 있다. 본 발명의 다양한 다른 실시예들이 본 명세서에 설명되어 있고, 이러한 실시예들의 변형들은 통상의 기술자에 의해 이해될 것이다. 다양한 실시예들에 의해 제공되는 장점들은 또한 본 명세서를 살펴보고/보거나 청구된 발명 내용의 하나 이상의 실시예를 실시함으로써 이해될 수 있다.
폴리 -스타일 햅틱 콘텐츠 생성을 위한 예시적인 시스템들
도 1은 일 실시예에 따른 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템(100)을 도시한 블록도이다. 도시된 실시예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 통신하는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. 컴퓨팅 디바이스(101)는 예를 들어, 스마트폰, 태블릿, 랩톱 컴퓨터, 또는 테스크톱 컴퓨터를 포함할 수 있다. 본 예에서, 컴퓨팅 디바이스(101)는 랩톱 컴퓨터를 포함한다.
RAM, ROM, EEPROM 등과 같은 임의의 적합한 유형의(tangible)(그리고, 비일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 디바이스(101)의 동작을 구성하는 프로그램 컴포넌트들을 구현한다. 도시된 실시예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입/출력(I/O) 인터페이스 컴포넌트들(112) 및 스토리지(114)를 더 포함한다.
네트워크 디바이스(110)는 네트워크 연결을 촉진하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예로는, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스(wired interface), 및/또는 IEEE 802.11, 블루투스 또는 셀룰러 전화 네트워크에 액세스하기 위한 라디오 인터페이스(radio interfaces)(예를 들어, CDMA, GSM, UMTS 또는 다른 이동 통신 네트워크에 액세스하기 위한 송수신기/안테나)와 같은 무선 인터페이스(wireless interface)가 포함되지만, 이들로 제한되지는 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이(132)(예를 들어, 컴퓨터 모니터, LED 디스플레이, 헤드 마운티드 디스플레이, 또는 3D 고글), 게임 컨트롤러, 키보드, 마우스, 조이스틱, 카메라, 버튼, 스피커, 마이크로폰, 및/또는 데이터를 입력하거나 데이터를 출력하는데 사용되는 다른 하드웨어와 같은 디바이스들에 유선 또는 무선 연결을 촉진하는데 사용될 수 있다. 스토리지(114)는 디바이스(101)에 포함되어 있거나 프로세서(102)에 연결되는 자기, 광학 또는 다른 저장 매체와 같은 비휘발성 스토리지를 나타낸다.
오디오 입력 디바이스(122)는 음향 효과와 연관된 오디오 입력을 수신하도록 구성된다. 오디오 입력은 아날로그 신호(예를 들어, 사운드) 또는 디지털 신호(예를 들어, 키보드, 믹싱 보드, CD 플레이어 또는 MP3 플레이어로부터)를 포함할 수 있다. 오디오 입력 디바이스(122)는 오디오 입력과 연관된 오디오 신호를 프로세서(102)에 전송한다. 일부 실시예에서, 오디오 입력 디바이스(122)는 마이크로폰을 포함할 수 있다. 마이크로폰은, 예를 들어 커패시터, 인덕터, 공진 회로, 진공관, 트랜지스터, 증폭기, 금속 리본, 탄소 입자, 압전 변환기, 광섬유, 레이저, 마이크로 전자 기계적 시스템(MEMS: MicroElectrical-Mechanical System), 또는 액체를 포함할 수 있다.
또한, 시스템(100)은 햅틱 트리거 디바이스(120)를 포함한다. 햅틱 트리거 디바이스(120)가 도 1에서 컴퓨팅 디바이스(101) 외부에서 이와 통신하는 것으로 도시되어 있지만, 일부 실시예에서, 햅틱 트리거 디바이스(120)는 컴퓨팅 디바이스(101) 내부에 있을 수 있다. 본 예에서, 햅틱 트리거 디바이스(120)는 컴퓨팅 디바이스(101)와 통신하기 위한 네트워크 디바이스(116)를 포함한다. 네트워크 디바이스(116)는 컴퓨팅 디바이스(101)에서 네트워크 디바이스(110)와 실질적으로 동일하게 구성될 수 있다. 즉, 네트워크 디바이스(116)는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스, 및/또는 IEEE1 802.11, 블루투스 또는 라디오 인터페이스들과 같은 무선 인터페이스를 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(101)는 단일 햅틱 트리거 디바이스(120)와 통신할 수 있고, 다른 실시예에서, 컴퓨팅 디바이스(101)는 복수의 햅틱 트리거 디바이스(120)와 통신할 수 있다.
햅틱 트리거 디바이스(120)는 하나 이상의 센서(118)를 포함한다. 센서(118)는 센서 신호를 프로세서(102)에 전송하도록 구성된다. 일부 실시예에서, 센서(118)는, 예를 들어 자이로스코프, 가속도계, 깊이 센서, 카메라, 광트랜지스터, 스위치, 버튼, 마이크로폰, 또는 압전 변환기를 포함할 수 있다. 일부 이런 실시예에서, 햅틱 트리거 디바이스(120)는 복수의 센서(118)를 포함할 수 있다. 예를 들어, 일 실시예에서, 햅틱 트리거 디바이스(120)는 마이크로폰 및 깊이 센서를 포함할 수 있다. 다른 실시예들에서, 햅틱 트리거 디바이스(120)는 햅틱 효과를 결정하고 햅틱 효과를 컴퓨팅 디바이스(101)에 전송하기 위한 개별 프로세서를 포함할 수 있다.
메모리(104)를 참고하면, 프로그램 컴포넌트들(124 및 126)은 폴리-스타일 햅틱 콘텐츠 생성을 위한 일부 실시예에서 디바이스가 구성될 수 있는 방법을 보여주기 위해 도시된다. 본 예에서, 검출 모듈(124)은 센서(118) 및/또는 오디오 입력 디바이스(122)를 모니터링하기 위해 프로세서(102)를 구성한다. 예를 들어, 검출 모듈(124)은 센서 신호의 존재, 부재 또는 크기를 결정하고, 센서 신호가 존재하는 경우, 시간에 따른 센서 신호의 특성들(예를 들어, 주파수, 크기, 지속시간, 또는 파형)를 트래킹하기 위해 센서(118)를 샘플링할 수 있다. 다른 예로서, 검출 모듈(124)은 오디오 신호의 존재, 부재 또는 크기를 결정하고, 오디오 신호가 존재하는 경우, 시간에 따른 오디오 신호의 특성들(예를 들어, 주파수, 크기, 지속시간, 또는 파형)를 트래킹하기 위해 오디오 입력 디바이스(122)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은 센서 신호 및/또는 오디오 신호에 응답하여 햅틱 효과를 결정하기 위해 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 특히, 햅틱 효과 결정 모듈(126)은 센서(118)로부터의 신호 및/또는 오디오 입력 디바이스(122)로부터의 오디오 신호를 기초로 하여, 햅틱 효과를 결정하는 코드, 및 햅틱 효과 마커와 연관시킬 햅틱 효과와 연관된 햅틱 효과 데이터를 선택하는 코드를 포함할 수 있다. 예를 들어, 일부 실시예에서, 햅틱 효과 결정 모듈(126)은 센서 신호 또는 오디오 신호의 크기, 주파수 및/또는 다른 특성을 기초로 하여 햅틱 효과를 결정할 수 있다. 예를 들어, 햅틱 효과 결정 모듈(126)은 센서 신호의 크기가 크면 강한 진동을 포함하는 햅틱 효과를 결정할 수 있다.
더욱이, 일부 실시예에서, 햅틱 효과 결정 모듈(126)은 사용자 입력에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 햅틱 효과 결정 모듈(126)은 버튼 누름에 기초하여 햅틱 효과를 결정할 수 있다. 다른 예로서, 햅틱 효과 결정 모듈(126)은, 예를 들어 햅틱 효과 라이브러리 또는 리스트로부터의 사용자 선택에 기초하여 햅틱 효과를 결정할 수 있다. 다른 실시예에서, 햅틱 효과는 사용자 입력과 결합한 오디오 또는 비디오 신호에 적어도 부분적으로 기초하여 결정될 수 있다.
도 2는 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템의 실시예를 도시한다. 본 예에서, 시스템(200)은 컴퓨팅 디바이스(202)를 포함한다. 컴퓨팅 디바이스(202)는 디스플레이(208)를 포함한다. 사용자는 (예를 들어, 폴리 효과 제작을 위해) 디스플레이(208)를 통해 비디오를 볼 수 있다. 본 예에서, 디스플레이(208)는 야구공이 유리창을 깨고 있는 비디오 장면을 출력하고 있다.
컴퓨팅 디바이스(202)는 오디오 입력을 수신하기 위한 오디오 입력 디바이스(210)(예를 들어, 마이크로폰)와 통신한다. 오디오 입력 디바이스(210)는 오디오 입력과 연관된 오디오 신호를 컴퓨팅 디바이스(202)에 전송할 수 있다. 본 예에서, 컴퓨팅 디바이스(202)는 또한 추가 오디오 장비(204)(예를 들어, 믹싱 보드) 및 컨트롤들(206)과 통신하고, 사용자(예를 들어, 폴리 아티스트)는 이들을 비디오 후반 제작을 위해 사용할 수 있다. 그러나, 다른 실시예는 컨트롤들(206) 및/또는 추가 오디오 장비(204)를 포함하지 않을 수 있다.
시스템(200)은 소도구(214)를 더 포함한다. 본 예에서, 소도구(214)는 볼링공을 포함한다. 사용자는 음향 효과를 생성하기 위해 소도구(214)를 조작(예를 들어, 이동, 떨어뜨림 또는 회전)할 수 있다. 예를 들어, 사용자는 음향 효과(예를 들어, 유리 깨지는 소리)를 만들기 위해 표면(216)(예를 들어, 한 장의 유리)상에 소도구(214)를 떨어뜨릴 수 있다. 컴퓨팅 디바이스(202)는 음향 효과와 연관된 데이터를 (예를 들어, 오디오 입력 디바이스(210)를 통해) 수신하고, 데이터를 오디오 트랙에 삽입할 수 있다. 데이터는 디스플레이(408)상의 비디오 출력의 하나 이상의 프레임과 동기화될 수 있다.
도 2에 도시된 실시예에서, 햅틱 트리거 디바이스(212)가 소도구(214)에 연결된다. 또한, 본 예에서, 햅틱 트리거 디바이스(212)는 컴퓨팅 디바이스(202)와 무선 통신한다. 햅틱 트리거 디바이스(212)는 센서, 예를 들어 가속도계 또는 자이로스코프를 포함한다. 센서는 이벤트의 발생을 검출하고 센서 신호를 컴퓨팅 디바이스(202)에 전송하도록 구성될 수 있다. 예를 들어, 센서는 사용자에 의한 소도구(214)의 조작을 검출하고 센서 신호를 컴퓨팅 디바이스(202)에 전송할 수 있다.
컴퓨팅 디바이스(202)는 센서 신호를 수신하도록 구성된다. 일부 실시예에서, 센서 신호 및/또는 오디오 신호의 존재 또는 특성들에 기초하여, 컴퓨팅 디바이스(202)는 햅틱 마커를 햅틱 트랙에 삽입할지 결정할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(202)는 센서 신호 및/또는 오디오 신호의 지속 시간이 시간 임계량(예를 들어, 0.5초)을 초과하는 경우에만 햅틱 마커를 햅틱 트랙에 삽입할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(202)는 센서 신호의 지향성에서의 변화(예를 들어, 소도구(214)가 회전되는 경우) 또는 센서 신호의 크기에서의 변화(예를 들어, 소도구(214)가 표면(216)과 접촉시 움직이는 것을 멈추는 경우)에 기초하여 햅틱 마커를 삽입할 수 있다. 또 다른 실시예에서, 컴퓨팅 디바이스(202)는 센서 신호의 주파수에서의 변화에 기초하여(예를 들어, 소도구(214)가 표면(216)과 접촉시 소도구(214)에서 진동의 특성에 기초하여) 햅틱 마커를 삽입할 수 있다. 햅틱 효과 마커는 비디오에서 재생하는 프레임(들) 중 이벤트가 발생한 프레임(들)과 동기화될 수 있다.
일부 실시예에서, 햅틱 효과 마커는 햅틱 효과와 연관된 햅틱 효과 데이터를 포함할 수 있다. 햅틱 효과 데이터는 컴퓨팅 디바이스(202)가 연관된 햅틱 효과를 출력하게 하도록 구성된다. 일부 실시예에서, 햅틱 효과 데이터는 햅틱 효과를 생성하도록 구성된 햅틱 신호의 하나 이상의 특성(예를 들어, 햅틱 신호의 주파수, 크기, 지속 시간, 또는 파형)을 포함할 수 있다. 다른 실시예에서, 햅틱 효과 데이터는, 커맨드, 햅틱 효과의 명칭, 예를 들어 "강렬한 진동", 또는 햅틱 효과를 출력하기 위해 컴퓨팅 디바이스(202)에 의해 해석될 수 있는 다른 데이터를 포함할 수 있다. 또 다른 실시예들에서, 햅틱 효과 데이터는 햅틱 효과를 생성하기 위해, 알고리즘, 또는 알고리즘을 해결하기 위해 사용 가능한 데이터를 포함할 수 있다.
상기한 바와 같이, 햅틱 효과 데이터는 햅틱 효과와 연관된다. 컴퓨팅 디바이스(202)는 햅틱 효과를 결정할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(202)는 센서 신호의 특성들에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 도 2에 도시된 실시예에서, 사용자는 유리 깨지는 소리를 포함하는 음향 효과를 생성하기 위해 한 장의 유리에 볼링공을 떨어뜨릴 수 있다. 햅틱 트리거 디바이스(212)는 볼링공의 움직임 또는 회전을 검출하고 센서 신호를 컴퓨팅 디바이스(202)에 전송할 수 있다. 예를 들어, 센서 신호의 파형, 크기, 주파수, 또는 지속시간에 기초하여, 컴퓨팅 디바이스(202)는 하나 이상의 햅틱 효과(예를 들어, 진동, 표면 변형, 시뮬레이트된 텍스처 또는 마찰 계수의 인지된 변화)를 결정할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(202)는 센서 신호의 크기에 비례하는 크기를 갖는 진동을 포함하는 햅틱 효과를 결정할 수 있다. 컴퓨팅 디바이스는 결정된 햅틱 효과와 연관된 데이터를 햅틱 효과 마커에 삽입할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(202)는 사용자 입력에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예들에서 음향 효과를 생성하기 위해 소도구(214)를 조작하기 전에, 사용자는 예를 들어 햅틱 효과 리스트 또는 라이브러리로부터 원하는 햅틱 효과를 선택할 수 있다. 예를 들어, 일 실시예에서, 사용자는 강렬한 진동, 약한 진동, 마찰 계수의 인지된 증가, 마찰 계수의 인지된 감소, 또는 고무, 매끄러운, 울퉁불퉁한 텍스처를 포함하는 리스트로부터 햅틱 효과를 선택할 수 있다. 컴퓨팅 디바이스(202)가 센서 신호를 검출할 때, 컴퓨팅 디바이스(202)는 선택된 햅틱 효과를 포함하는 햅틱 효과를 결정할 수 있다. 컴퓨팅 디바이스는 결정된 햅틱 효과를 생성하기 위한 햅틱 효과 데이터를 햅틱 효과 마커와 연관시킬 수 있다.
일부 실시예에서, 햅틱 효과 데이터는 햅틱 효과 마커가 햅틱 트랙에 삽입된 후(예를 들어, 폴리 프로세스의 완료시) 햅틱 효과 마커와 연관될 수 있다. 일부 실시예에서, 사용자는 햅틱 효과 데이터를 햅틱 마커와 연관시킬 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(202)는, 사용자에 의한 어떤 액션시에, 예를 들어, 사용자가 햅틱 효과 리스트 또는 라이브러리로부터 원하는 햅틱 효과를 선택할 때, 햅틱 효과 데이터를 햅틱 마커와 연관시킬 수 있다. 일부 실시예에서, 사용자는 원하는 햅틱 효과의 특성들(예를 들어, 더 긴 지속시간, 더 짧은 지속시간, 더 큰 강도 또는 더 낮은 강도)을 맞춤화하고, 햅틱 효과를 생성하기 위한 햅틱 효과 데이터를 햅틱 효과 마커와 연관시킬 수 있다.
일부 실시예에서, 사용자는, 예를 들어, 인터넷으로부터 하나 이상의 햅틱 효과와 연관된 데이터를 다운로드할 수 있다. 이런 일부 실시예에서, 컴퓨팅 디바이스(202) 및/또는 사용자는 다운로드된 데이터를 햅틱 효과 마커와 연관시킬 수 있다. 예를 들어, 음향 효과를 생성하기 위해 소도구(214)를 조작하기 전, 사용자는 다운로드된 햅틱 효과를, 예를 들어, 햅틱 효과 리스트로부터 선택할 수 있다. 사용자가 소도구(214)를 조작할 때, 컴퓨팅 디바이스(202)는 다운로드된 데이터와 연관된 햅틱 효과 데이터를 포함하는 햅틱 효과 마커를 생성할 수 있다. 컴퓨팅 디바이스(202)는 그 후 햅틱 효과 마커를 햅틱 트랙에 삽입할 수 있다.
일부 실시예에서, 햅틱 트리거 디바이스(212)는 오디오 입력 디바이스(210)를 포함할 수 있다. 즉, 시스템(200)은 오디오 입력 디바이스(210)에서 분리된 햅틱 트리거 디바이스(212)를 포함하지 않을 수 있다. 오히려, 오디오 입력 디바이스(210)는 햅틱 트리거 디바이스(212)로서 역할을 할 수 있다. 이런 실시예에서, 컴퓨팅 디바이스(202)는 전술한 방법들 중 임의의 방법을 이용하여 오디오 신호에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(202)는 오디오 입력 디바이스(210)로부터의 오디오 신호의 특성들(예를 들어, 크기, 주파수, 지속시간, 또는 파형)에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 사용자가 소도구(214)를 표면(216)에 떨어뜨릴 때, 오디오 입력 디바이스(210)는 충돌과 연관된 오디오 신호를 컴퓨팅 디바이스(202)에 전송할 수 있다. 컴퓨팅 디바이스(202)는 오디오 신호의 파형에 기초하여 햅틱 효과를 결정할 수 있다. 또한, 컴퓨팅 디바이스(202)는 결정된 햅틱 효과와 연관된 데이터를 햅틱 트랙에 삽입할 수 있다. 따라서, 일부 실시예에서, 오디오 신호는 오디오 트랙을 위한 음향 효과를 기록하는 것과 햅틱 트랙을 위한 햅틱 효과 마커를 생성하는 것 모두를 위해 사용될 수 있다.
도 3은 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템의 다른 실시예를 도시한다. 본 예에서, 시스템(300)은 컴퓨팅 디바이스(302)를 포함한다. 컴퓨팅 디바이스(302)는 디스플레이(308)를 포함한다. 도시된 예에서, 디스플레이(308)는 검을 휘두르고 있는 비디오 장면을 출력하고 있다.
시스템(300)은 소도구(314)를 더 포함한다. 본 예에서, 소도구(314)는 보트 노를 포함한다. 사용자는 음향 효과를 생성하기 위해 소도구(314)를 조작할 수 있다. 예를 들어, 사용자는 음향 효과(예를 들어, 휘두르고 있는 검의 휙하는 소리)를 만들기 위해 소도구(314)를 휘두를 수 있다. 컴퓨팅 디바이스(302)는 음향 효과와 연관된 데이터를 (예를 들어, 오디오 입력 디바이스(310)을 통해) 수신하고, 데이터를 오디오 트랙에 삽입할 수 있고, 오디오 트랙은 비디오와 동기화될 수 있다.
도 3에 도시된 실시예에서, 햅틱 트리거 디바이스(312)는 소도구(314)로부터 멀리 떨어져 있다. 더욱이, 본 예에서 햅틱 트리거 디바이스(312)는 컴퓨팅 디바이스(302)와 유선 통신한다. 일부 실시예에서, 햅틱 트리거 디바이스(312)는 카메라를 포함할 수 있다. 카메라는 이벤트의 발생(예를 들어, 사용자가 카메라 앞에서 소도구(314)를 조작하는 것)을 검출할 수 있다. 다른 실시예에서, 햅틱 트리거 디바이스(312)는 광트랜지스터를 포함할 수 있다. 광트랜지스터는 이벤트의 발생(예를 들어, 사용자가 적외선 광 빔을 통해 소도구(314)를 휘두르는 것)을 검출할 수 있다. 이벤트 발생시, 센서는 센서 신호를 컴퓨팅 디바이스(302)에 전송할 수 있다.
컴퓨팅 디바이스(302)는 센서 신호를 수신하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스(302)는 햅틱 마커를 비디오와 연관된 햅틱 트랙에 삽입할 수 있다. 햅틱 효과 마커는 햅틱 효과와 연관된 햅틱 효과 데이터를 포함할 수 있다. 컴퓨팅 디바이스(302)는 도 2에 관해 설명된 방법들 중 하나 이상을 기초로 하여 햅틱 효과를 결정할 수 있다.
사용자는, 예를 들어, 햅틱 트랙과 비디오 사이에 적절한 동기화를 보장하기 위해 (예를 들어, 비디오를 시청하면서) 햅틱 트랙을 재생하길 원할 수 있다. 따라서, 일부 실시예에서, 컴퓨팅 디바이스(302)는 햅틱 출력 디바이스를 포함할 수 있다. 햅틱 출력 디바이스는 컴퓨팅 디바이스(302)로부터 멀리 떨어져 있으나, 컴퓨팅 디바이스(302)에 통신 가능하게 연결될 수 있다. 예컨대, 햅틱 출력 디바이스는 컴퓨팅 디바이스(302) 외부에 있을 수 있고, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스, 및/또는 IEEE 802.11, 블루투스, 또는 라디오 인터페이스와 같은 무선 인터페이스를 통해 컴퓨팅 디바이스(302)와 통신할 수 있다. 일부 실시예에서, 햅틱 출력 디바이스는 컴퓨팅 디바이스(302)로부터 멀리 떨어져 있을 수 있는 웨어러블 디바이스(예를 들어, 링, 재킷, 슬리브, 시계, 손목 밴드, 팔찌, 또는 의류)에 결합될 수 있다.
햅틱 출력 디바이스는 햅틱 신호에 응답하여 (예를 들어, 용량성 결합 또는 초음파 액추에이터를 통해), 예를 들어, 진동, 시뮬레이트된 텍스처, 표면 변형, 또는 인지된 마찰 계수의 변화를 포함하는 햅틱 효과를 출력하도록 구성된 디바이스를 포함할 수 있다. 햅틱 신호는 햅틱 트랙으로부터의 햅틱 효과 데이터를 기초로 하여 생성될 수 있다. 일부 실시예에서, 햅틱 출력 디바이스는, 예를 들어 압전 액추에이터, 전기 모터, 전기-자기 액추에이터, 음성 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM; eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA; linear resonant actuator) 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(302)는 복수의 햅틱 출력 디바이스를 포함할 수 있으며, 일부 햅틱 효과는 순차적으로 및/또는 일제히 다수의 액추에이터 및/또는 햅틱 출력 디바이스를 사용할 수 있다. 상술한 기법들 이외에 다른 기법 또는 방법들이 햅틱 효과들을 출력하는데 사용될 수 있다.
도 4는 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템의 또 다른 실시예를 도시한다. 본 예에서, 시스템(400)은 컴퓨팅 디바이스(402)를 포함한다. 컴퓨팅 디바이스(402)는 디스플레이(408)를 포함한다. 도시된 예에서, 디스플레이(408)는 해머가 나무 조각을 때리고 있는(예를 들어, 못을 나무에 박기 위해) 비디오 장면을 출력하고 있다.
시스템(400)은 소도구(414)(예를 들어, 야구 방망이)를 더 포함한다. 사용자는 음향 효과를 생성하기 위해 소도구(414)를 조작할 수 있다. 예를 들어, 사용자는 음향 효과(예를 들어, 나무를 때리는 해머의 소리)를 만들기 위해 소도구(414)를 다른 표면(416)(예를 들어, 테이블, 바닥 또는 벽)에 대고 칠 수 있다. 컴퓨팅 디바이스(402)는 음향 효과와 연관된 데이터를 (예를 들어, 오디오 입력 디바이스(410)를 통해) 수신할 수 있고, 일부 실시예에서, 데이터를 직접 비디오 파일에 삽입할 수 있다.
도 4에 도시된 실시예에서, 햅틱 트리거 디바이스(412)는 소도구(414)로부터 멀리 떨어져 있다. 더욱이, 본 예에서 햅틱 트리거 디바이스(412)는 컴퓨팅 디바이스(402)와 무선 통신한다. 일부 실시예에서, 햅틱 트리거 디바이스(412)는 압력, 변형 또는 힘 센서를 포함할 수 있다. 압력, 변형 또는 힘 센서는 이벤트의 발생, 예를 들어 사용자가 표면(416)에 소도구(414)를 부딪치는 경우를 검출할 수 있다. 일부 실시예에서, 햅틱 트리거 디바이스(412)는 스위치 또는 버튼을 포함할 수 있다. 이런 일부 실시예에서, 이벤트의 발생시 스위치가 개방 또는 폐쇄되거나, 또는 버튼이 눌러질 수 있다. 예를 들어, 사용자가 햅틱 트리거 디바이스(412)를 소도구(414)로 때리는 경우 스위치가 닫히거나 버튼이 눌러질 수 있다. 이벤트 발생시, 센서는 센서 신호를 컴퓨팅 디바이스(402)에 전송할 수 있다.
일부 실시예에서, 시스템(400)은 복수의 햅틱 트리거 디바이스(412)를 포함할 수 있다. 예를 들어, 일 실시예에서, 시스템(400)은 소도구(414)에 결합된 제1 햅틱 트리거 디바이스(412), 표면(416)에 결합된 제2 햅틱 트리거 디바이스(412), 및 제3 햅틱 트리거 디바이스(412)(예를 들어, 오디오 입력 디바이스(410))를 포함한다. 일부 실시예에서, 컴퓨팅 디바이스(402)는 하나 이상의 햅틱 효과를 결정하고/하거나, 햅틱 트리거 디바이스들(412) 중 하나 이상으로부터의 센서 신호에 부분적으로 기초하여 하나 이상의 햅틱 효과 마커를 햅틱 트랙에 삽입할 수 있다. 예를 들어, 전술한 실시예에서, 컴퓨팅 디바이스(402)는 제1 햅틱 트리거 디바이스(412)로부터의 데이터(예를 들어, 가속도계 데이터), 제2 햅틱 트리거 디바이스(412)로부터의 데이터(예를 들어, 압력 데이터), 및/또는 제3 햅틱 트리거 디바이스(412)로부터의 데이터(예를 들어, 오디오 입력 데이터)에 기초하여 햅틱 효과를 결정할 수 있다. 임의의 수 또는 구성의 햅틱 트리거 디바이스들(412)이 가능할 수 있다. 더욱이, 임의의 수의 햅틱 효과 마커들이 임의의 수의 햅틱 트리거 디바이스들(412)로부터의 임의의 수의 센서 신호들을 기초로 하여 생성될 수 있다.
폴리 -스타일 햅틱 콘텐츠 생성을 위한 예시적인 방법들
도 5는 폴리-스타일 햅틱 콘텐츠 생성을 위한 방법을 수행하기 위한 단계들의 흐름도이다. 일부 실시예에서, 도 5의 단계들은 프로세서 예를 들어, 범용 컴퓨터, 모바일 디바이스 또는 서버에서의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예에서, 이들 단계는 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예에서, 도 5에 도시된 하나 이상의 단계들은 생략되거나 상이한 순서로 수행될 수 있다. 유사하게, 일부 실시예에서, 도 5에 도시되지 않은 부가 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 1에 도시된 시스템(100)에 관해 앞서 설명한 컴포넌트들을 참조하여 설명되어 있다.
방법(500)은 단계(502)에서 프로세서(102)가 오디오 입력 디바이스(122)로부터 오디오 신호를 수신할 때 시작된다. 일부 실시예에서, 오디오 입력 디바이스(122)는 마이크로폰을 포함할 수 있다. 오디오 신호는 아날로그 신호 또는 디지털 신호를 포함할 수 있다. 디지털 신호는 예를 들어, 다른 컴퓨팅 디바이스(101), MIDI 키보드, 스마트폰, 라디오, 또는 턴테이블 스테이션을 포함하는 디지털 디바이스로부터 올 수 있다. 일부 실시예에서, 오디오 신호는 음향 효과와 연관될 수 있다.
방법(500)은 단계(502)에서 프로세서(102)가 오디오 신호를 수신하는 것과 실질적으로 동시에 햅틱 트리거 디바이스(120)로부터 센서 신호를 수신할 때 계속된다. 센서 신호는 아날로그 신호 또는 디지털 신호를 포함할 수 있다.
방법(500)은 단계(502)에서 프로세서(102)가 오디오 신호를 오디오 트랙에 기록할 때 계속된다. 오디오 트랙은 비디오와 연관된다. 일부 실시예에서, 프로세서(102)는 오디오 신호를 오디오 트랙에 직접 기록할 수 있다. 다른 실시예에서, 프로세서(102)는 오디오 신호를 조작하고(예를 들어, 오디오 신호의 크기, 주파수, 지속시간, 또는 파형을 수정하고), 수정된 오디오 신호를 오디오 트랙에 기록할 수 있다. 일부 실시예에서, 오디오 트랙 데이터는 비디오 데이터에서 분리될 수 있다. 다른 실시예에서, 오디오 트랙 데이터는 비디오 데이터에 통합될 수 있다. 프로세서(102)는 오디오 데이터가 비디오로부터의 하나 이상의 프레임들과 실질적으로 동기화되도록 오디오 데이터를 기록할 수 있다.
방법(500)은 단계(502)에서 프로세서(102)가 센서 신호에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 때 계속된다. 일부 실시예에서, 상술한 바와 같이, 프로세서(102)는 센서 신호의 하나 이상의 특성에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 프로세서(102)는 센서 신호의 크기 및 주파수에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예에서, 프로세서(102)는 센서 신호의 크기에 비례하는 크기 및 센서 신호의 지속시간에 비례하는 지속시간을 갖는 햅틱 효과를 결정할 수 있다.
방법은 단계(510)에서 프로세서(102)가 센서 신호에 부분적으로 기초하여 햅틱 효과 마커를 햅틱 트랙에 삽입할 때 계속된다. 일부 실시예에서, 햅틱 효과 마커는 결정된 햅틱 효과와 연관된 햅틱 효과 데이터를 포함할 수 있다. 프로세서(102)는 햅틱 효과 마커가 비디오로부터의 하나 이상의 프레임들과 실질적으로 동기화되도록 햅틱 효과 마커를 햅틱 트랙에 삽입할 수 있다.
폴리 -스타일 햅틱 콘텐츠 생성의 장점들
폴리-스타일 햅틱 콘텐츠 생성에는 수많은 장점이 있다. 예를 들어, 일부 실시예에서, 햅틱 트랙 및 오디오 트랙을 연속적으로 생성하기보다는, 실질적으로 동시에 생성하는 것은 비디오를 위한 전체 제작 시간을 줄일 수 있다. 또한, 햅틱 트랙 및 오디오 트랙을 실질적으로 동시에 생성하는 것은 비디오 제작의 비용을 줄일 수 있다. 예를 들어, 일부 실시예에서, 폴리 아티스트가 오디오 트랙을 생성하고 햅틱 아티스트가 햅틱 트랙을 생성하기보다는, 한 명의 폴리 아티스트가 오디오 트랙 및 햅틱 트랙 모두를 생성할 수 있다. 따라서, 비디오 후반 제작을 완료하는데 적은 인력이 필요할 수 있어, 비디오 제작의 전체 비용을 줄일 수 있다.
일부 실시예에서, 폴리-스타일 햅틱 콘텐츠 생성은 햅틱 효과, 음향 효과 및 비디오 콘텐츠를 더 쉽게 동기화시킬 수 있다. 이는 햅틱 효과 및 음향 효과가 실질적으로 동시에 그리고 동기화하여 생성되기 때문일 수 있다. 따라서, 음향 효과 및 햅틱 효과를 서로에 대해 또한 비디오 콘텐츠에 대해 개별적으로 동기화시키기보다는, 음향 효과 및 햅틱 효과는 동기화하여 생성될 수 있다.
더욱이, 일부 실시예에서, 폴리-스타일 햅틱 콘텐츠 생성은 햅틱 효과, 음향 효과 및 비디오 콘텐츠 사이에서 동기화의 정확성을 향상시킬 수 있다. 상술한 바와 같이, 음향 효과 및 햅틱 효과를 서로에 대해 또한 비디오 콘텐츠에 대해 개별적으로 동기화시키기보다는, 음향 효과 및 햅틱 효과는 동기화하여 생성할 수 있다. 이는 폴리 아티스트가 음향 효과 및 햅틱 트랙을 서로에 대해 또한 비디오 콘텐츠에 대해 개별적으로 동기화하려고 시도하는 경우 일어날 수 있는 동기화의 에러를 줄일 수 있다.
일반적인 고려사항들
상술한 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 구성들은 적절하게 다양한 절차들 또는 컴포넌트들을 생략하거나, 대체하거나 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서 방법들은 설명된 것과는 상이한 순서로 수행될 수 있고/있거나, 다양한 스테이지들이 추가, 생략 및/또는 결합될 수 있다. 또한, 소정 구성들과 연관하여 설명된 특징들은 다양한 다른 구성들에서 결합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 결합될 수 있다. 또한, 기술이 발전되고, 그에 따라 많은 요소는 예들이고, 본 개시 내용 또는 청구항들의 범위를 제한하지 않는다.
(구현들을 포함한) 예시적인 구성들의 완전한 이해를 제공하기 위해서 본 설명에서 특정 상세들이 주어진다. 그러나, 구성들은 이들 특정 상세들 없이 실시될 수 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 이들 구성을 모호하게 하는 것을 회피하기 위해서 불필요한 상세 없이 제시되었다. 이 설명은 단지 예시적인 구성들만을 제공하며, 청구항들의 구성들, 적용가능성 또는 범위를 제한하지는 않는다. 오히려, 선행하는 구성들의 설명은, 설명된 기술들을 구현할 수 있게 하는 설명을 통상의 기술자에게 제공한다. 본 개시물의 사상 또는 범위로부터 벗어나지 않고 요소들의 배열 및 기능에서 다양한 변경들이 이루어질 수 있다.
또한, 구성들은 블록도 또는 흐름도로 도시되는 프로세스로서 설명될 수 있다. 각각이 순차적인 프로세스로서 동작들을 설명할 수 있지만, 많은 동작들은 병행하여 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 부가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description language), 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현되는 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비일시적인 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 태스크들을 수행할 수 있다.
여러 예시적인 구성들을 설명하였지만, 본 개시 내용의 사상으로부터 벗어나지 않고 다양한 수정물들, 대안적인 구성들 및 등가물들이 이용될 수 있다. 예를 들어, 전술한 요소들은 더 큰 시스템의 컴포넌트들일 수 있는데, 여기서 다른 규칙들이 본 발명의 애플리케이션보다 우선하거나 다른 방식으로 이를 수정할 수 있다. 또한, 전술한 요소들이 고려되기 이전에, 그동안에 또는 그 이후에 다수의 단계가 수행될 수 있다. 따라서, 전술한 설명은 청구항들의 범위를 한정하지는 않는다.
본 명세서에서의 "~하도록 적응되는(adapted to)" 또는 "~하도록 구성되는(configured to)"의 사용은 부가적인 태스크들 또는 단계들을 수행하도록 적응 되거나 구성된 디바이스들을 배제하지 않는 개방적이며 포괄적인 언어로서 의도된다. 또한, "~에 기초하는(based on)"의 사용은, 하나 이상의 언급된 조건 또는 값에 "기초하는" 프로세스, 단계, 계산 또는 다른 액션이 언급된 것들 이외의 부가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이며 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 리스트들 및 번호 매김은 설명의 용이성을 위한 것일 뿐이며, 제한하는 것으로 의도된 것은 아니다.
본 발명 대상의 양태들에 따른 실시예들은 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능 매체를 포함하거나 또는 이 매체에 액세스할 수 있다. 프로세서는, 전술한 방법들을 수행하기 위해 센서 샘플링 루틴, 선택 루틴 및 다른 루틴을 포함하는 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP: digital signal processor), 주문형 집적회로(ASIC: application-specific integrated circuit), 필드 프로그램 가능 게이트 어레이(FPGA: field programmable gate array) 및 상태 머신을 포함할 수 있다. 이러한 프로세서들은, PLC, 프로그램 가능 인터럽트 컨트롤러(PIC: programmable interrupt controller), 프로그램 가능 로직 디바이스(PLD: programmable logic device), 프로그램 가능 판독 전용 메모리(PROM: programmable read-only memory), 전기적 프로그램 가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 다른 유사한 디바이스와 같은 프로그램 가능 전자 디바이스들을 더 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 이 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 바와 같은 본 명세서에 설명된 단계들을 수행하도록 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어 유형의 컴퓨터 판독가능 매체를 포함할 수 있거나, 또는 이 매체와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기 또는 다른 저장 디바이스들을 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지는 않는다. 또한, 라우터, 사설 또는 공중 네트워크, 또는 다른 전송 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 처리는 하나 이상의 구조로 이루어질 수 있으며, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법들 중 하나 이상(또는 방법들의 일부)을 수행하기 위한 코드를 포함할 수 있다.
본 발명 내용은 특정 실시예들과 연관하여 상세하게 설명되었지만, 통상의 기술자라면, 전술한 내용을 이해하게 되면, 이러한 실시예들에 대한 변경물들, 변형물들 및 등가물들을 손쉽게 생성할 수 있다는 것이 인식될 것이다. 따라서, 본 개시 내용은 제한이 아니라 예시를 위해 제시되었으며, 통상의 기술자에게 손쉽게 명백하게 되는 바와 같이 본 발명 내용에 대한 이러한 수정물들, 변형물들 및/또는 추가물들의 포함을 배제하지는 않는다는 것이 이해되어야 한다.

Claims (20)

  1. 시스템으로서,
    오디오 입력을 검출하고 상기 오디오 입력과 연관된 오디오 신호를 전송하도록 구성된 오디오 입력 디바이스;
    센서를 포함하는 햅틱 트리거 디바이스 - 상기 센서는 이벤트와 연관된 센서 신호를 전송하도록 구성됨 -; 및
    상기 오디오 입력 디바이스 및 상기 햅틱 트리거 디바이스와 통신하는 프로세서를 포함하고, 상기 프로세서는,
    상기 오디오 신호를 수신하고;
    상기 오디오 신호를 수신하는 것과 실질적으로 동시에 상기 센서 신호를 수신하고;
    상기 오디오 신호를 오디오 트랙에 기록하고;
    상기 센서 신호에 부분적으로 기초하여 햅틱 트리거 마커를 햅틱 트랙에 삽입하도록 구성되며, 상기 햅틱 트랙 및 상기 오디오 트랙은 비디오와 연관되는, 시스템.
  2. 제1항에 있어서, 상기 센서는 자이로스코프, 가속도계, 깊이 센서, 카메라, 광트랜지스터, 스위치, 버튼, 마이크로폰, 또는 압전 변환기를 포함하는 시스템.
  3. 제1항에 있어서, 상기 햅틱 트리거 디바이스는 복수의 센서를 포함하는 시스템.
  4. 제1항에 있어서, 상기 햅틱 트리거 디바이스는 소도구와 연결되는, 시스템.
  5. 제4항에 있어서, 상기 소도구는 상기 오디오 입력을 생성하도록 구성되는 시스템.
  6. 제5항에 있어서, 상기 소도구는 폴리 아티스트 소도구(Foley artist prop)를 포함하는 시스템.
  7. 제1항에 있어서, 상기 햅틱 트리거 디바이스는 상기 오디오 입력 디바이스를 포함하는 시스템.
  8. 제1항에 있어서, 상기 햅틱 효과 마커는 햅틱 효과와 연관된 햅틱 효과 데이터를 포함하는 시스템.
  9. 제8항에 있어서, 상기 프로세서는 또한 상기 센서 신호에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하도록 구성되는 시스템.
  10. 제1항에 있어서, 복수의 햅틱 트리거 디바이스를 더 포함하는 시스템.
  11. 방법으로서,
    오디오 입력 디바이스로부터 오디오 신호를 수신하는 단계;
    상기 오디오 신호를 수신하는 것과 실질적으로 동시에 햅틱 트리거 디바이스로부터 센서 신호를 수신하는 단계;
    상기 오디오 신호를 오디오 트랙에 기록하는 단계; 및
    상기 센서 신호에 부분적으로 기초하여 햅틱 효과 마커를 햅틱 트랙에 삽입하는 단계
    를 포함하고, 상기 햅틱 트랙 및 상기 오디오 트랙은 비디오와 연관되는, 방법.
  12. 제11항에 있어서, 상기 햅틱 트리거 디바이스는 복수의 센서를 포함하는 방법.
  13. 제11항에 있어서, 상기 햅틱 트리거 디바이스는 소도구와 연결되는, 방법.
  14. 제13항에 있어서, 상기 소도구는 폴리 아티스트 소도구를 포함하는 방법.
  15. 제11항에 있어서, 상기 햅틱 효과 마커는 햅틱 효과와 연관된 햅틱 효과 데이터를 포함하는 방법.
  16. 제15항에 있어서, 상기 센서 신호에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하는 단계를 더 포함하는 방법.
  17. 프로그램 코드를 포함하는 비일시적인 컴퓨터 판독 가능 매체로서, 상기 프로그램 코드는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    오디오 입력 디바이스로부터 오디오 신호를 수신하고;
    상기 오디오 신호를 수신하는 것과 실질적으로 동시에 햅틱 트리거 디바이스로부터 센서 신호를 수신하고;
    상기 오디오 신호를 오디오 트랙에 기록하고;
    상기 센서 신호에 부분적으로 기초하여 햅틱 효과 마커를 햅틱 트랙에 삽입하게 하도록 구성되며,
    상기 햅틱 트랙 및 상기 오디오 트랙은 비디오와 연관되는, 비일시적인 컴퓨터 판독 가능 매체.
  18. 제17항에 있어서, 상기 햅틱 트리거 디바이스는 복수의 센서를 포함하는, 비일시적인 컴퓨터 판독 가능 매체.
  19. 제17항에 있어서, 상기 햅틱 트리거 디바이스는 소도구에 연결되는, 비일시적인 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서, 상기 소도구는 폴리 아티스트 소도구를 포함하는, 비일시적인 컴퓨터 판독 가능 매체.
KR1020150082617A 2014-06-16 2015-06-11 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템 및 방법 KR20150144704A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/305,623 US10139907B2 (en) 2014-06-16 2014-06-16 Systems and methods for foley-style haptic content creation
US14/305,623 2014-06-16

Publications (1)

Publication Number Publication Date
KR20150144704A true KR20150144704A (ko) 2015-12-28

Family

ID=53432975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150082617A KR20150144704A (ko) 2014-06-16 2015-06-11 폴리-스타일 햅틱 콘텐츠 생성을 위한 시스템 및 방법

Country Status (5)

Country Link
US (2) US10139907B2 (ko)
EP (1) EP2958107A1 (ko)
JP (2) JP6542039B2 (ko)
KR (1) KR20150144704A (ko)
CN (1) CN105320267B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101033A (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
WO2016036671A2 (en) * 2014-09-02 2016-03-10 Apple Inc. Haptic notifications
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
KR102471667B1 (ko) * 2017-01-26 2022-11-25 디-박스 테크놀러지스 인코포레이트 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐
US10194128B2 (en) 2017-06-12 2019-01-29 Amazon Technologies, Inc. Systems and processes for generating a digital content item
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
EP3540567B1 (en) * 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11161038B2 (en) * 2018-08-06 2021-11-02 Amazon Technologies, Inc. Systems and devices for controlling network applications
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
JP6874045B2 (ja) * 2019-03-19 2021-05-19 公益財団法人電磁材料研究所 力センサ
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11392347B2 (en) * 2020-06-17 2022-07-19 Twitter, Inc. Audio messaging interface on messaging platform
KR20210114059A (ko) * 2020-06-30 2021-09-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 비디오 처리 방법, 장치, 전자 기기 및 저장 매체
US20220180854A1 (en) * 2020-11-28 2022-06-09 Sony Interactive Entertainment LLC Sound effects based on footfall
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
JPWO2023053421A1 (ko) * 2021-09-30 2023-04-06

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4067049A (en) 1975-10-02 1978-01-03 Glen Glenn Sound Sound editing system
US4858033A (en) 1987-03-18 1989-08-15 Chippendale Arthur J Apparatus for pacing, queing and equipment control in audiovisual work
US5065251A (en) * 1989-07-28 1991-11-12 Shuhart Jr Harvey A Method and apparatus for graphically marking an audiovisual recording to indicate occurrence of an official's whistle signal
JPH0449572A (ja) * 1990-06-18 1992-02-18 Fuji Photo Film Co Ltd 特殊効果音声機能付記録・再生装置における信号処理方式
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US5969716A (en) 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
JP3774358B2 (ja) * 2000-07-14 2006-05-10 株式会社東芝 携帯通信端末を利用したコンテンツサービス方法
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US8027482B2 (en) * 2003-02-13 2011-09-27 Hollinbeck Mgmt. Gmbh, Llc DVD audio encoding using environmental audio tracks
US7427711B2 (en) * 2004-08-19 2008-09-23 O'modhrain Maura Sile Particle based touch interaction for the creation of media streams
US10741089B2 (en) * 2004-12-23 2020-08-11 Carl Wakamoto Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US20100279822A1 (en) * 2008-11-01 2010-11-04 Ford John Hajime Systems and methods for optimizing one or more audio tracks to a video stream
JP2013500544A (ja) 2009-07-24 2013-01-07 ディジマーク コーポレイション 改善された音声／映像の方法及びシステム
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
KR102003191B1 (ko) * 2011-07-01 2019-07-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
WO2013041152A1 (en) 2011-09-19 2013-03-28 Thomson Licensing Methods to command a haptic renderer from real motion data
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
WO2014055329A1 (en) 2012-10-01 2014-04-10 Internet Services, Llc System and method for synchronization of haptic data and media data
US9261960B2 (en) * 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9449640B2 (en) * 2014-06-03 2016-09-20 Glenn Kreisel Media device turntable

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101033A (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
WO2020171612A1 (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
US11907424B2 (en) 2019-02-19 2024-02-20 Dong Woon Anatech Co., Ltd Haptic motor driving method in consideration of user input signal

Also Published As

Publication number Publication date
EP2958107A1 (en) 2015-12-23
CN105320267B (zh) 2020-01-17
JP2016015131A (ja) 2016-01-28
US10503263B2 (en) 2019-12-10
US20150362993A1 (en) 2015-12-17
JP6542039B2 (ja) 2019-07-10
JP2019194879A (ja) 2019-11-07
CN105320267A (zh) 2016-02-10
US10139907B2 (en) 2018-11-27
US20190004607A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
US10503263B2 (en) Systems and methods for Foley-style haptic content creation
JP6612250B2 (ja) 会話検出
US10775894B2 (en) Systems and methods for providing customizable haptic playback
JP6516477B2 (ja) ユーザ生成コンテンツをオーサリングするためのシステム及び方法
JP6703627B2 (ja) 装置および関連する方法
US20220284928A1 (en) Video display method, electronic device and medium
KR20200006002A (ko) 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들
WO2018121229A1 (zh) 一种动画中资源的显示处理方法及装置和终端
KR20150022694A (ko) 스포츠 이벤트를 햅틱으로 이용할 수 있는 시청
US10497277B2 (en) Feedback provision method, system, and analysis device
US9349349B2 (en) Computer readable medium having program recorded therein, information processing apparatus, information processing method, and information processing system
JP6002345B1 (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
JP6478640B2 (ja) 携帯端末装置およびプログラム
JP6924564B2 (ja) ゲームプログラム
US11813523B2 (en) Automatic triggering of a gameplay recording using visual and acoustic fingerprints
CN115086759A (zh) 视频处理方法、装置、计算机设备及介质
JP2021100471A (ja) 端末装置、ゲーム方法、ゲームプログラム及びゲームシステム
TWI581626B (zh) 影音自動處理系統及方法
JP6002344B1 (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
WO2017026387A1 (ja) 映像処理装置、映像処理方法および記録媒体
JPWO2020039476A1 (ja) メッセージ出力装置、学習装置、メッセージ出力方法、学習方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application