KR20200006002A - 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들 - Google Patents

비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20200006002A
KR20200006002A KR1020190080653A KR20190080653A KR20200006002A KR 20200006002 A KR20200006002 A KR 20200006002A KR 1020190080653 A KR1020190080653 A KR 1020190080653A KR 20190080653 A KR20190080653 A KR 20190080653A KR 20200006002 A KR20200006002 A KR 20200006002A
Authority
KR
South Korea
Prior art keywords
audio
video
attribute
haptic effect
haptic
Prior art date
Application number
KR1020190080653A
Other languages
English (en)
Inventor
리웬 우
자말 사본
후안 마누엘 크루즈-헤르난데즈
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20200006002A publication Critical patent/KR20200006002A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

비디오 콘텐츠에 대한 자동 햅틱 생성을 위한 시스템들 및 방법들이 개시된다. 본 명세서에 설명된 하나의 예시적인 시스템은 오디오 신호를 수신하고; 오디오 신호와 연관된 오디오 속성을 식별하고; 비디오 신호를 수신하고; 비디오 신호와 연관된 비디오 속성을 식별하고 - 비디오 속성은 오디오 속성에 대응함 - ; 오디오 속성 및 비디오 속성에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고; 햅틱 효과와 연관된 햅틱 신호를 출력하도록 구성되는 비-일시적 프로그램 코드를 실행하는 프로세서를 포함한다.

Description

비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR PROVIDING AUTOMATIC HAPTIC GENERATION FOR VIDEO CONTENT}
본 출원은 사용자 인터페이스 디바이스들의 분야에 관한 것이다. 더욱 구체적으로, 본 출원은 비디오 콘텐츠에 대한 자동 햅틱 생성에 관한 것이다.
비디오 시청 경험(video-viewing experience)은 시간이 지남에 따라 더 몰입하게 된다. 더 큰 스크린들 및 더 복합적인 사운드 시스템들은 향상된 사용자 경험을 제공한다. 그러나, 종래의 시스템들은 종종 터치 감각을 포함하는 모든 감각에 피드백을 제공하는 능력이 부족하다. 햅틱 피드백을 제공하는 시스템들의 경우, 비디오를 동반하는 햅틱 효과들의 세트를 생성하는 프로세스는 시간 및 노동 집약적일 수 있다. 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들이 필요하다.
본 개시내용의 실시예들은 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들을 포함한다. 일 실시예에서, 시스템은 오디오 신호를 수신하고; 오디오 신호와 연관된 오디오 속성을 식별하고; 비디오 신호를 수신하고; 비디오 신호와 연관된 비디오 속성을 식별하고 - 비디오 속성은 오디오 속성에 대응함 - ; 오디오 속성 및 비디오 속성에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고; 햅틱 효과와 연관된 햅틱 신호를 출력하도록 구성되는 비-일시적 프로그램 코드를 실행하는 프로세서를 포함한다.
다른 실시예에서, 본 개시내용에 따른 방법은 오디오 신호를 수신하는 단계; 오디오 신호와 연관된 오디오 속성을 식별하는 단계; 비디오 신호를 수신하는 단계; 비디오 신호와 연관된 비디오 속성을 식별하는 단계 - 비디오 속성은 오디오 속성에 대응함 - ; 오디오 속성 및 비디오 속성에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및 햅틱 효과와 연관된 햅틱 신호를 출력하는 단계를 포함한다.
이러한 예시적인 실시예들은 본 발명 요지를 제한하거나 제한들을 정의하기 위한 것이 아니라, 그에 대한 이해를 돕기 위한 예들을 제공하기 위해 언급되어 있다. 예시적인 실시예들은 상세한 설명에서 논의되고, 추가적인 설명이 거기에서 제공된다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 및/또는 청구된 발명 요지의 하나 이상의 실시예를 실시함으로써 더욱 이해될 수 있다.
완전하고 실시가능한 개시내용은 명세서의 나머지 부분에 더욱 구체적으로 기술되어 있다. 명세서에서는 이하의 첨부 도면을 참조한다.
도 1은 오디오 및 비디오 데이터에 기초하여 햅틱 피드백을 생성하기 위한 예시적인 시스템을 도시한다.
도 2는 오디오 및 비디오에 기초하여 햅틱 효과들을 생성하기 위한 하나의 예시적인 실시예에 대한 방법 단계들의 흐름도이다.
도 3은 오디오 및 비디오에 기초하여 햅틱 효과들을 생성하기 위한 다른 예시적인 실시예에 대한 방법 단계들의 흐름도이다.
다양한 그리고 대안의 예시적인 실시예들 및 첨부 도면들을 이제 참조할 것이다. 각각의 예는 제한이 아니라 설명으로 제공된다. 수정들 및 변형들이 이루어질 수 있다는 것이 이 기술분야의 통상의 기술자들에게 명백할 것이다. 예를 들어, 일 실시예의 일부로서 설명 또는 예시되는 특징들이 다른 실시예에서 사용되어 또 다른 실시예를 만들어 낼 수 있다. 따라서, 본 개시내용이 첨부된 청구항들 및 그 등가물들의 범위 내에 속하는 수정들 및 변형들을 포함하는 것으로 의도된다.
오디오 및 비디오로부터 햅틱 효과들을 생성하기 위한 시스템의 예시적인 예
하나의 예시적인 실시예에서, 햅틱 설계자가 액션 영화 장면을 위한 햅틱들을 설계하고 있다. 햅틱 설계자는 햅틱 설계 도구(haptic design tool)를 포함하는 컴퓨터 상에서 필름(film)을 시청한다. 햅틱 설계자가 사용하고 있는 설계 도구는 햅틱 설계자가 영화를 볼 수 있게 하고, 특정 시점에서, 예를 들어, 프레임별로(frame-by-frame basis) 효과들을 추가할 수 있게 한다. 효과들을 추가하는 프로세스는 (도구를 이용하여) 수동으로 또는 영화의 속성들에 기초하여 자동으로 행해질 수 있다.
자동 모드에서, 도구는 오디오와 비디오의 조합을 사용하여 추가할 적절한 햅틱 효과를 결정한다. 설계자가 오디오 또는 비디오 전용 옵션을 사용할 경우, 생성된 햅틱들은 예를 들어 많은 효과에 대해, 그리고 따라서 "잡음"에 대해, 압도적일 수 있다. 설계자가 비디오 전용 옵션을 사용할 경우, 생성된 햅틱들은 깨끗(clean)할 수 있지만, 햅틱 효과들의 강도는 영화에서 검출된 다양한 이벤트들과 매칭되지 않을 수 있다. 따라서, 오디오와 비디오의 조합은 더 의미있는 효과들을 제공할 수 있다.
본 발명의 실시예는 설계자가 조합 오디오/비디오 방법(combination audio/video method)을 사용할 수 있게 하며, 이는 더 정확한 이벤트 검출을 야기하고, 햅틱들의 강도, 주파수, 및 형상은 검출된 이벤트들의 특징들에 더 매칭된다. 그러한 옵션은, 조합될 때 영화에서의 활동(activity)을 더 정확하게 반영하는 햅틱 효과를 생성하는, 오디오 트랙의 다양한 속성들, 예를 들어, 크기, MFCC(Mel-frequency cepstral coefficient)들, 멜 로그 스펙트로그램들(Mel log spectrograms), 및 주파수 스펙트로그램들(frequency spectrograms) 및 또한 비디오 트랙의 다양한 속성들, 예를 들어, 컬러 및 모션 벡터들에 의존한다. 제안된 효과들이 생성되면, 햅틱 설계자는 효과들을 수동으로 수정하여 그 효과들을 더 개선시킬 수 있다. 전술한 예는 단지 예시적인 것이며, 청구된 발명을 어떤 식으로든 제한하려는 것은 아니다.
오디오 및 비디오를 사용하는 햅틱 효과 생성을 위한 예시적인 시스템들
도 1a는 오디오 및 비디오를 사용하여 햅틱 효과들을 생성하기 위한 예시적인 시스템(100)을 도시한다. 상세하게는, 이 예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스하는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적당한, 유형의(tangible)(및 비-일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)가 컴퓨팅 디바이스의 동작을 구성하는 프로그램 구성요소들을 구현한다. 이 예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입출력(I/O) 인터페이스 컴포넌트(112), 및 추가적인 스토리지(114)를 추가로 포함한다.
네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 라디오 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크(들)에 액세스하기 위한 트랜시버/안테나)과 같은 무선 인터페이스들을 포함하고, 이에 제한되지 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이, 터치 스크린 디스플레이, 키보드, 마우스, 스피커, 마이크로폰, 카메라, 및/또는 데이터를 입력하거나 데이터를 출력하는 데 이용되는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하는 데 이용될 수 있다. 스토리지(114)는 디바이스(101)에 포함된 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 스토리지를 나타낸다.
시스템(100)은, 이 예에서는 디바이스(101)에 통합되어 있는, 터치 표면(116)을 추가로 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성되는 임의의 표면을 나타낸다. 하나 이상의 센서(108)가 객체가 터치 표면과 접촉할 때 터치 영역에서 터치를 검출하고 프로세서(102)에 의한 사용을 위한 적절한 데이터를 제공하도록 구성된다. 임의의 적합한 수, 타입, 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서들이 터치 표면(116)에 내장되어 터치의 로케이션(location) 및 다른 정보, 예를 들어, 압력을 결정하는 데 사용될 수 있다. 다른 예로서, 터치 표면의 뷰를 갖는 광학 센서들이 터치 위치를 결정하는 데 사용될 수 있다.
일부 실시예들에서, 센서(108), 터치 표면(116), 및 I/O 컴포넌트들(112)은 터치 스크린 디스플레이와 같은 단일 컴포넌트에 통합될 수 있다. 예를 들어, 일부 실시예들에서, 터치 표면(116) 및 센서(108)는, 디스플레이 신호를 수신하고 사용자에게 이미지를 출력하도록 구성되는 디스플레이의 상부에 장착된 터치 스크린을 포함할 수 있다. 그 후, 사용자는 디스플레이를 사용하여, 영화 또는 다른 비디오를 보는 것과 햅틱 생성 설계 애플리케이션과 상호작용하는 것을 둘 다 행할 수 있다.
다른 실시예들에서, 센서(108)는 LED 검출기를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)은 디스플레이의 측면에 장착된 LED 핑거 검출기(LED finger detector)를 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 단일 센서(108)와 통신하고, 다른 실시예들에서, 프로세서(102)는 복수의 센서(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여, 신호들을 프로세서(102)에 송신하도록 구성된다. 일부 실시예들에서, 터치 센서(108)는 사용자 상호작용의 다수의 양태를 검출하도록 구성될 수 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 포함시킬 수 있다.
디바이스(101)는 햅틱 출력 디바이스(118)를 추가로 포함한다. 도 1a에 도시된 예에서, 햅틱 출력 디바이스(118)는 프로세서(102)와 통신하고, 터치 표면(116)에 결합된다. 도 1a에 도시된 실시예는 단일의 햅틱 출력 디바이스(118)를 포함한다. 다른 실시예들에서, 컴퓨팅 디바이스(101)는 복수의 햅틱 출력 디바이스를 포함할 수 있다. 햅틱 출력 디바이스는, 비디오에 대한 햅틱 효과들의 최종 세트를 생성하기 전에 임의의 방식으로 효과들이 수정되어야 하는지를 결정하기 위해 효과들이 생성될 때 햅틱 설계자가 효과들을 경험할 수 있게 할 수 있다.
여기서는 단일의 햅틱 출력 디바이스(118)가 도시되어 있지만, 실시예들은 동일하거나 상이한 타입의 다수의 햅틱 출력 디바이스를 사용하여 햅틱 효과들을 출력할 수 있다. 예를 들어, 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM), 또는 선형 공진 액추에이터(LRA), 로우 프로파일 햅틱 액추에이터(low profile haptic actuator), 햅틱 테이프, 또는 정전기 마찰(Electrostatic Friction)(ESF) 액추에이터와 같은 정전기 효과를 출력하도록 구성되는 햅틱 출력 디바이스 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 복수의 액추에이터, 예를 들어, 로우 프로파일 햅틱 액추에이터, 압전 액추에이터, 및 LRA를 포함할 수 있다.
메모리(104)를 보면, 어떻게 디바이스가 햅틱 효과들을 결정하여 출력하도록 구성될 수 있는지를 예시하기 위해 예시적인 프로그램 컴포넌트들(124, 126, 및 128)이 도시되어 있다. 이 예에서는, 검출 모듈(124)이 터치의 위치를 결정하기 위해 센서(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부재를 추적하고, 터치가 존재하는 경우, 시간이 지남에 따라 터치의 로케이션, 경로, 속도, 가속도, 압력, 및/또는 다른 특성들 중 하나 이상을 추적하기 위해 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은 오디오 및 비디오 특성들에 관한 데이터를 분석하여 발생할 햅틱 효과를 선택하는 프로그램 컴포넌트를 나타낸다. 특히, 모듈(126)은 오디오 또는 비디오 속성들에 기초하여 햅틱 출력 디바이스에 의해 생성 및 출력할 효과를 결정하는 코드를 포함한다. 모듈(126)은 오디오 및 비디오 속성들의 특정 조합에 할당하기 위해 제공할 하나 이상의 기존의 햅틱 효과를 선택하는 코드를 추가로 포함할 수 있다. 예를 들어, 높은 피크 사운드 크기와 조합된 높은 강도 컬러는 폭발을 나타낼 수 있고, 따라서 강한 진동의 생성을 트리거할 수 있다. 상이한 햅틱 효과들이 이러한 특징들의 다양한 조합에 기초하여 선택될 수 있다. 햅틱 효과들은, 심지어 설계자가 효과를 미리보고 필요에 따라 그것을 수정하여 비디오에서의 장면 또는 프레임을 더 잘 모델링할 수 있도록, 터치 표면(116)을 통해 제공될 수 있다.
햅틱 효과 생성 모듈(128)은, 프로세서(102)로 하여금, 햅틱 신호를 생성하여 햅틱 출력 디바이스(118)에 전송하게 하여, 햅틱 출력 디바이스(118)가 선택된 햅틱 효과를 생성하게 하는, 프로그래밍을 나타낸다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)에 전송할 저장된 파형들 및 커맨드들에 액세스할 수 있다. 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 햅틱 효과를 수신하고 신호 처리 알고리즘들을 이용하여 햅틱 출력 디바이스(118)에 전송할 적절한 신호를 생성할 수 있다. 추가의 예로서, 햅틱 효과를 제공하기 위해 표면(및/또는 다른 디바이스 컴포넌트들)의 적절한 변위를 발생시키는 하나 이상의 액추에이터에 전송되는 적절한 파형 및 텍스처에 대한 목표 좌표들과 함께, 원하는 햅틱 효과가 표시될 수 있다. 일부 실시예들은 특징을 시뮬레이트하기 위해 다수의 햅틱 출력 디바이스를 함께 이용할 수 있다. 예를 들어, 텍스처의 변화는 인터페이스 상의 버튼들 간의 경계를 가로지르는 것을 시뮬레이트하는 데 사용될 수 있고, 진동촉각 효과는 버튼이 눌러질 때 응답을 시뮬레이트한다.
오디오 및 비디오를 사용하는 햅틱 효과 생성을 위한 예시적인 방법들
도 2 및 도 3은 오디오 및 비디오에 기초하여 햅틱 효과들을 생성하기 위한 예시적인 실시예들에 대한 방법 단계들의 흐름도들이다. 도 2는 오디오 및 비디오 신호들이 함께 직렬로 처리되는 프로세스(200)를 도시한다. 프로세스의 제1 단계에서, 햅틱 효과 결정 모듈(126)은 오디오 신호(202)를 수신한다. 예를 들어, 햅틱 효과 결정 모듈(126)은 버퍼에 저장되는 특정 타임스탬프에서 영화로부터 오디오 트랙을 수신할 수 있다. 오디오 신호는 오디오 및 비디오를 포함하는 멀티미디어 파일의 형태와 같이, 비디오와 동시에 수신될 수 있거나, 또는 오디오는 비디오와 비동기적으로 수신될 수 있다.
그 후, 햅틱 효과 결정 모듈(126)은 오디오 신호들(204)의 하나 이상의 속성을 식별한다. 식별될 수 있는 오디오 속성들의 예들은 크기, 주파수, 엔벨로프, 간격, 및 피크를 포함하며, 이들로 제한되지 않는다. 일부 실시예들에서, 오디오 신호는 오디오 속성들이 식별되기 전에 전처리될 수 있다. 예를 들어, 실시예는 배경 잡음을 제거하기 위해 필터들 또는 오디오 처리 알고리즘들을 이용할 수 있다. 다른 실시예에서, 오디오의 특정 프레임들은 크기가 너무 낮거나 사운드 프레임의 주파수가 미리 설정된 범위 밖에 있다면 무시될 수 있다. 일 실시예에서, 스피치(speech)는 햅틱 효과들을 생성할 때 무시된다. 따라서, 비디오와 연관시킬 햅틱 효과들을 결정하려고 시도하기 전에 사람의 스피치와 연관된 주파수들을 제거하는 필터가 적용된다.
도 2에 도시된 프로세스는 특정 타임스탬프에 대해 동작할 수 있지만, 프로세스는 또한 시간이 지남에 따라 속성들을 비교하는 것을 포함할 수 있다. 예를 들어, 일 실시예에서, 시간이 지남에 따른 특정 오디오 속성들의 변화를 결정하기 위해 몇몇 연속적인 프레임이 분석될 수 있다.
햅틱 효과 결정 모듈(126)은 그 다음에 오디오 신호에 대응하는 비디오 신호를 수신하고, 예를 들어, 2개의 신호는 동일한 타임스탬프에서 샘플링된다(206). 그 후, 햅틱 효과 결정 모듈(126)은 비디오의 하나 이상의 속성을 식별한다(208). 식별 단계 이전에 또는 식별 단계의 일부로서, 본 발명의 실시예는 비디오를 전처리할 수 있다. 그러한 전처리는 햅틱 효과들을 생성하기 위한 비디오 속성들의 식별 이전에 비디오 신호로부터 무관한 정보를 제거할 수 있다. 일 실시예에서, 필터들 또는 이미지 처리 알고리즘들은 각각의 프레임에 대한 픽셀들을 처리하고, 예를 들어, 무관한 픽셀들을 흑색 컬러로 대체하는 데 이용된다. 컬러는, 예를 들어, 컬러가 특정 이벤트를 나타내는 컬러들의 범위 내에 있지 않은 경우에 무관할 수 있다.
식별될 수 있는 비디오 속성들의 예들은 모션 벡터들, 에지들, 특징점들, 컬러들 및 밝기를 포함한다. 위에서 설명된 오디오 속성들의 경우와 같이, 도 2에 도시된 프로세스는 특정 타임스탬프에 대해 동작할 수 있거나 또는 시간이 지남에 따라 속성들을 비교하는 것을 또한 포함할 수 있다. 예를 들어, 일 실시예에서, 힘 벡터를 결정하기 위해 몇몇 연속적인 프레임이 분석될 수 있다.
그 다음, 햅틱 효과 결정 모듈(126)은 하나 이상의 오디오 속성 및 하나 이상의 비디오 속성을 이용하여 햅틱 효과를 결정한다(210). 그 다음, 실시예는 햅틱 효과와 연관된 햅틱 신호를 출력한다(212). 햅틱 효과의 결정은 미리 설계된 알고리즘에 기초할 수 있다. 햅틱 효과 결정 모듈(126)은 햅틱 설계자에 의해 그 후에 수정될 수 있는 햅틱 효과를 또한 제안할 수 있다. 일부 실시예들에서, 오디오 및 비디오 속성들에 부여되는 상대적 가중치는 변할 수 있다. 예를 들어, 일 실시예에서, 오디오 속성은 60%로 가중될 수 있고, 비디오 속성은 40%로 가중된다. 따라서, 생성된 햅틱 효과는 특정 시간에서 비디오보다 사운드에 더 의존할 것이다. 오디오 및 비디오에 부여되는 상대적 가중치는 정적으로 설정될 수 있거나, 오디오 또는 비디오의 다른 속성들, 사용자의 선호도들에 기초하여, 또는 다른 변수들에 기초하여 동적으로 결정될 수 있다. 일부 실시예들에서, 오디오 또는 비디오 각각의 가중치는 0 내지 100 퍼센트에서 변할 수 있다. 이러한 실시예들에서, 총 가중치는 100과 동일할 수도 있고 그렇지 않을 수도 있다. 예를 들어, 오디오는 비디오가 55%로 설정되는 동안 50%로 설정될 수 있어, 비디오에 약간 더 큰 가중치를 부여한다.
도 2에 도시된 프로세스(200)는 실시간으로 또는 비디오의 레코딩에 기초하여 실행될 수 있다. 그러나, 특정 타임 스탬프와 연관시킬 햅틱 효과의 결정의 일부로서 다양한 프레임들이 서로 비교될 수 있도록 레코딩에 기초하여 비디오를 처리하는 것이 유리할 수 있다.
도 3은 오디오 및 비디오에 기초하여 햅틱 효과들을 생성하기 위한 다른 예시적인 실시예에 대한 방법 단계들의 흐름도이다. 도 3에 도시된 실시예에서, 제안된 효과들은 오디오 및 비디오에 기초하여 개별적으로 결정된다. 그 다음, 제안된 효과들 및 신호들은 어떤 햅틱 효과가 출력되어야 하는지를 결정하기 위해 함께 분석된다.
도 2에 도시된 프로세스에서와 같이, 프로세스(300)는 오디오 신호를 수신(302)하고 하나 이상의 오디오 속성을 식별(304)함으로써 시작된다. 프로세스(300)의 이 시점에서, 햅틱 효과 결정 모듈(126)은 오디오 속성에만 기초하여 햅틱 효과를 결정한다(306).
햅틱 효과 결정 모듈(126)은 또한 비디오 신호를 수신(308)하고 하나 이상의 비디오 속성을 식별(310)한다. 프로세스(300)의 이 시점에서, 햅틱 효과 결정 모듈(126)은 비디오 속성에만 기초하여 햅틱 효과를 결정한다(312).
그 다음, 햅틱 효과 결정 모듈(126)은 2개의 별개의 햅틱 효과를 분석하여 출력될 햅틱 효과를 결정한다(314). 예를 들어, 동일하거나 유사한 효과가 2개의 상이한 속성(오디오 및 비디오) 각각에 기초하여 제안되는 경우, 햅틱 효과 결정 모듈(126)은 동일하거나 유사한 햅틱이 출력되어야 한다고 결정할 것이다. 그러나, 효과들이 두드러지게 상이하다면, 햅틱 효과 결정 모듈(126)은 오디오 또는 비디오 중 하나를 더 많이 가중하고 그에 따라 최종 햅틱 효과를 결정할 수 있다.
예를 들어, 일 실시예에서, 햅틱 효과 결정 모듈(126)은 폭발이 발생했다는 오디오에 기초하여 거의 100% 확실성으로 결정하지만, 비디오 속성들 중 어느 것도 폭발이 발생했다는 것을 제안하지 않는다. 햅틱 효과 결정 모듈은 햅틱 신호를 생생하여 폭발을 반영한 햅틱 트랙에 출력할 것이다. 유사하게, 비디오가 폭발을 보여주지만 폭발이 들리지 않았다면(예를 들어, 청각 장애인인 캐릭터로부터의 관점이라면), 햅틱 효과는 햅틱 트랙에 여전히 추가될 수 있다. 그러나, 햅틱 이벤트가 하나의 트랙에서 50% 초과의 확실성으로서 검출되지만 다른 트랙에서 50% 미만의 확실성으로서 검출되는 경우, 잘못된 검출인지 여부를 결정하기 위해 추가의 분석이 필요하다. 비디오 및 오디오가 매칭되지 않을 수 있는 하나의 예는 잠재적 폭발의 경우이다. 비디오에서 움직이는 일부 객체들은 폭발과 유사한 컬러 및 컬러 강도를 가질 수 있다. 그러나, 오디오는 객체가 단순히 프레임을 통해 고속으로 움직이고 있고 따라서 폭발이 아님을 나타낼 수 있다. 두 트랙을 분석함으로써, 프로세스(200)는 구별을 할 수 있다.
오디오 및 비디오를 개별적으로 처리하는 것이 적절한 효과를 야기하지 않을 수 있는 이벤트의 다른 예가 충돌이다. 충돌의 경우, 스크린 상의 2개의 객체가 병합(merge)될 수 있다. 그러나, 객체들이 병합될 때, 객체들이 충돌하고 있다기보다는 오히려 지나가고 있는 것일 수 있다. 그러나, 2개의 객체의 병합이 라우드 사운드(loud sound) 또는 특정 타입의 사운드와 일치하면, 햅틱 효과 결정 모듈은 비디오에서의 객체들의 병합을 충돌로서 식별할 수 있다.
다른 실시예에서, 햅틱 신호가 오디오 및 비디오 트랙들 둘 다에 대해 50% 미만의 확실성으로 검출된다면, 햅틱 효과는 최종 햅틱 트랙에 출력되지 않을 것이다. 분석되는 오디오 및 비디오의 타입에 따라, 다양한 대안이 이용될 수 있다.
햅틱 효과 결정 모듈(126)이 오디오 및 비디오 속성들에 기초하여 적절한 햅틱 효과를 결정하면, 햅틱 효과와 연관된 햅틱 신호가 출력된다(316).
일부 실시예들에서, 도 2 및 도 3에 도시된 프로세스들은 다양한 타입의 효과들에 대해 반복될 수 있다. 예를 들어, 일 실시예에서, 프로세스는 잠재적 폭발들을 식별하기 위해 실행된다. 그 다음, 프로세스는 잠재적인 총성들(gunshots)을 식별하기 위해 반복된다. 마지막으로, 프로세스는 자동차들과 같은 다양한 객체들 간의 충돌들을 찾기 위해 반복된다. 프로세스가 이러한 잠재적인 이벤트들 각각에 대해 완료되었다면, 다양한 효과들이 최종 햅틱 트랙에 병합되고, 최종 햅틱 트랙은 그 후 햅틱 설계자에 의해 평가 및 수정될 수 있다.
본 발명의 실시예들은 오디오 또는 비디오에 기초한 햅틱 효과들의 종래의 생성에 비해 다양한 이점을 제공한다. 예를 들어, 실시예들은 거짓 양성(false positive) 검출을 감소시키는 것을 도울 수 있다. 예를 들어, 시각 처리 알고리즘(vision processing algorithm)을 사용하여 폭발이 검출되면, 오디오에서의 대응하는 높은 피크가 폭발을 확인하는 동일한 시간 프레임에서 발생해야 한다. 높은 피크가 누락되면, 폭발의 검출은 거짓이었을 수 있다.
본 발명의 실시예들은 또한 거짓 음성(false negative) 검출을 감소시키는 것을 도울 수 있다. 예를 들어, 폭발 이벤트가 배경에서 발생할 수 있지만 비디오에서는 보이지 않을 수 있다. 그러나, 오디오 트랙 상의 대응하는 시간에서 발생하는 오디오 속성들에 기초하여, 폭발이 실제로 발생했다는 것이 분명할 수 있다.
본 발명의 실시예들은 더 정확하고 몰입적인 햅틱 효과들을 생성하는 것을 도울 수 있다. 시각 및 오디오 처리를 조합함으로써, 햅틱 효과와 연관되는 이벤트의 특성들을 더 잘 매칭시키기 위해 생성된 햅틱들을 튜닝하는 데에 더 많은 속성이 사용될 수 있다. 그리고, 햅틱들이 자동으로 생성될 수 있기 때문에, 본 발명의 실시예는 모바일 디바이스들과 같은 애플리케이션들을 위해 또는 게임용 광고를 위해 경제적인 방식으로 햅틱들을 생성하는 데에 유리할 수 있다.
일반적인 고려사항들
위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들은 다양한 절차들 또는 컴포넌트들을 적절하게 생략하거나, 대체하거나, 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과는 상이한 순서로 수행될 수 있고/있거나, 다양한 스테이지들이 추가, 생략 및/또는 결합될 수 있다. 또한, 특정 구성들과 관련하여 설명된 특징들은 다양한 다른 구성들에서 결합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 결합될 수 있다. 또한, 기술이 발전하고, 따라서 많은 요소들이 예들이며, 본 개시내용 또는 청구항들의 범위를 제한하지 않는다.
예시적인 구성들(구현들을 포함함)의 철저한 이해를 제공하기 위해 특정 상세사항들이 설명에서 주어진다. 그러나, 구성들은 이들 특정 상세사항 없이 실시될 수 있다. 예를 들어, 구성들을 불명확하게 하지 않기 위해 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 불필요한 상세사항 없이 제시되었다. 이 설명은 예시적인 구성들만을 제공하고, 청구항들의 범위, 적용가능성, 또는 구성들을 제한하지 않는다. 오히려, 구성들에 대한 선행하는 설명은 이 기술분야의 통상의 기술자에게 설명된 기법들을 구현하는 것을 가능하게 하는 설명을 제공할 것이다. 본 개시내용의 사상 또는 범위로부터 벗어나지 않고 요소들의 기능 및 배열에 대해 다양한 변화가 이루어질 수 있다.
또한, 구성들은 흐름도 또는 블록도로서 도시되는 프로세스로서 설명될 수 있다. 각각이 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 더구나, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비-일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 작업들을 수행할 수 있다.
여러 예시적인 구성들을 설명하였지만, 본 개시내용의 사상으로부터 벗어나지 않고 다양한 수정들, 대안적인 구성들, 및 등가물들이 사용될 수 있다. 예를 들어, 위의 요소들은 더 큰 시스템의 컴포넌트들일 수 있고, 다른 규칙들은 본 발명의 애플리케이션보다 우선하거나 또는 다른 방식으로 그것을 수정할 수 있다. 또한, 위의 요소들이 고려되기 이전에, 동안에, 또는 이후에 다수의 단계들이 수행될 수 있다. 따라서, 위의 설명은 청구항들의 범위를 한정하지 않는다.
본 명세서에서 "~하도록 적응되는" 또는 "~하도록 구성되는"의 사용은 추가적인 작업들 또는 단계들을 수행하도록 적응되거나 구성되는 디바이스들을 배제하지 않는 개방적이고 포함적인 언어를 의미한다. 또한, "~에 기초하여"의 사용은, 하나 이상의 인용된 조건들 또는 값들에 "기초하는" 프로세스, 단계, 계산, 또는 다른 액션이, 실제로, 인용된 것들을 넘어서 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서 개방적이고 포함적인 것으로 의도된다. 본 명세서에 포함되는 제목, 리스트 및 넘버링은 설명의 편의를 위한 것일 뿐이고 제한적인 것을 의미하는 것은 아니다.
본 발명 요지의 양태들에 따른 실시예들은 디지털 전자 회로에, 컴퓨터 하드웨어, 펌웨어, 소프트웨어에, 또는 이들의 조합들에 구현될 수 있다. 일 실시예에서, 컴퓨터는 하나의 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는 센서 샘플링 루틴, 선택 루틴들, 및 전술한 방법들을 수행하기 위한 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), ASIC(application-specific integrated circuit), FPGA(field-programmable gate array)들, 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC들, 프로그래밍 가능 인터럽트 제어기들(programmable interrupt controllers)(PIC들), 프로그래밍 가능 로직 디바이스들(programmable logic devices)(PLD들), 프로그래밍 가능 판독 전용 메모리들(programmable read-only memories)(PROM들), 전자적으로 프로그래밍 가능 판독 전용 메모리들(EPROM들 또는 EEPROM들), 또는 다른 유사한 디바이스들과 같은 프로그래밍 가능 전자 디바이스들을 추가로 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 수행되거나 도움을 받아 본 명세서에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어, 유형의(tangible) 컴퓨터 판독가능 매체를 포함할 수 있거나 또는 이와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기, 또는 다른 저장 디바이스들을 포함할 수 있고, 이에 제한되지 않는다. 매체의 다른 예들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하고, 이에 제한되지 않는다. 또한, 라우터, 사설 또는 공공 네트워크, 또는 다른 송신 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 처리는 하나 이상의 구조로 될 수 있으며, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수 있다.
본 발명 요지는 그의 특정 실시예들과 관련하여 상세히 설명되었지만, 이 기술분야의 통상의 기술자들은, 전술한 내용을 이해하게 되면, 이러한 실시예들의 변경들, 변형들, 및 등가물들을 쉽게 만들어 낼 수 있다는 것을 알 것이다. 따라서, 본 개시내용은 제한보다는 오히려 예시의 목적으로 제시되는 것이며, 이 기술분야의 통상의 기술자에게 쉽게 명백한 바와 같은 본 발명 요지에 대한 이러한 수정들, 변형들 및/또는 추가들의 포함을 배제하지 않는다는 것을 이해해야 한다.

Claims (25)

  1. 프로그램 코드를 포함하는 비-일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    오디오 신호를 수신하고;
    상기 오디오 신호와 연관된 오디오 속성(audio property)을 식별하고;
    비디오 신호를 수신하고;
    상기 비디오 신호와 연관된 비디오 속성을 식별하고 - 상기 비디오 속성은 상기 오디오 속성에 대응함 - ;
    상기 오디오 속성 및 상기 비디오 속성에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고;
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하게 하도록
    구성되는, 컴퓨터 판독가능 매체.
  2. 제1항에 있어서, 실행될 때:
    상기 오디오 신호에 적어도 부분적으로 기초하여 제1 예비 햅틱 효과를 결정하고;
    상기 오디오 신호에 적어도 부분적으로 기초하여 제2 예비 햅틱 효과를 결정하고;
    상기 제1 예비 햅틱 효과 및 상기 제2 예비 햅틱 효과에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하도록
    구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  3. 제1항에 있어서, 실행될 때, 상기 오디오 속성을 식별하기 전에 오디오 데이터를 필터링하도록 구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  4. 제1항에 있어서, 실행될 때:
    상기 오디오 속성에 기초하여 이벤트가 발생하는 제1 가능성을 결정하고;
    상기 비디오 속성에 기초하여 상기 이벤트가 발생하는 제2 가능성을 결정하도록
    구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  5. 제4항에 있어서, 실행될 때, 상기 제1 가능성과 상기 제2 가능성 둘 다가 50%보다 큰 경우 상기 이벤트가 발생했다는 것을 확인하도록 구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  6. 제4항에 있어서, 실행될 때, 상기 제1 가능성 또는 상기 제2 가능성 중 어느 하나가 50% 미만인 경우 상기 오디오 속성 및 상기 비디오 속성을 더 분석하도록 구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  7. 제1항에 있어서, 상기 오디오 속성은 크기, 주파수, 엔벨로프, 간격, 및 피크 중 하나 이상을 포함하는, 컴퓨터 판독가능 매체.
  8. 제1항에 있어서, 상기 비디오 속성은 컬러, 모션 벡터, 에지, 특징점, 및 밝기 중 하나 이상을 포함하는, 컴퓨터 판독가능 매체.
  9. 제1항에 있어서, 실행될 때, 픽셀 데이터로부터 상기 오디오 속성을 추출하도록 구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  10. 제1항에 있어서, 실행될 때, 상기 비디오 데이터 또는 상기 오디오 데이터에 대한 전처리를 수행하도록 구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  11. 제10항에 있어서, 전처리는 필터링을 포함하는, 컴퓨터 판독가능 매체.
  12. 제1항에 있어서, 실행될 때, 멀티미디어 파일로부터 상기 오디오 신호 및 상기 비디오 신호를 추출하도록 구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  13. 제12항에 있어서, 상기 오디오 신호 및 비디오 신호는 비동기적으로 수신되는, 컴퓨터 판독가능 매체.
  14. 제1항에 있어서, 실행될 때, 햅틱 효과를 결정할 때 상기 오디오 속성 및 상기 비디오 속성에 상대적 가중치를 할당하도록 구성되는 프로그램 코드를 추가로 포함하는, 컴퓨터 판독가능 매체.
  15. 제14항에 있어서, 상기 상대적 가중치는 정적으로 또는 동적으로 할당되는, 컴퓨터 판독가능 매체.
  16. 제14항에 있어서, 상기 상대적 가중치는 0 내지 100의 수인, 컴퓨터 판독가능 매체.
  17. 방법으로서,
    오디오 신호를 수신하는 단계;
    상기 오디오 신호와 연관된 오디오 속성을 식별하는 단계;
    비디오 신호를 수신하는 단계;
    상기 비디오 신호와 연관된 비디오 속성을 식별하는 단계 - 상기 비디오 속성은 상기 오디오 속성에 대응함 - ;
    상기 오디오 속성 및 상기 비디오 속성에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하는 단계
    를 포함하는, 방법.
  18. 제17항에 있어서, 실행될 때:
    상기 오디오 신호에 적어도 부분적으로 기초하여 제1 예비 햅틱 효과를 결정하고;
    상기 오디오 신호에 적어도 부분적으로 기초하여 제2 예비 햅틱 효과를 결정하고;
    상기 제1 예비 햅틱 효과 및 상기 제2 예비 햅틱 효과에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하도록
    구성되는 프로그램 코드를 추가로 포함하는, 방법.
  19. 제17항에 있어서, 상기 오디오 속성을 식별하기 전에 오디오 데이터를 필터링하는 단계를 추가로 포함하는, 방법.
  20. 제17항에 있어서,
    상기 오디오 속성에 기초하여 이벤트가 발생하는 제1 가능성을 결정하는 단계; 및
    상기 비디오 속성에 기초하여 상기 이벤트가 발생하는 제2 가능성을 결정하는 단계
    를 추가로 포함하는, 방법.
  21. 제20항에 있어서, 상기 제1 가능성과 상기 제2 가능성 둘 다가 50%보다 큰 경우 상기 이벤트가 발생했다는 것을 확인하는 단계를 추가로 포함하는, 방법.
  22. 제2항에 있어서, 상기 제1 가능성 또는 상기 제2 가능성 중 어느 하나가 50% 미만인 경우 상기 오디오 속성 및 상기 비디오 속성을 더 분석하는 단계를 추가로 포함하는, 방법.
  23. 제17항에 있어서, 상기 오디오 속성은 크기, 주파수, 엔벨로프, 간격, 및 피크 중 하나 이상을 포함하는, 방법.
  24. 제17항에 있어서, 상기 비디오 속성은 컬러, 모션 벡터, 에지, 특징점, 및 밝기 중 하나 이상을 포함하는, 방법.
  25. 제17항에 있어서, 픽셀 데이터로부터 상기 오디오 속성을 추출하는 단계를 추가로 포함하는, 방법.
KR1020190080653A 2018-07-09 2019-07-04 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들 KR20200006002A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/029,876 US20200012347A1 (en) 2018-07-09 2018-07-09 Systems and Methods for Providing Automatic Haptic Generation for Video Content
US16/029,876 2018-07-09

Publications (1)

Publication Number Publication Date
KR20200006002A true KR20200006002A (ko) 2020-01-17

Family

ID=67226066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080653A KR20200006002A (ko) 2018-07-09 2019-07-04 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (1) US20200012347A1 (ko)
EP (1) EP3594785A1 (ko)
JP (1) JP2020010322A (ko)
KR (1) KR20200006002A (ko)
CN (1) CN110703903A (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453048A (zh) * 2020-03-25 2021-09-28 上海哔哩哔哩科技有限公司 音视频的触觉反馈设置方法、播放方法及计算机设备
CN111610856B (zh) * 2020-04-30 2024-04-26 北京小米移动软件有限公司 震动反馈方法、震动反馈装置及存储介质
WO2022056915A1 (zh) 2020-09-21 2022-03-24 深圳大学 一种基于电容按键的人机交互方法和交互系统
CN112506341B (zh) * 2020-12-01 2022-05-03 瑞声新能源发展(常州)有限公司科教城分公司 一种振动效果的生成方法、装置、终端设备及存储介质
JP2022097227A (ja) * 2020-12-18 2022-06-30 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
US20220305379A1 (en) * 2021-03-24 2022-09-29 D-Box Technologies Inc. Motion track generation for motion platform
KR102575318B1 (ko) * 2021-05-07 2023-09-07 포항공과대학교 산학협력단 모션효과제공장치 및 방법
WO2022264537A1 (ja) * 2021-06-15 2022-12-22 ソニーグループ株式会社 触覚信号生成装置、触覚信号生成方法、プログラム
GB2615361B (en) * 2022-02-08 2024-05-29 Sony Interactive Entertainment Europe Ltd Method for generating feedback in a multimedia entertainment system

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388992A (en) * 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6374095B1 (en) * 1997-11-07 2002-04-16 Honeywell International Inc. Method and apparatus for providing a squelch function on narrow band radio receivers
US20060227237A1 (en) * 2005-03-31 2006-10-12 International Business Machines Corporation Video surveillance system and method with combined video and audio recognition
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US20110125790A1 (en) * 2008-07-16 2011-05-26 Bum-Suk Choi Method and apparatus for representing sensory effects and computer readable recording medium storing sensory effect metadata
CN103003775A (zh) * 2010-06-28 2013-03-27 Tp视觉控股有限公司 增强内容观看体验
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101869562B1 (ko) * 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
WO2013177663A1 (en) * 2012-06-01 2013-12-05 Research In Motion Limited Methods and devices for providing companion services to video
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US8984568B2 (en) * 2013-03-13 2015-03-17 Echostar Technologies L.L.C. Enhanced experience from standard program content
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
WO2015075191A1 (en) * 2013-11-25 2015-05-28 Thomson Licensing Method for generating haptic coefficients using an autoregressive model, signal and device for reproducing such coefficients
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
US10437341B2 (en) * 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US9588588B2 (en) * 2014-09-22 2017-03-07 Disney Enterprises, Inc. Customized haptic effects
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10129608B2 (en) * 2015-02-24 2018-11-13 Zepp Labs, Inc. Detect sports video highlights based on voice recognition
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US9734866B2 (en) * 2015-09-25 2017-08-15 Intel Corporation Perceptual computing input to determine post-production effects
US20170178346A1 (en) * 2015-12-16 2017-06-22 High School Cube, Llc Neural network architecture for analyzing video data
GB2548614A (en) * 2016-03-24 2017-09-27 Nokia Technologies Oy Methods, apparatus and computer programs for noise reduction
CN106267552B (zh) * 2016-07-25 2020-03-10 京东方科技集团股份有限公司 一种穿戴设备、虚拟现实方法和终端系统
US10102723B2 (en) * 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11567726B2 (en) * 2017-07-21 2023-01-31 Google Llc Methods, systems, and media for providing information relating to detected events
US10360775B1 (en) * 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands

Also Published As

Publication number Publication date
EP3594785A1 (en) 2020-01-15
US20200012347A1 (en) 2020-01-09
JP2020010322A (ja) 2020-01-16
CN110703903A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
KR20200006002A (ko) 비디오 콘텐츠에 대한 자동 햅틱 생성을 제공하기 위한 시스템들 및 방법들
CN105320267B (zh) 用于拟音风格的触觉内容创建的系统和方法
JP6709261B2 (ja) スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法
KR102357633B1 (ko) 대화 감지
US20180196520A1 (en) Automatic tuning of haptic effects
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
CN105917350B (zh) 隐私保护传感器装置
US10101813B2 (en) Automatic haptic generation based on color features and motion analysis
EP3582101A1 (en) Systems and methods for designing haptics using speech commands
CN113676592A (zh) 录音方法、装置、电子设备及计算机可读介质
CN111158487A (zh) 使用无线耳机与智能终端进行交互的人机交互方法
WO2017184274A1 (en) System and method for determining and modeling user expression within a head mounted display
CN114728204A (zh) 包括游戏应用/服务的应用/服务的声音数据的可视化扩展功能
EP3654205A1 (en) Systems and methods for generating haptic effects based on visual characteristics
KR20160133305A (ko) 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
CN113220590A (zh) 语音交互应用的自动化测试方法、装置、设备及介质
CN113497912A (zh) 通过语音和视频定位的自动取景
CN107220021B (zh) 语音输入识别方法、装置及头戴式设备
US11513762B2 (en) Controlling sounds of individual objects in a video
CN112153461B (zh) 用于定位发声物的方法、装置、电子设备及可读存储介质
US20200104580A1 (en) Cognitive rendering of inputs in virtual reality environments
CN114779924A (zh) 头戴显示设备及控制家居设备的方法、存储介质