KR20150028735A - 햅틱 신호의 멀티플렉싱 및 디멀티플렉싱 - Google Patents

햅틱 신호의 멀티플렉싱 및 디멀티플렉싱 Download PDF

Info

Publication number
KR20150028735A
KR20150028735A KR20140116770A KR20140116770A KR20150028735A KR 20150028735 A KR20150028735 A KR 20150028735A KR 20140116770 A KR20140116770 A KR 20140116770A KR 20140116770 A KR20140116770 A KR 20140116770A KR 20150028735 A KR20150028735 A KR 20150028735A
Authority
KR
South Korea
Prior art keywords
haptic
signal
multiplexed signal
demultiplexing
sample
Prior art date
Application number
KR20140116770A
Other languages
English (en)
Other versions
KR102274718B1 (ko
Inventor
스테판 디 랭크
사트비르 싱 바티아
아납 센
후안 마누엘 크루즈-에르난데스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150028735A publication Critical patent/KR20150028735A/ko
Application granted granted Critical
Publication of KR102274718B1 publication Critical patent/KR102274718B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시스템은 그 안에서 인코딩되는 2개 이상의 상이한 타입들의 햅틱 신호들을 갖는 멀티플렉싱된 신호를 수신한다. 각각의 타입의 햅틱 신호는 상이한 타입들의 햅틱 출력 장치들에 대한 햅틱 신호를 나타낸다. 시스템은 햅틱 재생 장치 상에 위치된 타겟 햅틱 출력 효과를 결정한다. 시스템은 멀티플렉싱된 신호를 적어도 타겟 출력 장치에 상응하는 타입의 햅틱 신호로 디멀티플렉싱한다. 시스템은 디멀티플렉싱된 햅틱 신호를 타겟 햅틱 출력 장치에 제공한다.

Description

햅틱 신호의 멀티플렉싱 및 디멀티플렉싱{MULTIPLEXING AND DEMULTIPLEXING HAPTIC SIGNALS}
관련 출원들에 대한 교차 참조
본 출원은 2013년 11월 21일에 출원된 임시 특허 출원 일련 번호 제61/907,138호, 및 2013년 9월 6일에 출원된 임시 특허 출원 일련 번호 제61/874,920호의 우선권을 주장하며, 그 각각의 내용들은 본원에서 참조로서 원용된다.
분야
일 실시예는 햅틱 가능(haptically-enabled) 장치에 관한 것이다. 특히, 일 실시예는 햅틱 효과들을 발생시키기 위해 햅틱 신호들을 멀티플렉싱하거나 디멀티플렉싱하는 시스템에 관한 것이다.
전자 장치 제조자들은 사용자들을 위한 풍부한 인터페이스를 제조하려고 노력하고 있다. 종래의 장치들은 사용자에게 피드백을 제공하기 위해 시각 및 청각 큐들(cues)을 이용한다. 일부 인터페이스 장치들에서, 운동 감각 피드백(예를 들어 능동 및 저항성 힘 피드백) 및/또는 촉각 피드백(예를 들어 진동, 텍스처, 및 열)이 또한 사용자에게 제공되는 데, 더 일반적으로는 집합적으로 "햅틱 피드백" 또는 "햅틱 효과들"로 알려져 있다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 단순화시키는 큐들을 제공할 수 있다. 예를 들어, 진동 효과들, 또는 진동 촉각 햅틱 효과들은 특정 이벤트들을 사용자에게 경고하기 위해 전자 장치들의 사용자들에게 큐들을 제공하는 데 있어서 유용할 수 있거나, 시뮬레이션된 또는 가상 환경 내에서 더 큰 감각 몰입을 일으키도록 실제적 피드백을 제공할 수 있다.
햅틱 피드백은 또한 휴대 전화들, 스마트폰들, 휴대용 게임 장치들, 차량 기반 장치들 및 인터페이스들과 같은 휴대용 및 이동 전자 장치들, 및 여러 가지 다른 휴대용 및 이동 전자 장치들에 점점 더 통합되었다. 예를 들어, 일부 휴대용 게임 애플리케이션들은 햅틱 피드백을 제공하도록 구성된 대규모 게임 시스템들과 함께 이용되는 제어 장치들(예를 들어, 조이스틱들 등)과 유사한 방식으로 진동할 수 있다.
진동 또는 다른 효과들을 발생시키기 위해, 다수 장치들은 몇몇 타입의 액추에이터 또는 햅틱 출력 장치를 이용한다. 이를 위해 이용되는 알려진 액추에이터들은 솔레노이드 액추에이터, 편심 질량체(eccentric mass)가 모터에 의해 이동되는 "ERM"(Eccentric Rotating Mass) 액추에이터, "LRA"(Linear Resonant Actuator vibration motor)와 같은 전자기 액추에이터, 또는 압전 액추에이터를 포함한다. 이러한 타겟 햅틱 액추에이터들 각각은 햅틱 효과에 대한 파라미터들을 제공하는 햅틱 제어 신호를 수신한다. 그러나, 특정 햅틱 효과에 대해, 햅틱 효과를 제공하는 액추에이터에 기초하여 햅틱 제어 신호가 변화될 필요가 있을 수 있다. 따라서, 하나의 햅틱 액추에이터에 대해, 제어 신호는 예를 들어 온 또는 오프 조건을 나타내는 한 타입의 신호일 수 있는 반면, 다른 햅틱 액추에이터에 대해, 제어 신호는 예를 들어 위치 값을 나타내는 다른 타입의 신호일 수 있다.
일 실시예는 그 안에서 인코딩되는 2개 이상의 상이한 타입들의 햅틱 신호들을 갖는 멀티플렉싱된 신호를 수신한다. 각각의 타입의 햅틱 신호는 상이한 타입들의 햅틱 출력 장치들에 대한 햅틱 신호를 나타낸다. 시스템은 햅틱 재생 장치 상에 위치된 타겟 햅틱 출력 효과를 결정한다. 시스템은 멀티플렉싱된 신호를 적어도 타겟 출력 장치에 상응하는 타입의 햅틱 신호로 디멀티플렉싱한다. 시스템은 디멀티플렉싱된 햅틱 신호를 타겟 햅틱 출력 장치에 제공한다.
도 1은 본 발명의 일 실시예에 따른 햅틱 가능 시스템의 도면이다.
도 2는 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하는 하이 레벨 로직을 예시하는 블록도이다.
도 3은 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다.
도 4는 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다.
도 5는 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다.
도 6은 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다.
도 7은 일 실시예에 따른 햅틱 제어 신호들을 멀티 채널 스트림으로 멀티플렉싱하는 하이 레벨 로직을 예시하는 블록도이다.
도 8은 일 실시예에 따른 멀티 채널 파일에 대한 헤더 정보의 일 예를 포함한다.
도 9는 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다.
일 실시예는 동일한 입력 또는 소스로부터 적어도 2개의 햅틱 신호들을 발생시키는 시스템이다. 2개의 햅틱 신호들은 2개의 상이한 타겟 햅틱 출력 장치들 상에 재생될 햅틱 효과를 나타낸다. 시스템은 신호들을 햅틱 재생 장치에 송신되는 단일 멀티플렉싱된 햅틱 신호 스트림으로 멀티플렉싱하고/인코딩한다. 햅틱 재생 장치에서, 신호들이 디멀티플렉싱되고/디코딩되며 적절한 햅틱 신호가 햅틱 출력 장치 타입에 기초하여 장치 상에 재생된다.
도 1은 본 발명의 일 실시예에 따른 햅틱 가능 시스템(10)의 블록도이다. 시스템(10)은 하우징(15) 내에 장착된 터치 감응성 표면(11) 또는 다른 타입의 사용자 인터페이스를 포함하고, 기계적 키들/버튼들(13)을 포함할 수 있다. 시스템(10)에는 시스템(10) 상에서 진동들을 발생시키는 햅틱 피드백 시스템이 내장된다. 일 실시예에서, 진동들은 터치 표면(11) 상에서 발생된다.
햅틱 피드백 시스템은 프로세서 또는 컨트롤러(12)를 포함한다. 프로세서(12)에는 메모리(20) 및 액추에이터 구동 회로(16)가 결합되며, 액추에이터 구동 회로(16)는 액추에이터(18)에 결합된다. 액추에이터(18)는 "ERM"(Eccentric Rotating Mass), "LRA"(Linear Resonant Actuator vibration motor), 압전 모터, 또는 솔레노이드 액추에이터를 제한 없이 포함하는, 임의의 타입의 "DC"(Direct Current) 모터일 수 있다. 액추에이터(18)에 더하여 또는 액추에이터 대신에, 시스템(10)은 "ESF"(electrostatic friction), "USF"(ultrasonic surface friction)를 이용하는 장치들, 초음파 햅틱 변환기로 음향 방출 압력을 유도하는 장치들, 햅틱 기판 및 가요성 또는 변형가능 표면 또는 형상 변화 장치들을 이용하고 사용자의 신체에 부착될 수 있는 장치들, 에어 제트를 이용하는 에어의 퍼프(puff)와 같은 발사된 햅틱 출력을 제공하는 장치들, 전기 근육 자극을 제공하는 장치들 등과 같은 비기계적 또는 비진동성 장치들일 수 있는 다른 타입들의 햅틱 출력 장치들(도시되지 않음)을 포함할 수 있다.
프로세서(12)는 임의의 타입의 범용 프로세서일 수 있거나, "ASIC"(application-specific integrated circuit)와 같은, 햅틱 효과들을 제공하 도록 특별히 설계된 프로세서일 수 있다. 프로세서(12)는 전체 시스템(10)을 동작시키는 동일한 프로세서일 수 있거나, 개별 프로세서일 수 있다. 프로세서(12)는 하이 레벨 파라미터들에 기초하여 어떤 햅틱 효과들이 재생될 것인지 및 그 효과들이 재생되는 순서를 결정할 수 있다. 일반적으로, 특정 햅틱 효과를 정의하는 하이 레벨 파라미터들은 크기, 주파수, 및 지속 시간을 포함한다. 스트리밍 모터 명령들과 같은 로우 레벨 파라미터들이 특정 햅틱 효과를 결정하는 데 이용될 수도 있다. 햅틱 효과는 햅틱 효과가 발생될 때 이러한 파라미터들의 어떤 변동을 포함하거나 사용자의 상호작용에 기초한 이러한 파라미터들의 변동을 포함한다면 "동적"이라고 간주될 수 있다.
프로세서(12)는 제어 신호들을 액추에이터 구동 회로(16)에 출력하며, 액추에이터 구동 회로(16)는 원하는 햅틱 효과들을 초래하도록 필요한 전기 전류 및 전압(즉, "모터 신호들")을 액추에이터(18)에 공급하는 데 이용되는 전자 부품들 및 회로를 포함한다. 햅틱 효과들이 비디오 파일과 같은 멀티미디어 파일의 재생에 상응하는 경우들에서, 프로세서(12)는 햅틱 제어 신호를 햅틱 구동 회로에 제공할 수 있다. 시스템(10)은 둘 이상의 액추에이터(18)를 포함할 수 있고, 각각의 액추에이터는 공통 프로세서(12)에 모두 결합된 개별 구동 회로(16)를 포함할 수 있다. 메모리 장치(20)는 "RAM"(random access memory) 또는 "ROM"(read-only memory)과 같은 임의의 타입의 저장 장치 또는 컴퓨터 판독가능 매체일 수 있다. 메모리(20)는 프로세서(12)에 의해 실행되는 명령어들을 저장한다. 명령어들 중에서, 메모리(20)는 아래에 더 상세히 개시된 바와 같이, 프로세서(12)에 의해 실행될 때, 햅틱 효과들을 제공하는 액추에이터(18)에 대한 구동 신호들을 발생시키는 명령어들인 햅틱 효과 모듈(22)을 포함한다. 메모리(20)는 또한 프로세서(12)의 내부에 위치되거나, 내부 및 외부 메모리의 임의의 조합일 수 있다.
터치 표면(11)은 터치들을 인식하고, 표면 상의 터치들의 위치 및 크기를 인식할 수도 있다. 터치들에 상응하는 데이터는 시스템(10) 내의 프로세서(12), 또는 다른 프로세서에 송신되고, 프로세서(12)는 터치들을 해석하고 이에 응답하여 햅틱 효과 신호들을 발생시킨다. 터치 표면(11)은 용량 감지, 저항 감지, 표면 음향파 감지, 압력 감지, 광 감지 등을 포함하는, 임의의 감지 기술을 이용하여 터치들을 감지할 수 있다. 터치 표면(11)은 멀티 터치 접촉들을 감지할 수 있고 동일한 시간에 발생하는 다수의 터치들을 구별할 수 있다. 터치 표면(11)은 사용자가 예를 들어 키들, 다이어들 등과 상호 작용하기 위한 이미지들을 발생시키고 디스재생하는 터치스크린일 수 있거나, 최소 이미지를 갖거나 어떤 이미지도 갖지 않는 터치패드일 수 있다.
시스템(10)은 휴대 전화, "PDA"(personal digital assistant), 스마트폰, 컴퓨터 태블릿, 게임 콘솔, 차량 기반 인터페이스 등과 같은 핸드헬드 장치일 수 있거나, 하나 이상의 액추에이터들을 포함하는 햅틱 효과 시스템을 포함하는 임의의 다른 타입의 장치일 수 있다. 사용자 인터페이스는 터치 감응성 표면일 수 있거나, 마우스, 터치패드, 미니 조이스틱, 스크롤 휠, 트랙볼, 게임 패드들 또는 게임 컨트롤러들 등과 같은 임의의 다른 타입의 사용자 인터페이스일 수 있다. 둘 이상의 액추에이터를 갖는 실시예들에서, 각각의 액추에이터는 장치 상에 광범위한 햅틱 효과들을 생성하기 위해 상이한 회전 능력을 가질 수 있다.
사용자 인터페이싱 햅틱 효과들을 제공하는 것에 더하여, 시스템(10)은 예를 들어 비디오 또는 오디오 파일과 함께 시스템(10) 내의 재생을 위한 정적 발생 햅틱 효과들을 제공할 수 있다.
상이한 장치들은 상이한 레벨들의 햅틱 재생 능력을 지원한다. 햅틱 재생 장치에 의해 지원되는 햅틱 신호들의 타입은 이용된 액추에이터 및 액추에이터의 구동 회로에 의존한다. 일부 장치들은 온/오프 이진 신호에 따라 액추에이터를 턴 온하거나 오프하는 햅틱 신호로 액추에이터(18)와 같은 햅틱 액추에이터를 제어하는 "기본 햅틱들"만을 지원할 수 있다. 기본 햅틱 신호에 대한 하나의 샘플 레이트는 200Hz일 수 있지만, 다른 샘플 레이트들이 이용될 수 있다. 기본 햅틱 신호의 일 예에서, ERM 액추에이터는 기본 햅틱 신호에 응답하도록 구성될 수 있다. 제어 신호가 ERM이 온되는 것을 통지하면, ERM 액추에이터에 대한 햅틱 구동 회로(예를 들어, 구동 회로(16))는 기본 햅틱 신호에 따라 ERM 액추에이터를 턴 온할 것이다.
일부 장치들은 표준 해상도 햅틱 신호의 각각의 샘플에 대한 128의 비음수(non-negative) 값들 중 하나로 인코딩된 신호에 따라 햅틱 효과의 강도를 변화시키는 햅틱 신호로 액추에이터(18)와 같은 햅틱 액추에이터를 제어하는 "표준 해상도" 햅틱들을 지원할 수 있다. 표준 햅틱 신호에 대한 하나의 샘플 레이트는 200Hz일 수 있지만, 다른 샘플 레이트들이 이용될 수 있다. 표준 해상도 햅틱 신호의 일 예에서, LRA 액추에이터는 표준 해상도 햅틱 신호에 응답하도록 구성될 수 있다. LRA 액추에이터에 대한 햅틱 구동 회로는 각각의 5 ms 샘플로 진폭 정보에 따라 LRA 액추에이터를 제어할 것이다.
일부 장치들은 고해상도 햅틱 신호의 각각의 샘플에 대한 +/- 127의 값으로 인코딩된 신호에 따라 햅틱 효과의 강도를 변화시키는 햅틱 신호로 액추에이터(18)와 같은 햅틱 액추에이터를 제어하는 "고해상도" 햅틱들을 지원할 수 있다. 고해상도 햅틱 신호에 대한 하나의 샘플 레이트는 8 kHz일 수 있지만, 다른 샘플 레이트들이 이용될 수 있다. 고해상도 햅틱 신호들은 전형적으로 기본 햅틱 또는 표준 해상도 햅틱 신호들보다 더 높은 샘플 레이트들을 갖는다. 고해상도 햅틱 신호의 일 예에서, 압전 액추에이터는 고해상도 햅틱 신호에 응답하도록 구성될 수 있다. 압전 액추에이터에 대한 햅틱 구동 회로는 125　μs마다 진폭 정보에 따라 압전 액추에이터를 제어할 수 있다.
더욱이, 램프 업/다운 시간들은 LRA 액추에이터들과 ERM 액추에이터들 사이에서 그리고 심지어 상이한 모델들의 ERM 액추에이터들 사이에서 상당히 변화된다. 이것은 동일한 타입의 신호가 다수의 ERM들에 이용될 수 있지만, 각각의 액추에이터의 능력들에 기초하여 햅틱 효과 프로그래머가 상이한 효과들을 지정하기를 원할 수 있는 것을 의미한다. 햅틱 효과 프로그래머는 각각의 신호가 동일한 소스로부터 생성되는 상태에서 맞춤형 햅틱 신호를 다수의 타겟 장치들에 제공하기를 원할 수 있다.
가장 넓은 범위의 장치들에 걸쳐 상당히 만족스럽게 재생하는 단일 미디어 콘텐츠를 전달하려고 시도할 때 문제가 발생한다. 따라서, 햅틱 효과 프로그래머들이 직면하는 하나의 문제는 재생 장치에서 액추에이터 또는 다른 햅틱 출력 장치에 기초한 다수의 햅틱 제어 신호들을 제공하는 것에 대해 설명할 필요가 있을 수 있다는 것이다. 게다가, 프로그래머들은 어느 타입의 햅틱 출력 장치가 재생 장치 상에 이용되고 있는지를 인식하지 못할 수 있다. 이러한 문제를 처리하기 위해, 프로그래머들은 압전 액추에이터 또는 LRA 액추에이터를 위해 의도된 고해상도 또는 표준 해상도 신호를 제공하고 최종 장치가 그 신호를 필요에 따라 더 작거나 더 큰 해상도 신호들로 "워프(warp)"하는 것을 허용할 수 있었다. 이것은 예를 들어, LRA 액추에이터를 위해 의도되지만 압전 액추에이터 상에 실제로 재생되는 표준 해상도 햅틱 신호의 경우, 200 Hz 신호를 8 kHz 신호로 변환할 시에 입도가 손상되어, 기본적으로 압전 액추에이터를 고가의 LRA 액추에이터로 바꿔 놓기 때문에 이상적이지 않다. 압전 액추에이터를 위해 의도되지만 기본 햅틱들만을 지원하는 ERM 액추에이터 상에 실제로 재생되는 고해상도 신호의 경우, 변환은 ERM 액추에이터를 비효과적이게 할 수 있다.
하나의 옵션은 햅틱 제어 신호를 최종 장치 내의 햅틱 출력 장치들의 예상된 범위 각각에 제공할 수 있는 것이지만, 그렇게 행할 시에, 햅틱 신호들에 대한 대역폭 요건들이 증가될 것이고 일부 전달 메커니즘이 신호들을 조직하는 데 요구된다. 다른 옵션은 최고 비트레이트 신호에 대한 정상 할당 대역폭을 이용하여 데이터를 2개 이상의 햅틱 신호들을 하나의 신호로 통합하는 손실 방식(lossy way)으로 2개 이상의 햅틱 신호들을 함께 인코딩할 수 있는 것이다. 이러한 접근법들 둘 다는 본 명세서에서 고려된다.
인코드 / 디코드 멀티플렉싱
일부 실시예들은 하나의 포맷을 다른 포맷으로 변환하기 위해 장치(10)와 같은 최종 장치를 요구하지 않고, 햅틱 제어 신호들을 제공하는 데 대역폭을 증가시키는 것 없이 각각이 그 본래의 표현을 유지하도록 다수의 햅틱 신호들을 멀티플렉싱한다. 이러한 실시예들은 적어도 기본 햅틱 신호에 대한 엔드포인트 솔루션을 제공하며; 최종 장치의 능력들은 적어도 이용가능한 기본 햅틱 신호 없이, 반드시 사전에 햅틱 프로그래머에게 알려져 있는 것은 아니기 때문에, 재생 장치들 상에 실행되는 애플리케이션들 내에 재생되는 콘텐츠는 부적당한 햅틱 신호 변환 결과들에 의해 심하게 방해될 수 있다. 기본 햅틱 신호를 결합된 햅틱 파형으로 멀티플렉싱함으로써, 적어도 고품질의 기본 햅틱 경험이 생성된다.
도 2는 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하는 하이 레벨 로직을 예시하는 블록도이다. 요소들(205, 210, 및 215)은 햅틱 스트림들 A, B, 및 C 각각에 상응한다. 220에서, 햅틱 스트림들 A, B, 및 C는 단일 결합 스트림으로 멀티플렉싱된다. 225에서, 결합된 스트림이 햅틱 효과들에 렌더링하기 위해 재생 장치에 전달된다. 230에서, 결합된 스트림은 사용자에게 프리젠테이션하기 위해 도 1의 장치(10)와 같은 재생 장치에서 디멀티플렉싱된다. 240에서, 햅틱 스트림 A가 프로세서(12)에서 고려되고 스트림 A에 대한 스트림 타입이 시스템에 이용된 액추에이터의 타입에 상응하면,　244에서, 스트림이 구동 회로(16) 및 액추에이터(18)에 의해 시스템 상에 재생되며, 그렇지 않으면 242에서, 스트림이 무시된다. 250에서, 햅틱 스트림 B가 프로세서(12)에서 고려되고 스트림 B에 대한 스트림 타입이 시스템에 이용된 액추에이터의 타입에 상응하면, 254에서, 스트림이 구동 회로(16) 및 액추에이터(18)에 의해 시스템 상에 재생되며, 그렇지 않으면 252에서, 스트림이 무시된다. 260에서, 햅틱 스트림 C가 프로세서(12)에서 고려되고 스트림 C에 대한 스트림 타입이 시스템에 이용된 액추에이터의 타입에 상응하면, 264에서, 스트림이 구동 회로(16) 및 액추에이터(18)에 의해 시스템 상에 재생되며, 그렇지 않으면 262에서, 스트림이 무시된다. 대안으로, 일부 실시예들에서, 디멀티플렉서(230)는 시스템(10)에 이용된 액추에이터의 타입을 설명하는 정보에 액세스할 수 있다. 그러한 실시예들에서, 디멀티플렉싱(230)에서, 디멀티플렉서는 적절한 햅틱 스트림을 추출하여 구동 회로(16)에 송신한다.
일부 실시예들에서, 멀티플렉싱은 햅틱 프로그래머에 의해 또는 비디오 파일과 연관된 오디오 파일들과 같은, 오피오 파일들을 분석하고, 오디오 파일에 상응하는 햅틱 효과 파일을 발생시킬 수 있는 도구를 이용함으로써 햅틱 프로그래밍 환경 내에서 수행된다. 예를 들어, 애비드 코포레이션(Avid Corporation)의 프로 툴즈(Pro Tools) "오디오슈트(AudioSuite)" 플러그인은 오프라인 오디오-햅틱 변환기를 포함할 수 있다. 변환 알고리즘들은 오디오 신호들을 햅틱 신호들로 변환하기 위해 배치 커맨드(batch command) 라인 포맷들에 이용될 수도 있고 본 명세서에 설명된 바와 같은 신호들을 멀티플렉싱하는 데 이용될 수도 있다. 3개의 기본 타입 햅틱 효과 파일들이 발생될 수 있다: 기본 햅틱 신호, 표준 해상도 햅틱 신호, 및 고해상도 햅틱 신호(이 3개는 또한 본 명세서에서 "제어 신호들"로 언급됨). 당업자는 각각의 타입이 햅틱 스트림들의 다수 변화들을 가질 수 있도록 부가 타입들이 개발될 수 있고 다른 파라미터들이 변환에 수반될 수 있다는 점을 이해할 것이다. 소스가 햅틱 프로그래머에 의해 지정되는 오디오 소스 변환 또는 햅틱 효과들이든지, 이러한 3개의 햅틱 스트림들 각각은 동일한 입력 또는 소스로부터 유도되지만(그리고 동일한 일반 햅틱 효과를 제공하도록 의도됨), 이용가능한 다른 햅틱 출력 장치 기술들로 인해 다르다. 이러한 3개의 스트림들은 220에서 단일 스트림으로 멀티플렉싱될 수 있다. 그 다음, 멀티플렉싱된 신호는 햅틱 재생 장치(10)로 다운로딩되거나 스트리밍될 수 있다. 멀티플렉싱 및 디멀티플렉싱은 상이한 장치들 또는 동일한 장치에서 수행될 수 있다. 멀티플렉싱된 신호는 230에 있어서 재생 장치(10)에서 디멀티플렉싱될 것이고 재생 장치(10) 내의 액추에이터(18)의 타입에 상응하는 햅틱 신호가 햅틱 효과들을 재생하는 데 이용될 것이다. 다른 스트림들이 무시될 수 있다. 일부 실시예들에서, 230에서 디멀티플렉싱은 스트리밍 서버에서 발생할 수 있으며, 재생 장치(10)는 액추에이터(18)의 타입에 기초하여 특정 햅틱 신호를 요청한다. 그 다음, 스트리밍 서버는 햅틱 신호들을 디멀티플렉싱하고 액추에이터(18)에 대해 적절한 햅틱 신호를 스트리밍할 수 있다.
도 3은 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다. 일 실시예에서, 도 3(및 아래의 도 4-도 6 및 도 9)의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독가능 또는 유형의 매체에 저장되고, 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능은 하드웨어(예를 들어, "ASIC"(application specific integrated circuit), "PGA"(programmable gate array), "FPGA"(field programmable gate array) 등의 이용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
일부 실시예들에서, 기본 햅틱 신호는 표준 해상도 신호와 멀티플렉싱된다. 상술한 바와 같이, 기본 햅틱 신호는 일반적으로 대략 5 ms 또는 200 Hz의 주파수에서 온 또는 오프 상태를 나타내는 정보의 단일 비트들의 이산 샘플들로 구성된다. 표준 해상도 제어 신호는 일반적으로 또한 200　Hz의 주파수에서 정보의 서명된 바이트의 이산 진폭 샘플들로 구성된다. 일 실시예에서 도 3의 멀티플렉싱 프로세스는 표준 해상도 신호의 서명 비트가 기본 햅틱 신호를 그 대신에 인코딩하는 데 이용되는 비트 필드 조합이다.
305에서, 기본 햅틱 샘플 및 표준 해상도 샘플은 기본 햅틱 스트림 및 표준 해상도 스트림 각각으로부터 수신된다. 310에서, 표준 해상도 신호의 하부 7 비트들은 바이트를 값 0x7F(01111111)과 비트 논리곱함으로써 추출된다. 최종 바이트는 항상 0(zero)으로 시작할 것이다. 일부 실시예들에서, 표준 해상도 신호가 +/- 127의 값들을 이용하는 전체 범위 신호이면, 샘플 바이트는 값을 2로 나누기 위해 우측 시프트되지만, 서명 비트를 보존할 수 있다. 315에서, 기본 햅틱 신호는 바이트(16진으로 0x00 또는 0x01)에 의해 표현되고 비트들은 좌측 7배 시프트되어, 최하위 비트(the least significant bit)를 최상위 비트(the most significant bit)로 이동시켜, 0x80 또는 0x00의 값을 야기한다. 320에서, 표준 해상도 및 기본 햅틱 신호들은 단일 바이트를 생성하기 위해 2개의 값들을 비트 논리합함으로써 결합되며(또는 그들이 함께 추가될 수 있음), 최상위 비트는 기본 햅틱 신호에 상응하고 최하위 비트들은 표준 해상도 신호에 상응한다. 이것은 전체 멀티플렉싱된 햅틱 신호를 생성하기 위해 모든 샘플에 대해 반복된다.
결합된 신호를 재생 시간에 디멀티플렉싱하기 위해, 350에서, 결합된 신호는 샘플에 대한 정보의 단일 바이트로 수신될 것이다. 355에서, 표준 해상도 신호 샘플은 표준 해상도 샘플 바이트를 생성하기 위해 바이트를 0x7F와 비트 논리곱함으로써 추출될 것이다. 일부 실시예들에서, 표준 해상도 신호가 +/- 127의 원래 값들을 이용하는 전체 범위 신호이면, 신호 샘플은 샘플 값에 2를 곱하기 위해 좌측 시프트될 수 있어, 서명 비트를 복원한다. 아래에 더 상세히 설명되는 보간은 전체 범위 표준 해상도 신호가 2로 나누어졌을 때 손실된 신호 레벨들 사이에서 입도를 복원하는 데 이용될 수 있다. 360에서, 기본 햅틱 신호는 원래 결합된 신호를 취하고 7배 우측 시프트함으로써 추출되어, 최상위 비트를 취하위 비트의 위치에 놓고 전치영(leading zero)으로 채울 것이다. 365에서, 적절한 신호는 장치에서 발견되는 액추에이터 타입에 대해 선택된다. 적절한 디멀티플렉싱된 신호는 프로세서(12)에 의해 액추에이터(18)에 송신된다.
도 4는 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다. 이러한 실시예에 대해, 고해상도 햅틱 신호(예를 들어, 압전 액추에이터와 함께 이용됨)는 표준 해상도 햅틱 신호와 멀티플렉싱된다. 일부 실시예들에서, 고해상도 햅틱 신호는 8 kHz에서 전체 파형에 의해 표현되며 임의의 주어진 샘플에서의 값은 -127에서 127까지의 범위의 값을 갖는 정보의 바이트이다. 다른 실시예들은 16 kHz의 주파수와 같은 다른 주파수들 및 범위들에서 전체 파형에 의해 고해상도 햅틱 신호를 표현할 수 있다. 일부 실시예들에서, 고해상도 신호의 주파수는 변할 수 있다. 일부 실시예들에서, 표준 해상도 제어 신호(예를 들어, LRA 액추에이터와 함게 이용됨)는 임의의 주어진 샘플에서 정보의 서명된 바이트에 의해 표현되는 200 Hz에서의 진폭 신호이다. 다른 실시예들은 300 Hz의 주파수와 같은 다른 주파수들 및 범위들에서 표준 해상도 신호를 표현할 수 있다. 일부 실시예들에서, 표준 해상도 신호의 주파수는 변할 수도 있다. 당업자는 이러한 주파수들 및 범위들이 변할수 있다는 점을 이해할 것이지만, 고해상도 신호를 재생하도록 설계된 액추에이터가 전형적으로 표준 해상도 신호를 재생하도록 설계된 액추에이터보다 훨씬 더 높은 주파수를 처리할 수 있다는 점을 이해할 것이다. 도 4의 멀티플렉싱 프로세스는 고해상도 신호의 샘플 서브세트들을 통해 DC 오프셋을 생성할 수 있다.
405에서, 고해상도 및 표준 해상도 제어 신호들이 수신된다. 410에서, 표준 해상도 제어 신호가 고해상도 제어 신호 주파수와 일치하도록 업 샘플링된다. 계산식 변위를 감소시키고 평활화를 제공하는 일부 보간은 표준 해상도 신호 주파수가 고해상도 제어 주파수의 직접적인 배수인지에 따라 요구될 수 있다. 415에서, 2개의 신호들은 2로 나누어져, 나머지를 손실시킨다. 이러한 나누기는 각각의 샘플을 하나의 위치로 우측 시프트시킴으로써 수행될 수 있어, 최하위 비트를 손실시킨다. 다른 실시예들에서, 415에서, 2개의 신호들은 그것의 부가가 출력의 예상된 범위 내에 있도록 조정된다. 예를 들어, 출력이 +/- 127로부터의 범위로 예상되는 경우, 일 실시예에서, 고해상도 신호는 60%만큼 조정될 수 있고 표준 해상도 신호는 40%만큼 조정될 수 있어, 그것의 부가는 100%와 동일할 것이다. 이것은 공지된 수단들, 예를 들어 플로트 값을 갖는 멀티플라이어 또는 조정된 값을 갖는 디바이더에 의해 달성될 수 있다. 값들은 설계자가 다른 신호를 통해 하나의 신호의 정확성을 강조하기를 원하는지에 따라 임의의 표현으로 조정될 수 있다. 일반적으로, 더 높게 조정된 신호는 디코딩/디멀티플렉싱할 때 더 정확할 것이다. 420에서, 2개의 신호들은 결합된 신호를 생성하기 위해 함께 추가된다. 일부 신호들에 대해, 이것은 표준 해상도 신호가 고해상도 신호보다 훨씬 더 낮은 주파수에서 변화하고 따라서 고해상도 제어 신호에 대한 DC 오프셋으로서 나타나기 때문에 고해상도 신호에 대한 DC 오프셋을 효과적으로 생성한다. 2개의 신호들이 2로 나누어졌기(또는 상술한 바와 같은 일부 다른 값으로 조정되었기) 때문에, 일부 입도는 범위가 -127 내지 127에서 -63 내지 63으로 감소되므로 양 신호들에 대해 손실된다. 이것은 전체 멀티플렉싱된 햅틱 신호를 생성하기 위해 모든 샘플에 대해 반복된다.
결합된 신호를 재생 장치(10)에서 디멀티플렉싱하기 위해, 450에서, 결합된 멀티플렉싱 신호가 수신된다. 8 kHz 결합된 신호의 임의의 주어진 샘플은 1 바이트에 의해 표현된다. 455에서, DC 오프셋이 제거된다. DC 오프셋을 제거하는 기술은 본 분야에 공지되어 있다. 표준 해상도 신호에 대해, 결합된 신호는 저역 통과 필터를 통해 놓여질 수 있어, 저주파수 표준 해상도 신호가 통과하는 것을 허용하지만, 고주파수 고해상도 신호가 통과하는 것을 방지한다. 고해상도 신호에 대해, 표준 해상도 신호는 고해상도 신호를 생성하기 위해 결합된 신호로부터 감산될 수 있다. 대안으로, 결합된 신호는 고역 통과 필터를 통해 놓여질 수 있어, 고주파수 고해상도 신호가 통과하는 것을 허용하지만, 저주파수 표준 해상도 신호가 통과하는 것을 방지한다. DC 오프셋을 제거하기 위해 이용될 수 있는 다른 기술들은 본 예에서 저역 통과 필터와 유사한 엔벨로핑 기술을 포함한다. 460에서, 표준 해상도 제어 및 고해상도 제어를 위한 추출된 신호들 각각에는 2가 곱해져서(또는 상술한 바와 같은 그것의 원래 비례 값들로 다시 조정되어, 예를 들어 고해상도 신호의 경우에 60%로 나누어져) 그들을 멀티플렉싱 전과 같이 근사 값들로 복구시킨다. 일 실시예에서, 입도를 향상시키기 위해, 보간은 더 평활한 전이들을 제공하는 데 요구되는 값들 사이에서 이용될 수 있다. 예를 들어, 디멀티플렉싱 및 더블링 후에 값들(4, 4, 6, 6, 8, 8, 10)을 갖는 샘플들의 세트는 (4, 5, 6, 7, 8, 9, 10)이 되도록 보간될 수 있다. 또한 460에서, 표준 해상도 신호는 200 Hz 또는 시작 주파수가 있던 어떤 것으로 다시 다운 샘플링된다. 465에서, 적절한 신호가 장치(10)에서 발견된 액추에이터 타입을 위해 선택된다. 적절한 디멀티플렉싱된 신호는 프로세서(12)에 의해 액추에이터(18)에 송신된다.
일부 실시예들에서, 멀티플렉싱 및 디멀티플렉싱은 표준 해상도 및 고해상도 신호들의 효과적인 주파수들의 특성들을 설명할 수 있다. 고해상도 신호가 표준 해상도 신호보다 더 큰 주파수로 샘플링되지만, 표준 해상도 신호가 고해상도 신호와 일치하도록 업 샘플링될 수 있다. 이러한 신호들은 2개의 신호들의 평균을 샘플 단위로 취함(각각의 샘플을 2로 나누고 그것을 더함)으로써 결합될 수 있다. 신호들을 2로 나누는 행위는 1 비트씩 각각의 해상도를 감소시킨다(샘플 신호 당 8 비트가 샘플 신호 당 7 비트가 된다). 이러한 해상도의 손실은 양 신호들의 충실도에 약간의 감소를 야기한다. 2개의 신호들이 결합된 후, 업 샘플링된 표준 해상도 신호는 고해상도 신호에 대한 DC 오프셋과 유사하다. 표준 해상도 신호를 추출하기 위해, 저역 통과 필터가 DC 오프셋을 분리하는 데 이용될 수 있다. 노치 또는 고역 통과 필터는 고해상도 신호의 주파수들을 분리하는 데 이용될 수 있다.
고해상도 신호가 멀티플렉싱 전에 DC 오프셋을 포함할 수 있다는 것이 가능하다. 이러한 경우에, 표준 해상도 신호에 추가하는 것은 멀티플렉싱된 신호의 DC 오프셋을 증가시키거나 무효화할 수 있으며, 이는 디멀티플렉싱 후에 저주파들에서 고해상도 신호 내의 정보의 손실 및 고해상도 신호로부터 저주파수 정보의 포함으로부터의 표준 해상도 신호 내의 왜곡을 야기할 것이다. 따라서, 일부 실시예들에서 위와 같은 흐름은 415에서, 2개의 신호들을 함께 추가하기 전에, 표준 해상도 신호 주파수가 상당히 낮을 때, 예를 들어 30 Hz 미만일 때 고해상도 신호를 고역 통과 필터로 필터링하거나, 표준 해상도가 더 크게, 예를 들어 175 Hz 내지 250 Hz의 주파수에서 변할 때 고해상도 신호를 노치 필터로 노치 필터링하도록 변경될 수 있다. 그 다음 디멀티플렉싱 측 상에서, 455에서, 고역 통과 필터가 415에서 고해상도 신호에 적용된 경우에, 저역 통과 필터가 표준 해상도 신호를 추출하기 위해 멀티플렉싱된 신호에 적용될 수 있다. 노치 필터가 415에서 고해상도 신호에 적용된 경우에, 대역 통과 필터는 표준 해상도 신호를 추출하기 위해 이용될 수 있다. 표준 해상도 신호가 고해상도 신호에서 필터링된 스폿들에 채워질 수 있기 때문에, 멀티플렉싱된 신호는 고해상도 신호에 대해 이용될 수 있다. 평활화 필터는 고해상도 신호 상에 이용될 수 있다.
게다가, 도 3 및 도 4의 2개의 멀티플렉싱 기술들은 기본 햅틱 신호, 표준 해상도 햅틱 신호, 및 고해상도 햅틱 신호를 포함하는 3 방향 멀티플렉싱된 신호를 제공하기 위해 결합될 수 있다. 신호들을 멀티플렉싱하기 위해, 우선 기본 햅틱 신호는 도 3과 함께 설명된 바와 같은 표준 해상도 햅틱 신호와 멀티플렉싱될 것이고, 그 다음 멀티플렉싱된 기본/표준 해상도 신호는 도 4와 함께 상술된 바와 같은 고해상도 신호와 멀티플렉싱하기 위한 표준 해상 신호의 기능을 할 것이다. 디멀티플렉싱을 위해서, 우선 기본/표준 해상도 신호는 도 4와 함께 상술된 바와 같은 고해상도 신호로부터 디멀티플레싱될 것이다. 다음에, 표준 해상도 및 기본 햅틱 신호들은 도　3과 함께 상술된 바와 같이 디멀티플렉싱될 것이다.
도 5는 일 실시예에 따른 햅틱 제어 신호들 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다. 도 4의 멀티플렉싱 기술에 대한 대안으로서, 모든 샘플링된 바이트에 대해 결합된 신호를 생성하기 위해 표준 해상도 및 고해상도 신호들 결합하는 것보다는 오히려, 2개의 신호들이 인터레이스될 수 있다. 505에서, 표준 해상도 및 고해상도 햅틱 제어 신호들이 수신된다. 510에서, 신호들은 표준 해상도 신호의 샘플들을 고해상도 신호로 대체함으로써 결합된다. 표준 해상도 신호는 고해상도 신호와 비교하여 훨씬 더 낮은 주파수에서 발생하기 때문에, 고해상도 신호에 대한 샘플은 고해상도 신호에 대한 많은 손실 없이 표준 해상도 신호에 대한 샘플로 대체될 수 있다. 예를 들어, 고해상도 신호가 8 kHz에 있고 표준 해상도 신호가 200　Hz에 있다면, 이때 표준 해상도 샘플은 모든 40번째 고해상도 샘플들에 대해 한번 발생한다. 따라서, 40번째 고해상도 샘플은 상응하는 표준 해상도 샘플로 대체될 수 있다. 물론, 이것은 압전 신호의 다수 샘플들이 손실되게 한다.
일부 실시예들에서, 표준 해상도 신호는 대체가 더 자주 발생하도록 업 샘플링될 수도 있다. 예를 들어, 표준 해상도 신호는 모든 8번째 고해상도 샘플을 표준 해상도 샘플로 대체하고 동일한 대체를 동일한 값 표준 해상도 샘플로 5회 반복함으로써 1　kHz로 효과적으로 업 샘플링된다. 일부 실시예들에서, 표준 해상도 신호 주파수가 상당히 높을 때, 예를 들어 175 Hz 내지 250 Hz일 때, 표준 해상도 신호의 엔벨로프는 햅틱 의도 및 내용을 보존하는 공지된 기술들을 이용하여 추출되고 업 샘플링될 수 있다. 그 다음, 새로운 표준 해상도 신호는 더 높은 샘플링 레이트(위에서와 같이, 1 kHz로 동일)로 생성되고 그 신호는 엔벨로프에 의해 곱해질 수 있다. 대체 주파수를 증가시키는 것은 더 작은 처리 버퍼들을 제공함으로써 고해상도 및 표준 해상도 제어 신호들을 적절히 액추에이터를 통해 통과시키는 데 도움이 될 수 있다. 또한, 대체 주파수를 증가시키는 것은 표준 해상도 샘플들이 처리되는 입도를 증가시키고 더 좋은 성능을 제공할 수 있다. 그러나, 대체 주파수를 증가시키는 것은 또한 고해상도 신호 내의 신호 정보의 손실을 증가시킨다. 대체 주파수가 선택되더라도, 일부 실시예들에서, 손실은 이전 샘플의 최상위 비트들을 제거된 샘플의 최하위 비트들로 대체하기 위해 대체된 값 직전의 고해상도 신호 값 샘플을 인코딩함으로써 최소화될 수 있다. 이것은 제거된 샘플을 이전 샘플로 인코딩함으로써 제거된 샘플에 대한 샘플 정보의 일부를 유지한다.
결합된 표준 해상도 및 고해상도 제어 신호들을 디멀티플렉싱하기 위해, 550에서, 멀티플렉싱된 신호가 수신된다. 555에서, 멀티플렉싱된 신호는 대체가 이용된 동일한 주파수에서 서브 샘플링된다. 대체가 200 Hz(표준 해상도 신호 주파수와 동일한 것)에서 발생한 경우, 이것은 매 5　ms일 것이다. 서브 샘플들은 표준 해상도 신호를 나타내기 위해 결합될 수 있고 잔류 샘플들은 고해상도 신호를 나타내기 위해 결합될 수 있다. 560에서, 잔류 신호는 고해상도 신호를 위해 처리된다. 표준 해상도 신호를 제거하는 것은 표준 해상도 신호가 대체된 고해상도 신호 내에 홀을 남긴다. 홀은 홀 앞 및 뒤에서 신호 값의 평균을 취하거나, 홀 앞에서 신호 값을 반복하거나, 홀 뒤에서 신호 값을 반복함으로써 채워질 수 있다. 일부 실시예들에서, 이전 샘플의 4개의 최상위 비트들이 상술된 바와 같이 누락 샘플 정보의 4개의 최하위 비트들로 인코딩되었다면, 이때 누락 샘플은 이전 샘플의 4개의 최상위 비트들을 누락 샘플의 4개의 최하위 비트들로 취하고 이전 샘플 및 누락 샘플 둘 다에 대해 이전 샘플을 선행하는 샘플의 4개의 최상위 비트들을 차입함으로써 디코딩될 수 있다. 일 실시예에서, 누락 샘플의 4개의 최상위 비트들은 누락 샘플들을 직후의 샘플들로부터 차입될 수 있다. 다시 말하면, 샘플들의 시퀀스를 고려하면, 누락 샘플에 대한 4개의 최상위 비트들은 샘플에서 우측으로 나올 것이고 이전 샘플에 대한 4개의 최상위 비트들은 샘플에서 좌측으로 나올 것이다. 이러한 인코딩/디코딩 기술은 최상위 비트들이 하나의 샘플에서 다음으로 변화될 가능성이 없지만, 많은 샘플들을 통해 보다 점진적으로 변화되기 때문에 성능을 향상시킨다.
게다가, 도 3 및 도 5의 2개의 멀티플렉싱 기술들은 기본 햅틱 신호, 표준 해상도 햅틱 신호, 및 고해상도 햅틱 신호를 포함하는 3 방향 멀티플렉싱된 신호를 제공하기 위해 결합된다. 신호들을 멀티플렉싱하기 위해, 우선 기본 햅틱 신호는 도 3과 함께 설명된 바와 같은 표준 해상도 햅틱 신호와 멀티플렉싱될 것이고, 그 다음 멀티플렉싱된 기본/표준 해상도 신호는 도 5와 함께 설명된 바와 같은 고해상도 신호와 멀티플렉싱하기 위한 표준 해상도 신호의 기능을 할 것이다. 디멀티플렉싱하기 위해, 우선 기본/표준 해상도 신호는 도 5와 함께 설명된 바와 같은 고해상도 신호로부터 디멀티플렉싱될 것이다. 다음에, 표준 해상도 및 기본 햅틱 신호들은 도 3과 함께 상술된 바와 같이 디멀티플렉싱될 것이다.
도 6은 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다. 진폭 변조는 다수의 대안적인 기본 햅틱, 표준 해상도, 및 고해상도 신호들을 포함하는 모든 이용가능한 햅틱 신호들을 멀티플렉싱하는 데 이용된다. 605에서, 모든 햅틱 신호들이 수신된다. 610에서, 정현파 반송파는 선택된 반송파들 중 어느 것도 서로의 옥타브들(배수들)이 되지 않도록 각각의 신호들에 대해 선택된다. 615에서, 시간 순서 진폭 신호가 각각의 햅틱 신호들을 위해 생성된다. 620에서, 진폭 신호들 각각은 선택된 반송파들 각각에 추가된다. 625에서, 반송파/진폭 신호들 각각이 멀티플렉싱된 신호를 생성하기 위해 함께 결합된다. 신호의 데이터 크기는 반송파들을 위해 선택된 주파수 파들 및 유효 범위 값들에 의존한다. 예를 들어, 결합된 반송파들이 임의의 주어진 샘플에 대한 멀티플렉싱된 값이 8 비트 수보다 더 크게 되는 것을 허용하면, 이때 초과 비트들이 결합된 신호에 추가될 필요가 있을 수 있음으로써, 크기 및 복잡성을 증가시킨다. 게다가, 결합된 반송파는 반송파들 및 햅틱 신호 데이터의 가장 큰 주파수로 샘플링되어야 한다. 따라서, 데이터 크기는 반송파들의 선택에 의존하고 적절히 변화될 수 있다.
결합된 진폭 변조 햅틱 신호 소스들을 디멀티플렉싱하기 위해, 650에서, 멀티플렉싱된 신호가 수신된다. 655에서, 원하는 소스 햅틱 신호를 위하여, 멀티플렉싱된 신호에는 그 신호에 대한 적절한 위상에서 반송파가 곱해진다. 660에서, 소스 햅틱 신호를 발견하기 위해 상기 결과 신호의 제곱근을 구한다. 665에서, 부가 햅틱 신호들은 결합된 파에서 발견될 필요가 있으면, 655로 돌아간다. 이것은 모든 햅틱 소스 신호들을 발견하기 위해 이용된 반송파들 각각에 대해 반복된다. 수신 단에서, 햅틱 소스 신호들 중 하나만이 요구되면, 이때 상응하는 반송파만이 변조 신호에 대해 처리될 필요가 있다. 670에서, 재생 장치(10) 내의 액추에이터의 타입에 기초하여 적절한 햅틱 신호들이 선택된다.
채널 멀티플렉싱
다른 실시예들에서, 다수의 햅틱 신호들을 햅틱 재생 장치에 제공하는 것은 모든 햅틱 신호들을 멀티 채널 재생 스트림에 결합시킴으로써 달성될 수 있다. 채널 멀티플렉싱을 구현하는 실시예들에서, 상술된 기본 햅틱, 표준 해상도, 및 고해상도 신호들과 같은 신호들의 타입은 채널 멀티플렉싱에 이용될 수 있는 신호들의 동일한 타입들을 유지한다. 게다가, 햅틱 스트림들은 상술된 바와 같이, 햅틱 프로그래밍 및 오디오 변환 도구들을 이용하여 생성될 수 있다.
일 실시예에서, "HES"(haptic elementary stream)는 2개 이상의 햅틱 스트림들을 제공할 수 있는 멀티 채널 스크림의 콘텐츠를 설명하기 위해 헤더 정보를 제공함으로써 생성된다. 그러한 스트림들은 각각의 HES가 구현에 의해 255까지의 스트림들을 저장하는 것을 제외하고, 우측 트랙 및 좌측 트랙을 갖는 스테레오 오디오 스트림과 유사하다. 당업자는 채널 식별자들의 어드레스 공간을 증가시키거나 감소시킴으로써 지원된 스트림들의 수의 제한을 위 또는 아래로 용이하게 변화시킬 수 있다.
도 7은 일 실시예에 따른 햅틱 제어 신호들을 멀티 채널 스트림으로 멀티플렉싱하는 하이 레벨 로직을 예시하는 블록도이다. 요소들(705, 710, 및 715)은 햅틱 스트림들 A, B, 및 C 각각에 상응한다. 720에서, 햅틱 스트림들 A, B, 및 C는 단일 멀티 채널 스트림으로 결합된다. 725에서, 멀티 채널 스트림이 햅틱 효과들에 렌더링하기 위해 재생 장치에 전달된다. 일부 실시예들에서, 멀티 채널 스트림은 전형적으로 오디오 또는 비디오와 함께, 재생 장치에 대해 적절한 햅틱 스트림을 선택하고 그 스트림만을 재생 장치에 제공할 수 있는 멀티미디어 서버에 전달된다. 730에서, 결합된 스트림은 사용자에게 프리젠테이션하기 위해 도 1의 장치(10)(또는 서버)와 같은 재생 장치에서 멀티 채널 스트림으로부터의 개별 스트림들로 디멀티플렉싱된다. 740에서, 햅틱 스트림 A가 프로세서(12)에서 고려되고 스트림 A에 대한 스트림 타입이 시스템에 이용된 액추에이터의 타입에 상응하면, 744에서, 스트림이 구동 회로(16) 및 액추에이터(18)에 의해 시스템 상에 재생되며, 그렇지 않으면 742에서, 스트림이 무시된다. 750에서, 햅틱 스트림 B가 프로세서(12)에서 고려되고 스트림 B에 대한 스트림 타입이 시스템에 이용된 액추에이터의 타입에 상응하면, 754에서, 스트림이 구동 회로(16) 및 액추에이터(18)에 의해 시스템 상에 재생되며, 그렇지 않으면 752에서, 스트림이 무시된다. 760에서, 햅틱 스트림 C가 프로세서(12)에서 고려되고 스트림 C에 대한 스트림 타입이 시스템에 이용된 액추에이터의 타입에 상응하면, 764에서, 스트림이 구동 회로(16) 및 액추에이터(18)에 의해 시스템 상에 재생되며, 그렇지 않으면 762에서, 스트림이 무시된다. 일부 실시예들에서, 디멀티플렉서(730)는 시스템(10)에 이용된 액추에이터의 타입을 설명하는 정보에 액세스할 수 있다. 그러한 실시예들에서, 디멀티플렉싱(730)에서, 디멀티플렉서는 적절한 햅틱 스트림을 추출하여 구동 회로(16)에 송신한다.
멀티 채널 스트림의 각각의 샘플은 각각의 채널에 대해 1 바이트를 포함할 수 있다. 예를 들어, 멀티 채널 스트림에 2개의 스트림들이 있다면, 샘플 당 전체 16 비트들을 갖는 2개의 채널들이 있다. 샘플 당 8 비트들보다 더 큰 햅틱 스트림들에 대해, 각각의 채널에 의해 이용되는 비트들의 수가 적절히 증가될 수 있다. 일부 실시예들에서, 비트들의 수는 가장 가까운 바이트 길이 또는 니블 길이로 반올림될 수 있다. 예를 들어, 햅틱 신호가 10 비트들을 취하는 값을 갖는 샘플을 구비하면, 그것은 바이트 길이들에 의해 반올림하면 16 비트들이거나 니블 길이들에 의해 반올림하면 12 비트들인 HES의 채널에 저장될 수 있다.
HES 파일이 어떻게 조직되는지에 관한 정보는 헤더에 포함될 수 있다. HES 파일 헤더는 채널들의 수, 샘플 당 비트들의 수, 샘플 레이트, 어느 채널이 햅틱 신호의 어느 타입 또는 의도된 햅틱 재생 장치 타입에 상응하는지를 표시하는 표시자, 인코딩 정보, 압축 정보, 및 버전 정보와 같은, 스트림의 콘텐츠를 설명하는 정보를 포함할 수 있다.
도 8은 일 실시예에 따른 멀티 채널 파일에 대한 헤더 정보의 일 예를 포함한다. 16 슬롯들의 라인들에 대한 각각의 슬롯은 니블을 나타내며; 2개의 연속 슬롯들은 바이트를 나타낸다. 805에서, HES 파일은 표준 "RIFF"(Resource Interchange File Format) 파일 엔벨로프에 포함된다. HES 파일은 810에서와 같이, 정의된 헤더 포맷 및 815에서와 같이, 정의된 데이터 부분으로 구성될 수 있다. 헤더(810)에서, 820에 대한 바이트는 HES 파일과 연관된 주 버전을 식별하는 주요 버전 식별자를 나타낸다. 825에 대한 바이트는 HES 파일과 연관된 부 버전을 식별하는 부 버전 식별자를 나타낸다. 예를 들어, HES 버전이 6.2이었다면, 6은 주 버전에 상응할 수 있고 2는 부 버전에 상응할 수 있다. 830에 대한 바이트는 "압축되지 않은 LPCM", "시간 순서 진폭들" 등과 같은 인코딩 방식에 상응하는 값들을 포함할 수 있는 파일 내의 데이터에 대한 인코딩 정보를 나타낸다. 835에 대한 바이트는 장래 버전들과 연관된 일부 장래 이용을 위해 보존될 수 있다. 840에 대한 4 바이트들은 헤르츠의 샘플링 레이트를 나타낼 수 있다. 845에 대한 2 바이트들은 샘플 당 비트들의 수를 나타낼 수 있다. 850에 대한 바이트는 파일에서 채널들의 수를 나타낼 수 있다. 855, 860, 및 865에 대한 바이트들은 각각의 채널에 대한 특정 액추에이터 또는 최종 장치 타입들을 설명할 수 있다. 각각의 채널을 설명하기 위해 보존된 바이트들의 수는 채널들의 수에 상응해야 하며, 하나는 각각의 채널을 위한 것이다. 따라서, 855에 대한 바이트는 채널 1에 대한 타겟 햅틱 장치를 지정할 수 있으며; 860에 대한 바이트는 채널 2에 대한 타겟 햅틱 장치를 지정할 수 있고; 865에 대한 바이트는 채널 N에 대한 타겟 햅틱 장치를 지정할 수 있다. 870에 대한 바이트는 데이터 상에 쓰여진 압축 구조를 나타낼 수 있다. 예를 들어, 공지된 손실 및 무손실 데이터 압축 구조들이 데이터에 적용될 수 있다.
HES 데이터(815)에 대해, 각각의 채널에 대한 8 비트들로, 각각의 샘플들에 대한 2개의 채널들을 지정하는 예시적 예가 도시된다. 875에 대한 2 바이트들은 제1 샘플을 나타낼 수 있고, 첫번째 2개의 니블들은 제1 채널 햅틱 스트림을 나타낼 수 있는 반면 두번째 2개의 니블들은 제2 채널 햅틱 스트림을 나타낼 수 있다. 880에 대한 2 바이트들은 875와 동일하게 설정되지만 상이한 값들을 가질 수 있다. 패턴은 2 바이트들(885)에 의해 표현되는 마지막 샘플, 즉 샘플 N까지 모든 샘플들에 대해 반복될 수 있다. 당업자는 HES 헤더(810)의 필드들 각각에 이용되는 니블들 또는 바이트들의 수가 특정 선호에 따라 임의로 변화될 수 있다는 점을 인식할 것이다. 게다가, 당업자는 HES 데이터(815)의 포맷이 헤더 부분에 설정된 파라미터들에 기초하여 변화될 것이며, 이는 샘플 당 채널들의 수와 샘플 당 비트들의 수를 증가시킬 수 있다는 점을 인식할 것이다.
도 9는 일 실시예에 따른 햅틱 제어 신호들을 멀티플렉싱하고 디멀티플렉싱하는 단계를 예시하는 흐름도이다. 멀티 채널 멀티플렉싱에 대해, 905에서, 햅틱 신호들이 수신된다. 상기 언급된 바와 같이, 이러한 신호들은 동일한 소스로부터 발생될 수 있고 일반적으로 상이한 타겟 햅틱 재생 장치들 상에서만 동일한 햅틱 효과들을 나타낼 수 있다. 일부 실시예들에서, 멀티 채널 신호는 다른 햅틱 효과들을 또한 나타내는 채널들을 포함할 수 있다. 예를 들어, 멀티 채널 햅틱 신호는 1개의 소스로부터의 1개의 햅틱 효과에 대한 3개의 채널들 및 다른 소스로부터의 다른 햅틱 효과에 대한 3개의 채널들을 포함할 수 있다. 그러한 경우들에서, 타겟 햅틱 재생 장치는 다수의 햅틱 출력 장치들을 포함할 수 있고 각각의 소스는 1개의 햅틱 출력 장치에 상응한다. 910에서, 수신된 신호들이 분석되어 최고 주파수 신호로 업 샘플링된다. 또한 910에서, 샘플들은 멀티 채널 스트림의 각각의 샘플에 대한 각각의 채널을 위해 균일 폭 서브 샘플을 생성하기 위해 패딩된다. 예를 들어, 기본 햅틱 신호는 표준 해상도 햅틱 신호의 샘플링 주파수와 일치하도록 업 샘플링될 수 있다. 기본 햅틱 신호는 그것이 표준 해상도 신호와 동일한 수의 비트들을 포함하도록 제로들로 패딩될 수도 있다. 그러나, 일부 실시예들에서, 구성 옵션은 상이한 채널들이 각각의 서브 샘플에서 상이한 비트들의 수들을 갖는 것을 허용할 수 있다.
915에서, 각각의 스트림에 관한 정보는 헤더를 정의하는 데 이용된다. 부가 파라미터들은 각각의 채널에 대한 타겟 햅틱 출력 장치들과 같은 다른 요소들을 정의하기 위해 지정될 수 있다. 920에서, 각각의 신호의 각각의 샘플은 결합된 각각의 샘플과 동일한 수의 비트들을 갖는 데이터 샘플을 생성하기 위해 결합된다. 각각의 샘플은 임의의 주어진 샘플에서 멀티 채널 스트림에 대한 서브 샘플 또는 채널 샘플이 된다.
디멀티플렉싱에 대해, 950에서 멀티 채널 멀티플렉싱된 스트림은 멀티플렉싱을 위한 장치에 의해 수신된다. 위에서 언급된 바와 같이, 장치는 햅틱 재생 장치 또는 햅틱 재생 장치에 제공하기 위해 스트림을 추출하는 서버일 수 있다. 일부 실시예들에서, 재생 장치는 재생 장치 능력들에 기초하여 채널을 선택하고 선택된 채널만을 재생 장치로 스트리밍하는 스트리밍 서버에 그것의 능력들을 제시할 수 있으며, 그것에 의해 햅틱 콘텐츠를 재생하는 데 요구되는 대역폭을 감소시킨다. 955에서, 멀티 채널 스트림에 대한 헤더 정보가 분석된다. 채널들의 수 및 특성들이 결정된다. 비트들 및 채널들의 수에 기초하여, 데이터는 개별 스트림들로 파싱(parsing)될 수 있다. 960에서, 디멀티플렉싱하는 채널은 타겟 햅틱 재생 장치의 특성들에 기초하여 선택된다. 965에서, 햅틱 신호는 멀티 채널 스트림 내의 데이터를 분석함으로써 추출된다. 데이터는 추가된 패딩을 제거하기 위해 절단되고(truncated) 햅틱 출력 장치 상의 재생을 위해 다운 샘플링될 수 있다.
개시된 바와 같이, 실시예들은 2개 이상의 햅틱 신호들을 1개의 멀티플렉싱된 신호로 멀티플렉싱할 수 있는 햅틱 소스 신호 멀티플렉서를 구현한다. 멀티플렉싱된 신호는 타겟 장치 및 타겟 장치의 햅틱 시스템 상의 재생을 위해 선택된 적절한 신호에서 디멀티플렉싱될 수 있다. 따라서, 햅틱 설계자들은 다양한 햅틱 출력 장치들을 갖는 다수의 타겟 장치들 상의 재생을 위해 멀티플렉싱된 햅틱 스트림들을 갖는 단일 신호를 생성할 수 있다.
수개의 실시예들이 본 명세서에 특별히 예시되고/되거나 설명되었다. 그러나, 개시된 실시예들의 수정들 및 변화들은 본 발명의 사상 및 의도된 범위로부터 벗어나는 것 없이 상기 교시들에 의해 그리고 첨부된 특허청구범위 내에 망라된다는 점이 이해될 것이다.

Claims (36)

  1. 프로세서에 의해 실행될 때, 상기 프로세서가 햅틱 신호들을 디멀티플렉싱하게 하는 명령어들을 저장한 컴퓨터 판독가능 매체로서, 상기 디멀티플렉싱은,
    2개 이상의 상이한 타입들의 햅틱 신호들을 포함하는 멀티플렉싱된 신호를 수신하는 단계 - 각각의 타입의 햅틱 신호는 상이한 햅틱 출력 장치들에 대한 햅틱 효과를 나타냄 - ;
    햅틱 재생 장치 상에서 타겟 햅틱 출력 장치를 결정하는 단계;
    상기 타겟 햅틱 출력 장치 상의 재생을 위해, 상기 멀티플렉싱된 신호를 햅틱 신호로 디멀티플렉싱하는 단계; 및
    상기 디멀티플렉싱된 햅틱 신호를 상기 타겟 햅틱 출력 장치에 제공하는 단계
    를 포함하는 컴퓨터 판독가능 매체.
  2. 제1항에 있어서, 상기 타겟 햅틱 장치는 기본 햅틱 신호를 재생할 수 있고; 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 각각의 샘플에 대해, 상기 멀티플렉싱된 신호의 기본 햅틱 신호 부분을 선택하는 단계를 포함하는 컴퓨터 판독가능 매체.
  3. 제2항에 있어서, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 상기 멀티플렉싱된 신호의 기본 햅틱 신호 부분을 선택하기 전에, 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
  4. 제1항에 있어서, 상기 타겟 햅틱 출력 장치는 표준 해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 각각의 샘플에 대해, 상기 멀티플렉싱된 신호의 표준 해상도 부분을 선택하는 단계를 포함하는 컴퓨터 판독가능 매체.
  5. 제4항에 있어서, 상기 디멀티플레싱하는 단계는 최상위 비트(the most significant bit)를 제로로 대체하기 전에, 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
  6. 제1항에 있어서, 상기 타겟 햅틱 출력 장치는 고해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 단계, 및 그 후에 각각의 샘플에 대해, 각각의 샘플 값에 2를 곱하는 단계를 포함하는 컴퓨터 판독가능 매체.
  7. 제1항에 있어서, 상기 타겟 햅틱 출력 장치는 표준 해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는,
    표준 해상도 햅틱 신호에 이용되는 반송파에 대해, 제곱된 신호를 발견하기 위해 상기 멀티플렉싱된 신호에 상기 반송파를 곱하는 단계; 및
    상기 표준 해상도 햅틱 신호를 발견하기 위해 상기 제곱된 신호의 제곱근을 구하는 단계를 포함하는 컴퓨터 판독가능 매체.
  8. 제1항에 있어서, 상기 디멀티플렉싱은,
    상기 멀티플렉싱된 신호의 주기적 샘플을 취하는 단계;
    상기 멀티플렉싱된 신호로부터 상기 샘플을 제거하는 단계; 및
    상기 주기적 샘플 직전의 샘플에 기초하여 상기 멀티플렉싱된 신호에 대한 대체 샘플을 계산하는 단계를 포함하는 컴퓨터 판독가능 매체.
  9. 제1항에 있어서, 상기 디멀티플렉싱은,
    상기 멀티플렉싱된 신호에 관한 채널 정보를 추출하는 단계; 및
    상기 채널 정보에 기초하여 상기 멀티플렉싱된 신호로부터 채널을 추출하기 위해 샘플 데이터를 파싱(parsing)하는 단계를 포함하는 컴퓨터 판독가능 매체.
  10. 제9항에 있어서, 상기 채널 정보는 기본 햅틱 신호, 표준 해상도 햅틱 신호, 또는 고해상도 햅틱 신호 중 적어도 2개에 상응하는 햅틱 스트림들에 대한 정보를 포함하는 컴퓨터 판독가능 매체.
  11. 제1항에 있어서, 상기 디멀티플렉싱은 서버 상에서 발생하고, 상기 제공하는 단계는 상기 서버로부터 햅틱 스트림을 수신하는 단계 및 그것을 상기 타겟 햅틱 출력 장치에 제공하는 단계를 포함하는 컴퓨터 판독가능 매체.
  12. 제1항에 있어서, 각각의 타입의 햅틱 신호는 동일한 소스 또는 입력으로부터 유도되는 컴퓨터 판독가능 매체.
  13. 햅틱 신호들을 디멀티플렉싱하는 방법으로서,
    2개 이상의 상이한 타입들의 햅틱 신호들을 포함하는 멀티플렉싱된 신호를 수신하는 단계 - 각각의 타입의 햅틱 신호는 상이한 햅틱 출력 장치들에 대한 햅틱 효과를 나타냄 - ;
    햅틱 재생 장치 상에서 타겟 햅틱 출력 장치를 결정하는 단계;
    상기 타겟 햅틱 출력 장치 상의 재생을 위해, 상기 멀티플렉싱된 신호를 햅틱 신호로 디멀티플렉싱하는 단계; 및
    상기 디멀티플렉싱된 햅틱 신호를 상기 타겟 햅틱 출력 장치에 제공하는 단계
    를 포함하는 방법.
  14. 제13항에 있어서, 상기 타겟 햅틱 장치는 기본 햅틱 신호를 재생할 수 있고; 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 각각의 샘플에 대해, 상기 멀티플렉싱된 신호의 기본 햅틱 신호 부분을 선택하는 단계를 포함하는 방법.
  15. 제14항에 있어서, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 상기 멀티플렉싱된 신호의 기본 햅틱 신호 부분을 선택하기 전에, 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 단계를 더 포함하는 방법.
  16. 제13항에 있어서, 상기 타겟 햅틱 출력 장치는 표준 해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 각각의 샘플에 대해, 상기 멀티플렉싱된 신호의 표준 해상도 부분을 선택하는 단계를 포함하는 방법.
  17. 제16항에 있어서, 상기 디멀티플레싱하는 단계는 최상위 비트를 제로로 대체하기 전에, 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 단계를 더 포함하는 방법.
  18. 제13항에 있어서, 상기 타겟 햅틱 출력 장치는 고해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 단계, 및 그 후에 각각의 샘플에 대해, 각각의 샘플 값에 2를 곱하는 단계를 포함하는 방법.
  19. 제13항에 있어서, 상기 타겟 햅틱 출력 장치는 표준 해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 단계는,
    표준 해상도 햅틱 신호에 이용되는 반송파에 대해, 제곱된 신호를 발견하기 위해 상기 멀티플렉싱된 신호에 상기 반송파를 곱하는 단계; 및
    상기 표준 해상도 햅틱 신호를 발견하기 위해 상기 제곱된 신호의 제곱근을 구하는 단계를 포함하는 방법.
  20. 제13항에 있어서, 상기 디멀티플렉싱은,
    상기 멀티플렉싱된 신호의 주기적 샘플을 취하는 단계;
    상기 멀티플렉싱된 신호로부터 상기 샘플을 제거하는 단계; 및
    상기 주기적 샘플 직전의 샘플에 기초하여 상기 멀티플렉싱된 신호에 대한 대체 샘플을 계산하는 단계를 포함하는 방법.
  21. 제13항에 있어서, 상기 디멀티플렉싱은,
    상기 멀티플렉싱된 신호에 관한 채널 정보를 추출하는 단계; 및
    상기 채널 정보에 기초하여 상기 멀티플렉싱된 신호로부터 채널을 추출하기 위해 샘플 데이터를 파싱하는 단계를 포함하는 방법.
  22. 제21항에 있어서, 상기 채널 정보는 기본 햅틱 신호, 표준 해상도 햅틱 신호, 또는 고해상도 햅틱 신호 중 적어도 2개에 상응하는 햅틱 스트림들에 대한 정보를 포함하는 방법.
  23. 제13항에 있어서, 상기 디멀티플렉싱은 서버 상에서 발생하고, 상기 제공하는 단계는 상기 서버로부터 햅틱 스트림을 수신하는 단계 및 그것을 상기 타겟 햅틱 출력 장치에 제공하는 단계를 포함하는 방법.
  24. 제13항에 있어서, 각각의 타입의 햅틱 신호는 동일한 소스 또는 입력으로부터 유도되는 방법.
  25. 햅틱 신호들을 디멀티플렉싱하는 시스템으로서,
    2개 이상의 상이한 타입들의 햅틱 신호들을 포함하는 멀티플렉싱된 신호를 수신하는 수신기 - 각각의 타입의 햅틱 신호는 상이한 햅틱 출력 장치들에 대한 햅틱 효과를 나타냄 - ;
    타겟 햅틱 출력 장치 상의 재생을 위해, 상기 멀티플렉싱된 신호를 햅틱 신호로 디멀티플렉싱하는 디멀티플렉서 - 상기 타겟 햅틱 출력 장치는 햅틱 재생 장치에 기초하여 결정됨 - ; 및
    상기 디멀티플렉싱된 햅틱 신호를 상기 타겟 햅틱 출력 장치에 제공하는 햅틱 재생 엔진
    을 포함하는 시스템.
  26. 제25항에 있어서, 상기 타겟 햅틱 장치는 기본 햅틱 신호를 재생할 수 있고; 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 것은 각각의 샘플에 대해, 상기 멀티플렉싱된 신호의 기본 햅틱 신호 부분을 선택하는 것을 포함하는 시스템.
  27. 제26항에 있어서, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 것은 상기 멀티플렉싱된 신호의 기본 햅틱 신호 부분을 선택하기 전에, 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 것을 더 포함하는 시스템.
  28. 제25항에 있어서, 상기 타겟 햅틱 출력 장치는 표준 해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 것은 각각의 샘플에 대해, 상기 멀티플렉싱된 신호의 표준 해상도 부분을 선택하는 것을 포함하는 시스템.
  29. 제28항에 있어서, 상기 디멀티플레싱하는 것은 최상위 비트를 제로로 대체하기 전에, 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 것을 더 포함하는 시스템.
  30. 제25항에 있어서, 상기 타겟 햅틱 출력 장치는 고해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 것은 주파수 필터를 상기 멀티플렉싱된 신호에 적용하는 것, 및 그 후에 각각의 샘플에 대해, 각각의 샘플 값에 2를 곱하는 것을 포함하는 시스템.
  31. 제25항에 있어서, 상기 타겟 햅틱 출력 장치는 표준 해상도 햅틱 신호를 재생할 수 있고, 상기 멀티플렉싱된 신호를 디멀티플렉싱하는 것은,
    표준 해상도 햅틱 신호에 이용되는 반송파에 대해, 제곱된 신호를 발견하기 위해 상기 멀티플렉싱된 신호에 상기 반송파를 곱하는 것; 및
    상기 표준 해상도 햅틱 신호를 발견하기 위해 상기 제곱된 신호의 제곱근을 구하는 것을 포함하는 시스템.
  32. 제25항에 있어서, 상기 디멀티플렉싱은,
    상기 멀티플렉싱된 신호의 주기적 샘플을 취하는 것;
    상기 멀티플렉싱된 신호로부터 상기 샘플을 제거하는 것; 및
    상기 주기적 샘플 직전의 샘플에 기초하여 상기 멀티플렉싱된 신호에 대한 대체 샘플을 계산하는 것을 포함하는 시스템.
  33. 제25항에 있어서, 상기 디멀티플렉싱은,
    상기 멀티플렉싱된 신호에 관한 채널 정보를 추출하는 것; 및
    상기 채널 정보에 기초하여 상기 멀티플렉싱된 신호로부터 채널을 추출하기 위해 샘플 데이터를 파싱하는 것을 포함하는 시스템.
  34. 제33항에 있어서, 상기 채널 정보는 기본 햅틱 신호, 표준 해상도 햅틱 신호, 또는 고해상도 햅틱 신호 중 적어도 2개에 상응하는 햅틱 스트림들에 대한 정보를 포함하는 시스템.
  35. 제25항에 있어서, 상기 디멀티플렉싱은 서버 상에서 발생하고, 상기 제공하는 것은 상기 서버로부터 햅틱 스트림을 수신하는 것 및 그것을 상기 타겟 햅틱 출력 장치에 제공하는 것을 포함하는 시스템.
  36. 제25항에 있어서, 각각의 타입의 햅틱 신호는 동일한 소스 또는 입력으로부터 유도되는 시스템.
KR1020140116770A 2013-09-06 2014-09-03 햅틱 신호의 멀티플렉싱 및 디멀티플렉싱 KR102274718B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06
US201361907138P 2013-11-21 2013-11-21
US61/907,138 2013-11-21
US14/185,102 2014-02-20
US14/185,102 US9317120B2 (en) 2013-09-06 2014-02-20 Multiplexing and demultiplexing haptic signals

Publications (2)

Publication Number Publication Date
KR20150028735A true KR20150028735A (ko) 2015-03-16
KR102274718B1 KR102274718B1 (ko) 2021-07-09

Family

ID=51383539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140116770A KR102274718B1 (ko) 2013-09-06 2014-09-03 햅틱 신호의 멀티플렉싱 및 디멀티플렉싱

Country Status (5)

Country Link
US (3) US9317120B2 (ko)
EP (2) EP2846223B1 (ko)
JP (2) JP6534799B2 (ko)
KR (1) KR102274718B1 (ko)
CN (2) CN104423590B (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160089374A (ko) * 2013-11-25 2016-07-27 톰슨 라이센싱 햅틱 계수를 재생하기 위해 자동회귀 모델, 신호 및 디바이스를 이용하여 햅틱 계수를 생성하는 방법
US20160150294A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Video Content Metadata for Enhanced Video Experiences
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
US9711015B2 (en) * 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
US20190103004A1 (en) * 2017-10-02 2019-04-04 Immersion Corporation Haptic pitch control
KR101899538B1 (ko) * 2017-11-13 2018-09-19 주식회사 씨케이머티리얼즈랩 햅틱 제어 신호 제공 장치 및 방법
CN108664903B (zh) * 2018-04-23 2019-12-31 江苏大学 一种触觉信号自动采集装置
DE112019003217T5 (de) * 2018-06-28 2021-04-08 Sony Corporation Decodiervorrichtung, Decodierverfahren und Programm
CN112313603B (zh) * 2018-06-28 2024-05-17 索尼公司 编码装置、编码方法、解码装置、解码方法和程序
US11823557B2 (en) 2018-07-03 2023-11-21 Sony Corporation Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program
KR102273804B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
KR102141889B1 (ko) * 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US11302342B1 (en) * 2019-09-25 2022-04-12 Amazon Technologies, Inc. Inter-channel level difference based acoustic tap detection
EP4046001A1 (en) * 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
KR102371340B1 (ko) * 2019-12-06 2022-03-07 주식회사 세라젬 음원 신호 분리기 및 이를 포함하는 뮤직 싱크 저주파 자극기
US11567575B2 (en) * 2021-06-14 2023-01-31 Microsoft Technology Licensing, Llc Haptic response control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080109907A (ko) * 2006-04-06 2008-12-17 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들
KR20100087715A (ko) * 2007-10-16 2010-08-05 임머숀 코퍼레이션 미디어 전송 스트림에서의 햅틱 효과 데이터의 동기화
KR20110051044A (ko) * 2009-11-09 2011-05-17 광주과학기술원 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치
JP2012520520A (ja) * 2009-03-12 2012-09-06 イマージョン コーポレイション テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3665304A (en) * 1970-12-28 1972-05-23 Bell Telephone Labor Inc Signal amplitude and phase homodyne
JP3018366B2 (ja) * 1989-02-08 2000-03-13 ソニー株式会社 ビデオ信号処理回路
JP3348265B2 (ja) * 1995-03-27 2002-11-20 富士通株式会社 架間転送制御方式
US5999168A (en) 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
US7124425B1 (en) * 1999-03-08 2006-10-17 Immersion Entertainment, L.L.C. Audio/video system and method utilizing a head mounted apparatus with noise attenuation
US6483857B1 (en) * 1999-05-07 2002-11-19 Nortel Networks Limited Method and apparatus for transmitting control information over an audio data stream
US6480528B1 (en) * 1999-06-11 2002-11-12 Qualcomm Incorporated Automatic gain control for improved decoding of multi-carrier signal
US7242773B2 (en) * 2002-09-09 2007-07-10 Sony Corporation Multiple partial encryption using retuning
US6961644B2 (en) * 2002-12-12 2005-11-01 Alps Automotive, Inc. Dual haptic vehicle control and display system
JP2005258666A (ja) * 2004-03-10 2005-09-22 Sony Corp 入力装置および電子機器並びに電子機器の感触フィードバック入力方法
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
CN101779454A (zh) * 2007-08-01 2010-07-14 松下电器产业株式会社 数字广播发送装置、数字广播接收装置
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
CN101907922B (zh) * 2009-06-04 2015-02-04 新励科技(深圳)有限公司 一种触感触控系统
US8294557B1 (en) 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
JP4599453B1 (ja) * 2009-08-31 2010-12-15 株式会社東芝 受信機、受信方法
US20110115754A1 (en) * 2009-11-17 2011-05-19 Immersion Corporation Systems and Methods For A Friction Rotary Device For Haptic Feedback
JP5668076B2 (ja) * 2009-11-17 2015-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電子デバイスにおける触覚帯域を増加するためのシステム及び方法
US8605053B2 (en) * 2009-12-02 2013-12-10 Analog Devices, Inc. Method and device for detecting user input
US9008512B2 (en) * 2010-06-22 2015-04-14 Technion Research And Development Foundation Ltd. Optical network unit, optical access network and a method for exchanging information
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
EP2671129B1 (en) * 2010-12-02 2016-03-09 SeeScan, Inc. Magnetically sensed user interface apparatus and devices
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
EP2754013A4 (en) 2011-09-06 2015-04-01 Immersion Corp HAPTIC OUTPUT DEVICE AND METHOD FOR PRODUCING A HAPTIC EFFECT IN A HAPTIC OUTPUT DEVICE
US9495010B2 (en) 2011-10-26 2016-11-15 Nokia Technologies Oy Apparatus and associated methods
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101922589B1 (ko) 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
EP3321780A1 (en) 2012-02-15 2018-05-16 Immersion Corporation High definition haptic effects generation using primitives

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080109907A (ko) * 2006-04-06 2008-12-17 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들
KR20100087715A (ko) * 2007-10-16 2010-08-05 임머숀 코퍼레이션 미디어 전송 스트림에서의 햅틱 효과 데이터의 동기화
JP2012520520A (ja) * 2009-03-12 2012-09-06 イマージョン コーポレイション テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
KR20110051044A (ko) * 2009-11-09 2011-05-17 광주과학기술원 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치

Also Published As

Publication number Publication date
EP2846223B1 (en) 2019-07-31
US20190107891A1 (en) 2019-04-11
US10152126B2 (en) 2018-12-11
US20150070152A1 (en) 2015-03-12
CN109656368A (zh) 2019-04-19
CN104423590B (zh) 2019-01-04
CN109656368B (zh) 2022-05-27
JP6534799B2 (ja) 2019-06-26
EP2846223A1 (en) 2015-03-11
JP2015053044A (ja) 2015-03-19
US20160231816A1 (en) 2016-08-11
CN104423590A (zh) 2015-03-18
US9317120B2 (en) 2016-04-19
EP3582085A1 (en) 2019-12-18
JP2019175485A (ja) 2019-10-10
KR102274718B1 (ko) 2021-07-09

Similar Documents

Publication Publication Date Title
KR20150028735A (ko) 햅틱 신호의 멀티플렉싱 및 디멀티플렉싱
US10542325B2 (en) Method and system for haptic data encoding and streaming using a multiplexed data stream
KR102204606B1 (ko) 다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템
KR102215355B1 (ko) 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백
JP6096092B2 (ja) 記憶された効果を有する触覚フィードバックシステム
US9891714B2 (en) Audio enhanced simulation of high bandwidth haptic effects
KR20140122210A (ko) 오프라인 햅틱 변환 시스템
US20150355713A1 (en) Low-frequency effects haptic conversion system
KR20150028731A (ko) 햅틱 와핑 시스템
KR20080109907A (ko) 햅틱 효과 개선을 위한 시스템들 및 방법들
CN112534381B (zh) 触觉反馈呈现装置的预驱动
CN112470104A (zh) 编码设备、编码方法、解码设备、解码方法、发送系统、接收设备和程序
CN118043764A (zh) 编码/解码触觉数据的方法和装置
CN112313603B (zh) 编码装置、编码方法、解码装置、解码方法和程序
CN112292654B (zh) 信息处理装置、信息处理方法和程序
CN112188256B (zh) 信息处理方法、信息提供方法、装置、电子设备及存储介质
KR101005303B1 (ko) 오디오 데이터의 성격과 어울리는 출력 패턴 자동 생성 방법 및 출력 패턴 자동 생성 장치
CN117708492A (zh) 振动控制方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right