KR102276173B1 - 공간-의존 콘텐츠를 위한 햅틱 효과 생성 - Google Patents

공간-의존 콘텐츠를 위한 햅틱 효과 생성 Download PDF

Info

Publication number
KR102276173B1
KR102276173B1 KR1020170182378A KR20170182378A KR102276173B1 KR 102276173 B1 KR102276173 B1 KR 102276173B1 KR 1020170182378 A KR1020170182378 A KR 1020170182378A KR 20170182378 A KR20170182378 A KR 20170182378A KR 102276173 B1 KR102276173 B1 KR 102276173B1
Authority
KR
South Korea
Prior art keywords
haptic
video
pixel
texture map
data
Prior art date
Application number
KR1020170182378A
Other languages
English (en)
Other versions
KR20180077091A (ko
Inventor
크리스토퍼 울리히
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180077091A publication Critical patent/KR20180077091A/ko
Priority to KR1020210088218A priority Critical patent/KR20210087921A/ko
Application granted granted Critical
Publication of KR102276173B1 publication Critical patent/KR102276173B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

햅틱 효과를 오서링 및 인코딩하기 위한 시스템 및 방법이, 360도 비디오, 3차원 비디오, 또는 가상 또는 증강 현실 콘텐츠와 같은 공간-의존 콘텐츠에 제공된다. 상기 시스템 및 방법은 콘텐츠에 대해 햅틱 효과를 인코딩 또는 변경하기 위한 하나 이상의 햅틱 레이어를 생성할 수 있다.

Description

공간-의존 콘텐츠를 위한 햅틱 효과 생성{HAPTIC EFFECT GENERATION FOR SPACE-DEPENDENT CONTENT}
햅틱은, 진동, 모션 및 다른 힘 및 자극과 같은 햅틱 효과에 의한 사용자의 감각을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스, 게이밍 디바이스, 터치스크린 디바이스 및 개인용 컴퓨터와 같은 디바이스는 햅틱 효과를 생성하도록 구성될 수 있다. 햅틱 피드백은 사용자에게 운동감각 피드백(예컨대, 능동적 및 저항적 힘 피드백) 및/또는 촉각 피드백(예컨대, 진동, 진동촉각 피드백, 텍스처, 열 등)을 제공할 수 있다. 햅틱 효과는, 시뮬레이션 환경 또는 가상 환경 내에서 더 큰 감각적 몰입감을 생성하기 위해 현실적 피드백을 제공하거나 또는 사용자에게 특정한 이벤트를 경고할 때 유용할 수 있다.
디바이스는 햅틱 효과의 출력과, 비디오, 게임 또는 다른 매체와 같은 다른 콘텐츠의 출력을 조정하도록 구성될 수 있다. 일부 유형의 비디오 콘텐츠, 예컨대 360도 비디오, 3차원 비디오 또는 가상 현실 비디오에서, 비디오 장면은 사용자 또는 뷰어(viewer)의 시점 또는 관심 포인트에 기초하여 변경될 수 있으며, 상기 장면 내에서 사용자의 조망이 유도되는 다른 객체에게 다른 햅틱 효과를 제공하는 것이 바람직할 수 있다.
일 양태는 햅틱 효과를 오서링(authoring)하는 방법이다. 상기 방법은 햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계와, 햅틱 픽셀과 연계된 햅틱 데이터 변경자를 생성하는 단계를 포함한다. 햅틱 트랙은 햅틱 액추에이터의 동작을 규정하는 햅틱 데이터를 갖는다. 비디오 텍스처 맵은 비디오의 적어도 하나의 프레임을 나타낸다. 햅틱 트랙은 비디오의 상기 적어도 하나의 프레임과 연계된다. 비디오 텍스처 맵은 복수의 비디오 픽셀을 갖는다. 각각의 햅틱 픽셀은 비디오 픽셀 중 적어도 하나와 연계된다. 햅틱 데이터 변경자는 햅틱 데이터의 적어도 일부를 변경하고 햅틱 액추에이터의 동작을 변경하도록 구성된다.
다른 양태는 햅틱 효과를 오서링하기 위한 장치이다. 상기 장치는 상기 장치의 동작을 제어하도록 구성된 처리 디바이스와, 상기 처리 디바이스에 의해 실행될 때 상기 장치가 햅틱 트랙 및 비디오 텍스처 맵을 수신하고 햅틱 픽셀과 연계된 햅틱 데이터 변경자를 생성하게 하는 소프트웨어 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 데이터 저장 매체를 포함한다. 햅틱 트랙은 햅틱 액추에이터의 동작을 규정하는 햅틱 데이터를 갖는다. 비디오 텍스처 맵은 비디오의 적어도 하나의 프레임을 나타낸다. 햅틱 트랙은 비디오의 프레임과 연계되고, 비디오 텍스처 맵은 복수의 비디오 픽셀을 갖는다. 각각의 햅틱 픽셀은 비디오 픽셀 중 적어도 하나와 연계된다. 햅틱 데이터 변경자는 햅틱 데이터의 적어도 일부를 변경하고 햅틱 액추에이터의 동작을 변경하도록 구성된다.
또 다른 양태는 햅틱 효과를 생성하는 방법이다. 상기 방법은, 햅틱 액추에이터의 동작을 규정하는 햅틱 데이터를 포함하는 햅틱 트랙을 수신하는 단계와, 햅틱 데이터 변경자를 포함하는 복수의 햅틱 픽셀을 수신하는 단계로서, 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀과 연계되고, 상기 적어도 하나의 비디오 픽셀은 비디오의 적어도 하나의 프레임을 나타내는 비디오 텍스처 맵 내에 포함되는, 복수의 햅틱 픽셀을 수신하는 단계와, 비디오의 프레임 내의 관심 포인트를 식별하는 단계로서, 상기 관심 포인트는 비디오의 프레임 내의 타깃 비디오 픽셀을 포함하는, 비디오 프레임 내의 관심 포인트를 식별하는 단계와, 햅틱 픽셀 중 타깃 햅틱 픽셀을 결정하는 단계로서, 타깃 햅틱 픽셀은 비디오의 프레임 내의 타깃 비디오 픽셀에 대응하는, 타깃 햅틱 픽셀을 결정하는 단계와, 타깃 햅틱 픽셀에 포함된 타깃 햅틱 데이터 변경자를 획득하는 단계와, 타깃 햅틱 데이터 변경자에 기초하여 햅틱 트랙 내의 햅틱 데이터를 변경하는 단계와, 변경된 햅틱 데이터에 기초하여 햅틱 액추에이터의 동작을 제어하는 단계를 포함한다.
또 다른 양태는 햅틱 효과를 생성하기 위한 장치이다. 상기 장치는 하나 이상의 액추에이터와, 액추에이터를 동작시키도록 구성된 액추에이터 구동 회로와, 관심 포인트를 검출하도록 구성된 센서와, 액추에이터 구동 회로 및 센서에 결합된 처리 디바이스를 포함한다. 프로세서는, 햅틱 데이터를 포함하는 햅틱 트랙을 수신하도록 - 상기 햅틱 데이터는 햅틱 액추에이터의 동작을 규정함 -, 햅틱 데이터 변경자를 포함하는 복수의 햅틱 픽셀로서, 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀과 연계되고 상기 적어도 하나의 비디오 픽셀은 비디오의 프레임을 나타내는 비디오 텍스처 맵 내에 포함되는, 복수의 햅틱 픽셀을 수신하도록, 센서를 이용하여 비디오의 프레임 내의 관심 포인트를 식별하도록 - 관심 포인트는 비디오의 프레임 내의 타깃 비디오 픽셀을 포함함 -, 햅틱 픽셀 중 타깃 햅틱 픽셀을 결정하도록 - 타깃 햅틱 픽셀은 비디오의 프레임 내의 타깃 비디오 픽셀에 대응함 -, 타깃 햅틱 픽셀에 포함된 타깃 햅틱 데이터 변경자를 획득하도록, 타깃 햅틱 데이터 변경자에 기초하여 햅틱 트랙 내의 햅틱 데이터를 변경하도록, 변경된 햅틱 데이터에 기초하여 제어 신호를 생성하도록, 그리고 액추에이터 구동 회로가 액추에이터를 제어할 수 있게는 상기 제어 신호를 액추에이터 구동 회로에 전송하도록 구성된다.
또 다른 양태는 햅틱 효과를 생성하는 방법이다. 상기 방법은, 복수의 햅틱 픽셀을 수신하는 단계로서, 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀과 연계되고 햅틱 데이터를 포함하며 햅틱 데이터는 햅틱 액추에이터의 작동을 규정하고 상기 적어도 하나의 비디오 픽셀은 비디오의 적어도 하나의 프레임을 나타내는 비디오 텍스처 맵 내에 포함되는, 복수의 햅틱 픽셀을 수신하는 단계와, 비디오의 상기 적어도 하나의 프레임 내의 관심 포인트를 식별하는 단계로서, 관심 포인트는 비디오의 상기 적어도 하나의 프레임 내의 타깃 비디오 픽셀을 포함하는, 관심 포인트 식별 단계와, 햅틱 픽셀 중 타깃 햅틱 픽셀을 결정하는 단계로서, 타깃 햅틱 픽셀은 비디오의 상기 적어도 하나의 프레임 내의 타깃 비디오 픽셀에 대응하는, 타깃 햅틱 픽셀 결정 단계와, 타깃 햅틱 픽셀 내에 포함된 타깃 햅틱 데이터를 획득하는 단계와, 타깃 햅틱 데이터에 기초하여 햅틱 액추에이터의 작동을 제어하는 단계를 포함한다.
또 다른 양태는 햅틱 효과를 생성하기 위한 장치이다. 상기 장치는 하나 이상의 액추에이터와, 액추에이터를 동작시키도록 구성된 액추에이터 구동 회로와, 관심 포인트를 검출하도록 구성된 센서와, 액추에이터 구동 회로 및 센서에 결합된 처리 디바이스를 포함한다. 프로세서는, 복수의 햅틱 픽셀로서, 각각의 햅틱 픽셀이 적어도 하나의 비디오 픽셀과 연계되고 햅틱 데이터를 포함하며 햅틱 데이터는 햅틱 액추에이터의 동작을 규정하고 상기 적어도 하나의 비디오 픽셀은 비디오의 프레임을 나타내는 비디오 텍스처 맵 내에 포함되는, 복수의 햅틱 픽셀을 접수하도록, 비디오의 프레임 내의 비디오의 프레임 내의 관심 포인트로서, 상기 관심 포인트는 상기 비디오의 프레임 내의 타깃 비디오 픽셀을 포함하는, 상기 비디오의 프레임 내의 관심 포인트를 식별하도록, 햅틱 픽셀 중, 비디오의 프레임 내의 타깃 비디오 픽셀에 대응하는 타깃 햅틱 픽셀을 결정하도록, 타깃 햅틱 픽셀 내에 포함된 타깃 햅틱 데이터를 획득하도록, 타깃 햅틱 데이터에 기초하여 제어 신호를 생성하도록, 액추에이터 구동 회로가 햅틱 액추에이터의 작동을 제어하게 할 수 있는 상기 제어 신호를 액추에이터 구동 회로로 전송하도록 구성된다.
도 1은 본 개시내용의 예시적 실시예에 따른 햅틱 효과를 오서링 및 렌더링하기 위한 시스템의 블록도이다.
도 2는 도 1의 시스템을 동작시키기 위한 예시적 방법을 도시하는 흐름도이다.
도 3은 도 1에 도시된 바와 같은 햅틱 효과 오서링 디바이스의 가능한 실시예의 블록도이다.
도 4는 햅틱 효과 오서링 디바이스의 예시적 동작을 도시하는 블록도이다.
도 5는 햅틱 효과 오서링 디바이스를 동작시키는 가능한 예시적 방법을 도시한 흐름도이다.
도 6은 비디오를 재생하는 예시적 방법을 도시한다.
도 7은 햅틱 텍스처 맵과 비디오 텍스처 맵을 연계하는 예시적 방법을 도시한다.
도 8은 햅틱 픽셀의 하나의 가능한 예시적 데이터 구조이다.
도 9는 햅틱 데이터 변경자를 생성하기 위한 예시적 방법을 도시하는 흐름도이다.
도 10은 햅틱 데이터 변경자 값의 사용자 입력을 수신하기 위한 사용자 인터페이스의 하나의 가능한 실시예를 도시한다.
도 11은 도 1에 도시된 바와 같은 햅틱 인에이블형 장치의 많은 가능한 실시예 중 하나의 블록도를 도시한다.
도 12는 햅틱 효과를 생성하기 위한 예시적 방법을 도시하는 흐름도이다.
도 13은 비디오 프레임 내의 관심 포인트를 결정하는 예시적 방법을 도시한다.
도 14는 도 13에 도시된 바와 같이 관심 포인트를 식별하기 위한 예시적 방법의 흐름도이다.
도 15는 햅틱 효과와 비디오 콘텐츠를 렌더링하는 예시적 프로세스를 도시한다.
도 16은 타깃 햅틱 픽셀이 햅틱 픽셀의 세트 내에서 결정되는 것을 도시한다.
도 17은 햅틱 픽셀의 다른 예시적 세트의 데이터 구조를 도시한다.
도 18은 도 17의 햅틱 픽셀을 사용하여 햅틱 효과를 생성하기 위한 가능한 예시적 방법이다.
다양한 실시예가, 몇몇 도면 전체에 걸쳐 유사한 도면부호가 유사한 부분 및 조립체를 나타내는 도면을 참조하여 상세하게 기술될 것이다. 다양한 실시예에 대한 참조는 본원에 첨부된 청구항의 범주를 제한하지 않는다. 또한, 본 명세서에 설명된 임의의 예는 첨부된 청구항을 위한 많은 가능 실시예 중 일부를 설명하기 위한 것이지 제한하려는 의도는 아니다.
적절하기만 하다면, 단수로 사용된 용어는 복수를 또한 포함할 것이며 그 반대도 가능하다. 본원에서 단수를 사용하는 의미는, 다르게 언급되었거나 또는 "하나 이상의"의 사용이 명백하게 부적절한 경우가 아니라면 "하나 이상"을 의미한다. "또는"의 사용은 다르게 언급되지 않았다면 "및/또는"을 의미한다. "구성하다", "구성하는", "포함하다", "포함하는", "~와(과) 같은", "갖는다", "갖는"과 같은 용어는 호환가능하며 제한하려는 의도는 아니다. 예컨대, 용어 "포함하는"은 "포함하지만 제한되지는 않는"을 의미할 것이다.
일반적으로, 본 개시내용은 비디오와 같은 콘텐츠를 위한 햅틱 효과를 오서링 및 인코딩하기 위한 시스템 및 방법에 관한 것이다. 본 개시내용의 시스템 및 방법은 360도 비디오, 3차원 비디오, 또는 가상 또는 증강 현실 콘텐츠와 같은 공간-의존(또는 배향-의존 또는 방향-의존) 콘텐츠의 오서링 및 인코딩을 가능하게 한다. 본 개시내용은 그러한 콘텐츠 내의 하나 이상의 특정 위치 또는 객체에 대해 햅틱 효과를 국소화할 수 있게 한다.
햅틱 효과 또는 햅틱 피드백은 개인에게 전달되는 임의 유형의 촉각적 감각일 수 있다. 일부 실시예에서, 햅틱 효과는 햅틱-인에이블형 물품과의 사용자의 상호작용의 큐, 통지, 피드백 또는 확인과 같은 정보, 또는 더욱 복잡한 메시지 또는 기타 정보를 구체화한다. 대안적 실시예에서, 햅틱 효과는, 마찰, 흐름 및 디텐트와 같은 물리적 속성 또는 효과를 시뮬레이팅함으로써 디바이스와의 사용자의 상호작용을 강화하는데 사용될 수 있다.
본 개시내용의 시스템 및 방법은 햅틱 텍스처 맵과 같은 하나 이상의 햅틱 레이어를 생성할 수 있다. 햅틱 레이어는 햅틱 효과를 인코딩하거나 또는 편집하기 위한 정보를 포함하는 복수의 햅틱 픽셀을 갖는다. 햅틱 픽셀은 비디오 콘텐츠와 같은 콘텐츠와 연계된 햅틱 효과를 규정 또는 조절하기 위한 정보를 포함한다. 하나의 가능한 실시예에서, 각각의 햅틱 픽셀은 하나 이상의 대응 비디오 프레임 또는 비디오 텍스처 맵과 햅틱 픽셀을 연계하기 위한 좌표를 포함할 수 있다.
각각의 햅틱 레이어는 비디오를 생성하도록 스트리밍된 비디오 프레임의 적어도 하나에 기초하여 생성될 수 있다. 특정 예에서, 햅틱 레이어는 비디오 프레임과 동일한 프레임 레이트로 생성 및 이용될 수 있다. 다른 예에서, 햅틱 레이어는 해당 비디오 프레임과 상이한 프레임 레이트로 사용될 수 있어서, 단일 햅틱 레이어가 복수의 비디오 프레임을 위한 햅틱 효과들을 인코딩한다.
특정 예에서, 각각의 햅틱 레이어는 햅틱 픽셀을 갖는데, 햅틱 픽셀은 하나 이상의 비디오 프레임에 대응하는 대응 비디오 프레임 또는 비디오 텍스처 맵 내의 적어도 하나의 픽셀과 연계된다. 특정 햅틱 레이어 내의 각각의 햅틱 픽셀은 해당 햅틱 레이어에 대응하는 적어도 하나의 비디오 프레임 또는 비디오 텍스처 맵 내의 하나 이상의 픽셀과 연계되는 햅틱 효과를 인코딩 또는 편집할 수 있다. 이와 같이, 햅틱 레이어 내의 햅틱 픽셀이 상이한 정보, 파라미터 및/또는 값을 가질 수 있기 때문에, 햅틱 효과는 햅틱 레이어에 대응하는 하나 이상의 비디오 프레임 내에서 요구에 따라 국소화될 수 있다.
하나 이상의 햅틱 트랙이 햅틱 효과를 생성하기 위한 햅틱 데이터를 제공하는데 사용되는 경우, 햅틱 레이어는 햅틱 효과를 조정하기 위해 햅틱 데이터를 변경하기 위한 정보를 포함한다. 예컨대, 햅틱 트랙이 진폭 신호를 생성하기 위한 햅틱 데이터를 포함하는 경우, 햅틱 레이어 내의 각각의 햅틱 픽셀은 햅틱 데이터를 변경하여 진폭 신호를 조절하기 위한 햅틱 데이터 변경자를 갖는다. 햅틱 레이어 내의 햅틱 픽셀에 상이한 햅틱 데이터 변경자를 제공함으로써, 상이한 햅틱 효과(예컨대, 햅틱 효과에 대한 상이한 진폭)가 햅틱 레이어와 연계된 하나 이상의 비디오 프레임 내에서 상이한 위치에 제공될 수 있다. 본 개시내용의 시스템은, 사용자가 햅틱 데이터 변경자를 특화할 수 있게 하는 사용자 인터페이스를 제공할 수 있다.
특정 실시예에서, 그러한 햅틱 트랙은, 햅틱 레이어 내의 햅틱 픽셀이 햅틱 효과를 생성하는데 사용된 햅틱 데이터를 포함하도록 햅틱 레이어 내에서 인코딩될 수 있다. 이 구성에서, 비디오 콘텐츠의 재생 도중, 햅틱 효과는 개별 햅틱 트랙을 요구하지 않고 햅틱 레이어를 이용하여 생성될 수 있다.
비디오 콘텐츠의 재생 도중, 비디오 콘텐츠 내의 관심 포인트가 특정 시간에 결정될 수 있으며, 관심 포인트와 연계된 적절한 햅틱 효과를 인텍싱하는데 사용될 수 있다. 특정 실시예에서, 관심 포인트는 뷰어의 배향 벡터이다. 관심 포인트는 그때의 햅틱 레이어 내의 햅틱 픽셀을 나타내거나 또는 그와 연계될 수 있다. 관심 포인트와 연계된 햅틱 효과는 비디오 재생(즉, 그때의 비디오 프레임)과 동기화 상태에서 렌더링된다.
본 개시내용에 기술된 많은 예들이 360도 비디오에 관한 것이지만, 본 개시내용의 교시는 또한, 사용자가 주위를 둘러보는 가상 또는 증강 현실 경험과 같은 다른 콘텐츠의 재생에 햅틱 효과가 적용될 수 있는 다른 용례를 포함할 수 있다는 것이 이해되어야 한다.
도 1은 본 개시내용의 예시적 실시예에 따른 햅틱 효과를 오서링 및 렌더링하기 위한 시스템의 블록도이다. 시스템은 일반적으로 도면부호 100으로 지정되고, 햅틱 효과 오서링 디바이스(102) 및 햅틱 인에이블형 장치(104)를 포함한다. 적어도 일부의 실시예에서, 햅틱 인에이블형 장치(104)는 햅틱 효과 렌더링 디바이스(106) 및 콘텐츠 프리젠테이션 디바이스(108)를 포함한다.
햅틱 효과 오서링 디바이스(102)는 햅틱 효과를 생성하기 위한 햅틱 데이터를 변경하도록 동작한다. 특정 실시예에서, 햅틱 데이터는 하나 이상의 햅틱 트랙(112) 내에 포함될 수 있으며, 하나 이상의 햅틱 액추에이터의 동작을 규정한다. 적어도 일부의 실시예에서, 햅틱 효과 오서링 디바이스(102)는, 햅틱 효과의 진폭, 주파수, 파형, 선명도(sharpness) 및 기타 가능한 속성과 같은 햅틱 효과의 특성을 규정 또는 편집하는 하나 이상의 파라미터의 입력을 수신하고 이 파라미터에 기초하여 햅틱 데이터를 변경한다. 햅틱 효과 오서링 디바이스(102)의 일 예가 본원에서 더욱 상세하게 기술되는데, 이는 도 3 내지 도 10을 참조하는 기술을 포함한다.
적어도 일부 실시예에서, 햅틱 효과 오서링 디바이스(102)는 햅틱 픽셀(110)의 세트를 생성한다. 특정 실시예에서, 햅틱 효과 오서링 디바이스(102)는 햅틱 픽셀(110)을 생성하기 위해 하나 이상의 햅틱 트랙(112) 및 콘텐츠 데이터(114)를 수신 및 사용할 수 있다.
햅틱 픽셀(110)은 콘텐츠 데이터(114)와 연계된 햅틱 효과를 규정 또는 편집하는 데이터를 포함한다. 예컨대, 콘텐츠 데이터(114)가 하나 이상의 콘텐츠 데이터 텍스처 맵(예컨대, 본원에 기술된 바와 같은 비디오 텍스처 맵) 내의 데이터 픽셀로 표현되는 경우, 햅틱 픽셀(110)의 각각은 콘텐츠 데이터 텍스처 맵 내의 데이터 픽셀의 적어도 하나와 연계된 햅틱 효과를 규정하는 데이터를 포함한다. 본원에 개시된 바와 같이, 햅틱 픽셀(110)은, 본원에서 더욱 상세하게 기술되는 바와 같이 햅틱 텍스처 맵으로 표현될 수 있는데, 이는 도 7과 연계된 설명을 포함한다.
햅틱 인에이블형 장치(104)는 콘텐츠 데이터(114)에 기초한 콘텐츠를 재생하는 동안 햅틱 효과를 생성하도록 동작한다. 특정 실시예에서, 햅틱 인에이블형 장치(104)는 햅틱 픽셀(110) 및 햅틱 트랙(112)을 수신하여, 햅틱 효과를 렌더링한다. 햅틱 인에이블형 장치(104)의 일 예가 본원에서 더욱 상세하게 추가로 기술되는데, 이는 도 11을 참조하는 기술을 포함한다.
햅틱 인에이블형 장치(104) 내의 햅틱 효과 렌더링 디바이스(106)는 콘텐츠 프리젠테이션 디바이스(108)를 사용하여 제공되는 콘텐츠와 연계된 햅틱 효과를 렌더링하도록 구성된다. 특정 예에서, 햅틱 효과 렌더링 디바이스(106)는, 콘텐츠 프리젠테이션 디바이스(108)가 콘텐츠 데이터(114)에 기초하여 콘텐츠를 제공하는 동안 햅틱 효과를 생성한다. 콘텐츠 데이터(114)가 비디오 콘텐츠인경우, 콘텐츠 프리젠테이션 디바이스(108)는 콘텐츠 데이터(114)에 기초하여 비디오 콘텐츠를 표시하고, 햅틱 효과 렌더링 디바이스(106)는 비디오 콘텐츠에 대응하는 햅틱 효과를 렌더링한다.
콘텐츠 프리젠테이션 디바이스(108)는 콘텐츠 데이터(114)에 기초하여 콘텐츠를 제공하도록 동작한다. 콘텐츠 프리젠테이션 디바이스(108)는 콘텐츠 데이터(114)의 유형에 따라 다양한 유형일 수 있다. 예컨대, 콘텐츠 데이터(114)가 비디오 콘텐츠 데이터를 포함하는 경우, 콘텐츠 프리젠테이션 디바이스(108)는 비디오 콘텐츠를 표시하기 위한 디스플레이 디바이스(도 11에 도시됨)를 포함한다. 다른 예에서, 콘텐츠 데이터(114)가 오디오 콘텐츠 데이터를 포함하는 경우, 콘텐츠 프리젠테이션 디바이스(108)는 오디오 재생 디바이스를 포함한다.
도 12 및 도 13을 참조하는 기술을 포함하여 본원에서 추가로 기술되는 바와 같이, 햅틱 효과 렌더링 디바이스(106)는, 렌더링 도중 콘텐츠 데이터 내의 관심 포인트를 식별하기 위한 배향 센서와 같은 하나 이상의 센서를 더 포함한다. 관심 포인트는 비디오 프레임 내의 다양한 포인트 중 하나 이상일 수 있다. 일부 실시예에서, 관심 포인트는 비디오 프레임 내의 사용자 또는 뷰어가 살펴보는 포인트이다. 다른 실시예에서, 관심 포인트는 사용자 또는 뷰어가 비디오 프레임을 제공하는 디스플레이 디바이스 상에 포인터 또는 커서를 위치 설정하는 포인트이다. 그러한 포인트는 본원에서 사용자 시점 벡터 또는 시선 벡터(look vector)로서 지칭될 수 있다.
일부 가능 실시예에서, 햅틱 효과 렌더링 디바이스(106) 및 콘텐츠 프리젠테이션 디바이스(108)는 단일 디바이스 내에 통합된다. 그러한 구성에서, 관심 포인트, 예컨대 시선 벡터는 햅틱 효과 렌더링 디바이스(106) 및 콘텐츠 프리젠테이션 디바이스(108)에서 동일할 수 있다. 다른 가능 실시예에서, 햅틱 효과 렌더링 디바이스(106)는 콘텐츠 프리젠테이션 디바이스(108)로부터 분리될 수 있다. 예컨대, 햅틱 효과 렌더링 디바이스(106)는 휴대용 컨트롤러로 구현되는 반면에, 콘텐츠 프리젠테이션 디바이스(108)는 헤드셋으로 구성된다. 이 구성에서, 예컨대 휴대용 컨트롤러를 이용하여 선택될 수 있는 관심 포인트는 예컨대 헤드셋을 이용하여 사용자의 시점을 표현하는 시선 벡터와 다를 수 있다.
햅틱 인에이블형 장치(104)가 햅틱 효과 렌더링 디바이스(106) 및 콘텐츠 프리젠테이션 디바이스(108)를 포함하는 것으로 도시된 실시예에서 기술되었지만, 햅틱 효과 렌더링 디바이스(106) 및 콘텐츠 프리젠테이션 디바이스(108) 중 하나 또는 양자 모두는 햅틱 인에이블형 장치(104)와 별개로 구성될 수 있다는 것이 이해되어야 한다.
도 1을 계속 참조하면, 햅틱 트랙(112)은 햅틱 효과와 연계된 햅틱 데이터를 포함한다. 햅틱 데이터는 하나 이상의 햅틱 액추에이터를 구동하기위한 햅틱 구동 신호를 생성하기 위한 파라미터를 규정한다. 예시적 실시예에서, 그러한 파라미터는 진폭, 주파수, 위상, 반전(inversion), 지속시간, 파형, 어택 타임(attack time), 라이즈 타임(rise time), 이벤트에 대한 랙 또는 리드 타임(lead time), 및 페이드 타임(fade time)과 같은 햅틱 구동 신호의 특성에 관한 것이거나 그와 연계된다. 햅틱 구동 신호는 하나 이상의 햅틱 액추에이터에 적용되어 하나 이상의 햅틱 효과를 유발한다.
콘텐츠 데이터(114)는 콘텐츠 프리젠테이션 디바이스(108)를 통해 사용자에게 전달될 수 있는 콘텐츠를 생성하는데 사용되는 데이터이다. 이 문헌에서, 콘텐츠 데이터(114)는 360도 비디오와 같은 비디오 콘텐츠를 위한 데이터로 주로 기술된다. 하지만, 다른 실시예에서, 본 개시내용의 교시는 3차원 비디오, 가상 또는 증강 현실 콘텐츠 및 오디오 콘텐츠와 같은 다른 유형의 콘텐츠에 유사하게 적용될 수 있다.
도시된 실시예에서, 햅틱 효과 오서링 디바이스(102)는 콘텐츠 데이터(114) 및 햅틱 트랙(112)에 기초하여 햅틱 픽셀(110)을 생성한다. 이 구성에서, 햅틱 인에이블형 장치(104)는 햅틱 트랙(112) 및 햅틱 픽셀(110) 양자 모두를 수신하여 콘텐츠 데이터(114)와 연계된 햅틱 효과를 생성한다. 다른 실시예에서, 햅틱 효과 오서링 디바이스(102)는 햅틱 트랙(112)을 요구하지 않고, 콘텐츠 데이터(114)에 기초하여 햅틱 픽셀(110)을 생성할 수 있다. 그러한 실시예에서, 그렇지 않다면 햅틱 트랙에 포함되었을 햅틱 데이터는 햅틱 픽셀(110) 내에 인코딩되고, 햅틱 인에이블형 장치(104)는 햅틱 픽셀(110)을 사용하여 햅틱 효과를 렌더링할 수 있다.
도 2는 도 1의 시스템(100)을 동작시키기 위한 예시적 방법(130)을 도시하는 흐름도이다. 특정 실시예에서, 시스템(100)은 일반적으로 사용자에게 제공되는 콘텐츠와 연계된 햅틱 효과를 제공하기 위해 2 단계를 수행하도록 동작한다. 우선, 시스템(100)은 콘텐츠를 위한 햅틱 효과의 오서링(authoring)을 가능하게 하고(동작(132)), 콘텐츠가 제공됨에 따라 햅틱 효과를 렌더링하도록(동작(134)) 구성 및 사용된다. 일부 실시예에서, 동작(132)은 햅틱 효과 오서링 디바이스(102) 및 시스템(100) 내의 다른 연계 디바이스를 사용하여 수행될 수 있으며, 동작(134)은 햅틱 효과 렌더링 디바이스(106) 및 시스템 내의 다른 연계 디바이스를 사용하여 수행될 수 있다. 동작(132)의 일 예가 도 3 내지 도 10을 참조하여 도시 및 기술되고, 동작(134)의 일 예가 도 11 내지 도 15를 참조하여 도시 및 기술된다.
도 3은 도 1에 도시된 바와 같이, 햅틱 효과 오서링 디바이스(102)의 가능 실시예의 블록도이다. 이 실시예에서, 햅틱 효과 오서링 디바이스(102)는 버스(140), 프로세서(142), 입력/출력(I/O) 컨트롤러(144), 메모리(146), NIC(network interface controller)(148) 및 사용자 인터페이스(150)를 포함한다. 버스(140)는 프로세서(142), I/O 컨트롤러(144), 메모리(146) 및 NIC(148)를 포함하는 디바이스(102) 내의 컴포넌트들 사이에서 데이터를 전달하기 위한 경로를 제공하는 전도체 또는 전송 라인을 포함한다. 버스(140)는 통상적으로 제어 버스, 어드레스 버스 및 데이터 버스를 포함한다. 하지만, 버스(140)는 디바이스(102) 내의 컴포넌트들 사이에서 데이터를 전달하는데 적합한 임의의 버스 또는 버스들의 조합일 수 있다.
프로세서(142)는 정보를 처리하도록 구성되는 임의의 회로일 수 있으며, 임의의 적합한 아날로그 또는 디지털 회로를 포함할 수 있다. 프로세서(142)는 또한 명령어를 실행하는 프로그램가능 회로를 포함할 수 있다. 프로그램가능 회로의 예는 마이크로프로세서, 마이크로컨트롤러, ASIC(application specific integrated circuits), PLA(programmable gate arrays), FPGA(field programmable gate arrays), 또는 명령어를 실행하는데 적합한 임의의 다른 프로세서 또는 하드웨어를 포함한다. 다양한 실시예에서, 프로세서(142)는 단일 유닛 또는 둘 이상의 유닛의 조합일 수 있다. 프로세서(142)가 둘 이상의 유닛을 포함하는 경우, 유닛은 단일 컨트롤러 또는 별개 디바이스들 내에 물리적으로 위치될 수 있다.
I/O 컨트롤러(144)는 사용자 인터페이스(150)와 같은 주변 또는 외부 디바이스 및 디바이스(102)의 동작을 모니터링하는 회로구성부이다. I/O 컨트롤러(144)는 또한 디바이스(102)와 기기 디바이스 사이의 데이터 흐름을 관리하고, 주변 디바이스를 모니터링하고 제어하는 것과 연계된 세부사항으로부터 프로세서(142)를 자유롭게 한다. I/O 컨트롤러(144)가 간섭할 수 있는 다른 주변 또는 외부 디바이스의 예는 외부 저장 디바이스, 모니터, 키보드 및 포인팅 디바이스와 같은 입력 디바이스, 외부 컴퓨팅 디바이스, 안테나, 사람이 착용하는 다른 물품 및 임의의 다른 원격 디바이스를 포함한다.
메모리(146)는 RAM(random access memory), ROM(read only memory), EEPROM(electrically erasable programmable read only memory), 플래시 메모리, 자기 메모리, 광학 메모리, 또는 임의의 다른 적합한 메모리 기술과 같은 휘발성 메모리를 포함할 수 있다. 메모리(146)는 또한 휘발성 및 비휘발성 메모리의 조합을 포함할 수 있다.
메모리(146)는 프로세서(142)에 의한 실행을 위한 다수의 프로그램 모듈을 저장할 수 있는데, 이는 사용자 입력 취득 모듈(152), 데이터 취득 모듈(154), 햅틱 오서링 모듈(156) 및 통신 모듈(158)을 포함한다. 각각의 모듈은 데이터, 루틴, 객체, 호출 및 하나 이상의 특정 작업을 수행하는 다른 명령어의 집합이다. 특정 모듈이 본원에 기술되었지만, 본원에 기술된 다양한 명령어 및 작업은 단일 모듈, 상이한 조합의 모듈, 본원에 기술된 것 이외의 모듈, 또는 무선 또는 유선으로 디바이스(102)와 통신하는 원격 디바이스에 의해 실행되는 모듈에 의해 수행될 수 있다.
사용자 입력 취득 모듈(152)은, 프로세서(142)에 의해 실행될 때 프로세서(142)가 햅틱 효과 또는 햅틱 효과 변경자와 연계된 하나 이상의 파라미터의 사용자 입력을 수신하게 하는 명령어이다. 사용자 입력 취득 모듈(152)은 사용자 인터페이스(150)의 입력 디바이스(162)와 통신할 수 있으며, 사용자가 입력 디바이스(162)를 통해 그러한 파라미터를 입력할 수 있게 한다. 예로서, 사용자 입력 취득 모듈(152)은, 사용자가 햅틱 효과를 위한 하나 이상의 파라미터를 기입(enter) 또는 선택할 수 있게 하는 디스플레이 스크린(즉, 입력 디바이스(162)) 상에 그래픽 사용자 인터페이스를 제공한다. 사용자 입력 취득 모듈(152)을 동작시키는 예시적 방법은 도 9 및 도 10을 참조하여 상세하게 기술된다.
데이터 취득 모듈(154)은, 프로세서(142)에 의해 실행될 때 프로세서(142)가 햅틱 효과를 오서링하는데 사용되는 데이터를 수신하게 하는 명령어이다. 그러한 데이터는 햅틱 오서링 모듈(156)에 의해 사용될 수 있다. 본원에 기술된 특정 실시예에서, 수신된 데이터는 햅틱 트랙(112) 및 콘텐츠 데이터(114)에 관한 정보를 포함한다.
햅틱 오서링 모듈(156)은, 프로세서(142)에 의해 실행될 때, 프로세서(142)가 햅틱 픽셀(110)을 생성하게 하는 명령어이다. 적어도 일부 실시예에서, 햅틱 오서링 모듈(156)은 사용자 입력을 수신하기 위해 사용자 입력 취득 모듈(152)과 통신하고, 햅틱 트랙(112) 및 콘텐츠 데이터(114)와 같은 햅틱 효과를 오서링하는데 사용될 수 있는 데이터를 수신하기 위해 데이터 취득 모듈(154)과 통신한다.
통신 모듈(158)은 디바이스(102)와 원격 디바이스 사이의 통신을 촉진한다. 원격 디바이스의 예는 컴퓨팅 디바이스, 센서, 액추에이터, 라우터 및 핫스폿과 같은 네트워킹 장비, 차량, 운동 장비(exercise equipment) 및 스마트 어플라이언스(smart appliances)을 포함한다. 컴퓨팅 디바이스의 예는 서버, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, 스마트폰, 가정 자동화 컴퓨터 및 컨트롤러, 및 프로그램가능한 임의의 다른 디바이스를 포함한다. 통신은 무선 또는 유선 신호 또는 데이터 경로를 통한 통신을 포함하는 데이터 통신에 적합한 임의의 형태를 취할 수 있다. 다양한 실시예에서, 통신 모듈은, 다른 컴퓨팅 디바이스 또는 다른 원격 디바이스와 통신하는 피어(peer)로서 시스템(100)의 중앙집중형 컨트롤러(centralized controller) 또는 다른 원격 디바이스와 같은, 또는 그 컨트롤러가 일부 환경에서는 중앙집중형 컨트롤러로 그리고 다른 환경에서는 피어로 동작할 수 있는 하이브리드 중앙집중형 컨트롤러 및 피어와 같은 디바이스(102)를 구성할 수 있다.
프로그램 모듈의 대안적 실시예가 가능하다. 예컨대, 일부 대안적 실시예는 사용자 입력 취득 모듈(152), 데이터 취득 모듈(154), 햅틱 오서링 모듈(156) 및 통신 모듈(158)보다 많거나 적은 프로그램 모듈을 가질 수 있다. 일부 가능 실시예에서, 프로그램 모듈 중 하나 이상은 원격 컴퓨팅 디바이스 또는 다른 웨어러블 제품과 같은 원격 디바이스 내에 존재한다.
도 3을 계속 참조하면, NIC(network interface controller)(148)는 디바이스(102)와 원격 디바이스 사이의 통신(무선 또는 유선)을 제공하도록 네트워크(168)과 전기 통신 상태이다. 통신은 블루투스와 같은 표준, 셀룰러 표준(예컨대, CDMA, GPRS, GSM, 2.5G, 3G, 3.5G, 4G), WiGig, IEEE 802.11a/b/g/n/ac, IEEE 802.16 (예컨대, WiMax)를 포함하는 임의의 무선 전송 기술에 따를 수 있다. NIC(148)는 또한 RS 232, USB, FireWire, Ethernet, MIDI, eSATA 또는 선더볼트와 같은 임의의 적절한 표준을 따르고 데이터를 전송하기 위한 임의의 적절한 포트 및 커넥터를 이용하는 유선 접속을 통한 디바이스(102)와 원격 디바이스 간의 유선 통신을 제공할 수 있다.
사용자 인터페이스(150)는 입력 디바이스(162) 및 출력 디바이스(164)를 포함할 수 있다. 입력 디바이스(162)는, 사용자가 그를 통해 파라미터, 커맨드 및 다른 정보를 햅틱 효과 오서링 디바이스(102)에 입력할 수 있는 임의의 디바이스 또는 메커니즘을 포함한다. 또한, 입력 디바이스(162)는 또한 편집을 위한 비디오 트랙과 같은 햅틱 트랙 및 콘텐츠 데이터를 수신할 수 있다. 입력 디바이스(162)의 예는 터치스크린, 터치 감응식 표면, 카메라, 버튼 및 스위치와 같은 기계식 입력, 및 다른 유형의 입력 컴포넌트를 포함한다. 입력 디바이스(162)는 또한 플래시 메모리, 자기 메모리, 광학 메모리 또는 임의의 다른 적절한 메모리 기술과 같은 휴대용 메모리를 위한 제거가능 메모리 판독기를 포함할 수 있다. 출력 디바이스(164)는 가시 및 가청 포맷과 같은 다양한 포맷으로 사용자에게 정보를 제공하는 임의의 디바이스 또는 메커니즘을 포함한다. 출력 디바이스(164)의 예는 디스플레이 스크린, 스피커, 라이트 및 다른 유형의 출력 컴포넌트를 포함한다. 출력 디바이스(164)는 또한 제거가능한 메모리 판독기를 포함할 수 있다. 일 실시예에서, 입력 디바이스(162) 및 출력 디바이스(164)는 터치-감응식 디스플레이 스크린과 같이 일체식으로 형성된다.
도 4는 햅틱 효과 오서링 디바이스(102)의 예시적 동작을 도시하는 블록도이다. 적어도 일부 실시예에서, 햅틱 효과 오서링 디바이스(102)는 햅틱 트랙(112) 및 콘텐츠 데이터(114)를 수신하고, 햅틱 트랙(112) 및 콘텐츠 데이터(114)를 사용하여 햅틱 픽셀(110)의 세트를 생성한다.
상술된 바와 같이, 햅틱 트랙(112)은 햅틱 효과와 연계되고 하나 이상의 햅틱 액추에이터의 동작을 규정하는 햅틱 데이터를 포함한다. 콘텐츠 데이터(114)는 콘텐츠 프리젠테이션 디바이스(108)와 같은 콘텐츠 재생 디바이스를 이용하여 전달되는 콘텐츠를 생성하기 위한 정보를 포함한다.
도시된 실시예에서, 비디오 콘텐츠는 소정의 햅틱 효과로 렌더링된다. 예컨대, 비디오 콘텐츠는 구면 비디오(spherical video) 또는 360도 비디오를 포함한다. 360도 비디오는 모든 방향에서의 조망이 카메라의 컬렉션 및 전방향성 카메라와 같은 사진 기술을 이용하여 동시에 기록되는 비디오 레코딩이다. 따라서, 최종 피트수(resulting footage)는 구(sphere) 상에 투영될 수 있는 단일 직사각형 비디오를 형성하도록 스티칭될 수 있다. 재생 도중, 조망(view)은 조망 방향(viewing direction)을 제어할 수 있는데, 이는 파노라마와 유사하다. 일부 가능 실시예에서, 360도 비디오는 모노스코픽인데, 이는 단일 표면 상에 평면 이미지로서 조망된다. 다른 가능 실시예에서, 360도 비디오는 스테레오스코픽 비디오로, 이는 각각의 눈에 개별적으로 지향되는 2개의 이미지로서 조망된다.
360도 비디오는 다양한 디바이스 상에서 재생될 수 있다. 예컨대, 360도 비디오가 개인용 컴퓨터 상에서 조망될 때, 마우스 또는 다른 포인팅 디바이스(예컨대, 트랙볼, 조이스틱, 포인팅 스틱, WillMote, 손가락 트랙킹 디바이스, 펜 또는 스타일러스)가 클릭 및 드래그에 의해 비디오를 둘러보는데(pan around) 사용된다.
모바일 컴퓨팅 디바이스(예컨대, 스마트폰 또는 태블릿) 상에서, 자이로스코프와 같은 내부 센서가 디바이스의 배향에 기초하여 비디오를 팬(pan)하는데 사용될 수 있다. 다른 실시예에서, 비디오는 가상 현실 헤드셋, 컨트롤러 및 다른 디바이스를 포함하는 가상 현실 디바이스를 동작시키는 사용자에게 표시될 수 있다. 사용자의 시점 및/또는 움직임은 비디오를 둘러보는데 사용될 수 있다.
콘텐츠 데이터(114)가 비디오 콘텐츠용인 도시된 실시예에서, 하나 이상의 비디오 텍스처 맵이 제공될 수 있는데, 이는 하나 이상의 비디오 프레임을 표현한다. 비디오 텍스처 맵(212)은 디스플레이 디바이스 상에 비디오 콘텐츠를 렌더링 하기 위한 비디오 프레임으로 사용될 수 있다. 비디오 텍스처 맵의 일 예가 본원에서 추가로 기술되는데, 이는 도 5 및 도 6을 참조하는 설명을 포함한다.
상술된 바와 같이, 햅틱 픽셀(110)은 콘텐츠 데이터(114)와 연계된 햅틱 효과를 규정 또는 조절하기 위한 정보를 포함한다. 본원에 기술된 바와 같이, 하나의 가능 실시예에서, 햅틱 픽셀(110)은 하나 이상의 대응 비디오 프레임 또는 비디오 텍스처 맵과 햅틱 픽셀(110)을 연계하기 위한 좌표를 포함할 수 있다. 햅틱 픽셀(110)의 일 예시적 데이터 구조가 본원에 기술되는데, 이는 도 8을 참조한 설명을 포함한다. 햅틱 픽셀(110)은 하나 이상의 햅틱 텍스처 맵으로 표현될 수 있다. 적어도 일부 실시예에서, 햅틱 픽셀(110) 또는 그 햅틱 텍스처 맵은 시각적으로 렌더링되지 않는다. 다른 실시예에서, 햅틱 텍스처 맵은 도 9를 참조한 설명을 포함하여 본원에 도시된 바와 같이 시각적으로 렌더링될 수 있다.
도 5 내지 도 8은 햅틱 효과 오서링 디바이스(102)를 동작시키는 가능한 예시적 방법(200)을 도시한다. 도시된 실시예에서, 방법(200)은 동작(202, 204, 206)을 포함한다. 다른 실시예에서, 방법(200)은 이러한 동작 중 적어도 하나와 함께 추가적인 동작을 포함할 수 있다.
동작(202)에서, 햅틱 효과 오서링 디바이스(102)는 햅틱 트랙(112) 및 콘텐츠 데이터(114)를 수신한다. 동작(204)에서, 햅틱 효과 오서링 디바이스(102)는 비디오 텍스처 맵(212)의 비디오 픽셀(216)(도 7)과 연계된 햅틱 픽셀(110)을 생성한다. 동작(206)에서, 햅틱 효과 오서링 디바이스(102)는 햅틱 픽셀(110)과 연계된 햅틱 효과 변경자(232)(도 8)를 생성한다. 햅틱 픽셀(110)은 햅틱 픽셀(110)에 대응한다.
이 실시예에서, 콘텐츠 데이터(114)는 복수의 비디오 텍스처 맵(212)을 포함한다. 각각의 비디오 텍스처 맵은 비디오(214)의 적어도 하나의 프레임(218)을 표현할 수 있다. 비디오(214)는, 도 1에 도시된 바와 같이 햅틱 인에이블형 장치(104)의 콘텐츠 프리젠테이션 디바이스(108)와 같은 디스플레이 스크린을 갖는 비디오 재생기 상에서 재생된다. 콘텐츠 데이터(114)는 콘텐츠 프리젠테이션 디바이스(108)가 비디오를 재생하는데 사용할 수 있는 정보를 포함한다.
도 6에 도시된 바와 같이, 일부 실시예에서, 비디오(214)는 복수의 프레임(218)을 표시함으로써 재생된다. 복수의 프레임(218)은 결정된 프레임 레이트 또는 시간 해상도(temporal resolution)로 직렬로 표시될 수 있다. 시간 해상도의 일부 예는 10 FPS(frames per second) 내지 500 FPS의 범위를 갖는다. 다른 시간 해상도가 다른 실시예에서 가능할 수도 있다.
도 6을 계속 참조하면, 콘텐츠 데이터(114) 내에 포함된 비디오 텍스처 맵(212)의 각각은 비디오(214)의 적어도 하나의 프레임(218)을 표현할 수 있다. 360도 비디오와 같은 그러한 일 예에서, 비디오 텍스처 맵(212)은 단일 비디오 텍스처 맵(212)이 비디오(214)의 단일 프레임(218)로 사용되도록 통상 프레임(218)을 개별적으로 표현한다. 이 구성에서, 비디오 텍스처 맵(212)은 비디오 프레임(218)과 동일하며, 따라서 비디오 프레임(218)으로도 지칭될 수 있다. 다른 예에서, 비디오 텍스처 맵(212)의 적어도 하나는 비디오(216)의 프레임(218) 중 둘 이상을 표현하도록 구성된다. 예컨대, 비디오 압축이 수행되는 경우, 비디오 텍스처 맵(212)의 각각은, 프레임(218)이 제1 프레임 레이트로 스트리밍될 때 비디오 텍스처 맵(212)이 제1 프레임 레이트보다 낮은 제2 프레임 레이트로 사용되도록 복수의 프레임(218)(예컨대, 2, 3, 4 등)과 연계된다. 예로서, 각각의 비디오 텍스처 맵(212)은 3개의 연속적인 프레임(218)을 표현하도록 구성되어, 프레임(218)이 90 FPS로 스트리밍될 때, 비디오 텍스처 맵(212)은 30 FPS로 사용된다. 또 다른 예에서, 비디오 텍스처 맵(212)의 적어도 일부는 다른 수의 프레임(218)과 연계된다. 예컨대, 제1 비디오 텍스처 맵(212)은 2개의 프레임(218)에 대응하는 반면에, 제2 비디오 텍스처 맵(212)은 상기 2개의 프레임(218)과 다른 단일 프레임(218)만을 표현한다.
비디오 텍스처 맵(212)은, 비디오(214)의 하나 이상의 프레임(218)로서 사용될 수 있는 2차원 이미지이다. 본원에 기술된 바와 같이, 비디오 텍스처 맵(212)은 또한 일부 예에서 비디오 프레임(218)과 동일할 수 있다. 적어도 일부 가능 실시예에서, 다양한 맵핑 기술이 각각의 비디오 텍스처 맵(212)을 비디오(214)의 적어도 하나의 프레임(218)에 투영하는데 사용될 수 있다. 예시적 맵핑 프로세스는 2차원 이미지를 3차원 모델의 표면에 투영하는 UV 맵핑을 포함한다. UV 맵핑 프로세스는 3차원 객체를 구성하고 비디오 텍스처 맵(212)과 같은 2차원 이미지로부터 색과 같은 표면 속성을 갖는 다각형을 이용할 수 있다. UV 맵핑 프로세스는 다각형 상의 표면 맵핑에 비디오 텍스처 맵(212) 내의 비디오 픽셀(216)(도 7)을 할당하는 것을 포함한다. 다른 예에서, 다른 맵핑 방법이 비디오(214)의 프레임(218)에 비디오 텍스처 맵(212)을 연계하는데 사용될 수 있다.
도 5를 다시 참조하면, 동작(204)에서, 햅틱 효과 오서링 디바이스(102)는 비디오 텍스처 맵(212)의 비디오 픽셀(216)과 연계된 햅틱 픽셀(110)을 생성한다. 일부 실시예에서, 햅틱 픽셀(110)은 햅틱 트랙(112) 내의 햅틱 데이터를 변경하는데 사용되는데, 이는 이후 하나 이상의 햅틱 액추에이터의 동작을 규정하는데 사용된다. 다른 실시예에서, 햅틱 트랙(112)이 햅틱 픽셀(110) 내에서 인코딩되는 경우, 햅틱 픽셀(110)은 하나 이상의 햅틱 액추에이터를 제어하는데 사용되는 햅틱 데이터를 규정할 수 있다.
도 7에 도시된 바와 같이, 햅틱 픽셀(110)은 햅틱 텍스처 맵(222)으로 표현될 수 있다. 햅틱 텍스처 맵(222)은 비디오 텍스처 맵(212)의 적어도 하나와 연계된다. 일 가능 실시예에서, 햅틱 텍스처 맵(222)은 비디오 텍스처 맵(212)에 개별적으로 대응하여, 햅틱 텍스처 맵(222) 및 비디오 텍스처 맵(212)의 시간 해상도는 동일하다. 다른 가능 실시예에서, 햅틱 텍스처 맵(222) 중 적어도 하나는 비디오 텍스처 맵(212) 중 적어도 하나와 다른 시간 해상도를 갖는다. 예컨대, 햅틱 텍스처 맵(222) 중 적어도 하나는 2개 이상의 비디오 텍스처 맵(212)과 연계되어, 햅틱 텍스처 맵(222)은 비디오 텍스처 맵보다 낮은 시간 해상도를 갖는다. 다른 예에서, 비디오 텍스처 맵(212) 중 적어도 하나는 2개 이상의 햅틱 텍스처 맵(222)과 연계되어, 햅틱 텍스처 맵(222)은 비디오 텍스처 맵보다 높은 시간 해상도를 갖는다. 상이한 시간 해상도의 예시적 용례는, 대상물의 이미지 또는 표현이 복수의 비디오 프레임에 걸쳐 수행되는 반면에, 대상물의 이미지 또는 표현은 복수의 비디오 프레임에 걸쳐 동일한 햅틱 효과를 갖는 경우이다.
일부 실시예에서, 햅틱 텍스처 맵(222)은 비디오 텍스처 맵(212)과 동일한 공간 해상도를 갖는다. 예컨대, 햅틱 텍스처 맵(222) 내의 햅틱 픽셀(110)의 수는 비디오 텍스처 맵(212) 내의 비디오 픽셀(216)의 수와 동일하다. 다른 실시예에서, 햅틱 텍스처 맵(222)은 비디오 텍스처 맵(212)과 다른 공간 해상도를 갖는다. 예컨대, 햅틱 텍스처 맵(222) 내의 햅틱 픽셀(110) 중 적어도 하나는 비디오 텍스처 맵(212) 내의 비디오 픽셀(216) 중 둘 이상과 연계된다. 도시된 실시예에서, 햅틱 텍스처 맵(222)은, 비디오 픽셀(216)의 모든 쌍이 단일 햅틱 픽셀(110)에 매핑될 수 있도록 비디오 텍스처 맵(212)의 1/2 공간 해상도를 갖는다. 도 7에 도시된 바와 같이, 2차원 좌표(x1, y1) 및 (x2, y2)로 식별되는 2개의 비디오 픽셀(216)은 2차원 좌표(u1, v1)로 식별되는 단일 햅틱 픽셀(110)과 연계되고, 비디오 픽셀(216)의 나머지 쌍은 동일한 방식으로 다른 햅틱 픽셀(110)에 매핑된다. 다른 구성도 다른 실시예에서 가능하다.
일부 실시예에서, 햅틱 텍스처 맵(222)은 키 프레임에 대응하는 일련의 이미지일 수 있다. 예컨대, 햅틱 텍스처 맵(222)은 2개의 인접한 비디오 텍스처 맵 또는 2개의 인접한 비디오 프레임 사이에 배열될 수 있다. 이 구성에서, 햅틱 텍스처 맵 내의 햅틱 픽셀(햅틱 데이터 변경자를 포함함)은, 햅틱 텍스처 맵을 위한 타임스탬프(timestamp)를 일괄처리하는(bracket) 2개의 인접한 비디오 텍스처 맵 또는 비디오 프레임 사이의 보간 값에 기초하여 결정될 수 있다.
적어도 일부 실시예에서, 햅틱 텍스처 맵은, 각각의 픽셀이 해당 픽셀과 연계된 햅틱 데이터 변경자를 나타내는 값을 갖는 단색 이미지이다. 예컨대, 햅틱 텍스처 맵은 그레이맵일 수 있다. 일 예에서, 각각의 픽셀은 0 내지 255 범위의 8-비트 데이터의 값을 가질 수 있다. 16-비트, 32-비트 등과 같은 다른 데이터 유형도 가능하다. 픽셀은 상이한 햅틱 데이터 변경자를 나타내는 상이한 값을 가질 수 있다. 다른 실시예에서, 햅틱 텍스처 맵은 각각의 픽셀에 대한 다중 햅틱 데이터 변경자를 나타내기 위한 다중 색의 이미지이다.
도 8을 참조하면, 하나의 가능 실시예에서, 햅틱 픽셀(110)은 픽셀 식별자(230) 및 하나 이상의 햅틱 효과 변경자(232)를 포함할 수 있다. 픽셀 식별자(230)는 각각의 햅틱 픽셀을 식별하는데 사용될 수 있다. 적어도 일부 실시예에서, 픽셀 식별자는 나머지 햅틱 픽셀(110) 중(또는 햅틱 텍스처 맵(222) 내에서) 연계된 햅틱 픽셀(110)의 위치를 식별하는 좌표를 포함한다. 햅틱 픽셀(110)의 좌표는 비디오 텍스처 맵(212) 내의 비디오 픽셀(216)과 대응하는 햅틱 텍스처 맵(222) 내의 햅틱 픽셀(110) 간의 맵핑에 사용될 수 있다. 예컨대, 도 7에 도시된 바와 같이, 햅틱 픽셀(110)은, 비디오 픽셀(216)의 하나 이상의 2차원 좌표(x, y)와 연계될 수 있는 2차원 좌표(u, v)를 가질 수 있다.
햅틱 효과 변경자(232)는 햅틱 트랙(112)을 변경하는데 사용되는 정보를 포함한다. 적어도 일부 실시예에서, 각각의 햅틱 픽셀(110)은, 햅틱 트랙(112) 내의 햅틱 데이터의 적어도 일부를 편집할 수 있는 하나 이상의 햅틱 효과 변경자(232)(예컨대, 햅틱 효과를 생성하는데 사용되는 하나 이상의 파라미터)를 포함하거나 또는 그와 연계되어, 햅틱 액추에이터의 동작을 변경한다. 도시된 실시예에서, 각각의 햅틱 픽셀(110)은 2개의 햅틱 효과 변경자(232)(즉, 제1 햅틱 효과 변경자(232A) 및 제2 햅틱 효과 변경자(232B))와 연계된다. 각각의 햅틱 픽셀(110) 내의 복수의 햅틱 효과 변경자(232)는 햅틱 트랙(112) 내 햅틱 데이터 내의 상이한 파라미터를 변경하는데 사용된다.
일 가능 실시예에서, 햅틱 효과 변경자(232)는 햅틱 효과의 크기(진폭)을 조절하기 위한 감쇠 데이터를 포함한다. 다른 가능 실시예에서, 햅틱 효과 변경자(232)는 햅틱 효과를 생성하기 위한 하나 이상의 액추에이터의 선택 및, 햅틱 효과의 주파수, 파형, 선명도 및 다른 가능 속성을 포함하는 다른 파라미터를 조절하기 위한 데이터를 포함한다.
햅틱 텍스처 맵을 위한 비-단색 인코딩을 위해, 햅틱 데이터 변경자의 각각은 이미지 속성에 대해 맵핑될 필요가 있다. 예컨대, 각각의 햅틱 픽셀이 2개의 파라미터를 규정하기 위한 2개의 햅틱 데이터 변경자를 포함하는 경우, RGB 색 값 내의 2개의 색은 2개의 햅틱 데이터 변경자를 규정하는데 사용될 수 있어서, 제1 햅틱 데이터 변경자는 적색 픽셀 값을 가지며, 제2 햅틱 데이터 변경자는 녹색 픽셀 값을 갖는다. 색(적색 및 청색, 또는 녹색 및 청색)의 다른 조합도 가능하다. 각각의 햅틱 픽셀이 3개의 파라미터를 규정하기 위한 3개의 햅틱 데이터 변경자를 포함하는 경우, RGB 색 값은 상기 3개의 햅틱 데이터 변경자를 규정하는데 사용될 수 있어서, 제1 햅틱 데이터 변경자는 적색 픽셀 값을 가지며, 제2 햅틱 데이터 변경자는 녹색 픽셀 값을 가지며, 제3 햅틱 데이터 변경자는 청색 픽셀 값을 갖는다. 색 값을 사용하는 맵핑은 존재하는 인코딩 범위에 의해 제한될 수 있는데, 이는 상기 예에서 RGB 색 시스템이 단지 3개의 햅틱 데이터 변경자를 지지할 수 있기 때문이다. 인코딩 포맷이 레이어를 지지할 수 있는 다른 실시예에서, 복수의 햅틱 데이터 변경자의 각각은 별개 레이어 내의 단색 이미지일 수 있다. 이는 각각의 햅틱 픽셀에 대해 무제한 수의 햅틱 데이터 변경자를 가능하게 할 수 있다.
일부 가능 실시예에서, 햅틱 효과 변경자(232)는 수치 값으로 나타내질 수 있다. 예로서, 각각의 햅틱 효과 변경자(232)는 8비트의 값, 예컨대 0 내지 255 범위의 값을 갖는다. 다른 가능 실시예에서, 햅틱 효과 변경자(232)는 상이한 방식으로 표현될 수 있다.
도 9는 햅틱 데이터 변경자(232)를 생성하기 위한 예시적 방법(240)을 도시하는 흐름도이다. 도시된 실시예에서, 동작(242)에서는, 햅틱 효과 오서링 디바이스(102)가 햅틱 효과 오서링 디바이스(102)의 사용자 인터페이스(150) (예컨대, 출력 디바이스(164)와 같은 디스플레이 디바이스 상에 햅틱 텍스처 맵(222)을 표시할 수 있다. 이후, 동작(244)에서, 햅틱 효과 오서링 디바이스(102)는 햅틱 효과 오서링 디바이스(102)의 입력 디바이스, 예컨대 입력 디바이스(162)를 통해 하나 이상의 햅틱 데이터 변경자 값을 수신한다. 이후 동작(246)에서 햅틱 효과 오서링 디바이스(102)는 햅틱 데이터 변경자 값의 입력을 나타내도록 업데이트된 변경된 햅틱 텍스처 맵(222)을 표시할 수 있다.
도 10을 참조하면, 사용자 인터페이스(250)의 일 가능 실시예가 햅틱 데이터 변경자 값의 사용자 입력을 수신하기 위해 도시된다. 사용자 인터페이스(250)는 햅틱 효과 오서링 디바이스(102)의 사용자 인터페이스(150)를 이용하여 구현될 수 있다. 이 예시적 실시예에서, 사용자 인터페이스(250)는 맵 디스플레이 세그먼트(252), 영역 선택 세그먼트(254), 및 하나 이상의 파라미터 선택 세그먼트(256)(256A, 256B)를 포함한다.
사용자 인터페이스(250)가 도 10에 도시된 것에 제한되지 않는다는 것이 이해된다. 사용자 인터페이스(250)는 기존의 이미지 및 비디오 편집 소프트웨어 또는 툴의 임의의 사용자 인터페이스일 수 있다. 일부 실시예에서, 본 개시내용의 햅틱 효과 오서링 디바이스(102)는 하나 이상의 기존 이미지 및 비디오 편집 툴을 이용하여 합체되거나 구현될 수 있으며, 그로 인해 사용자 인터페이스(250)는 그러한 기존의 이미지 및 비디오 편집 툴의 사용자 인터페이스에 의해 구현될 수 있다.
맵 디스플레이 세그먼트(252)가 햅틱 텍스처 맵(222)을 표시하는데 사용된다. 적어도 일부 실시예에서, 맵 디스플레이 세그먼트(252) 내에 표시되는 햅틱 텍스처 맵(222)은 다른 햅틱 데이터 변경자 값이 기입됨에 따라 적어도 부분적으로 변경될 수 있다.
영역 선택 세그먼트(254)는 햅틱 텍스처 맵(222) 내의 영역을 선택 및/또는 표시하는데 사용되는데, 이는 사용자에 의해 선택될 수 있다. 영역이 햅틱 텍스처 맵(222) 상에서 선택되면, 사용자는 선택된 영역 내에 햅틱 픽셀과 연계된 햅틱 효과를 조절하기 위해 하나 이상의 햅틱 데이터 변경자 값을 입력할 수 있다. 영역은 개별적인 햅틱 픽셀 또는 햅틱 픽셀의 그룹일 수 있다. 사용자가 햅틱 텍스처 맵(222) 내의 영역을 선택할 수 있게 하기 위해 다양한 방법이 사용될 수 있다. 예컨대, 사용자는 복수의 햅틱 픽셀을 선택하도록 햅틱 텍스처 맵(222) 상에서 영역(직사각형 또는 원형)을 그리거나 하나 이상의 햅틱 픽셀을 개별적으로 선택하는 것과 같이 영역을 규정하기 위해 주변 입력 디바이스(예컨대, 마우스)를 이용할 수 있다.
파라미터 선택 세그먼트(256)는 사용자가 햅틱 데이터 변경자 값을 조절할 수 있게 하기 위해 제어 요소(258)(258A 및 258B 포함)를 제공할 수 있다. 버튼, 슬라이더, 리스트 박스, 스피너 및 드롭-다운 리스트와 같은 다양한 유형의 제어 요소(258)가 사용될 수 있다. 도시된 실시예에서, 제1 파라미터 선택 세그먼트(256A) 및 제2 파라미터 선택 세그먼트(256B)는 제1 슬라이더(258A) 및 제2 슬라이더(258B)를 포함하여, 사용자는 햅틱 데이터 변경자 값(예컨대, 제1 파라미터 선택 세그먼트(256A) 내의 파라미터 1 및 제2 파라미터 선택 세그먼트(256B) 내의 파라미터 2)을 선택하기 위해 바를 따라 핸들의 위치를 변경할 수 있다. 다른 실시예에서, 사용자 인터페이스(250)는 본원에 도시된 것과 다른 구성, 배열 및 레이아웃을 갖는다.
이제 도 11 내지 도 15를 참조하면, 콘텐츠 데이터(114)에 기초하여 재생되는 콘텐츠를 위한 햅틱 효과를 렌더링하기 위한 하나의 가능한 예시적 방법이 도시된다. 이 방법은 도 2에 도시된 바와 같이 동작(134)을 구현할 수 있다.
도 11은 도 1에 도시된 바와 같은 햅틱 인에이블형 장치(104)의 많은 가능 실시예 중 하나의 블록도를 도시한다. 햅틱 인에이블형 장치(104)는 다양한 구성일 수 있다. 햅틱 인에이블형 장치(104)는, 셀룰러 폰, 스마트 폰, PDA(personal digital assistant), 휴대용 음악 재생기, 휴대용 비디오 재생기, 게임 시스템, VR(virtual reality) 시스템, 가상 현실 헤드셋, 360도 비디오 헤드셋, 자동차 시스템, 내비게이션 시스템, 데스크톱, 랩톱 컴퓨터, 전자 어플라이언스(예컨대, 텔레비전, 오븐, 세척기, 건조기, 냉장고 또는 조명 시스템), 시트, 헤드셋 또는 햅틱 액추에이터를 갖는 다른 디바이스를 구비한 IMAXTM 시어터와 같은 무비 시어터, 및 햅틱 피드백을 제공할 수 있을 뿐만 아니라 정보를 처리할 수 있는 임의의 다른 전자 또는 컴퓨팅 디바이스와 같은, 햅틱 효과를 전달하는데 사용될 수 있는 임의 유형의 디바이스일 수 있다.
햅틱 인에이블형 장치(104)는, 입력 디바이스(302), 프로세서(304), 메모리(306), 액추에이터 구동 회로(308) 및 액추에이터(310)를 포함한다. 일부 실시예에서 그리고 도 11에 도시된 바와 같이, 입력 디바이스(302), 프로세서(304), 메모리(306), 액추에이터 구동 회로(308) 및 액추에이터(310)는 단일 디바이스로 합체되는데, 이는 사용자에 의해 착용 또는 보유될 수 있다. 다른 실시예에서, 입력 디바이스(302), 프로세서(304), 메모리(306), 액추에이터 구동 회로(308) 및 액추에이터(310) 중 적어도 하나는 나머지와 별개로 배열되고 무선 또는 유선으로 서로 연결된다.
입력 디바이스(302)는, 햅틱 인에이블형 장치(104) 또는 햅틱 인에이블형 장치(104)의 사용자와 연계된 하나 이상의 이벤트, 또는 사용자에 의해 수행되며 사용자에게 햅틱 피드백과 함께 통지될 수 있는 하나 이상의 이벤트를 모니터링 또는 검출하도록 구성된다. 입력 디바이스(302)는 프로세서(304) 내로 신호를 입력하는 임의의 디바이스이다.
입력 디바이스(302)의 일 예는 터치 감응식 표면, 또는 마우스, 터치패드, 미니-조이스틱, 스크롤 휠, 트랙볼, 게임 패드 또는 게임 컨트롤러와 같은 디바이스(104)의 하우징 내에 장착된 다른 유형의 사용자 인터페이스이다. 입력 디바이스(302)의 다른 예는 키, 버튼, 스위치 또는 다른 유형의 사용자 인터페이스와 같은 제어 디바이스이다. 입력 디바이스(302)의 또 다른 예는 프로세서(304) 내로 신호를 입력하는 변환기이다. 입력 디바이스(302)로서 사용될 수 있는 변환기의 예는 하나 이상의 안테나 및 센서를 포함한다.
센서는 자극 수신에 응답하여 신호를 출력하는 임의의 기기 또는 다른 디바이스일 수 있다. 센서는 프로세서에 배선연결될 수 있거나 무선으로 프로세서에 연결될 수 있다. 센서는 다양한 다른 조건, 이벤트, 환경 조건, 디바이스(104)의 동작 또는 조건, 다른 사람들 또는 객체의 존재, 또는 센서를 자극할 수 있는 임의의 다른 조건 또는 객체를 검출 또는 검지하는데 사용될 수 있다.
센서의 예는 마이크로폰과 같은 음향 또는 소리 센서, 진동 센서, 음주측정기, 일산화탄소 및 이산화탄소 센서 및 와 가이거 계수기와 같은 화학 및 입자 센서, 전압 검출기 또는 홀-효과 센서와 같은 전기 및 자기 센서, 유동 센서, GPS 수신기, 고도계, 자이로스코프, 자기계 또는 가속도계와 같은 내비게이션 센서 또는 기기(navigational sensors or instruments), 압전 재료, 거리 측정계, 주행거리계, 속도계,충격 검출기와 같은 위치, 근접도 및 움직임-관련 센서, CCD(charge-coupled device), CMOS 센서, 적외선 센서 및 광검출기와 같은 촬상 및 다른 광학 센서, 기압계, 피에조미터 및 촉각 센서와 같은 압력 센서, 압전 센서 및 변형률 게이지와 같은 힘 센서, 온도계, 열량계, 서미스터, 열전쌍 및 고온계와 같은 온도 및 열 센서, 움직임 검출기, 삼각 측량 센서, 레이더, 포토 셀, 소나, 홀-효과 센서와 같은 근접 및 존재 센서(proximity and presence sensor), 바이오칩, 혈압 센서, 맥박/산소 센서, 혈당 센서 및 심장 모니터와 같은 생물측정 센서를 포함한다. 또한, 센서는 일부 실시예에서 센서 및 액추에이터 모두로 기능하는 압전 중합체와 같은 스마트 재료로 형성 될 수 있다.
다양한 실시예가 단일 입력 디바이스를 포함할 수 있거나, 또는 2개 이상의 입력 디바이스를 포함할 수 있다. 또한, 다양한 실시예는 상이한 유형의 입력 디바이스를 포함할 수 잇다. 예컨대, 적어도 일부 가능 실시예는 안테나 또는 센서와 같은 스위치 및 변환기를 포함한다. 입력 디바이스(302)가 자극되고 프로세서(304)에 신호를 입력할 때, 프로세서(304)는 디바이스(104)를 보유하거나 착용하거나 그와 상호작용하는 사람에게 햅틱 효과를 제공하도록 액추에이터(310)를 동작시킨다.
프로세서(304)는 정보를 처리하도록 구성된 임의의 디바이스, 요소 또는 회로일 수 있으며, 임의의 적절한 아날로그 또는 디지털 회로를 포함할 수 있다. 프로세서(118)는 또한 명령어를 실행하는 프로그램가능 회로를 포함할 수 있다. 프로그램가능 회로의 예는 마이크로프로세서, 마이크로컨트롤러, ASIC(application specific integrated circuits), PLA(programmable gate arrays), FPGA(field programmable gate arrays), 또는 명령어를 실행하는데 적합한 임의의 다른 프로세서 또는 하드웨어를 포함한다. 다양한 실시예에서, 프로세서(118)는 단일 유닛 또는 둘 이상의 유닛의 조합일 수 있다. 프로세서(118)가 둘 이상의 유닛을 포함하는 경우, 유닛은 단일 컨트롤러 또는 별개 디바이스 내에 물리적으로 위치될 수 있다. 프로세서(304)는 전체 디바이스(104)를 동작시키는 동일한 프로세서일 수 있거나 또는 별개 프로세서일 수 있다. 프로세서(304)는 고 레벨 파라미터에 기초하여 재생될 햅틱 효과 및 그 효과가 재생되는 순서를 결정할 수 있다. 일반적으로, 특정 햅틱 효과를 규정하는 고 레벨 파라미터는 크기, 주파수 및 지속시간을 포함한다. 스트리밍 모터 명령과 같은 저 레벨 파라미터는 특정 햅틱 효과를 결정하는데 사용될 수도 있다.
프로세서(304)는 입력 디바이스(302)로부터 신호 또는 데이터를 수신하고 액추에이터 구동 회로(308)를 구동하도록 제어 신호를 출력한다. 프로세서(304)에 의해 수신된 데이터는 임의 유형의 파라미터, 명령어, 플래그, 또는 본원에 기술된 프로세서, 프로그램 모듈 및 다른 하드웨어에 의해 처리되는 다른 정보일 수 있다.
메모리 디바이스(306)는 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read only memory), 플래시 메모리, 자기 메모리, 광학 메모리 또는 임의의 다른 적절한 메모리 기술과 같은 임의 유형의 저장 디바이스 또는 컴퓨터-판독가능 매체일 수 있다. 메모리(306)는 또한 휘발성 및 비휘발성 메모리의 조합을 포함할 수 있다. 메모리(306)는 프로세서(304)에 의해 실행되는 명령어를 저장한다. 메모리(306)는 또한 프로세서(304) 내부에 위치될 수 있거나 또는 내부 및 외부 메모리의 임의의 조합일 수 있다.
명령어 중, 메모리(306)는 액추에이터 구동 모듈(314)을 포함하는데, 이는 프로세서(304)에 의해 실행될 때 액추에이터 구동 회로(308)를 위한 제어 신호를 생성하는 명령어이다. 액추에이터 구동 모듈(314)은 또한 액추에이터(310)로부터 피드백을 결정하고 그에 따라 제어 신호를 조절할 수 있다.
액추에이터 구동 회로(308)는 액추에이터 구동 모듈(314)로부터 햅틱 신호(본원에서 제어 신호로도 지칭됨)를 수신하는 회로이다. 햅틱 신호는 햅틱 효과와 연계된 햅틱 데이터를 구현하고, 햅틱 데이터는 액추에이터 구동 회로(308)가 액추에이터 구동 신호를 생성하는데 사용하는 파라미터를 규정한다. 예시적 실시예에서, 그러한 파라미터는 전기적 특성에 관한 것이거나 또는 그와 연계된다. 햅틱 데이터에 의해 규정될 수 있는 전기적 특성의 예는 이벤트에 관한 주파수, 진폭, 위상, 반전, 지속시간, 파형, 어택 타임, 라이즈 타임, 페이드 타임 및 랙 또는 리드 타임을 포함한다. 액추에이터 구동 신호는 하나 이상의 햅틱 효과를 유발하도록 액추에이터(310)에 적용된다.
본원에서 햅틱 출력 디바이스로도 지칭되는 액추에이터(310)는 햅틱 효과를 생성하도록 동작한다. 액추에이터(310)는 액추에이터 구동 모듈(314)을 실행하는 프로세서(304)에 의해 제어되는데, 이는 액추에이터 구동 회로(308)로 햅틱 신호를 송신한다. 이후, 액추에이터 구동 회로(308)는 액추에이터 구동 신호를 생성하여 액추에이터(310)에 적용하여, 액추에이터(310)를 구동한다. 액추에이터(310)에 적용될 때, 액추에이터 구동 신호는 액추에이터(310)로 하여금 액추에이터(310)을 활성화 및 제동함으로써 햅틱 효과를 생성하게 한다.
액추에이터(310)는 다양한 유형일 수 있다. 도시된 실시예에서, 액추에이터는 스프링에 부착되는 질량이 전후로 구동되는 LRA(Linear Resonant Actuator)와 같은 공진 액추에이터이다. 다른 실시예에서, 액추에이터는 SRA(solenoid resonant actuator)이다.
편심 질량이 모터 또는 압전성, 전자-활성 중합체 또는 형상 기억 합금과 같은 "스마트 재료"에 의해 이동되는 ERM(Eccentric Rotating Mass)과 같은 다른 유형의 전자기 액추에이터도 사용된다. 액추에이터(310)는 대체로 ESF(electrostatic friction), USF(ultrasonic surface friction)를 사용하는 것, 또는 초음파 햅틱 변환기로 음향 방사 압력(acoustic radiation pressure)을 유도하는 것, 또는 햅틱 기재 및 가요성 또는 변형가능 표면을 이용하는 것, 또는 에어 제트를 이용하는 공기 내뿜기와 같은 투영식 햅틱 출력을 제공하는 것 등과 같은 비-기계적 또는 비-진동성 디바이스를 포함한다.
장치(104)는 하나보다 많은 액추에이터(310)를 포함할 수 있으며, 각각의 액추에이터는 개별 액추에이터 구동 회로(308)를 포함할 수 있으며, 이들 모두는 프로세서(304)에 결합된다. 하나보다 많은 액추에이터를 갖는 실시예에서, 각각의 액추에이터는 디바이스 상에 광범위한 햅틱 효과를 생성하기 위해 상이한 출력 성능을 가질 수 있다.
도 1에 또한 도시된 바와 같이, 햅틱 인에이블형 장치(104)는 콘텐츠 데이터(114)에 기초하여 콘텐츠를 제공하도록 구성되는 콘텐츠 프리젠테이션 데이터(108)를 포함한다. 도시된 예에서, 콘텐츠 프리젠테이션 디바이스(106)는 비디오 콘텐츠를 표현하기 위한 디스플레이 디바이스(316)를 포함한다. 디스플레이 디바이스(316)는 디스플레이 스크린 또는 웨어러블 디스플레이 디바이스(예컨대, 헤드-장착식 디스플레이)와 같은 다양한 구성일 수 있다.
도시된 실시예에서, 도 1에 도시된 햅틱 효과 렌더링 디바이스(106)는 햅틱 인에이블형 장치(104) 내의 디바이스 및 요소 중 적어도 하나를 포함할 수 있다. 예컨대, 햅틱 효과 렌더링 디바이스(106)는 프로세서(304), 액추에이터 구동 모듈(314)을 포함하는 메모리(306) 및 액추에이터 구동 회로(308)를 포함할 수 있다. 다른 예에서, 햅틱 효과 렌더링 디바이스(106)는 도 11에 도시된 것보다 더 많거나 적은 디바이스 및 요소를 포함할 수 있다.
도 12 내지 도 16은 햅틱 효과를 생성하기 위한 예시적 방법(350)을 도시한다. 도 12에서는, 일부 실시예에서 방법(350)이 햅틱 인에이블형 장치(104)에 의해 수행된다. 다른 실시예에서, 방법(350)은 햅틱 인에이블형 장치(104)와 연계되거나 그와 독립적인 다른 컴퓨팅 디바이스를 이용하여 수행될 수 있다.
동작(352)에서, 햅틱 인에이블형 장치(104)는 햅틱 트랙(112) 및 복수의 햅틱 픽셀(110)을 수신한다. 본원에 기술된 바와 같이, 햅틱 트랙(112)은 햅틱 액추에이터(310)의 동작을 규정하는 햅틱 데이터를 포함한다. 햅틱 픽셀(110)은 햅틱 데이터 변경자(232)를 포함한다. 햅틱 픽셀(110)은 비디오(214)의 적어도 하나의 프레임(218)을 나타내는 비디오 텍스처 맵(212) 내의 비디오 픽셀(216)과 연계된다.
동작(354)에서, 장치(104)는 비디오가 재생됨에 따라 비디오(214)와 햅틱 트랙(112)을 동기화하도록 동작한다. 적어도 일부 가능 실시예에서, 장치(104)는 비디오(214) 및 햅틱 트랙(112)의 타임스탬프를 획득하고 타임스탬프에 기초하여 햅틱 트랙(112)과 비디오의 프레임을 동기화한다. 햅틱 트랙(112)과 비디오(214)를 동기화하기 위한 다른 방법도 다른 실시예에서 가능하다.
동작(356)에서, 장치(104)는 비디오(214)의 프레임(218) 내의 관심 포인트(320)를 식별하도록 동작한다. 관심 포인트(320)는 비디오 프레임(218) 내의 다양한 포인트 중 하나 이상일 수 있다. 일부 실시예에서, 관심 포인트(320)는 사용자 또는 뷰어가 비디오 프레임(218)을 살펴보는 포인트이다. 다른 실시예에서, 관심 포인트(320)는 사용자 또는 뷰어가 비디오 프레임(218)을 제공하는 디스플레이 디바이스 상에 포인터 또는 커서를 위치 설정하는 포인트이다. 비디오(214)가 360도 비디오 또는 3차원 비디오인 경우, 관심 포인트(320)는 도 13에 도시된 바와 같은 사용자 시점 벡터(322)(본원에서 시선 벡터로도 지칭됨)와 같은 3차원 벡터로 표현될 수 있다.
관심 포인트(320)는 비디오 프레임(218)에 대응하는 비디오 텍스처 맵(212) 내의 비디오 픽셀(216) 중 하나를 포함할 수 있다. 관심포인트(320)를 나타내는 비디오 픽셀(216)은 타깃 비디오 픽셀(324)로 식별될 수 있다. 가능한 다른 실시예에서, 관심 포인트(320)는 비디오 텍스처 맵(212) 내의 복수의 비디오 픽셀(216)을 포함한다. 관심 포인트(320)를 식별하는 예시적 방법이 도 14를 참조하여 추가로 기술된다.
동작(358)에서, 장치(104)는 관심 포인트(320)에 기초하여 타깃 햅틱 픽셀(330)(도 15)을 결정하도록 동작한다. 타깃 햅틱 픽셀(330)은 타깃 텍스처 맵(212)에 대응하는 햅틱 텍스처 맵(222) 내의 햅틱 픽셀(110) 중 하나로 식별된다. 적어도 일부 실시예에서, 타깃 햅틱 픽셀(330)은 상기 대응하는 타깃 텍스처 맵(212) 내의 타깃 비디오 픽셀(324)에 대응한다. 예컨대, 타깃 햅틱 픽셀(330)은 비디오 텍스처 맵(212) 내의 타깃 비디오 픽셀(324)을 햅틱 텍스처 맵(222) 내의 대응하는 햅틱 픽셀에 맵핑하여 결정된다. 다른 가능 실시예에서, 타깃 햅틱 픽셀(330)은 타깃 비디오 픽셀 또는 픽셀들(324)에 대응하는 햅틱 픽셀(110) 중 둘 이상으로 식별된다.
동작(360)에서, 장치(104)는 타깃 햅틱 픽셀(330)과 연계된 타깃 햅틱 데이터 변경자(334)를 획득한다. 도 16에 도시된 바와 같이, 타깃 햅틱 데이터 변경자(334)는 타깃 햅틱 픽셀(330)의 좌표(230)를 식별하고 좌표(230) 내 햅틱 데이터 변경자(232)를 검색함으로써 결정될 수 있다. 햅틱 픽셀(110)이 복수의 햅틱 데이터 변경자(232)를 갖는 경우, 복수의 타깃 햅틱 데이터 변경자(334)가 그에 따라 획득된다.
동작(362)에서, 장치(104)는 타깃 햅틱 데이터 변경자(334)에 기초하여 햅틱 트랙(112) 내의 햅틱 데이터를 변경하도록 동작한다. 도 16에 도시된 바와 같이, 일부 실시예에서, 변경된 햅틱 데이터를 갖는 변경된 햅틱 트랙(340)이 생성될 수 있다.
햅틱 데이터 내의 하나 이상의 파라미터는 타깃 햅틱 데이터 변경자(334)가 관련되는 파라미터(들)에 기초하여 조절될 수 있다. 본원에 기술된 바와 같이, 타깃 햅틱 데이터 변경자(334)는 예컨대, 햅틱 효과의 크기(진폭), 주파수, 파형, 선명도 및 다른 가능한 속성을 변경할 수 있다.
동작(364)에서, 장치(104)는 변경된 햅틱 데이터를 포함하는 변경된 햅틱 트랙(340)에 기초하여 햅틱 액추에이터(310)의 동작을 제어하도록 동작한다. 다른 가능 실시예에서, 복수의 햅틱 액추에이터(310)는 하나 이상의 변경된 햅틱 트랙(340)에 기초하여 동시에 또는 개별적으로 제어될 수 있다.
도 14를 참조하여, 관심 포인트(320)를 식별하는 예시적 방법(370)이 기술된다. 일부 실시예에서, 방법(370)은 햅틱 인에이블형 장치(104)에 의해 수행될 수 있다. 다른 실시예에서, 방법(370)은 햅틱 인에이블형 장치(104)와 연계되거나 그로부터 독립적인 다른 컴퓨팅 디바이스를 이용하여 수행될 수 있다.
동작(372)에서, 햅틱 인에이블형 장치(104)는 사용자 시점 벡터(322)를 결정한다. 적어도 일부 실시예에서, 사용자 시점 벡터(322)는 3차원 벡터이며, 이는 3차원 공간 또는 다면체(382)의 원점(380)에서 카메라 또는 눈으로 모델링된다. 도시된 실시예에서, 사용자 시점 벡터(322)는 벡터 V(dx, dy, dz)로 표현될 수 있다.
가능한 실시예에서, 비디오 텍스처 맵(212)은 원점(380)을 둘러싸는 3차원 공간(382)에 투영될 수 있다. 일부 실시예에서, 비디오 텍스처 맵(212)은 도 13에 도시된 바와 같이 구에 투영된다. 다른 실시예에서, 비디오 텍스처 맵(212)은 비-구면 다면체에 투영될 수 있다.
동작(374)에서, 장치(104)는 3차원 공간(382) 상의 비디오 텍스처 맵(212)의 투영과 사용자 시점 벡터(322) 사이의 교차점(384)을 결정한다.
동작(376)에서, 장치(104)는 비디오 텍스처 맵(212) 내의 타깃 비디오 픽셀(324)로 교차점(384)을 식별한다. 예로서, 3차원 공간(382)이 구인 경우, 타깃 비디오 픽셀(324)의 좌표(u, v)(또는 교차점(384))는 다음과 같이 계산될 수 있다.
Figure 112017130414768-pat00001
Figure 112017130414768-pat00002
동작(378)에서, 장치(104)는 타깃 비디오 픽셀(324)에 기초하여 타깃 햅틱 픽셀(330)을 결정하도록 동작한다. 상술된 바와 같이, 타깃 햅틱 픽셀(330)은 햅틱 텍스처 맵(222) 내의 대응하는 햅틱 픽셀에 비디오 텍스처 맵(212) 내의 타깃 비디오 픽셀(324)을 맵핑함으로써 결정된다. 도 16에 도시된 바와 같이, 타깃 햅틱 픽셀(330)은 하나 이상의 타깃 햅틱 데이터 변경자(334)를 제공한다.
도 15를 참조하면, 햅틱 효과로 비디오 콘텐츠를 렌더링하는 예시적 프로세스가 기술된다. 도 6에 도시된 바와 같이, 360도 비디오와 같은 비디오는 결정된 프레임 레이트로 일련의 비디오 프레임(218)을 표시함으로써 재생될 수 있다. 비디오 프레임(218)은 복수의 비디오 텍스처 맵(212)에 의해 제공될 수 있다. 통상적으로, 각각의 비디오 프레임(218)은 단일 비디오 텍스처 맵(212)에 의해 제공된다. 하지만, 일부 실시예에서, 단일 비디오 텍스처 맵(212)은 둘 이상의 비디오 프레임(218)을 구현할 수 있다. 따라서, 비디오 프레임(218)의 시간 해상도는 비디오 텍스처 맵(212)의 시간 해상도와 동일하거나 또는 상이할 수 있다. 비디오 프레임(218)이 표시됨에 따라, 하나 이상의 햅틱 트랙(112)이 햅틱 효과를 제공하도록 실행된다. 도시된 실시예에서, 2개의 햅틱 트랙(112A, 112B)이 구동된다. 본원에 기술된 바와 같이, 하나 이상의 햅틱 텍스처 맵(222)은 햅틱 트랙 내의 햅틱 데이터를 변경하는데 사용된다. 예컨대, 햅틱 텍스처 맵(222)은 각각의 햅틱 픽셀에 대한 하나 이상의 햅틱 데이터 변경자를 포함한다. 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터를 변경하는데 사용된다. 각각의 햅틱 텍스처 맵 내의 복수의 햅틱 픽셀이 상이한 세트의 햅틱 데이터 변경자를 가질 수 있기 때문에, 햅틱 효과는 뷰어의 시점과 같은 관심 포인트가 위치되는 특정 객체에 대해 국소화될 수 있다. 본원에 기술된 바와 같이, 공간 및/또는 시간 해상도는 햅틱 텍스처 맵과 비디오 텍스처 맵 사이에서 동일하거나 상이할 수 있다.
이제 도 17 내지 도 18을 참조하면, 햅틱 효과를 생성하기 위한 다른 예시적 방법이 기술된다.
도 17은 햅틱 픽셀(110)의 다른 예시적 세트의 데이터 구조를 도시한다. 이 실시예에서, 햅틱 픽셀(110)은 하나 이상의 햅틱 액추에이터(310)를 제어하기 위한 햅틱 데이터를 포함한다. 이 구성에서, 햅틱 효과는 햅틱 트랙(112)을 요구하지 안하고 햅틱 픽셀(110)을 사용하여 렌더링될 수 있다. 요컨대, 햅틱 트랙(112)은 햅틱 픽셀(110) 내에서 인코딩된다.
도시된 실시예에서, 각각의 햅틱 픽셀(110)은 픽셀 식별자(230) 및 하나 이상의 햅틱 파라미터(402)를 포함한다. 도 8의 햅틱 픽셀(110)과 유사하게, 픽셀 식별자(230)는 각각의 햅틱 픽셀을 식별하는데 사용된다. 적어도 일부 실시예에서, 픽셀 식별자는 다른 햅틱 픽셀(110) 중(또는 햅틱 텍스처 맵(222) 내에서) 연계된 햅틱 픽셀(110)의 위치를 식별하는 좌표를 포함한다.
햅틱 파라미터(402)는 햅틱 효과를 생성하기 위해 하나 이상의 햅틱 액추에이터를 구동하기 위한 신호를 생성하는데 사용된다. 파라미터의 예는 햅틱 효과의 진폭, 주파수, 파형, 선명도 및 다른 가능한 속성 및 햅틱 효과를 생성하기 위한 하나 이상의 액추에이터의 선택을 포함한다.
도 18은 도 17의 햅틱 픽셀(110)을 사용하여 햅틱 효과를 생성하기 위한 가능한 예시적 방법(450)이다. 일부 실시예에서, 방법(450)은 햅틱 인에이블형 장치(104)에 의해 수행된다. 다른 실시예에서, 방법(450)은 햅틱 인에이블형 장치(104)와 연계되거나 그로부터 독립적인 다른 컴퓨팅 디바이스를 이용하여 수행될 수 있다. 방법(450)은, 햅틱 픽셀(110)을 제외하면 도 12의 방법(300)과 유사하다. 따라서, 방법(450)에서의 동작의 세부사항은 가능한 간략화를 위해 반복되지 않는다.
동작(452)에서, 햅틱 인에이블형 장치(104)는 도 17에 도시된 복수의 햅틱 픽셀(110)을 수신한다. 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀(216)과 연계되고, 햅틱 데이터를 포함한다. 햅틱 데이터는 하나 이상의 햅틱 액추에이터의 동작을 규정한다. 비디오 픽셀(216)은 비디오(214)의 적어도 하나의 프레임(218)을 나타내는 비디오 텍스처 맵(212) 내에 포함된다.
동작(454)에서, 햅틱 인에이블형 장치(104)는 비디오의 프레임(218) 내의 관심 포인트(320)를 식별한다. 관심 포인트(320)는 비디오의 프레임 내의 타깃 비디오 픽셀(234)을 포함한다.
동작(456)에서, 햅틱 인에이블형 장치(104)는 햅틱 픽셀(110) 중 타깃 햅틱 픽셀(330)을 결정한다. 타깃 햅틱 픽셀(330)은 비디오의 프레임 내의 타깃 비디오 픽셀(234)에 대응한다.
동작(458)에서, 햅틱 인에이블형 장치(104)는 타깃 햅틱 픽셀(330)에 포함된 타깃 햅틱 데이터(470)를 획득한다. 타깃 햅틱 데이터(470)는 타깃 햅틱 픽셀(330) 내에 포함된 데이터이며, 도 17에 도시된 바와 같은 햅틱 파라미터(402)를 포함한다. 이 실시예에서, 햅틱 신호는 개별 햅틱 트랙과 같은 이미 존재하고 있는 신호를 변경하는 대신에, 햅틱 픽셀 내의 데이터로부터 직접 동기화될 수 있다.
동작(460)에서, 햅틱 인에이블형 장치(104)는 타깃 햅틱 데이터(470)에 기초하여 하나 이상의 햅틱 액추에이터의 동작을 제어하도록 동작한다.
이와 같이, 본 개시내용은 기존의 비디오 툴체인 및 인코딩을 활용하여 햅틱 효과를 오서링 및 인코딩하기 위한 간단한 방법을 제공하며, 적어도 공간화를 위해 비디오-대-햅틱 변환을 가능하게 한다. 본 개시내용에 따르면, 햅틱 효과는 비디오 편집 툴을 이용하여 특정 객체에 대한 소스 비디오를 필터링함으로써 비디오 장면 또는 프레임 내의 특정 객체에 국소화될 수 있다. 따라서, 그러한 국소화는 해당 객체에 대해 설계된 기존 햅틱 시간 시리즈를 이용하여 적절한 시기에 변조될 수 있다.
상술된 다양한 예 및 교시는 단지 설명으로서 제공되었으며, 본 개시내용의 범주를 제한하는 것으로 해석돼서는 안 된다. 본 기술 분야의 기술자들은 본원에 도시 및 기술된 예 및 용례를 추종하지 않으면서 본 개시내용의 진정한 사상 및 범주 내에서 이루어질 수 있는 다양한 변형예 및 변화를 쉽게 인식할 것이다.

Claims (71)

  1. 햅틱 효과를 오서링 및 렌더링하는 방법이며, 상기 방법은
    햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계로서, 햅틱 트랙은 햅틱 데이터를 가지며, 햅틱 데이터는 햅틱 액추에이터의 동작을 규정하고, 비디오 텍스처 맵은 비디오의 적어도 하나의 프레임을 나타내고, 햅틱 트랙은 비디오의 상기 적어도 하나의 프레임과 연계되고, 비디오 텍스처 맵은 복수의 비디오 픽셀을 갖는, 햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계;
    햅틱 픽셀과 연계된 햅틱 데이터 변경자를 생성하는 단계로서, 각각의 햅틱 픽셀은 비디오 픽셀 중 적어도 하나와 연계되고, 햅틱 데이터 변경자는 햅틱 데이터의 적어도 일부를 변경하고 햅틱 액추에이터의 동작을 변경하기 위한 것인, 햅틱 픽셀과 연계된 햅틱 데이터 변경자를 생성하는 단계;
    햅틱 트랙 및 햅틱 픽셀에 기초하여 햅틱 액추에이터를 제어하는 단계; 및
    햅틱 액추에이터에 의해 사용자에 대한 햅틱 효과를 생성하는 단계를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  2. 제1항에 있어서,
    햅틱 픽셀 및 햅틱 픽셀과 연계된 햅틱 데이터 변경자를 포함하는 햅틱 텍스처 맵을 생성하는 단계를 더 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  3. 제2항에 있어서, 햅틱 텍스처 맵은 비디오 텍스처 맵의 공간 해상도와 상이한 공간 해상도를 갖는 햅틱 효과 오서링 및 렌더링 방법.
  4. 제2항에 있어서, 햅틱 텍스처 맵은 비디오 텍스처 맵의 시간 해상도와 상이한 시간 해상도를 갖는 햅틱 효과 오서링 및 렌더링 방법.
  5. 제2항에 있어서,
    햅틱 텍스처 맵을 표시하는 단계와,
    적어도 하나의 햅틱 효과 파라미터의 사용자 입력을 수신하는 단계와,
    상기 적어도 하나의 햅틱 효과 파라미터의 사용자 입력을 나타내는 변경된 햅틱 텍스처 맵을 표시하는 단계를 더 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  6. 제2항에 있어서,
    컴퓨팅 디바이스 내의 디스플레이 스크린 상에 햅틱 텍스처 맵을 표시하는 단계를 더 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  7. 제6항에 있어서, 햅틱 텍스처 맵은 햅틱 데이터 변경자를 나타내는 단색 이미지를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  8. 제7항에 있어서, 단색 이미지의 햅틱 픽셀 중 적어도 일부는 상이한 햅틱 데이터 변경자를 나타내는 상이한 값들을 갖는 햅틱 효과 오서링 및 렌더링 방법.
  9. 제1항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 크기를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  10. 제1항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 주파수, 파형, 선명도 및 액추에이터 선택 중 적어도 하나를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  11. 제1항에 있어서, 비디오는 360도 비디오, 가상 현실 환경, 3차원 비디오, 3차원 비디오 게임, 3차원 모델링 환경 및 그 조합으로 구성된 그룹으로부터 선택되는 햅틱 효과 오서링 및 렌더링 방법.
  12. 제1항에 있어서, 비디오는 복수의 프레임을 포함하고, 상기 햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계 및 햅틱 데이터 변경자를 생성하는 단계는 비디오 내의 복수의 프레임 중 적어도 일부에 대해 반복되는 햅틱 효과 오서링 및 렌더링 방법.
  13. 제1항에 있어서, 햅틱 픽셀의 각각은 비디오 픽셀 중 둘 이상과 연계되는 햅틱 효과 오서링 및 렌더링 방법.
  14. 제1항에 있어서, 햅틱 픽셀 중 둘 이상은 각각의 비디오 픽셀과 연계되는 햅틱 효과 오서링 및 렌더링 방법.
  15. 제1항에 있어서, 햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계는
    복수의 햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계로서, 각각의 햅틱 트랙은 햅틱 데이터를 갖고, 비디오 텍스처 맵은 비디오의 프레임을 나타내고, 복수의 햅틱 트랙은 비디오의 프레임과 연계되고, 비디오 텍스처 맵은 복수의 비디오 픽셀을 갖는, 복수의 햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계를 포함하고,
    햅틱 데이터 변경자는 복수의 햅틱 트랙의 햅틱 데이터의 적어도 일부를 변경하도록 구성되는 햅틱 효과 오서링 및 렌더링 방법.
  16. 제1항에 있어서,
    햅틱 데이터 변경자에 기초하여 햅틱 데이터의 적어도 일부를 변경하는 단계를 더 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  17. 햅틱 효과를 오서링 및 렌더링하기 위한 시스템이며, 상기 시스템은
    네트워크에 결합되는 햅틱 효과 오서링 디바이스로서:
    프로세서를 포함하고, 상기 프로세서는:
    햅틱 트랙 및 비디오 텍스처 맵을 수신하고 - 햅틱 트랙은 햅틱 데이터를 가지며, 햅틱 데이터는 햅틱 액추에이터의 동작을 규정하고, 비디오 텍스처 맵은 비디오의 적어도 하나의 프레임을 나타내고, 햅틱 트랙은 비디오의 상기 적어도 하나의 프레임과 연계되고, 비디오 텍스처 맵은 복수의 비디오 픽셀을 갖음 -,
    햅틱 픽셀과 연계된 햅틱 데이터 변경자를 생성하도록 - 각각의 햅틱 픽셀은 비디오 픽셀의 적어도 하나와 연계되고, 햅틱 데이터 변경자는 햅틱 데이터의 적어도 일부를 변경하기 위한 것이며 햅틱 액추에이터의 동작을 변경하기 위한 것임 - 구성되는 햅틱 효과 오서링 디바이스; 및
    네트워크에 결합되는 햅틱 인에이블형 디바이스로서:
    햅틱 액추에이터, 및
    햅틱 트랙 및 햅틱 픽셀에 기초하여 햅틱 액추에이터를 제어하도록 구성되는 프로세서를 포함하는 햅틱 인에블형 디바이스를 포함하고,
    햅틱 액추에이터는 사용자에 대한 햅틱 효과를 생성하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  18. 제17항에 있어서, 햅틱 효과 오서링 디바이스는:
    사용자 입력을 수신하도록 구성된 입력 디바이스와,
    디스플레이 디바이스를 더 포함하고,
    햅틱 효과 오서링 디바이스의 프로세서는 디스플레이 디바이스를 이용하여 햅틱 텍스처 맵을 표시하도록 추가로 구성되고, 햅틱 텍스처 맵은 햅틱 픽셀 및 햅틱 픽셀과 연계된 햅틱 데이터 변경자를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  19. 제18항에 있어서, 햅틱 텍스처 맵은 비디오 텍스처 맵의 공간 해상도와 상이한 공간 해상도를 갖는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  20. 제18항에 있어서, 햅틱 텍스처 맵은 비디오 텍스처 맵의 시간 해상도와 상이한 시간 해상도를 갖는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  21. 제18항에 있어서, 햅틱 효과 오서링 디바이스의 프로세서는:
    입력 디바이스를 통해 적어도 하나의 햅틱 효과 파라미터의 사용자 입력을 수신하고,
    디스플레이 디바이스를 통해 변경된 햅틱 텍스처 맵을 표시하도록 추가로 구성되고, 상기 변경된 햅틱 텍스처 맵은 상기 적어도 하나의 햅틱 효과 파라미터의 사용자 입력을 나타내는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  22. 제18항에 있어서, 햅틱 텍스처 맵은 햅틱 데이터 변경자를 나타내는 단색 이미지를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  23. 제22항에 있어서, 단색 이미지의 햅틱 픽셀의 적어도 일부는 상이한 햅틱 데이터 변경자를 나타내는 상이한 값들을 갖는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  24. 제17항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 크기를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  25. 제17항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 주파수, 파형, 선명도 및 액추에이터 선택 중 적어도 하나를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  26. 제17항에 있어서, 비디오는 360도 비디오, 가상 현실 환경, 3차원 비디오, 3차원 비디오 게임, 3차원 모델링 환경 및 그 조합으로 구성된 그룹으로부터 선택되는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  27. 제17항에 있어서, 비디오는 복수의 프레임을 포함하고, 상기 햅틱 트랙 및 비디오 텍스처 맵을 수신하는 단계 및 햅틱 데이터 변경자를 생성하는 단계는 비디오 내의 복수의 프레임 중 적어도 일부에 대해 반복되는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  28. 제17항에 있어서, 각각의 햅틱 픽셀은 비디오 픽셀 중 둘 이상과 연계되는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  29. 제17항에 있어서, 햅틱 픽셀 중 둘 이상은 각각의 비디오 픽셀과 연계되는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  30. 제17항에 있어서, 햅틱 효과 오서링 디바이스의 프로세서는:
    복수의 햅틱 트랙 및 비디오 텍스처 맵을 수신하도록 추가로 구성되고, 각각의 햅틱 트랙은 햅틱 데이터를 갖고, 복수의 햅틱 트랙은 비디오의 적어도 하나의 프레임과 연계되고,
    햅틱 데이터 변경자는 복수의 햅틱 트랙의 햅틱 데이터의 적어도 일부를 변경하도록 구성되는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  31. 햅틱 효과를 렌더링하는 방법이며, 상기 방법은
    햅틱 데이터를 포함하는 햅틱 트랙을 수신하는 단계로서, 상기 햅틱 데이터는 햅틱 액추에이터의 동작을 규정하는, 햅틱 트랙을 수신하는 단계와,
    햅틱 데이터 변경자를 포함하는 복수의 햅틱 픽셀을 수신하는 단계로서, 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀과 연계되고, 상기 적어도 하나의 비디오 픽셀은 비디오의 적어도 하나의 프레임을 나타내는 비디오 텍스처 맵 내에 포함되는, 복수의 햅틱 픽셀 수신 단계와,
    비디오의 프레임 내의 관심 포인트를 식별하는 단계로서, 상기 관심 포인트는 비디오의 프레임 내의 타깃 비디오 픽셀을 포함하는, 관심 포인트 식별 단계와,
    햅틱 픽셀 중 타깃 햅틱 픽셀을 결정하는 단계로서, 상기 타깃 햅틱 픽셀은 비디오의 프레임 내의 타깃 비디오 픽셀에 대응하는, 타깃 햅틱 픽셀을 결정하는 단계와,
    타깃 햅틱 픽셀 내에 포함되는 타깃 햅틱 데이터 변경자를 획득하는 단계와,
    타깃 햅틱 데이터 변경자에 기초하여 햅틱 트랙 내의 햅틱 데이터를 변경하는 단계와,
    변경된 햅틱 데이터에 기초하여 햅틱 액추에이터의 동작을 제어하는 단계와,
    햅틱 액추에이터에 의해 사용자에 대한 햅틱 효과를 생성하는 단계를 포함하는 햅틱 효과를 렌더링하는 방법.
  32. 제31항에 있어서, 햅틱 트랙은, 햅틱 픽셀이 햅틱 데이터 및 햅틱 데이터 변경자를 포함하도록 햅틱 픽셀 내에서 인코딩되는 햅틱 효과를 렌더링하는 방법.
  33. 제31항에 있어서,
    햅틱 트랙을 비디오와 동기화하는 단계를 더 포함하는 햅틱 효과를 렌더링하는 방법.
  34. 제33항에 있어서, 햅틱 트랙을 비디오와 동기화하는 단계는
    비디오의 타임스탬프를 수신하는 단계와,
    타임스탬프에 기초하여 햅틱 트랙을 비디오와 동기화하는 단계를 포함하는 햅틱 효과를 렌더링하는 방법.
  35. 제31항에 있어서, 관심 포인트는 3차원 벡터에 의해 규정되고, 타깃 햅틱 픽셀을 결정하는 단계는
    상기 3차원 벡터와 타깃 햅틱 픽셀을 연계하는 단계를 포함하는 햅틱 효과를 렌더링하는 방법.
  36. 제35항에 있어서, 상기 3차원 벡터를 연계하는 단계는
    상기 3차원 벡터를 비디오의 프레임에 대응하는 비디오 텍스처 맵 내의 비디오 픽셀과 연계하는 단계와,
    비디오 텍스처 맵 내의 비디오 픽셀에 대응하는 타깃 햅틱 픽셀을 식별하는 단계를 포함하는 햅틱 효과를 렌더링하는 방법.
  37. 제35항에 있어서, 상기 3차원 벡터와 타깃 햅틱 픽셀을 연계하는 단계는
    상기 3차원 벡터와 비디오 텍스처 맵의 구면 투영 사이의 교차점을 결정하는 단계와,
    비디오 텍스처 맵 내의 타깃 비디오 픽셀로서 교차점을 식별하는 단계와,
    타깃 비디오 픽셀에 기초하여 타깃 햅틱 픽셀을 결정하는 단계를 포함하는 햅틱 효과를 렌더링하는 방법.
  38. 제35항에 있어서, 상기 3차원 벡터와 타깃 햅틱 픽셀을 연계하는 단계는
    상기 3차원 벡터와 비디오 텍스처 맵의 비-구면 투영 사이의 교차점을 결정하는 단계와,
    비디오 텍스처 맵 내의 타깃 비디오 픽셀로서 교차점을 식별하는 단계와,
    타깃 비디오 픽셀에 기초하여 타깃 햅틱 픽셀을 결정하는 단계를 포함하는 햅틱 효과를 렌더링하는 방법.
  39. 제31항에 있어서,
    디스플레이 디바이스를 이용하여 비디오를 재생하는 단계를 더 포함하는 햅틱 효과를 렌더링하는 방법.
  40. 햅틱 효과를 렌더링하기 위한 장치이며, 상기 장치는
    액추에이터와,
    액추에이터를 구동하도록 구성되는 액추에이터 구동 회로와,
    관심 포인트를 검출하도록 구성된 센서와,
    액추에이터 구동 회로 및 센서에 결합되는 프로세서를 포함하고,
    상기 프로세서는,
    햅틱 데이터를 포함하는 햅틱 트랙을 수신하도록 - 상기 햅틱 데이터는 햅틱 액추에이터의 동작을 규정함 -,
    햅틱 데이터 변경자를 포함하는 복수의 햅틱 픽셀을 수신하도록 - 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀과 연계되고, 상기 적어도 하나의 비디오 픽셀은 비디오의 프레임을 나타내는 비디오 텍스처 맵 내에 포함됨 -,
    센서를 이용하여 비디오의 프레임 내의 관심 포인트를 식별하도록 - 관심 포인트는 비디오의 프레임 내의 타깃 비디오 픽셀을 포함함 -,
    햅틱 픽셀 중 타깃 햅틱 픽셀을 결정하도록 - 타깃 햅틱 픽셀은 비디오의 프레임 내의 타깃 비디오 픽셀에 대응함 -,
    타깃 햅틱 픽셀 내에 포함되는 타깃 햅틱 데이터 변경자를 획득하도록,
    타깃 햅틱 데이터 변경자에 기초하여 햅틱 트랙 내의 햅틱 데이터를 변경하도록,
    변경된 햅틱 데이터에 기초하여 제어 신호를 생성하도록,
    액추에이터 구동 회로가 액추에이터를 제어하게 하는 상기 제어 신호를 액추에이터 구동 회로에 전송하도록 구성되고,
    액추에이터는 사용자에 대한 햅틱 효과를 생성하는 햅틱 효과를 렌더링하기 위한 장치.
  41. 제40항에 있어서, 햅틱 픽셀이 햅틱 데이터 및 햅틱 데이터 변경자를 포함하도록 햅틱 트랙이 햅틱 픽셀 내에서 인코딩되는 햅틱 효과를 렌더링하기 위한 장치.
  42. 제40항에 있어서,
    프로세서에 결합되는 디스플레이 디바이스를 더 포함하고, 프로세서는 비디오를 표시하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  43. 제40항에 있어서,
    프로세서는 햅틱 트랙을 비디오와 동기화하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  44. 제43항에 있어서,
    프로세서는
    비디오의 타임스탬프를 수신하고,
    타임스탬프에 기초하여 햅틱 트랙과 비디오를 동기화하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  45. 제40항에 있어서, 관심 포인트는 3차원 벡터에 의해 규정되고, 프로세서는
    상기 3차원 벡터와 타깃 햅틱 픽셀을 연계하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  46. 제45항에 있어서, 프로세서는 비디오의 프레임에 대응하는 비디오 텍스처 맵 내의 비디오 픽셀과 상기 3차원 벡터를 연계하고,
    비디오 텍스처 맵 내의 비디오 픽셀에 대응하는 타깃 햅틱 픽셀을 식별하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  47. 제45항에 있어서, 프로세서는
    상기 3차원 벡터와 비디오 텍스처 맵의 구면 투영 사이의 교차점을 결정하고,
    비디오 텍스처 맵 내의 타깃 비디오 픽셀로서 교차점을 식별하고,
    타깃 비디오 픽셀에 기초하여 타깃 햅틱 픽셀을 결정하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  48. 제45항에 있어서, 프로세서는
    상기 3차원 벡터와 비디오 텍스처 맵의 비구면 투영 사이의 교차점을 결정하고,
    비디오 텍스처 맵 내의 타깃 비디오 픽셀로서 교차점을 식별하고,
    타깃 비디오 픽셀에 기초하여 타깃 햅틱 픽셀을 결정하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  49. 제40항에 있어서, 프로세서는
    디스플레이 디바이스를 이용하여 비디오를 재생하도록 추가로 구성되는 햅틱 효과를 렌더링하기 위한 장치.
  50. 삭제
  51. 삭제
  52. 햅틱 효과를 오서링 및 렌더링하는 방법이며, 상기 방법은
    햅틱 트랙 및 적어도 하나의 비디오 프레임을 나타내는 비디오 텍스처 맵을 수신하는 단계로서, 햅틱 트랙은 햅틱 출력 디바이스의 동작을 규정하는 햅틱 데이터를 포함하며, 비디오 텍스처 맵은 비디오 픽셀을 포함하는, 수신 단계;
    햅틱 픽셀과 연계된 햅틱 데이터 변경자를 생성하는 단계로서, 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀과 연계되는, 생성 단계;
    변경된 햅틱 데이터를 생성하기 위해 햅틱 데이터 변경자에 기초하여 햅틱 데이터의 적어도 일부를 변경하는 단계; 및
    변경된 햅틱 데이터에 기초하여 햅틱 출력 디바이스의 동작을 변경하는 단계를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  53. 제52항에 있어서, 적어도 하나의 햅틱 픽셀은 각각의 비디오 픽셀과 연계되는 햅틱 효과 오서링 및 렌더링 방법.
  54. 제52항에 있어서, 햅틱 픽셀 및 햅틱 픽셀과 연계된 햅틱 데이터 변경자를 포함하는 햅틱 텍스처 맵을 생성하는 단계를 더 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  55. 제54항에 있어서, 비디오 텍스처 맵은 시간 해상도 및 공간 해상도를 포함하고, 햅틱 텍스처 맵은 시간 해상도 및 공간 해상도를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  56. 제55항에 있어서, 햅틱 텍스처 맵의 시간 해상도는 비디오 텍스처 맵의 시간 해상도와 상이한 햅틱 효과 오서링 및 렌더링 방법.
  57. 제55항에 있어서, 햅틱 텍스처 맵의 공간 해상도는 비디오 텍스처 맵의 공간 해상도와 상이한 햅틱 효과 오서링 및 렌더링 방법.
  58. 제54항에 있어서, 햅틱 텍스처 맵은 단색 이미지이고 각각의 햅틱 픽셀은 연계된 햅틱 데이터 변경자를 나타내는 값을 가지는 햅틱 효과 오서링 및 렌더링 방법.
  59. 제54항에 있어서, 햅틱 텍스처 맵은 색 이미지이고 각각의 햅틱 픽셀은 복수의 연계된 햅틱 데이터 변경자를 나타내는 복수의 값들을 가지는 햅틱 효과 오서링 및 렌더링 방법.
  60. 제52항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 크기를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  61. 제52항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 주파수, 파형, 선명도 및 액추에이터 선택 중 적어도 하나를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과 오서링 및 렌더링 방법.
  62. 햅틱 효과를 오서링 및 렌더링하기 위한 시스템이며, 상기 시스템은
    네트워크에 결합되는 햅틱 효과 오서링 디바이스로서:
    프로세서를 포함하고, 상기 프로세서는:
    햅틱 트랙 및 적어도 하나의 비디오 프레임을 나타내는 비디오 텍스처 맵을 수신하고 - 햅틱 트랙은 햅틱 출력 디바이스의 동작을 규정하는 햅틱 데이터를 가지고, 비디오 텍스처 맵은 비디오 픽셀을 포함함 -,
    햅틱 픽셀과 연계된 햅틱 데이터 변경자를 생성하도록 - 각각의 햅틱 픽셀은 적어도 하나의 비디오 픽셀과 연계됨 - 구성되는 햅틱 효과 오서링 디바이스; 및
    네트워크에 결합되는 햅틱 인에이블형 디바이스로서:
    햅틱 출력 디바이스 및 프로세서를 포함하고, 상기 햅틱 인에이블형 디바이스의 프로세서는:
    변경된 햅틱 데이터를 생성하기 위해 햅틱 데이터 변경자에 기초하여 햅틱 데이터의 적어도 일부를 변경하고,
    변경된 햅틱 데이터에 기초하여 햅틱 출력 디바이스의 동작을 변경하도록 구성되는 햅틱 인에이블형 디바이스를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  63. 제62항에 있어서, 적어도 하나의 픽셀은 각각의 비디오 픽셀과 연계되는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  64. 제62항에 있어서, 햅틱 효과 오서링 디바이스의 프로세서는 햅틱 픽셀 및 햅틱 픽셀과 연계된 햅틱 데이터 변경자를 포함하는 햅틱 텍스처 맵을 생성하도록 구성되는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  65. 제64항에 있어서, 비디오 텍스처 맵은 시간 해상도 및 공간 해상도를 포함하고, 햅틱 텍스처 맵은 시간 해상도 및 공간 해상도를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  66. 제65항에 있어서, 햅틱 텍스처 맵의 시간 해상도는 비디오 텍스처 맵의 시간 해상도와 상이한 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  67. 제65항에 있어서, 햅틱 텍스처 맵의 공간 해상도는 비디오 텍스처 맵의 공간 해상도와 상이한 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  68. 제64항에 있어서, 햅틱 텍스처 맵은 단색 이미지이고 각각의 햅틱 픽셀은 연계된 햅틱 데이터 변경자를 나타내는 값을 가지는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  69. 제64항에 있어서, 햅틱 텍스처 맵은 색 이미지이고 각각의 햅틱 픽셀은 복수의 연계된 햅틱 데이터 변경자를 나타내는 복수의 값들을 가지는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  70. 제62항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 크기를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
  71. 제62항에 있어서, 햅틱 데이터 변경자는 햅틱 트랙 내의 햅틱 데이터에 의해 규정되는 햅틱 효과의 주파수, 파형, 선명도 및 액추에이터 선택 중 적어도 하나를 조절하기 위한 감쇠 데이터를 포함하는 햅틱 효과를 오서링 및 렌더링하기 위한 시스템.
KR1020170182378A 2016-12-28 2017-12-28 공간-의존 콘텐츠를 위한 햅틱 효과 생성 KR102276173B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210088218A KR20210087921A (ko) 2016-12-28 2021-07-06 공간-의존 콘텐츠를 위한 햅틱 효과 생성

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/392,744 US10147460B2 (en) 2016-12-28 2016-12-28 Haptic effect generation for space-dependent content
US15/392,744 2016-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210088218A Division KR20210087921A (ko) 2016-12-28 2021-07-06 공간-의존 콘텐츠를 위한 햅틱 효과 생성

Publications (2)

Publication Number Publication Date
KR20180077091A KR20180077091A (ko) 2018-07-06
KR102276173B1 true KR102276173B1 (ko) 2021-07-12

Family

ID=60813769

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170182378A KR102276173B1 (ko) 2016-12-28 2017-12-28 공간-의존 콘텐츠를 위한 햅틱 효과 생성
KR1020210088218A KR20210087921A (ko) 2016-12-28 2021-07-06 공간-의존 콘텐츠를 위한 햅틱 효과 생성

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210088218A KR20210087921A (ko) 2016-12-28 2021-07-06 공간-의존 콘텐츠를 위한 햅틱 효과 생성

Country Status (5)

Country Link
US (3) US10147460B2 (ko)
EP (2) EP3343329B1 (ko)
JP (1) JP6893868B2 (ko)
KR (2) KR102276173B1 (ko)
CN (1) CN108255295B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230108150A (ko) * 2022-01-10 2023-07-18 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162906A1 (zh) * 2018-02-23 2019-08-29 莫伟邦 虚拟现实输入和触觉反馈系统
US20220083138A1 (en) * 2018-02-23 2022-03-17 Wai Pong MOK Virtual Reality Input and Haptic Feedback System
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11297366B2 (en) 2019-05-22 2022-04-05 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
JP7145373B2 (ja) * 2019-06-19 2022-10-03 豊田合成株式会社 アクチュエータ装置、電圧波形の作成方法、電場応答性高分子アクチュエータの駆動方法、及びプログラム
US11467668B2 (en) * 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
WO2021101775A1 (en) * 2019-11-19 2021-05-27 Immersion Corporation Dynamic modification of multiple haptic effects
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
CN111291677B (zh) * 2020-02-05 2022-09-09 吉林大学 一种动态视频触觉特征提取及渲染的方法
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
CN115374062A (zh) * 2021-05-20 2022-11-22 荣耀终端有限公司 振动描述文件的生成方法、装置、设备及可读存储介质
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation
CN116777914B (zh) * 2023-08-22 2023-11-07 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520521A (ja) 2009-03-12 2012-09-06 イマージョン コーポレイション サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650338B1 (en) * 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
KR100860547B1 (ko) 2007-03-02 2008-09-26 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
WO2009092107A2 (en) 2008-01-17 2009-07-23 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
KR101658261B1 (ko) * 2009-03-12 2016-09-22 임머숀 코퍼레이션 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US20130300740A1 (en) * 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015107386A1 (en) 2014-01-15 2015-07-23 Sony Corporation Haptic notification on wearables
US10437341B2 (en) * 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20150110356A (ko) * 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
CN104932681B (zh) * 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
WO2016018035A1 (ko) 2014-07-28 2016-02-04 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 모듈
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9667907B2 (en) * 2014-09-13 2017-05-30 Vicente Diaz System and method for haptic integration and generation in multimedia devices
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9478109B2 (en) 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
CN106997241B (zh) 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520521A (ja) 2009-03-12 2012-09-06 イマージョン コーポレイション サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230108150A (ko) * 2022-01-10 2023-07-18 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법
KR102654176B1 (ko) 2022-01-10 2024-04-04 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법

Also Published As

Publication number Publication date
EP3343329A1 (en) 2018-07-04
US20180182436A1 (en) 2018-06-28
JP6893868B2 (ja) 2021-06-23
US20190074037A1 (en) 2019-03-07
KR20180077091A (ko) 2018-07-06
JP2018109984A (ja) 2018-07-12
CN108255295A (zh) 2018-07-06
US10720189B2 (en) 2020-07-21
EP3343328A1 (en) 2018-07-04
US10147460B2 (en) 2018-12-04
EP3343329B1 (en) 2020-02-26
KR20210087921A (ko) 2021-07-13
CN108255295B (zh) 2022-06-03
US20200349982A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
EP3250983B1 (en) Method and system for receiving gesture input via virtual control objects
US20180321798A1 (en) Information processing apparatus and operation reception method
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
KR20180094799A (ko) 자동 국부적 햅틱 생성 시스템
JP2016219056A (ja) 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム
KR20140128275A (ko) 햅틱적으로 사용가능한 합치된 다면적 디스플레이를 위한 시스템 및 방법
CN111373347B (zh) 用于虚拟现实内容的提供的装置、方法和计算机程序
EP3591503B1 (en) Rendering of mediated reality content
EP3418860B1 (en) Provision of virtual reality content
US11194439B2 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
CN115297314A (zh) 用于调试程序执行和内容回放的方法和设备
Caruso et al. Interactive augmented reality system for product design review
Alcañiz et al. Technological background of VR
WO2024004440A1 (ja) 生成装置、生成方法、再生装置、及び再生方法
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
Ishikawa et al. Dynamic Information Space Based on High-Speed Sensor Technology
CN117616365A (zh) 用于动态选择对象的操作模态的方法和设备
KR101161586B1 (ko) 이미지 기반의 햅틱 프리미티브를 이용하여 사용자 정의된 햅틱 효과를 제공하는 이미지 기반 햅틱 효과 설계 및 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant