KR20180030515A - 사용자 햅틱 공간(ＨａｐＳｐａｃｅ)에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치 - Google Patents

사용자 햅틱 공간(ＨａｐＳｐａｃｅ)에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR20180030515A
KR20180030515A KR1020187000859A KR20187000859A KR20180030515A KR 20180030515 A KR20180030515 A KR 20180030515A KR 1020187000859 A KR1020187000859 A KR 1020187000859A KR 20187000859 A KR20187000859 A KR 20187000859A KR 20180030515 A KR20180030515 A KR 20180030515A
Authority
KR
South Korea
Prior art keywords
haptic
user
bitstream
space
predicate
Prior art date
Application number
KR1020187000859A
Other languages
English (en)
Inventor
필립 기요뗄
파비앙 다니오
줄리앙 플뢰로
디디에 도옌
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180030515A publication Critical patent/KR20180030515A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

특정한 구현에서, 햅틱 피드백 및 인터액티비티를 위한 사용자 환경 공간(HapSpace)이 제안된다. 일 실시예에서, HapSpace는 사용자에게 부착된 가상 공간이며, 사용자의 바디가 도달할 수 있는 최대 거리로 정의된다. HapSpace는 사용자가 이동할 때 이동할 수 있다. 햅틱 오브젝트들 및 햅틱 디바이스들, 및 연관된 햅틱 특성들이 HapSpace 내에서 또한 정의될 수 있다. 사용자와 햅틱 오브젝트들/디바이스들 사이의 정밀한 위치들 및 링크를 가능하게 하는 것들과 같은 새로운 서술어들이 HapSpace를 서술하기 위해 정의된다.

Description

사용자 햅틱 공간(ＨａｐＳｐａｃｅ)에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치
본 발명은 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치에 관한 것으로, 더욱 구체적으로는, 사용자 햅틱 공간에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치에 관한 것이다.
새로운 기술 개발들로 인해 더욱더 몰입형의 멀티미디어 시스템들이 생성될 수 있게 한다. 3D 이미지들 및 사운드 공간화가 사용자의 생활 공간에 현재 존재한다. 이들 시스템들은 일반적으로, 2개의 감각들, 즉, 시각 및 청각의 시뮬레이션과 관련된다. 또한, 가상 현실에서의 연구들이 햅틱 지각이 몰입감에 강하게 연결된 것으로 보이는 것을 나타내고, 이는 새로운 과학 분야, 햅틱 지각 및 시청각(A/V) 콘텐트 양자를 고려하는 햅틱-시청각(HAV) 분야의 정의로 이어진다.
본 원리들의 양태에 따르면, 햅틱 효과를 송신하는 방법이 제시되고, 이 방법은 사용자에 액세스가능한 적어도 하나의 햅틱 오브젝트를 포함하는 공간을 정의하는 단계; 적어도 하나의 햅틱 오브젝트와 연관된 햅틱 특성들을 특정하는 단계; 적어도 하나의 햅틱 오브젝트와 연관된 햅틱 특성들을 비트스트림 내로 인코딩하는 단계; 및 비트스트림을 통신 인터페이스를 통해 송신하는 단계를 포함한다. 본 실시예들은 이들 단계들을 수행하는 장치를 또한 제공한다.
본 원리들의 다른 양태에 따르면, 햅틱 피드백을 제공하는 방법이 제시되고, 이 방법은 사용자에 액세스가능한 적어도 하나의 햅틱 오브젝트를 포함하는 공간을 정의하는 단계; 비트스트림으로부터 적어도 하나의 햅틱 오브젝트와 연관된 햅틱 특성들을 디코딩하는 단계; 및 적어도 하나의 햅틱 오브젝트와 연관된 디코딩된 햅틱 특성들에 응답하여 햅틱 피드백을 사용자에게 제공하는 단계를 포함한다. 본 실시예들은 이들 단계들을 수행하는 장치를 또한 제공한다.
본 원리들의 다른 양태에 따르면, 신호가, 사용자에 액세스가능한 적어도 하나의 햅틱 오브젝트를 포함하는 공간; 사용자가 햅틱 효과를 수신하는 공간에서의 포지션 - 포지션은 3개의 데카르트 좌표들에 의해 특정됨 -; 및 적어도 하나의 햅틱 오브젝트와 연관된 햅틱 특성들을 포함하도록 포맷된다.
본 실시예들은 또한, 상술한 방법들에 따라 햅틱 효과들을 송신하거나 제공하는 명령어들이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.
본 실시예들은 또한, 상술한 방법들에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.
본 원리들의 양태에 따르면, 햅틱 효과를 나타내는 데이터를 포함하는 비트스트림을 송신하는 방법은, 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림 내로 인코딩하는 단계; 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림 내로 인코딩하는 단계; 상기 비트스트림을 송신하는 단계를 포함한다.
실시예에 따르면, 방법은 상기 공간에 관하여 햅틱 디바이스의 위치를 나타내는 제3 서술어를 상기 비트스트림 내로 인코딩하는 단계를 더 포함한다.
본 원리들의 양태에 따르면, 햅틱 효과를 나타내는 정보를 디코딩하는 방법은, 비트스트림을 수신하는 단계; 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림으로부터 디코딩하는 단계; 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림으로부터 디코딩하는 단계를 포함한다.
실시예에 따르면, 방법은 상기 공간에 관하여 햅틱 디바이스의 위치를 나타내는 제3 서술어를 상기 비트스트림으로부터 디코딩하는 단계를 더 포함한다.
본 원리들의 양태에 따르면, 햅틱 효과를 나타내는 데이터를 포함하는 비트스트림을 송신하도록 구성된 디바이스는, 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림 내로 인코딩하고 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림 내로 인코딩하도록 구성된 인코더; 및 상기 비트스트림을 송신하는 송신기를 포함한다.
본 원리들의 양태에 따르면, 햅틱 효과를 나타내는 데이터를 포함하는 비트스트림을 송신하도록 구성된 디바이스는, 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림 내로 인코딩하는 수단; 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림 내로 인코딩하는 수단; 및 상기 비트스트림을 송신하는 수단을 포함한다.
본 원리들의 양태에 따르면, 햅틱 효과를 나타내는 정보를 디코딩하도록 구성된 디바이스는, 비트스트림을 수신하는 수신기; 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림으로부터 디코딩하고 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림으로부터 디코딩하도록 구성된 디코더를 포함한다.
본 원리들의 양태에 따르면, 햅틱 효과를 나타내는 정보를 디코딩하도록 구성된 디바이스는, 비트스트림을 수신하는 수단; 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림으로부터 디코딩하는 수단; 및 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림으로부터 디코딩하는 수단을 포함한다.
본 원리들의 양태에 따르면, 적어도 패킷 - 상기 패킷은 햅틱 효과를 나타내는 데이터를 포함함 - 을 반송하는 신호로서, 신호는 공간의 원점의 위치를 나타내는 제1 서술어 및 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 더 반송한다.
본 원리들의 양태에 따르면, 프로세서로 하여금 적어도 송신 방법의 단계들을 수행하게 하는 명령어들이 저장된 비일시적 프로세서 판독가능 매체이다.
본 원리들의 양태에 따르면, 프로세서로 하여금 적어도 디코딩 방법의 단계들을 수행하게 하는 명령어들이 저장된 비일시적 프로세서 판독가능 매체이다.
도 1은 예시적인 HAV 시스템의 워크플로우를 예시한다.
도 2는 위치 모델을 예시한다.
도 3은 본 원리들의 실시예에 따른 예시적인 HapSpace를 예시한다.
도 4는 바디부 포지션들을 예시한다.
도 5는 예시적인 저작 툴(H-STUDIO)을 예시한다.
도 6은 본 원리들의 실시예에 따른, 시청각 콘텐트에 따라 햅틱 효과들을 생산하는 예시적인 방법을 예시한다.
도 7은 본 원리들의 실시예에 따른, HapSpace 내의 햅틱 효과를 서술하는 예시적인 방법을 예시한다.
도 8은 본 원리들의 실시예에 따른, 시청각 콘텐트에 따라 햅틱 효과들을 렌더링하는 예시적인 방법을 예시한다.
도 9는 본 원리들의 실시예에 따른, HapSpace 내의 햅틱 효과들을 해석하는 예시적인 방법을 예시한다.
도 10은 본 원리들의 예시적인 실시예들의 다양한 양태들이 구현될 수 있는 예시적인 시스템의 블록도를 예시한다.
도 11은 하나 이상의 구현들과 사용될 수 있는 비디오 프로세싱 시스템의 예를 도시하는 블록도를 예시한다.
도 12는 하나 이상의 구현들과 사용될 수 있는 비디오 프로세싱 시스템의 다른 예를 도시하는 블록도를 예시한다.
도 1은 3개의 메인 부분들: 생산(110), 렌더링(130) 및 분배(120)를 포함하는 햅틱 효과들 및 시청각 효과들 양자를 제공하는 예시적인 HAV 시스템(100)의 워크플로우를 예시한다.
햅틱 데이터의 생산/작성(110)
콘텐트의 생산, 즉, 시청각 콘텐트와 동기화하여 햅틱 효과들을 작성하고 생성하는 것은 상이한 기법들을 사용하여 행해질 수 있다. 예를 들어, 도 1에 도시되어 있는 바와 같이, 햅틱 효과 생산은:
- 센서들(예를 들어, 관성 모션 유닛들, GPS)로부터 획득된 데이터를 캡처하고 프로세싱하는 것(111),
- 시청각 미디어(114)의 하나 이상의 컴포넌트로부터의(예를 들어, 이미지, 오디오 또는 주석들로부터의) 자동 추출(112), 및/또는
- 예를 들어, 그래픽 사용자 인터페이스(GUI)를 사용한 햅틱 효과들의 수동 저작(113)에 의해 수행될 수 있다.
생산 방법의 선택은 애플리케이션 및 창작 의도에 의존한다. 햅틱 효과들(115)이 센서들로부터 획득된 데이터를 사용하여(111) 또는 시청각 미디어로부터의 자동 추출을 사용하여(113) 생성될 때, 생산은 햅틱 효과들을 합성하기 위해 저작 툴(113)을 여전히 통과한다.
상이한 타입의 햅틱 지각 능력들, 예를 들어, 촉각, 근감각 및 고유 수용 감각이 존재하지만, 이에 제한되지 않으면, 작성될 햅틱 효과들은 표 1에 예시되어 있는 바와 같이, 온도, 진동, 압력, 이동, 힘 및 바디 모션으로 분류될 수 있다. 본 출원에서, 용어들 "햅틱 효과"와 "햅틱 피드백"은 상호교환가능하게 사용된다.
Figure pct00001
햅틱 피드백의 렌더링(130)
시청각 콘텐트에 따라 햅틱 피드백을 제공하는데 있어서 대부분의 기존의 작업들은 독립형 디바이스들일 수 있거나 의자 또는 포스-피드백 디바이스에 통합될 수 있는 진동촉각 디바이스들의 사용에 의존한다. 진동촉각 시트들 대부분은 저주파수 사운드를 진동들로 변환한다. 서브우퍼들과 유사하게, 이러한 타입의 시트들은 저주파수 오디오 채널에 플러그 온되지만 실제 사운드 대신에 진동들을 전달한다. 이러한 타입의 시트들은 전체적으로 진동할 수 있거나, 내장된 여러 진동 모터들을 가질 수 있다. 최근에 개발된 진동촉각 의자에서, 12개의 진동촉각 액추에이터들의 어레이가 의자의 등받이에 내장되며, 사용자의 감각은 액추에이터들이 개별 위치들에 있는 동안 사용자가 연속적인 자극을 느끼게 하는 촉각적인 착각을 통해 제어된다. 일반적으로, 진동촉각 디바이스들에 의해 제공된 햅틱 효과들은 상대적으로 단순하고, 이는 일반적으로 인공 진동 패턴들을 제공하거나 포스-피드백을 추상화한다.
모션을 렌더링하는 것은 상기 논의한 바와 같은 진동을 렌더링하는 것보다 일반적으로 복잡하다. 모션 시뮬레이터들은 사용자가 모션을 느끼게 하도록 설계된 널리 공지된 디바이스들이다. 이들은 학습 목적들을 위해 또는 놀이 공원들에서 운전 또는 비행 시뮬레이터들에서 집중적으로 사용된다. 이들 중 대부분은 6개의 유압 실린더들을 사용하는 6 자유도(DOF) 플랫폼인 Stewart의 플랫폼에 기초한다. 모션 시뮬레이터는 기본적으로 이러한 플랫폼에 부착된 시트이다. 하나보다 많은 시트가 플랫폼상에 설정될 수 있고, 예를 들어, "4D 영화관들"에서, 4개(또는 그 이상)의 시트들이 함께 이동한다. 소비자들을 위해 설계된 유사한 시스템이 D-Box에 의해 개발되었다. 시트가 이동의 제한된 진폭을 제공하는 3 DOF: 피치, 롤 및 히브(heave)를 허용하는 4개의 액추에이터들상에 배치된다. 더 큰 진폭들을 제공하기 위해, 시뮬레이터는 레일들상에 또는 회전면상에 탑재될 수 있다. 예를 들어, 401CR 모션 시뮬레이터가 회전 플랫폼상에 탑재된 3DOF 시뮬레이터(롤, 피치, 히브)이며, 그것의 회전 이동(요)은 잠재적으로 제한되지 않는다.
단순한 진동들과 복잡한 모션 사이에서 햅틱 효과들을 렌더링하는 중간 디바이스가, 모션의 감각에 관한 근감각 신호들을 사용자에게 제공하도록 설계된 G-시트이다. 예를 들어, 상향 이동이 사용자의 등에 대한 압력에 의해 시뮬레이션된다. 근감각 시스템의 시뮬레이션은 넓적다리 영역에 대한 압력을 제공하기 위한 에어 셀들의 2개의 모자이크들, 사용자의 다리의 측면에 대한 압력을 제공하기 위한 2개의 크램-쉘 형상의 에어 셀들 및 복부 영역 압력 변동을 제공하기 위한 좌석 벨트에 의해 생성된다.
광범위한 햅틱 효과들을 제공할 수 있는 비디오 시청을 위해 전용된 햅틱 디바이스들이 또한 최근에 제안되었다. 일 접근방식에서, 모바일 암레스트들 또는 헤드레스트들과 같은 포스-피드백 디바이스들의 세트가 이들이 패시브 네비게이션을 경험하는 모션의 감각을 생성하기 위해 사용자의 바디에 힘들을 인가할 수 있도록 시트 주위에 배열된다. 본 출원에서, 햅틱 디바이스는 예를 들어, 표 1에 정의된 바와 같은, 햅틱 피드백을 제공할 수 있는 임의의 디바이스를 지칭한다.
도 1에 도시되어 있는 바와 같이, 렌더링 측에서, 시청각 정보가 시청각 렌더러(131)에 의해 복원될 수 있다. 그 후, 출력이 재생을 위해 디스플레이 스크린 또는 하나 이상의 스피커(134)에 전송된다.
또한, 햅틱 효과들은 햅틱 렌더러(133)에 의해 또한 렌더링될 수 있다. 그 후, 출력이 햅틱 효과들을 제공하기 위해 햅틱 디바이스(135)에 전송된다. 햅틱 효과들이 시청각 미디어로부터 추출되는 경우에, 자동 추출 모듈(132)이 시청각 렌더러(131)의 출력을 프로세싱하여 입력을 햅틱 렌더러(133)에 제공하기 위해 사용된다. 따라서, 사용자는 시청각 효과들 및 햅틱 효과들 양자에 액세스함으로써 더욱 몰입형의 경험을 할 수 있다.
포맷 표현 및 분배(120)
시청각 미디어 및 햅틱 효과들은 인코딩될 수 있고(121), 컨테이너 파일(123)에 저장될 수 있거나, 네트워크(122)를 통해 송신될 수 있다. 그 후, 시청각 미디어 및 햅틱 효과들은 렌더링을 위해 디코딩될 수 있다(124). 시청각 미디어 및 햅틱 효과들은 렌더링되기 이전에 디코딩된다. MPEG에 의해 제공된 전송 프로토콜들 또는 오디오/비디오 압축 표준들이 도 1에 도시되어 있는 바와 같은 워크플로우에서 사용될 수 있다.
미디어 포맷은 미디어의 타입에 대한 데이터 타입 및 내부 표현 디테일을 포함하는 구조를 정의한다. 시청각 콘텐트에 대한 미디어 포맷들이 널리 확립되어 있지만, 햅틱 미디어 포맷을 어드레싱하는데 있어서 거의 작업이 없다. 햅틱 미디어 포맷들을 정의하는데 있어서 대부분의 기존의 접근방식들은, XML(Extensible Markup Language, 범용 서술 언어)과 같은 일반 포맷들, 또는 단순한 CSV(Comma Separated Values) 포맷에 의존한다. 예를 들어, 감각 효과 서술 언어(SEDL)가 XML에 기초하고, MPEG-4 BIFS(Binary Format for Scenes) 포맷이 (3D 세계를 표현하기 위해 사용된) VRML/X3D(Virtual Reality Modeling Language)에 기초하며, 최신의 MPEG-V 표준이 어드밴스드 인터액션 디바이스들을 사용함으로써 멀티미디어 프리젠테이션들 및 애플리케이션을 제어하기 위해, 오디오/비디오 데이터와 연관된 멀티-감각 콘텐트를 제공하도록 구체적으로 설계된 XML에 기초한다.
기존의 햅틱 포맷들은 일부 제약들 또는 누락 정보로 인해 손해를 보고 있고, 예를 들어, 사용자가 터치할 수 있는 사용자 정면의 효과를 특정하는 방법 또는 사용자에게 다가오고, 사용자의 앞에 날아가거나 사용자의 바디의 일부를 접촉하는 효과를 서술하는 방법이 불명확하다. 후술하는 바와 같이, 오브젝트들이 포함될 수 있는 사용자 골격 및 사용자 공간의 개념을 추가한다. 이들 오브젝트들 및 공간에서 이들의 포지션, 사용자 바디 부분들의 포지션들을 알면, 오브젝트가 언제 사용자와 접촉하거나 사용자에게 압력을 가하는지 알 수 있거나, 사용자 공간에서 오브젝트 변위를 서술할 수 있다.
MPEG-V 표준은 센서들 및 디바이스들 특성 뿐만 아니라 오브젝트들, 햅틱 디바이스들 및 효과들을 서술한다. 예를 들어, 표 2에 나타낸 바와 같이, MPEG-V는 진동 효과가 도 2에 예시되어 있는 바와 같은 위치 모델에 따라 사용자의 관점으로부터 수신되는 것으로 예상되는 위치를 특정하기 위해 XML을 사용한다. 특히, 이러한 예는 오디오 촉각 자원을 사용하여 촉각 효과의 서술을 나타낸다. 촉각 효과는 si:pts="5"에서 활성화되며, 바람직한 촉각 효과는 진동이다. 위치는 가슴 정면의 사람의 심장 영역 근처인 것으로 특정된다. 진동 효과는 SEDL 스크립트 자체와 동일한 패런트 위치(URL)에 저장된 MP3 포맷 오디오 파일(즉, heartbeat1.mp3)인 촉각 자원에 기초하여 작성된다. 촉각 효과의 지속기간 및 속도는 오디오 파일의 지속기간 및 디폴트 속도로부터 전체적으로 유도된다.
아래에서, MPEG-V로부터의 표기법들을 사용하고 MPEG-V 표준을 보완하는 실시예들을 제공한다. 본 원리들이 가상 현실, 몰입형 체험들, 및 햅틱 효과들 및 프로세싱과 같지만 이에 제한되지 않은 주제에 관한 다른 표준들에 또한 적용될 수 있다는 것에 유의해야 한다.
Figure pct00002
MPEG-V에 따른 위치의 서술은 오브젝트들 및 사용자의 정밀한 위치를 허용하지 않는다. MPEG-V 위치 필드에서 사용자를 특정하기 위한 MPEG-V에 신택스가 없다. 또한, MPEG-V 표준에 사용자 이동들 및 바디 부분들의 개념이 없다.
본 원리들은 햅틱 피드백 및 인터액티비티를 위한 사용자 환경 공간(사용자 햅틱 공간 또는 HapSpace라 또한 칭함)의 개념을 도입함으로써 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치에 관한 것이다. 일 실시예에서, 예를 들어, 사용자 햅틱 공간은 사용자가 액세스할 수 있는 것을 둘러싸는 박스와 같은 사용자에게 액세스가능한 공간을 포함하는 정의된 사용자 박스, 또는 사용자의 육체적 리치 내의 임의의 공간을 통해 특정된다. 정의된 공간은 사용자를 포함하며, 상이한 햅틱 디바이스들 및 햅틱 오브젝트들을 또한 포함할 수 있다. 햅틱 오브젝트는 연관된 햅틱 특성들을 갖는 가상 오브젝트이다. 일례에서, 사용자가 햅틱 오브젝트를 터치할 때, 사용자는 일부 진동들, 따라서, 오브젝트의 표면을 터치하는 감각을 얻는다. 다른 예에서, 사용자가 가상 악기와 접촉할 때, 햅틱 디바이스는 실시간 사운드를 또한 생산할 수 있어서, 인터액티비티를 제공한다.
도 3은 본 원리들에 따른 예시적인 HapSpace를 예시하고, 여기서 HapSpace는 햅틱 렌더링 디바이스들, 햅틱 오브젝트들 및 펜싱 게임을 하는 사용자를 포함한다. 사용자는 롤링 카펫(310), 진동 베스트(vest)(320) 및 팬(340)을 포함하는 여러 햅틱 디바이스들로부터 햅틱 피드백을 수신할 수 있다. 사용자는 또한, 터치 센서(330) 및 아이콘(350)을 포함하는 여러 햅틱 오브젝트들에 액세스할 수 있다. 더욱 구체적으로, 롤링 카펫(310)은 사용자가 이동할 때 걷기 효과를 제공할 수 있고, 진동 베스트(320)는 사용자가 다른 플레이어와 접촉할 때 터치 감각 효과를 제공할 수 있고, 터치 센서(330)는 사용자가 터치 센서를 누를 때 광을 제공할 수 있고, 팬(340)은 실외 게임을 시뮬레이팅하는 바람 효과를 제공할 수 있으며, 아이콘(350)은 터치될 때 진동을 작성할 수 있다. 팬은 또한, 바람 효과가 사용자에게 도달할 수 있는 한은 HapSpace 외부에 배치될 수 있다. 햅틱 디바이스가 HapSpace 외부에 있을 때, 햅틱 디바이스로부터의 햅틱 효과의 존재를 관리하기 위해 외부 HapSpace 코드워드를 사용할 수 있다.
더욱 일반적으로, HapSpace는 오브젝트들, 사용자 및 효과들을 정밀하게 특정하기 위해 프레임워크를 제공하도록 정의될 수 있다. 일 실시예에서, HapSpace는 1로 정규화된 치수들을 갖고(박스 사이즈는 각각의 축들(X, Y, Z)에서 [0 내지 1] 사이에서 정규화됨), 정지해 있는 사용자 주위로 최대 거리로 사용자의 손으로 그려진 구를 포함하는 큐브에 대응하는 큐브에 의해 표현될 수 있다. 일반적으로, HapSpace는 또한, 어디서나 사용자가 자신의 바디의 임의의 부분에 도달할 수 있다는 것을 포함하는 임의의 형상의 임의의 3-D 공간일 수 있다. HapSpace의 원점은 사용자의 골반, 사용자의 다른 부분, 사용자 주위의 위치, 예를 들어, 사용자 직전의 하나의 발, 또는 사용자에 관련한 임의의 다른 위치일 수 있다. 사용자에 대한 HapSpace를 정의함으로써, 사용자는 또한, 공간내에서 햅틱 오브젝트들/디바이스들의 햅틱 특성들만을 송신할 수 있다. HapSpace가 사용자에 대해 상대적으로 정의되기 때문에, 사용자가 이동하면, 박스는 사용자와 이동한다. 다중의 사용자들이 있을 때, 각각의 사용자는 개별 HapSpace를 정의할 수 있다.
햅틱 디바이스 또는 햅틱 오브젝트는 또한, 예를 들어, 중력 중심 또는 공간의 원점에 대해 좌표들 (x,y,z)에 위치한 기하학적 중심으로, 이러한 공간에 포지셔닝될 수 있다. 통상적으로, 게임과 같은 일부 애플리케이션들에서, 오브젝트의 개략적인 서술은 인터액티비티를 제공하기에 충분하지 않다. 일 실시예에서, 인터액티비티를 가능하게 하기 위해, 3개의 데카르트 좌표들을 사용함으로써 HapSpace에서 사용자 또는 임의의 햅틱 디바이스 및 햅틱 오브젝트에 대한 정확한 포지션을 제공하기 위해 표 3에 나타낸 바와 같은 메시지를 제안한다. 아래의 예들에서, MPEG-V의 표기법들을 사용하여 새로운 서술어들을 제공한다. 이들 새로운 서술어들은 햅틱 공간을 더욱 정확하게 서술하기 위해 MPEG-V를 보완할 수 있다.
Figure pct00003
표 3에서, 2개의 새로운 서술어들:
Figure pct00004
및
Figure pct00005
을 도입한다. 서술어
Figure pct00006
은 정규화된 HapSpace에서의 포지션을 특정한다. 서술어
Figure pct00007
은
Figure pct00008
서술어의 파라미터들을 특정하며, (0과 1 사이의) 부동점 표현으로 X, Y, Z에서 포지션을 특정하는데 유용할 수 있다.
그 후, (예를 들어, 표 2의 라인 8에 나타낸 바와 같은) MPEG-V 위치 필드가 예로서
Figure pct00009
와 같은
Figure pct00010
필드로 대체될 수 있고, 여기서, 3개의 값들이 HapSpace에서의 좌표, 즉, X=0.01, Y=0.983, Z=0.134를 표현한다.
제안된 HapSpace에서, 햅틱 디바이스 또는 햅틱 오브젝트를 사용자와 또한 링크할 수 있다. 일 실시예에서, 사용자와 햅틱 디바이스/오브젝트 사이의 링크를 제공하기 위해 표 4에 나타낸 바와 같은 메시지를 제안한다.
Figure pct00011
표 4에서, 다른 새로운 서술어:
Figure pct00012
를 도입힌다. 서술어
Figure pct00013
는 햅틱 디바이스/오브젝트가 파라미터(bodyPart)를 갖는 사용자 바디상에 있는 위치를 특정한다. 예를 들어, 시계가 사용자의 좌측 손목에 링크될 수 있고 이것을 location="LeftWrist"를 사용하여 서술할 수 있다.
사용자의 육체적 특성들, 예를 들어, "팔길이", 키 및 체중(이에 제한되지 않음)은 예를 들어, MPEG-V (part 2)의 사용자의 감각 선호 사양을 사용하여 서술될 수 있다. 각각의 바디부 포지션을 특정하기 위해, 그 교시들이 참조로 본원에 구체적으로 통합되는, F. Danieau, J. Fleureau, P. Guillotel, 및 D. Doyen에 의한 "Method and device for controlling a haptic device"이란 명칭의 공동 소유 특허 출원(EP14305823.8, 대리인 사건 번호 PF140144)에 설명되는, 도 4에 예시되어 있는 바와 같은 바디 모델을 사용할 수 있다. 본 출원에서, 표 5에 나타낸 바와 같이 바디부 포지션들을 서술하기 위해 새로운 서술어들을 더 도입한다.
Figure pct00014
서술어
Figure pct00015
는 정의된 사용자 공간에서 상이한 사용자 바디 부분들의 포지션들을 서술한다. 사용자가 이동하는 각각의 시간에, 새로운 위치, 예를 들어, 이동하는 부분의 위치만이 전송될 필요가 있다.
상기 바디 모델에 대응하여, 햅틱 특성들(즉, 햅틱 효과의 파라미터들)이 근감각 효과를 서술하는 아래의 것(표 6)과 같은, MPEG-V 메시지에 의해 정의될 수 있다.
Figure pct00016
유사하게, 다른 햅틱 효과들의 특성을 정의할 수 있다. 예를 들어, VibrationSpecificationType 서술어가 2개의 속성들: 신호의 진폭 및 주파수를 포함할 수 있는 진동을 서술하기 위해 정의될 수 있다.
사용자의 "팔길이", 키 및 다른 육체적 파라미터들을 알고 있다고 가정하면, HapSpace 사이즈는 렌더러에 의해 컴퓨팅될 수 있고, 예를 들어, 값 1이 팔길이이다. 또한, 정의된 햅틱 특성을 작성하기 위해, 렌더러는 (예를 들어, Kinect와 같은 적절한 센서들을 사용하여) 사용자 이동들을 트랙킹할 필요가 있다.
(정의된 공간에 대한) 깊이 맵이 오브젝트들이 포지셔닝되는 위치의 더 높은 정확도의 맵을 제공하기 위한 확장자로서 제공될 수 있다. 깊이 맵은 공간에서의 포지션을 서술하기 위해 각각의 햅틱 디바이스/오브젝트 또는 사용자와 연관될 수 있다.
Figure pct00017
표 7에서, 깊이 맵의 (x,y) 사이즈는 파라미터들(Depth-x 및 Depth-y)에 의해 특정되고, 여기서, 깊이 맵은 HapSpace에 상대적이며, 햅틱 디바이스/오브젝트와 연관된 깊이가 깊이 맵에 가장 근접한 공간적 포지션에서의 깊이이라는 것을 가정한다. 깊이 맵은 포지션들을 특정하는데 대안을 제공한다.
아래에서, 자신의 정면에 진동 볼이 있는 한 명의 사용자가 있고 HapSpace가 사용자 주위의 큐브로서 정의된다는 것을 가정한다. MPEG-V 사양을 사용하여 표 8에서 이러한 장면을 서술한다. 이것이 개념의 고레벨 예시이라는 것에 유의해야 한다. 정확한 신택스를 위해, 독자는 MPEG-V 사양을 참조해야 한다. 특히, 이러한 예는 사용자의
Figure pct00018
에서, 진동 볼이 location = ":0.51:0.983:0.8"에서 진동을 생성한다는 것을 특정한다. 진동의 주파수 및 진폭은 (xn, an)에 의해 특정된 바와 같이, 시간에 따라 변한다.
Figure pct00019
표 9에서, 볼이 바디 부분(오른손)과 링크되고, 볼이 (xn, an)에 의해 특정된 주파수 및 진폭에서 오른손에서 진동을 생성하는 다른 예를 예시한다.
Figure pct00020
표 10에서, Z 축에서의 포지션을 제공하기 위해 깊이 맵을 사용하는 예를 예시한다. 도 9에 나타낸 예에 있어서, 사용자의
Figure pct00021
는 이제 location=":0.01:0.283:depth1(201, 301)"로서 표현된다.
Figure pct00022
표 8 내지 10에서의 서술들은 단지 예시 목적들을 위한 것이고 정확한 구현들은 상이할 수 있다는 것에 유의해야 한다. 표기법의 용이함을 위해, 표 8 내지 10에 나타낸 바와 같은 햅틱 특성들의 서술들을 햅틱 서술들 또는 햅틱 효과 서술들로서 나타낸다. 일반적으로, 햅틱 서술들은 예를 들어, 햅틱 특성들을 서술하는 신택스 구조, 의사 코드, 또는 소프트웨어 코드일 수 있지만, 이에 제한되지 않는다.
햅틱 서술들의 작성은 아티스트에 의해 이루어질 수 있다. 햅틱 효과의 작성은 필요한 인터페이스를 갖는 햅틱 효과 소프트웨어를 사용하여 수행될 수 있다. 예시적인 저작 툴, H-STUDIO가 도 5에 예시되어 있고, 여기서, 모션 효과가 편집된다. 특히, 도 5에서, (화살표로 표현된) 모션 방향 및 (차량으로 표현된) 배향은 순간(t)에서 정의된다. 저작 툴은 또한, 아티스트가 시청각 콘텐트와 동기하여 햅틱 특성들(즉, 햅틱 트랙들)의 시퀀스를 생성하게 한다. 대안으로, 모션 유닛이 캐릭터의 모션을 캡처하고 모션 정보를 햅틱 서술 내에 삽입하기 위해 사용될 수 있다.
햅틱 서술은 예를 들어, mp4 파일 또는 TS 스트림에서 캡슐화 이후에 수신기에 송신될 수 있다. 수신기는 상이한 햅틱 피드백 디바이스들을 사용하여 정의된 효과들을 렌더링하기 위해 햅틱 서술을 디코딩하고 신택스를 해석하는 적응 엔진을 포함한다. 적절한 신호를 서술에서 정의된 바와 같이 작용하게 하기 위해 햅틱 디바이스에 전송하는 통신 링크가 있다는 것을 가정한다. 신호에 포함되는 햅틱 서술들은 수신 햅틱 디바이스의 능력에 기초하여 적응될 수 있다. 일 실시예에서, 수신기는 장면(범위)의 각각의 햅틱 디바이스/오브젝트의 "능력들"을 알고, 각각의 렌더링 디바이스는 송신된 값을 그 자체 능력들 내에 있는 것으로 변환하기 위한 적응 엔진을 포함한다. 예를 들어, 최대 주파수가 100Hz이고 수신기가 200Hz 진동을 렌더링하는 커맨드를 수신하면, 적응 엔진은 주파수를 100Hz로 클립핑(clip)하는 것을 결정할 수 있다.
표 8에 나타낸 예에 있어서, 전용 진동 신호가 사용자 정면의 볼에 대해 송신될 수 있다. 플레이어가 렌더링의 풀 능력을 갖는 햅틱 디바이스에 액세스한 경우에, 볼은 사용자에게 보여지고 진동은 사용자가 볼을 터치한 곳에 인가된다. 더욱 제한된 렌더링 능력을 갖는 햅틱 디바이스에 액세스하는 다른 플레이어에 대해, 예를 들어, 단순한 스마트폰 디바이스를 갖는 사용자에 대해, 볼은 사용자에게 보여지지 않고 볼의 진동은 스마트폰의 진동으로 대체된다. 더욱 복잡한 시나리오들이 다양한 능력들을 갖는 디바이스에 적응하도록 정의될 수 있다.
본 실시예들은 임의의 종류의 렌더링 디바이스, 예를 들어, 시트, 센서, 팬, 압전 엘리먼트, 및 스피커를 고려하여, 사용자에 대한 햅틱 효과들을 렌더링하기 위해 사용될 수 있다. 이들 햅틱 효과들은 시청각(영화) 콘텐트에 링크되지만, 또한 사용자가 예를 들어, 사용자 인터페이스들을 통해 상호작용할 수 있는 가상 오브젝트들에 링크된다.
도 6은 본 원리들에 따른 시청각 콘텐트에 따라 햅틱 효과들을 생산하는 예시적인 방법(600)을 예시한다. 방법(600)은 단계(605)에서 시작한다. 단계(610)에서, 시청각 콘텐트 및 사용자의 HapSpace를 갖는 햅틱 효과들이 입력으로서 액세스된다. 햅틱 효과들은 시청각 콘텐트로부터 추출되거나, 아티스트에 의해 작성된 센서들을 사용하여 캡처될 수 있다. 그 후, 단계(620)에서, 햅틱 효과들은 상기 논의한 바와 같은 햅틱 서술들을 사용하여 서술될 수 있다. 그 후, 단계(630)에서 시청각 콘텐트 뿐만 아니라 햅틱 효과 서술들이 인코딩된다. 햅틱 효과 서술들은 예를 들어, 집(zip) 알고리즘, MPEG BIFS 이진 포맷(이에 제한되지 않음)을 사용하여 인코딩될 수 있다. HapSpace의 사이즈는 비트스트림에 또한 표시될 수 있다. 그 후, 단계(640)에서 인코딩 결과들, 즉, 인코딩된 비트스트림이 저장되거나 송신된다. 방법(600)은 단계(699)에서 종료된다.
도 7은 본 원리들에 따른 HapSpace 내의 햅틱 효과들을 서술하는 예시적인 방법(700)을 예시한다. 방법(700)은 방법(600)에서 단계(620)를 수행하기 위해 사용될 수 있다. 단계(710)에서, HapSpace는 예를 들어, 사용자가 도달할 수 있는 것을 포함하는 큐브로서, 사용자에 기초하여 정의된다. 그 후, 햅틱 효과들의 특성들 및 HapSpace 내의 햅틱 효과들의 위치들이 사용자, 햅틱 디바이스들 및 햅틱 오브젝트들에 대해 정의된다. 예를 들어, 단계(720)에서, 정확한 포지션 및/또는 포지션의 깊이 맵이 예를 들어, 표 3 및 표 7에 서술된 서술어들을 사용하여 정의된다. 단계(730)에서, 햅틱 오브젝트/디바이스는 예를 들어, 표 4에 서술된 바와 같은 서술어들을 사용하여 사용자에 또한 링크될 수 있다. 단계(740)에서, 바디부 포지션들이 예를 들어, 표 5에 서술된 바와 같은 서술어들을 사용하여 특정될 수 있다. 햅틱 효과들에 대한 햅틱 특성들은 단계(750)에서 정의될 수 있다. 단계(760)에서, 더 많은 서술들이 필요한지가 체크된다. 필요한 경우에, 단계(720)로 제어를 리턴한다. 사용자의 이동이 HapSpace의 원점을 이동하게 할 때, 단계(770)에서 HapSpace는 업데이트될 수 있다.
방법(700)의 단계들은 도 7에 나타낸 바와 상이한 순서로 수행될 수 있다. 예를 들어, 단계들(720 내지 750)이 임의의 순서로 수행될 수 있다. 또한, 단계들(720 내지 750) 중 어느 하나가 어떤 햅틱 효과들이 서술될 필요가 있는지에 따라 구현될 수 있거나 구현되지 않을 수 있다. 사용자가 이동하지 않으면 단계(770)는 또한 스킵될 수 있다.
도 8은 본 원리들에 따른 시청각 콘텐트에 따라 햅틱 효과들을 렌더링하는 예시적인 방법(800)을 예시한다. 방법(800)은 단계(805)에서 시작한다. 단계(810)에서, 시청각 콘텐트 및 햅틱 효과들을 포함하는 비트스트림이 입력으로서 액세스된다. 예를 들어, 방법(600)에 따라 생성된 비트스트림이 입력으로서 사용될 수 있다. 비트스트림은 상이한 트랙들로 구성될 수 있고, 일부 트랙들은 오디오용이고, 일부는 비디오용이고, 일부는 햅틱용이며, 모두 동기화된다. 대안으로, 인코딩된 햅틱 효과 비트스트림이 AV 비트스트림으로부터 개별적으로 송신될 수 있으며, 비트스트림 및 프리젠테이션을 동기화하는 수신기에 의해 수신된다.
단계(820)에서, 시청각 콘텐트 및 햅틱 효과 서술들이 디코딩된다. 그 후, 단계(830)에서, 디코딩된 시청각 콘텐트 및 햅틱 효과들이 렌더링을 위해 이용가능하다. 렌더링 디바이스는 HapSpace의 사이즈를 유도하는 방법을 알아야 한다. 예를 들어, HapSpace가 사용자의 팔 길이에 기초할 때, 렌더링 디바이스는 팔이 얼마나 긴지를 알아야 하고, 따라서, HapSpace의 사이즈를 유도할 수 있다. 대안으로, HapSpace의 사이즈는 정보가 송신되는 경우에 비트스트림으로부터 유도될 수 있다. 단계(840)에서, 시청각 콘텐트는 햅틱 피드백으로 재생을 위해 제공될 수 있다. 예를 들어, 시청각 콘텐트는 디스플레이 및 사운드 스피커에 전송될 수 있으며, 햅틱 효과들은 햅틱 디바이스들을 사용하여 제공될 수 있다. 방법(800)은 단계(899)에서 종료된다. 그 후, 해석된 햅틱 효과들이 렌더링을 위해 사용될 수 있다.
도 9는 본 원리들에 따른 HapSpace 내의 햅틱 효과들을 해석하는 예시적인 방법(900)을 예시한다. 방법(900)은 방법(800)에서의 단계(830)를 수행하기 위해 사용될 수 있다. 단계(910)에서, 햅틱 효과 서술들이 액세스된다. 그 후, 햅틱 효과들이 해석된다. 특히, 포지션은 예를 들어, 표 3 및 표 7에 서술된 서술어들을 사용하여 해석될 수 있다. 단계(930)에서, 사용자에 링크된 햅틱 오브젝트가 예를 들어, 표 4에 서술된 바와 같은 서술어들을 사용하여 해석될 수 있다. 단계(940)에서, 바디부 포지션들이 예를 들어, 표 5에 서술된 바와 같은 서술어들을 사용하여 해석될 수 있다. 단계(950)에서 햅틱 효과들에 대한 햅틱 특성들이 해석될 수 있다. 단계(960)에서, 더 많은 서술들이 해석될 필요가 있는지 체크된다. 해설될 필요가 있는 경우에, 제어는 단계(920)로 리턴한다. 렌더링 디바이스의 능력에 따라, 단계(970)에서 햅틱 효과가 또한 적응될 수 있다.
방법(900)의 단계들은 도 9에 나타낸 바와 상이한 순서로 수행될 수 있다. 예를 들어, 단계들(920 내지 950)이 임의의 순서로 수행될 수 있다. 또한, 단계들(920 내지 950) 중 어느 하나가 어떤 햅틱 효과들이 서술될 필요가 있는지에 따라 구현될 수 있거나 구현되지 않을 수 있다. 햅틱 디바이스들이 풀 렌더링 능력들을 갖는 경우에 단계(970)는 또한 스킵될 수 있다.
바람직하게는, 본 실시예들은 가상 공간, 즉, 사용자에게 부착된 사용자 HapSpace를 제공하며 사용자와 이동할 수 있다. HapSpace는 사용자가 액세스할 수 있는 햅틱 오브젝트들 및 햅틱 효과들을 사용자에게 제공할 수 있는 햅틱 디바이스들을 또한 포함한다. HapSpace는 사용자에 기초하여 정의되며 사용자가 자신의 바디로 터치할 수 있는 공간으로서 정의되는 것이 바람직하다. HapSpace에서, 햅틱 오브젝트들은 그들의 햅틱 특성들로 정의될 수 있다. 또한, 사용자 및 상이한 햅틱 렌더링 디바이스들이 HapSpace에 정확하게 포지셔닝될 수 있다.
도 10은 본 원리들의 예시적인 실시예들의 다양한 양태들이 구현될 수 있는 예시적인 시스템의 블록도를 예시한다. 시스템(1000)은 후술하는 다양한 컴포넌트들을 포함하는 디바이스로서 실시될 수 있으며 상술한 프로세스들을 수행하도록 구성된다. 이러한 디바이스들의 예들은, 개인 컴퓨터들, 랩탑 컴퓨터들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋탑 박스들, 디지털 텔레비전 수신기들, 개인 비디오 기록 시스템들, 연결된 가전 제품들, 및 서버들을 포함하지만, 이에 제한되지 않는다. 시스템(1000)은 상술한 예시적인 비디오 시스템을 구현하기 위해 도 10에 도시되고 본 기술분야의 통상의 기술자에 의해 공지된 바와 같이 통신 채널을 통해 다른 유사한 시스템 및 디스플레이에 통신가능하게 결합될 수 있다.
시스템(1000)은 상기 논의한 바와 같은 다양한 프로세스들을 구현하기 위해 그 안에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1010)를 포함할 수 있다. 프로세서(1010)는 본 기술분야에 공지되어 있는 바와 같은 내장 메모리, 입출력 인터페이스 및 다양한 다른 회로들을 포함할 수 있다. 시스템(1000)은 적어도 하나의 메모리(1020)(예를 들어, 휘발성 메모리 디바이스, 비휘발성 메모리 디바이스)를 또한 포함할 수 있다. 시스템(1000)은 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광 디스크 드라이브를 포함하지만 이에 제한되지 않는 비휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 추가로 포함할 수 있다. 저장 디바이스(1040)는 제한하지 않는 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다. 시스템(1000)은 인코딩된 HAV 콘텐트 또는 디코딩된 HAV 콘텐트를 제공하기 위해 데이터를 프로세싱하도록 구성된 인코더/디코더 모듈(1030)을 또한 포함할 수 있다.
인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 공지되어 있는 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 모두를 포함할 수 있다. 추가로, 인코더/디코더 모듈(1030)은 시스템(1000)의 개별 엘리먼트로서 구현될 수 있거나, 본 기술분야의 통상의 기술자에게 공지되어 있는 바와 같이 하드웨어와 소프트웨어의 조합으로서 프로세서들(1010)내에 통합될 수 있다.
이상에서 설명한 다양한 프로세스들을 수행하기 위해 프로세서들(1010)상에 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고, 그 후, 프로세서들(1010)에 의한 실행을 위해 메모리(1020)상에 로딩될 수 있다. 본 원리들의 예시적인 실시예들에 따르면, 프로세서(들)(1010), 메모리(1020), 저장 디바이스(1040) 및 인코더/디코더 모듈(1030) 중 하나 이상은 베이스층 입력 비디오, 강화층 입력 비디오, 방정식들, 공식, 매트릭스들, 변수들, 동작들, 및 연산 로직을 포함하지만, 이에 제한되지 않는, 상기 본원에 논의한 프로세스들의 수행 동안 다양한 아이템들 중 하나 이상을 저장할 수 있다.
시스템(1000)은 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1050)를 또한 포함할 수 있다. 통신 인터페이스(1050)는 통신 채널(1060)로부터 데이터를 송신하고 수신하도록 구성된 트랜시버를 포함할 수 있지만, 이에 제한되지 않는다. 통신 인터페이스는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이에 제한되지 않고, 통신 채널은 유선 및/또는 무선 매체내에서 구현될 수 있다. 시스템(1000)의 다양한 컴포넌트들은 내부 버스들, 와이어들, 및 인쇄 회로 기판들을 포함하지만 이에 제한되지 않는 다양한 적합한 연결들을 사용하여 함께 연결되거나 통신가능하게 결합될 수 있다.
본 원리들에 따른 예시적인 실시예들은 프로세서(1010)에 의해 구현된 컴퓨터 소프트웨어 또는 하드웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 수행될 수 있다. 제한하지 않는 예로서, 본 원리들에 따른 예시적인 실시예들은 하나 이상의 집적 회로들에 의해 구현될 수 있다. 메모리(1020)는 기술적 환경에 적절한 임의의 타입일 수 있으며, 제한하지 않는 예로서, 광학 메모리 디바이스들, 자기 메모리 디바이스들, 반도체-기반 메모리 디바이스들, 고정 메모리 및 착탈식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(1010)는 기술적 환경에 적절한 임의의 타입일 수 있으며, 제한하지 않는 예들로서, 멀티-코어 아키텍처에 기초하여 마이크로프로세서들, 범용 컴퓨터들, 특수용 컴퓨터들 및 프로세서들 중 하나 이상을 포함할 수 있다.
도 11을 참조하면, 상술한 특징들 및 원리들이 적용될 수 있는 데이터 송신 시스템(1100)이 도시되어 있다. 데이터 송신 시스템(1100)은 예를 들어, 위성, 케이블, 전화선, 또는 지상 방송과 같은 각종 미디어 중 임의의 것을 사용하여 신호를 송신하는 헤드-엔드 또는 송신 시스템일 수 있다. 데이터 송신 시스템(1100)은 저장용 신호를 제공하기 위해 또한 사용될 수 있다. 송신은 인터넷 또는 일부 다른 네트워크를 통해 제공될 수 있다. 데이터 송신 시스템(1100)은 예를 들어, 시청각 콘텐트 및 햅틱 효과들을 생성하고 전달할 수 있다.
데이터 송신 시스템(1100)은 프로세싱된 데이터 및 다른 정보를 프로세서(1101)로부터 수신한다. 일 구현에서, 프로세서(1101)는 햅틱 효과들을 캡처하고, 시청각 콘텐트로부터 햅틱 효과들을 추출하거나, 아티스트에 의해 작성된 햅틱 효과들을 수용한다. 프로세서(1101)는 메타데이터를 1100에 또한 제공할 수 있다.
데이터 송신 시스템 또는 장치(1100)는 인코더(1102) 및 인코딩된 신호를 송신할 수 있는 송신기(1104)를 포함한다. 인코더(1102)는 프로세서(1101)로부터 데이터 정보를 수신한다. 인코더(1102)는 인코딩된 신호(들)를 생성한다.
인코더(1102)는 예를 들어, 정보의 다양한 피스들을 수신하여 저장 또는 송신을 위해 구조화된 포맷으로 어셈블링하는 어셈블리 유닛을 포함하는 서브-모듈들을 포함할 수 있다. 정보의 다양한 피스들은 예를 들어, 코딩되거나 코딩되지 않은 비디오, 및 코딩되거나 코딩되지 않은 엘리먼트들을 포함할 수 있다. 일부 구현들에서, 인코더(1102)는 프로세서(1101)를 포함하고, 따라서, 프로세서(1101)의 동작들을 수행한다.
송신기(1104)는 인코더(1102)로부터 인코딩된 신호(들)를 수신하고 하나 이상의 출력 신호들에서 인코딩된 신호(들)를 송신한다. 송신기(1104)는 예를 들어, 인코딩된 픽처들 및/또는 그에 관한 정보를 나타내는 하나 이상의 비트스트림들을 갖는 프로그램 신호를 송신하도록 구성될 수 있다. 통상의 송신기들은 예를 들어, 에러-정정 코딩을 제공하는 것, 신호에서 데이터를 인터리빙하는 것, 신호에서 에너지를 랜덤화하는 것, 및 변조기(1106)를 사용하여 하나 이상의 반송파들상으로 신호를 변조하는 것 중 하나 이상과 같은 기능들을 수행한다. 송신기(1104)는 안테나(미도시)를 포함할 수 있거나, 안테나(미도시)와 인터페이싱할 수 있다. 추가로, 송신기(1104)의 구현들은 변조기(1106)에 제한될 수 있다.
데이터 송신 시스템(1100)은 저장 유닛(1108)에 통신가능하게 또한 결합된다. 일 구현에서, 저장 유닛(1108)은 인코더(1102)에 결합되며, 인코더(1102)로부터의 인코딩된 비트스트림을 저장한다. 다른 구현에서, 저장 유닛(1108)은 송신기(1104)에 결합되며, 송신기(1104)로부터의 비트스트림을 저장한다. 송신기(1104)로부터의 비트스트림은 예를 들어, 송신기(1104)에 의해 더 프로세싱되는 하나 이상의 인코딩된 비트스트림들을 포함할 수 있다. 상이한 구현들에서, 저장 유닛(1108)은 표준 DVD, 블루-레이 디스크, 하드 드라이브, 또는 일부 다른 저장 디바이스 중 하나 이상이다.
도 12를 참조하면, 상술한 특징들 및 원리들이 적용될 수 있는 데이터 수신 시스템(1200)이 도시되어 있다. 데이터 수신 시스템(1200)은 저장 디바이스, 위성, 케이블, 전화선, 또는 지상 방송과 같은 각종 미디어를 통해 신호들을 수신하도록 구성될 수 있다. 신호들은 인터넷 또는 일부 다른 네트워크를 통해 수신될 수 있다.
데이터 수신 시스템(1200)은 예를 들어, 셀-폰, 컴퓨터, 셋탑 박스, 텔레비전, 또는 인코딩된 비디오를 수신하고, 예를 들어, 디스플레이(예를 들어, 사용자에게 디스플레이), 프로세싱, 또는 저장을 위해 디코딩된 비디오 신호를 제공하는 다른 디바이스일 수 있다. 따라서, 데이터 수신 시스템(1200)은 그것의 출력을 예를 들어, 텔레비전의 스크린, 컴퓨터 모니터, (저장, 프로세싱, 또는 디스플레이를 위한) 컴퓨터, G-시트, 진동 베스트, 또는 일부 다른 저장, 프로세싱, 햅틱 또는 디스플레이 디바이스에 제공할 수 있다.
데이터 수신 시스템(1200)은 데이터 정보를 수신하고 프로세싱할 수 있다. 데이터 수신 시스템 또는 장치(1200)는 예를 들어, 본 출원의 구현들에서 설명한 신호들과 같은 인코딩된 신호를 수신하는 수신기(1202)를 포함한다. 수신기(1202)는 예를 들어, 비트스트림을 제공하는 신호, 또는 도 11의 데이터 송신 시스템(1100)으로부터 출력된 신호를 수신할 수 있다.
수신기(1202)는 예를 들어, 인코딩된 시청각 콘텐트 및 햅틱 효과들을 나타내는 복수의 비트스트림들을 갖는 프로그램 신호를 수신하도록 구성될 수 있다. 통상의 수신기들은 예를 들어, 변조되고 인코딩된 데이터 신호를 수신하는 것, 복조기(1204)를 사용하여 하나 이상의 반송파들로부터 데이터 신호를 복조하는 것, 신호에서 에너지를 디-랜덤화(de-randomizing)하는 것, 신호에서 데이터를 디-인터리빙하는 것, 및 신호를 에러-정정 디코딩하는 것 중 하나 이상과 같은 기능들을 수행한다. 수신기(1202)는 안테나(미도시)를 포함할 수 있거나, 안테나(미도시)와 인터페이싱할 수 있다. 수신기(1202)의 구현들이 복조기(1204)에 제한되지 않을 수 있다.
데이터 수신 시스템(1200)은 디코더(1206)를 포함한다. 수신기(1202)는 수신된 신호를 디코더(1206)에 제공한다. 수신기(1202)에 의해 디코더(1206)에 제공된 신호는 하나 이상의 인코딩된 비트스트림들을 포함할 수 있다. 디코더(1206)는 예를 들어, 비디오 정보들, 오디오 신호, 및 햅틱 효과 서술들을 포함하는 디코딩된 비디오 신호들과 같은 디코딩된 신호를 출력한다.
데이터 수신 시스템 또는 장치(1200)는 저장 유닛(1207)에 통신가능하게 또한 결합된다. 일 구현에서, 저장 유닛(1207)은 수신기(1202)에 결합되며, 수신기(1202)는 저장 유닛(1207)으로부터의 비트스트림에 액세스한다. 다른 구현에서, 저장 유닛(1207)은 디코더(1206)에 결합되며, 디코더(1206)는 저장 유닛(1207)으로부터의 비트스트림에 액세스한다. 상이한 구현들에서, 저장 유닛(1207)으로부터 액세스된 비트스트림은 하나 이상의 인코딩된 비트스트림들을 포함한다. 상이한 구현들에서, 저장 유닛(1207)은 표준 DVD, 블루-레이 디스크, 하드 드라이브, 또는 일부 다른 저장 디바이스 중 하나 이상이다.
일 구현에서, 디코더(1206)로부터의 출력 데이터는 프로세서(1208)에 제공된다. 일 구현에서, 프로세서(1208)는 사후-프로세싱을 수행하도록 구성된 프로세서이다. 일부 구현들에서, 디코더(1206)는 프로세서(1208)를 포함하고, 따라서, 프로세서(1208)의 동작들을 수행한다. 다른 구현들에서, 프로세서(1208)는 예를 들어, 셋탑 박스 또는 텔레비전과 같은 다운스트림 디바이스의 일부이다.
본원에 설명하는 구현들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 시스템, 또는 신호에서 구현될 수 있다. 단일 형태의 구현의 문맥에서만 논의되더라도(예를 들어, 방법으로만 논의됨), 논의된 특징들의 구현은 다른 형태들(예를 들어, 장치 또는 프로그램)로 또한 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어에서 구현될 수 있다. 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능한 로직 디바이스를 포함하는 프로세싱 디바이스들을 일반적으로 지칭하는 예를 들어, 프로세서와 같은, 예를 들어, 장치에서 구현될 수 있다. 프로세서들은, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/휴대 정보 단말기들("PDAs"), 및 종단 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 또한 포함한다.
본 원리들의 "일 실시예" 또는 "실시예" 또는 "일 구현" 또는 "구현" 뿐만 아니라 그의 변형들에 대한 참조는, 실시예와 관련하여 설명한 특정한 특징, 구조, 특성 등이 본 원리들의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반의 다양한 장소들에 나타나는 어구 "일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서"의 출현들이 반드시 동일한 실시예를 모두 지칭하는 것은 아니다.
추가로, 본 출원 또는 그 청구항들은 다양한 정보를 "결정하는 것"을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.
추가로, 본 출원 또는 그 청구항들은 정보의 다양한 피스들에 "액세스하는 것"을 지칭할 수 있다. 정보에 액세스하는 것은 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.
추가로, 본 출원 또는 그 청구항들은 다양한 정보를 "수신하는 것"을 지칭할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로, 넓은 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 추가로, "수신하는 것"은 예를 들어, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안 일 방식 또는 다른 방식으로 통상적으로 수반된다.
본 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현들은 예를 들어, 저장되거나 송신될 수 있는 정보를 반송하도록 포맷된 각종 신호들을 생성할 수 있다. 정보는 예를 들어, 방법을 수행하는 명령어들, 또는 설명한 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 설명한 실시예의 비트스트림을 반송하기 위해 포맷될 수 있다. 이러한 신호는 예를 들어, 전자기파(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷될 수 있다. 포맷하는 것은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 반송파를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지되어 있는 바와 같이, 각종의 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체상에 저장될 수 있다.

Claims (15)

  1. 햅틱 효과를 나타내는 데이터를 포함하는 비트스트림을 송신하는 방법으로서,
    - 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림 내로 인코딩하는 단계;
    - 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림 내로 인코딩하는 단계; 및
    - 상기 비트스트림을 송신하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 공간에 관하여 햅틱 디바이스의 위치를 나타내는 제3 서술어를 상기 비트스트림 내로 인코딩하는 단계를 더 포함하는, 방법.
  3. 햅틱 효과를 나타내는 정보를 디코딩하는 방법으로서,
    - 비트스트림을 수신하는 단계;
    - 공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림으로부터 디코딩하는 단계; 및
    - 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림으로부터 디코딩하는 단계
    를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 공간에 관하여 햅틱 디바이스의 위치를 나타내는 제3 서술어를 상기 비트스트림으로부터 디코딩하는 단계를 더 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제2 서술어는 상기 가상 오브젝트가 위치되는 사용자의 바디의 일부를 나타내는, 방법.
  6. 제2항 또는 제4항에 있어서,
    상기 제3 서술어는 상기 햅틱 디바이스가 위치되는 사용자의 바디의 일부를 나타내는, 방법.
  7. 제1항 또는 제3항에 있어서,
    상기 제1 서술어는 제1 좌표들에 대응하고, 상기 제2 서술어는 제2 좌표들에 대응하는, 방법.
  8. 제1항 또는 제2항에 있어서,
    결정된 시간에 사용자의 바디의 적어도 하나의 부분의 포지션을 나타내는 제4 서술어를 인코딩하는 단계를 더 포함하는, 방법.
  9. 제3항 또는 제4항에 있어서,
    결정된 시간에 사용자의 바디의 적어도 하나의 부분의 포지션을 나타내는 제4 서술어를 디코딩하는 단계를 더 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 원점은 사용자의 바디의 일부와 연관되는, 방법.
  11. 햅틱 효과를 나타내는 데이터를 포함하는 비트스트림을 송신하도록 구성된 디바이스로서,
    - 인코더 - 상기 인코더는
    Figure pct00023
    공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림 내로 인코딩하고;
    Figure pct00024
    상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림 내로 인코딩하도록 구성됨 -; 및
    - 상기 비트스트림을 송신하는 송신기
    를 포함하는, 디바이스.
  12. 햅틱 효과를 나타내는 정보를 디코딩하도록 구성된 디바이스로서,
    - 비트스트림을 수신하는 수신기; 및
    - 디코더 - 상기 디코더는
    Figure pct00025
    공간의 원점의 위치를 나타내는 제1 서술어를 상기 비트스트림으로부터 디코딩하고;
    Figure pct00026
    상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 상기 비트스트림으로부터 디코딩하도록 구성됨 -
    를 포함하는, 디바이스.
  13. 적어도 패킷 - 상기 패킷은 햅틱 효과를 나타내는 데이터를 포함함 - 을 반송하는 신호로서,
    상기 신호는 공간의 원점의 위치를 나타내는 제1 서술어 및 상기 공간에 관하여 연관된 햅틱 특성들을 갖는 가상 오브젝트의 위치를 나타내는 제2 서술어를 더 반송하는, 신호.
  14. 프로세서로 하여금 적어도 제1항에 따른 방법의 단계들을 수행하게 하는 명령어들이 저장된, 비일시적 프로세서 판독가능 매체.
  15. 프로세서로 하여금 적어도 제3항에 따른 디코딩 방법의 단계들을 수행하게 하는 명령어들이 저장된, 비일시적 프로세서 판독가능 매체.
KR1020187000859A 2015-07-13 2016-07-07 사용자 햅틱 공간(ＨａｐＳｐａｃｅ)에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치 KR20180030515A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306156.9A EP3118723A1 (en) 2015-07-13 2015-07-13 Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
EP15306156.9 2015-07-13
PCT/EP2016/066157 WO2017009181A1 (en) 2015-07-13 2016-07-07 Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)

Publications (1)

Publication Number Publication Date
KR20180030515A true KR20180030515A (ko) 2018-03-23

Family

ID=53758150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187000859A KR20180030515A (ko) 2015-07-13 2016-07-07 사용자 햅틱 공간(ＨａｐＳｐａｃｅ)에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치

Country Status (10)

Country Link
US (1) US11964200B2 (ko)
EP (2) EP3118723A1 (ko)
JP (1) JP2018527655A (ko)
KR (1) KR20180030515A (ko)
CN (1) CN107835971B (ko)
BR (1) BR112018000796A2 (ko)
CA (1) CA2992128A1 (ko)
MX (1) MX2018000441A (ko)
RU (1) RU2721410C2 (ko)
WO (1) WO2017009181A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
KR101678455B1 (ko) * 2015-10-14 2016-11-23 한국과학기술연구원 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법
WO2019011396A1 (en) * 2017-07-10 2019-01-17 Telefonaktiebolaget Lm Ericsson (Publ) IMPROVED TRANSMISSION OF HAPTIC ENTRY
WO2019041274A1 (en) 2017-08-31 2019-03-07 Sz Dji Technology Co. , Ltd. SEMICONDUCTOR LIGHT DISTANCE LIDAR DETECTION AND ESTIMATING SYSTEM SYSTEM AND METHOD FOR IMPROVING SEMICONDUCTOR LIGHT DISTANCE DETECTION AND LODAR ESTIMATION ESTIMATION
US20190204917A1 (en) * 2017-12-28 2019-07-04 Immersion Corporation Intuitive haptic design
US10698490B2 (en) * 2018-01-10 2020-06-30 Jonathan Fraser SIMMONS Haptic feedback device, method and system
WO2019163260A1 (ja) * 2018-02-20 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20210186219A1 (en) * 2018-09-11 2021-06-24 Sony Corporation Information processing device, information processing method, and recording medium
JP7452430B2 (ja) * 2018-10-19 2024-03-19 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
WO2020080433A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
WO2020137767A1 (ja) * 2018-12-26 2020-07-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2020158596A1 (ja) * 2019-02-01 2020-08-06 ソニー株式会社 復号装置、復号方法、及びプログラム
WO2021172040A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 情報処理装置および方法
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
KR20220012073A (ko) 2020-07-22 2022-02-03 삼성전자주식회사 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
TWI831081B (zh) * 2021-11-11 2024-02-01 國立陽明交通大學 模組化氣動體感裝置
WO2023099233A1 (en) * 2021-12-03 2023-06-08 Interdigital Ce Patent Holdings, Sas Adaptation of a haptic signal to device capabilities
WO2023176928A1 (ja) * 2022-03-18 2023-09-21 ソニーグループ株式会社 情報処理装置および方法
US11775072B1 (en) 2022-04-13 2023-10-03 Immersion Corportion Methods and systems for distributing and/or generating a haptic effect associated with video content and/or audio content
WO2024002508A1 (en) * 2022-07-01 2024-01-04 Go Touch Vr Method and apparatus of transmitting haptic data
US20240127680A1 (en) * 2022-10-18 2024-04-18 Tencent America LLC Method and apparatus for timed referenced access unit packetization of haptics elementary streams

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3983640A (en) 1974-11-06 1976-10-05 The Singer Company Advanced G seat for aircraft simulation
JP4173951B2 (ja) 2000-10-25 2008-10-29 日本放送協会 多感覚情報送信装置及び多感覚情報受信装置
US7667700B1 (en) * 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
US20060284834A1 (en) 2004-06-29 2006-12-21 Sensable Technologies, Inc. Apparatus and methods for haptic rendering using a haptic camera view
JP4795091B2 (ja) 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
RU2407072C1 (ru) * 2006-09-29 2010-12-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
EP2277096A1 (en) * 2008-05-09 2011-01-26 Koninklijke Philips Electronics N.V. Method and system for conveying an emotion
JP5502348B2 (ja) 2009-03-12 2014-05-28 ファナック株式会社 シミュレーション方法
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8540571B2 (en) 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
KR101108145B1 (ko) 2010-05-07 2012-02-06 광주과학기술원 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법
US20130208899A1 (en) 2010-10-13 2013-08-15 Microsoft Corporation Skeletal modeling for positioning virtual object sounds
US9480907B2 (en) * 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9478067B1 (en) * 2011-04-08 2016-10-25 Amazon Technologies, Inc. Augmented reality environment with secondary sensory feedback
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101546654B1 (ko) 2012-06-26 2015-08-25 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US8532675B1 (en) * 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
US9836150B2 (en) * 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9230368B2 (en) 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
CN103543830B (zh) 2013-10-28 2017-02-15 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval

Also Published As

Publication number Publication date
MX2018000441A (es) 2018-05-17
CA2992128A1 (en) 2017-01-19
CN107835971B (zh) 2023-06-20
EP3118723A1 (en) 2017-01-18
US11964200B2 (en) 2024-04-23
RU2018105082A3 (ko) 2019-12-17
RU2721410C2 (ru) 2020-05-19
JP2018527655A (ja) 2018-09-20
BR112018000796A2 (pt) 2018-09-04
RU2018105082A (ru) 2019-08-13
US20180200619A1 (en) 2018-07-19
CN107835971A (zh) 2018-03-23
WO2017009181A1 (en) 2017-01-19
EP3323032A1 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
CN107835971B (zh) 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置
US11682054B2 (en) Apparatus, systems and methods for presenting content reviews in a virtual world
CN110300909B (zh) 用于显示交互式增强现实展示的系统、方法和介质
CN108701369A (zh) 针对虚拟现实的娱乐数据的制作与封装
CN106303555A (zh) 一种基于混合现实的直播方法、装置和系统
CN104978758A (zh) 基于用户创作的图像的动画视频生成方法和装置
KR20160138908A (ko) 햅틱 효과를 나타내는 데이터를 포함하는 패킷을 인코딩/디코딩하기 위한 방법 및 장치
KR101580237B1 (ko) 4ｄ 컨텐츠 제작 서비스 제공 방법 및 시스템, 이를 위한 컨텐츠 제작 장치
CN114450966A (zh) 用于异构沉浸式媒体的表示和流式传输的数据模型
JP2023549747A (ja) 触覚オブジェクトの表現フォーマット
CN116324681A (zh) 触觉场景表示格式
US20160014386A1 (en) Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
US10440446B2 (en) Method for generating haptic coefficients using an autoregressive model, signal and device for reproducing such coefficients
US9843642B2 (en) Geo-referencing media content
WO2023046899A1 (en) Location-based haptic signal compression
KR101731476B1 (ko) 가상 인체를 통한 촉각 상호작용 방법과 장치
KR20220110787A (ko) 이기종 클라이언트 종단점에 대한 스트리밍을 위한 2d 비디오의 적응
WO2023202898A1 (en) Haptics effect comprising a washout
WO2023202899A1 (en) Mipmaps for haptic textures
JP2004363817A (ja) 触覚情報伝達システム、立体情報伝送装置、触覚情報造形装置、および触覚情報伝達方法
WO2023217677A1 (en) Signal coding based on interpolation between keyframes
CN115280336A (zh) 通过沉浸式媒体引用神经网络模型以适配流式传输到异构客户端端点的媒体
CN118042176A (zh) 一种音视频的云渲染方法及装置
CN116601587A (zh) 触觉对象的表示格式
Moule et al. A method for automatically aligning projection mapping systems