KR20240113570A - 디바이스 능력들에 대한 햅틱 신호의 적응 - Google Patents

Abstract

몰입형 경험을 나타내는 정보를 저장하는 데이터 구조는 기준 햅틱 렌더링 디바이스의 햅틱 능력들을 표현하는 정보를 포함한다. 따라서, 햅틱 신호들은 상이한 햅틱 능력들을 갖는 상이한 렌더링 디바이스의 능력들에 적응될 수 있다. 이러한 적응은 렌더링 디바이스 자체에 의해 렌더링 단계에서 직접 수행될 수 있다. 트랜스코딩 프로세스는 상이한 햅틱 능력들을 갖는 렌더링 디바이스에 대한 새로운 데이터 구조의 생성을 허용한다.

Description

디바이스 능력들에 대한 햅틱 신호의 적응

본 실시예들 중 적어도 하나는 일반적으로 햅틱들에 관한 것으로, 보다 상세하게는 디바이스 능력들에 대한 햅틱 신호의 적응(adaptation)에 관한 것이다.

완전 몰입형 사용자 경험들은 피드백 및 상호작용들에 기초한 몰입형 시스템들을 통해 사용자들에게 제안된다. 상호작용은 사용자의 요구를 충족시키는 종래의 제어 방식을 사용할 수 있다. 최신 시각적 및 청각적 피드백은 만족스러운 수준의 현실적 몰입을 제공한다. 추가적인 피드백은 인간 사용자가 감각으로 가상 환경을 인지하게 하고 따라서 개선된 현실감과 함께 완전한 몰입의 더 나은 경험을 얻을 수 있게 하는 햅틱 효과에 의해 제공될 수 있다. 그러나, 햅틱은 여전히 몰입형 시스템에서 전체 사용자 경험을 개선하기 위한 잠재적인 진보의 한 영역이다.

통상적으로, 몰입형 시스템은 3D 장면 내에 로컬화된 가상 객체들을 갖는 가상 환경을 나타내는 3D 장면을 포함할 수 있다. 가상 환경의 엘리먼트들과의 사용자 상호작용을 개선하기 위해, 햅틱 피드백은 햅틱 액추에이터들의 자극을 통해 사용될 수 있다. 이러한 상호작용은 사용자에게 송신될 물리적 현상에 대응하는 "햅틱 객체"의 개념에 기초한다. 몰입형 장면의 맥락에서, 햅틱 객체는 햅틱 렌더링 디바이스 상의 물리적 현상을 모방하기 위해 적절한 햅틱 액추에이터들의 자극을 정의함으로써 햅틱 효과를 제공할 수 있게 한다. 상이한 유형들의 햅틱 액추에이터들은 상이한 유형들의 햅틱 피드백들을 반환시키는 것을 허용한다.

햅틱 객체의 예는 폭발(explosion)이다. 폭발은 진동들 및 열을 통해 렌더링될 수 있고, 따라서 사용자에게 상이한 햅틱 효과들을 조합하여 현실감을 개선시킨다. 몰입형 장면은 전형적으로, 예를 들어, 글로벌 효과와 관련된 제1 햅틱 객체 및 로컬 효과와 관련된 제2 햅틱 객체를 사용하는 다수의 햅틱 객체들을 포함한다.

본 명세서에 설명된 원리들은, 예를 들어, 증강 현실, 가상 현실, 혼합 현실 또는 햅틱 강화 비디오(또는 전방향/360° 비디오) 렌더링과 같은 햅틱들을 사용하는 임의의 몰입형 환경에 적용되며, 더 일반적으로는 임의의 햅틱 기반 사용자 경험에 적용된다. 따라서, 몰입형 환경들의 이러한 예들에 대한 장면은 몰입형 장면으로 간주된다.

햅틱은 터치(touch)의 감각을 의미하며, 촉감(tactile)과 운동 감각(kinesthetic)의 2차원을 포함한다. 첫 번째 것은 마찰, 거칠기, 경도, 온도와 같은 촉각 감각에 관한 것으로 피부의 기계적 수용체(메르켈 세포, 루피니 엔딩, 마이스너 소체, 파시니아 소체)를 통해 느껴진다. 두 번째 것은 관절의 근육, 힘줄 및 기계적 수용체에 의해 제공되는 힘/토크, 위치, 운동/속도의 감각에 링크된다. 햅틱은 자기 수용(proprioceptive) 체계(즉, 자신의 신체에 대한 인식)에 기여하기 때문에 자기 운동의 지각에도 관여된다. 따라서, 가속도, 속도 또는 임의의 신체 모델의 지각은 햅틱 효과로서 동화될 수 있다. 주파수 범위는 양식(modality)의 유형에 따라 약 0-1 ㎑이다. 햅틱 신호들을 렌더링할 수 있는 대부분의 기존 디바이스들은 진동들을 생성한다. 이러한 햅틱 액추에이터들의 예들은 선형 공진 액추에이터(LRA), 편심 회전 질량(ERM), 및 보이스-코일(voice-coil) 선형 모터이다. 이러한 액추에이터들은 햅틱 슈트들과 같은 햅틱 렌더링 디바이스들 뿐만 아니라 스마트폰들 또는 게임 제어기들에 통합될 수 있다.

햅틱 신호들을 인코딩하기 위해, XML 유사 포맷들(예를 들어, MPEG-V)을 사용하는 하이 레벨 설명, AHAP(Apple Haptic Audio Pattern) 또는 Immersion Corporation의 HAPT 포맷과 같은 제이손 유사(json-like) 포맷들을 사용하는 파라메트릭 표현, 또는 파형 인코딩(촉각 및 운동 감각 신호들에 대한 IEEE 1918.1.1 진행 중인 표준화)과 관련된 몇몇 포맷들이 정의되었다. HAPT 포맷은 최근에 MPEG ISOBMFF 파일 포맷 규격(ISO/IEC 14496 파트 12)에 포함되었다. 또한, GL 송신 포맷(glTF™)은 애플리케이션들에 의한 3D 장면들 및 모델들의 효율적인 송신 및 로딩을 위한 로열티-프리 규격이다. 이 포맷은 멀티미디어 데이터 구축(authoring) 워크플로우를 간소화하고 업계 전반에서 컨텐츠를 상호 운용할 수 있도록 지원하는 3D 컨텐츠 툴 및 서비스를 위한 확장 가능한 공통 게시 포맷을 정의한다.

또한, 새로운 햅틱 파일 포맷이 MPEG 표준화 그룹 내에서 정의되고 햅틱을 위한 코딩 표현에 관한 것이다. 이 포맷의 기준 모델은 아직 릴리스되지 않았지만 본 명세서에서 RM0으로 참조된다. 이 기준 모델을 이용하여, 인코딩된 햅틱 설명 파일은 인간 판독가능한 JSON 교환 포맷(예를 들어, .gmpg 파일)으로서 또는 햅틱 렌더링 디바이스들을 향한 송신을 위해 특별히 적응되는 압축된 이진 배포 포맷(예를 들어, .mpg)으로서 엑스포트(export)될 수 있다.

햅틱의 도메인에서의 과제는 상이한 햅틱 디바이스에 대한 신호의 적응이다. 햅틱 경험들은 일반적으로 디바이스 특정적이지만, 각각의 햅틱 디바이스는 고유한 사양들 및 능력들(모터의 유형, 주파수 범위, 최대 진폭 등)을 갖는다. 햅틱 파일 설명은 일부 디바이스들에 완벽하게 적합하지만, 상이한 능력들 및 제한들을 갖는 다른 디바이스들 상에서 잘 렌더링하지 않는 신호들을 정의할 수 있다. 새로운 디바이스에 신호를 적응시킬 수 있는 것은 햅틱의 핵심 과제이다.

이하에서 설명되는 실시예들은 전술한 내용을 염두에 두고 설계되었다.

실시예들은 몰입형 경험을 표현하는 정보를 저장하고, 기준 햅틱 렌더링 디바이스의 햅틱 능력들을 나타내는 정보를 포함하는 데이터 구조에 관한 것이다. 따라서, 햅틱 신호들은 상이한 능력들을 갖는 상이한 렌더링 디바이스의 능력들에 적응될 수 있다. 이러한 적응은 렌더링 디바이스에 의해 렌더링 스테이지에서 직접 수행될 수 있거나, 상이한 렌더링 디바이스에 대한 새로운 데이터 구조의 생성을 초래할 수 있다.

적어도 하나의 실시예의 제1 양태는 방법에 관한 것으로, 방법은 햅틱 효과를 위해, 햅틱 효과에 대한 햅틱 데이터를 획득하는 단계 - 햅틱 데이터는, 햅틱 효과가 설계되었던 기준 렌더링 디바이스의 능력들에 관련된 메타데이터를 표현하는 정보, 및 기준 렌더링 디바이스에 제공될 때 햅틱 효과를 렌더링하기 위한 로우-레벨 신호의 설명을 포함함 -, 기준 렌더링 디바이스의 능력들에 관련된 메타데이터를 획득하는 단계, 기준 렌더링 디바이스의 능력들을 타겟 렌더링 디바이스의 능력들과 비교하는 단계, 로우-레벨 신호의 적응이 수행되어야 하는지를 결정하고, 그에 응답하여 로우-레벨 신호를 타겟 렌더링 디바이스의 능력들에 적응시키는 단계, 및 적응된 햅틱 데이터를 제공하는 단계를 포함한다.

적어도 하나의 실시예의 제2 양태는 프로세서를 포함하는 디바이스에 관한 것으로, 프로세서는 햅틱 효과를 위해, 햅틱 효과에 대한 햅틱 데이터를 획득하고 - 햅틱 데이터는 햅틱 효과가 설계되었던 기준 렌더링 디바이스의 능력들과 관련된 메타데이터를 표현하는 정보, 및 기준 렌더링 디바이스에 제공될 때 햅틱 효과를 렌더링하기 위한 로우-레벨 신호의 설명을 포함함 -, 기준 렌더링 디바이스의 능력들과 관련된 메타데이터를 획득하고, 기준 렌더링 디바이스의 능력들을 타겟 렌더링 디바이스의 능력들과 비교하고, 로우-레벨 신호의 적응이 수행되어야 하는지를 결정하고, 그에 응답하여 로우-레벨 신호를 타겟 렌더링 디바이스의 능력들에 적응시키고, 적응된 햅틱 데이터를 제공하도록 구성된다.

적어도 하나의 실시예의 제3 양태는 햅틱 데이터를 포함하는 데이터 구조에 관한 것으로, 햅틱 데이터는, 햅틱 효과를 위해, 햅틱 효과가 설계되었던 기준 렌더링 디바이스의 능력들과 관련된 메타데이터를 표현하는 정보, 기준 렌더링 디바이스에 제공될 때 햅틱 효과를 렌더링하기 위한 로우-레벨 신호의 설명을 포함한다.

적어도 하나의 실시예의 제4 양태는, 햅틱 효과를 위해, 햅틱 효과가 설계되었던 기준 렌더링 디바이스의 능력들과 관련된 메타데이터를 표현하는 정보, 기준 렌더링 디바이스에 제공될 때 햅틱 효과를 렌더링하기 위한 로우-레벨 신호의 설명을 포함하는 햅틱 데이터를 포함하는 비-일시적 컴퓨터 판독가능 매체에 관한 것이다.

적어도 하나의 실시예의 제5 양태에 따르면, 프로세서에 의해 실행가능한 프로그램 코드 명령어를 포함하는 컴퓨터 프로그램이 제시되고, 컴퓨터 프로그램은 적어도 제1 양태에 따른 방법의 단계들을 구현한다.

적어도 하나의 실시예의 제6 양태에 따르면, 비일시적 컴퓨터 판독가능 매체 상에 저장되고, 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이 제시되고, 컴퓨터 프로그램 제품은 제1 양태에 따른 방법의 적어도 단계들을 구현한다.

도 1은 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 블록도를 예시한다.
도 2는 적어도 하나의 실시예에 따른 햅틱 파일들에 대한 인코더(200)에 대한 아키텍처의 예를 예시한다.
도 3은 실시예들에 따른 햅틱 파일 데이터에 대한 데이터 구조의 예를 예시한다.
도 4는 일 실시예에 따른 햅틱 신호 디바이스 적응을 위한 프로세스의 예를 예시한다.
도 5는 햅틱 렌더링 디바이스의 상이한 능력들과 관련된 그래프의 예를 예시한다.
도 6a 및 도 6b는 도 5에 기초한 일 실시예에 따른 트랜스코딩된 햅틱 효과의 예를 예시한다.
도 7a 및 도 7b는 일 실시예에 따른 햅틱 효과 트랜스코딩의 제2 예를 예시한다.
도 8a 및 도 8b는 일 실시예에 따른 햅틱 효과 트랜스코딩의 제3 예를 예시한다.

도 1은 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 블록도를 예시한다. 도시된 몰입형 시스템에서, 사용자 앨리스(Alice)는 통신 네트워크(170)를 통해 몰입형 장면(190)을 호스팅하는 서버(180)와 상호작용하기 위해 햅틱 렌더링 디바이스(100)를 사용한다. 이 몰입형 장면(190)은 렌더링에 필요한 상이한 엘리먼트들(장면 설명(191), 오디오 데이터, 비디오 데이터, 3D 모델들, 및 햅틱 설명 파일(192))을 표현하는 다양한 데이터 및/또는 파일들을 포함할 수 있다. 몰입형 장면(190)은 상이한 엘리먼트들을 함께 배열하고 몰입형 경험을 설계할 수 있게 하는 몰입형 경험 편집기(immersive experience editor)(110)의 제어 하에 생성될 수 있다. 몰입형 경험을 표현하는 적절한 설명 파일들 및 다양한 데이터 파일들은 햅틱 렌더링 디바이스들로의 송신을 위해 적응된 포맷으로 몰입형 장면 생성기(111)에 의해 생성된다. 몰입형 경험 편집기(110)는 전형적으로 서버 상에 호스팅될 몰입형 장면을 생성할 컴퓨터 상에서 수행된다. 간략함을 위해, 몰입형 경험 편집기(110)는 몰입형 장면(190)에 점선(171)을 통해 직접 연결되는 것으로 예시되었다. 실제로, 몰입형 경험 편집기(110)를 실행하는 컴퓨터는 통신 네트워크(170)를 통해 서버(180)에 연결된다.

적어도 하나의 실시예에서, 몰입형 장면 생성기(111)는 햅틱 렌더링 디바이스(100)의 능력들(및 제한들)을 고려한다.

햅틱 렌더링 디바이스(100)는 프로세서(101)를 포함한다. 프로세서(101)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서들, DSP 코어와 연관되는 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 주문형 집적 회로(ASIC)들, 필드 프로그래밍가능 게이트 어레이(FPGA) 회로들, 임의의 다른 유형의 집적 회로(IC), 상태 머신 등일 수 있다. 프로세서는 햅틱 신호 디코딩, 입력/출력 프로세싱, 및/또는 디바이스가 몰입형 시스템에서 동작할 수 있게 하는 임의의 다른 기능과 같은 데이터 프로세싱을 수행할 수 있다.

프로세서(101)는 사용자 상호작용들을 전달하도록 구성된 입력 유닛(102)에 결합될 수 있다. 그러한 목적을 위해 다수의 유형들의 입력들 및 양식들이 사용될 수 있다. 음성 제어가 또한 사용될 수 있지만, 물리적 키패드 또는 터치 감지 표면이 이러한 사용에 적응된 입력의 전형적인 예들이다. 또한, 입력 유닛은 정지 영상 또는 동영상을 캡처할 수 있는 디지털 카메라를 포함할 수도 있다. 프로세서(101)는 화면에 표시될 시각 데이터를 출력하는 디스플레이 유닛(103)과 결합될 수 있다. 액정 디스플레이(LCD) 또는 유기 발광 다이오드(OLED) 디스플레이 유닛과 같은 다수의 유형의 디스플레이가 해당 목적을 위해 사용될 수 있다. 프로세서(101)는 또한, 예를 들어, 라우드스피커와 같은 적응된 트랜스듀서를 통해 오디오 파들로 변환될 사운드 데이터를 렌더링하도록 구성된 오디오 유닛(104)에 결합될 수 있다. 프로세서(101)는 외부 디바이스들과 데이터를 교환하도록 구성된 통신 인터페이스(105)에 결합될 수 있다. 통신은 바람직하게는 셀룰러(예를 들어, LTE) 통신, Wi-Fi 통신 등과 같은 햅틱 렌더링 디바이스의 이동성을 제공하기 위해 무선 통신 표준을 사용한다. 프로세서(101)는 RAM(random access memory), ROM(read-only memory), 하드 디스크, SIM(subscriber identity module) 카드, 메모리 스틱, SD(secure digital) 메모리 카드, 임의의 다른 유형의 메모리 저장 디바이스를 포함하는 다수의 유형의 메모리를 포함할 수 있는 메모리(106)로부터 정보를 액세스하고 그 메모리에 데이터를 저장할 수 있다. 실시예들에서, 프로세서(101)는 서버, 홈 컴퓨터, 또는 다른 디바이스와 같은 디바이스 상에 물리적으로 위치되지 않는 메모리로부터의 정보에 액세스하고 그 메모리에 데이터를 저장할 수 있다.

프로세서(101)는 사용자에게 햅틱 피드백을 제공하도록 구성된 햅틱 유닛(107)에 결합될 수 있고, 햅틱 피드백은 몰입형 장면(190)의 장면 설명(191)과 관련된 햅틱 설명 파일(192)에 설명된다. 햅틱 설명 파일(192)은 후술할 신택스(syntax)에 따라 제공될 피드백의 종류를 설명한다. 이러한 설명 파일은 전형적으로 서버(180)로부터 햅틱 렌더링 디바이스(100)로 전달된다. 햅틱 유닛(107)은 단일 햅틱 액추에이터 또는 햅틱 렌더링 디바이스 상의 복수의 위치에 위치된 복수의 햅틱 액추에이터를 포함할 수 있다. 상이한 햅틱 유닛들은 상이한 수의 액추에이터들을 가질 수 있고/있거나 액추에이터들은 햅틱 렌더링 디바이스 상에 상이하게 위치될 수 있다.

적어도 하나의 실시예에서, 햅틱 유닛(107)은 아래에서 추가로 설명되는 실시예들에 따른 햅틱 신호 적응 프로세스를 구현하도록 구성된다. 적어도 하나의 실시예에서, 프로세서(101)는 아래에서 추가로 설명되는 실시예들에 따른 햅틱 신호 적응 프로세스를 구현하도록 구성된다. 햅틱 신호 적응 프로세스는 로우-레벨 신호를 햅틱 유닛의 능력들에 적응시키는 것을 허용한다. 본 명세서에서, 로우-레벨 신호(low-level signal)라는 용어는 햅틱 효과를 렌더링하기 위해 햅틱 액추에이터에 인가되는 신호(전형적으로 아날로그 신호)를 지칭한다. 이러한 로우-레벨 신호는 상이한 형태들을 사용하여, 예를 들어, 설명 파일 내의 메타데이터 또는 파라미터들에 의해 또는 샘플링된 아날로그 신호(예를 들어, PCM 또는 LPCM)의 디지털 인코딩을 사용함으로써 표현될 수 있다.

프로세서(101)는 전원(108)으로부터 전력을 수신할 수 있고, 디바이스(100) 내의 다른 컴포넌트들에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원은 디바이스에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예로서, 전원은 하나 이상의 건식 전지 배터리(예를 들어, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.

도면은 프로세서(101) 및 다른 엘리먼트들(102 내지 108)을 별개의 컴포넌트들로서 도시하지만, 이러한 엘리먼트들은 전자 패키지 또는 칩에 함께 통합될 수 있다는 것이 이해될 것이다. 햅틱 렌더링 디바이스(100)는 실시예와 일관성을 유지하면서 본 명세서에 설명된 엘리먼트들의 임의의 서브 조합을 포함할 수 있다는 것이 이해될 것이다. 프로세서(101)는 추가적인 특징들, 기능 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수 있는, 도 1에 도시되지 않은 다른 주변기기들 또는 유닛들에 추가로 결합될 수 있다. 예를 들어, 주변 디바이스들은 USB(universal serial bus) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리 헤드셋, Bluetooth® 모듈, FM(frequency modulated) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등과 같은 센서들을 포함할 수 있다. 예를 들어, 프로세서(101)는 그 환경 내에서 햅틱 렌더링 디바이스를 로컬화하도록 구성된 로컬화 유닛에 결합될 수 있다. 로컬화 유닛은 햅틱 렌더링 디바이스의 현재 위치에 관한 경도 및 위도 포지션을 제공하는 GPS 칩셋뿐만 아니라 로컬화 서비스들을 제공하는 가속도계 및/또는 e-나침반과 같은 다른 모션 센서들을 통합할 수 있다.

햅틱 렌더링 디바이스(100)의 전형적인 예들은 햅틱 슈트들, 스마트폰들, 게임 제어기들, 햅틱 장갑들, 햅틱 의자들, 햅틱 프롭(prop)들, 모션 플랫폼들 등이다. 그러나, 유사한 기능들을 제공하는 디바이스들 중 임의의 디바이스 또는 구성은 본 개시내용의 원리들에 여전히 부합하면서 햅틱 렌더링 디바이스(100)로서 사용될 수 있다.

적어도 하나의 실시예에서, 디바이스는 디스플레이 유닛을 포함하지 않고 햅틱 유닛을 포함한다. 이러한 실시예에서, 디바이스는 장면을 시각적으로 렌더링하지 않고 햅틱 효과들만을 렌더링한다. 다만, 디바이스는 화면 등의 다른 디바이스가 디스플레이를 수행할 수 있도록 디스플레이를 위한 데이터를 준비할 수 있다. 이러한 디바이스들의 예는 햅틱 슈트들 또는 모션 플랫폼들이다.

적어도 하나의 실시예에서, 디바이스는 햅틱 유닛을 포함하지 않고 디스플레이 유닛을 포함한다. 이러한 실시예에서, 디바이스는 햅틱 효과를 렌더링하지 않고 단지 장면을 시각적으로 렌더링한다. 그러나, 디바이스는 햅틱 프롭과 같은 다른 디바이스가 햅틱 렌더링을 수행할 수 있도록 햅틱 효과를 렌더링하기 위한 데이터를 준비할 수 있다. 이러한 디바이스들의 예들은 스마트폰들, 헤드 장착형 디스플레이들, 또는 랩톱들이다.

적어도 하나의 실시예에서, 디바이스는 디스플레이 유닛을 포함하지 않거나 햅틱 유닛을 포함하지 않는다. 이러한 실시예에서, 디바이스는 장면을 시각적으로 렌더링하지 않고 햅틱 효과들을 렌더링하지 않는다. 그러나, 디바이스는 화면과 같은 다른 디바이스가 디스플레이를 수행할 수 있도록 디스플레이를 위한 데이터를 준비할 수 있고, 햅틱 프롭과 같은 다른 디바이스가 햅틱 렌더링을 수행할 수 있도록 햅틱 효과를 렌더링하기 위한 데이터를 준비할 수 있다. 이러한 디바이스들의 예들은 데스크톱 컴퓨터들, 광학 미디어 플레이어들, 또는 셋톱 박스들이다.

적어도 하나의 실시예에서, 몰입형 장면(190) 및 연관된 엘리먼트들은 햅틱 렌더링 디바이스(100)의 메모리(106)에 직접 호스팅되어 로컬 렌더링 및 상호작용들을 허용한다.

몰입형 장면(190)의 상이한 엘리먼트들이 도 1에 별개의 엘리먼트들로서 도시되어 있지만, 본 명세서에 설명된 원리들은 또한 이러한 엘리먼트들이 별개의 엘리먼트들이 아니라 장면 설명에 직접 통합되는 경우에 적용된다. 2개의 대안들 사이의 임의의 혼합이 또한 가능한데, 엘리먼트들 중 일부는 장면 설명에 통합되고 다른 엘리먼트들은 별개의 파일들이다.

실시예들은, 예를 들어, 햅틱 설명 파일에 의해 전달되는 햅틱 데이터에 포함된 햅틱 신호를 햅틱 렌더링 디바이스의 능력들에 적응시키기 위한 프로세스를 도입한다. 이 프로세스는 햅틱 렌더링 디바이스 자체에 의해, 예를 들어, 햅틱 렌더링 디바이스의 햅틱 유닛 또는 프로세서에 의해 직접 구현될 수 있다. 이 프로세스는 또한 예를 들어, 몰입형 경험 편집기의 몰입형 장면 생성기 내에서 햅틱 설명 파일을 생성할 때 구현될 수 있다. 이 프로세스는 기준 렌더링 디바이스의 햅틱 능력들에 관련된 메타데이터의, 햅틱 설명 파일 내의, 삽입에 의해 가능해지고, 따라서 상이한 능력들을 갖는 상이한 디바이스에 햅틱 신호의 값들을 적응시키는 것을 허용한다.

기준 렌더링 디바이스는 예를 들어, 햅틱 신호들이 설계된 디바이스이다. 기준 렌더링 디바이스는 또한 상식의 이론적 디바이스 또는 상당한 중요도의 이력 디바이스일 수 있다. 다수의 기준 디바이스들, 예를 들어, 하나는 선형 변위에 적응되고, 다른 하나는 온도들 등에 적응되는 다수의 기준 디바이스들이 햅틱 설명 파일에서 사용될 수 있다.

요점은 햅틱 설명 파일에 의해 전달되는 햅틱 신호들의 값들이 이 기준 디바이스에 특별히 잘 적응된다는 것이다. 능력들은 햅틱 액추에이터들의 물리적 특성들과 관련되고, 주어진 유형의 액추에이터 및 대응하는 햅틱 효과(예를 들어, 주파수 범위, 변위의 진폭, 최대 가속도, 공진 주파수들, 동적 범위, 신체 상의 위치, 중량, 크기, 모터 유형, 최대 전압, 최대 전류, 임피던스 등)에 특정적일 수 있다.

도 2a 및 도 2b는 주파수 대역으로의 분해를 사용하는 종래의 기술에 기초한 로우-레벨 햅틱 신호의 인코딩의 예를 도시한다. 도 2a에 도시된 바와 같이, 이 기술을 이용하여, 신호는 트랙들의 리스트(240)를 사용하여 인코딩되며, 여기서 데이터는 주파수 대역들의 세트(241)로 분해된다. 각각의 대역은 스트림들의 리스트로 주어진 주파수 범위에서 신호의 일부를 정의한다. 스트림(242)은 복수의 단일 신호 키프레임(keyframe)(243)을 포함하고, 이들의 타이밍을 처리한다. 트랙에서의 햅틱 신호는 상이한 대역들에서의 스트림들로부터의 데이터를 조합함으로써 재구성될 수 있다. 도 2b는 햅틱 신호(250) 및 2개의 주파수 대역들에서의 가능한 분해를 도시한다. 대역(260)은 제1 주파수 대역과 관련되고, 하나의 스트림(261)만을 포함한다. 대역(270)은 제2 주파수 대역과 관련되고 스트림들(271, 272, 273 및 274)을 포함한다. 각 스트림은 렌더링될 신호의 값을 나타내는 키프레임 세트로 포함하고 있다. 타임스탬프와 같은 시간적 기준은 키프레임에 연관된다. 적절한 타임스탬프에 위치한 고주파 및 저주웨이브 대역의 스트림의 키프레임을 집성함으로써, 원래의 로우-레벨 신호가 재구성될 수 있다.

구조와 관련하여 이러한 해결책의 하나의 이점은 신호 데이터가 패키징하기 쉽고 스트리밍 목적들을 위해 특히 편리하다는 것이다. 실제로 이러한 선형 구조를 사용하면, 데이터를 작은 연속 패키지로 쉽게 나눌 수 있으며 복잡한 데이터 프리페칭(data-pre-fetching) 동작이 필요하지 않다. 신호는 신호의 매끄러운 재생을 보장하기 위해 패키지를 함께 다시 패칭(patching)함으로써 쉽게 재구성된다.

로우-레벨 신호의 수정들(즉, 적응)은 로우-레벨 신호를 나타내는 엘리먼트들(즉, 파장 대역들, 스트림들, 키프레임들)의 수정들을 통해 행해질 수 있다는 것이 이해될 것이다.

웨이블릿(wavelet)은 키프레임의 대안으로 사용될 수 있지만 여전히 동일한 원리에 기초한다.

도 2c는 적어도 하나의 실시예에 따른 햅틱 파일들에 대한 인코더(200)에 대한 아키텍처의 예를 예시한다. 입력은 메타데이터 파일(201) 및 적어도 하나의 신호 파일(203)이다. 메타데이터 파일(201)은 예를 들어, 'OHM' 햅틱 객체 파일 포맷에 기초한다. 신호 파일들은 통상적으로 예를 들어, WAV 파일 포맷에 기초하여 PCM 인코딩된 파일들을 사용한다. 설명 파일들(202)은 예를 들어, AHAP 또는 HAPT 파일 포맷들에 기초한다. 교환 파일(204)은 예를 들어, glTF, XML 또는 JSON 포맷에 기초한 사람이 판독 가능한 파일이다. 배포 파일(205)은 예를 들어, 디코더 디바이스로 스트리밍 또는 브로드캐스팅하도록 적응된 MPEG 파일 포맷들에 기초한 이진 인코딩된 파일이다.

메타데이터는 메타데이터 파일(201)로부터 추출되어(210), 설명 파일 및/또는 신호 파일을 식별할 수 있게 한다. 단계(211)에서, 설명 파일들이 분석되고 트랜스코딩된다. 단계(212)에서, 신호 파일들은 주파수 대역들에서 분해되고, 키프레임들 또는 웨이블렛들은 단계(213)에서 추출된다. 그런 다음, 단계(220)에서, 교환 파일(204)이 본 명세서에 설명된 실시예들 중 하나에 따른 데이터 포맷에 따라 생성된다. 포맷팅은 햅틱 신호를 정의하는 데 사용되는 기준 햅틱 디바이스의 능력과 관련된 정보를 포함하는 기준 디바이스 메타데이터(208)를 고려한다. 이들 메타데이터(208)에 기초한 데이터는 교환 파일에 삽입되고, 이하에서 설명되는 신택스를 사용할 수 있다. 적응 프로세스(225)는 또한 타겟 디바이스 사양들(209)을 고려하여 그리고 더 구체적으로는 타겟 디바이스의 햅틱 렌더링 능력들을 고려하여 수행될 수 있다. 이것은 타겟 디바이스에 적응된 교환 파일 또는 배포 파일을 생성할 것이다. 교환 파일(204)은 단계(230)에서 압축되어, 교환 파일 포맷보다 더 콤팩트한, 배포 파일(205)과 같은 송신-친화적 형태로 배포될 수 있다.

적응 프로세스(225)와 유사한 적응 프로세스는 수신된 교환 파일 또는 배포 파일을 자신의 능력들에 적응시키기 위해 햅틱 렌더링 디바이스에 의해 구현될 수 있다. 해당 목적을 위해, 햅틱 렌더링 디바이스는 기준 햅틱 디바이스 능력들과 관련된 데이터를 획득하고 이들을 자신의 능력들과 비교한다. 예를 들어, 기준 디바이스에 관한 햅틱 렌더링 디바이스의 햅틱 액추에이터들의 동작들의 범위들, 진폭들, 주파수들에 관하여 차이들이 존재할 때, 햅틱 렌더링 디바이스는 햅틱 신호가 디바이스의 능력들에 더 잘 적합하게 수정되도록 적응을 수행한다.

도 3은 실시예들에 따른 햅틱 파일 데이터에 대한 데이터 구조의 예를 예시한다. 햅틱 설명 파일(300)(즉, 햅틱 데이터)은 파일 설명(302), 아바타들의 세트(303), 신호들의 세트(310) 및 형상(305)을 포함하는 제1 레벨(301)을 포함한다. 파일 설명(302)은 파일의 버전, 날짜 및 연관된 햅틱 경험의 설명을 포함하는 일부 일반적인 메타데이터를 포함한다. 아바타들(303)의 세트는 햅틱 효과가 인가될 신체 모델들의 정의를 포함한다. 형상(305)은 햅틱 효과가 몰입형 장면 내에서 활성인 체적을 결정한다. 신호(311)와 같은 신호들은 신호들의 세트(310)로 집성된다. 그 명칭에도 불구하고, 신호는 유사한 카테고리들의 햅틱 효과들(예를 들어, 운동감각, 온도 기반 효과 등)을 함께 결부시키는 상대적으로 하이 레벨의 개념이다.

신호(311)는 도면의 제2 라인에서 확장되고, 신호 메타데이터(321), 아바타들의 세트(303)에서 선택된 아바타에 대한 기준(322)(예를 들어, 아바타(304)에 대한 참조), 기준 데이터(330) 및 햅틱 트랙들의 세트(340)를 포함한다. 신호 메타데이터(321)는 햅틱 효과의 유형 및 대응하는 신호(진동, 압력, 온도 등)에 대한 정보뿐만 아니라 신호에 대한 설명을 포함한다. 햅틱 트랙들의 세트(340)는 341, 342, 343 및 344와 같은 여러 햅틱 트랙들을 집성한다.

기준 데이터(330)는 몰입형 경험을 설계할 때 기준 모델로서 사용되었던 기준 햅틱 디바이스의 햅틱 능력들을 나타내는 데이터를 포함한다. 따라서, 햅틱 키프레임에 정의된 햅틱 신호의 제한은 기준 모델의 능력과 직접 관련된다. 정보의 유형은 기준 디바이스 메타데이터의 신택스를 정의하는 아래의 표들에 설명된 바와 같이, 햅틱 효과의 유형에 의존한다. 기준 데이터(330)는 기준 디바이스 메타데이터(331, 332, 333)의 리스트를 포함한다. 실제로, 파일 설명은 상이한 유형들의 햅틱 효과들과 잠재적으로 관련된 다수의 햅틱 효과들을 정의할 수 있고, 따라서 기준 디바이스 메타데이터는 상이한 햅틱 액추에이터들, 따라서 개별 기준 디바이스 메타데이터의 리스트와 관련될 수 있다.

햅틱 트랙(341)의 예는 도면의 제3 라인으로 확장되고, 트랙 설명(351), 트랙 속성들(352), 키프레임 대역(353) 및 웨이브 대역들(예를 들어, 355, 356, 357)의 리스트(354)를 포함한다. 웨이브 대역(355)의 예는 도면의 제4 라인으로 확장되고 햅틱 스트림들(361 내지 366)의 리스트를 포함한다. 햅틱 스트림(362)의 예는 바닥 라인으로 확장되고, 웨이브 대역의 스트림에 대한 로우-레벨 햅틱 신호를 정의하는 햅틱 키프레임들(371 내지 376)의 리스트를 포함한다. 보다 구체적으로, 렌더링 디바이스는 완전한 햅틱 트랙에 대응하는 로우-레벨 햅틱 신호를 재생성하기 위해 대역들의 세트의 스트림들의 세트의 키프레임들의 세트를 조합할 것이고, 따라서 이러한 로우-레벨 햅틱 신호를 적절한 액추에이터에 제공함으로써 햅틱 효과를 렌더링할 수 있다.

도 3에 예시된 데이터 구조는 키프레임의 주파수 대역으로 분해된 로우-레벨 햅틱 신호를 기반으로 한다. 신택스의 일부 엘리먼트들의 일부 적응을 필요로 하지만, 동일한 원리가 로우-레벨 햅틱 신호의 다른 유형들의 표현에 적용될 것이다. 한 가지 예는 키프레임 대신 웨이블릿을 사용하는 것이다. 제2 예는 파일-기반 PCM 인코딩된 신호의 사용이다.

도 4는 일 실시예에 따른 햅틱 신호 디바이스 적응을 위한 프로세스의 예를 도시한다. 이 프로세스(400)는 예를 들어, 도 1의 햅틱 렌더링 디바이스(100)의 프로세서(101)에 의해 구현되며, 따라서 햅틱 설명 파일에 정의된 햅틱 신호가 햅틱 렌더링 디바이스에 의해 렌더링되는 상황에 대응한다. 프로세스(400)는 또한 햅틱 설명 파일이 주어진 타겟 햅틱 렌더링 디바이스(즉, 적응을 수행하는 디바이스와 상이한 디바이스) 상에 렌더링되는 '트랜스코딩(transcoding)' 상황에서 컴퓨터의 프로세서에 의해 구현될 수 있다. 이 경우, 햅틱 설명 파일은 업데이트된다: 필요한 경우(즉, 타겟 및 기준 디바이스의 능력이 상이한 경우), 햅틱 효과가 수정되고 기준 디바이스 메타데이터는 타겟 햅틱 디바이스의 메타데이터로 대체되며, 따라서 햅틱 설명 파일은 타겟 햅틱 디바이스의 능력에 직접 적응되는 햅틱 효과를 포함할 것이다. 프로세스(400)는 햅틱 설명 파일의 복수의 햅틱 효과들에 걸쳐 반복될 수 있거나 또는 햅틱 효과들의 서브세트에만 적용될 수 있다.

단계(410)에서, 프로세서는 햅틱 설명 파일로부터, 햅틱 신호 및 획득된 신호와 연관된 기준 햅틱 디바이스의 메타데이터를 획득한다. 햅틱 설명 파일은 예를 들어, 도 3에 소개된 데이터 구조를 사용한다. 또한 아래 표에 설명된 신택스를 사용할 수도 있다. 다른 정보 중에서, 햅틱 설명 파일은, 렌더링될 햅틱 효과(및 더 구체적으로는 햅틱 효과의 대응하는 햅틱 신호)를 위해, 햅틱 효과가 설계되었던 기준 햅틱 렌더링 디바이스의 능력들(및 더 구체적으로는 햅틱 효과의 대응하는 햅틱 신호)에 관련된 메타데이터를 포함한다.

단계(420)에서, 프로세서는 타겟 디바이스의 능력과 관련된 메타데이터를 획득하고, 단계(430)에서, 이들을 기준 햅틱 렌더링 디바이스의 능력과 관련된 메타데이터와 비교한다. 비교는 예를 들어, 주어진 능력과 관련된 파라미터들의 값들에 대해 수행된다(즉, 기준 렌더링 디바이스와 타겟 렌더링 디바이스의 능력들 사이의 수들을 비교함).

단계(440)에서, 프로세서는 필요하다면 햅틱 효과의 적응이 필요한지를 결정한다. 이 단계는 단계(430)의 수치 비교에 약간의 유연성을 도입한다. 실제로, 주어진 효과에 대한 능력들 메타데이터의 값들이 엄격하게는 상이하더라도, 프로세서는 일부 허용 오차를 제공할 수 있고, 차이가 중요한 경우에만 적응이 요구된다고 결정할 것이다. 이러한 허용 오차 레벨은 구성 가능하고 디바이스의 사용자의 제어 하에 있을 수 있다.

적응이 요구될 때, 단계(450)에서, 프로세스는 적응을 수행하기 위해 효과의 값들 및/또는 파라미터들을 수정한다. 상이한 사양들을 갖는 타겟 디바이스에 대한 햅틱 효과들의 트랜스코딩은 인코딩된 표현, 즉 햅틱 설명 파일에 기준 디바이스 메타데이터 정보를 포함함으로써 가능하게 된다.

햅틱 효과 적응 자체에 관하여, 효과의 유형에 또한 의존하여, 선형 스케일링, 보간, 주파수 전위(frequency transposition), 주파수 범위 스케일링, 신체 위치 전위와 같은 광범위한 기술들이 사용될 수 있다.

단계(460)에서, 프로세서는 타겟 디바이스 또는 액추에이터 자체에 햅틱 효과를 제공하거나 수정된 햅틱 설명 파일을 저장한다.

햅틱 적응 프로세스를 예시하기 위해, 햅틱 적응 기술들의 다수의 예들, 즉 주어진 전압에서 2개의 액추에이터들의 공진 주파수에 기초한 제1 기술, 그들의 주파수 범위에 기초한 제2 기술, 및 최대 값에 기초한 제3 기술을 본 명세서에서 설명하였다.

도 5는 햅틱 렌더링 디바이스의 상이한 능력들과 관련된 그래프의 예를 예시한다. 이 그래프는 상이한 주파수에 대해 주어진 입력 전압에서 상이한 햅틱 렌더링 디바이스에 사용되는 상이한 액추에이터의 가속 응답을 도시하고, 특히 각각 60 ㎐ 및 80 ㎐에서 2개의 액추에이터의 공진 주파수를 도시한다. 이러한 공진 주파수는, 햅틱 설명 파일에서, 대응하는 능력을 나타내는 하나의 메타데이터 값에 대응할 것이다. 이러한 관찰에 기초하여, 신호를 적응시키기 위한 가능한 해결책은 신호 주파수를 2개의 공진 주파수들 사이의 오프셋만큼 시프트시킴으로써 입력 신호의 주파수 정보를 수정하는 것이다.

도 6a 및 도 6b는 도 5에 기초한 일 실시예에 따른 트랜스코딩된 햅틱 효과의 예를 예시한다. 도 6a는 햅틱 효과에 의해 초기에 정의되고 기준 디바이스로서 액추에이터(1)의 능력을 사용하는 로우-레벨 아날로그 신호를 보여준다. 도 6b는 프로세스(400)에 의해 수정되고 타겟 디바이스로서 액추에이터(2)의 능력들을 사용하는 햅틱 효과에 의해 정의된 로우-레벨 아날로그 신호를 도시한다. 도 5a의 초기 로우-레벨 아날로그 신호의 주파수는 기준 및 타겟 디바이스의 공진 주파수 사이에서 결정된 오프셋만큼 시프트되어 도 5b의 수정된 로우-레벨 아날로그 신호가 된다. 렌더링 디바이스의 애플리케이션에서, 수정된 로우-레벨 아날로그 신호는 필요할 때 액추에이터에 제공된다. 트랜스코딩 애플리케이션에서, 수정된 로우-레벨 아날로그 신호, 또는 더 정확하게는 로우-레벨 아날로그 신호의 대역들, 스트림들 및 키프레임들로의 대응하는 분해는 타겟 디바이스의 능력들과 함께 수정된 햅틱 설명 파일에 저장된다.

도 7a 및 도 7b는 일 실시예에 따른 햅틱 효과 트랜스코딩의 제2 예를 예시한다. 도 7a는 햅틱 효과에 의해 초기에 정의되고 기준 디바이스의 능력을 사용하는 로우-레벨 아날로그 신호를 도시한다. 도 7b는 프로세스(400)에 의해 수정되고 주파수 범위가 기준 디바이스의 주파수 범위와 상이한 타겟 디바이스의 능력들을 사용하는 햅틱 효과에 의해 정의된 로우-레벨 아날로그 신호를 도시한다: 기준 디바이스는 40 ㎐ 내지 280 ㎐의 주파수 도메인을 갖는 반면 타겟 디바이스에 대한 도메인 범위는 90 ㎐ 내지 150 ㎐이다. 이 상황에서, 주파수 범위들(즉, 최소 및 최대 값들)이 상이하기 때문에, 요구되는 적응은 보간이다. 적응은 다음의 계산을 사용하여 하나의 주파수 도메인으로부터 다른 주파수 도메인으로 효과들의 주파수를 보간함으로써 수행된다:

여기서 범위1 및 범위2는 각각 기준 및 타겟 디바이스의 주파수 도메인의 범위들이고, 이 경우 기준에 대한 240 ㎐(280-40) 및 타겟에 대한 200 ㎐(150-90)이고,

및 는 각각 기준 및 타겟 디바이스의 최소 주파수이고,

는 로우-레벨 신호에서 초기에 정의된 효과의 주파수를 지칭한다.

도 8a 및 도 8b는 일 실시예에 따른 햅틱 효과 트랜스코딩의 제3 예를 도시한다. 이 경우, 햅틱 효과는 액추에이터의 변위 효과와 관련될 것이다. 도 8a는 햅틱 효과에 의해 초기에 정의되고 기준 디바이스의 능력, 이 경우 100의 최대_변위의 값을 사용하는 로우-레벨 아날로그 신호를 도시한다. 도 8b는 프로세스(400)에 의해 수정되고 50의 최대_변위의 값을 갖는 타겟 디바이스의 능력들을 사용하는 햅틱 효과에 의해 정의된 로우-레벨 아날로그 신호를 도시한다. 이러한 상황에서, 능력들은 최대 값과 관련되기 때문에, 요구되는 적응은 스케일링이다. 따라서, 로우-레벨 신호는 기준 디바이스의 최대 값과 타겟 디바이스의 최대 값 사이의 비율을 나타내는 0.5의 비율만큼 스케일링된다(즉, 100/50 = 0.5).

보다 진보된 적응 기법들은 주파수 범위, 액추에이터 또는 디바이스의 중량, 최대 진폭 등과 같은 추가적인 정보를 요구할 것이다. 이러한 정보는 액추에이터 제조자들에 의해 제공될 수 있고 제안된 포맷으로 기준 디바이스 메타데이터(예를 들어, 도 3의 331)로서 포함될 수 있다.

추가적으로, 신체 상의 디바이스의 위치와 같은 다른 정보가 또한 신호를 적응시키기 위해 사용될 수 있다. 햅틱 효과의 적응의 다른 예는 (특정 기준 렌더링 디바이스로) 팔뚝 중간에 렌더링되도록 설계된 햅틱 효과에 관한 것인 반면, 타겟 렌더링 디바이스는 대신에 손목 및 팔꿈치에 배치된 액추에이터들을 갖는다. 이 경우, 신호는 초기 효과를 손목 및 팔꿈치에 각각 렌더링될 2개의 개별 효과로 분할하여 팔뚝 중간에서 햅틱 감각을 시뮬레이션함으로써 유사한 효과를 시뮬레이션하도록 적응될 수 있다. 이러한 종류의 신호 적응에 대한 문헌과 연구는 현재 제한되어 있지만, 제안된 신택스는 이를 지원하기 위한 정보를 제공한다.

도 5의 동일한 데이터에 기초하지만 도 4의 결정 단계 (440)의 상당히 관대한 설정을 사용하여, 프로세서는 공진 주파수의 값이 비교적 가깝기 때문에 적응이 필요하지 않다고 결정할 수 있다. 그러한 구성에서, 예를 들어, 50%의 임계치를 초과하는 차이가 적응을 트리거하기 위해 요구될 것이다. 그러한 임계치의 값을 변경하는 것은 적응 프로세스의 허용오차에 직접적으로 영향을 미친다.

적어도 하나의 실시예는 기준 햅틱 렌더링 디바이스의 능력들을 반송하기 위한 신택스를 제안한다. 이 실시예는 RM0 사양에 기초하고 대응하는 용어를 사용한다. 그러나, 제안된 신택스는 햅틱 렌더링 디바이스의 능력들에 대한 햅틱 신호의 적응을 가능하게 하기 위해 다른 상황들에서 사용될 수 있다.

햅틱 파일의 계층의 최상위 레벨은 변경되지 않은 채로 유지된다. 기준 디바이스의 개념은 신호 레벨에서 도입된다. 신호에 사용된 모든 디바이스의 사양은 표 1과 같이 저장된다.

[표 1]

표 2는 기준 햅틱 디바이스의 능력들을 정의하기 위한, 즉, 기준 데이터(330) 또는 보다 정확하게 도 3의 기준 디바이스 메타데이터(331, 332, 333)에 대응하고, 따라서 햅틱 신호를 상이한 햅틱 렌더링 디바이스에 적응시키는 것을 허용하기 위한 실시예에 따른 신택스(JSON 스키마)의 예를 예시한다. 도면에 예시된 능력들의 리스트는 포괄적이지 않으며, 다른 디바이스 사양들로 완료될 수 있다. 예를 들어, 힘-피드백 디바이스의 경우, 최대 힘(연속적 및 피크), 자유도, 및 작업공간 크기가 특정될 것이다. 열 디바이스는 특정된 온도 범위와 관성을 가질 것이다.

[표 2]

표 2에 예시된 속성들은 다음과 같이 정의된다:

- device_id: 디바이스 또는 액추에이터의 id,

- device_name: 기준 디바이스의 이름,

- body_part_mask: 신체에서 디바이스 위치를 특정.

- maximum_frequency: 햅틱 디바이스의 주파수 범위의 상한,

- minimum_frequency: 햅틱 디바이스의 주파수 범위의 하한,

- resonance_frequency: 햅틱 디바이스의 공진 주파수. 그것이 최대 가속도에 도달하는 주파수.

- maximum_amplitude: 디바이스가 도달할 수 있는 최대 가속도,

- impedance: 디바이스의 임피던스,

- maximum_voltage: 액추에이터의 최대 전압,

- maximum_current: 액추에이터의 최대 전류,

- maximum_displacement: 액추에이터의 최대 변위,

- weight: 액추에이터의 중량,

- size: 액추에이터의 크기,

- type: 액추에이터의 모터 유형,

- workspace: 힘 피드백 디바이스의 작업 공간 크기,

- Resolution: 힘 피드백 디바이스의 분해능,

- Maximum force/torque: 피크 힘,

- Continuous force/torque: 연속적으로 유지될 수 있는 힘,

등.

표 3은 일 실시예에 따른 신택스(JSON 스키마)의 예를 도시하며, 햅틱 트랙과 대응하는 기준 디바이스(또는 액추에이터) 사이의 관계를 도시한다. 연관성은 표 1에 소개되고 기준 데이터(330) 또는 보다 정확하게 도 3의 기준 디바이스 메타데이터(331, 332, 333)에 대응하는 기준 디바이스들의 리스트 내의 식별자를 포함하는 디바이스-Id 필드를 통해 행해진다.

[표 3]

다음의 신택스 표들은 도 5, 6a 및 6b와 관련하여 위에서 설명된 트랜스코딩의 예들을 예시한다. 표 4는 공진 주파수가 60 ㎐인 액추에이터 1('Tactilelabs - Original Haptuator')에 대해 설계된 2개의 간단한 햅틱 진동 효과(JSON 사양의 이 예에서 스트림으로 지칭됨)로 구성된 단일 트랙을 포함하는 초기 햅틱 설명 파일을 설명한다.

[표 4]

도면들 5, 6a 및 6b와 관련하여 앞서 설명된 트랜스코딩 프로세스를 적용할 때, 햅틱 진동 효과는 공진 주파수가 80 ㎐인 액추에이터(2)를 사용하여 타겟 렌더링 디바이스에 적응하도록 트랜스코딩된다. 표 5는 표 4에 나타낸 초기 파일의 이러한 트랜스코딩의 결과인 햅틱 디스크립션 파일을 도시한다. 햅틱 진동 효과는 2개의 디바이스의 공진 주파수(즉, 20 ㎐) 사이의 오프셋만큼 진동의 주파수를 시프트함으로써 수정되었다. 기준 디바이스의 메타데이터는 또한 추가 트랜스코딩이 적절한 정보를 사용하는 것을 보장하기 위해 액추에이터 2('Tactilelabs - Industrial Haptuator')의 타겟 디바이스 사양으로 업데이트되었다. 예를 들어, 이 새로운 햅틱 파일은 타겟 디바이스로서 원래의 기준 디바이스를 사용함으로써 원래 버전으로 다시 트랜스코딩될 수 있다.

[표 5]

햅틱 렌더링 디바이스의 능력들에 대한 햅틱 효과의 적응을 수행하는 데 필요한 정보의 모든 엘리먼트들은 표 4 및 표 5의 예들에 도시된 바와 같이 위에서 설명된 신택스에 의해 반송된다.

다음의 신택스 표들은 도면들 7a 및 7b와 관련하여 상기에서 설명된 트랜스코딩의 예들을 예시한다. 표 6은 주파수 범위가 40 ㎐ 내지 280 ㎐인 "액추에이터-1"에 대해 설계된 2개의 간단한 햅틱 진동 효과(JSON 사양의 이 예에서 스트림으로 지칭됨)로 구성된 단일 트랙을 포함하는 초기 햅틱 설명 파일을 설명한다.

[표 6]

도 7a 및 도 7b의 설명에서 전술한 바와 같이, 표 6의 햅틱 효과의 로우-레벨 신호는 주파수 범위가 40 ㎐ 내지 280 ㎐인 타겟 디바이스 상에 렌더링하도록 적응될 수 있고, 따라서 기준 디바이스 메타데이터에 정의된 초기 기준 디바이스의 범위에 대한 주파수들의 보간에 기초하여 적응을 수행한다. 표 7은 타겟 디바이스의 능력들에 적응된 결과적인 햅틱 설명 파일을 도시하며, 여기서 주파수들은 전치(transpose)되었고 타겟 디바이스 "액추에이터-2"는 적응된 햅틱 효과에 대한 기준 디바이스로서 특정된다.

[표 6]

상이한 실시예들이 개별적으로 설명되었지만, 실시예들의 임의의 조합이 본 개시의 원리들을 준수하면서 함께 행해질 수 있다.

실시예들이 햅틱 효과들과 관련되지만, 당업자는 동일한 원리들이 예를 들어, 감각적 효과들과 같은 다른 효과들에 적용될 수 있고 따라서 냄새 및 맛을 포함할 것임을 인식할 것이다. 따라서 적절한 신택스가 이러한 효과와 관련된 적절한 파라미터를 결정할 것이다.

"하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예"뿐만 아니라 이들의 다른 변형들에 대한 언급은 실시예와 관련하여 설명된 특정 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 여러 곳에서 나타나는 문구 "일 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현에서"의 출현들뿐만 아니라 임의의 다른 변형들이 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.

추가적으로, 본 출원 또는 그의 청구항들은 다양한 정보를 "결정"하는 것을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

추가적으로, 본 출원 또는 그의 청구항들은 다양한 정보를 "획득"하는 것을 지칭할 수 있다. "액세스"와 마찬가지로 획득하는 것은 광범위한 용어로 사용된다. 정보를 획득하는 것은, 예를 들어, 정보를 수신하는 것, 정보에 액세스하는 것, 또는 (예를 들어, 메모리 또는 광학 매체 저장소로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "획득하는 것"은 통상적으로, 일 방식 또는 다른 방식으로, 예를 들어, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안 수반된다.

예를 들어, "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에, 다음의 "/", "및/또는" 및 "중 적어도 하나" 중 임의의 것의 사용은 제1 열거된 옵션 (A)만의 선택, 또는 제2 열거된 옵션 (B)만의 선택, 또는 양쪽 옵션들 (A 및 B) 모두의 선택을 포함하도록 의도된다는 것을 이해해야 한다. 추가 예로서, "A, B, 및/또는 C" 및 "A, B, 및 C 중 적어도 하나"의 경우에, 이러한 문구는 제1 열거된 옵션(A)만의 선택, 또는 제2 열거된 옵션(B)만의 선택, 또는 제3 열거된 옵션(C)만의 선택, 또는 제1 및 제2 열거된 옵션(A 및 B)만의 선택, 또는 제1 및 제3 열거된 옵션(A 및 C)만의 선택, 또는 제2 및 제3 열거된 옵션(B 및 C)만의 선택, 또는 모든 3개의 옵션(A 및 B 및 C)의 선택을 포함하도록 의도된다. 이는, 본 기술 및 관련 기술분야의 통상의 기술자에 의해 용이하게 명백한 바와 같이, 열거된 많은 아이템들에 대해 확장될 수 있다.

Claims (15)

1. 방법으로서,
   - 햅틱 효과에 대한 햅틱 데이터를 획득하는 단계 - 상기 햅틱 데이터는,
   상기 햅틱 효과가 설계된 기준 렌더링 디바이스의 능력(capability)들과 관련된 메타데이터,
   상기 기준 렌더링 디바이스에 제공될 때 상기 햅틱 효과를 렌더링하기 위한 로우-레벨(low-level) 신호의 설명을 표현하는 정보를 포함함 -,
   - 상기 기준 렌더링 디바이스의 능력과 관련된 메타데이터를 획득하는 단계,
   - 상기 기준 렌더링 디바이스의 능력을 타겟 렌더링 디바이스의 능력과 비교하는 단계,
   - 상기 로우-레벨 신호의 적응(adaptation)이 수행되어야 하는지를 결정하고, 그에 응답하여 상기 타겟 렌더링 디바이스의 능력에 상기 로우-레벨 신호를 적응시키는 단계, 및
   - 상기 적응된 햅틱 데이터를 제공하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 햅틱 효과를 렌더링하기 위해 햅틱 액추에이터에 적응된 로우-레벨 신호를 제공하는 단계를 더 포함하는, 방법.
3. 제1항 또는 제2항에 있어서, 상기 로우-레벨 신호의 설명은 키프레임의 세트를 포함하는 스트림의 세트를 포함하는 웨이브 대역(wave band)의 세트에 의해 설명되는, 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 기준 렌더링 디바이스의 능력들 및 상기 타겟 렌더링 디바이스의 능력들은 주파수 범위, 변위의 진폭, 최대 가속도, 공진 주파수, 동적 범위, 신체 상의 위치, 중량, 크기, 모터의 유형, 최대 전압, 최대 전류, 임피던스를 포함하는 능력들의 세트로부터 선택되는, 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 로우-레벨 신호를 적응시키는 단계는 선형 스케일링 또는 보간 또는 주파수 전위(transposition) 또는 주파수 범위 스케일링 또는 신체 위치 전위에 의해 행해지는, 방법.
6. 프로세서를 포함하는 디바이스로서, 상기 프로세서는, 햅틱 효과를 위해,
   - 상기 햅틱 효과에 대한 햅틱 데이터를 획득하고 - 상기 햅틱 데이터는,
   상기 햅틱 효과가 설계된 기준 렌더링 디바이스의 능력들과 관련된 메타데이터,
   상기 기준 렌더링 디바이스에 제공될 때 상기 햅틱 효과를 렌더링하기 위한 로우-레벨 신호의 설명을 표현하는 정보를 포함-,
   - 상기 기준 렌더링 디바이스의 능력과 관련된 메타데이터를 획득하고,
   - 상기 기준 렌더링 디바이스의 능력을 타겟 렌더링 디바이스의 능력과 비교하고,
   - 상기 로우-레벨 신호의 적응이 수행되어야 하는지를 결정하고, 그에 응답하여 상기 타겟 렌더링 디바이스의 능력에 상기 로우-레벨 신호를 적응시키고, 및
   - 상기 적응된 햅틱 데이터를 제공하도록 구성된, 디바이스.
7. 제6항에 있어서, 상기 디바이스는 상기 타겟 렌더링 디바이스이고, 상기 프로세서는 상기 햅틱 효과를 렌더링하기 위해 적응된 상기 로우-레벨 신호를 햅틱 액추에이터에 제공하도록 추가로 구성되는, 디바이스.
8. 제6항 또는 제7항에 있어서, 상기 로우-레벨 신호의 설명은 키프레임의 세트를 포함하는 스트림의 세트를 포함하는 웨이브 대역의 세트에 의해 설명되는, 디바이스.
9. 제6항 내지 제8항 중 어느 한 항에 있어서, 상기 기준 렌더링 디바이스의 능력들 및 상기 타겟 렌더링 디바이스의 능력들은 주파수 범위, 변위의 진폭, 최대 가속도, 공진 주파수들, 동적 범위, 신체 상의 위치, 중량, 크기, 모터의 유형, 최대 전압, 최대 전류, 임피던스를 포함하는 능력들의 세트로부터 선택되는, 디바이스.
10. 제6항 내지 제9항 중 어느 한 항에 있어서, 상기 로우-레벨 신호를 적응시키는 것은 선형 스케일링 또는 보간 또는 주파수 전위 또는 주파수 범위 스케일링 또는 신체 위치 전위에 의해 행해지는, 디바이스.
11. 햅틱 데이터를 포함하는 데이터 구조로서, 상기 햅틱 데이터는, 햅틱 효과를 위해,
    상기 햅틱 효과가 설계된 기준 렌더링 디바이스의 능력들과 관련된 메타데이터,
    상기 기준 렌더링 디바이스에 제공될 때 상기 햅틱 효과를 렌더링하기 위한 로우-레벨 신호의 설명을 표현하는 정보를 포함하는, 데이터 구조.
12. 햅틱 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 햅틱 데이터는, 햅틱 효과를 위해,
    상기 햅틱 효과가 설계된 기준 렌더링 디바이스의 능력들과 관련된 메타데이터,
    상기 기준 렌더링 디바이스에 제공될 때 상기 햅틱 효과를 렌더링하기 위한 로우-레벨 신호의 설명을 표현하는 정보를 포함하는, 비일시적 컴퓨터 판독가능 매체.
13. 제12항에 있어서, 상기 기준 렌더링 디바이스의 능력들은 주파수 범위, 변위의 진폭, 최대 가속도, 공진 주파수들, 동적 범위, 신체 상의 위치, 중량, 크기, 모터 유형, 최대 전압, 최대 전류, 임피던스를 포함하는 능력들의 세트로부터 선택되는, 비일시적 컴퓨터 판독가능 매체.
14. 프로세서에 의해 실행될 때 제1항 내지 제5항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 컴퓨터 프로그램.
15. 프로세서에 의해 실행될 때 제1항 내지 제5항 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 비일시적 컴퓨터 판독 가능 매체.

Images