KR20200000803A - 가상 현실 사용자를 위한 실세계 햅틱 상호작용 - Google Patents

Abstract

가상 현실 시스템을 사용하여 햅틱 상호작용을 제공하는 방법, 시스템 및 비일시적 컴퓨터 판독가능 매체가 제공된다. 가상 사용자는 가상 현실 환경에서 추적되고, 가상 사용자는 실세계 환경에서 실세계 사용자의 가상 표현을 포함한다. 가상 사용자에 상대적인 가상 물체에 대한 상대적인 가상 지점이 결정된다. 가상 물체에 대한 햅틱 프로파일이 식별된다. 실세계 물체는 상대적인 가상 지점에 대응하는 실세계 사용자에 상대적인 실세계 지점에 제공되며, 실세계 물체의 햅틱 특성은 가상 물체에 대한 햅틱 프로파일에 대응한다.

Description

가상 현실 사용자를 위한 실세계 햅틱 상호작용{REAL-WORLD HAPTIC INTERACTIONS FOR A VIRTUAL REALITY USER}

일 실시예는 일반적으로, 가상 현실 사용자에게 실세계 햅틱 상호작용(real-world haptic interactions)을 제공하기 위해 햅틱 프로파일(haptic profiles)을 사용하는 가상 현실 시스템에 관련된다.

"햅틱스(haptics)"는 햅틱 피드백(haptic feedback), 촉감 효과(즉, "햅틱 효과"), 및 질감, 온도, 힘, 진동, 움직임 및 다른 적합한 햅틱 효과와 같은 감각적 효과를 가함으로써 사용자의 터치감을 이용하는 촉감, 감각 및 힘 제공 기술에 관련된다. 일부 구현에서, 컴퓨팅 디바이스는 햅틱 효과를 생성하도록 구성될 수 있다. 일부 예시에서, (액추에이터와 같은) 햅틱 출력 디바이스에 송신되는 햅틱 신호를 생성할 수 있는 내장된 하드웨어, 또는 물체(objects)(예를 들어, 햅틱 프로파일에 대응하는 실세계 물체)에 일정 햅틱 특성을 제공할 수 있는 디바이스에 대한 호출은 디바이스의 운영체제("OS") 내에 프로그래밍될 수 있다. 이들 호출은 어느 햅틱 효과를 플레이 할지를 지정할 수 있다.

가상 현실, 증강 현실, 및/또는 혼합형 현실 시스템은 가상 세계에서 실세계 효과를 모의(simulate)하는 능력을 발달시키고 있다. 특히, 머리 및 신체 추적 기술은 머리의 이동과 같은 사용자 이동을 추적하는 시점(point-of-view, "POV") 디스플레이를 허용하며, 가상 세계에 대응하는 POV 변화를 제공한다. 하지만, 가상 시스템은 사용자에게 제공되는 물리적 피드백에서 제한된다. 예를 들어, 현재 가상 시스템은 실세계 나무의 느낌(feel)에 대응하는 가상 햅틱 느낌을 사용자에게 제공하는 능력에서 제한된다.

실시예는 가상 현실 시스템을 사용하여 햅틱 상호작용을 제공하는 방법, 시스템 및 컴퓨터 판독가능 매체를 포함한다. 가상 사용자는 가상 현실 환경에서 추적되며, 가상 사용자는 실세계 환경에서 실세계 사용자의 가상 표현을 포함한다. 가상 사용자에 상대적인(relative to) 가상 물체에 대한 상대적인 가상 지점(relative virtual location)이 결정된다. 가상 물체에 대한 햅틱 프로파일이 식별된다. 게다가, 실세계 물체는 상대적인 가상 지점에 대응하는 실세계 사용자에 상대적인 실세계 지점에 제공되며, 실세계 물체의 햅틱 특성은 가상 물체에 대한 햅틱 프로파일에 대응한다.

전술한 개략적인 설명 및 다음의 상세한 설명 양자는 예시적이고 설명을 위한 것이며, 본 개시를 서술된 예시로 제한하려는 것으로 의도되지 않는다는 점이 이해될 것이다.

추가적인 실시예, 세부사항, 장점 및 변형은 첨부 도면과 함께 이루어지는 바람직한 실시예의 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 다양한 실시예에 따른 컴퓨터 서버/시스템의 블록도이다.
도 2는 다양한 실시예에 따른, 가상 세계를 기초로 풍부한 햅틱 상호작용(rich haptic interactions)을 제공하는 예시적인 시스템을 도시한다.
도 3은 다양한 실시예에 따른, 풍부한 햅틱 상호작용을 제공하는 예시적인 가상 시스템 주변을 도시한다.
도 4a 내지 도 4c는 다양한 실시예에 따른, 가상 물체와 가상 세계 및 대응하는 실세계 물체와 실세계의 도면을 도시한다.
도 5a 내지 도 5b는 다양한 실시예에 따른, 가상 환경에 풍부한 햅틱 상호작용을 제공하는 흐름도이다.
도 6은 다양한 실시예에 따른, 풍부한 햅틱 상호작용을 제공하는 예시적인 드론 구비 시스템을 도시한다.
도 7은 다양한 실시예에 따른, 드론을 사용하여 가상 세계에 풍부한 햅틱 상호작용을 제공하는 흐름도이다.
도 8은 다양한 실시예에 따른, 드론을 사용하여 가상 세계에 풍부한 햅틱 상호작용을 제공하는 상태도이다.
도 9는 다양한 실시예에 따른, 풍부한 햅틱 상호작용을 제공하기 위해 복수의 드론에게 지시하는 흐름도이다.
도 10은 다양한 실시예에 따른, 가상 세계에 풍부한 햅틱 상호작용을 제공하는 다른 흐름도이다.

일 실시예는 가상 현실("VR"), 증강 현실("AR"), 혼합형 현실("MR") 시스템의 사용자에 대해 햅틱 상호작용을 제공한다. 일 실시예에서, 가상 사용자는 가상 환경에서 추적되고, 사용자가 접할 수 있는 가상 물체에 대한 햅틱 프로파일이 식별된다. 예를 들어, 가상 나무에 대한 햅틱 프로파일은 예를 들어, 가상 사용자가 가상 나무에 근접할 때 식별될 수 있다. 실세계에서, 가상 나무의 햅틱 프로파일에 대응하는 햅틱 특성을 갖는 실세계 물체가 가상 나무의 상대적인 가상 지점에 대응하는 일 지점에 제공될 수 있다. 예를 들어, 가상 사용자에 상대적인 가상 나무에 대한 상대적인 지점(예를 들어, 가상 사용자에 대한 지점에 대한 그 관계에 의해 정의되는 가상 나무에 대한 지점)이 추적될 수 있고, 실세계 물체는 상대적인 가상 지점에 대응하는 실세계 사용자에 상대적인 실세계 지점에 제공될 수 있다. 제공된 실세계 물체를 기초로, 가상 사용자가 가상 나무를 터치할 때, 실세계 사용자는 실세계 물체의 햅틱 특성을 느낄 것이며, 따라서 사용자는 가상 세계에서의 상호작용에 대응하는 실세계 햅틱 상호작용을 제공 받는다. 다른 예시에서, 가상 사용자는 가상 개, 가상 구동 차량 또는 가상 껌과 유사한 점착성 물질과 같은 다른 가상 물체를 터치할 수 있고, 부드럽고 털로 덮여있는 물체, 뜨겁거나 및/또는 진동하는 금속 물체, 점착성 물체 등과 같은 대응하는 햅틱 특성을 갖는 실세계 물체가 제공될 수 있다.

다양한 시스템 및/또는 기법을 사용하여 제공하는 것이 달성될 수 있다. 예를 들어, 상이한 햅틱 특성을 갖는 다수의 표면을 포함하는 햅틱 스워치(haptic swatch)가 제공될 수 있으며, 햅틱 스워치는 가상 환경에서의 햅틱 프로파일(예를 들어, 가상 나무, 가상 개, 가상 구동 차량 등의 햅틱 프로파일)과 대응하는 햅틱 특성을 제공하도록 구성된다. 햅틱 특성을 포함하는 다른 실세계 물체가 유사하게 제공될 수 있다. 일부 실시예에서, 실세계 물체는 다양한 기법을 구현함으로써 가상 사용자 및/또는 가상 물체의 이동을 기초로 상이한 지점으로 이동될 수 있다. 예를 들어, 로봇 공학 시스템 또는 기계적인 부재는 사용자의 가상 상호작용에 대응하는 상대적인 지점으로 실세계 물체(예를 들어, 햅틱 스워치)를 이동시키는데 사용될 수 있다. 다른 예시에서, 실세계 물체를 상대적인 지점으로 이동시키는데 드론이 사용될 수 있다.

도 1은 다양한 실시예에 따른 시스템(10)의 블록도를 도시한다. 일부 실시예에서, 시스템(10)은 아래에 개시된 VR/AR/MR 시스템의 기능을 할 수 있다. 이들 실시예에서, 시스템(10)은 센서(30), 스피커(28) 또는 디스플레이(24)와 같은, 도 1에 도시된 모듈 중 하나 이상을 포함하지 않을 수 있다.

일부 실시예에서, 시스템(10)은 가상 세계와 상호작용하기 위해, 모바일 디바이스(예를 들어, 스마트폰) 또는 비-모바일 디바이스(예를 들어, 게임 컨트롤러)의 일부이거나, 이와 통신한다. 시스템(10)은 또한, 가상 세계와 상호작용하기 위해 웨어러블 디바이스(wearable device)의 일부이거나 이와 통신할 수 있다. 웨어러블 디바이스의 예시는 사용자가 신체 상에 착용하거나, 사용자가 쥐고 있을 수 있는 손목 밴드, 머리띠, 안경, 반지, 다리 밴드, 신발, 옷에 결합된 어레이 또는 어느 다른 타입의 디바이스를 포함한다. 일부 웨어러블 디바이스는 햅틱으로 인에이블 될(haptically enabled) 수 있으며, 이는 햅틱 효과를 생성하기 위한 메커니즘을 포함함을 의미한다. 일부 실시예에서, 시스템(10)은 게이밍 시스템과 같이, 시스템의 사용자에게 가상 세계를 제공하는 독립형 컴퓨팅 디바이스를 포함할 수 있다. 일부 실시예에서, 시스템(10)은 디바이스(예를 들어, 모바일 디바이스 또는 웨어러블 디바이스)로부터 분리될 수 있다.

단일 시스템으로 도시되었지만, 시스템(10)의 기능은 분산된 시스템으로 구현될 수 있다. 시스템(10)은 정보를 전달하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(12)에 연결되는 프로세서(22)를 포함한다. 프로세서(22)는 어느 타입의 범용 또는 특정 목적 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 정보 또는 명령어를 저장하는 메모리(14)를 더 포함한다. 메모리(14)는 임의 접근 메모리(random access memory, "RAM"), 읽기 전용 메모리(read only memory, "ROM"), 자기 또는 광디스크와 같은 정적 저장소, 또는 어느 다른 타입의 일시적 또는 비일시적 컴퓨터 판독가능 매체의 어느 조합을 포함할 수 있다.

컴퓨터 판독가능 매체는 프로세서(22)에 의해 접근될 수 있는 어느 이용 가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 제거 가능 및 제거 불가능 매체, 통신 매체 및 저장 매체 모두를 포함할 수 있다. 통신 매체는 컴퓨터 판독 가능한 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 다른 송신 메커니즘과 같이 변조된 데이터 신호 내의 다른 데이터를 포함할 수 있고, 통상의 기술자에게 알려진 어느 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 삭제 가능한 프로그래머블 읽기 전용 메모리(erasable programmable read-only memory, "EPROM"), 전기적으로 삭제 가능한 프로그래머블 읽기 전용 메모리(electrically erasable programmable read-only memory, "EEPROM"), 레지스터, 하드 디스크, 제거 가능한 디스크, 컴팩트 디스크 읽기 전용 메모리(compact disk read-only memory, "CD-ROM"), 또는 이 기술분야에 알려진 어느 다른 형태의 저장 매체를 포함할 수 있다.

일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈을 저장한다. 모듈은 시스템(10)에 대한 운영체제 기능을 제공하는 운영체제(15)를 포함한다. 모듈은 본원에서 더욱 상세히 개시되는 바와 같이, 가상 세계를 기초로 사용자에 대해 햅틱 상호작용을 제공하는 햅틱 상호작용 모듈(16)을 더 포함한다. 일정 실시예에서, 햅틱 상호작용 모듈(16)은 복수의 모듈을 포함할 수 있으며, 각 모듈은 햅틱 효과를 제공하는 특정한 개별적인 기능과 함께 구성된다. 시스템(10)은 통상적으로 임머숀 코포레이션(Immersion Corp)의 TouchSense® 소프트웨어와 같이, 추가적인 기능을 포함하기 위해, 하나 이상의 추가적인 애플리케이션 모듈(18)을 포함한다.

원격원으로부터 데이터를 송신하거나 및/또는 수신하는 실시예에서, 시스템(10)은 적외선, 무선, Wi-Fi, 셀룰러 네트워크 통신(cellular network communication) 등과 같은 모바일 무선 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 디바이스(20)를 더 포함한다. 다른 실시예에서, 통신 디바이스(20)는 이더넷 연결, 모뎀 등과 같은 유선 네트워크 연결을 제공한다.

프로세서(22)는 버스(12)를 통해, 액정 디스플레이(Liquid Crystal Display, "LCD")와 같이, 사용자에게 그래픽 표현 또는 사용자 인터페이스("UI")를 디스플레이 하는 디스플레이(24)에 더 연결된다. 디스플레이(24)는 터치 스크린과 같이, 프로세서(22)로부터 신호를 전송하고 수신하도록 구성된 터치 감응성 입력 디바이스일 수 있고, 다중 터치(multi-touch) 터치스크린일 수 있다.

일 실시예에서, 시스템(10)은 햅틱 출력 디바이스(26)를 더 포함한다. 프로세서(22)는 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스(26)에 송신할 수 있으며, 햅틱 출력 디바이스(26)는, 진동촉감 햅틱 효과, 정전기 마찰 햅틱 효과, 변형 햅틱 효과 등과 같은 햅틱 효과를 출력한다. 햅틱 출력 디바이스(26)는 액추에이터일 수 있으며, 액추에이터 구동 회로를 포함할 수 있다. 햅틱 출력 디바이스(26)는 예를 들어, 전기 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드(solenoid), 편심 회전 질량 모터(eccentric rotating mass motor, "ERM"), 선형 공진 액추에이터("LRA"), 압전 액추에이터, 고 대역폭 액추에이터, 전기활성 폴리머("EAP") 액추에이터 등일 수 있다. 대안적인 실시예에서, 시스템(10)은 햅틱 출력 디바이스(26)에 부가하여, 하나 이상의 추가적인 햅틱 출력 디바이스를 포함할 수 있다. 대안적으로 또는 추가적으로, 햅틱 출력 디바이스(26)는 열 디스플레이(thermal display)(예를 들어, 고온/저온(hot/cold)), 전기 촉감 자극(electrotactile stimulation)(즉, 전기 전류로 촉감 수용체의 자극), 운동감각 피드백(kinesthetic feedback) 등과 같은 어느 다른 햅틱 기술에 따라 동작할 수 있다. 또 다른 대안적인 또는 추가적인 실시예는 사용자에게 시스템이 어떤 이동(들)을 하게 하는지 및/또는 그렇게 하는 것처럼 느끼게 하는지를 결정하도록 요청하는 작업과 같은 전기 근육 자극을 구현할 수 있다.

햅틱 출력 디바이스(26)는 구동 신호에 응답하여, 진동촉감 햅틱 효과, 정전기 마찰 햅틱 효과, 변형 햅틱 효과 등과 같은, 어느 형태의 햅틱 효과를 출력하도록 구성된 디바이스이다. 따라서, 햅틱 출력 디바이스(26)는 액추에이터일 수 있거나 대안적인 실시예에서, 정전기 마찰(ESF) 또는 초음파 표면 마찰(ultrasonic surface friction, USF)을 사용하는 비-기계적 또는 비-진동성 디바이스, 초음파 햅틱 트랜스듀서를 이용하여 음향 방사 압력을 유발하는 디바이스, 햅틱 기판 및 가요성 또는 변형가능 표면 또는 형상 변경 디바이스를 사용하고 사용자의 신체에 부착될 수 있는 디바이스, 에어 젯(air jet)을 사용한 공기의 분출(puff)과 같이 방출되는(projected) 햅틱 출력을 제공하는 디바이스, 레이저 기반 자극기(stimulator), 소리 기반 자극기, 및 어느 다른 적합한 햅틱 상호작용 가능 디바이스일 수 있다.

또한, 다른 대안적인 실시예들에서, 시스템(10)은 햅틱 출력 디바이스(26)를 포함하지 않을 수 있고, 시스템(10)으로부터 분리된 디바이스가 햅틱 효과를 생성하는 햅틱 출력 디바이스를 포함하며, 시스템(10)은 통신 디바이스(20)를 통해 그 디바이스에 생성된 햅틱 신호를 전송한다.

일 실시예에서, 햅틱 출력 디바이스(26)는 액추에이터 및/또는 햅틱 렌더링 시스템의 설계에 의해 한정되는 주파수(들)에서 진동 햅틱 효과를 생성하는 표준 해상도(standard definition, "SD") 액추에이터일 수 있다. SD 액추에이터의 예시는 ERM 및 LRA를 포함한다. SD 액추에이터에 대조적으로, 압전 액추에이터 또는 EAP 액추에이터와 같은 고해상도(high definition, "HD") 액추에이터 또는 고충실도(high fidelity) 액추에이터가 다중 주파수로 높은 대역폭 및/또는 고해상도 햅틱 효과를 생성할 수 있다. HD 액추에이터는 가변 진폭, 가변 주파수를 통해, 및 전이(transient) 구동 신호에 대한 고속 응답을 통해 넓은 대역폭의 촉감 효과를 생성하기 위한 그 능력에 의해 특징지어 진다. 하지만, HD 액추에이터는 SD 액추에이터에 비해 일반적으로 비용이 더욱 많이 든다. 결과적으로, 일부 디바이스는 어느 HD 액추에이터 대신에, 하나 이상의 SD 액추에이터만을 포함한다. 그러므로, 일부 실시예는 HD 액추에이터를 요구하지 않으면서, HD 햅틱 효과를 모의하고 HD와 유사한 햅틱 경험을 제공하기 위해, SD 액추에이터와 조합된 디바이스에서 하나 이상의 스피커(28)를 레버리지(leverage)할 수 있다.

일부 실시예에서, 햅틱 출력 디바이스(26)는 햅틱 스워치를 포함할 수 있다. 햅틱 스워치는 상이한 햅틱 특성을 갖는 복수의 재료(material) 또는 표면을 포함하는 물체 또는 디바이스일 수 있다. 예를 들어, 햅틱 스워치는 거친 햅틱 특성을 갖는 제1 햅틱 재료, 및 매끄러운 햅틱 특성을 갖는 제2 햅틱 재료를 포함할 수 있다. 일부 실시예에서, 스워치의 햅틱 특성은 나무의 거친 촉감(tactile feel)에 대응하는 햅틱 재료, 및 사포의 거친 촉감에 대응하는 다른 햅틱 재료와 같이, 다양한 물체의 느낌에 대응할 수 있다. 이 예시에서, 양 물체가 거친 촉감을 포함하지만, 물체에 대한 햅틱 특성은 상이하고, 햅틱 스워치는 이 차이를 담아내는(capture) 햅틱 특성을 갖는 다양한 햅틱 재료를 포함할 수 있다. 예를 들어, 나무에 대한 햅틱 프로파일은 나무 껍질의 거친 거칠기(coarse roughness)와 닮은 상대적으로 큰 범프(bumps) 또는 노치(notches)에 의해 나타날 수 있고, 사포에 대한 햅틱 프로파일은 사포의 미세한 거칠기와 닮은 상대적으로 작은 표면 요소에 의해 나타날 수 있다. 이 예시에서, 햅틱 스워치는 나무 껍질에 대한 햅틱 프로파일에 대응하는 햅틱 재료, 및 사포에 대한 햅틱 프로파일에 대응하는 분리된 햅틱 재료를 포함할 수 있다.

일부 실시예에서, 햅틱 스워치는 상이한 햅틱 특성을 갖는 다양한 표면 또는 재료를 포함하는 비-이동 물체일 수 있다. 다른 실시예에서, 햅틱 스워치는 사용자에게 상이한 햅틱 표면 또는 재료를 노출하도록 회전할 수 있는 회전 조립체와 같은 이동 부분을 포함할 수 있다. 햅틱 출력 디바이스(26)는 다양한 지점에서 햅틱 스워치를 이동/제공하는데 사용될 수 있는 로봇 암 조립체(robotic arm assembly), 드론 또는 다른 이동 가능한 메커니즘을 포함할 수 있다.

일 실시예에서, 시스템(10)은 스피커(28)를 더 포함한다. 프로세서(22)는 스피커(28)에 오디오 신호를 송신할 수 있으며, 스피커는 오디오 효과를 출력한다. 스피커(28)는 예를 들어, 다이내믹 라우드스피커(dynamic loudspeaker), 일렉트로다이내믹 라우드스피커(electrodynamic loudspeaker), 압전 라우드스피커(piezoelectric loudspeaker), 자기 왜곡 라우드스피커(magnetostrictive loudspeaker), 정전기 라우드스피커, 리본 및 평면 자기 라우드스피커(ribbon and planar magnetic loudspeaker), 굽힘파 라우드스피커(bending wave loudspeaker), 평판 라우드스피커(flat panel loudspeaker), 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커(plasma arc speaker), 및 디지털 라우드스피커(digital loudspeaker) 등일 수 있다. 대안적인 실시예에서, 시스템(10)은, 스피커(28)에 부가하여, 하나 이상의 추가적인 스피커(도 1에 도시되지 않음)를 포함할 수 있다. 또한, 다른 대안적인 실시예에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)으로부터 분리된 디바이스가 오디오 효과를 출력하는 스피커를 포함하며, 시스템(10)은 통신 디바이스(20)를 통해 그 디바이스로 오디오 신호를 전송한다. 일부 실시예에서, 시스템(10)은 예를 들어, 헤드 마운티드 디스플레이(head-mounted display, "HMD")를 포함할 수 있다.

일 실시예에서, 시스템(10)은 센서(30)를 더 포함한다. 센서(30)는 소리, 이동, 가속도, 생물학적 신호, 거리, 흐름, 힘/압력/변형(strain)/굽힘, 습도, 선형 위치, 배향/기울기, 무선 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광선 강도 등과 같고, 이에 제한되지 않는 에너지 또는 다른 물리적 특성의 형태를 검출하도록 구성될 수 있다. 센서(30)는 검출된 에너지 또는 다른 물리적 특성을, 가상 센서 정보를 표현하는 전기 신호 또는 어느 신호로 변환하도록 더 구성될 수 있다. 센서(30)는 가속도계, 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 굽힘 센서), 힘 감응성 저항, 로드 셀(load cell), LuSense CPS2 155, 소형 압력 트랜스듀서, 피에조 센서(piezo sensor), 변형 게이지(strain gauge), 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 무선 주파수 식별(radio frequency identification, RFID) 태그), 회전식 인코더, 회전식 전위차계, 자이로스코프, 온-오프 스위치, (온도계, 열전 쌍, 저항 온도 검출기, 써미스터, 온도 변환 집적 회로 등과 같은) 온도 센서, 마이크로폰, 광도계, 고도계, 생물학적 모니터, 카메라, 광 의존 저항기 등과 같지만 이에 제한되지 않는 어느 디바이스, 또는 심전도, 뇌전도, 근전계, 안전구도, 전자구개도, 또는 어느 다른 전기 생리학적 출력을 출력하는 어느 디바이스일 수 있다.

다른 실시예에서, 시스템(10)은 센서(30)에 부가하여 하나 이상의 추가적인 센서를 포함할 수 있다(도 1에는 미도시됨). 이들 실시예 중 일부에서, 센서(30) 및 하나 이상의 추가적인 센서는 센서 어레이의 일 부분이거나 또는, 일부 다른 타입의 센서의 집합/배열일 수 있다. 또한, 다른 대안적인 실시예에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있으며, 시스템(10)으로부터 분리된 디바이스가 에너지의 형태 또는 다른 물리적 특성을 검출하는 센서를 포함하고, 검출된 에너지 또는 다른 물리적 특성을, 가상 센서 정보를 나타내는 전기 신호 또는 다른 타입의 신호로 변환한다. 그 후, 디바이스는 통신 디바이스(20)를 통해 시스템(10)으로 변환된 신호를 전송할 수 있다.

일반적으로, 일부 알려진 시스템은 VR, AR 또는 MR 환경에 햅틱 효과를 제공할 수 있다. VR은 실제 환경을 복제하고(또는 가상 설정을 생성하고), 사용자가 특수화된 디스플레이 스크린, 프로젝터 또는 다른 디바이스를 사용하여 그 공간과 및 그 안에 나타나는 어느 물체와 상호작용하게 함으로써 그 환경에서 사용자의 "존재"를 모의하는 현실 같은 이미지(realistic images), 사운드 및 다른 감각을 생성하는 소프트웨어를 사용하는 것을 지칭한다. VR은 페이스북(Facebook Inc.)의 "Oculus Rift", 소니(Sony Corp.)의 "PlayStation VR", 삼성전자(Samsung Electronics Co. Ltd.)의 "Gear VR", HTC(HTC Corp.)의 "Vive VR", 레이저(Razer Inc.)의 "Open Source VR" 등과 같은 시스템에 의해 제공될 수 있다. AR은 요소가 사운드, 비디오, 그래픽, GPS 데이터 등과 같은 컴퓨터 생성 감각 입력에 의해 증강되는(또는 보충되는) 물리적 실세계 환경의 라이브 직접 또는 간접 뷰를 지칭한다. AR은 알파벳(Alphabet Inc.)의 "Google Glass", 다크리(DAQRI, LLC)의 "DAQRI Smart Helmet", 또는 세이코 엡손(Seiko Epson Corp.)의 "Moverio"와 같은 스마트 안경에 의해 제공될 수 있다. MR(또한 하이브리드 현실로 지칭됨)은 물리적 및 디지털 가상 물체가 실시간으로 공존하고 상호작용하는 새로운 환경 및 시각화를 생성하기 위한 실제 및 가상 세계의 병합을 지칭한다. AR과는 다르게, MR에서의 가상 물체는 실제 물체와 상호작용하며, 실제 물체의 상부에 가상 오버레이로서 추가되는 것만은 아니다. MR은 마이크로소프트(Microsoft Corp)의 "HoloLens"와 같은 시스템에 의해 제공될 수 있다.

일부 알려진 시스템은 VR/AR/MR 시스템의 사전 구성된 컨트롤러를 통해 VR/AR/MR 시스템의 사용자에게 햅틱 피드백을 제공한다. 예를 들어, 밸브(Valve Corp.)는 LRA 기반의 "Rumblepad"를 제공하고, 페이스북(Facebook Inc.)은 "Touch" 컨트롤러를 제공하고, HTC는 "Vive" 컨트롤러를 제공하고, 뉴로디지털 테크놀로지(NeuroDigital Technologies, SL)는 "GloveOne" LRA 기반 햅틱 장갑을 제공하고, 노드(Nod Inc.)는 "Backspin" 링 기반의 컨트롤러를 제공하고, 버툭스(Virtuix Inc.)는 "Virtuix Omni"를 제공하며, 햅테크(Haptech Inc.)는 "Infinity" 라이플 컨트롤러(rifle controller)를 제공한다. 하지만, VR 시스템은 진동을 유발하기 위해 트리거되는 액추에이터와 같이, 단순한 햅틱 피드백을 넘어서는 풍부한 햅틱 상호작용을 제공하지 않는다. 예를 들어, Vive 및 Touch와 같은 일부 컨트롤러는 액추에이터를 사용하고, 햅틱 피드백 효과를 출력하기 위해 액추에이터를 호출하는 상이한 독점 애플리케이션 프로그래밍 인터페이스("API") 방법(예를 들어, 모터를 호출하고, 진동을 생성하기 위해 전압을 모터에 전달함)을 구현한다. 이들 VR 구현은 가상 사용자가 가상 동물을 터치할 때 동물의 털과 같이 느껴지는 실세계 재료를 터치하는 것과 같이, 가상 사용자에 대한 가상 상호작용에 대응하는 실세계 사용자에 대해 풍부한 실세계 상호작용이 전통적으로 부족하다.

알려진 시스템과 대조적으로, 실시예는 VR/AR/MR 시스템이 실세계 사용자에 상대적인 지점에 실세계 물체를 제공하여 풍부한 햅틱 상호작용의 방식으로 사용자가 가상 세계에 몰입하는 경험을 개선하는 것을 허용한다. 실시예는 가상 세계에서 햅틱 프로파일에 대응하는 실세계 햅틱 재료 또는 경험이 제공될 수 있도록, 가상 세계 물체 또는 표면에 대한 햅틱 프로파일링 기법을 구현한다. 예를 들어, 햅틱 스워치와 같은 실세계 물체는 가상 세계에서 가상 사용자에 대해 추적된 지점을 기초로 실세계 사용자에 상대적으로 위치될 수 있고, 실세계 물체는 가상 세계에서 가상 물체에 대한 하나 이상의 햅틱 프로파일에 대응하는 햅틱 표면 또는 재료를 포함할 수 있다. 따라서, 사용자는 가상 사용자의 VR/AR/MR 상호작용에 대응하는 풍부한 햅틱 상호작용을 제공받는다.

일 실시예에서, 예를 들어, VR/AR/MR 환경에서 사용자는 사용자가 가슴, 등, 오른손, 왼손, 오른발, 왼발, 이마 등과 같은 다양한 신체 부분/영역 상에 웨어러블 센서와 같은 모듈러 센서를 위치시키게 하는 다중 센서 시스템을 사용할 수 있다. 일부 실시예에서, 모듈러 센서 중 하나 이상은 햅틱 피드백을 생성하는 액추에이터를 더 포함할 수 있다. 일 실시예에서, 센서의 지점은 VR/AR/MR 환경의 내부뿐만 아니라 서로에 대해 관련되어 결정/추적된다.

따라서, 실시예는 가상 신체 부분(예를 들어, 가상 손)이 VR/AR/MR 환경에 위치되는 곳을 기초로 햅틱 상호작용을 트리거 할 수 있다. 일 실시예에서, 햅틱 추적이 햅틱 설계자에 의해 공급될 때, 햅틱 설계자의 원래 의도가 결정되고, 원래 의도를 기초로, 대응하는 햅틱 상호작용이 제공된다. 예를 들어, 햅틱 설계자의 원래 의도는 가상 물체에 대한 햅틱 프로파일을 저장하는 룩업 테이블을 기초로 하는 것과 같이 대응하는 가상 세계 컨텍스트(context)에 햅틱 상호작용을 역매핑하고, 햅틱 상호작용이 설계된 햅틱 프로파일을 결정함으로써 결정될 수 있다.

일 실시예에서, 사용자는 사용자의 가상 존재(또는 가상 사용자)에 대해 가상 세계 상호작용을 제공하는 VR 헤드셋 및 하나 이상의 컨트롤러를 사용하여 탐험 가상 환경에 있을 수 있다. 일부 실시예에서, 헤드셋 및 컨트롤러 입력에 부가하여, 사용자는 그의 신체의 다양한 부분(예를 들어, 가슴, 손, 발, 손가락 등)에 위치된 웨어러블 센서를 구비할 수 있다. 센서는 또한, VR 게임 공간에서 위치적으로 감지되고 움직임이 추적되도록, VR 시스템에 네트워크로 연결될 수 있다. 이들 신체의 부분이 게임 플레이와 상호작용할 때, 실세계 재료의 햅틱 특성을 기초로 사용자가 가상 물체를 느끼게 하도록 풍부한 햅틱 상호작용이 제공될 수 있다.

예를 들어, 가상 사용자는 멀리 있는 가상 나무를 보고, 터치하기에 충분히 가까워질 때까지 가상 나무에 가깝게 이동할 수 있다. 가상 나무에 대한 가상 사용자의 근접함, 가상 나무에 상대적된 가상 사용자의 추적된 지점(또는 손과 같은 가상 사용자의 신체 부분의 추적된 지점) 및 가상 나무에 대한 햅틱 프로파일을 기초로, 가상 나무에 대한 햅틱 프로파일에 대응하는 햅틱 특성을 갖는 실세계 물체가 가상 사용자(또는 가상 사용자의 손 또는 손가락)의 추적된 지점에 상대적인 가상 나무의 지점에 대응하는 실세계 사용자에 상대적인 실세계 지점에 제공될 수 있다. 이 예시에서, 사용자는 한 손으로 VR 컨트롤러를 사용하여 가상 환경과 상호작용할 수 있고, 실세계 물체를 느끼는 것과 같이, 풍부한 햅틱 상호작용을 겪기 위해 다른 손을 사용할 수 있다. 다른 실시예에서, 사용자는 어느 적합한 방식으로(예를 들어, 사용자의 손/손가락의 일부를 노출시키는 장갑을 사용하여, 또는 어느 다른 적합한 VR 구성을 사용하여) 햅틱 상호작용을 겪을 수 있다.

일부 실시예에서, VR 시스템은 룸-스케일(room-scale) 기능을 구비할 수 있고, 여기서 사용자는 가상 사용자가 가상 세계를 탐험할 때 미리 결정된 실세계 환경 내에서 재지향될 수 있다. 이러한 실시예에서, 풍부한 햅틱 상호작용을 제공하는 실세계 물체는 물체의 관련 배치(positioning)를 유지하기 위해 사용자와 함께 이동될 수 있다.

도 2는 가상 세계 내의 사용자에게 풍부한 햅틱 상호작용을 제공하는 시스템(200)의 일 예시를 도시한다. 시스템(200)에서, 다수의 입력점(202)이 사용자(204)의 다양한 신체의 부분에 위치된다. 각 입력점(202)은 VR 시스템(206)과 (예를 들어, 무선으로 또는 유선을 통해) 통신하는 기능뿐만 아니라, 도 1의 센서(30)와 같은 하나 이상의 센서, 액추에이터와 같은 햅틱 출력 디바이스를 포함할 수 있다. VR 시스템(206)은 VR, AR 또는 MR 시스템 중 어느 것일 수 있다.

각 입력점(202)은 WiFi 또는 다른 무선 네트워크를 통해 직접적으로, 또는 블루투스 또는 다른 네트워킹 기법을 사용하여 게이트웨이를 통해 간접적으로 VR 시스템(206)에 연결될 수 있다. 각 입력점(202)은 블루투스 또는 다른 근거리 무선 기법(short-range wireless technologies)을 사용하여 VR 시스템(206)에 직접적으로 연결될 수 있다. 일부 실시예에서, 통신은 먼저, 근거리 무선 통신(near field communication, "NFC"), Wi-Fi, 또는 다른 무선 통신 기법을 통해 확립된 후에, 블루투스와 같은 더욱 효율적인 근거리 기법으로 전환될 수 있다.

일 실시예에서, 입력점(202)이 유선 또는 무선 통신을 통해 VR 시스템(206)에 연결되면, 이는 가상 세계 상호작용을 제공하기 위해 시스템과 통신할 수 있다. 이는 또한, 다양한 정보 예를 들어, 성능, 센서 판독 등에 대한 정보를 제공하고, 햅틱 피드백과 같은 피드백을 트리거하기 위해 VR 시스템(206)과 통신할 수 있다.

일 실시예에서, VR 시스템(206)은 위치 감지 기능을 구현하며, 3D 가상 공간 내부 및 사용자(204) 상에서 뿐만 아니라 서로에 상대적인 입력점(202)의 지점을 추적한다. 어느 알려진 위치 감지 기능은 자기 추적(자기장의 강도를 다양한 방향에서 측정함), 음향 추적(알려진 음향 신호가 알려진 수신기에 도달하는데 걸리는 시간을 측정함), 관성 추적(가속도계 및 자이로스코프를 사용함), 광학 추적(위치 정보를 획득하기 위해 다양한 카메라를 사용함) 등, 또는 어느 다른 근접도 감지 기능(어느 물리적 접촉 없이 근처 물체의 존재를 검출함)이 입력점(202)을 추적하기 위해 VR 시스템(202) 내에 구현될 수 있다. 일 실시예에서, 예를 들어, VR 시스템(206)은 위치 및 움직임 추적 기능을 구현하고, 사용자(204)의 존재를 검출하며 및/또는 사용자(204)의 다양한 신체 부분을 검출하는 카메라 또는 깊이 센서와 같은 하나 이상의 원격 센서들을 포함한다.

일부 실시예에서, VR 시스템(206)은 룸 스케일 기능을 구비하며, 여기서 사용자(204)는 사용자(204)에 대응하는 가상 사용자가 가상 세계를 탐험할 때 미리 결정된 실세계 환경 내에서 재지향될 수 있다. 예를 들어, 미리 결정된 실세계 공간은 미리 결정된 경계와, 공간을 추적하는 복수의 센서를 포함할 수 있다. 사용자(204)는 그의 가상 사용자가 가상 세계를 탐험할 때, 공간 내에서 추적되고 공간 내에서 재지향될 수 있다.

일부 실시예에서, 사용자(204)의 머리에 있는 입력점(202)은 Oculus Rift 헤드셋, Google Dream 헤드셋, Samsung Gear 헤드셋 등과 같은 VR 헤드셋일 수 있다. 사용자(204)의 손에 있는 입력점(202)은 사용자의 손에 의해 사용되도록 구성된 VR 컨트롤러, VR 장갑, VR 웨어러블, 또는 어느 다른 적합한 VR 입력 디바이스 중 하나 이상일 수 있다. 예시적인 VR 컨트롤러 또는 VR 장갑은 "GloveOne", "Touch", "Vive" 등일 수 있다. 예시적인 VR 웨어러블은 "Backspin" 또는 어느 다른 적합한 웨어러블 디바이스일 수 있다. 사용자(204)의 다른 지점에 있는 입력점(202)은 센서 또는 어느 다른 적합한 VR 디바이스를 포함하는 웨어러블 디바이스일 수 있다. 일 실시예에서, 입력점(202)은 사용자(204)의 신체 부분에 고정될 수 있도록 스트랩(strap)(예를 들어, Velcro)에 부착될 수 있다. 일 실시예에서, 다수의 입력점(202)은 사용자(204)의 신체 상에 착용될 수 있도록 직물의 주머니에 내장될 수 있다. 일부 실시예에서, 리프모션(LeapMotion, Inc)의 "LeapMotion" 디바이스(또는 LeapMotion 시스템)이 사용자(204)의 머리 및/또는 손가락과 같은 부속 기관을 추적하는데 사용될 수 있다.

도 2 및 다음의 도면 중 어느 것에 도시된 각 입력점은 일 실시예에서 도 1의 시스템(10)에 의해 구현되고, 도 1에 도시된 요소의 전체 또는 이의 서브세트를 포함할 수 있다. 또한, 도 2에 도시된 VR 시스템(206) 및 다음의 도면 중 어느 것에 도시된 VR/AR/MR 시스템은 일 실시예에서 도 1의 시스템(10)에 의해 구현되고, 도 1에 도시된 요소의 전체 또는 이의 서브세트를 포함할 수 있다.

도 3은 다수의 입력점(304)이 장갑(302) 상의 다양한 지점에서 구현되고 VR 시스템(306)과 통신하는 시스템(300)의 다른 예시이다. 따라서, 사용자 착용 장갑(302)은 사용자의 손/손가락 상의 다양한 지점을 추적하도록 입력점(304)을 구성하고, 일부 실시예에서 이들 지점에 햅틱 피드백을 제공할 수 있다. 입력점(304)은 예를 들어, Velcro 또는 작은 스트랩에 의해 장갑(304)에 부착될 수 있거나, 또는 장갑(304) 상의 주머니 내에 위치될 수 있다. 일 실시예에서, 장갑(302)은 분리형 핑거 코트(disjoint finger cot)로 구현될 수 있다. 일 실시예에서, 시스템(300)에서 입력점(304)은 사용자가 구성할 수 있고, 도 2의 시스템(200)에서 입력점(202)에 대해 본원에서 서술되는 어느 다른 기능을 제공하거나, 또는 도 1의 센서(30)와 같은 센서일 수 있다.

일부 실시예에서, 입력점(304) 및 장갑(302)은 또한, 사용자의 손가락의 지점이 추적될 수 있도록 구성될 수 있는 한편, 사용자의 손가락이 햅틱 상호작용을 위해 노출되는 것도 허용할 수 있다. 예를 들어, 장갑(302)은 손가락이 없는 장갑 또는, 사용자에 대한 손가락 끝이 노출되는 장갑일 수 있다. 일부 실시예에서, 입력점(304)은 또한, 사용자의 손가락의 지점이 추적될 수 있도록, 장갑(302)의 손가락의 베이스 근처에 또는 장갑(302)의 손가락의 중간에 위치될 수 있는 한편, 햅틱 상호작용을 허용할 수 있다. 입력점(304)(예를 들어, 센서)이 장갑(302)의 손가락 부분만을 따라(예를 들어, 손 끝에는 없이) 위치될 때, 손가락의 위치는 구현된 입력점으로부터 수신된 이용 가능한 데이터로부터 지점 데이터를 추정함으로써 가상 세계에서 추적되고 디스플레이 될 수 있다. 가상 세계 상호작용에 대해, 역 운동학과 같은 가상 현실 "리그(rig)" 및 추정 기법이 손 또는 손가락과 같은 사용자의 신체의 부분을 디스플레이 하는데 사용될 수 있다. 일부 실시예에서, 입력점(304)은 사용자의 손가락 끝 근처에 위치될 수 있지만, 풍부한 햅틱 상호작용을 허용하기 위해 스트랩(예를 들어, Velcro)에 부착되고 손가락의 뒤에 배치될 수 있다. 뉴로디지털(NeuroDigital)의 "GloveOne"과 유사한 장갑은 시스템(300)에 대해 다양한 서술된 구성을 제공하기 위해 변경될 수 있다.

도 2를 다시 참조하면, 입력점(202)은 네트워크 연결된 디바이스일 수 있고, 각 네트워크 연결된 디바이스(202)는 VR 시스템(206)과 통신할 수 있으며, VR 게임과 같은 VR/AR/MR 환경에서 분리된 입력 디바이스로 사용될 수 있어서, 다양한 방식의 상호작용을 제공한다. 이러한 입력점(202)의 예시는 스마트폰, 네트워크 연결된 웨어러블(예를 들어, 스마트워치, 헬멧, 옷 또는 신발) 등이다. 일부 실시예에서, 각 입력점(202)은 액추에이터를 더 포함하며, 그러므로 햅틱 피드백을 제공할 수 있다.

입력점(202)과 조합된 VR 시스템(206)은 사용자가 가상 세계에서 그 자신(예를 들어, 가상 사용자)의 가상 표현을 포함하는 VR 표현을 겪도록 사용자(204)에 대한 가상 세계를 구현할 수 있다. 예를 들어, 입력점(202) 중 하나는 사용자(204)의 POV를 기초로 가상 세계를 지각하는 가상 사용자를 포함하는 가상 세계를 사용자(204)에게 디스플레이 하는 헤드셋일 수 있다. 입력점(202)은 사용자(204)가 사용자의 가상 표현(즉, 가상 사용자)을 사용하여 가상 세계와 상호작용하는 것을 허용하는 컨트롤러, 장갑, 웨어러블, 센서, 또는 다른 VR 디바이스일 수 있다.

도 4a 내지 도 4c는 다양한 실시예에 따른, 가상 물체와 가상 세계 및 대응하는 실세계 물체와 실세계의 도면을 도시한다. 도 4a는 가상 물체(404A)를 갖는 가상 세계(402A)를 도시한다. 예를 들어, 도 2의 사용자(204)와 같은 사용자는 사용자의 POV로부터 가상 세계(402A)를 지각할 수 있다. 덧붙여, 사용자(204)는 일부 구현에서, 사용자를 나타내는 가상 세계(402A) 내의 가상 사용자를 지각할 수 있다(예를 들어, 가상 세계(402A)에서 그 또는 그녀 자신의 가상 신체 또는 아바타를 볼 수 있다). 가상 세계(402A)는 가상 사용자의 시야 내의 가상 물체(404A)를 포함한다.

예를 들어, 가상 물체(404A)는 가상 환경의 요소(예를 들어, 나무, 바위, 빌딩, 테이블, 의자 등)와 같은 가상 세계 내의 어느 적합한 물체, 이동하는 가상 물체(예를 들어, 동물, 로봇, 가상 인간, 다른 가상 사용자, 아바타 등) 및 어느 다른 적합한 가상 물체일 수 있다. 사용자(204)가 좌측 또는 우측을 볼 때, 가상 세계(402A)의 시야는 그에 따라 회전하고, 가상 물체(404A)는 시야 내에 없을 수 있거나, 또는 일부 예시에서 가상 물체(404A)가 이동할 때 가상 물체는 시야 내로 다시 이동될 수 있다.

가상 물체(404A)는 햅틱 프로파일을 포함하는 표면(406A)을 구비할 수 있다. 예를 들어, 가상 물체(404A)가 가상 개(dog)인 경우, 표면(406A)은 개의 촉감(예를 들어, 개의 털의 촉감)에 대응하는 햅틱 프로파일을 갖는다. 일부 실시예에서, 가상 세계(402A)에서 렌더링되는 가상 물체의 세트는 각각 햅틱 프로파일과 연관될 수 있다. 일부 예시에서, 가상 물체의 상이한 부분(예를 들어, 표면)은 상이한 햅틱 프로파일(예를 들어, 개의 털 및 스카프의 옷감, 또는 개에게 착용되는 다른 의류 물품)과 연관될 수 있다.

도 4b는 실세계 물체(404B)를 갖는 실세계(402B)를 도시한다. 예를 들어, 도 2의 사용자(204)와 같은 사용자는 실세계(402B)에 위치되는 동안 가상 세계(402A)를 지각할 수 있다. 일부 실시예에서, 실세계(402B)는 미리 결정된 차원(dimension)을 갖는 실세계에서 미리 결정된 공간을 나타낼 수 있다. 예를 들어, 실세계(402)는 사용자(204)가 가상 세계(402B)를 지각하기 위해 VR 시스템(206)을 사용할 때 사용자(204)가 위치될 수 있는 미리 결정된 공간일 수 있다. 일부 실시예에서, VR 시스템(206)은 가상 사용자가 가상 세계(402B)를 탐험하는 동안, 실세계(402B)가 미리 결정된 공간 내에서 사용자(204)를 지향하는데 사용되는 추적된 실세계 공간일 수 있도록, 룸 스케일 기능을 구현할 수 있다.

일부 실시예에서, 가상 세계(402A)에서 가상 사용자의 추적 및 가상 물체(404A)의 근접도를 기초로, 가상 사용자가 가상 물체(404A) 쪽으로 손을 뻗는 동안 사용자가 손을 뻗어 실세계 물체를 느낄 수 있도록, 실세계 물체(404B)는 사용자(204)에 상대적인 지점에 제공될 수 있다. 가상 사용자가 가상 세계(402A)에 대해 이동할 때, 가상 사용자의 지점이 추적될 수 있다. 유사하게, 가상 물체(404A)에 대한 지점이 알려질 수 있거나, 또는 물체가 이동하는 경우, 이 지점은 추적될 수 있다. 가상 사용자의 지점이 가상 물체(404A)의 지점에 근접할 때, 실세계 물체(404B)는 사용자(204)에 대해 근접하게 제공될 수 있다.

일부 실시예에서, 실세계 물체(404B)는 표면(406B)을 포함할 수 있으며, 표면(406B)의 햅틱 특성은 가상 물체(404A)의 표면(406A)에 대한 햅틱 프로파일에 대응할 수 있다. 예를 들어, 표면(406A)에 대한 햅틱 프로파일은 가상 개(dog)의 것일 수 있고, 표면(406B)은 개의 촉감을 초래하는 대응하는 햅틱 특성을 가질 수 있다. 이들 햅틱 특성은 개의 털과 닮은 부드럽고 미세한 질감 및 동물과 닮은 따뜻한 온도를 포함할 수 있다. 다른 가상 물체(404A)는 다른 햅틱 프로파일을 갖는 다른 표면(406A)을 포함하고, 표면(406B)은 다른 대응하는 햅틱 특성을 가질 수 있다. 일부 실시예에서, 실세계 물체(404B)는 상이한 햅틱 특성을 갖는 복수의 표면을 사용자(204)에게 노출시킬 수 있는 햅틱 스워치일 수 있다.

일부 실시예에서, 햅틱 프로파일 데이터베이스는 햅틱 프로파일과, 햅틱 프로파일에 대응하는 실세계 햅틱 특성 사이의 연관 관계(associations)를 저장할 수 있다. 예를 들어, 가상 세계(402A)는 VR 게임과 같은 애플리케이션 또는 환경과 연관될 수 있다. VR 게임은 복수의 미리 결정된 햅틱 프로파일을 갖는 표면을 점유하는 복수의 미리 결정된 가상 물체를 포함할 수 있다. 데이터베이스는 복수의 미리 결정된 햅틱 프로파일과 실세계 햅틱 특성을 연관시킬 수 있다. 예를 들어, 열 개의 햅틱 프로파일의 세트는 매끄럽고 단단한 금속 표면을 특징으로 하는 제1 햅틱 프로파일, 및 질감이 있고 부드러운 플러시(plush) 표면을 특징으로 하는 제2 햅틱 프로파일을 포함할 수 있다.

데이터베이스는 제1 햅틱 프로파일과 실세계 햅틱 특성인 "매끄러움", "단단함" 및 "금속성" 사이의 연관관계 및, 제2 햅틱 프로파일과 실세계 햅틱 특성인 "질감이 있음", "부드러움", 및 "플러시" 사이의 연관관계를 저장할 수 있다. 제1 햅틱 프로파일에 대응하는 실세계 물체(404B)를 제공할 때, 매끄럽고 단단하며 금속성(metallic)인 햅틱 특성을 갖는 표면을 포함하는 햅틱 스워치가 사용될 수 있다. 여기서, 데이터베이스가 실세계 물체 또는 표면이 아닌, 실세계 햅틱 특성과 햅틱 프로파일 사이의 연관관계를 저장하기 때문에, 매끄럽고 단단하며 금속성인 어느 물체 또는 표면이 사용될 수 있다. 일부 실시예에서, 햅틱 스워치는 또한, 질감이 있고 부드러운 플러시 표면을 포함할 수 있다. 따라서, 주어진 햅틱 스워치는 미리 결정된 햅틱 프로파일의 세트 중에서 복수의 햅틱 프로파일에 대응하는 상이한 햅틱 특성을 갖는 표면을 제공하도록 사용될 수 있다.

일부 실시예에서, 제1 실세계 표면은 햅틱 특성을 포함하는 실세계 표면의(예를 들어, 햅틱 스워치의) 세트 중에서 주어진 햅틱 프로파일에 대해 선택될 수 있다. 예를 들어, 제1 실세계 표면은 제1 실세계 표면 및 햅틱 프로파일의 복수의 햅틱 특성 사이의 대응관계(correspondences)를 기초로 햅틱 프로파일에 대해 선택될 수 있다. 일부 실시예에서, 미리 결정된 실세계 표면의 세트의 햅틱 특성은 유사도를 결정하기 위해 (예를 들어, 연관관계의 데이터베이스로부터 접근 가능한) 햅틱 프로파일과 연관된 햅틱 특성에 비교될 수 있으며, 여기서 제1 실세계 표면은 제1 실세계 표면의 햅틱 특성과 햅틱 프로파일의 연관된 햅틱 특성 사이의 유사도를 기초로 햅틱 프로파일에 대해 선택된다. 예를 들어, 제1 실세계 표면과 햅틱 프로파일 사이의 유사도는 햅틱 프로파일과 연관된 햅틱 특성과 제1 실세계 표면의 햅틱 특성 사이의 매치(match)의 개수일 수 있다.

예를 들어, 햅틱 스워치는 각각 상이한 햅틱 특성을 갖는 세 개의 표면을 포함할 수 있다. 제1 표면은 부드럽고, 털로 덮여있으며 푹신푹신할(spongy) 수 있고, 제2 표면은 부드럽고 벨벳 같으며(velvety), 플러시 천과 같을 수 있으며, 제3 표면은 단단하고, 금속 재질이며 매끄러울 수 있다. 이 예시에서, 라운지 의자인 가상 물체에 대한 가상 프로파일이 식별될 수 있다. 식별된 가상 프로파일은 부드럽고, 폴리에스테르 섬유이며 플러시 천과 같은 (예를 들어, 데이터베이스에 저장된) 햅틱 특성 연관관계를 포함할 수 있다. 세 개의 햅틱 표면의 햅틱 특성은, 제1 표면이 하나의 매칭 특성을 갖고, 제2 표면이 두 개의 매칭 특성을 가지며, 제3 표면이 어떤 매칭 특성도 갖지 않는 것을 결정하기 위해, 식별된 가상 프로파일의 햅틱 특성 연관관계에 비교될 수 있다. 일 실시예에서, 각 표면과 프로파일 사이의 유사도는 매칭 특성의 개수를 기초로 한다. 따라서, 제2 표면이 식별된 프로파일에 가장 유사하다는 것이 결정될 수 있어서, 제2 표면이 선택될 수 있다. 일부 실시예에서, 제공된 실세계 물체(404B)(예를 들어, 햅틱 스워치)는 선택된 표면을 포함할 수 있다.

일부 실시예에서, 햅틱 프로파일에 대해 연관된 햅틱 특성은 표면이 햅틱 프로파일에 매칭하도록 가중되거나 또는 강제될 수 있다. 예를 들어, 위의 프로파일에서 부드러운 것은 매칭을 위해 가중되거나 또는 강제되는 것으로 선언될 수 있으며, 따라서 햅틱 프로파일에 대해 선택된 표면은 또한, 부드럽도록 요구될 수 있다. 일부 실시예에서, 표면에 대한 햅틱 특성 및 프로파일에 대한 연관된 햅틱 특성은 유사한 특성을 식별할 수 있지만, 상이한 언어를 언급(recite)할 수 있다. 예를 들어, 비단 같은(silky) 표면은 또한, 부드러운 것으로 여겨질 수 있다. 햅틱 특성을 비교할 때, 동의어 사전 및/또는 기술자(descriptor)의 계층 (예를 들어, "부드러운(soft)"이 부모일 때 "비단 같은(silky)"은 자식을 나타냄) 이 유사도를 결정하기 위해 접근될 수 있다.

일부 실시예에서, 햅틱 스워치 또는 하나 이상의 햅틱 스워치에 대한 표면은 가상 세계(402A)에 대한 햅틱 프로파일의 미리 설정된 세트를 기초로 선택될 수 있다. 예를 들어, 열 개의 햅틱 프로파일의 세트가 미리 결정된 경우, 열 개의 햅틱 프로파일에 대응하는 햅틱 특성을 갖는 표면을 포함하는 햅틱 스워치가 선택될 수 있거나, 또는 주어진 햅틱 스워치에 대해, 열 개의 햅틱 프로파일에 대응하는 햅틱 특성을 갖는 표면이 선택될 수 있다.

일부 실시예에서, 미리 결정된 세트에서 상이한 햅틱 프로파일의 개수는 상이한 대응하는 실세계 표면의 개수보다 많을 수 있다. 예를 들어, 실세계 표면은 두 개의 상이한 햅틱 프로파일에 대응할 수 있어서, 단일 실세계 표면은 햅틱 상호작용을 위해 상이한 햅틱 프로파일에 대응하는 가상 물체과 함께 제공될 수 있다. 이 예시에서, 주어진 가상 세계에 대한 세트에서 미리 결정된 햅틱 프로파일의 개수는 햅틱 프로파일의 세트에 대응하는 햅틱 특성을 갖는 표면의 개수보다 많을 수 있다. 풍부한 햅틱 상호작용을 제공하는 VR 시스템에 대한 잠정적인 한계는 주어진 햅틱 스워치가 제한된 개수의 실세계 표면을 포함할 수 있다는 것이다. 따라서, 주어진 스워치에 대해 주어진 표면이 다수의 햅틱 프로파일에 대응할 수 있을 때, 스워치는 더욱 큰 가상 세계 물체의 다양성을 위해 풍부한 햅틱 상호작용을 제공할 수 있다.

일부 실시예에서, 가상 현실 환경에서 복수의 가상 물체 중에서 가상 물체의 세트는 미리 결정된 실세계 표면의 세트 중 적어도 하나에 매칭하는 햅틱 프로파일 및 연관된 햅틱 특성을 갖는 것으로 식별될 수 있다. 예를 들어, 서술된 유사도 매치를 기초로, 가상 현실 환경 내의 물체의 세트에 대한 햅틱 프로파일은 각각 햅틱 스워치의 표면에 대한 햅틱 특성에 비교될 수 있다. 일부 실시예에서, 가상 물체의 서브세트는 표면 중 하나에 매치하는 햅틱 프로파일을 가질 것이고, 이들 가상 물체는 가상 사용자와의 햅틱 상호작용이 이용 가능한 물체로 식별될 수 있다. 예를 들어, 가상 물체는 햅틱 상호작용의 이용도를 나타내는 (예를 들어, 성장할 수 있는, 색이 있는 표시에 근접할 수 있는 등의) 지시자와 함께 디스플레이 될 수 있다.

일부 실시예에서, 햅틱 프로파일은 미디어 특성(예를 들어, 오디오 및/또는 비디오)을 더 포함할 수 있다. 예를 들어, 하나 이상의 가상 물체는 오디오 및/또는 비디오와 연관될 수 있다. 다른 예시에서, 물리적 스워치 그 자신은 스피커 및/또는 하나 이상의 디스플레이(예를 들어, HMD)를 사용하여 하나 이상의 미디어 물체의 렌더링과 함께 제공될 수 있다. 여기서, 스피커는 스워치에 통합되거나 또는 다른 방식으로 제공될 수 있거나, 또는 대안적으로 스피커는 다른 곳에(예를 들어, HMD에 부착되어) 제공될 수 있다. 다양한 구성에서, 미디어 특성은 지각된 햅틱 상호작용을 개선하기 위해 사용될 수 있다.

일부 실시예에서, 실세계 물체(404B)를 제공할 때, 가상 사용자와 가상 물체(404A)의 상대적인 가상 지점은 사용자(204)와 실세계 물체(404B) 사이의 상대적인 실세계 지점에 대응할 수 있다. 즉, 가상 사용자에 상대적인 가상 물체(404A)에 대한 상대적인 지점은 사용자(204)에 상대적인 실세계 물체(404B)에 대한 상대적인 지점에 대응할 수 있다. 예를 들어, 가상 사용자와 가상 물체(404A) 사이의 추적된 거리는 예를 들어, 실세계 물체(404B)의 제공된 지점을 기초로, 사용자(204)와 실세계 물체(404B) 사이의 거리에 비례할 수 있다. VR 시스템(206)은 입력점(202), 추가적인 센서 또는 센서의 세트 등을 사용하는 것과 같이, 통상의 기술자에게 알려진 어느 적합한 추적 기법을 사용하여 사용자(204)의 이동을 추적할 수 있다. 사용자(204)의 추적을 기초로, 가상 세계(402A)에서 대응하는 가상 사용자의 지점이 추적될 수 있다. 가상 물체(404A)는 정적일 수 있거나, 또는 예를 들어, 게임 또는 애플리케이션 내의 미리 결정된 움직임을 기초로, 또는 다른 가상 사용자(예를 들어, 사용자(204)에 대해 유사하게 추적된 가상 세계(202A) 내의 다른 사용자)에 대한 추적을 기초로, VR 시스템(206)에 의해 추적될 수 있다. 추적된 지점을 사용하여, 가상 사용자에 상대적인 가상 물체(404A)에 대한 상대적인 가상 지점이 결정될 수 있고, 실세계 물체(404B)는 상대적인 가상 지점을 기초로, 사용자(204)에 상대적인 지점에 제공될 수 있다.

일부 실시예에서, 가상 사용자의 부속 기관(예를 들어, 손, 손가락 등)에 상대적인 가상 물체(404A)의 상대적인 가상 지점은 사용자(204)의 부속 기관에 상대적인 실세계 물체(404B)에 대해 상대적인 실세계 지점에 대응할 수 있다. 도 4c는 다양한 실시예에 따라, 가상 물체와 가상 세계, 및 대응하는 실세계 물체와 실세계의 도면을 도시한다. 가상 사용자의 가상 부속 기관(410)은 가상 물체(404A) 및 가상 표면(406A)에 대한 상대적인 가상 지점을 갖는다. 유사하게, 실세계 물체(404B)는 (예를 들어, 사용자(204)의) 실세계 부속 기관(412)에 상대적인 실세계 물체(404B)(및 실세계 표면(406B))의 상대적인 실세계 지점이 상대적인 가상 지점에 대응하도록 일 지점에 제공될 수 있다. 일부 실시예에서, 장갑 또는 웨어러블이 사용자(204)의 부속 기관(예를 들어, 손 또는 손가락)에 대한 가상 및 실세계 지점을 추적하는데 사용될 수 있고, 실세계 물체(404B)에 대한 지점은 도 3을 참조로 서술한 바와 같이 추적된 부속 기관에 상대적으로 제공될 수 있다.

일부 실시예에서, 장치(408)는 사용자(204)에 상대적인 (또는 사용자의 부속 기관에 상대적인) 지점에 실세계 물체(404B)를 제공할 수 있다. 예를 들어, 장치(408)는 햅틱 스워치와 같은 물체를 실세계(402B) 내의 다양한 지점으로 이동시킬 수 있는 로봇 조립체일 수 있다. 다른 예시에서, 장치(408)는 이러한 물체를 실세계(402B) 내의 다양한 지점으로 이동시키는 드론일 수 있다. 장치(408)의 기능은 아래에서 도 5 내지 도 10을 참조로 더 상세히 서술될 것이다.

일부 실시예에서, 장치(408)는 사용자(204)의 이동과 함께 실세계 물체(404B)를 이동시킬 수 있다. 예를 들어, 룸-스케일 기능이 VR 시스템(206)에 의해 구현될 때, 사용자(204)는 실세계(402B)에 대해 이동할 수 있다. 일부 실시예에서, 사용자(204)가 이동할 때, 장치(408)는 (예를 들어, 가상 상대적인 지점에 대응하는) 상대적인 배치를 유지하기 위해, 실세계 물체(404B)를 다시 배치한다. 예를 들어, 장치(408)는 사용자가 물체를 막연히 느끼는 것을 허용하도록 사용자(204)와 동일한 페이스로 실세계 물체(404B)를 이동시킬 수 있다.

도 5a 내지 도 5b는 다양한 실시예에 따라 가상 세계를 기초로 풍부한 햅틱 상호작용을 제공하는 흐름도이다. 일부 실시예에서, 아래의 도 5a, 도 5b 및 도 7 내지 도 10의 도면의 기능은 메모리 또는 다른 컴퓨터 판독가능 또는 유형의 매체에 저장된 소프트웨어에 의해 구현되고 프로세서에 의해 실행된다. 다른 실시예에서, 기능은 (예를 들어, 애플리케이션 특정 집적회로(application specific integrated circuit, "ASIC"), 프로그래머블 게이트 어레이(programmable gate array, "PGA"), 필드 프로그래머블 게이트 어레이(field programmable gate array, "FPGA") 등의 사용을 통해) 하드웨어에 의해, 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다.

502에서, 가상 공간에서 가상 사용자의 지점 또는 위치가 결정된다. 예를 들어, 도 2의 사용자(204)를 나타내는 가상 사용자의 지점 또는 위치가 가상 세계(402A) 내에서 결정될 수 있다. 가상 지점은 예를 들어, 입력점(202) 또는 다른 센서를 사용하여 사용자(204)의 이동을 추적하는 것을 기초로 결정될 수 있다. 504에서, 실세계(402B)와 같은 실제 공간 내의 사용자(204)의 지점이 결정된다. 가상 지점과 유사하게, 실세계 지점은 예를 들어, 입력점(202) 또는 다른 센서를 사용하여 사용자(204)의 이동을 추적하는 것을 기초로 결정될 수 있다.

506에서, 사용자(204)의 입력 또는 말단(extremity)의 지점 또는 위치가 결정된다. 예를 들어, 사용자(204)의 부속 기관(예를 들어, 손, 손가락 등)은 실세계 부속 기관(412) 및 가상 세계 부속 기관(410)의 지점 또는 위치가 결정될 수 있도록 추적될 수 있다.

508에서, 가상 물체 및/또는 가상 표면의 지점 또는 위치가 결정된다. 예를 들어, 가상 세계(402A)는 VR 게임과 같이, 하나 이상의 가상 물체(404A) 및 하나 이상의 가상 표면(406A)을 포함하는 VR 애플리케이션의 일부일 수 있다. 가상 물체 및 연관된 가상 표면의 지점 또는 위치는 예를 들어, VR 게임에서 발생하는 이벤트를 기초로 추적될 수 있다.

510에서, 가상 물체 및/또는 표면은 햅틱 스워치와 같이 실세계 물체 또는 표면의 햅틱 프로파일 및 대응하는 햅틱 특성과 상호 참조될 수 있다. 예를 들어, 가상 물체(404A)와 같은 하나 이상의 가상 물체에 대한 햅틱 프로파일은 가상 세계(402A) 내에서 결정될 수 있다. 가상 물체(404A)의 가상 표면(406A)과 같이, 가상 물체의 가상 표면과 햅틱 프로파일 사이의 연관관계는 미리 결정될 수 있다. 일부 실시예에서, 가상 세계(402A) 내에서 가상 표면에 대한 햅틱 프로파일은 예를 들어, 가상 세계(402A)에서 가상 사용자의 지점 또는 위치를 기초로 결정되고, 실세계 물체에 대한 햅틱 특성과 상호 참조될 수 있다.

예를 들어, 실세계(402B)는 햅틱 스워치와 같은 하나 이상의 실세계 물체(404B) 및 하나 이상의 실세계 표면(406B)을 포함할 수 있다. 일부 실시예에서, 가상 세계 물체 또는 표면은 햅틱 프로파일과 연관될 수 있으며, 실세계 물체 또는 표면에 대한 햅틱 특성과 햅틱 프로파일 사이의 연관관계가 저장될 수 있다.

512에서, 가상 물체, 햅틱 프로파일 및 연관된 햅틱 특성을 기초로, 가상 물체에 대한 햅틱 프로파일에 대응하는 실세계 물체 또는 표면이 선택될 수 있다. 예를 들어, 가상 물체(404A) 또는 가상 표면(406A)의 햅틱 프로파일에 대응하는 실세계 물체(404B) 또는 실세계 표면(406B)이 선택될 수 있다. 일부 실시예에서, 실세계 물체(404B)(및 실세계 표면(406B))과 가상 물체(404A)(및 가상 표면(406A)) 사이의 대응관계는 VR 세션의 런타임(run-time) 이전과 같이, 미리 결정될 수 있다.

514에서, 가상 물체 또는 표면의 각각이 지면에 기초를 두었는지(grounded)가 결정된다. 예를 들어, 가상 물체(404A)는 동물과 같은 이동 물체 또는, 빌딩과 같이 지면에 기초를 둔 비-이동 물체에 대응할 수 있다. 가상 물체(404A)가 지면에 기초를 둔 것으로 결정될 때, 흐름은 516으로 이동한다. 가상 물체(404A)가 지면에 기초를 두지 않은 것으로 결정될 때, 흐름은 524로 이동한다.

516에서, 주어진 실세계 물체에 대해, 가상 물체(404A)를 모의하기 위해 제공된 실세계 물체(404B)는 지면에 기초를 둘 것으로 결정된다. 일부 예시에서, 실세계 물체(404B)는 햅틱 스워치일 수 있다. 518에서, 풍부한 햅틱 상호 작용이 범위 내에 있도록, 가상 사용자 또는 가상 부속 기관(410)이 가상 물체(404A)에 근접한지가 결정된다. 예를 들어, 가상 물체(404A) 및/또는 가상 표면(406A)은 가령, 가상 물체(404A)와 가상 부속 기관(410) 사이의 가상 거리가 임계 거리 이하일 때 (예를 들어, 각각의 추적된 지점을 기초로) 가상 사용자 또는 가상 부속 기관(410)에 근접한 것으로 결정될 수 있다. 가상 사용자 또는 가상 부속 기관(410)이 가상 물체(404A)에 근접한 것으로 결정될 때, 흐름은 520로 이동된다. 가상 사용자 또는 가상 부속 기관(410)이 가상 물체(404A)에 근접하지 않은 것으로 결정될 때, 흐름은 522로 이동한다.

520에서, 선택된 실세계 표면을 갖는 정적 물체는 사용자(204)에 상대적으로 제공되며, 그 지점에 유지된다. 예를 들어, 실세계 물체(404B)는 가상 물체(404A) 및/또는 가상 표면(406A)에 대해 선택된 표면에 대응하는 실세계 표면(406B)을 포함하는 정적 또는 지면에 기초를 둔 햅틱 스워치일 수 있다. 장치(408)는 사용자(204)에 상대적인 일 지점에 실세계 물체(404B) 및 실세계 표면(406B)을 제공할 수 있다. 예를 들어, 장치(408)는 실세계 표면(406B)이 풍부한 햅틱 상호작용을 위해 사용자(204)에게 노출되도록, 실세계 물체(404B)를 사용자(204)에 상대적인 지점으로 이동시키고 물체를 배치하는 로봇 조립체일 수 있다.

일부 실시예에서, 사용자(204)(및/또는 실세계 부속 기관(412))에 상대적인 실세계 물체(404B)에 대한 각도는 가상 사용자(및/또는 가상 부속 기관(410))에 상대적인 가상 물체(404A)에 대한 각도를 기초로, 예를 들어, 각각의 추적된 지점을 기초로, 결정될 수 있다. 장치(408)는 결정된 각도로 실세계 물체(404B)를 배치할 수 있으며 따라서, 가상 사용자가 가상 물체(404A)를 접촉하도록 손을 뻗을 때, 사용자(204)는 실세계 부속 기관(412)을 뻗어서, 실세계 물체(404B)를 예측된 각도로 터치한다.

522에서, 실세계 물체(404B)는 사용자(204)에 근접한 지점으로부터 제거되거나, 또는 실세계 물체(404B)는 사용자(204)에 근접한 지점에 제공되지 않는다. 가상 물체(404A)가 가상 사용자에게 근접하지 않기 때문에, 실세계 물체(404B)는 풍부한 햅틱 상호작용을 위해 요구되지 않는다, 520 및 522에서, 실세계 물체(404B)가 배치되거나, 이동되거나 또는 제거되는지를 결정하기 위해, (예를 들어, VR 게임에서) 이벤트를 기초로 또는 미리 결정된 간격으로 518에서의 결정이 재결정된다.

524에서, 주어진 실세계 물체에 대해, 가상 물체(404A)를 모의하기 위해 제공된 실세계 물체(404B)는 동적이라는 것(예를 들어, 지면에 기초를 두지 않은 것)이 결정된다. 일부 예시에서, 실세계 물체(404B)는 이동 가능하거나 및/또는 동적 성능을 갖는 햅틱 스워치일 수 있다.

526에서, 풍부한 햅틱 상호작용이 범위 내에 있도록 가상 사용자 또는 가상 부속 기관(410)이 가상 물체(404A)에 근접한지의 여부가 결정된다. 예를 들어, 가상 물체(404A) 및/또는 가상 표면(406A)은 가령, 가상 물체(404A)와 가상 부속 기관(410) 사이의 가상 거리가 임계 거리 이하일 때 (예를 들어, 각각의 추적된 지점을 기초로) 가상 사용자 또는 가상 부속 기관(410)에 근접한 것으로 결정될 수 있다. 가상 사용자 또는 가상 부속 기관(410)이 가상 물체(404A)에 근접한 것으로 결정될 때, 흐름은 528로 이동된다. 가상 사용자 또는 가상 부속 기관(410)이 가상 물체(404A)에 근접하지 않은 것으로 결정될 때, 흐름은 530으로 이동된다.

528에서, 실세계 표면(406B)을 갖는 실세계 물체(404B)는 사용자(204)의 추적된 지점에 상대적으로 제공되며, 실세계 물체는 동적인 가상 물체(404A)에 대응한다. 동적 가상 물체는 가상 세계(402A)에 대해 이동될 수 있으며, 따라서 실세계 물체(404B)는 가상 사용자가 동적 가상 물체와 상호작용할 때 풍부한 햅틱 상호작용을 제공하도록 더 이동될 수 있다.

일부 실시예에서, 장치(408)는 가상 사용자에 상대적인 가상 물체(404A)의 이동을 모의하기 위해 실세계 물체(404B)를 이동시키도록 구성될 수 있다. 예를 들어, 동적 상대적인 지점을 결정하기 위해 가상 사용자(또는 가상 부속 기관(410)) 및 가상 물체(404A)의 이동이 추적될 수 있다. 장치(408)는 동적인 상대적인 지점을 모의하는 실세계 부속 기관(412)에 상대적인 지점에 실세계 물체(404B)를 제공할 수 있다. 예를 들어, 제공하는 것은 실세계 부속 기관(412)에 상대적인 물체의 지점 및 각도가 동적 상대적인 지점을 모의하도록 실세계 물체(404B)를 계속 이동시키거나 및/또는 회전시키는 것을 포함할 수 있다. 장치(408)는 실세계 물체(404B)를 이동시키거나 및/또는 계속 이동시키는 로봇 조립체, 드론 또는 어느 다른 적합한 디바이스일 수 있다.

530에서, 실세계 물체(404B)는 예를 들어, 가상 사용자 또는 가상 물체(404A)의 추적된 이동을 기초로 재배치된다. 가상 물체(404A)가 가상 사용자에 근접하지 않을 때, 실세계 물체(404B)는 물체가 풍부한 햅틱 상호작용을 위해 요구되지 않기 때문에, 사용자(204)로부터 떨어지게 재배치될 수 있다. 다른 예시에서, 가상 물체(404A)는 전후방으로 예를 들어, 가상 사용자 쪽으로 및 그로부터 떨어지게 이동될 수 있어서, 실세계 물체(404B)는 가상 물체(404A)의 근접도가 이러한 기능을 트리거할 때 사용자에게 풍부한 햅틱 상호작용을 제공하도록 사용자(204) 근처에서 유지될 수 있다.

일부 실시예에서, 가상 물체(404A)는 실세계(402B)에서 실세계 물체(404B)의 상대적인 지점을 기초로 가상 세계(402A)에 배치될 수 있다. 예를 들어, 실세계 물체(404B)는 사용자(204)의 좌측에 배치될 수 있으며, 따라서 가상 물체(404A)는 사용자(204)를 나타내는 가상 사용자의 좌측에 배치될 것이다.

일부 실시예에서, 실세계 물체(404B) 및/또는 실세계 표면(406B)은 사용자(204)에 대한 동작 햅틱 상호작용을 제공할 수 있다. 예를 들어, 실세계 표면(406B)은 정적 햅틱 특성(예를 들어, 질감)을 포함할 수 있는 작동된 표면일 수 있으며, 동적 햅틱 특성(예를 들어, 작동 기능, 진동촉감 기능, 온도 조절, 변형 가능성 등)을 더 포함할 수 있다. 일부 실시예에서, 이러한 동적 햅틱 특성은 실세계 물체의 햅틱 특성 중 일부일 수 있고, 이들 동적 햅틱 특성은 하나 이상의 가상 물체에 대한 햅틱 프로파일과 연관될 수 있다. 변형, 온도 변화, 작동 등과 같은 동적 햅틱 효과는 VR 게임에서 대응하는 효과(예를 들어, 가상 물체(404A)의 대응하는 동작 또는 이에 대한 변화)와 동기화되어 실세계 물체(404B)에 의해 렌더링될 수 있다. 일부 실시예에서, 장치(408)는 가상 사용자에 대한 일정 조건/이의 경험을 모의하기 위해 물 입자, 연무/습기, 뜨겁거나 차가운 공기, 또는 바람과 같은 다른 햅틱 물질을 방출할 수 있다.

일부 실시예에서, 실세계 물체(404B)의 움직임, 또는 실세계 물체(404B)에 의해 가해지는(예를 들어, 사용자(204) 또는 사용자(204)의 부속 기관 상에 가해지는) 힘은 가상 물체(404A)의 강도를 모의하는데 사용될 수 있다. 예를 들어, 장치(408)는 실세계 물체(404B)를 이동시키거나, 또는 사용자(204)에 의해 가해지는 힘에 반대되는 저항력을 실세계 물체(404B) 상에 가할 수 있다. 일부 실시예에서, 장치(408)에 의해 초래된 이동 또는 저항력은 가상 물체(404A)와 사용자(204)를 나타내는 가상 사용자 사이의 가상 거리가 임계 거리 이하인 것의 결정에 의해 트리거될 수 있다. 예를 들어, 가상 물체(404A)와 가상 사용자 사이의 가상 거리가 임계치 이하일 때, 이는 가상 사용자가 가상 물체(404A)와 상호작용하려는 것(예를 들어, 터치하려는 것)을 의미할 수 있으며, 따라서 실세계 물체(404B)는 가상 사용자와 가상 물체(404A) 사이의 상호작용을 모의하기 위해 장치(408)에 의해 이동될 수 있다.

일부 실시예에서, 범선의 돛과 같이 변형 가능한 물체를 모의하기 위해, 장치(408)는 변형이 불가능한 딱딱한 표면을 갖는 실세계 물체(404B)를 제공할 수 있고, 장치(408)는 실세계 물체(404B)를 후방으로 이동시켜, 실세계 물체(404B)가 변형 가능하다는 환영(illusion)을 생성할 수 있다. 즉, 후방으로의 실세계 물체(404B)의 이동은 물체가 그보다, 더욱 변형 가능하거나 가요성이 있는 것처럼 느껴지게 한다. 다른 예시에서, 딱딱한 물체를 모의하기 위해, 장치(408)는 가요성을 갖는 실세계 물체(404B)를 제공할 수 있으며, 장치(408)는 사용자(204) 쪽으로 실세계 물체(404B)를 이동시켜, 실세계 물체(404B)가 그보다 더욱 딱딱하거나 또는 더욱 단단하다는 환영을 생성할 수 있다. 이 실시예에서, 실세계 물체(404B)의 이동은 가상 물체(404A)의 정적 햅틱 특성인 강도를 모의한다.

일부 실시예에서, 실세계 물체(404B) 및/또는 장치(408)는 사용자(204) 또는 실세계 부속 기관(412)으로부터 힘을 검출하는데 사용될 수 있다. 예를 들어, 실세계 물체(404B) 및/또는 장치(408)에서 센서는 힘 피드백을 검출하는데 사용될 수 있다. 일부 실시예에서, 힘 피드백은 가상 물체(404A)로부터의 반응과 같이, VR 게임에서 대응하는 응답을 유발할 수 있다. 일부 실시예에서, 장치(408)는 예를 들어, VR 게임에서 대응하는 동작을 기초로, 사용자(204) 및/또는 실세계 부속 기관(412)에 힘을 가하는데 더 사용될 수 있다.

일부 실시예에서, 장치(408)는 VR 시스템(206)에 대한 룸-스케일 기능을 구현하기 위해 장착된 움직임 추적 디바이스(예를 들어, 에미터(emitters) 및/또는 센서)를 구비할 수 있다. 따라서, 장치(408)는 사용자의 이동 및 제스처가 추적될 수 있도록, (예를 들어, 건물 또는 유사한 개방된 공간을 통해) 사용자(204)를 계속 추적할 수 있다.

도 6은 다양한 실시예에 따라 풍부한 햅틱 상호작용을 제공하는 예시적인 드론 구비 시스템을 도시한다. 도 6은 햅틱 상호작용을 제공하는 물리적 형태를 포함하는 실세계 물체(404B)뿐만 아니라, 실세계 물체(404B)의 형태를 변경하는데 사용될 수 있는 작동/변형 구성요소(604)를 도시한다. 작동/변형 구성요소(604)는 사용자가 예를 들어, 실세계 부속 기관(412)을 사용하여 실세계 물체(404B)와 상호작용할 때 물체 이동과 같은 추가적인 햅틱 상호작용을 제공할 수 있다.

도 5를 참조로 서술된 바와 같이, 추적된 지점을 기초로, 실세계 물체(404B)는 가상 사용자에 상대적인 가상 물체(404A)에 대한 가상 상대적인 지점에 대응하는, 사용자(204)에 상대적인 실세계 지점에 제공될 수 있다. 도 6은 가상 세계 물체(404A)에 상대적인 가상 세계 지점에 대응하는 상대적인 실세계 위치로 실세계 물체(404B)를 이동시키는 드론(604)을 도시한다. 드론(604)은 트리콥터(tricopter), 쿼드콥터(quadcopter), 헥스콥터(hexcopter), 악토콥터(octcopter), 단거리, 근거리, 초단거리, 소형, 중형 대형, 어느 적합한 전달 드론 등과 같이, 햅틱 상호작용 표면을 갖는 물체를 이동시키는데 사용될 수 있는, 통상의 기술자에게 알려진 어느 적합한 드론일 수 있다.

일부 실시예에서, 복수의 드론은 사용자(204)에게 풍부한 햅틱 상호작용을 제공하는데 사용될 수 있다. 예를 들어, 가상 사용자는 복도에 있을 수 있으며, 따라서 실세계 물체는 복도의 벽을 나타내기 위해 사용자(204)의 각 측 상에서 다수의 드론에 의해 배치될 수 있다. 다른 예시에서, 햅틱 효과는 일 기간에 걸쳐 사용자(204)가 겪을 수 있으며, 복수의 드론은 그 기간에 걸쳐 효과를 달성하도록 구현될 수 있다. 이들 햅틱 효과 중 하나는 거미줄(web)과 유사한 재료를 통해 걷는 느낌을 포함할 수 있으며, 복수의 드론은 사용자가 이동할 때 사용자(204)의 경로에 거미줄과 유사한 실세계 재료를 유지한다(hold).

일부 실시예에서, 햅틱 효과는 사용자(204)의 하나 이상의 손가락에 제공될 수 있다. 예를 들어, 동적 햅틱 효과를 모의하기 위해 변형 가능하거나 또는 동적인 실세계 물체를 제공하는 것보다는, 복수의 드론이 사용자(204)의 하나 이상의 손가락에 조정된 햅틱 효과를 제공할 수 있다.

일부 실시예에서, 주어진 햅틱 효과에 대한 구성이 결정될 수 있다. 예를 들어, 주어진 햅틱 효과를 달성하는데 사용될 다수의 드론 및/또는 주어진 햅틱 효과를 달성하는데 사용되는 재료 또는 물체가 결정될 수 있다. 일부 실시예에서, 도 5a에 서술된 기법은 사용자(204)를 나타내는 가상 사용자에 대한 가상 상호작용을 모의하는 사용자(204)에 대한 실세계 햅틱 효과를 선택하는데 사용될 수 있고, 선택된 햅틱 효과에 대한 구성이 결정될 수 있다.

도 7은 다양한 실시예에 따라 드론을 사용하여 가상 세계를 기초로 하는 풍부한 햅틱 상호작용을 제공하는 흐름도이다. 예를 들어, 도 7의 흐름도는 선택된 햅틱 효과에 대한 구성을 결정하는데 사용될 수 있다. 702에서, 햅틱 효과가 단일 드론 또는 다수의 드론에 의해 달성될 것인지의 여부가 결정된다. 예를 들어, 벽의 존재를 모의하는 것과 같은 간단한 햅틱 효과는 단일 드론에 의해 달성될 수 있다. 하지만, 가상 사용자가 터치할 수 있는 다수의 팔을 갖는 생물의 이동을 모의하는 것과 같은 복잡한 햅틱 효과는 다수의 드론을 요구할 수 있다. 일부 실시예에서, 가상 물체의 이동이 단일 드론에 의해 모의될 수 있을 때 단일 드론이 햅틱 효과를 달성할 수 있음이 결정될 수 있고, 가상 물체의 이동이 다수의 드론에게 이동을 모의하도록 요구할 때 햅틱 효과를 달성하는데 다수의 드론이 필요함이 결정될 수 있다.

일부 실시예에서, 타임라인에 따라 물체 또는 재료를 떨어트리고 회수하는 것과 같이, 주어진 시간에 다수의 단계를 수반하는 햅틱 효과를 달성하기 위해 다수의 드론이 요구됨이 결정될 수 있다. 단일 드론이 햅틱 효과를 달성할 수 있음이 결정될 때, 흐름은 704로 이동된다. 햅틱 효과를 달성하기 위해 다수의 드론이 요구된다는 것이 결정될 때, 흐름은 706으로 이동된다.

704에서, 단일 드론(및 드론에 의해 운반되는 어느 물체/재료)이 사용자(204)에 상대적인 실세계 지점에 제공될 수 있다. 예를 들어, 도 5a 내지 도 5b를 참조로 서술된 상대적인 가상 지점 및 상대적인 실세계 지점에 유사하게, 단일 드론은 가상 물체(404A)를 모의하기 위해 사용자(204)에 상대적인 실세계 물체(404B)를 배치할 수 있다. 덧붙여, 도 5a 내지 도 5b를 참조로 서술된 기능과 유사하게, 상대적인 실세계 지점은 추적을 기초로 갱신될 수 있으며, 따라서 실세계 물체(404B)는 드론에 의해 재배치되거나, 또는 드론에 의해 제거될 수 있다.

706에서, 물체 또는 재료와의 물리적인 연결을 사용하여 다수의 드론에 의해 햅틱 효과가 달성되는지의 여부가 결정된다. 예를 들어, 일부 햅틱 효과는 어느 추가적인 물체 또는 재료 없이, 드론을 사용하여 달성될 수 있다. 일부 실시예에서, 드론은 가상 상호작용을 모의하는데 사용될 수 있는 액추에이터 또는 표면에 부착될 수 있다. 예를 들어, 드론은 질감이 없는 벽 또는 물체를 터치하는 것과 같이, 보통의 가상 상호작용을 모의하기 위해 매끄러운 표면에 부착될 수 있다.

일부 실시예에서, 드론은 주어진 햅틱 효과를 달성하기 위한 재료 또는 물체를 사용할 수 있다. 예를 들어, 복수의 드론은 가상 거미줄(web)을 통해 걷는 가상 경험을 모의하기 위해 사용자(204)의 경로에 거미줄과 유사한 재료를 배치할 수 있다. 다른 실시예에서, 햅틱 스워치와 같은 물체가 햅틱 효과를 달성하기 위해 사용될 수 있다. 수행될 햅틱 효과를 기초로, 물체 또는 재료가 필요한지의 여부가 결정될 수 있다. 햅틱 효과가 물체 또는 재료 없이 달성될 수 있다고 결정될 때, 흐름은 708로 이동된다. 햅틱 효과가 물체 또는 재료와의 물리적 연결을 사용하여 달성되는 것으로 결정될 때, 흐름은 710으로 이동된다.

708에서, 다수의 드론은 사용자(204)에 상대적인 실세계 지점에 배치될 수 있다. 예를 들어, 도 5a 내지 도 5b 및 704를 참조로 서술된 상대적인 가상 지점 및 상대적인 실세계 지점에 유사하게, 드론은 하나 이상의 가상 물체와의 상호작용을 모의하기 위해, 또는 가상 사용자에 대한 어느 다른 상호작용을 모의하기 위해 사용자(204)에 상대적으로 배치될 수 있다. 덧붙여, 도 5a 내지 도 5b를 참조로 서술된 기능에 유사하게, 상대적인 실세계 지점은 추적을 기초로 갱신될 수 있으며, 따라서 드론이 재배치될 수 있거나, 또는 사용자(204)로부터 떨어져서 이동될 수 있다.

710에서, 다수의 드론은 물체 또는 재료와 적합한 연결을 형성하도록 지시될 수 있다. 예를 들어, 하나 이상의 드론은 햅틱 스워치, 거미줄과 유사한 재료 또는 어느 다른 관련 물체 또는 재료를 운반하도록 지시될 수 있다. 일부 실시예에서, 다수의 드론은 거미줄과 유사한 재료의 가닥(strand)의 각 단부를 운반하는 드론의 세트와 같이, 단일 물체 또는 재료를 운반하도록 지시될 수 있다.

712에서, 다수의 드론은 연결된 재료 또는 물체가 의도된 햅틱 효과를 제공할 수 있도록, 사용자(204)에 상대적인 실세계 지점에 배치될 수 있다. 예를 들어, 도 5a 내지 도 5b, 704 및 708을 참조로 서술된 상대적인 가상 지점 및 상대적인 실세계 지점에 유사하게, 드론은 하나 이상의 가상 물체와의 상호작용을 모의하기 위해, 또는 가상 사용자에 대한 어느 다른 상호작용을 모의하기 위해 사용자(204)에 상대적인, 연결된 재료 또는 물체를 배치할 수 있다. 일부 실시예에서, 두 개의 드론의 세트는 사용자(204)를 나타내는 가상 사용자가 가상 거미줄을 터치할 때, 사용자(204)가 거미줄과 유사한 재료를 터치하도록, 거미줄과 유사한 재료를 운반하고 이를 사용자(204)의 각 측 상에 배치할 수 있다. 다양한 예시에서, 드론의 다수의 세트는 사용자(204) 주위의 다수의 거미줄을 모의하도록 구현될 수 있다.

714에서, 햅틱 효과가 렌더링 되었는지의 여부가 결정된다. 예를 들어, 배치된 드론 및 물체/재료 중 하나 이상이 사용자(204)에 대해 의도된 햅틱 효과를 렌더링하였는지의 여부가 결정된다. 위의 예시에서, 가상 사용자가 가상 거미줄을 터치하고 사용자(204)가 드론의 세트에 의해 유지되는, 대응하는 거미줄과 유사한 재료를 터치할 때, 햅틱 효과가 렌더링된 것임이 결정될 수 있다. 이러한 결정은 사용자(204), 드론 및 물체/재료, 가상 사용자, 가상 물체 및 어느 다른 적합한 요소의 추적을 기초로 이루어질 수 있다. 햅틱 효과가 렌더링된 것으로 결정될 때, 흐름은 716으로 이동된다. 햅틱 효과가 렌더링되지 않은 것으로 결정될 때, 흐름은 720으로 이동된다.

716에서, 재료는 햅틱 상호작용을 달성하기 위해 놓일 수 있다. 예를 들어, 거미줄과 유사한 재료를 운반하는 드론은 사용자(204)가 이를 터치할 때 재료를 놓으며, 따라서 가상 거미줄을 터치하는 가상 사용자의 경험을 모의할 수 있다. 718에서, 재료는 드론에 의해 재획득될 수 있다. 예를 들어, 놓여진 거미줄과 유사한 재료는 드론에 의해 재획득될 수 있다. 일부 실시예에서, 재획득된 재료는 추가적인 햅틱 상호작용을 위해 예를 들어, 추가적인 가상 거미줄을 모의하기 위해 재배치될 수 있다. 다른 예시에서, 재획득된 재료는 햅틱 효과가 필요치 않을 때(예를 들어, 가상 사용자가 추적을 기초로 결정되는, 가상 거미줄에 근접하지 않을 때) 제거될 수 있다.

720에서, 재료는 추적된 이동을 기초로 재배치될 수 있다. 예를 들어, 사용자(204), 드론 및 물체/재료, 가상 사용자, 가상 물체 및 어느 다른 적합한 요소는 VR 시스템에 의해 추적될 수 있다. 추적을 기초로, 드론 및 재료/물체는 사용자(204)에 대한 그의 상대적인 지점이 가상 사용자의 적합한 가상 상호작용을 모의하도록 재배치될 수 있다. 따라서, 햅틱 효과에 대한 구성은 하나 또는 다수의 드론을 사용하여 결정되고 실행될 수 있다.

일부 실시예에서, 로봇 조립체(예를 들어, 장치(408))는 드론에 의해 달성되는 일부 햅틱 효과에 유사한 햅틱 효과를 달성하는데 사용될 수 있다. 예를 들어, 로봇 조립체는 다수의 플랫폼(platforms), 암, 파지 부재(grasping members) 또는 어느 다른 적합한 구성요소를 포함할 수 있다. 일부 실시예에서, 사용자(204)를 나타내는 가상 사용자는 예를 들어, 사용자(204)/가상 사용자를 재지향하는 VR 시스템(예를 들어, 룸-스케일을 구현하는 VR 시스템)을 기초로 가상 거미줄 또는 거미집을 포함하는 통로를 따라 걸을 수 있다. 가상 거미줄과 가상 사용자의 상호작용을 모의하기 위해, 로봇 조립체는 사용자(204)에 가깝게 거미줄과 유사한 재료를 쥐고 있는 다수의 암 또는 플랫폼을 포함할 수 있다. 일부 실시예에서, 다수의 거미줄과 유사한 재료는 사용자(204)에 가깝게 배치될 수 있다. 가상 사용자가 가상 거미줄을 터치할 때, 로봇 조립체는 가상 경험을 모의하기 위해 거미줄과 유사한 재료를 놓을 수 있다. 일부 실시예에서, 거미줄과 유사한 재료는 재료 상에서 기어 다니는 거미를 모의하기 위해 액추에이터를 포함할 수 있다. 놓인 재료는 예를 들어, 지면에 떨어진 후에 로봇 조립체에 의해 추적되고 재획득될 수 있다. 거미줄과 유사한 재료는 그 후에 추가적인 햅틱 효과를 위해 사용자(204)에 대해 근접하게 재배치되거나 또는 제거될 수 있다.

일부 실시예에서, 복수의 소형 드론, 또는 곤충형 드론은 사용자(204)에게 햅틱 상호작용을 제공하는데 사용될 수 있다. 예를 들어, 사용자(204)의 손가락에 대한 지점은 예를 들어, 웨어러블 센서를 사용하여 추적될 수 있고, 곤충형 드론은 손가락 중 하나 이상에 햅틱 상호작용을 제공하는데 사용될 수 있다. 일부 구현에서, 곤충형 드론은 가령, 도 2의 입력점(202) 중 하나와 같이 웨어러블 또는 컨트롤러 내에서 또는 이에 부착되는 사용자(204) 근처의 홈 스테이션(home station)을 구비할 수 있다. 일부 실시예에서, 웨어러블 또는 센서는 사용자(204)의 하나 이상의 손가락을 추적하는데 사용될 수 있으며, 하나 이상의 드론은 추적을 기초로 손가락(들)에 상대적으로 배치될 수 있다. 예를 들어, VR 시스템(206)은 가상 사용자에 대한 가상 물체의 상대적인 지점을 기초로, 사용자(204)의 추적된 손가락에 상대적인 실세계 위치 정보를 복수의 드론에 제공할 수 있고, 가상 사용자의 이동, 가상 물체, 및 사용자(204)의 손가락의 이동을 기초로 갱신된 위치 정보를 더 제공할 수 있다. 일부 실시예에서, 3D 움직임 검출 카메라, 초음파 움직임 검출기, 수동형 적외선 센서 등의 사용을 포함하는 제스처 검출 기법 및/또는 소프트웨어가 사용자(204)의 손 및 손가락의 움직임을 추적하는데 사용될 수 있다. 검출된 제스처를 기초로, 드론은 그 자신을 재배치하여 관련 햅틱스 정보를 제공하도록 지시를 받을 수 있다.

도 8은 다양한 실시예에 따른, 드론을 사용하여 가상 세계를 기초로 하는 풍부한 햅틱 상호작용을 제공하는 상태도이다. 드론(604) 또는 유사한 드론(예를 들어, 곤충형 드론)과 같이 풍부한 햅틱 상호작용을 제공하는 드론은 슬립 모드(802), 활성 모드(active mode, 804) 및 동작 모드(action mode, 806)와 같이 다양한 상태를 가질 수 있다.

예를 들어, 드론(604) 또는 유사한 드론은 슬립 모드(802)에 있을 수 있으며, 이 모드에서 드론은 기지국에서 비활성이고, 808에서 활성화 명령(activation command)을 기다릴 수 있다. 일부 실시예에서, 기지국은 도 2의 입력점(202) 중 하나와 같은, 컨트롤러 또는 웨어러블 디바이스일 수 있다. 예를 들어, 팔찌, 장갑 또는 반지가 복수의 소형 또는 곤충형 드론에 대한 기지국일 수 있다. 일부 실시예에서, 드론은 기지국에서 슬립 모드로 있는 동안 충전될 수 있다. 활성화 명령은 가상 세계(402A)에서 가상 사용자의 이동을 기초로 예를 들어, 가상 사용자가 풍부한 햅틱 상호작용이 이용 가능한 환경에 들어가는 경우 송신될 수 있다. 일부 실시예에서, 활성화 명령은 사용자(204)가 물체와 상호작용하는 것을 나타내는 손 제스처(예를 들어, 사용자(204)가 물체를 터치하기 위해 팔을 뻗고 손을 올리는 것)와 같은, 사용자(204)의 하나 이상의 제스처를 기초로 트리거될 수 있다. 일부 실시예에서, 활성화 명령은 입력점(202) 중 하나에서 버튼, 트리거 또는 조이스틱의 작동을 기초로 트리거될 수 있다. 일부 실시예에서, 가상 사용자와 가상 물체(또는 가상 환경의 요소) 사이의 상호작용이 검출되면, 활성화 명령은 기지국에서 구동되는 알고리즘 또는 검출 소프트웨어에 의해 트리거될 수 있다. 예를 들어, 게이밍 콘솔 또는 다른 디바이스 상에서 VR/AR/MR 애플리케이션을 개시하는 것은 활성화 명령을 트리거할 수 있다. 일부 실시예에서, 가상 사용자는 가상 물체(404A)를 갖는 가상 세계(402A)를 겪을 수 있으며, 여기서 가상 물체는 햅틱 구역과 연관될 수 있다. 예를 들어, 가상 물체(404A)는 기하학적 구조(예를 들어, 삼차원 형태)에 의해 정의될 수 있으며, 햅틱 구역은 유사한 기하학적 구조(예를 들어, 가상 물체의 더욱 큰 삼차원 형태, 또는 직사각형, 정육면체, 구체 등과 같은 표준 삼차원 형태)를 갖는 가상 물체를 둘러싸고, 이보다 더욱 큰 영역일 수 있다. 일부 실시예에서, 활성화 명령은 가상 사용자(또는 가상 사용자의 부속 기관)가 가상 물체(404A)와 연관된 햅틱 구역과 교차하는 것(또는 이를 가로지르는 것)이 검출될 때 트리거될 수 있다.

810에서, 드론(604)은 활성화 명령을 수신하고 활성 모드(804)에 들어갈 수 있다. 예를 들어, 대기 시 사용자(204)에게 풍부한 햅틱 상호작용을 제공하는 드론을 배치하는 초기화 시퀀스가 수행될 수 있다. 812에서, 가령, 기지국에서 또는 사용자(204)에게 풍부한 햅틱 상호작용을 제공하는데 사용될 실세계 물체에 가까운 드론(604) 또는 유사한 드론이 활동되고 동작 명령을 기다릴 수 있다. VR 시스템(206)은 드론(604) 또는 유사한 드론에 활성화 명령을 송신할 수 있다.

814에서, 드론(604) 또는 유사한 드론은 위치 및 햅틱스 정보를 수신하고, 그 후에 동작 모드(806)로 진행할 수 있다. 예를 들어, 드론(604) 또는 유사한 드론은 위치 정보를 수신할 수 있어서, 드론이 VR 시스템(206)에 의해 추적되는 상대적인 가상 지점에 대응하는 사용자(204)에 상대적인 실세계 지점으로 이동하도록 지시된다. 드론(604) 또는 유사한 드론은 또한, 수신된 위치로 이동할 실세계 물체(예를 들어, 햅틱 스워치), 또는 가령, 그 위치에서의 작동 또는 일련의 작동을 수행하기 위한 작용과 같은 햅틱스 정보를 더 수신할 수 있다. 816에서, 드론(604) 또는 유사한 드론은 햅틱스 정보에 의해 나타난 햅틱 효과를 제공하기 위해 수신된 위치로 비행할 수 있다. 예를 들어, 사용자(204)가 손을 뻗어 터치하도록 햅틱 특성을 포함하는 표면을 갖는 햅틱 스워치가 제공될 수 있거나, 또는 사용자가 작용을 느낄 수 있도록 지시된 작용(예를 들어, 작동 효과(actuation effects))이 수행될 수 있다. 일부 실시예에서, 드론(604) 또는 유사한 드론은 갱신된 위치 및 햅틱스 정보를 수신하여 갱신된 위치로 재배치될 수 있고, 갱신된 정보를 기초로 관련 햅틱 효과를 제공/생성할 수 있다.

818에서, 드론(604) 또는 유사한 드론은 활성 모드로 돌아가기 위한 명령을 수신하거나, 햅틱 상호작용 타이머가 만기되었음을 결정할 수 있다. 가상 사용자 또는 가상 물체(404A)의 이동을 기초로, 드론(604) 또는 유사한 드론은 활성 모드로 되돌아가도록 지시될 수 있다. 활성 모드(804)에서, 드론(604) 또는 유사한 드론은 슬립 타이머의 만기를 기다릴 수 있고, 820에서 슬립 타이머가 만기되었음을 결정할 수 있다. 슬립 타이머가 만기된 후에, 드론(604) 또는 유사한 드론은 예를 들어, 미리 결정된 기지국에서 슬립 모드(802)로 돌아갈 수 있다.

예시적인 구현에서, 소형 또는 곤충형 드론은 가령, 그의 입, 다리, 날개, 몸체, 케이싱, 뒤 또는 어느 다른 적합한 지점 상에 하나 이상의 얇고 작은 액추에이터를 구비할 수 있다. 그 후, 이들 드론은 관련 지점으로 비행하고, 사용자(204)에 대한 햅틱 효과를 생성할 수 있다. 예를 들어, 사용자(204)를 나타내는 가상 사용자는 (예를 들어, 전화를 걸기 위해 또는 어느 다른 적합한 목적을 위해) 가상 사용자가 가상 버튼을 누르는 가상 세계에 위치될 수 있다. 곤충형 드론 또는 소형 드론은 가상 사용자가 하나 이상의 손가락으로 가상 버튼을 누를 때, 사용자(204)의 손가락으로 비행하고, 각 대응하는 손가락에 대해 햅틱 효과를 생성하도록 지시될 수 있다. 일부 실시예에서, 가상 사용자가 주어진 가상 버튼을 더욱 강하게 누를 때, 소형 또는 곤충형 드론에 의해 생성된 햅틱 효과는 강도가 더욱 세질 수 있거나, 또는 햅틱 감각을 겪는 손가락(들)의 영역이 증가될 수 있다. 일부 실시예에서, 곤충형 또는 소형 드론의 작은 크기는 드론이 질감을 모의하는 햅틱스를 제공하도록 허용할 수 있다. 예를 들어, 작은 액추에이터 및 작동 신호는 그 전체가 본원에 참조로 통합되는, 명칭이 "Systems and Methods for Using Multiple Actuators to Realize Textures"인 미국특허출원 제12/697,042호에 서술된 바와 같이 질감 햅틱 효과를 렌더링하는데 사용될 수 있다. 일부 실시예에서, 소형 또는 곤충형 드론은 하나 이상의 햅틱 표면 및/또는 햅틱 스워치를 운반하거나, 또는 다른 방식으로 이를 구비할 수 있다. 예를 들어, 소형 또는 곤충형 드론은 사용자(204)가 표면(들) 또는 스워치와 상호작용할 수 있도록 표면 또는 햅틱 스워치를 제공할 수 있다. 일부 실시예에서, 복수의 소형 또는 곤충형 드론은 사용자(204)가 상호작용할 수 있는 더욱 큰 표면 영역을 생성하도록 조합되어 사용될 수 있다.

일부 실시예에서, 이들 소형 또는 곤충형 드론은 도 8에 도시된 상태도에 따른 상태로부터 상태로 진행할 수 있다. 덧붙여, 소형 또는 곤충형 드론은 이러한 정보를 결정하는 컨트롤러부터 생성될 지점 및 햅틱스에 대한 명령어를 수신할 수 있다. 예를 들어, 컨트롤러는 VR 시스템, 스마트 디바이스(예를 들어, 컨트롤러, 스마트 웨어러블 디바이스, 스마트폰 등), 마이크로컨트롤러, 개인용 컴퓨터, 서버 또는 클라우드 서버 또는 어느 다른 적합한 디바이스일 수 있다. 일부 실시예에서, 컨트롤러는 예를 들어, 일 기간에 걸쳐 사용자(204) 및/또는 하나 이상의 드론을 추적하는데 사용되는 하나 이상의 센서로부터 센서 데이터를 연속적으로 수신할 수 있고, 컨트롤러는 복수의 드론에 대한 위치 정보 및 햅틱스를 출력할 수 있다. 도 9는 다양한 실시예에 따른, 풍부한 햅틱 상호작용을 제공하기 위해 복수의 드론을 배치하는 예시적인 흐름도를 도시한다. 예를 들어, 소형 또는 곤충형 드론은 도 9의 흐름도에 따라 위치 정보를 수신할 수 있다.

902에서, 가상 터치 영역 맵(virtual touch area map)이 결정된다. 일부 실시예에서, 가상 터치 영역 맵은 가상 물체의 3차원 맵을 기초로 할 수 있다. 예를 들어, 가상 물체 맵은 가상 세계에서 가상 물체의 렌더링된 형태(예를 들어, 가상 물체의 기하학적 형태)를 기초로 할 수 있다. 덧붙여, 가상 물체 맵은 가상 세계에 가상 물체의 색, 질감(예를 들어, 마찰), 강도, 저항(예를 들어, 눌릴 때 버튼에 의해 손가락에 가해지는 힘과 같은 저항력), 및 다른 속성을 배치하는 것과 같이 가상 물체에 대한 추가적인 정보를 포함할 수 있다. 가상 물체 맵에 대한 정보는 어레이로 저장될 수 있다.

일부 실시예에서, 가상 터치 영역 맵은 가상 물체 맵 및 가상 사용자의 배치를 기초로 결정될 수 있다. 예를 들어, 가상 사용자에 대한 상대적인 지점(예를 들어, 하나의 손가락, 다수의 손가락, 하나의 손, 또는 다수의 손의 상대적인 지점)을 기초로, 가상 터치 영역은 가상 사용자가 상호작용하는(예를 들어, 터치하는) 가상 물체의 표면 또는 부분에 대응할 수 있다. 일부 실시예에서, 가상 터치 영역은 (예를 들어, 버튼을 누르는) 하나의 손가락, (예를 들어, 키보드를 치는) 다수의 손가락, (예를 들어, 물체를 쥔) 전체 손바닥, 다수의 손 등인 상호작용과 같은 상호작용 타입을 포함한다.

일부 실시예에서, 가상 터치 영역 맵은, 가상 세계에 가상 물체의 색, 질감, 강도, 저항 및 다른 속성을 배치하는 것과 같은 가상 물체에 대한 추가적인 정보를 더 포함한다. 예를 들어, 버튼을 누르는 것과 같은 단일 손가락 상호작용을 위한 가상 터치 영역은 버튼의 기하학적 형태 및, 가상 사용자 또는 가상 사용자의 손가락의 배치에 상대적인 버튼의 배치를 기초로 결정될 수 있다. 덧붙여, 가상 터치 영역 맵은 색, 질감, 강도, 저항 등과 같은 가상 버튼에 대한 다른 속성을 포함할 수 있다.

904에서, 풍부한 햅틱 상호작용을 위한 터치점은 가상 물체 맵 및/또는 가상 터치 영역 맵, 및 가상 물체에 대한 추가적인 정보를 기초로 결정될 수 있다. 일부 실시예에서, 가상 버튼을 누르는 것과 같은 단일 손가락 상호작용을 위한 터치점은 가상 버튼의 기하학적 형태(3차원 형태)를 기초로 결정될 수 있다. 예를 들어, 가상 경계와 유사하게, 터치점은 가상 버튼을 통한 상호작용이 다양한 터치점에 할당된 햅틱스에 의해 모의될 수 있도록 가상 버튼의 기하학적 형태 주위에 분산될 수 있다. 일부 실시예에서, 가상 터치 영역 맵에 의해 정의된 가상 물체의 기하학적 형태는 터치점을 결정하는데 사용될 수 있다.

일부 실시예에서, 터치점은 그의 질감, 강도 또는 저항과 같은 가상 물체에 대한 추가적인 정보를 기초로 결정될 수 있다. 예를 들어, 가상 버튼은 중앙보다 가장자리가 더욱 딱딱할 수 있으며, 따라서 터치점의 밀도는 가상 버튼의 가장자리가 중앙보다 더욱 높을 수 있다. 다른 예시에서, 거친 표면이 매끄러운 표면보다 더욱 큰 촉감을 제공하기 때문에, 거친 표면을 갖는 가상 물체는 매끄러운 표면을 갖는 가상 물체에 비해 더욱 많은 수의 터치점에 대응할 수 있다.

일부 실시예에서, 결정된 터치점은 실세계 사용자에게 제공된 디스플레이의 해상도를 기초로 할 수 있다. 예를 들어, 사용자(204)는 특정 해상도(예를 들어, 픽셀 밀도)를 갖는 디스플레이 스크린을 포함하는 VR 헤드셋(예를 들어, 입력점(202) 중 하나)을 착용할 수 있다. 가상 물체의 디스플레이된 기하학적 형태 및/또는 외형(예를 들어, 질감)은 구현된 해상도를 기초로 할 수 있으며, 따라서 터치점의 개수는 해상도에 관련될 수 있다. 일부 실시예에서, 터치점의 개수는 이러한 디스플레이에 대한 픽셀 밀도에 직접적으로 관련된다.

906에서, 햅틱 어레이 또는 햅틱 맵이 생성될 수 있다. 예를 들어, 햅틱 어레이 또는 맵은 결정된 터치점 및 이들 터치점에 대한(이에 대응하는) 햅틱스를 나타낼 수 있다. 일부 실시예에서, 햅틱 어레이 또는 맵은 가상 물체와 가상 사용자의 상호작용을 모의하기 위해 생성될 햅틱스의 품질 및 지점을 나타낼 수 있다. 예를 들어, 이용 가능한 드론/액추에이터, 결정된 터치점, 가상 물체 맵, 가상 터치 영역 맵 및 가상 물체에 대한 추가적인 정보 중 하나 이상(또는 이의 조합)을 기초로, 햅틱스에 대한 지점 및 품질이 결정될 수 있다. 일부 실시예에서, 햅틱 어레이 또는 맵은 대응하는 햅틱스에 터치점을 할당할 수 있으며, 이들 대응하는 햅틱스를 위한 품질을 나타낼 수 있다.

일부 실시예에서, 햅틱 어레이 또는 햅틱 맵을 생성하기 위해 터치점 중 하나 이상에 대응하는 햅틱스의 품질이 결정될 수 있다. 예를 들어, (가상 버튼 누름의 햅틱스를 나타내는 것과 같이) 수십 또는 수백 개의 터치점은 간단한 피드백과 같은 저품질의 햅틱스에 대응할 수 있는 한편, (다수의 손가락 또는 전체 손 상호작용을 나타내는 것과 같은) 더 많은 수의 터치점은 더욱 높은 품질의 햅틱스(예를 들어, 다른 동적 또는 정적 햅틱 효과와 결합된 펄싱(pulsing) 햅틱 효과와 같은, 햅틱 효과의 조합을 포함하는 햅틱 상호작용 또는 낮은 등급으로부터 높은 등급까지의 스펙트럼)에 대응할 수 있다.

일부 실시예에서, 햅틱 상호작용의 품질은 이용 가능한 드론의 개수 및/또는 이용 가능한 액추에이터의 개수(예를 들어, 드론당 액추에이터)를 기초로 결정될 수 있다. 예를 들어, 터치점의 개수는 햅틱스의 제1 품질에 대응할 수 있으며, 드론/액추에이터의 제1 개수가 이용 가능할 수 있으며, 드론/액추에이터의 제1 개수는 햅틱스의 제1 품질을 달성할 수 없다. 이러한 경우, 햅틱 상호작용의 품질은 드론/액추에이터의 제1 개수에 의해 달성 가능한 제2 품질까지 감소될 수 있다.

일부 실시예에서, 햅틱스의 품질은 액추에이터의 타입 및 이용 가능한 액추에이터의 개수에 의존할 수 있다. 예를 들어, 일부 경우에서, 높은 품질의 햅틱스는 액추에이터의 성능을 기초로 다수의 터치 이벤트에서 제한된 개수의 액추에이터를 사용하여 생성될 수 있다. 일부 실시예에서, 햅틱 환영(illusion) 또는 수도 햅틱스(pseudo haptics)는 제한된 개수의 드론/액추에이터로 높은 품질의 햅틱스를 달성하는데 사용될 수 있다.

일부 실시예에서, 단일 액추에이터 또는 드론에 의해 다수의 터치점이 달성될 수 있다. 예를 들어, 단일 손가락 버튼 누름 상호작용을 위해, 결정된 터치점의 개수는 수십 또는 수백 개일 수 있지만, 매크로 섬유 복합재(macro fiber composite, MFC) 액추에이터를 갖는 단일 드론은 상호작용을 모의하는데 사용될 수 있다. 일부 실시예에서, 햅틱스가 생성될 지점은 햅틱스에 대응하는 복수의 터치점에 대한 지점(예를 들어, 지점의 중앙 또는 평균)에 기초할 수 있다. 햅틱스에 대한 품질은 다양한 터치점의 특징 예를 들어, 압력 값의 평균, 터치 영역의 크기, 또는 가상 물체의 질감을 기초로 결정될 수 있다. 다른 예시에서, 상호작용이 가상 물체를 잡는 손일 때, 햅틱 어레이 또는 맵은 각 손가락 및 손바닥에 햅틱스를 할당할 수 있으며, 햅틱의 품질은 터치 영역 위에서 상이한 터치점의 피처(feature)를 기초로 상이할 수 있다.

따라서, 햅틱스의 품질 및 햅틱스에 대응하는 터치점의 개수는 햅틱스를 제공하기 위해 이용 가능한 드론/액추에이터의 품질을 기초로 조정될 수 있다. 예를 들어, 가상 물체와 상호작용을 모의하는데 사용되는 햅틱의 품질은 비디오 스트림의 충실도(fidelity)에 유사한, 충실도와 연관될 수 있다. 이용 가능한 드론/액추에이터의 개수가 감소할 때, 더욱 많은 개수의 터치점이 각 액추에이터/드론에 할당될 것이며 및/또는 햅틱의 품질이 감소될 것이다. 따라서, 더 적은 개수의 액추에이터/드론은 더욱 낮은 충실도의 햅틱 상호작용에 대응할 수 있고, 그 역으로도 그러하다. 일부 구현에서, 드론의 타입(예를 들어, 지원된 액추에이터의 개수) 및 액추에이터의 타입은 햅틱 상호작용의 충실도에 유사하게 영향을 미칠 수 있다.

일부 실시예에서, 액추에이터 이외에 또는 이와 조합하여, 이용 가능한 드론은 본원에서 상세히 한 바와 같이, 햅틱 표면 및/또는 햅틱 스워치를 구비하거나, 이를 갖는 표면을 운반할 수 있다. 예를 들어, 이용 가능한 드론/햅틱 표면, 결정된 터치점, 가상 물체 맵, 가상 터치 영역 맵 및 가상 물체에 대한 추가적인 정보 중 하나 이상(또는 이의 조합)을 기초로, 햅틱스에 대한 지점 및 품질이 결정될 수 있다. 일부 실시예에서, 햅틱 어레이 또는 맵은 햅틱 프로파일에 터치점을 할당할 수 있고, 드론은 그 터치점의 지점에 햅틱 프로파일에 대응하는 햅틱 표면을 제공할 수 있다.

908에서, 복수의 드론의 각각에 대한 위치 및 햅틱스가 결정된다. 예를 들어, 햅틱 어레이 또는 맵을 기초로, 결정된 실세계 위치에서 가상 물체를 모의하기 위해 드론에 대한 위치 및 햅틱스가 결정될 수 있다. 이전에 서술된 바와 같이, (일부 예시에서 손가락의 이동을 포함하는) 사용자(204)의 이동이 추적되고, 사용자(204)에 상대적인 각 드론에 대한 위치는 추적을 기초로 결정될 수 있다.

일부 실시예에서, (예를 들어, 기지국에서 구동되는) 알고리즘은 햅틱 어레이 또는 맵을 기초로, 드론에 대한 위치 정보, 각 드론에 대한 회전 및 각 액추에이터에 대한 햅틱스의 햅틱 파라미터(예를 들어, 햅틱스 및/또는 햅틱 프로파일의 품질) 및/또는 드론의 햅틱 표면을 결정할 수 있다. 위치, 회전 및 햅틱 파라미터는 가상 터치 영역 맵에 대응하는 가상 물체의 피처가 모의되도록 결정될 수 있다. 일부 실시예에서, 주어진 드론에 대한 햅틱 파라미터는 햅틱 어레이 또는 맵에 의해 나타난 드론 또는 햅틱 프로파일에 대한 햅틱스의 품질을 기초로 할 수 있다. 예를 들어, 곤충형 드론은 드론에 부착된 복수의 액추에이터(예를 들어, 세 개, 네 개, 여섯 개 등)을 구비할 수 있으며, 액추에이터 각각에 대한 햅틱 파라미터는 햅틱 어레이 또는 맵에 따라 결정될 수 있다. 다른 예시에서, 소형 드론은 상이한 햅틱 프로파일에 대응하는 햅틱 스워치와 같은 하나 이상의 햅틱 표면을 구비할 수 있다. 일부 실시예에서, 드론/액추에이터에 대한 위치 정보는 햅틱 어레이 또는 맵에 의해 나타난 배치 및 사용자(204)의 추적된 위치를 기초로 할 수 있다.

일부 실시예에서, 사용자(204)의 이동은 하나 이상의 센서(예를 들어, 카메라, VR 컨트롤러/웨어러블 등)에 의해 추적될 수 있고, 주어진 드론에 대한 위치 정보는 예를 들어, 기지국으로부터 송신된 명령어를 기초로 각 프레임마다(예를 들어, 시간 단위) 갱신될 수 있다. 일부 예시에서, 드론은 사용자(204)가 착용한 VR 웨어러블 디바이스 또는 손에 부착될 수 있으며, 따라서 드론은 사용자(204)의 움직임과 함께 이동할 수 있다.

910에서, 복수의 드론의 각각에 대한 위치 및 햅틱 파라미터가 드론에 송신된다. 예를 들어, 각 드론에 의해 햅틱스가 생성되도록 결정된 위치 정보 및 햅틱 파라미터가 각 드론에 송신된다. 일부 실시예에서, 복수의 드론은 도 8의 상태 흐름을 수행할 수 있으며, 따라서, 위치 및 햅틱 효과 정보는 동작 모드(806)에서 각 드론에 의해 사용될 수 있다.

단일 손가락 가상 버튼 누름 상호작용을 위한 예시적인 구현에서, 드론은 수신된 위치 정보에 의해 나타난 위치(예를 들어, 햅틱 어레이 또는 맵에 나타난, 가상 버튼에 대한 터치점의 그룹의 중앙)로 비행하고, 수신된 햅틱 파라미터에 따라 MFC 액추에이터를 사용하여 햅틱 효과를 생성할 수 있다. (예를 들어, 햅틱 어레이 또는 맵에 의해 나타난 햅틱 품질을 기초로 결정되는) 생성된 햅틱 효과의 파라미터는 드론에 송신되고, 가상 버튼과의 햅틱 상호작용을 모의하는데 사용될 수 있다. 다른 예시에서, 상호작용이 가상 물체를 잡고 있는 손일 때, 위치 정보는 각 손가락 및 손바닥에 드론/액추에이터를 위치시키고, 햅틱 파라미터는 (예를 들어, 햅틱 어레이 또는 맵으로 나타난) 터치 영역 위의 상이한 터치점의 피처를 기초로 상이할 수 있다. 단일 손가락 가상 버튼 누름 상호작용을 위한 또 다른 실시예에서, 드론은 수신된 위치 정보에 의해 나타난 위치(예를 들어, 햅틱 어레이 또는 맵으로 나타난, 가상 버튼에 대한 터치점의 그룹의 중앙)로 비행하고, 사용자(204)와의 상호작용을 위한 햅틱 표면을 제공할 수 있다. 이 생성된 햅틱 효과(예를 들어, 효과를 위한 햅틱 프로파일과 대응하는 햅틱 표면)의 파라미터는 드론으로 송신되고 가상 버튼과의 햅틱 상호작용을 모의하는데 사용될 수 있다.

일부 실시예에서, 가상 사용자에 대한 이동 또는 새로운 상황을 기초로 드론/햅틱 파라미터를 갱신하기 위해 도 9의 흐름도의 전체 또는 일부가 수행될 수 있다. 예를 들어, 햅틱스를 제공하는데 사용되는 드론의 개수는 가령, 터치점의 개수가 감소되거나, 햅틱스의 품질이 감소되거나, 또는 이용 가능한 드론/액추에이터의 개수가 감소되는 경우, 감소될 수 있다. 갱신 알고리즘은 최소화된 전력 소비 및 비용을 달성하기 위해 드론을 재배치하는 드론에 대한 갱신된 위치 및 햅틱 파라미터를 결정하는데 사용될 수 있다.

도 10은 다양한 실시예에 따른, 가상 세계를 기초로 하는 풍부한 햅틱 상호작용을 제공하는 다른 흐름도이다. 1002에서, 가상 현실 환경에서 가상 사용자가 추적되며, 가상 사용자는 실세계 환경에서 실세계 사용자의 가상 표현이다. 예를 들어, 사용자(204)는 VR 시스템(206) 및 입력점(202)에 의해 가상 세계(404A)에 몰입될 수 있다. 사용자(204)는 가상 사용자가 가상 세계(402A)와 상호작용 하는 동안, 실세계(404B)에 물리적으로 위치될 수 있다. 가상 사용자/사용자(204)의 이동은 예를 들어, 사용자(204) 상의 입력점(202)을 사용하여 추적될 수 있다.

1004에서, 가상 사용자에 상대적인 가상 물체(404A)에 대해 상대적인 가상 지점은 예를 들어, 가상 사용자의 추적 및 가상 물체(404A)의 추적을 기초로 결정될 수 있다. 1006에서, 햅틱 프로파일은 가상 물체(404A)에 대해 식별될 수 있다. 예를 들어, 햅틱 프로파일은 가상 물체(404A)의 표면(406A)에 대해 식별될 수 있다.

1008에서, 햅틱 특성을 포함하는 실세계 표면의 (예를 들어, 햅틱 스워치의) 세트 중에서 햅틱 프로파일에 대해 제1 실세계 표면이 선택될 수 있다. 예를 들어, 제1 실세계 표면은 제1 실세계 표면 및 햅틱 프로파일의 복수의 햅틱 특성 사이의 대응관계를 기초로 햅틱 프로파일에 대해 선택될 수 있다. 일부 실시예에서, 미리 결정된 실세계 표면의 세트의 햅틱 특성은 유사도를 결정하기 위해 (예를 들어, 연관관계의 데이터베이스로부터 접근 가능한) 햅틱 프로파일과 연관된 햅틱 특성에 비교될 수 있으며, 제1 실세계 표면은 제1 실세계 표면의 햅틱 특성과 햅틱 프로파일의 연관된 햅틱 특성 사이의 유사도를 기초로 햅틱 프로파일에 대해 선택된다. 예를 들어, 제1 실세계 표면과 햅틱 프로파일 사이의 유사도는 햅틱 프로파일과 연관된 햅틱 특성과 제1 실세계 표면의 햅틱 특성 사이의 매치의 개수일 수 있다.

1010에서, 선택된 실세계 표면을 포함하는 실세계 물체(404B)는 상대적인 가상 지점에 대응하는 사용자(204)에 상대적인 실세계 지점에 제공되며, 실세계 물체의 햅틱 특성은 가상 물체(404A)에 대한 햅틱 프로파일에 대응한다. 일부 실시예에서, 실세계 물체(404B)의 햅틱 특성은 질감, 강도, 온도, 형태, 경도 및 변형 가능성 중 하나 이상을 포함한다.

일부 실시예에서, 실세계 지점에 실세계 물체를 제공하기 위해, 실세계 물체(404B)는 장치(408)와 같은 기계 장치를 이동시킴으로써 제공된다. 다른 예시에서, 실세계 지점에 실세계 물체를 제공하기 위해, 실세계 물체(404B)는 드론(604)과 같은 드론에 의해 제공된다.

일부 실시예에서, 실세계 물체는 상이한 햅틱 특성을 갖는 복수의 표면을 구비한 햅틱 스워치이다. 가상 세계(404B)는 햅틱 스워치와 연관된 실세계 햅틱 특성의 미리 결정된 세트를 기초로 할 수 있다. 예를 들어, 가상 세계(404B)에서 가상 물체는 햅틱 스워치와 연관된 실세계 햅틱 특성의 미리 결정된 세트의 성능으로 제한된 햅틱 프로파일을 가질 수 있다. 다른 예시에서, 햅틱 스워치는 가상 세계(404B)에서 가상 물체에 대한 햅틱 프로파일을 기초로 하는 실세계 햅틱 특성의 미리 결정된 세트를 포함할 수 있다.

일부 실시예에서, 사용자(204)를 추적하는 것은 사용자(204)의 부속 기관(412)(예를 들어, 손)을 추적하는 것을 포함할 수 있다. 이 예시에서, 상대적인 가상 지점을 결정하는 것은 가상 사용자의 부속 기관(410)에 상대적인 가상 물체(404A)에 대한 상대적인 가상 지점을 결정하는 것을 포함할 수 있다. 실세계 물체(404B)를 제공하는 것은 또한, 상대적인 가상 지점에 대응하는 부속 기관(412)에 상대적인 실세계 지점에 실세계 물체를 제공하는 것을 포함할 수 있다.

일부 실시예에서, 가상 사용자 또는 가상 물체(404A) 중 적어도 하나가 가상 세계(402A)에서 이동하는 동안, 가상 물체(404A)에 상대적인 가상 사용자의 지점은 동적으로 추적될 수 있다. 실세계 물체(404B)는 그 후에 동적으로 추적된 상대적인 가상 지점과 대응하도록 사용자(204)에 상대적으로 동적으로 재배치될 수 있다(또는 이동될 수 있다).

일부 실시예에서, 가상 물체(404A)와 가상 사용자 사이의 가상 거리는 임계 거리 이하인 것이 결정될 수 있다. 실세계 물체(404B)는 가상 거리가 임계치 이하임의 결정을 기초로, 사용자(204) 쪽으로 또는 그로부터 떨어지게 이동될 수 있다. 예를 들어, 사용자(204) 쪽으로 또는 그로부터 떨어지게 실세계 물체(404B)를 이동시키는 것은 가상 물체(404A)에 대한 햅틱 프로파일에 대응하는 햅틱 특성(예를 들어, 변형 가능성, 강도 등)을 모의할 수 있다.

일부 실시예에서, 가상 현실 환경에서 복수의 가상 물체 중에서 가상 물체의 세트는 미리 결정된 실세계 표면의 세트 중 적어도 하나에 매치하는 햅틱 프로파일 및 연관된 햅틱 특성을 갖는 것으로 식별될 수 있다. 예를 들어, 서술된 유사도 매치를 기초로, 가상 현실 환경 내의 물체의 세트에 대한 햅틱 프로파일은 햅틱 스워치의 표면에 대한 햅틱 특성에 각각 비교될 수 있다. 일부 실시예에서, 가상 물체의 서브세트는 표면 중 하나에 매칭하는 햅틱 프로파일을 구비할 것이고, 그 가상 물체는 가상 사용자와의 상호작용이 이용 가능한 물체로 식별될 수 있다. 예를 들어, 가상 물체는 햅틱 상호작용의 이용 가능성을 나타내는 (예를 들어, 빛날 수 있는, 색이 있는 표시에 근접할 수 있는 등의) 지시자와 함께 디스플레이될 수 있다.

실시예는 가상 현실 시스템의 사용자를 위해 풍부한 햅틱 상호작용을 제공한다. 일 실시예에서, 가상 사용자는 가상 환경에서 추적되고, 사용자가 접할 수 있는 가상 물체에 대한 햅틱 프로파일이 식별된다. 예를 들어, 가상 건물에 대한 햅틱 프로파일은 예를 들어, 가상 사용자가 가상 건물에 근접할 때 식별될 수 있다. 실세계에서, 가상 건물의 햅틱 프로파일에 대응하는 햅틱 특성을 갖는 실세계 물체는 가상 건물의 상대적인 가상 지점에 대응하는 지점에 제공될 수 있다. 예를 들어, 가상 사용자에 상대적인 가상 건물에 대한 상대적인 지점이 추적되고, 실세계 물체는 상대적인 가상 지점에 대응하는 실세계 사용자에 상대적인 실세계 지점에 제공될 수 있다. 제공된 실세계 물체를 기초로, 가상 사용자가 가상 빌딩을 터치할 때, 실세계 사용자는 실세계 물체의 햅틱 특성을 느끼고, 따라서 가상 세계에서의 상호작용에 대응하는 풍부한 실세계 햅틱 상호작용을 사용자에게 제공할 수 있다.

다양한 기법을 사용하여 제공하는 것이 달성될 수 있다. 예를 들어, 상이한 햅틱 특성을 갖는 다수의 표면을 포함하는 햅틱 스워치가 제공될 수 있으며, 햅틱 스워치는 가상 환경에서 햅틱 프로파일(예를 들어, 가상 나무, 가상 건물, 가상 개, 가상 껌, 가상 구동 차량 등)과 대응하는 햅틱 특성을 제공하도록 구성된다. 햅틱 프로파일을 포함하는 다른 실세계 물체가 유사하게 제공될 수 있다. 일부 실시예에서, 실세계 물체는 다양한 기법을 구현함으로써 가상 사용자 및/또는 가상 물체의 이동을 기초로 상이한 지점으로 이동될 수 있다. 예를 들어, 로봇 시스템 또는 기계 부재가 사용자의 가상 상호작용에 대응하는 상대적인 지점으로 실세계 물체(예를 들어, 햅틱 스워치)를 이동시키는데 사용될 수 있다. 다른 예시에서, 드론은 실세계 물체를 상대적인 지점으로 이동시키는데 사용될 수 있다.

본 명세서 전체에 걸쳐 서술된 개시의 피처, 구조 및 특징은 하나 이상의 실시예에서 어느 적합한 방식으로 결합될 수 있다. 예를 들어, 본 명세서 전체에 걸쳐, "일 실시예", "일부 실시예", "일정 실시예", "일정 실시예들" 또는 다른 유사한 언어의 사용은 실시예와 연관되어 서술된 특정 피처, 구조 또는 특성이 본 개시의 적어도 하나의 실시예에 포함될 수 있다는 것을 지칭한다. 따라서, 본 명세서 전체에 걸쳐 어구 "일 실시예", "일부 실시예", "일정 실시예", "일정 실시예들" 또는 다른 유사한 언어의 출현은 모두 동일한 그룹의 실시예를 지칭하는 것은 아니며, 서술된 피처, 구조 또는 특징은 하나 이상의 실시예에서 어느 적합한 방식으로 결합될 수 있다.

통상의 기술자는 앞서 논의된 발명이 단계를 상이한 순서로 하거나, 및/또는 요소를 개시된 것과 상이한 구성으로 하여 실시될 수 있음을 쉽게 이해할 것이다. 추가적으로, 통상의 기술자는 다양한 실시예의 피처가 다양한 조합으로 실시될 수 있음을 쉽게 이해할 것이다. 그러므로, 본 발명이 이들 바람직한 실시예를 기초로 서술되었지만, 통상의 기술자에게는 본 발명의 사상 및 범주 내로 유지하면서, 일정한 변경, 변형 및 대안적인 구성이 명백할 것임이 명백할 것이다. 그러므로, 본 발명의 경계(metes and bounds)를 결정하기 위해, 첨부된 청구범위에 대한 참조가 이루어져야 한다.

Claims (20)

1. 가상 현실 시스템을 사용하는 햅틱 상호작용 제공 방법으로서, 상기 방법은:
   가상 현실 환경에서 가상 사용자를 추적하는 것 - 상기 가상 사용자는 실세계 환경에서 실세계 사용자의 가상 표현을 포함함 -;
   상기 가상 현실 환경에서 가상 물체에 대한 가상 지점(virtual location)을 결정하는 것 - 상기 가상 지점은 상기 가상 사용자에 상대적임 -;
   상기 가상 물체에 대한 햅틱 프로파일을 식별하는 것 - 상기 햅틱 프로파일은 실세계 물체의 실세계 표면에 대응함 -; 및
   상기 실세계 환경의 실세계 지점에서 상기 실세계 사용자에게 상기 실세계 물체를 제공하는 것을 포함하는 햅틱 상호작용 제공 방법.
2. 제1항에 있어서, 상기 햅틱 프로파일은 질감(texture), 강도, 온도, 형태, 경도 및/또는 변형 가능성을 포함하는 하나 이상의 햅틱 특성을 지정하는 햅틱 상호작용 제공 방법.
3. 제2항에 있어서, 상기 햅틱 프로파일은 오디오 또는 비디오를 포함하는 하나 이상의 미디어 특성을 더 지정하는 햅틱 상호작용 제공 방법.
4. 제2항에 있어서,
   유사도를 결정하기 위해 미리 결정된 실세계 표면의 세트의 햅틱 특성과 상기 햅틱 프로파일의 햅틱 특성을 비교하는 것 - 상기 실세계 표면은 상기 실세계 표면의 햅틱 특성과 상기 햅틱 프로파일의 햅틱 특성 사이의 상기 유사도를 기초로 상기 햅틱 프로파일에 대해 선택됨 -을 더 포함하는 햅틱 상호작용 제공 방법.
5. 제4항에 있어서, 상기 실세계 표면과 상기 햅틱 프로파일 사이의 상기 유사도는 상기 햅틱 프로파일의 햅틱 특성과 상기 실세계 표면의 햅틱 특성 사이에 매치(matches)의 개수를 포함하는 햅틱 상호작용 제공 방법.
6. 제1항에 있어서, 상기 실세계 물체를 제공하는 것은 상기 실세계 지점에 상기 실세계 물체를 제공하도록 기계적인 장치를 이동시키는 것, 또는 드론(drone)에게 상기 실세계 지점에 상기 실세계 물체를 제공하도록 지시하는 것을 포함하는 햅틱 상호작용 제공 방법.
7. 제1항에 있어서, 상기 실세계 물체는 미리 결정된 실세계 표면의 세트의 적어도 일 부분을 포함하는 햅틱 스워치(haptic swatch)를 포함하는 햅틱 상호작용 제공 방법.
8. 제7항에 있어서, 상기 가상 환경은 미리 결정된 실세계 표면의 세트를 기초로 하는 햅틱 상호작용 제공 방법.
9. 제8항에 있어서,
   미리 결정된 실세계 표면의 세트 중 적어도 하나와 매칭하는 햅틱 프로파일을 포함하는 가상 현실 환경 내의 복수의 가상 물체 중에서 가상 물체의 세트를 식별하는 것; 및
   햅틱 상호작용이 상기 가상 물체의 세트에 대해 이용 가능한 것을 나타내는 지시자를 상기 가상 물체의 세트에 대한 상기 가상 현실 환경에 디스플레이하는 것을 더 포함하는 햅틱 상호작용 제공 방법.
10. 제7항에 있어서, 상기 햅틱 스워치에 대한 상기 실세계 표면은 상기 가상 환경에서 각각의 가상 물체에 대한 하나 이상의 햅틱 프로파일을 기초로 선택되는 햅틱 상호작용 제공 방법.
11. 제1항에 있어서,
    상기 가상 물체와 상기 가상 사용자 사이의 가상 거리가 임계 거리 이하인지 결정하는 것; 및
    상기 가상 거리가 임계 거리 이하인지 결정하는 것을 기초로, 상기 실세계 물체를 상기 실세계 사용자 쪽으로, 또는 상기 실세계 사용자로부터 떨어지게 이동시키는 것 - 상기 이동시키는 것은 상기 가상 물체에 대한 상기 햅틱 프로파일에 대응하는 정적 햅틱 특성을 모의함 -을 더 포함하는 햅틱 상호작용 제공 방법.
12. 제1항에 있어서, 상기 가상 물체에 대한 상기 가상 지점은 상기 가상 사용자 또는 가상 물체 중 적어도 하나가 상기 가상 현실 환경에서 이동하는 동안 추적되는 햅틱 상호작용 제공 방법.
13. 제11항에 있어서, 상기 실세계 물체를 제공하는 것은 상기 실세계 물체를 상기 가상 지점과 대응하도록 상기 실세계 사용자에게 이동시키는 것을 더 포함하는 햅틱 상호작용 제공 방법.
14. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행하기 위한 하나 이상의 프로그램을 저장하는 메모리 -- 상기 하나 이상의 프로그램은:
    가상 현실 환경에서 가상 사용자를 추적하고 - 상기 가상 사용자는 실세계 환경에서 실세계 사용자의 가상 표현을 포함함 -;
    상기 가상 현실 환경에서 가상 물체에 대한 가상 지점을 결정하고 - 상기 가상 지점은 상기 가상 사용자에 상대적임 -;
    상기 가상 물체에 대한 햅틱 프로파일을 식별하며 - 상기 햅틱 프로파일은 실세계 물체의 실세계 표면에 대응함 -; 및
    상기 실세계 환경의 실세계 지점에서 상기 실세계 사용자에게 상기 실세계 물체를 제공하는 명령어를 포함함 --을 포함하는 디바이스.
15. 제14항에 있어서, 상기 햅틱 프로파일은 질감, 강도, 온도, 형태, 경도 및/또는 변형 가능성을 포함하는 하나 이상의 햅틱 특성을 지정하는 디바이스.
16. 제15항에 있어서,
    유사도를 결정하기 위해 미리 결정된 실세계 표면의 세트의 햅틱 특성을 상기 햅틱 프로파일의 햅틱 특성에 비교하는 것 - 상기 실세계 표면은 상기 실세계 표면의 햅틱 특성과 상기 햅틱 프로파일의 햅틱 특성 사이의 유사도를 기초로 상기 햅틱 프로파일에 대해 선택됨 -을 더 포함하는 디바이스.
17. 제16항에 있어서, 상기 실세계 표면과 상기 햅틱 프로파일 사이의 상기 유사도는 상기 햅틱 프로파일의 햅틱 특성과 상기 실세계 표면의 햅틱 특성 사이의 매치의 개수를 포함하는 디바이스.
18. 제14항에 있어서, 상기 실세계 물체를 제공하는 것은 상기 실세계 지점에 상기 실세계 물체를 제공하기 위해 기계적인 장치를 이동시키는 것, 또는 드론에게 상기 실세계 지점에 상기 실세계 물체를 제공하도록 지시하는 것을 포함하는 디바이스.
19. 제14항에 있어서, 상기 실세계 물체는 미리 결정된 실세계 표면의 세트 중 적어도 일 부분을 포함하는 햅틱 스워치를 포함하는 디바이스.
20. 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램은:
    가상 현실 환경에서 가상 사용자를 추적하고 - 상기 가상 사용자는 실세계 환경에서 실세계 사용자의 가상 표현을 포함함 -;
    가상 물체에 대한 가상 지점을 결정하고 - 상기 가상 지점은 상기 가상 사용자에 상대적임 -;
    상기 가상 물체에 대한 햅틱 프로파일을 식별하며 - 상기 햅틱 프로파일은 실세계 물체의 실세계 표면에 대응함 -; 및
    상기 실세계 환경의 실세계 지점에서 상기 실세계 사용자에게 상기 실세계 물체를 제공하는 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체.

Images