KR102194164B1 - 홀로그램 객체 피드백 - Google Patents

홀로그램 객체 피드백 Download PDF

Info

Publication number
KR102194164B1
KR102194164B1 KR1020157032169A KR20157032169A KR102194164B1 KR 102194164 B1 KR102194164 B1 KR 102194164B1 KR 1020157032169 A KR1020157032169 A KR 1020157032169A KR 20157032169 A KR20157032169 A KR 20157032169A KR 102194164 B1 KR102194164 B1 KR 102194164B1
Authority
KR
South Korea
Prior art keywords
virtual object
virtual
interaction
end user
response
Prior art date
Application number
KR1020157032169A
Other languages
English (en)
Other versions
KR20150140807A (ko
Inventor
스티븐 쥐 라타
아담 쥐 풀로스
카메론 쥐 브라운
다니엘 제이 머컬로크
매튜 카플란
아르눌포 제페다 나브라틸
존 파울로비치
쿠도 츠노다
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150140807A publication Critical patent/KR20150140807A/ko
Application granted granted Critical
Publication of KR102194164B1 publication Critical patent/KR102194164B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모바일 장치의 최종 사용자가 증강 현실 환경 내에 있는 하나 이상의 가상 객체와 상호작용하거나 상기 하나 이상의 가상 객체를 조작할 때 상기 모바일 장치의 최종 사용자에게 실시간 피드백을 제공하는 방법이 개시된다. 상기 실시간 피드백은 시각 피드백, 청각 피드백, 및/또는 촉각 피드백을 포함할 수 있다. 일부 실시형태에 있어서, 머리 장착형 디스플레이 장치(HMD)와 같은 모바일 장치는 증강 현실 환경 내의 가상 객체와 연관된 객체 분류를 결정하고, 모바일 장치의 최종 사용자에 의해 수행된 객체 조작 제스처를 검출하며, 상기 객체 조작 제스처에 기초하여 가상 객체와의 상호작용을 검출하고, 상기 상호작용과 연관된 가상적 힘의 크기를 결정하고, 상기 상호작용, 가상 객체에 적용되는 가상적 힘의 크기 및 상기 가상 객체와 연관된 객체 분류에 기초하여 모바일 장치의 최종 사용자에게 실시간 피드백을 제공할 수 있다.

Description

홀로그램 객체 피드백{HOLOGRAPHIC OBJECT FEEDBACK}
본 발명은 홀로그램 객체 피드백에 관한 것이다.
증강 현실(augmented reality, AR)은 실세계 환경(또는 실세계 환경을 나타내는 데이터)의 인지가 컴퓨터에 의해 생성된 가상 데이터로 증강되거나 수정되는 증강된 실세계 환경을 제공하는 것에 관한 것이다. 예를 들면, 실세계 환경을 나타내는 데이터는 카메라 또는 마이크로폰과 같은 지각(sensory) 입력 장치를 이용하여 실시간으로 캡쳐되어, 가상 이미지 및 가상 음향을 포함한 컴퓨터 생성 가상 데이터로 증강될 수 있다. 가상 데이터는 실세계 환경의 실세계 객체와 관련된 텍스트 설명과 같은 실세계 환경에 관한 정보를 또한 포함할 수 있다. AR 환경 내의 객체들은 실제 객체(즉, 특수한 실세계 환경 내에 존재하는 객체) 및 가상 객체(즉, 특수한 실세계 환경 내에 존재하지 않는 객체)를 포함할 수 있다.
AR 환경에 가상 객체를 현실적으로 융합하기 위해, AR 시스템은 전형적으로 맵핑 및 국지화(localization)를 포함한 몇 가지 태스크를 수행한다. 맵핑은 실세계 환경의 지도를 생성하는 처리에 관한 것이다. 국지화는 실세계 환경의 지도에 관한 특정한 뷰 포인트 또는 포즈(pose)를 위치확인하는 처리에 관한 것이다. 일부 경우에, AR 시스템은, 모바일 장치가 실세계 환경 내에서 이동할 때 증강될 필요가 있는, 모바일 장치와 연관된 특정 뷰를 결정하기 위해, 실세계 환경 내에서 움직이는 모바일 장치의 포즈를 실시간으로 국지화할 수 있다.
본 발명은 모바일 장치의 최종 사용자가 증강 현실 환경 내에 있는 하나 이상의 가상 객체와 상호작용하거나 상기 하나 이상의 가상 객체를 제어할 때 상기 모바일 장치의 최종 사용자에게 지능적 피드백(intelligent feedback)을 제공하는 것과 관련된다. 피드백은 시각 피드백, 청각 피드백, 및/또는 촉각 피드백을 포함할 수 있다. 일부 실시형태에 있어서, 머리 장착형 디스플레이 장치(head-mounted display device, HMD)와 같은 모바일 장치는 증강 현실 환경 내의 가상 객체와 연관된 객체 분류를 결정하고, 모바일 장치의 최종 사용자에 의해 수행된 객체 조작 제스처를 검출하며, 상기 객체 조작 제스처에 기초하여 가상 객체와의 상호작용을 검출하고, 상기 상호작용과 연관된 가상적 힘의 크기를 결정하고, 상기 상호작용, 가상 객체에 적용되는 가상적 힘의 크기 및 상기 가상 객체와 연관된 객체 분류에 기초하여 모바일 장치의 최종 사용자에게 실시간 피드백을 제공할 수 있다.
이 요약은 뒤의 상세한 설명 부분에서 더 구체적으로 설명하는 개념들의 선택을 간단한 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 핵심적인 특징 또는 본질적인 특징을 식별하기 위한 것으로 의도되지 않고, 또한 청구된 주제의 범위를 결정함에 있어서의 보조자로서 사용되는 것으로 의도되지 않는다.
도 1은 본 발명기술을 실시할 수 있는 네트워크 컴퓨팅 환경의 일 실시형태의 블록도이다.
도 2a는 제2 모바일 장치와 통신하는 모바일 장치의 일 실시형태를 보인 도이다.
도 2b는 HMD의 일부의 일 실시형태를 보인 도이다.
도 3은 캡쳐 장치 및 컴퓨팅 환경을 포함한 모바일 장치의 일 실시형태를 보인 도이다.
도 4a는 가상 충돌 제스처가 수행되는, HMD를 이용하여 보여지는 증강 현실 환경의 일 실시형태를 보인 도이다.
도 4b는 가상적 잡기 및 이동 제스처가 수행되는, HMD를 이용하여 보여지는 증강 현실 환경의 일 실시형태를 보인 도이다.
도 4c는 가상 회전 제스처가 수행되는, HMD를 이용하여 보여지는 증강 현실 환경의 일 실시형태를 보인 도이다.
도 4d는 가상 객체가 손에 의해 가려진 것으로 나타나도록 가상 객체가 디스플레이되는, HMD를 이용하여 보여지는 증강 현실 환경의 일 실시형태를 보인 도이다.
도 5a는 최종 사용자가 증강 현실 환경 내의 가상 객체를 조작할 때 모바일 장치의 최종 사용자에게 실시간 피드백을 제공하는 방법의 일 실시형태를 보인 흐름도이다.
도 5b는 최종 사용자가 증강 현실 환경 내의 가상 객체를 조작할 때 모바일 장치의 최종 사용자에게 실시간 피드백을 제공하는 방법의 대안적인 실시형태를 보인 흐름도이다.
도 5c는 피드백 응답을 결정하는 처리의 일 실시형태를 보인 흐름도이다.
도 6은 모바일 장치의 일 실시형태의 블록도이다.
본 발명은 모바일 장치의 최종 사용자가 증강 현실 환경 내에 있는 하나 이상의 가상 객체와 상호작용하거나 하나 이상의 가상 객체를 조작할 때 모바일 장치의 최종 사용자에게 실시간 피드백을 제공하는 것에 관한 것이다. 실시간 피드백은 시각 피드백, 청각 피드백, 및/또는 촉각 피드백을 포함할 수 있다. 일부 실시형태에 있어서, 머리 장착형 디스플레이 장치(HMD)와 같은 모바일 장치는 증강 현실 환경 내의 가상 객체와 연관된 객체 분류를 결정하고, 모바일 장치의 최종 사용자에 의해 수행된 객체 조작 제스처를 검출하며, 상기 객체 조작 제스처에 기초하여 가상 객체와의 상호작용을 검출하고, 상기 상호작용과 연관된 가상적 힘의 크기를 결정하고, 상기 상호작용, 가상 객체에 인가되는 가상적 힘의 크기 및 상기 가상 객체와 연관된 객체 분류에 기초하여 모바일 장치의 최종 사용자에게 실시간 피드백을 제공할 수 있다.
일부 실시형태에 있어서, HMD의 최종 사용자에게 증강 현실 환경을 투영해주는 HMD는 증강 현실 환경 내의 가상 객체를 제어하기 위해 최종 사용자가 수행하는 손 대 객체(hand-to-object) 제스처를 검출하기 위하여 HMD에 의해 캡쳐된 이미지에 제스처 인식 및 손 추적 기술을 적용할 수 있다. 최종 사용자는 스타일러스 또는 집게(이것은 가상 객체를 잡아서 회전시키기 위해 사용될 수 있다)와 같은 핸드헬드 객체 또는 사용자들의 손을 이용하는 것과 같은 각종 방법으로 가상 객체를 제어할 수 있다. 검출된 제스처는 가상 객체의 가상적 잡기, 가상 객체의 가상적 이동 또는 회전, 가상 객체를 잡은 후 가상 객체의 풀어주기, 또는 가상 객체의 가상적 충돌과 같은 가상 객체와의 각종 가상 상호작용과 대응할 수 있다. 가상 객체와의 특정 상호작용을 검출 및 식별한 것에 응답하여, HMD는 가상 객체에 인가된 가상적 힘의 정도 및/또는 가상 객체와 연관된 물질 특성에 기초하여 최종 사용자가 실시간 시각, 청각 및 촉각 피드백을 경험하게 할 수 있다.
일 예로서, 가상 객체는 가상 금속 볼을 포함할 수 있고, 최종 사용자가 상기 가상 금속 볼을 잡아서 회전시킬 때, HMD는 최종 사용자가 촉각 피드백(예를 들면, 특정 진동수 및 크기로 전자 팔찌 또는 이동 전화기를 진동시키는 것), 청각 피드백(예를 들면, 낮은 볼륨의 금속성 클릭 음향), 및 시각 피드백(예를 들어서, 만일 최종 사용자가 HMD를 등진 채로 있는 자신의 손바닥으로 가상 금속 볼을 잡으면, 최종 사용자의 손에 의해 가려지는 가상 금속 볼 부분은 최종 사용자에게 디스플레이되지 않을 수 있다)을 경험하게 할 수 있다. 일부 실시형태에 있어서, 최종 사용자가 HMD를 등진 채로 있는 자신의 손바닥으로 가상 객체를 잡은 경우, 가상 객체는 그 가상 객체가 최종 사용자의 손에 의해 완전하게 덮어지지 않도록 증강 현실 환경 내에서 그 위치를 약간 이동시킬 수 있다(예를 들면, 가상 객체의 위치가 이동되고 가상 객체의 일부는 그 부분이 최종 사용자의 엄지와 검지 사이에 나타나도록 디스플레이될 수 있다).
일부 실시형태에 있어서, 적당한 피드백 응답이 피드백 맵핑 파일을 통하여 결정될 수 있다. 피드백 맵핑 파일은 가상 객체를 수반하는 각종 상호작용에 대한 피드백 응답의 맵핑을 포함할 수 있다. 맵핑은 특정 가상 객체에 대한 것(예를 들면, 각각의 가상 객체는 맞춤화된 피드백 응답을 가질 수 있다) 또는 가상 객체의 분류에 대한 것(예를 들면, 나무 객체를 포함하는 가상 객체의 제1 분류, 금속 객체를 포함하는 가상 객체의 제2 분류, 및 가상적 생물을 포함하는 가상 객체의 제3 분류)일 수 있다. 가상 객체 분류 맵핑을 사용함으로써 특정 분류와 연관된 가상 객체는 유사하면서 일정한 피드백 응답을 가질 수 있다(즉, 최종 사용자는 공통의 특성을 가진 상이한 가상 객체에 대하여 동일한 시각, 청각 및 촉각 피드백을 수신할 수 있다).
증강 현실 환경 내의 가상 객체와의 상호작용과 관련된 하나의 문제점은, 실세계 객체와의 상호작용과 달리, 촉각 피드백이 의도된 상호작용을 강화하도록 가상 객체에 의해 고유적으로 제공되지 않는다는 점이다. 더욱이, HMD의 최종 사용자는 유사한 가상 객체와의 상호작용이, 상호작용이 이루어질 때, 일정하거나 유사한 피드백을 제공한다고 기대할 수 있다. 따라서, HMD의 최종 사용자가 증강 현실 환경 내의 하나 이상의 가상 객체와 상호작용하거나 상기 가상 객체를 조작할 때 상기 HMD의 최종 사용자에게 실시간의 일정한 피드백을 제공할 필요가 있다.
도 1은 본 발명을 실시할 수 있는 네트워크 컴퓨팅 환경(100)의 일 실시형태의 블록도이다. 네트워크 컴퓨팅 환경(100)은 하나 이상의 네트워크(180)를 통해 상호접속된 복수의 컴퓨팅 장치를 포함한다. 하나 이상의 네트워크(180)는 특정 컴퓨팅 장치가 다른 컴퓨팅 장치와 접속하여 통신할 수 있게 한다. 도시된 컴퓨팅 장치는 모바일 장치(11, 12, 19)와 서버(15)를 포함한다. 일부 실시형태에 있어서, 복수의 컴퓨팅 장치는 도시를 생략한 다른 컴퓨팅 장치를 포함할 수 있다. 일부 실시형태에 있어서, 복수의 컴퓨팅 장치는 도 1에 도시된 컴퓨팅 장치의 수보다 더 많은 또는 더 적은 수의 컴퓨팅 장치를 포함할 수 있다. 하나 이상의 네트워크(180)는 기업 사설 네트워크와 같은 보안 네트워크, 무선 개방 네트워크, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷과 같은 비보안 네트워크를 포함할 수 있다. 하나 이상 네트워크(180)의 각 네트워크는 허브, 브리지, 라우터, 스위치, 및 유선 네트워크 또는 직접 유선 접속과 같은 유선 전송 매체를 포함할 수 있다.
보조 정보 서버 또는 응용 서버를 포함할 수 있는 서버(15)는 클라이언트가 서버로부터 정보(예를 들면, 텍스트, 오디오, 이미지 및 비디오 파일)를 다운로드하거나, 서버에 저장된 특정 정보에 관한 조사 질의를 수행할 수 있게 한다. 일반적으로, "서버"는 클라이언트 서버 관계에서 호스트로서 작용하는 하드웨어 장치, 또는 하나 이상의 클라이언트와 자원을 공유하거나 상기 하나 이상의 클라이언트에 대한 작업을 수행하는 소프트웨어 프로세스를 포함할 수 있다. 클라이언트 서버 관계에서 컴퓨팅 장치들 간의 통신은 클라이언트가 특정 자원에 대한 액세스 또는 수행 대상의 특정 작업을 요구하는 요청(request)을 서버에 전송함으로써 개시될 수 있다. 서버는 그 다음에 상기 요청된 동작들을 수행하고 클라이언트에게 응답을 보낼 수 있다.
서버(15)의 일 실시형태는 네트워크 인터페이스(155), 프로세서(156), 메모리(157) 및 변환기(158)를 포함하고, 이 컴포넌트들은 모두 서로 통신한다. 네트워크 인터페이스(155)는 서버(15)가 하나 이상의 네트워크(180)에 접속하게 한다. 네트워크 인터페이스(155)는 무선 네트워크 인터페이스, 모뎀 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(156)는 서버(15)가 메모리(157)에 저장된 컴퓨터 판독가능 명령어를 실행하여 여기에서 설명하는 처리들을 수행하게 한다. 변환기(158)는 제1 파일 형식의 제1 파일을 제2 파일 형식의 대응하는 제2 파일로 변환시키는 맵핑 로직을 포함할 수 있다(즉, 제2 파일은 제1 파일의 변환된 버전일 수 있다). 변환기(158)는 제1 파일 형식의 제1 파일(또는 그 일부)을 제2 파일 형식의 대응하는 제2 파일로 맵핑하기 위한 명령어를 제공하는 파일 맵핑 명령어를 이용하여 구성될 수 있다.
모바일 장치(19)의 일 실시형태는 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 센서(149) 및 디스플레이(150)를 포함하고, 이 컴포넌트들은 모두 서로 통신한다. 네트워크 인터페이스(145)는 모바일 장치(19)가 하나 이상의 네트워크(180)에 접속하게 한다. 네트워크 인터페이스(145)는 무선 네트워크 인터페이스, 모뎀 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(146)는 모바일 장치(19)가 메모리(157)에 저장된 컴퓨터 판독가능 명령어를 실행하여 여기에서 설명하는 처리들을 수행하게 한다. 카메라(148)는 색 이미지 및/또는 깊이 이미지(depth image)를 캡쳐할 수 있다. 센서(149)는 모바일 장치(19)와 관련된 움직임 및/또는 방위 정보를 생성할 수 있다. 일부 경우에, 센서(149)는 관성 측정 장치(inertial measurement unit, IMU)를 포함할 수 있다. 디스플레이(150)는 디지털 이미지 및/또는 비디오를 디스플레이할 수 있다. 디스플레이(150)는 시스루(see-through) 디스플레이를 포함할 수 있다.
일부 실시형태에 있어서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)를 포함한 모바일 장치(19)의 각종 컴포넌트는 단일 칩 기판에 통합될 수 있다. 일 예로서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)는 시스템 온 칩(SOC)으로서 통합될 수 있다. 다른 실시형태에 있어서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)는 단일 패키지 내에 통합될 수 있다.
일부 실시형태에 있어서, 모바일 장치(19)는 카메라(148), 센서(149), 및 프로세서(146)에서 동작하는 제스처 인식 소프트웨어를 이용하여 자연적 사용자 인터페이스(natural user interface, NUI)를 제공할 수 있다. 자연적 사용자 인터페이스에 의해, 인간의 신체 부분 및 움직임이 검출, 해석 및 사용되어 컴퓨팅 응용의 각종 양태를 제어할 수 있다. 일 예로서, 자연적 사용자 인터페이스를 이용하는 컴퓨팅 장치는 컴퓨팅 장치와 상호작용하는 사람의 의도(예를 들면, 컴퓨팅 장치를 제어하기 위해 최종 사용자가 특정 제스처를 수행한 것)를 추론할 수 있다.
네트워크 컴퓨팅 환경(100)은 하나 이상의 컴퓨팅 장치에 대한 클라우드 컴퓨팅 환경을 제공할 수 있다. 클라우드 컴퓨팅은 인터넷 기반 컴퓨팅을 말하고, 공유 자원, 소프트웨어 및/또는 정보는 인터넷(또는 다른 글로벌 네트워크)을 통해 온디맨드로 하나 이상의 컴퓨팅 장치에 제공된다. 용어 "클라우드"는 인터넷이 나타내는 기저 기반구조의 추상화로서 인터넷을 묘사하기 위해 컴퓨터 네트워트도에서 사용되는 구름 모습에 기초한 인터넷의 은유로서 사용된다.
일 예로서, 모바일 장치(19)는 머리 장착형 디스플레이 장치(HMD)의 최종 사용자에게 (예를 들면, HMD에서 동작하는 애플리케이션을 제어하기 위해) 증강 현실 환경 또는 혼합 현실 환경을 제공하는 HMD를 포함한다. HMD는 비디오 시스루 시스템 및/또는 광학 시스루 시스템을 포함할 수 있다. 최종 사용자가 착용한 광학 시스루 HMD는 (예를 들면, 투명 렌즈를 통하여) 실세계 환경의 실제 직접 보기를 가능하게 하고, 이와 동시에 최종 사용자의 시야에 가상 객체의 이미지를 투영하여 가상 객체와 함께 최종 사용자에게 인지되는 실세계 환경을 증강시킬 수 있다.
HMD를 이용해서, 최종 사용자는 HMD를 착용하고 실세계 환경(예를 들면, 거실) 주위에서 이동하고 가상 객체의 이미지가 중첩된 실세계의 모습을 인지할 수 있다. 가상 객체는 실세계 환경과 가간섭성 공간 관계를 유지하도록 나타날 수 있다(즉, 최종 사용자가 실세계 환경 내에서 자신의 머리를 돌리거나 움직일 때, 최종 사용자에게 디스플레이되는 이미지는 가상 객체가 최종 사용자에 의해 인지되는 실세계 환경 내에 존재하는 것처럼 나타나도록 변경될 것이다). 가상 객체는 또한 최종 사용자의 관점과 관련하여 고정되게 나타날 수 있다(예를 들면, 최종 사용자가 실세계 환경 내에서 자신의 머리를 돌리거나 움직이는 방법과 관계없이 최종 사용자 관점의 상부 우측 코너에 항상 나타나는 가상 메뉴). 일 실시형태에 있어서, 실세계 환경의 환경 맵핑은 서버(15)에 의해(즉, 서버 측에서) 수행되고, 카메라 국지화는 모바일 장치(19)에서(즉, 클라이언트 측에서) 수행될 수 있다. 가상 객체는 실세계 객체와 연관된 텍스트 설명을 포함할 수 있다.
일부 실시형태에 있어서, 모바일 장치(19)와 같은 모바일 장치는 서버(15)와 같은 클라우드 내의 서버와 통신할 수 있고, 모바일 장치와 연관된 위치 정보(예를 들면, GPS 좌표를 통한 모바일 장치의 위치) 및/또는 이미지 정보(예를 들면, 모바일 장치의 시야 내에서 검출된 객체에 관한 정보)를 서버에게 제공할 수 있다. 그 응답으로, 서버는 서버에 제공된 상기 위치 정보 및/또는 이미지 정보에 기초하여 하나 이상의 가상 객체를 모바일 장치에 전송할 수 있다. 일 실시형태에 있어서, 하나 이상의 가상 객체는 손 및/또는 손가락 제스처를 이용하여 모바일 장치의 최종 사용자에 의해 조작 또는 제어될 수 있다.
일부 실시형태에 있어서, 모바일 장치(19)와 같은 모바일 장치는 증강 현실 환경을 HMD의 최종 사용자에게 제공하고 HMD에 의해 캡쳐된 이미지에 제스처 인식 및/또는 손 추적 기술을 적용하여 증강 현실 환경 내의 하나 이상의 가상 객체를 조작하기 위해 최종 사용자에 의해 수행된 제스처를 검출할 수 있다. 검출된 제스처는 가상 객체의 가상 잡기, 가상 객체의 가상 이동, 가상 객체의 가상 회전, 가상 객체를 잡은 후 가상 객체의 풀어주기, 또는 가상 객체의 가상 충돌과 같은 가상 객체와의 각종 가상 상호작용과 대응할 수 있다. 가상 객체와의 특정 상호작용을 검출 및 식별한 것에 응답하여, HMD는 가상 객체에 인가된 가상적 힘의 정도 및/또는 가상 객체와 연관된 물질 특성에 기초하여 결정된 실시간 시각, 청각 및 촉각 피드백을 최종 사용자가 경험하게 할 수 있다. 일부 경우에, HMD의 최종 사용자에게 제공된 실시간 피드백은 공통 분류를 가진 가상 객체(예를 들면, 가상 목조 객체 또는 가상 금속성 객체) 또는 공통의 객체 특성(예를 들면, 유사한 크기, 형상 및/또는 색)을 가진 가상 객체에 대하여 유사하고 일정할 수 있다.
도 2a는 제2 모바일 장치(5)와 통신하는 모바일 장치(19)의 일 실시형태를 보인 도이다. 모바일 장치(19)는 시스루 HMD를 포함할 수 있다. 도시된 바와 같이, 모바일 장치(19)는 유선 접속(6)을 통하여 모바일 장치(5)와 통신한다. 그러나, 모바일 장치(19)는 무선 접속을 통해 모바일 장치(5)와 또한 통신할 수 있다. 일 예로서, HMD의 최종 사용자에 의해 착용된 HMD는 최종 사용자의 부근에 있는 제2 모바일 장치(예를 들면, 최종 사용자가 사용하는 이동 전화기)와 무선으로 통신할 수 있다(예를 들면, 제2 모바일 장치는 코트 주머니 내에 있을 수 있다). 모바일 장치(5)는 연산 집약적 처리 태스크(예를 들면, 가상 객체의 랜더링 및/또는 제스처의 인식)를 오프로드하기 위해서 및 (예를 들면, 모바일 장치에서 동작하는 애플리케이션을 제어하기 위해 최종 사용자가 사용하는) 모바일 장치(19)에서 증강 현실 환경을 제공하기 위해 사용될 수 있는 정보(예를 들면, 가상 객체의 모델)를 저장하기 위해 모바일 장치(19)에 의해 사용될 수 있다. 모바일 장치(19)는 모바일 장치(19)와 연관된 움직임 및/또는 방위 정보를 모바일 장치(5)에게 제공할 수 있다. 일 예로서, 움직임 정보는 모바일 장치(19)와 연관된 속도 또는 가속도를 포함하고, 방위 정보는 특정 좌표계 또는 기준 프레임(frame of reference) 주위의 회전 정보를 제공하는 오일러 각(Euler angle)을 포함할 수 있다. 일부 경우에, 모바일 장치(19)는 모바일 장치(19)와 연관된 움직임 및/또는 방위 정보를 획득하기 위해 관성 측정 장치(IMU)와 같은 움직임 및 방위 센서를 포함할 수 있다.
도 2b는 도 1의 모바일 장치(19)와 같은 HMD의 일부의 일 실시형태를 보인 도이다. HMD(200)의 우측만이 도시되어 있다. HMD(200)는 우측 안경다리(202), 코 브릿지(204), 안경알(216) 및 안경알 테(214)를 포함한다. 우측 안경다리(202)는 처리 장치(236)와 통신하는 캡쳐 장치(213)(예를 들면, 전면 카메라 및/또는 마이크로폰)를 포함한다. 캡쳐 장치(213)는 디지털 이미지 및/또는 비디오를 녹화하기 위한 하나 이상의 카메라를 포함하고, 시각적 기록을 처리 장치(236)에 전송할 수 있다. 상기 하나 이상의 카메라는 색 정보, IR 정보 및/또는 깊이 정보를 캡쳐할 수 있다. 상기 하나 이상의 카메라는 하나 이상의 이미지 센서(예를 들면, CCD 이미지 센서 또는 CMOS 이미지 센서)를 포함할 수 있다. 캡쳐 장치(213)는 또한 녹음을 위한 하나 이상의 마이크로폰을 포함할 수 있고, 청각적 기록을 처리 장치(236)에 전송할 수 있다.
우측 안경다리(202)는 또한 생물 측정 센서(220), 눈 추적 시스템(221), 이어폰(230), 움직임 및 방위 센서(238), GPS 수신기(232), 전원장치(239) 및 무선 인터페이스(237)를 포함하고, 상기 컴포넌트들은 모두 처리 장치(236)와 통신한다. 생물 측정 센서(220)는 HMD(200)의 최종 사용자와 관련된 맥박 또는 심박수를 결정하는 하나 이상의 전극 및 HMD(200)의 최종 사용자와 관련된 체온을 결정하는 온도 센서를 포함할 수 있다. 일 실시형태에 있어서, 생물 측정 센서(220)는 최종 사용자의 안경다리에 대하여 눌러지는 맥박수 측정 센서를 포함한다. 움직임 및 방위 센서(238)는 3축 자력계, 3축 자이로, 및/또는 3축 가속도계를 포함할 수 있다. 일 실시형태에 있어서, 움직임 및 방위 센서(238)는 관성 측정 장치(IMU)를 포함할 수 있다. GPS 수신기는 HMD(200)와 연관된 GPS 위치를 결정할 수 있다. 처리 장치(236)는 하나 이상의 프로세서, 및 상기 하나 이상의 프로세서에서 실행되는 컴퓨터 판독가능 명령어를 저장하는 메모리를 포함할 수 있다. 메모리는 상기 하나 이상의 프로세서에서 실행되는 다른 유형의 데이터를 또한 저장할 수 있다.
일 실시형태에 있어서, 눈 추적 시스템(221)은 내향 카메라를 포함할 수 있다. 다른 실시형태에 있어서, 눈 추적 시스템(221)은 눈 추적 조명원 및 관련된 눈 추적 IR 센서를 포함할 수 있다. 일 실시형태에 있어서, 눈 추적 조명원은 대략 미리 정해진 IR 파장 또는 소정 범위의 파장을 방사하는 적외선 발광 다이오드(LED) 또는 레이저(예를 들면, VCSEL)와 같은 하나 이상의 적외선(IR) 방사체를 포함할 수 있다. 일부 실시형태에 있어서, 눈 추적 센서는 반짝이는 위치를 추적하는 IR 카메라 또는 IR 위치 감응 검출기(PSD)를 포함할 수 있다. 눈 추적 시스템에 대한 더 많은 정보는 "머리 장착형 눈 추적 및 디스플레이 시스템"(Head Mounted Eye Tracking and Display System)의 명칭으로 2008년 7월 22일자 허여된 미국 특허 제7,401,920호, 및 "통합형 눈 추적 및 디스플레이 시스템"(Integrated Eye Tracking and Display System)의 명칭으로 2011년 9월 26일자 출원된 미국 특허 출원 제13/245,700호에서 찾아볼 수 있다.
일 실시형태에 있어서, 안경알(216)은 시스루 디스플레이를 포함할 수 있고, 이것에 의해, 처리 장치(236)에 의해 생성된 이미지가 시스루 디스플레이에 투영 및/또는 디스플레이될 수 있다. 캡쳐 장치(213)는 캡쳐 장치(213)에 의해 캡쳐된 시야가 HMD(200)의 최종 사용자에 의해 보여지는 시야에 대응하도록 조정될 수 있다. 이어폰(230)은 가상 객체의 투영 이미지와 연관된 음향을 출력하기 위해 사용될 수 있다. 일부 실시형태에 있어서, HMD(200)는 전면 카메라에 의해 캡쳐된 시야와 연관된 스테레오 정보로부터 깊이를 획득하기 위해 2개 이상의 전면 카메라(예를 들면, 각 안경다리에 하나씩)를 포함할 수 있다. 상기 2개 이상의 전면 카메라는 3D, IR 및/또는 RGB 카메라를 또한 포함할 수 있다. 깊이 정보는 움직임 기술로부터의 깊이를 이용하여 단일 카메라로부터 또한 획득될 수 있다. 예를 들면, 상이한 시점에서 2개의 상이한 공간 지점과 연관된 단일 카메라로부터 2개의 이미지가 획득될 수 있다. 그 다음에, 상기 2개의 상이한 공간 지점에 관한 주어진 위치 정보에 대하여 시차 계산이 수행될 수 있다.
일부 실시형태에 있어서, HMD(200)는 각막 중심, 안구 회전 중심 또는 동공 중심과 같은 하나 이상의 인간 눈 요소에 관한 3차원 좌표계 및 시선 검출 요소를 이용한 최종 사용자의 각 눈의 시선 검출을 수행할 수 있다. 시선 검출은 최종 사용자가 시야 내에서 초점을 맞추는 곳을 식별하기 위해 사용될 수 있다. 시선 검출 요소의 예로는 반짝임 생성 조명기, 및 생성된 반짝임을 나타내는 데이터를 캡쳐하기 위한 센서가 있다. 일부 경우에, 각막 중심은 평면 지오메트리를 이용한 2개의 반짝임에 기초하여 결정될 수 있다. 각막 중심은 동공 중심과 안구 회전 중심을 연결하고, 이것은 소정 시선 또는 시각(viewing angle)에서 최종 사용자 눈의 광축을 결정하기 위한 고정된 위치로서 취급될 수 있다.
도 3은 캡쳐 장치(20) 및 컴퓨팅 환경(12)을 포함한 컴퓨팅 시스템(10)의 일 실시형태를 보인 도이다. 일부 실시형태에 있어서, 캡쳐 장치(20)와 컴퓨팅 환경(12)은 단일 모바일 컴퓨팅 장치 내에 통합될 수 있다. 단일의 통합형 모바일 컴퓨팅 장치는 도 1의 모바일 장치(19)와 같은 모바일 장치를 포함할 수 있다. 일 예로서, 캡쳐 장치(20)와 컴퓨팅 환경(12)은 HMD 내에 통합될 수 있다. 다른 실시형태에 있어서, 캡쳐 장치(20)는 도 2a의 모바일 장치(19)와 같은 제1 모바일 장치에 통합되고, 컴퓨팅 환경(12)은 도 2a의 모바일 장치(5)와 같은, 상기 제1 모바일 장치와 통신하는 제2 모바일 장치에 통합될 수 있다.
일 실시형태에 있어서, 캡쳐 장치(20)는 이미지 및 비디오를 캡쳐하기 위한 하나 이상의 이미지 센서를 포함할 수 있다. 이미지 센서는 CCD 이미지 센서 또는 CMOS 이미지 센서를 포함할 수 있다. 일부 실시형태에 있어서, 캡쳐 장치(20)는 이미지 센서 및/또는 IR CMOS 이미지 센서를 포함할 수 있다. 캡쳐 장치(20)는 이미지 카메라 컴포넌트(32)를 포함할 수 있다. 이미지 카메라 컴포넌트(32)는 캡쳐 영역의 깊이 이미지를 캡쳐하기 위해 사용할 수 있는 IR 조명 컴포넌트(34), 깊이 카메라(36) 및 RGB 카메라(38)를 포함할 수 있다. 일 예로서, 캡쳐 장치(20)의 IR 조명 컴포넌트(34)는 캡쳐 영역에 적외선 광을 방출하고, 그 다음에 이미지 카메라 컴포넌트(32) 내의 색 및/또는 IR 광 감지 컴포넌트를 이용하여 캡쳐 영역 내의 하나 이상의 객체의 표면으로부터의 후방 산란광을 검출하기 위해 센서들을 이용할 수 있다. 일부 실시형태에 있어서, 펄스형 적외선 광은 유출되는 광 펄스와 대응하는 유입 광 펄스 간의 시간이 측정되고 캡쳐 장치(20)로부터 캡쳐 영역 내 하나 이상의 객체에서의 특정 위치까지의 물리적 거리를 결정하기 위해 사용될 수 있도록 사용될 수 있다. 캡쳐 장치(20)는 또한 시준 광을 생성하기 위한 및/또는 환경을 조명하는 광을 확산하기 위한 광학기기(예를 들면, 좁은 광 빔을 생성하는 IR 광원으로부터의 광을 분산시키는 광 확산기)를 포함할 수 있다.
도 3에 도시된 바와 같이, 캡쳐 장치(20)는 하나 이상의 마이크로폰(40)을 포함할 수 있다. 상기 하나 이상의 마이크로폰(40) 각각은 음향을 수신하여 전기 신호로 변환하는 변환기 또는 센서를 포함할 수 있다. 상기 하나 이상의 마이크로폰은 상기 하나 이상의 마이크로폰이 소정의 배치로 배열된 마이크로폰 어레이를 포함할 수 있다.
캡쳐 장치(20)는 이미지 카메라 컴포넌트(32)와 작용적으로 통신하는 프로세서(42)를 포함할 수 있다. 프로세서(42)는 표준형 프로세서, 특수형 프로세서, 마이크로프로세서 등을 포함할 수 있다. 프로세서(42)는 이미지를 수신 및 분석하고 및/또는 특정 제스처(예를 들면, 가상 객체를 제어 또는 조작하기 위한 최종 사용자 제스처)가 발생하였는지를 결정하기 위한 명령어를 포함한 명령어들을 실행할 수 있다. 적어도 일부 이미지 분석 및/또는 제스처 인식 동작이 캡쳐 장치(20)와 같은 하나 이상의 캡쳐 장치 내에 포함된 프로세서에 의해 실행될 수 있다는 것을 이해할 것이다.
캡쳐 장치(20)는 프로세서(42)에 의해 실행되는 명령어 및 이미지 카메라 컴포넌트(32)의 감광 컴포넌트에 의해 캡쳐된 이미지(또는 이미지의 프레임)를 저장하는 메모리(44)를 포함할 수 있다. 일 예로서, 메모리(44)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 캐시, 플래시 메모리, 비휘발성 메모리 또는 임의의 다른 적당한 저장 컴포넌트를 포함할 수 있다. 도시된 바와 같이, 메모리(44)는 이미지 캡쳐 컴포넌트(32) 및 프로세서(42)와 통신하는 별도의 컴포넌트일 수 있다. 다른 실시형태에 있어서, 메모리(44)는 프로세서(42) 및/또는 이미지 캡쳐 컴포넌트(32)에 통합될 수 있다. 또 다른 실시형태에 있어서, 캡쳐 장치(20)의 컴포넌트(32, 34, 36, 38, 40, 42, 44)들 중의 일부 또는 전부는 단일 하우징 내에 배치될 수 있다.
캡쳐 장치(20)는 통신 링크(46)를 통해 컴퓨팅 환경(12)과 통신할 수 있다. 통신 링크(46)는 유선 접속, 또는 무선 802.11b, 802.11g, 802.11a 또는 802.11n 접속과 같은 무선 접속일 수 있다. 일 실시형태에 있어서, 캡쳐 장치(20)는 예를 들면 깊이 카메라(36) 및/또는 RGB 카메라(38)에 의해 캡쳐된 이미지를 통신 링크(46)를 통해 컴퓨팅 환경(12)에 제공할 수 있다.
도 3에 도시된 바와 같이, 컴퓨팅 환경(12)은 애플리케이션(196)과 통신하는 이미지 및 오디오 처리 엔진(194)을 포함한다. 애플리케이션(196)은 운영체제 애플리케이션 또는 다른 컴퓨팅 애플리케이션, 예를 들면, 게이밍 애플리케이션, 메시징 애플리케이션, 또는 증강 현실 환경을 생성하기 위한 애플리케이션을 포함할 수 있다. 이미지 및 오디오 처리 엔진(194)은 가상 데이터 엔진(197), 객체 및 제스처 인식 엔진(190), 구조 데이터(198), 처리 장치(191) 및 메모리 장치(192)를 포함하고, 이들은 모두 서로 통신한다. 이미지 및 오디오 처리 엔진(194)은 캡쳐 장치(20)로부터 수신된 비디오, 이미지 및 오디오 데이터를 처리한다. 객체의 검출 및/또는 추적을 돕기 위해, 이미지 및 오디오 처리 엔진(194)은 구조 데이터(198)와 객체 및 제스처 인식 엔진(190)을 이용할 수 있다.
가상 데이터 엔진(197)은 가상 객체를 처리하고 메모리 장치(192)에 저장된 실세계 환경의 각종 맵과 관련하여 가상 객체의 위치 및 방위를 등록한다. 가상 데이터 엔진은 컴퓨팅 시스템(10)의 최종 사용자에게 디스플레이하기 위해 가상 객체와 연관된 이미지들을 또한 랜더링할 수 있다. 일부 실시형태에 있어서, 컴퓨팅 시스템(10)은 캡쳐 장치(20)로부터 획득된 이미지를 이용하여 환경의 3D 맵에 관한 이미지에 대응하는 6 자유도(six degree of freedom, 6DOF) 포즈를 결정할 수 있다. 일 예로서, 6DOF 포즈는 환경 내 모바일 장치(예를 들면, HMD)의 위치 및 방위와 관련된 정보를 포함할 수 있다. 상기 6DOF 포즈는 모바일 장치를 국지화하고, 가상 객체가 증강 현실 환경 내의 적당한 위치에 존재하는 것처럼 나타나도록 가상 객체의 이미지를 생성하기 위해 사용된다. 6DOF 포즈를 결정하는 것과 관련된 더 많은 정보는 "증강 현실을 위한 분산형 비동기 국지화 및 맵핑"(Distributed Asynchronous Localization and Mapping for Augmented Reality)의 명칭으로 출원된 미국 특허 출원 제13/152,220호에서 찾아볼 수 있다. 모바일 장치의 포즈 추정 및/또는 국지화를 수행하는 것과 관련된 더 많은 정보는 "뎁스맵을 이용한 모바일 카메라 국지화"(Mobile Camera Localization Using Depth Maps)의 명칭으로 출원된 미국 특허 출원 제13/017,474호에서 찾아볼 수 있다.
처리 장치(191)는 객체, 얼굴 및 음성 인식 알고리즘을 실행하는 하나 이상의 프로세서를 포함할 수 있다. 일 실시형태에 있어서, 이미지 및 오디오 처리 엔진(194)은 객체 인식 및 얼굴 인식 기술을 이미지 또는 비디오 데이터에 적용할 수 있다. 예를 들면, 객체 인식은 특정 객체(예를 들면, HMD의 최종 사용자가 쥐고 있는 연필)를 검출하기 위해 사용되고 얼굴 인식은 환경 내의 특정인의 얼굴을 검출하기 위해 사용될 수 있다. 이미지 및 오디오 처리 엔진(194)은 오디오 및 음성 인식 기술을 오디오 데이터에 적용할 수 있다. 예를 들면, 오디오 인식은 특정 음향을 검출하기 위해 사용될 수 있다. 검출 대상의 특정 얼굴, 음성, 음향 및 객체는 메모리 장치(192)에 내포된 하나 이상의 메모리에 저장될 수 있다. 처리 장치(191)는 여기에서 설명하는 처리를 수행하기 위해 상기 메모리 장치(192)에 저장되어 있는 컴퓨터 판독가능 명령어를 실행할 수 있다.
이미지 및 오디오 처리 엔진(194)은 객체 인식을 수행하는 동안 구조 데이터(198)를 이용할 수 있다. 구조 데이터(198)는 추적 대상의 타겟 및/또는 객체에 대한 구조 정보를 포함할 수 있다. 예를 들면, 신체 부분(예를 들면, 팔, 손 및/또는 손가락)의 인식을 돕기 위해 인간의 골격 모델이 저장될 수 있다. 다른 예에 있어서, 구조 데이터(198)는 하나 이상의 무생물(예를 들면, 연필 또는 스타일러스)의 인식을 돕기 위해 하나 이상의 무생물에 관한 구조 정보를 포함할 수 있다.
이미지 및 오디오 처리 엔진(194)은 제스처 인식을 수행하는 동안 객체 및 제스처 인식 엔진(190)을 이용할 수 있다. 일 예로서, 객체 및 제스처 인식 엔진(190)은 수행될 제스처에 관한 정보를 각각 포함하는 제스처 필터들의 집합을 포함할 수 있다. 객체 및 제스처 인식 엔진(190)은 캡쳐 장치(20)에 의해 캡쳐된 데이터를 제스처 라이브러리 내의 제스처 필터와 비교하여 사용자가 하나 이상의 제스처를 수행한 때를 식별할 수 있다. 일 예로서, 이미지 및 오디오 처리 엔진(194)은 객체 및 제스처 인식 엔진(190)을 이용하여 컴퓨팅 시스템(10)의 최종 사용자에 의해 수행된 특정 제스처(예를 들면, 증강 현실 환경 내의 가상 객체를 조작 또는 제어하는 제스처)의 수행을 검출할 수 있다. 일 실시형태에 있어서, 객체 및 제스처 인식 엔진(190)은 기계 학습 분류 기술을 이용할 수 있다.
도 4a 내지 도 4d는 가상 객체와의 각종 가상 객체 상호작용(또는 상호작용)의 각종 실시형태를 보인 것이다. 가상 객체는 가상 객체의 3차원 모델에 기초하여 증강 현실 환경 내에서 발생되고 디스플레이될 수 있다. 가상 객체의 3차원 모델은 가상 객체의 치수 및 형상을 특정할 수 있다. 가상 객체의 3차원 모델은 가상 중량, 가상 물질(예를 들면, 나무, 금속 또는 플라스틱), 가상 색 및 대응하는 투명도, 및 가상 냄새와 같이 가상 객체와 관련된 각종 특성을 또한 포함할 수 있다.
도 4a는 가상 충돌(bump) 제스처가 수행되는, HMD를 이용하여 보여지는 증강 현실 환경(400)의 일 실시형태를 보인 도이다. 도시된 바와 같이, 증강 현실 환경(400)은 HMD의 최종 사용자의 손(402)(즉, 실세계 객체)과 가상 볼(412)(즉, 가상 객체)을 포함한다. HMD의 최종 사용자는 특정 진동수 및 크기의 진동 감각 또는 특정 정도의 조임 감각(또는 수축 감각)과 같은 촉각 피드백을 최종 사용자에게 제공하기 위해 사용될 수 있는 전자 팔찌(404)를 착용할 수 있다. 전자 시계 및/또는 전자 완장이 또한 최종 사용자에게 실시간 촉각 피드백을 제공하기 위해 HMD의 최종 사용자에 의해 착용될 수 있다. 이 경우에, HMD의 최종 사용자(또는 증강 현실 환경(400) 내의 다른 사람)는 가상 볼(412)에 적용되는 충돌 모션 제스처(422)에 대응하는 제스처를 수행할 수 있다. 충돌 모션 제스처(422)(또는 치기 제스처)는 증강 현실 환경(400) 내에서 가상 볼(412)의 위치를 재지향 또는 변경할 수 있다. 충돌 모션 제스처(422)는 가상 볼(412)에 적용되는 가상적 힘에 대응할 수 있다. 가상적 힘은 가상 볼(412)을 때릴 때, 즉 가상 볼(412)과 상호작용할 때 손(402)의 가속도 및/또는 속도에 기초하여 결정될 수 있다.
일부 실시형태에 있어서, (예를 들면, 충돌 모션 제스처를 통한) 가상 객체의 충돌은 가상 객체에 적용되는 가상적 힘의 크기에 비례하는 조정된 볼륨 음향 효과의 플레이에 의해 강화될 수 있다. 음향 효과는 또한 가상 객체의 물질 특성에 대응할 수 있다. 예를 들어서, 만일 가상 객체가 가상 금속 객체를 포함하면, 금속성 객체와 연관된 금속성 음향이 플레이될 수 있다. 만일 가상 객체가 목조 가상 객체이면 목조 객체와 연관된 낮은 목조 음향이 HMD의 최종 사용자에게 플레이될 수 있다. 가상 객체의 충돌은 가상 객체와의 충돌 지점 주위의 먼지의 가상적 안착을 디스플레이함으로써 또한 강화될 수 있다. 가상 먼지의 양은 가상 객체에 적용되는 가상적 힘에 비례할 수 있다.
도 4b는 가상적 잡기(grab) 및 이동 제스처가 수행되는, HMD를 이용하여 보여지는 증강 현실 환경(400)의 일 실시형태를 보인 도이다. 도시된 바와 같이, 증강 현실 환경(400)은 HMD의 최종 사용자의 손(402)(즉, 실세계 객체)과 가상 볼(412)(즉, 가상 객체)을 포함한다. HMD의 최종 사용자는 특정 진동수 및 크기의 진동 감각 또는 특정 정도의 조임 감각과 같은 촉각 피드백을 최종 사용자에게 제공하기 위해 사용될 수 있는 전자 팔찌(404)를 착용할 수 있다. 이 경우에, HMD의 최종 사용자(또는 증강 현실 환경(400) 내의 다른 사람)는 가상 볼(412)에 적용되는 가상적 잡기 및 이동 제스처(424)에 대응하는 하나 이상의 제스처를 수행할 수 있다. 가상적 잡기 및 이동 제스처(424)는 가상 볼(412)을 증강 현실 환경(400) 내의 새로운 위치로 이동시킬 수 있다. 일 실시형태에 있어서, 가상 볼(412)은 최종 사용자 손의 중앙에 스냅핑(snap)되어 증강 현실 환경(400) 내에서 최종 사용자 손과 함께 이동하는 것으로 나타날 수 있다. 가상적 잡기 및 이동 제스처(424)는 가상 볼(412)에 적용되는 가상적 힘에 대응할 수 있다. 가상적 힘은 가상 볼(412)을 가상적으로 잡아서 이동시킬 때 손(402)의 가속도 및/또는 속도에 기초하여 결정될 수 있다.
일 실시형태에 있어서, HMD의 최종 사용자는 가상 객체가 존재하는 증강 현실 환경의 영역 내에서 잡기 제스처를 수행할 수 있다. 잡기 제스처를 검출한 때, 가상 객체는 최종 사용자 손의 중앙에 스냅핑될 수 있다. 잡기 제스처의 수행은 최종 사용자가 가상 객체를 속박(engage)하거나 가상 객체의 제어를 행하게 할 수 있다. 더욱이, 최종 사용자 손의 중앙에 가상 객체를 스냅핑하는 것은 가상 객체의 회전이 최종 사용자에게 정확하게 느껴지게 할 수 있다(예를 들면, 최종 사용자의 손이 회전할 때, 가상 객체에 적용되는 회전은 최종 사용자가 가상 객체에 적용하고 있다고 최종 사용자가 생각하는 실제 회전과 일치할 수 있다). 가상 객체를 가상적으로 잡았을 때, 가상 객체는 가상 객체 풀어주기 제스처가 수행될 때까지 증강 현실 환경 내에서 이동될 수 있다. 가상 객체 풀어주기 제스처는 가상 객체를 최종 사용자의 제어로부터 풀어줄 수 있다. 일 예로서, 잡기 제스처는 최종 사용자의 엄지 및 다른 손가락들이 잡기 모션으로 서로를 향해 이동하는 손 제스처를 포함하고, 풀어주기 제스처는 최종 사용자의 엄지 및 다른 손가락들이 평소의 곧게 뻗은 손 자세로 되돌아가는(예를 들면, 꽉 쥔 손 자세로부터 손의 이완) 손 제스처를 포함할 수 있다.
일부 실시형태에 있어서, (예를 들면, 가상적 잡기 제스처를 통한) 가상 객체의 잡기는 음조(pitch)가 증가하는 음향을 플레이함으로써 강화될 수 있다. 가상 객체의 잡기와 가상 객체의 풀어주기는 반대, 즉 역동작이기 때문에, 잡기 제스처 및 풀어주기 제스처와 관련된 피드백은 쌍을 이룰 수 있고, 피드백 대칭이 사용될 수 있다. 일 예로서, 음조가 증가하는 음향은 가상적 잡기 제스처에 대하여 사용하고 음조가 감소하는 음향은 가상 풀어주기 제스처에 대하여 사용할 수 있다. 다른 예로서, 가상적 잡기 제스처에 대하여 일정한 낮은 진동을 사용하고, 가상 풀어주기 제스처에 대해서는 일정한 낮은 진동의 디스에이블링을 사용할 수 있다.
일부 실시형태에 있어서, 가상적 잡기 제스처는 최종 사용자 손의 방위에 종속하는 가상 객체를 디스플레이함으로써 강화될 수 있다. 예를 들어서, 만일 사용자 자신들의 손바닥이 HMD를 등진 상태에 있도록(즉, 최종 사용자 몸체를 등진 상태에 있도록) 최종 사용자 손이 배향되면, 최종 사용자 손에 의해 자연스럽게 가려지는 가상 객체 부분은 제거될 수 있고(예를 들면, 최종 사용자 손 또는 팔뚝에 의해 가려진 가상 객체 부분에 대응하는 랜더링된 화소는 제거될 수 있다), 이것에 의해 가상 객체가 최종 사용자의 손안에 있는 모습을 제공할 수 있다. 이러한 "손 가려짐" 기술은 최종 사용자 손에 의해 부분적으로 또는 전체적으로 가려지는 객체의 실세계 제스처를 시뮬레이트할 수 있다. 일부 경우에, 잡기 제스처의 검출시에, 가상 객체는 강조되거나, 강렬한 색으로 펄스되거나, 또는 가상 객체에 중첩된 가상 와이어프레임을 가질 수 있다. 잡기 제스처는 최종 사용자가 착용한 전자 팔찌(404)와 같은 전자 팔찌에 펄스 진동을 제공함으로써 또한 강화될 수 있다.
도 4c는 가상 회전 제스처가 수행되는, HMD를 이용하여 보여지는 증강 현실 환경(400)의 일 실시형태를 보인 도이다. 도시된 바와 같이, 증강 현실 환경(400)은 HMD의 최종 사용자의 손(402)(즉, 실세계 객체)과 가상 볼(412)(즉, 가상 객체)을 포함한다. HMD의 최종 사용자는 특정 진동수 및 크기의 진동 감각 또는 특정 정도의 조임 감각과 같은 촉각 피드백을 최종 사용자에게 제공하기 위해 사용될 수 있는 전자 팔찌(404)를 착용할 수 있다. 이 경우에, HMD의 최종 사용자(또는 증강 현실 환경(400) 내의 다른 사람)는 가상 볼(412)에 적용되는 가상 회전 제스처(426)에 대응하는 하나 이상의 제스처를 수행할 수 있다. 가상 회전 제스처(426)는 가상 볼(412)을 증강 현실 환경(400) 내에서 회전시킬 수 있다. 일 실시형태에 있어서, 가상 볼(412)은 최종 사용자 손의 중앙에 스냅핑되어서 증강 현실 환경 내에서 최종 사용자 손의 회전에 비례하여 회전하는 것으로 나타날 수 있다. 가상 회전 제스처(426)는 가상 볼(412)이 최종 사용자 손의 회전에 의해 가상적으로 회전되는 속도에 비례하는, 가상 볼(412)에 적용되는 가상적 힘에 대응할 수 있다. 일부 경우에, 가상 객체에 적용되는 가상적 힘은 최종 사용자가 가상 객체 상호작용 제스처를 수행하는 동안 팔뚝, 손, 손목 및 손가락과 관련된 속도를 고려하여 결정될 수 있다. 예를 들면, 가상 객체의 회전 및 가상 객체에 적용되는 대응하는 가상적 힘은 최종 사용자에 의해 사용되는 손목 움직임 및 손가락 끝 움직임에 의존할 수 있다.
일부 실시형태에 있어서, (예를 들면, 가상 회전 제스처를 통한) 가상 객체의 회전은 가상 객체가 회전될 때 낮은 볼륨의 클릭 음향을 플레이함으로써 강화될 수 있다. 낮은 볼륨의 클릭 음향은 크랭크 또는 노브(knob) 객체를 회전시킬 때 최종 사용자에게 익숙한 모방음일 수 있다. 가상 객체의 가상 회전은 최종 사용자가 오디오 클리킹 피드백과 동기되는 짧은 진동 펄스를 경험하게(또는 느끼게) 함으로써 또한 강화될 수 있다.
도 4d는 가상 객체가 손에 의해 가려진 것으로 나타나도록 가상 객체가 디스플레이되는, HMD를 이용하여 보여지는 증강 현실 환경(400)의 일 실시형태를 보인 도이다. 도시된 바와 같이, 증강 현실 환경(400)은 HMD의 최종 사용자의 손(402)(즉, 실세계 객체)과 가상 볼(412)(즉, 가상 객체)을 포함한다. HMD의 최종 사용자는 특정 진동수 및 크기의 진동 감각 또는 특정 정도의 조임 감각과 같은 촉각 피드백을 최종 사용자에게 제공하기 위해 사용될 수 있는 전자 팔찌(404)를 착용할 수 있다. 이 경우에, HMD의 최종 사용자는 잡기 제스처를 수행하였거나 다른 방식으로 가상 볼(412)의 제어를 행하였다. 도시된 바와 같이, 증강 현실 환경 내에서 가상 볼(412)의 위치는 가상 볼(412)의 일부만이 HMD의 최종 사용자에게 보여질 수 있도록 이동되었다(즉, 가상 볼(412)의 일부만이 최종 사용자의 엄지와 다른 손가락들 사이에서 디스플레이된다).
도 5a는 최종 사용자가 증강 현실 환경 내의 가상 객체를 조작할 때 모바일 장치의 최종 사용자에게 실시간 피드백을 제공하는 방법의 일 실시형태를 보인 흐름도이다. 일 실시형태에 있어서, 도 5a의 처리는 도 1의 모바일 장치(19)와 같은 모바일 장치에 의해 수행될 수 있다.
단계 502에서, 증강 현실 환경과 연관된 하나 이상의 가상 객체가 획득된다. 하나 이상의 가상 객체가 도 1의 서버(15)와 같은 가상 객체 서버로부터 획득될 수 있다. 하나 이상의 가상 객체는 증강 현실 환경에 이미 배치되었거나 존재하는 가상 객체를 포함할 수 있다. 하나 이상의 가상 객체는 제1 가상 객체를 포함할 수 있다. 일 실시형태에 있어서, 제1 가상 객체는 도 4a의 가상 볼(412)과 같은 3차원 가상 볼을 포함한다.
단계 504에서, 상기 제1 가상 객체와 연관된 객체 분류가 결정된다. 객체 분류는 복수의 가상 객체 분류 중 가장 맞게 정합하거나 또는 가장 가깝게 정합하는 분류를 포함할 수 있다. 복수의 가상 객체 분류는 다수의 가상 객체들이 유사한 가상 객체 속성 또는 특성에 따라 분류되게 할 수 있다. 일 예로서, 특정 가상 객체 재료, 특정 가상 객체 형상, 특정 가상 객체 컴퓨팅 응용과 연관된 모든 가상 객체, 또는 특정 가상 객체 크기보다 더 크거나 더 적은 모든 가상 객체는 동일한 가상 객체 분류로 지정될 수 있다. 예를 들면, 복수의 가상 객체 분류는 목조 객체를 포함한 가상 객체의 제1 분류 및 금속 객체를 포함한 가상 객체의 제2 분류를 포함할 수 있다. 피드백 응답을 맵핑하기 위한 가상 객체 분류의 사용은 공통 분류와 연관된 가상 객체들이 유사하고 일정한 피드백 응답을 갖게 한다(즉, 최종 사용자는 공통 특성을 가진 많은 상이한 가상 객체에 대하여 일정한 피드백을 수신할 수 있다).
단계 506에서, 피드백 맵핑 파일이 획득된다. 피드백 맵핑 파일은 객체 분류에 기초한 하나 이상의 상호작용에 대한 하나 이상의 피드백 응답을 포함할 수 있다. 피드백 맵핑 파일은 도 1의 서버(15)와 같은 서버로부터 획득될 수 있다. 하나 이상의 피드백 응답은 시각 피드백 응답, 청각 피드백 응답 및/또는 촉각 피드백 응답을 포함할 수 있다.
단계 508에서, 객체 조작 제스처가 검출된다. 일 실시형태에 있어서, 객체 조작 제스처는 증강 현실 환경을 제공하는 모바일 장치에 의해 캡쳐된 이미지에 대하여 객체 인식 및/또는 제스처 인식 기술을 적용함으로써 검출될 수 있다. 단계 510에서, 상기 제1 가상 객체와의 상호작용이 객체 조작 제스처에 기초하여 검출된다. 일 실시형태에 있어서, 상호작용은 특정 제스처가 HMD의 최종 사용자에 의해 수행되고 제스처가 제1 가상 객체 인근에서 수행되는 경우에 검출될 수 있다. 일부 경우에, 객체 조작 제스처는 가상 객체 잡기 제스처, 가상 객체 이동 제스처 또는 가상 객체 풀어주기 제스처를 포함할 수 있다.
단계 512에서, 상기 상호작용과 연관된 가상적 힘의 크기가 결정된다. 가상적 힘의 크기는 객체 조작 제스처와 연관된 가속도 및/또는 속도에 기초하여(또는 상기 가속도 및/또는 속도에 비례하여) 결정될 수 있다. 예를 들면, 빠른 손 운동을 이용하여 만들어지는 손 제스처는 크기가 큰 가상적 힘에 대응하고, 느린 손 운동을 이용하여 만들어지는 손 제스처는 크기가 작은 가상적 힘에 대응할 수 있다.
단계 514에서, 피드백 맵핑 파일 및 가상적 힘의 크기에 기초하여, 상호작용에 대한 하나 이상의 피드백 응답 중에서 일정한 피드백 응답이 결정된다. 피드백 응답은 HMD의 최종 사용자에게 제공되는 시각 피드백, 청각 피드백 및 촉각 피드백의 조합을 포함할 수 있다. 피드백 응답을 결정하는 처리의 일 실시형태는 도 5c를 참조하면서 뒤에서 설명한다. 단계 516에서, 피드백 응답이 출력된다. 단계 518에서, 제1 가상 객체에 대응하는 하나 이상의 이미지가 모바일 장치에서 랜더링 및 디스플레이된다. 제1 가상 객체에 대응하는 하나 이상의 이미지는 제1 가상 객체가 모바일 장치의 최종 사용자에게 디스플레이된 증강 현실 환경 내에 존재하는 것으로 인지되도록 랜더링 및 디스플레이될 수 있다.
일부 실시형태에 있어서, 수행된 제스처가 가상 객체의 특정 거리 내에 있을 때 HMD의 최종 사용자에게 근접성 피드백 응답이 제공될 수 있다. 근접성 피드백 응답은 최종 사용자의 손을 증강 현실 환경 내에서 가상 객체의 위치로 이동시키도록 최종 사용자를 안내하는데 도움을 줄 수 있다. 일 예로서, 최종 사용자의 손이 가상 객체에 접근하고 가상 객체의 특정 거리 내(예를 들면, 가상 객체의 4인치 내)에 있을 때, 최종 사용자의 손이 가상 객체에 더 가까워짐에 따라 볼륨 또는 음조가 증가하는 청각 피드백이 플레이되기 시작할 수 있다. 가상 객체를 터치하면, 최종 사용자가 가상 객체를 가상적으로 터치하였음을 확인하기 위한 특수 오디오 톤이 플레이될 수 있다. 다른 예로서, 최종 사용자의 손이 가상 객체에 접근하고 가상 객체의 특정 거리 내(예를 들면, 가상 객체의 6인치 내)에 있을 때, 최종 사용자의 손이 가상 객체를 가상적으로 터치하기 위해 어느 방향으로 이동하여야 하는지에 관한 안내를 제공하기 위해 가상의 지향성 화살표 또는 움직이는 입자의 구름과 같은 시각 피드백이 디스플레이될 수 있다. 다른 예로서, 가상 객체의 특정 거리 내에 있는 최종 사용자의 손의 손목 주위에 착용한 전자 팔찌의 진동과 같은 촉각 피드백이 최종 사용자의 손이 가상 객체에 더 가까워짐에 따라 크기 및/또는 진동수가 증가하도록 제공될 수 있다. 가상 객체를 터치하면, 최종 사용자가 가상 객체를 가상적으로 터치하였음을 확인하기 위한 특수 진동(예를 들면, 특유의 높은 진동수의 연속 펄스)이 사용될 수 있다.
도 5b는 최종 사용자가 증강 현실 환경 내의 가상 객체를 조작할 때 모바일 장치의 최종 사용자에게 실시간 피드백을 제공하는 방법의 대안적인 실시형태를 보인 흐름도이다. 일 실시형태에 있어서, 도 5b의 처리는 도 1의 모바일 장치(19)와 같은 모바일 장치에 의해 수행될 수 있다.
단계 532에서, 증강 현실 환경과 연관된 하나 이상의 가상 객체가 획득된다. 하나 이상의 가상 객체는 도 1의 서버(15)와 같은 가상 객체 서버로부터 획득될 수 있다. 하나 이상의 가상 객체는 증강 현실 환경에 이미 배치된 가상 객체를 포함할 수 있다. 하나 이상의 가상 객체는 제1 가상 객체를 포함할 수 있다. 일 실시형태에 있어서, 제1 가상 객체는 도 4a의 가상 볼(412)과 같은 3차원 가상 볼을 포함한다.
단계 534에서, 피드백 맵핑 파일이 획득된다. 피드백 맵핑 파일은 제1 가상 객체를 수반하는 하나 이상의 상호작용에 대한 하나 이상의 피드백 응답을 포함할 수 있다. 피드백 맵핑 파일은 도 1의 서버(15)와 같은 서버로부터 획득될 수 있다. 하나 이상의 피드백 응답은 시각 피드백 응답, 청각 피드백 응답 및/또는 촉각 피드백 응답을 포함할 수 있다.
단계 536에서, 상기 제1 가상 객체와 연관된 물질이 결정된다. 일 실시형태에 있어서, 상기 물질은 가상 객체 특성에 대응할 수 있다. 예를 들면, 상기 물질은 금속, 플라스틱, 유리 또는 나무에 대응할 수 있다. 단계 538에서, 상기 제1 가상 객체와 연관된, 증강 현실 환경 내의 영역이 결정된다. 상기 영역은 증강 현실 환경 내의 하나 이상의 지점에 대응할 수 있다. 일 실시형태에 있어서, 상기 제1 가상 객체는 가상 볼(또는 가상 구)을 포함할 수 있고, 상기 증강 현실 환경 내의 영역은 가상 볼에 의해 점유되는 증강 현실 환경 내의 위치들에 대응할 수 있다. 일부 경우에, 상기 영역은 증강 현실 환경 내에서 상기 가상 볼에 의해 점유되는 위치들을 넘어서 특정 양만큼 연장할 수 있다. 예를 들면, 상기 영역은 28인치의 원주를 가진 가상 볼을 넘어서 추가의 2인치만큼 연장할 수 있다. 일 실시형태에 있어서, 상기 영역은 가상 객체의 총 크기의 일부에 대응하는 특정 거리만큼 가상 객체를 넘어서 연장할 수 있다.
단계 540에서, 객체 조작 제스처가 검출된다. 일 실시형태에 있어서, 객체 조작 제스처는 증강 현실 환경을 제공하는 모바일 장치에 의해 캡쳐된 이미지에 대하여 객체 인식 및/또는 제스처 인식 기술을 적용함으로써 검출될 수 있다. 단계 542에서, 상기 제1 가상 객체와의 상호작용이 객체 조작 제스처 및 상기 단계 538에서 결정된 영역에 기초하여 검출된다. 일부 경우에, 상호작용은 특정 제스처가 HMD의 최종 사용자에 의해 수행되고 제스처가 제1 가상 객체와 연관된 영역에서 수행되는 경우에 검출될 수 있다. 객체 조작 제스처는 가상 객체 잡기 제스처, 가상 객체 이동 제스처 또는 가상 객체 풀어주기 제스처, 또는 상기 제1 가상 객체와의 상호작용을 트리거하는 다른 제스처를 포함할 수 있다.
단계 544에서, 상기 상호작용과 연관된 가상적 힘의 크기가 결정된다. 가상적 힘의 크기는 객체 조작 제스처와 연관된 가속도 및/또는 속도에 기초하여(또는 상기 가속도 및/또는 속도에 비례하여) 결정될 수 있다. 예를 들면, 빠른 손 운동을 이용하여 만들어지는 손 제스처는 제1 크기의 가상적 힘에 대응하고, 느린 손 운동을 이용하여 만들어지는 손 제스처는 상기 제1 크기의 가상적 힘보다 더 작은 제2 크기의 가상적 힘에 대응할 수 있다.
단계 546에서, 피드백 맵핑 파일, 가상적 힘의 크기 및 단계 536에서 결정된 물질에 기초하여 상호작용에 대한 하나 이상의 피드백 응답 중에서 일정한 피드백 응답이 결정된다. 피드백 응답은 HMD의 최종 사용자에게 제공되는 시각 피드백, 청각 피드백 및 촉각 피드백의 조합을 포함할 수 있다. 피드백 응답을 결정하는 처리의 일 실시형태는 도 5c를 참조하면서 뒤에서 설명한다. 단계 548에서, 피드백 응답이 출력된다. 단계 550에서, 제1 가상 객체에 대응하는 하나 이상의 이미지가 모바일 장치에서 랜더링 및 디스플레이된다. 제1 가상 객체에 대응하는 하나 이상의 이미지는 제1 가상 객체가 모바일 장치의 최종 사용자에게 디스플레이된 증강 현실 환경 내에 존재하는 것으로 인지되도록 랜더링 및 디스플레이될 수 있다.
도 5c는 피드백 응답을 결정하는 처리의 일 실시형태를 보인 흐름도이다. 도 5C에서 설명하는 처리는 도 5a의 단계 514를 구현하는 처리 또는 도 5b의 단계 546을 구현하는 처리의 일 예이다. 일 실시형태에 있어서, 도 5c의 처리는 도 1의 모바일 장치(19)와 같은 모바일 장치에 의해 수행될 수 있다.
단계 572에서, 가상 객체와 연관된 상호작용이 식별된다. 상호작용은 가상 객체의 제어가 획득되고 풀어주기 동작 즉, 속박풀기 동작이 수행될 때까지 속박을 유지하는 속박 상호작용을 포함할 수 있다. 상호작용은 가상 객체 잡기, 가상 객체의 이동, 또는 가상 객체의 풀어주기를 포함할 수 있다. 단계 574에서, 피드백 맵핑 파일, 가상 객체에 적용되는 가상적 힘의 크기, 및 가상 객체와 연관된 물질 특성이 획득된다.
단계 576에서, 상호작용에 대한 시각 응답이 피드백 맵핑 파일, 가상 객체에 적용되는 가상적 힘의 크기, 및 상기 물질 특성에 기초하여 결정된다. 일 실시형태에 있어서, 적당한 가상 응답을 결정하기 전에, 상호작용과 연관된 HMD의 최종 사용자의 손이 HMD를 등지고 있는지(즉, 최종 사용자의 손바닥이 HMD를 등지고 있는지)가 결정된다. 만일 최종 사용자의 손이 상호작용 중에 HMD를 등지고 있고 상기 상호작용이 잡기 제스처를 포함하면, 가상 객체의 일부만이 HMD의 최종 사용자에게 보여질 수 있도록 가상 객체의 위치가 증강 현실 환경 내에서 이동된다(즉, 가상 객체의 일부만이 최종 사용자의 엄지와 다른 손가락들 사이에서 디스플레이된다).
일부 경우에, 상기 시각 응답은 가상 객체 잡기 제스처가 가상 객체에 대하여 수행된 후에 가상 객체의 깜박임(blinking)과 같은 객체 특유의 시각 피드백을 포함할 수 있다. 다른 경우에, 상기 시각 응답은 HMD를 이용하여 볼 때 화면 색 변경 또는 증강 현실 환경의 배경 색 변경과 같은 비 객체 특유 시각 피드백을 포함할 수 있다. 특정의 가상 객체 제스처 또는 상호작용과 연관된 시각적 표시자가 HMD의 최종 사용자에게 피드백을 제공하기 위해 증강 현실 환경에서 또한 나타날 수 있다(예를 들면, 가상 객체 잡기 아이콘이 HMD의 시야 내에서 상부 우측 코너에 나타날 수 있다).
단계 578에서, 상호작용에 대한 청각 응답이 피드백 맵핑 파일, 가상 객체에 적용되는 가상적 힘의 크기, 및 상기 물질 특성에 기초하여 결정된다. 일 실시형태에 있어서, 청각 응답은 물질 특성과 연관된 음향 효과를 포함할 수 있다. 예를 들어서, 만일 물질 특성이 금속성 가상 객체에 대응하면, 금속성 객체와 연관된 금속성 음향이 플레이될 수 있다.
단계 580에서, 상호작용에 대한 촉각 응답이 피드백 맵핑 파일, 가상 객체에 적용되는 가상적 힘의 크기, 및 상기 물질 특성에 기초하여 결정된다. 일 실시형태에 있어서, 촉각 응답은 도 4a의 전자 팔찌(404)와 같은 전자 팔찌의 진동과 관련될 수 있다. 더욱이, 일부 가상 객체 상호작용이 내재적으로 대칭이기 때문에, 최종 사용자에게 제공되는 피드백 응답은 대칭으로 될 수 있다. 일 실시형태에 있어서, 가상 객체의 잡기 및 가상 객체의 풀어주기는 대칭적 동작으로 간주될 수 있고, 따라서 가상 객체의 잡기 및 풀어주기와 연관된 피드백은 대칭으로 될 수 있다. 일 예로서, 가상적 잡기 제스처에 대해서는 음조가 증가하는 음향을 사용하고, 가상 풀어주기 제스처에 대해서는 음조가 감소하는 음향을 사용할 수 있다. 다른 예로서, 가상적 잡기 제스처에 대해서는 일정한 낮은 진동을 사용하고, 가상 풀어주기 제스처에 대해서는 일정한 낮은 진동의 디스에이블링을 사용할 수 있다.
단계 582에서, 시각 응답, 청각 응답 및 촉각 응답이 출력된다. 일 실시형태에 있어서, 출력된 시각 응답은 HMD의 최종 사용자가 볼 때 가상 객체의 업데이트된 디스플레이를 포함하고, 출력된 청각 응답은 (예를 들면, HMD에 내장된 스피커를 통해) 특정 음향의 플레이를 포함하며, 출력된 촉각 응답은 전자 팔찌, HMD의 최종 사용자와 연관된 이동 전화기 또는 HMD 자체의 진동을 포함할 수 있다.
여기에서 설명하는 기술의 일 실시형태는 하나 이상의 프로세서와 통신하는 시스루 디스플레이를 포함한다. 상기 하나 이상의 프로세서는 제1 가상 객체를 획득하고 상기 제1 가상 객체와 연관된 객체 분류를 결정하며, 상기 하나 이상의 프로세서는 전자 장치의 최종 사용자에 의해 수행된 객체 조작 제스처를 검출하고 상기 객체 조작 제스처에 기초하여 상기 제1 가상 객체와의 상호작용을 검출하며, 상기 하나 이상의 프로세서는 상호작용과 연관된 가상적 힘의 크기를 결정하고 상기 가상적 힘의 크기 및 상기 객체 분류에 기초하여 상호작용에 대한 피드백 응답을 결정한다. 상기 하나 이상의 프로세서는 피드백 응답을 출력한다. 피드백 응답은 시각 응답, 청각 응답 및 촉각 응답을 포함할 수 있다. 시스루 디스플레이는 제1 가상 객체가 증강 현실 환경 내에 존재하는 것으로 인지되도록 상기 제1 가상 객체의 하나 이상의 이미지를 디스플레이한다.
여기에서 설명하는 기술의 일 실시형태는 증강 현실 환경과 연관된 하나 이상의 가상 객체를 획득하는 단계를 포함한다. 상기 하나 이상의 가상 객체는 제1 가상 객체를 포함한다. 방법은 또한 상기 제1 가상 객체와 연관된 객체 분류를 결정하는 단계와, 객체 조작 제스처를 검출하는 단계와, 상기 객체 조작 제스처에 기초하여 상기 제1 가상 객체와 연관된 상호작용을 검출하는 단계와, 상기 상호작용과 연관된 가상적 힘의 크기를 결정하는 단계와, 상기 가상적 힘의 크기 및 상기 객체 분류에 기초하여 상기 상호작용에 대한 피드백 응답을 결정하는 단계와, 상기 피드백 응답을 출력하는 단계를 포함한다. 피드백 응답은 시각 응답, 청각 응답 및 촉각 응답을 포함할 수 있다. 방법은 또한 상기 제1 가상 객체에 대응하는 하나 이상의 이미지를 랜더링하는 단계와, 상기 하나 이상의 이미지를 모바일 장치에서 디스플레이하는 단계를 포함할 수 있다.
여기에서 설명하는 기술의 일 실시형태는 증강 현실 환경과 연관된 제1 가상 객체 및 제2 가상 객체를 획득하는 단계와, 상기 제1 가상 객체 및 상기 제2 가상 객체와 연관된 객체 분류를 결정하는 단계와, 증강 현실 환경 내에서 객체 조작 제스처를 검출하는 단계와, 상기 객체 조작 제스처에 기초하여 상기 제1 가상 객체와 연관된 상호작용을 검출하는 단계와, 상기 상호작용과 연관된 가상적 힘의 크기를 결정하는 단계와, 상기 가상적 힘의 크기 및 상기 객체 분류에 기초하여 상기 상호작용에 대한 피드백 응답을 결정하는 단계와, 상기 피드백 응답을 출력하는 단계를 포함한다. 피드백 응답은 시각 응답, 청각 응답 또는 촉각 응답 중 적어도 하나를 포함한다. 방법은 또한 상기 제1 가상 객체에 대응하는 하나 이상의 이미지를 랜더링하는 단계와, 상기 하나 이상의 이미지를 모바일 장치에서 디스플레이하는 단계를 포함한다.
도 6은 도 1의 모바일 장치(19)와 같은 모바일 장치(8300)의 일 실시형태의 블록도이다. 모바일 장치는 랩톱 컴퓨터, 포켓 컴퓨터, 이동 전화기, HMD, 개인용 정보 단말기, 및 무선 수신기/송신기 기술에 의해 통합된 핸드헬드 미디어 장치를 포함할 수 있다.
모바일 장치(8300)는 하나 이상의 프로세서(8312) 및 메모리(8310)를 포함한다. 메모리(8310)는 애플리케이션(8330) 및 비휘발성 스토리지(8340)를 포함한다. 메모리(8310)는 비휘발성 및 휘발성 메모리를 포함한 임의의 다양한 메모리 스토리지 미디어 유형일 수 있다. 모바일 장치 운영체제는 모바일 장치(8300)의 상이한 동작을 취급하고 전화 호출, 텍스트 메시징, 음성메일 체크 등을 배치 및 수신하는 것과 같은 동작을 위한 사용자 인터페이스를 내포할 수 있다. 애플리케이션(8330)은 사진 및/또는 비디오용의 카메라 애플리케이션, 주소록, 캘린더 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임, 알람 애플리케이션, 및 기타 애플리케이션과 같은 임의의 프로그램 분류일 수 있다. 메모리(8310)의 비휘발성 스토리지 컴포넌트(8340)는 음악, 사진, 연락처 데이터, 스케줄링 데이터 및 기타 파일과 같은 데이터를 저장할 수 있다.
하나 이상의 프로세서(8312)는 시스루 디스플레이(8309)와 통신한다. 시스루 디스플레이(8309)는 실세계 환경과 연관된 하나 이상의 가상 객체를 디스플레이할 수 있다. 하나 이상의 프로세서(8312)는 안테나(8302)에 연결된 RF 송신기/수신기(8306), 적외선 송신기/수신기(8308), 글로벌 위치확인 서비스(GPS) 수신기(8365), 및 가속도계 및/또는 자력계를 포함하는 움직임/방위 센서(8314)와 또한 통신한다. RF 송신기/수신기(8306)는 블루투스 또는 IEEE 802.11 표준과 같은 각종 무선 기술 표준을 통해 무선 통신을 가능하게 한다. 가속도계는 사용자가 제스처를 통해 명령을 입력하게 하는 지능적 사용자 인터페이스 애플리케이션, 및 모바일 장치가 회전된 때 초상으로부터 풍경까지 디스플레이를 자동으로 변경할 수 있는 방위 애플리케이션과 같은 애플리케이션이 가능하도록 모바일 장치에 통합되었다. 가속도계는 예를 들면 반도체 칩에 구축된 작은 기계 장치(마이크로미터 치수의 것)인 마이크로 전기기계 시스템(MEMS)에 의해 제공될 수 있다. 가속도 방향뿐만 아니라 방위, 진동 및 충격이 감지될 수 있다. 하나 이상의 프로세서(8312)는 또한 링거/진동기(8316), 사용자 인터페이스 키패드/스크린(8318), 스피커(8320), 마이크로폰(8322), 카메라(8324), 광센서(8326) 및 온도 센서(8328)와 통신한다. 사용자 인터페이스 키패드/스크린은 터치 감응 스크린 디스플레이를 포함할 수 있다.
하나 이상의 프로세서(8312)는 무선 신호의 송신 및 수신을 제어한다. 송신 모드 중에, 하나 이상의 프로세서(8312)는 마이크로폰(8322)으로부터의 음성 신호 또는 다른 데이터 신호를 RF 송신기/수신기(8306)에 제공한다. 송신기/수신기(8306)는 안테나(8302)를 통해 신호를 송신한다. 링거/진동기(8316)는 유입 호출, 텍스트 메시지, 캘린더 리마인더, 알람 시계 리마인더 또는 다른 통지를 사용자에게 신호하기 위해 사용된다. 수신 모드 중에, RF 송신기/수신기(8306)는 안테나(8302)를 통해 원격 스테이션으로부터 음성 신호 또는 데이터 신호를 수신한다. 수신된 음성 신호는 스피커(8320)에 제공되는 한편, 다른 수신된 데이터 신호들이 적절히 처리된다.
추가로, 물리적 커넥터(8388)가 모바일 장치(8300)를 배터리(8304) 충전을 위해 AC 어댑터 또는 전력 도킹 스테이션과 같은 외부 전원에 접속하기 위해 사용될 수 있다. 물리적 커넥터(8388)는 외부 컴퓨팅 장치에 대한 데이터 접속으로서 또한 사용될 수 있다. 상기 데이터 접속에 의해 다른 장치의 컴퓨팅 데이터와 모바일 장치 데이터와의 동기화 등의 동작이 가능하다.
개시된 기술은 각종의 다른 범용 또는 특수 용도 컴퓨팅 시스템 환경 또는 구성과 함께 동작할 수 있다. 본 발명의 기술과 함께 사용하기에 적합한 잘 알려진 컴퓨팅 시스템, 환경 및/또는 구성의 비제한적인 예로는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱박스, 프로그램가능한 가전제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 전술한 임의의 시스템 또는 장치를 포함한 분산형 컴퓨팅 환경 등이 있다.
개시된 기술은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어의 일반적인 관계로 설명될 수 있다. 일반적으로, 여기에서 설명한 소프트웨어 및 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상적 데이터 유형을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 및 다른 유형의 구조를 포함한다. 하드웨어 또는 하드웨어와 소프트웨어의 조합이 여기에서 설명한 소프트웨어 모듈을 대체할 수 있다.
개시된 기술은 태스크가 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 수행되는 분산형 컴퓨팅 환경에서 또한 실시될 수 있다. 분산형 컴퓨팅 환경에 있어서, 프로그램 모듈은 메모리 스토리지 장치를 포함한 국지적 및 원격 컴퓨터 스토리지 매체 둘 다에 위치될 수 있다.
이 문서의 목적상, 개시된 기술과 관련된 각각의 처리는 연속적으로 및 하나 이상의 컴퓨팅 장치에 의해 수행될 수 있다. 처리에 있어서의 각 단계는 다른 단계에서 사용된 것과 동일한 컴퓨팅 장치 또는 다른 컴퓨팅 장치에 의해 수행될 수 있고, 각 단계는 반드시 단일 컴퓨팅 장치에 의해 수행될 필요가 없다.
이 문서의 목적상, 명세서에서 "실시형태", "일 실시형태", 일부 실시형태", 또는 "다른 실시형태"의 인용은 상이한 실시형태를 설명하기 위해 사용될 수 있고, 반드시 동일 실시형태를 인용하는 것이 아니다.
이 문서의 목적상, 접속은 직접 접속 또는 (예컨대 다른 부품을 경유하는) 간접 접속일 수 있다.
이 문서의 목적상, 용어 객체의 "설정"은 하나 이상 객체의 "설정"을 의미할 수 있다.
비록 주제가 구조적 특징 및/또는 방법적 동작에 특유한 언어로 설명되어 있지만, 첨부된 특허 청구범위에서 규정되는 주제는 반드시 전술한 특유의 특징 또는 동작으로 제한되지 않는다는 것을 이해하여야 한다. 오히려, 전술한 특유의 특징 및 동작들은 특허 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (17)

  1. 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 전자 장치에 있어서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서와 통신하는 시스루(see through) 디스플레이
    를 포함하고,
    상기 하나 이상의 프로세서는 제1 가상 객체를 획득하고 상기 제1 가상 객체와 연관된 객체 분류(object classification)를 결정하고,
    상기 하나 이상의 프로세서는 상기 전자 장치의 최종 사용자에 의해 수행되는 객체 조작 제스처를 검출하고 상기 객체 조작 제스처의 검출에 기초하여 상기 제1 가상 객체와의 상호작용을 검출하고,
    상기 하나 이상의 프로세서는 상기 상호작용과 연관된 가상적 힘의 크기를 결정하고,
    상기 하나 이상의 프로세서는 상기 가상적 힘의 크기 및 상기 객체 분류에 기초하여 상기 상호작용에 대한 피드백 응답을 결정하고,
    상기 하나 이상의 프로세서는 상기 피드백 응답을 출력하고,
    상기 하나 이상의 프로세서는 상기 최종 사용자의 손의 손바닥이 상기 전자 장치를 등지고 있는 것을 검출하고,
    상기 하나 이상의 프로세서는, 상기 최종 사용자의 손의 손바닥이 상기 전자 장치를 등지고 있는 것을 검출한 것에 응답하여 상기 제1 가상 객체의 제1 부분이 랜더링되고 상기 최종 사용자의 손에 의해 가려질 상기 제1 가상 객체의 제2 부분이 랜더링되지 않도록, 상기 제1 가상 객체에 대응하는 하나 이상의 이미지를 랜더링하고,
    상기 하나 이상의 프로세서는, 상기 제1 가상 객체와의 상호작용을 검출한 것에 응답하여, 상기 하나 이상의 이미지를 랜더링하기 전에, 증강 현실 환경 내의 상기 제1 가상 객체가 스냅핑(snap)되어 상기 최종 사용자의 손의 중앙에 위치하도록 하고,
    상기 객체 조작 제스처는 잡기(grabbing) 제스처에 대응하며,
    상기 시스루 디스플레이는, 상기 제1 가상 객체가 상기 증강 현실 환경 내에 존재하는 것으로 인지되도록, 상기 제1 가상 객체의 하나 이상의 이미지를 디스플레이하는 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는 상기 제1 가상 객체와 연관된 물질 특성을 결정하고,
    상기 하나 이상의 프로세서는 상기 가상적 힘의 크기 및 상기 물질 특성에 기초하여 상기 피드백 응답을 결정하는 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 전자 장치.
  3. 제1항에 있어서,
    상기 하나 이상의 프로세서는 상기 제1 가상 객체와 연관된 상기 증강 현실 환경 내의 영역을 결정하고,
    상기 하나 이상의 프로세서는, 상기 객체 조작 제스처가 상기 영역 내에서 수행되고 있는 것을 검출함으로써 상기 제1 가상 객체와의 상호작용을 검출하며,
    상기 영역은 특정 거리만큼 상기 제1 가상 객체를 넘어서 연장하는 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 전자 장치.
  4. 제1항에 있어서,
    상기 피드백 응답은 촉각적(haptic) 응답을 포함하고,
    상기 촉각적 응답은 상기 전자 장치의 진동을 포함한 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 전자 장치.
  5. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 제1 가상 객체의 제1 부분이 상기 최종 사용자의 손의 엄지와 검지 사이에서 나타나도록, 상기 증강 현실 환경 내에서 상기 제1 가상 객체의 위치를 이동(shift)시키는 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 전자 장치.
  6. 제1항에 있어서,
    상기 피드백 응답은 촉각적 응답을 포함하고,
    상기 촉각적 응답은 상기 가상적 힘의 크기에 비례하는 특정 크기의, 상기 전자 장치와는 상이한 제2 전자 장치의 진동을 포함한 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 전자 장치.
  7. 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법에 있어서,
    증강 현실 환경과 연관된 하나 이상의 가상 객체 - 상기 하나 이상의 가상 객체는 제1 가상 객체를 포함함 - 를 획득하는 단계;
    상기 제1 가상 객체와 연관된 객체 분류를 결정하는 단계;
    모바일 장치의 최종 사용자에 의한 상기 제1 가상 객체와의 상호작용을 검출하는 단계;
    상기 상호작용과 연관된 가상적 힘의 크기를 결정하는 단계;
    상기 가상적 힘의 크기 및 상기 객체 분류에 기초하여 상기 상호작용을 검출한 것에 응답하여 피드백 응답을 결정하는 단계;
    상기 피드백 응답을 출력하는 단계;
    상기 최종 사용자의 손의 손바닥이 상기 모바일 장치를 등지고 있는 것을 검출하는 단계;
    상기 최종 사용자의 손의 손바닥이 상기 모바일 장치를 등지고 있는 것을 검출한 것에 응답하여 상기 제1 가상 객체의 제1 부분이 랜더링되고 상기 최종 사용자의 손에 의해 가려질 상기 제1 가상 객체의 제2 부분이 랜더링되지 않도록, 상기 제1 가상 객체에 대응하는 하나 이상의 이미지를 랜더링하는 단계 - 상기 제1 가상 객체에 대응하는 하나 이상의 이미지를 랜더링하는 단계는, 상기 제1 가상 객체와의 상호작용을 검출한 것에 응답하여, 상기 하나 이상의 이미지를 랜더링하기 전에, 상기 제1 가상 객체를 스냅핑하여 상기 최종 사용자의 손의 중앙에 위치하도록 하는 단계를 포함하며, 상기 상호작용은 잡기 제스처에 대응함 -; 및
    상기 모바일 장치 상에 상기 하나 이상의 이미지를 디스플레이하는 단계
    를 포함하는 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  8. 제7항에 있어서,
    상기 제1 가상 객체와 연관된 물질 특성을 결정하는 단계
    를 더 포함하고,
    상기 피드백 응답을 결정하는 단계는, 상기 가상적 힘의 크기 및 상기 물질 특성에 기초하여 상기 피드백 응답을 결정하는 단계를 포함한 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  9. 제7항에 있어서,
    상기 제1 가상 객체와 연관된 상기 증강 현실 환경 내의 영역을 결정하는 단계
    를 더 포함하고,
    상기 제1 가상 객체와의 상호작용을 검출하는 단계는, 상기 최종 사용자에 의해 수행되는 객체 조작 제스처가 상기 영역 내에서 수행되고 있는 것을 검출하는 단계를 포함한 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  10. 제9항에 있어서,
    상기 영역은 특정 거리만큼 상기 제1 가상 객체를 넘어서 연장하는 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  11. 제7항에 있어서,
    상기 하나 이상의 이미지를 랜더링하는 단계는, 상기 제1 가상 객체의 제1 부분이 상기 최종 사용자의 손의 엄지와 검지 사이에서 나타나도록, 상기 증강 현실 환경 내에서 상기 제1 가상 객체의 위치를 이동시키는 단계를 포함한 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  12. 제7항에 있어서,
    상기 피드백 응답은 촉각적 응답을 포함하고,
    상기 촉각적 응답은 상기 가상적 힘의 크기에 비례하는 특정 크기의, 상기 모바일 장치의 진동을 포함한 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  13. 제7항에 있어서,
    상기 객체 분류는 금속성 가상 객체와 연관된 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  14. 제7항에 있어서,
    상기 모바일 장치는 머리 장착형 디스플레이 장치(head-mounted display device; HMD)를 포함하고;
    상기 하나 이상의 가상 객체를 획득하는 단계는 상기 HMD에 의해 수행되고;
    상기 제1 가상 객체와의 상호작용을 검출하는 단계는 상기 HMD에 의해 수행되며;
    상기 피드백 응답을 결정하는 단계는 상기 HMD에 의해 수행되는 것인 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법.
  15. 가상 객체 상호작용과 연관된 피드백을 제공하기 위한 방법을 하나 이상의 프로세서가 수행하는 것을 프로그래밍하기 위한 프로세서로 판독가능한 코드를 포함한 하나 이상의 물리적 하드웨어 저장 장치에 있어서, 상기 방법은,
    증강 현실 환경과 연관된 제1 가상 객체를 획득하는 단계;
    상기 제1 가상 객체와 연관된 객체 분류를 결정하는 단계;
    모바일 장치의 최종 사용자에 의해 수행되는 상기 증강 현실 환경 내에서의 객체 조작 제스처를 검출하는 단계;
    상기 객체 조작 제스처를 검출한 것에 응답하여 상기 제1 가상 객체와의 상호작용을 검출하는 단계;
    상기 상호작용과 연관된 가상적 힘의 크기를 결정하는 단계;
    상기 가상적 힘의 크기 및 상기 객체 분류에 기초하여 상기 상호작용에 대한 피드백 응답을 결정하는 단계;
    상기 피드백 응답 - 상기 피드백 응답은 시각적 응답, 청각적 응답, 또는 촉각적 응답 중 적어도 하나를 포함함 - 을 출력하는 단계;
    상기 최종 사용자의 손의 손바닥이 상기 모바일 장치를 등지고 있는 것을 검출하는 단계;
    상기 최종 사용자의 손의 손바닥이 상기 모바일 장치를 등지고 있는 것을 검출한 것에 응답하여 상기 제1 가상 객체의 제1 부분이 랜더링되고 상기 최종 사용자의 손에 의해 가려질 상기 제1 가상 객체의 제2 부분이 랜더링되지 않도록, 상기 제1 가상 객체에 대응하는 하나 이상의 이미지를 랜더링하는 단계 - 상기 제1 가상 객체에 대응하는 하나 이상의 이미지를 랜더링하는 단계는, 상기 제1 가상 객체와의 상호작용을 검출한 것에 응답하여, 상기 하나 이상의 이미지를 랜더링하기 전에, 상기 제1 가상 객체를 스냅핑하여 상기 최종 사용자의 손의 중앙에 위치하도록 하는 단계를 포함하며, 상기 객체 조작 제스처는 잡기 제스처에 대응함 -; 및
    상기 모바일 장치 상에 상기 하나 이상의 이미지를 디스플레이하는 단계
    를 포함한 것인 하나 이상의 물리적 하드웨어 저장 장치.
  16. 제15항에 있어서,
    상기 방법은 상기 제1 가상 객체와 연관된 물질 특성을 결정하는 단계를 더 포함하고,
    상기 상호작용에 대한 피드백 응답을 결정하는 단계는 상기 물질 특성에 기초하여 상기 피드백 응답을 결정하는 단계를 포함하며,
    상기 청각적 응답은 상기 물질 특성과 연관된 음향 효과를 포함한 것인 하나 이상의 물리적 하드웨어 저장 장치.
  17. 제15항에 있어서,
    상기 방법은 상기 제1 가상 객체와 연관된 상기 증강 현실 환경 내의 영역을 결정하는 단계를 더 포함하고,
    상기 제1 가상 객체와의 상호작용을 검출하는 단계는 상기 객체 조작 제스처가 상기 영역 내에서 수행되고 있는 것을 검출하는 단계를 포함하며,
    상기 영역은 특정 거리만큼 상기 제1 가상 객체를 넘어서 연장하는 것인 하나 이상의 물리적 하드웨어 저장 장치.
KR1020157032169A 2013-04-12 2014-04-08 홀로그램 객체 피드백 KR102194164B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/862,210 US9367136B2 (en) 2013-04-12 2013-04-12 Holographic object feedback
US13/862,210 2013-04-12
PCT/US2014/033245 WO2014168901A1 (en) 2013-04-12 2014-04-08 Holographic object feedback

Publications (2)

Publication Number Publication Date
KR20150140807A KR20150140807A (ko) 2015-12-16
KR102194164B1 true KR102194164B1 (ko) 2020-12-22

Family

ID=50694051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157032169A KR102194164B1 (ko) 2013-04-12 2014-04-08 홀로그램 객체 피드백

Country Status (5)

Country Link
US (1) US9367136B2 (ko)
EP (1) EP2984539A1 (ko)
KR (1) KR102194164B1 (ko)
CN (1) CN105264460B (ko)
WO (1) WO2014168901A1 (ko)

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US10013092B2 (en) 2013-09-27 2018-07-03 Sensel, Inc. Tactile touch sensor system and method
US11221706B2 (en) 2013-09-27 2022-01-11 Sensel, Inc. Tactile touch sensor system and method
WO2015048584A1 (en) 2013-09-27 2015-04-02 Sensel , Inc. Capacitive touch sensor system and method
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US10740979B2 (en) * 2013-10-02 2020-08-11 Atheer, Inc. Method and apparatus for multiple mode interface
US10163264B2 (en) 2013-10-02 2018-12-25 Atheer, Inc. Method and apparatus for multiple mode interface
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
EP3116616B1 (en) 2014-03-14 2019-01-30 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
JP6314564B2 (ja) * 2014-03-17 2018-04-25 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9741169B1 (en) * 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9690381B2 (en) * 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160024168A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
CN104407786A (zh) * 2014-09-30 2015-03-11 深圳市亿思达科技集团有限公司 实现全息图像显示的交互式显示方法、控制方法及系统
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US10073523B2 (en) 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
GB2533789A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy User interface for augmented reality
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20160239085A1 (en) * 2015-02-18 2016-08-18 Lenovo (Singapore) Pte, Ltd. Force indication of a boundary
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US20160299565A1 (en) * 2015-04-07 2016-10-13 Siemens Aktiengesellschaft Eye tracking for registration of a haptic device with a holograph
JP2018513455A (ja) 2015-04-21 2018-05-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ エッチング入力の動的表現
CN104820492A (zh) * 2015-04-23 2015-08-05 济南大学 一种三维触觉系统
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
EP3329484A4 (en) 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
EP3340188A4 (en) * 2015-08-20 2019-05-22 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US11334165B1 (en) * 2015-09-03 2022-05-17 sigmund lindsay clements Augmented reality glasses images in midair having a feel when touched
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
KR20180057693A (ko) 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US9857874B2 (en) * 2015-11-03 2018-01-02 Chunghwa Picture Tubes, Ltd. Augmented reality system and augmented reality interaction method
KR102450416B1 (ko) 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US9918663B2 (en) 2015-11-15 2018-03-20 Wamis Singhatat Feedback wearable
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101807655B1 (ko) * 2015-12-01 2017-12-11 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN106371574B (zh) * 2015-12-04 2019-03-12 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
CN109154872B (zh) 2016-03-25 2020-06-30 森赛尔股份有限公司 用于检测和表征表面上的力输入的系统和方法
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
CN105955458B (zh) * 2016-04-21 2019-04-05 北京众绘虚拟现实技术研究院有限公司 反馈力生成方法及装置
US10019131B2 (en) 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US9983697B1 (en) 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
US10459522B2 (en) 2016-06-15 2019-10-29 Konkuk University Glocal Industry-Academic Collaboration Foundation System and method for inducing somatic sense using air plasma and interface device using them
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
US20170371410A1 (en) * 2016-06-28 2017-12-28 International Business Machines Corporation Dynamic virtual object interactions by variable strength ties
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US9965051B2 (en) 2016-06-29 2018-05-08 Microsoft Technology Licensing, Llc Input device tracking
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
CN106155322A (zh) * 2016-06-30 2016-11-23 联想(北京)有限公司 信息处理方法、电子设备以及控制系统
WO2018017212A1 (en) 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic driving guidance system
US10255658B2 (en) * 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
IL303843B1 (en) 2016-08-11 2024-02-01 Magic Leap Inc Automatic positioning of a virtual object in three-dimensional space
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10303118B2 (en) * 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
JP2018152812A (ja) * 2017-03-15 2018-09-27 ソニー株式会社 ヘッドホン
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
WO2018175257A1 (en) 2017-03-21 2018-09-27 Pcms Holdings, Inc. Method and system for the detection and augmentation of tactile interactions in augmented reality
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US10453273B2 (en) * 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10824293B2 (en) 2017-05-08 2020-11-03 International Business Machines Corporation Finger direction based holographic object interaction from a distance
US10496157B2 (en) * 2017-05-09 2019-12-03 Microsoft Technology Licensing, Llc Controlling handheld object light sources for tracking
WO2018207662A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US10445935B2 (en) * 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US10168789B1 (en) 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US20190011698A1 (en) * 2017-07-10 2019-01-10 Pierce Elliott James Method and system for facilitating provisioning of holographic content
US20190156715A1 (en) * 2017-07-10 2019-05-23 Pierce Elliott James Method and system for facilitating provisioning of holographic content
CN109298776B (zh) * 2017-07-25 2021-02-19 阿里巴巴（中国）有限公司 增强现实互动系统、方法和装置
US10444703B2 (en) 2017-07-28 2019-10-15 International Business Machines Corporation Method and system for simulation of forces using holographic objects
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
KR102408359B1 (ko) * 2017-08-23 2022-06-14 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN107491947B (zh) * 2017-08-24 2020-06-02 维沃移动通信有限公司 一种资源转移方法、相关设备及系统
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
CN107728782A (zh) * 2017-09-21 2018-02-23 广州数娱信息科技有限公司 交互方法及交互系统、服务器
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
GB201800920D0 (en) * 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
US11069148B2 (en) * 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
US10565797B2 (en) * 2018-02-17 2020-02-18 Varjo Technologies Oy System and method of enhancing user's immersion in mixed reality mode of display apparatus
WO2019163129A1 (ja) * 2018-02-26 2019-08-29 三菱電機株式会社 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
KR102279306B1 (ko) * 2018-02-26 2021-07-19 미쓰비시덴키 가부시키가이샤 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
CN108398787B (zh) * 2018-03-20 2023-05-16 京东方科技集团股份有限公司 增强现实显示设备、方法和增强现实眼镜
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
CA3104974C (en) 2018-04-14 2024-05-21 The California State University - San Marcos Hands on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
US10783712B2 (en) * 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
US10635895B2 (en) * 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN108897425B (zh) * 2018-06-29 2020-12-18 联想(北京)有限公司 一种数据处理方法及电子设备
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) * 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
CA3109757A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
KR102333768B1 (ko) * 2018-11-16 2021-12-01 주식회사 알체라 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US11132060B2 (en) * 2018-12-04 2021-09-28 International Business Machines Corporation Collaborative interactions and feedback with midair interfaces
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10885715B2 (en) * 2019-01-14 2021-01-05 Microsoft Technology Licensing, Llc Interactive carry
US11796959B2 (en) 2019-01-25 2023-10-24 International Business Machines Corporation Augmented image viewing with three dimensional objects
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
US11297366B2 (en) * 2019-05-22 2022-04-05 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
JP2021005157A (ja) * 2019-06-25 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
CN110333785B (zh) * 2019-07-11 2022-10-28 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
WO2021099833A1 (en) * 2019-11-19 2021-05-27 Orcam Technologies Ltd. Wearable systems and methods for locating an object
KR20210069491A (ko) 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
US11481039B2 (en) * 2020-08-28 2022-10-25 Electronics And Telecommunications Research Institute System for recognizing user hand gesture and providing virtual reality content based on deep learning using transfer learning
US11327630B1 (en) * 2021-02-04 2022-05-10 Huawei Technologies Co., Ltd. Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
US20220383601A1 (en) * 2021-05-25 2022-12-01 Samsung Electronics Co., Ltd. Virtual avatars and physical object interaction in augmented reality applications
US11579691B2 (en) 2021-05-25 2023-02-14 Kyndryl, Inc. Mid-air volumetric visualization movement compensation
US11875792B2 (en) 2021-08-17 2024-01-16 International Business Machines Corporation Holographic interface for voice commands
GB2612767A (en) * 2021-11-03 2023-05-17 Sony Interactive Entertainment Inc Virtual reality interactions
CN114385004A (zh) * 2021-12-15 2022-04-22 北京五八信息技术有限公司 基于增强现实的交互方法、装置、电子设备及可读介质
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
CN115047624B (zh) * 2022-05-24 2023-06-27 北京领为军融科技有限公司 智能眼镜操控系统
WO2024005243A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 시각 장애인용 보행 보조 시스템 및 그 방법
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094351A1 (en) 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US20090066725A1 (en) 2007-09-10 2009-03-12 Canon Kabushiki Kaisha Information-processing apparatus and information-processing method

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690338B1 (en) * 1993-08-23 2004-02-10 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
US5991085A (en) 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US7920124B2 (en) * 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
US9881520B2 (en) * 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
KR100927009B1 (ko) 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US20110080273A1 (en) * 2008-06-13 2011-04-07 Waseda University Sensation Presenting System and Sensation Presenting Device
CN103529554B (zh) * 2008-07-10 2018-07-31 实景成像有限公司 宽视角显示和用户接口
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8493188B2 (en) 2009-01-14 2013-07-23 International Business Machines Corporation Haptic motion feedback device
US20110270135A1 (en) * 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
US20110148607A1 (en) * 2009-12-17 2011-06-23 Charles Timberlake Zeleny System,device and method for providing haptic technology
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8922355B2 (en) * 2011-01-13 2014-12-30 Empire Technology Development Llc Haptic feedback device using electro-rheological fluid
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9013426B2 (en) * 2012-01-12 2015-04-21 International Business Machines Corporation Providing a sense of touch in a mobile device using vibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094351A1 (en) 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US20090066725A1 (en) 2007-09-10 2009-03-12 Canon Kabushiki Kaisha Information-processing apparatus and information-processing method

Also Published As

Publication number Publication date
US20140306891A1 (en) 2014-10-16
KR20150140807A (ko) 2015-12-16
WO2014168901A1 (en) 2014-10-16
CN105264460A (zh) 2016-01-20
CN105264460B (zh) 2018-10-12
EP2984539A1 (en) 2016-02-17
US9367136B2 (en) 2016-06-14

Similar Documents

Publication Publication Date Title
KR102194164B1 (ko) 홀로그램 객체 피드백
US11181986B2 (en) Context-sensitive hand interaction
KR102222974B1 (ko) 홀로그램 스냅 그리드
CN109804334B (zh) 用于三维空间中虚拟对象的自动放置的系统和方法
JP7118007B2 (ja) 視野周辺の視覚的背光
CN107111370B (zh) 现实世界对象的虚拟表示
US10359863B2 (en) Dragging virtual elements of an augmented and/or virtual reality environment
US11755122B2 (en) Hand gesture-based emojis
KR20190094381A (ko) 혼합 현실 환경의 가상 사용자 입력 콘트롤들
JP2022510843A (ja) アバタ移動のためのマルチモードの手の場所および配向
US11294475B1 (en) Artificial reality multi-modal input switching model
US11669218B2 (en) Real-time preview of connectable objects in a physically-modeled virtual space
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant