KR20170081225A - 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법 - Google Patents

가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법 Download PDF

Info

Publication number
KR20170081225A
KR20170081225A KR1020177015239A KR20177015239A KR20170081225A KR 20170081225 A KR20170081225 A KR 20170081225A KR 1020177015239 A KR1020177015239 A KR 1020177015239A KR 20177015239 A KR20177015239 A KR 20177015239A KR 20170081225 A KR20170081225 A KR 20170081225A
Authority
KR
South Korea
Prior art keywords
user
virtual
head
boundary
space
Prior art date
Application number
KR1020177015239A
Other languages
English (en)
Other versions
KR102667544B1 (ko
Inventor
다비드 소여
케네스 버드웰
케네스 바네트
트리스탄 레드포드
아론 리비
에밀리 릿지웨이
알렌산더 씨. 블라크
Original Assignee
밸브 코포레이션
케네스 버드웰
아론 리비
트리스탄 레드포드
에밀리 릿지웨이
알렌산더 씨. 블라크
다비드 소여
케네스 바네트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 밸브 코포레이션, 케네스 버드웰, 아론 리비, 트리스탄 레드포드, 에밀리 릿지웨이, 알렌산더 씨. 블라크, 다비드 소여, 케네스 바네트 filed Critical 밸브 코포레이션
Publication of KR20170081225A publication Critical patent/KR20170081225A/ko
Application granted granted Critical
Publication of KR102667544B1 publication Critical patent/KR102667544B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

워크-어라운드(walk-around) 가상 현실 환경과 같은 가상/증강 현실 환경에서 사용자를 안내하기 위한 감각 피드백("샤프로닝) 시스템 및 방법이 설명된다. 예시적인 구현 예는 다른 잠재적인 기능 및/또는 용도 중에서, 사용자가 행동하는 물리적인 동작 공간에서 객체와의 충돌을 방지하는 것을 돕는다.

Description

가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법{SENSORY FEEDBACK SYSTEMS AND METHODS FOR GUIDING USERS IN VIRTUAL REALITY ENVIRONMENTS}
관련 출원에 대한 상호-참조
본 출원은 2014년 11월 5일자 출원된 가출원 일련 번호 62/075,742 및 2015년 3월 1일자 출원된 62/126,695호의 이익을 주장하며, 이들 출원의 내용은 전체적으로 본원에 참조로서 포함된다.
본 발명은 일반적으로 워크-어라운드(walk-around) 가상 현실 환경과 같은 가상/증강 현실 환경에서 사용자를 안내하기 위한 그리고 사용자가 행동하는 물리적인 동작 공간(operating space)에서 객체와의 충돌을 방지하는 것을 돕기 위한 감각 피드백 시스템 및 방법에 관한 것이다.
다양한 증강 및/또는 가상 현실 시스템 및/또는 환경이 공지되어 있다. 현재의 한 세대의 데스크톱 가상 현실("VR") 체험은 (개인용 컴퓨터("PC"), 랩톱 또는 게임 콘솔과 같은) 고정식 컴퓨터에 고정될 수 있거나, 자체-포함될 수 있는 헤드 마운트 디스플레이("HMDs": head-mounted displays)를 사용하여 생성된다. 이러한 데스크톱 VR 체험은 일반적으로 전적으로 몰입적이어서 사용자의 감각을 주변 환경으로부터 연결 해제하려고 시도한다.
워크-어라운드 가상 현실 시스템을 사용할 때 물리적 객체와의 충돌은 현재 특정 상황에서 사용자를 안내하는 동작 공간("샤프론(chaperone)")에 두 번째 사람을 배치함으로써, 그리고/또는 물리적인 힌트를 제공함으로써(예를 들어 인접한 벽으로부터 일정 거리 떨어진 바닥에 두꺼운 카펫을 놓음으로써) 해결된다.
본 발명이 해결하려는 과제는 이 기술 분야의 현재의 한계를 해소하는 실세계 장애물과의 잠재적인 충돌을 헤드 마운트 디스플레이의 사용자에게 경고하기 위한 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 실세계 장애물과의 잠재적인 충돌을 헤드 마운트 디스플레이의 사용자에게 경고하기 위한 방법은,
기준점에 대해 상기 장애물의 위치를 정의하는 단계;
상기 기준점에 대해 상기 사용자의 위치를 지속적으로 모니터링하는 단계;
상기 장애물들 중 하나의 위치와 상기 사용자의 위치 사이의 거리가 소정의 경고 임계값보다 작은지를 결정하기 위한 제1 검출을 수행하는 단계; 및
상기 제1 검출에 응답하여, 상기 장애물들 중 하나와의 잠재적인 충돌에 대한 표시를 상기 사용자에게 제공하기 위하여 상기 헤드 마운트 디스플레이 상에 시각적 경고를 디스플레이하는 단계를 포함한다.
본 발명의 일 실시예에 의하면 사용자가 행동하는 물리적인 동작 공간(operating space)에서 객체와의 충돌을 방지하는 것을 도울 수 있다.
예로서, 이제 비례하지 않는 첨부 도면을 참조할 것이다.
도 1은 본 발명의 특정 실시예의 양태들을 구현하는데 사용될 수 있는 컴퓨팅 장치의 예시적인 도면이다.
도 2는 본 발명의 특정 실시예의 양태들을 구현하는데 사용될 수 있는 광 수신기들 및 센서들을 포함하는 헤드 마운트 가상 현실 장치를 착용한 인간 사용자의 예시적인 도면이다.
도 3은 본 발명의 특정 실시예의 양태들을 구현하는데 사용될 수 있는 광학 위치 추적 시스템의 송신기/수신기 구성의 예시적인 도면이다.
도 4는 본 발명의 특정 실시예의 양태를 구현하는데 사용될 수 있는 4개의 광 수신기를 갖는 헤드 마운트 가상 현실 디스플레이의 예시적인 도면이다.
도 5는 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 소프트 경계는 반투명 폴리곤으로서 바닥에서 볼 수 있고 플레이어에 의해 정의되며, 하드 경계는 플레이어의 실제 공간에서 물리적인 벽의 위치를 나타내는 빛나는 선 들(glowing lines)의 그리드로서 보인다.
도 6은 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 임박한 충돌을 사용자에게 경고하는, 하드 경계 샤프로닝 시스템의 두 개의 인-헤드셋(in-headset) 뷰가 도시되고, 묘사된 그리드들은 실제 벽 위치를 나타낸다.
도 7은 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 플레이어의 체험을 프레임화하는 것을 돕는 게임 장면(scene)에서 다른 요소들을 배치하기 위해 소프트 경계 데이터를 사용하는 예를 도시한 것이다.
도 8은 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 가상 공간의 벽에 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 예를 도시한 것이다.
도 9는 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 가상 공간의 벽에 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 다른 예를 도시한 것이다.
도 10은 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 가상 공간의 벽에 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 다른 예를 도시한 것이다.
도 11은 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 가상 공간의 벽에 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 다른 예를 도시한 것이다.
도 12는 특정 실시예에 따른 예시적인 디스플레이를 도시한 것으로, 가상 공간의 바닥 상에 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 관해 사용자/개발자에게 시각적으로 경고하는 일례를 도시한 것이다.
당업자는 본 발명의 다음의 설명이 단지 예시적인 것이며 임의의 방식으로 제한하는 것이 아님을 알 수 있을 것이다. 본 발명의 다른 실시예는 본 개시의 이점을 갖는 당업자에게 용이하게 제안될 것이며, 본 명세서에 정의된 일반적인 원리는 본 발명의 사상 및 범위를 벗어나지 않고 다른 실시예 및 응용에 적용될 수 있다. 따라서, 본 발명은 도시된 실시예들에 한정되는 것으로 의도되지 않고, 본 명세서에 개시된 원리들 및 특징들에 부합하는 가장 넓은 범위를 따른다. 이제 첨부된 도면에 도시된 바와 같이 본 발명의 특정 구현 예가 상세하게 참조될 것이다. 동일한 도면 부호 및 동일한 참조 번호는 동일한 부분 또는 유사한 부분을 지칭하기 위해 도면 및 다음의 설명 전체에 걸쳐 사용될 것이다.
이 상세한 설명에서 기술된 데이터 구조 및 코드는 전형적으로 컴퓨터 시스템에 의해 사용하기 위한 코드 및/또는 데이터를 저장할 수 있는 임의의 장치 또는 매체일 수 있는 컴퓨터 판독 가능 저장 매체에 저장된다. 여기에는 디스크 드라이브, 자기 테이프, CD(컴팩트 디스크) 및 DVD(디지털 다목적 디스크 또는 디지털 비디오 디스크)와 같은 자기 및 광학 저장 장치 및 (신호가 변조된 반송파가 있거나 반송파가 없는) 전송 매체에 구현된 컴퓨터 명령 신호가 포함된다. 예를 들어, 전송 매체는 인터넷과 같은 통신 네트워크를 포함할 수 있다.
도 1은 본 발명의 특정 실시예의 양태들을 구현하는데 사용될 수 있는 컴퓨팅 장치(100)의 예시적인 도면이다. 컴퓨팅 장치(100)는 버스(101), 하나 이상의 프로세서(105), 메인 메모리(110), 판독 전용 메모리(ROM)(115), 저장 장치(120), 하나 이상의 입력 장치(125), 하나 이상의 출력 장치(130) 및 통신 인터페이스(135)를 포함할 수 있다. 버스(101)는 컴퓨팅 장치(100)의 구성요소들 간의 통신을 허용하는 하나 이상의 컨덕터를 포함할 수 있다. 프로세서(105)는 명령들을 해석하고 실행하는 임의의 유형의 관용적인 프로세서, 마이크로프로세서 또는 프로세싱 로직을 포함할 수 있다. 메인 메모리(110)는 랜덤 액세스 메모리(RAM) 또는 프로세서(105)에 의한 실행을 위한 정보 및 명령들을 저장하는 다른 유형의 동적 저장 장치를 포함할 수 있다. ROM(115)은 관용적인 ROM 장치 또는 프로세서(105)에 의한 사용을 위한 정적 정보 및 명령들을 저장하는 다른 유형의 정적 저장 장치를 포함할 수 있다. 저장 장치(120)는 자기 및/또는 광학 기록 매체 및 그에 대응하는 드라이브를 포함할 수 있다. 입력 장치(들)(125)는 키보드, 마우스, 펜, 스타일러스, 필기 인식, 음성 인식, 바이오메트릭 메커니즘 등과 같은 사용자가 컴퓨팅 장치(100)에 정보를 입력할 수 있게 하는 하나 이상의 관용적인 메커니즘을 포함할 수 있다. 출력 장치(들)(130)는 디스플레이, 프로젝터, A/V 수신기, 프린터, 스피커 등을 포함하여, 정보를 사용자에게 출력하는 하나 이상의 관용적인 메커니즘을 포함할 수 있다. 통신 인터페이스(135)는 컴퓨팅 장치/서버(100)가 다른 장치 및/또는 시스템과 통신할 수 있게 하는 임의의 트랜시버와 유사한 메커니즘을 포함할 수 있다. 컴퓨팅 장치(100)는 데이터 저장 장치(120)와 같은 다른 컴퓨터 판독 가능 매체로부터 또는 통신 인터페이스(135)를 통해 다른 장치로부터 메모리(110)로 판독될 수 있는 소프트웨어 명령에 기초한 동작들을 수행할 수 있다. 메모리(110)에 포함되는 소프트웨어 명령들은 프로세서(105)가 후술하는 처리를 수행하게 한다. 대안적으로, 본 발명에 따른 프로세스를 구현하기 위해 소프트웨어 명령 대신에 또는 하드웨어 명령과 결합하여 하드 와이어드 회로가 사용될 수 있다. 따라서, 다양한 구현 예는 하드웨어 회로 및 소프트웨어의 특정 조합으로 제한되지 않는다.
특정 실시예에서, 메모리(110)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스와 같은 고속 랜덤 액세스 메모리를 제한 없이 포함할 수 있다; 그리고 하나 이상의 자기 디스크 저장 장치, 광 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비휘발성 솔리드 스테이트 저장 장치와 같은 비휘발성 메모리를 제한 없이 포함할 수 있다. 메모리(110)는 프로세서(들)(105)로부터 원격으로 위치한 하나 이상의 저장 장치들을 선택적으로 포함할 수 있다. 메모리(110) 또는 메모리(110) 내의 하나 이상의 저장 장치들(예를 들어, 하나 이상의 비휘발성 저장 장치들)은, 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 특정 실시예에서, 메모리(110) 또는 메모리(110)의 컴퓨터 판독 가능 저장 매체는 다음의 프로그램, 모듈 및 데이터 구조 중 하나 이상을 저장할 수 있다: 다양한 기본 시스템 서비스를 처리하고 하드웨어 종속적인 작업을 수행하는 절차를 포함하는 운영 체제; 하나 이상의 통신 네트워크 인터페이스 및 인터넷, 다른 광역 네트워크, 로컬 영역 네트워크, 대도시 네트워크 등과 같은 하나 이상의 통신 네트워크를 통해 컴퓨팅 장치(110)를 다른 컴퓨터에 접속하기 위해 사용되는 네트워크 통신 모듈; 사용자가 컴퓨팅 장치(100)와 상호 작용할 수 있게 하는 클라이언트 애플리케이션.
본 발명의 특정 실시예는 동작 공간에서 적어도 3개의 자유도를 갖는 추적 가능한 헤드 마운트 디스플레이("HMD") 및 선택적으로 적어도 2개의 위치 추적 자유도를 갖는 하나 이상의 센서를 포함한다. HMD 및 선택적인 센서들은 제어기에 감각 입력을 제공하고, 차례로 제어기는 감각 피드백을 HMD 또는 다른 출력 장치에 제공한다. 제한 없이, HMD는 (개인용 컴퓨터("PC"), 랩톱 또는 게임 콘솔과 같은) 고정된 컴퓨터에 연결될 수 있거나 대안적으로 자체적으로 포함될 수 있다(즉, 일부 또는 모든 감각 입력, 제어기/컴퓨터들, 및 출력 장치 모두가 단일 헤드 마운트 장치에 수용될 수 있음).
도 2는 본 발명의 특정 실시예의 양태들을 구현하는데 사용될 수 있는 광 수신기 및 센서(230a, 230b, 230c 등)를 포함하는 헤드 마운트 가상 현실 장치(220)를 착용하고 있는 인간 사용자(210)의 예시적인 도면이다.
도 3은 본 발명의 특정 실시예의 양태들을 구현하는데 사용될 수 있는 광학 위치 추적 시스템의 송신기/수신기 구성의 예시적인 도면이다. 도 3에 도시된 바와 같이, 예시적인 광학 위치 추적 시스템은 추적 볼륨을 가로 질러 광 신호(310)를 스위핑하는 기지국(320)을 포함한다. 각각의 특정 구현 예의 요구 사항에 따라, 하나 이상의 기지국이 통합될 수 있고, 각각의 기지국은 둘 이상의 광 신호를 생성할 수 있다. 예를 들어, 단일 기지국은 일반적으로 6 자유도 추적을 위해 충분하지만, 일부 실시예에서는 헤드셋 및 주변 장치를 위한 강건한 룸-스케일(room-scale) 추적을 제공하기 위해 다수의 기지국이 필요할 수 있다. 광 수신기(예를 들어, 230)는 헤드 마운트 가상 현실 장치(220) 또는 다른 추적된 객체에 통합된다. 특정 실시예에서, 광 수신기는 저-지연 센서 융합을 지원하기 위해 각각의 추적된 장치상의 가속도계 및 자이로스코프 관성 측정 유닛("IMU")과 쌍을 이룬다. 도 3에 도시된 바와 같이, 표준 12-온스 소다 또는 맥주 캔(330)이 규모 감각을 제공하기 위해 묘사된다.
특정 실시예에 따른 각각의 기지국(320)은 직교 축상에서 장면을 가로 질러 선형 빔(310)을 스위핑하는 2개의 로터를 포함한다. 각 스윕 사이클의 시작에서, 특정 실시예에 따른 기지국(320)은 모든 센서에 대해 가시적인 무지향성 광 펄스("동기 신호")를 방출한다. 따라서, 각각의 센서는 동기 신호와 빔 신호 사이의 지속 시간을 타이밍함으로써 스위핑된 볼륨에서 고유한 각도 위치를 계산한다. 센서의 거리와 방향은 단일 강체에 부착된 복수의 센서를 사용하여 해결된다.
각 구현의 특정 요구 사항에 따라, 다양한 다른 추적 시스템이 당업자에게 공지된 기술을 사용하여 통합될 수 있다.
도 4는 본 발명의 특정 실시예의 양태들을 구현하는데 사용될 수 있는 4개의 광 수신기들(230a, 230b, 230c, 230d)을 갖는 헤드 마운트 가상 현실 디스플레이(220)의 예시적인 도면이다.
특정 실시예들에서 HMD는 동적 가상 환경("가상 공간")을 사용자에게 제시한다. 동작 공간에서의 사용자의 동작이 가상 공간의 표현으로 변환되도록 그것은 동작 공간에서 추적된다. HMD 또는 선택적인 추가 센서가 벽이나 가구와 같은 동작 공간 내의 물리적인 장애물에 근접할 때, 충돌을 피하기 위해 가상 공간 또는 동작 공간에서 사용자에게 감각 피드백이 제공된다.
특정 예시적인 실시예에서, 시스템은 하나 이상의 프로그래밍 입력 방법("소프트 경계(Soft Bounds)")을 통해 동작 공간의 경계 및 제한을 정의함으로써 사전에 사용자에 의해 준비된다. 다른 시스템에서는 하나 이상의 센서 기술("하드 경계(Hard Bounds)")을 통해 공간 내의 실제 장애물을 자동으로 검출한다.
특정 실시예의 양태에 따른 제어기는 HMD 및/또는 외부 센서로부터 검출 신호를 수신 및 처리하고, 소프트 경계 및/또는 하드 경계의 근접성 및/또는 피드백에 대한 명시적인 사용자 요구(예를 들어, '오버레이 버튼')에 기초하여 사용자에 대한 대응하는 피드백을 생성한다.
제한 없이, 각각의 특정 구현의 요구 사항에 따라, 소프트 경계의 정의가 다음의 방식(조합 포함)으로 이루어질 수 있다:
· 마우스 및 키보드에 의해 컴퓨터에 데이터를 입력함으로써;
· 추적된 객체(HMD 또는 게임 제어기와 같은 다른 착용된 센서)를 동작 공간의 n개의 코너로 이동시킴으로써; 및/또는
· 하나의 위치에서 추적된 HMD를 착용하고, 동작 공간 내의 적어도 2개의 장소로부터 동작 공간의 n개의 코너의 각각을 응시함으로써(응시되는 코너를 삼각화함으로써)(또는 HMD의 물리적인 회전 또는 HMD가 시선 추적 기술을 갖는 경우 안구의 회전에 의해)
제한 없이, 각각의 특정 구현의 요구 사항에 따라, 하드 경계의 정의가 다음의 방식(조합 포함)으로 이루어질 수 있다:
· HMD 또는 외부에 부착된 깊이 카메라를 사용함으로써; 및/또는
· 레이저 또는 초음파와 같은 거리를 측정하기 위한 다른 센서를 사용함으로써.
제한 없이, 각 특정 실시예의 요구 사항에 따라 감각 피드백이 다음의 방식(조합 포함)으로 주어질 수 있다:
· 경고음;
· 햅틱 피드백(HMD 또는 사용자에 의해 보유되는 게임 제어기와 같은 다른 웨어러블 장치에 포함된 럼블(rumble) 또는 액추에이터);
· HMD에 표시되는 시각적 경고 기호;
· 가상 환경상에 중첩된 HMD에 디스플레이된 소프트 경계의 CG-렌더링된 오버레이;
· HMD 상에 장착된 하나 이상의 카메라의 패스-스루(pass-through) 비디오 신호; 및/또는
· 가상 환경의 제어기에 전송된 커스텀 애플리케이션 프로그램 인터페이스("API") 트리거, 이것은 가상 환경의 차원이 물리적 환경에 자동으로 조정됨을 나타내거나 그리고/또는 가상 환경에 특정한 커스텀 경고가 행해짐을 나타냄(예를 들어, 사용자가 작업 공간의 경계에 접근할 때 게임 내 캐릭터가 사용자에게 걷는 것을 멈추도록 지시함).
상기 시스템 및 방법 중 임의의 것은 사용자가 미리 정의된 임계값을 넘을 때 트리거되는 디지털 경고 신호로서 또는 세기가 증가하는 아날로그 경고로서 구현될 수 있다(예를 들어, 사용자가 장애물에 근접함에 따라 룸 경계의 오버레이가 밝기에서 페이드 인(fade in)되고 사용자가 더 근접함에 따라 세기가 증가하는 럼블(rumble) 감각에 의해 지원되는 것과 같은 아날로그 경고).
일 실시예는 사용자가 자신의 동작 공간에 의해 제공되는 것보다 더 큰 가상 환경 영역을 체험할 수 있도록 가상 공간에서 자신의 가상 표현을 동적으로 재배치하게 한다. 하나의 그러한 예시적인 실시예에서, 동작 공간은 3×3 제곱미터이다. 가상 환경은 이 동작 공간의 몇 배 크기의 룸이다. 가상 환경의 모든 것을 체험하기 위해 사용자는 가상 환경에서 자신의 표현의 재배치를 트리거할 수 있다. 이 예에서 사용자는 자신의 "고스트(ghosted)" 가상 표현 및 가상 환경의 바닥에 투영된 3×3 제곱미터 크기의 사각형에서 돌아다니고 사각형을 회전시킬 수 있다. 재배치된 공간을 수용할 때, 사용자는 가상 환경 내의 새로운 장소로 "순간 이동"되어 자신의 동작 공간에서 물리적으로 이동함으로써 가상 환경의 새로운 부분에서 계속해서 돌아다닐 수 있다.
도 5는 특정 실시예에 따른 예시적인 디스플레이를 도시하는데, 소프트 경계는 반투명 폴리곤으로서 바닥에 보이고 사용자에 의해 정의되었으며, 하드 경계는 사용자의 실제 동작 공간에서의 물리적인 벽의 위치를 나타내는 빛나는 선들의 그리드로서 보인다.
도 6은 특정 실시예에 따른 예시적인 디스플레이를 도시하는데, 여기서 임박한 충돌을 사용자에게 경고하는, 하드-경계 샤프로닝(chaperoning) 시스템의 2개의 인-헤드셋(in-headset) 뷰가 보여지고, 묘사된 그리드는 실세계 벽 위치를 나타낸다.
도 7은 특정 실시예에 따른 예시적인 디스플레이를 도시하는데, 플레이어의 체험을 프레임화하는 것을 돕는 게임 장면에서 다른 요소들을 배치하기 위해 소프트 경계 데이터를 사용하는 예를 도시한다. 도 7에 도시된 장면에서, 토치(710a, 710b, 710c, 710d)는 사용자가 어떻게 구성했는지에 관계없이 경계 코너들에 자동으로 배치된다. 도 7에 도시된 활(720)은 사용자가 선호하는 플레이 방향으로, 사용자의 소프트 경계(730)의 앞 가장자리(leading edge)에 배치된다. 도 7에 도시된 구성에 따른 특정 실시예는 개별 사용자의 소프트-경계 설정에 맞게 자동으로 스케일링되고 조정된다.
특정 구현들에서, 본 발명의 양태들에 따른 샤프로닝 경계(chaperoning bounds)의 출현은 사용자가 가상 환경에서 체험하는 몰입감을 감소시킬 수 있다. 이것은 특정 구현의 요구 사항에 따라 하기의 솔루션에 의해 개별적으로 또는 조합하여 해결될 수 있다.
첫째, 샤프로닝 경계는 즉시 완전 밝기로 표시되지 않지만, 그 대신 사용자가 사용자의 실제 환경("동작 공간")의 실제 경계에 근접함에 따라 천천히 페이드인된다. 각각의 벽에 대해 독립적인 페이드 값이 계산될 수 있고, 다섯 번째 페이드 값(4개의 벽을 갖는 공간에서의 전형적인 동작 공간을 가정함)이 사용자가 서있는 공간의 외부 에지인 주변 메쉬에 적용된다(예를 들어, 이것은 큐브의 가장자리가 강조 표시되는 것으로서 나타날 수 있다). 일 실시예에서의 다섯 번째 페이드 값은 4개의 벽 각각에 대한 페이드 값들 중 최대 값으로서 구현 될 수 있다. 이러한 방법으로, 사용자가 벽으로 후진하면, 주변 메쉬가 완전히 밝아질 것이다. 특정 실시예에서, 사용자가 벽으로 후진할 때 다른 벽을 볼 수 있도록 사용자를 돕기 위해, 페이드 값은 의도적으로 이웃하는 벽들로 약간 번지고 반대 벽으로 약간 번질 수 있다. 이 기법을 사용하면 사용자는 샤프로닝 경고가 과도해지지 않고 모든 벽의 위치를 볼 수 있다. 특정 실시예에서, 몰입감을 증가시키기 위해, 가장 밝은 샤프로닝 경계가 활성화되어 소정 시간(예를 들어, 4초) 동안 최대 밝기로 표시된 후, 모든 샤프로닝 경고의 밝기는 원래의 밝기의 20%로 천천히 희미해진다.
둘째, 사용자에 가장 가까운 벽의 경계만이 최대 세기로 (예를 들어, 빛나는 그리드로서) 보여지고, 다른 벽들은 단지 외곽선/외부 코너로서 보여진다. 셋째, 샤프로닝 경계의 세기는 그들이 중첩되는 가상 환경의 밝기에 상대적으로 정의될 수 있다. 이 기본 밝기는 렌더링된 가상 환경에 기반하여 실시간 측정되거나 API를 통해 체험을 주도하는 게임에서 제공될 수 있다. 넷째, 사용자가 몇 초 동안 한 곳에 서서 경계가 어디인지 이해한 후에, 사용자가 벽에 근접해 있음에도 불구하고 방해받지 않고 VR 환경을 경험할 수 있도록, 샤프로닝 경계는 자동으로 페이드 아웃될 수 있다.
특정 구현들에서, 본 발명의 양상들에 따른 샤프로닝 경고 시스템들은 사용자가 너무 빨리 움직이는 경우 사용자가 충돌 전에 멈추기에 너무 늦은 경고를 나타낼 수 있다. 이것은 특정 구현의 요구 사항에 따라, 하기의 솔루션에 의해 개별적으로 또는 조합하여 해결될 수 있다.
첫째, 샤프로닝 경고가 의도적으로 일찍 표시될 수 있다. 그러나 이것은 사용자가 VR을 체험할 수 있는 사용 가능한 공간을 작게 만드는 바람직하지 못한 효과를 가질 수 있다. 둘째, 추적된 객체(예컨대, 사용자의 HMD 장치 및/또는 관련 핸드헬드 제어기)의 속도 및/또는 가속도가 측정될 수 있고, 샤프론 경계는 이들 측정의 결과에 기초하여 조만간 보여질 수 있다. 셋째, 신속한 이동의 위험 및 그에 따른 샤프로닝 경고를 표시하는 속도/세기는 경험적 방법에서 파생될 수 있다. 예를 들어, 본 발명의 양태에 따른 시스템은 사용자가 일반적으로 특정 VR 체험(예를 들어, 느린 탐사가 전형적인 VR 체험인가, 아니면 빠른 움직임이 전형적인 VR 체험인가?)을 경험하는 방법을 측정할 수 있다. 또한, 예시적인 시스템이 (예를 들어, 로그인, 눈 추적 카메라, 높이, 전형적인 움직임 패턴 등에 의해) 사용자를 식별하도록 설계되는 경우, 그것은 이 특정 사용자가 전형적으로 샤프론 경고에 얼마나 빨리 움직이고 반응하는지에 대한 경고를 기초로 할 수 있다. 넷째, 게임/응용 프로그램이 실제로 사용 공간을 많이 필요로 하지 않는 경우, 공간 최대화에 대한 필요성이 낮기 때문에 샤프론 경고가 더 공격적일 수 있다.
특정 구현에서, 본 발명의 양태에 따른 초기 룸(room) 설정은 비교적 수동적이고 직관적이지 않은 것으로 인식될 수 있다. 이것은 특정 구현의 요구 사항에 따라 하기 솔루션에 의해 개별적으로 또는 조합하여 해결될 수 있다.
첫째, 사용자는 실제 동작 공간에서 단순히 돌아다니고 자신의 제어기를 소지하며 동작 공간의 벽/바닥/천정의 일부 또는 전부를 따라 움직일 수 있다. 이 프로세스를 통해 취해진 측정치는 당업자에게 공지된 임의의 적절한 기술을 사용하여 샤프로닝 시스템 제어기로 전송된다. 이러한 절대 측정 위치에 기초하여, 본 발명의 양태에 따른 시스템은 제어기가 검출된 모든 위치를 포함하는 최소 다면체를 계산한다. 둘째, 당업자에게 알려져 있는 다양한 형태의 거리 측정기(예를 들어, 초음파, 레이저)가 특정 구현에 통합될 수 있으며, 이들은 사용자에 의해 요구되는 개입이 거의 없거나 또는 전혀 없이, 동작 공간의 경계에 관한 필요한 정보를 생성할 수 있다.
특정 실시예에서, 독립적으로 제어되는 지속적인 지면 둘레의 개념을 확장하여, 벽 스타일은 둘레 스타일과 분리될 수 있으며, 둘레는 수직 벽 분리기, 천장 윤곽선 및 지면 윤곽선을 포함한다. 주변 스타일은 하기의 부분 집합이 될 수 있다:
1. 동적 둘레
2. 지속적인 지면 윤곽선을 갖는 동적인 둘레
3. 지속적인 지면 윤곽선 만
4. 동적인 지면 윤곽선 만(자신의 공간을 잘 아는 진정한 미니멀리스트를 위해)
5. 없음.
특정 실시예에서, 사용자는 당업자에게 공지된 기술을 사용하여 임의의 적절한 사용자 인터페이스 및/또는 구성 유틸리티를 통해, 표시되는 샤프론 경계의 침입성, 공격성, 페이드(fade) 거리 및/또는 색 구성표를 선택할 수 있다. 예를 들어, 색 구성표 선택의 관점에서, 본 발명의 양상에 따른 시스템에 의해 밝기가 생성되는 동안, 사용자가 선택할 수 있는 적절한 색상 팔레트가 미리 결정될 수 있거나, 사용자가 색조 및/또는 채도를 선택하도록 허용될 수 있다. 또한, 사용자 선택은 특정 게임 또는 애플리케이션에 따라, 조정 및/또는 저장될 수 있다.
도 8은 가상 공간의 벽에 정사각형 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 예를 도시하는, 특정 실시예에 따른 예시적인 디스플레이를 도시한 것이다.
도 9는 가상 공간의 벽에 그리드 패턴을 렌더링하여(교차 부분은 제거됨) 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 다른 예를 도시하는, 특정 실시예에 따른 예시적인 디스플레이를 도시한 것이다.
도 10은 가상 공간의 벽에 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 다른 예를 도시하는, 특정 실시예에 따른 예시적인 디스플레이를 도시한 것이다. 이것은 도 9에 도시된 패턴과 유사하지만, 정사각형 개구부가 면적에서 약 2.25배 더 크다(즉, 바들(bars)이 1.5배 더 멀리 이격되어 있다).
도 11은 가상 공간의 벽에 패턴을 렌더링하여(즉, 각각의 벽상의 단일 수평선), 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자에게 시각적으로 경고하는 다른 예를 도시하는, 특정 실시예에 따른 예시적인 디스플레이를 도시한 것이다.
도 12는 가상 공간의 바닥 상에 패턴을 렌더링하여 사용자를 둘러싼 실제 동작 공간에서 물리적인 경계의 위치에 대해 사용자/개발자에게 시각적으로 경고하는 일례를 도시하는, 특정 실시예에 따른 예시적인 디스플레이를 도시한 것이다.
상기 설명은 많은 세부 사항들을 포함하고 특정 예시적인 실시예들이 첨부 도면들에 기술되고 도시되었지만, 그러한 실시예들은 단지 폭 넓은 발명을 설명하기 위한 것일 뿐 본 발명을 제한하지 않는다는 것을 이해하여야 하고, 전술한 바와 같이, 당업자에게 다양한 다른 변형이 발생할 수 있기 때문에 본 발명이 도시되고 설명된 특정 구조 및 배열로 제한되지 않는다는 것을 이해하여야 한다. 본 발명은 여기에 개시된 상이한 종 및/또는 실시예로부터의 요소들의 임의의 조합 또는 서브 조합을 포함한다.
100 : 컴퓨팅 장치 101 : 버스
105 : 프로세서 110 : 메인 메모리
115 : 판독 전용 메모리 120 : 저장 장치
125 : 입력 장치 130 : 출력 장치
135 : 통신 인터페이스 210 : 인간 사용자
220 : 헤드 마운트 가상 현실 장치
230 : 광 수신기
230a, 230b, 230c, 230d : 광 수신기 및 센서
310 : 광 신호 320 : 기지국
330 : 소다 또는 맥주 캔
710a, 710b, 710c, 710d : 토치
720 : 활 730 : 소프트 경계

Claims (3)

  1. 실세계 장애물과의 잠재적인 충돌을 헤드 마운트 디스플레이의 사용자에게 경고하기 위한 방법으로서,
    기준점에 대해 상기 장애물의 위치를 정의하는 단계;
    상기 기준점에 대해 상기 사용자의 위치를 지속적으로 모니터링하는 단계;
    상기 장애물들 중 하나의 위치와 상기 사용자의 위치 사이의 거리가 소정의 경고 임계값보다 작은지를 결정하기 위한 제1 검출을 수행하는 단계; 및
    상기 제1 검출에 응답하여, 상기 장애물들 중 하나와의 잠재적인 충돌에 대한 표시를 상기 사용자에게 제공하기 위하여 상기 헤드 마운트 디스플레이 상에 시각적 경고를 디스플레이하는 단계를 포함하는, 실세계 장애물과의 잠재적인 충돌을 헤드 마운트 디스플레이의 사용자에게 경고하기 위한 방법.
  2. 청구항 1에 있어서,
    상기 사용자의 위치는 상기 헤드 마운트 디스플레이의 일부분의 위치를 지속적으로 모니터링함으로써 결정되는, 실세계 장애물과의 잠재적인 충돌을 헤드 마운트 디스플레이의 사용자에게 경고하기 위한 방법.
  3. 청구항 1에 있어서,
    상기 사용자에 의해 소지된 객체의 위치를 지속적으로 감시하는 단계;
    상기 장애물들 중 하나의 위치와 상기 객체의 위치 사이의 거리가 상기 소정의 경고 임계값보다 작은 때를 결정하기 위한 제2 검출을 수행하는 단계; 및
    상기 제2 검출에 응답하여, 상기 객체와 상기 장애물들 중 하나 사이의 잠재적인 충돌에 대한 표시를 상기 사용자에게 제공하기 위하여 상기 헤드 마운트 디스플레이 상에 시각적 경고를 디스플레이하는 단계를 더 포함하는, 실세계 장애물과의 잠재적인 충돌을 헤드 마운트 디스플레이의 사용자에게 경고하기 위한 방법.
KR1020177015239A 2014-11-05 2015-11-05 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법 KR102667544B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462075742P 2014-11-05 2014-11-05
US62/075,742 2014-11-05
US201562126695P 2015-03-01 2015-03-01
US62/126,695 2015-03-01
PCT/US2015/059329 WO2016073783A1 (en) 2014-11-05 2015-11-05 Sensory feedback systems and methods for guiding users in virtual reality environments

Publications (2)

Publication Number Publication Date
KR20170081225A true KR20170081225A (ko) 2017-07-11
KR102667544B1 KR102667544B1 (ko) 2024-05-20

Family

ID=55852614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177015239A KR102667544B1 (ko) 2014-11-05 2015-11-05 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법

Country Status (7)

Country Link
US (2) US10241566B2 (ko)
EP (1) EP3215917B1 (ko)
JP (1) JP6539351B2 (ko)
KR (1) KR102667544B1 (ko)
CN (1) CN107850953B (ko)
HK (1) HK1250803A1 (ko)
WO (1) WO2016073783A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044102A (ko) * 2017-09-29 2020-04-28 애플 인크. 물리적 경계 검출
KR20200089872A (ko) * 2019-01-18 2020-07-28 경희대학교 산학협력단 가상현실 콘텐츠를 체험하는 사용자의 체험 공간 활용도 향상 방법 및 장치
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851786B2 (en) 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US9870052B2 (en) * 2015-06-11 2018-01-16 Oculus Vr, Llc Hand-held controller with pressure-sensing switch for virtual-reality systems
US10685211B2 (en) 2015-08-04 2020-06-16 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
JP6742760B2 (ja) * 2016-02-29 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
CA3019664A1 (en) * 2016-04-12 2017-10-19 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
CN108633307B (zh) * 2016-05-17 2021-08-31 谷歌有限责任公司 在虚拟现实环境中投射与真实对象的接触的方法和装置
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
EP3264801B1 (en) * 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
EP3301544A1 (en) * 2016-09-30 2018-04-04 Alcatel Lucent System and method for controlling an altered-reality application
CN106597373B (zh) * 2016-10-21 2019-05-28 上海拆名晃信息科技有限公司 一种虚拟现实定位系统、基于该系统的定位方法及装置
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
WO2018096599A1 (en) * 2016-11-22 2018-05-31 Sony Mobile Communications Inc. Environment-aware monitoring systems, methods, and computer program products for immersive environments
US10451439B2 (en) * 2016-12-22 2019-10-22 Microsoft Technology Licensing, Llc Dynamic transmitter power control for magnetic tracker
US10204455B2 (en) * 2016-12-31 2019-02-12 Intel Corporation Collision prevention for virtual reality systems
EP3529686A4 (en) 2017-01-13 2019-09-25 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR PROVIDING GUIDANCE IN A VIRTUAL ENVIRONMENT
WO2018152690A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物的专利信息推送方法以及vr头盔
WO2018152689A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物技术的数据采集方法以及vr头盔
WO2018173399A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3602496A4 (en) * 2017-04-21 2020-11-04 Hewlett-Packard Development Company, L.P. PROOF PROOF FOR VIRTUAL REALITY
EP3642693A4 (en) * 2017-06-21 2021-01-13 Hewlett-Packard Development Company, L.P. SENSORY FEEDBACK
US10423241B1 (en) 2017-07-31 2019-09-24 Amazon Technologies, Inc. Defining operating areas for virtual reality systems using sensor-equipped operating surfaces
US20190033989A1 (en) * 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors
US10803663B2 (en) * 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
DE102017218215A1 (de) 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
US20190139307A1 (en) * 2017-11-09 2019-05-09 Motorola Mobility Llc Modifying a Simulated Reality Display Based on Object Detection
EP3493026A1 (en) 2017-11-29 2019-06-05 Thomson Licensing A virtual reality external event processing method, corresponding devices and computer program
US10832477B2 (en) 2017-11-30 2020-11-10 International Business Machines Corporation Modifying virtual reality boundaries based on usage
EP3714318B1 (en) 2018-01-18 2023-08-30 Valve Corporation Position tracking system for head-mounted displays that includes sensor integrated circuits
US10983589B2 (en) * 2018-01-22 2021-04-20 MassVR, LLC Systems and methods for collision avoidance in virtual environments
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10554886B2 (en) * 2018-05-18 2020-02-04 Valve Corporation Power management for optical position tracking devices
WO2019231463A1 (en) * 2018-06-01 2019-12-05 Hewlett-Packard Development Company, L.P. Boundary maps for virtual reality systems
WO2019245543A1 (en) 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
WO2019245550A1 (en) 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
US10607367B2 (en) 2018-06-26 2020-03-31 International Business Machines Corporation Methods and systems for managing virtual reality sessions
US11100713B2 (en) 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
US10901081B2 (en) 2018-10-02 2021-01-26 International Business Machines Corporation Virtual reality safety
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US11244483B2 (en) * 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
US10928898B2 (en) 2019-01-03 2021-02-23 International Business Machines Corporation Augmented reality safety
US10885710B2 (en) 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
US11361513B2 (en) 2019-04-23 2022-06-14 Valve Corporation Head-mounted display with pass-through imaging
US11474610B2 (en) * 2019-05-20 2022-10-18 Meta Platforms Technologies, Llc Systems and methods for generating dynamic obstacle collision warnings for head-mounted displays
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US10976805B2 (en) 2019-08-13 2021-04-13 International Business Machines Corporation Controlling the provision of a warning in a virtual environment using a virtual reality system
US11164383B2 (en) * 2019-08-30 2021-11-02 Lg Electronics Inc. AR device and method for controlling the same
US11126850B1 (en) * 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US11507246B2 (en) * 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof
US11232644B1 (en) 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
WO2022196069A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US11776166B2 (en) * 2021-10-08 2023-10-03 Sony Interactive Entertainment LLC Discrimination between virtual objects and real objects in a mixed reality scene
WO2024079832A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェース装置
CN115877578B (zh) * 2023-03-08 2023-05-16 济南科明数码技术股份有限公司 一种便于vr虚拟课堂教学的指令发信装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5900849A (en) * 1995-05-25 1999-05-04 U.S. Philips Corporation Display headset
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
US20140198017A1 (en) * 2013-01-12 2014-07-17 Mathew J. Lamb Wearable Behavior-Based Vision System

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0750238B1 (en) * 1995-06-20 2000-03-01 Honeywell Inc. Integrated ground collision avoidance system
US6581546B1 (en) * 2002-02-14 2003-06-24 Waters Instruments, Inc. Animal containment system having a dynamically changing perimeter
JP4393169B2 (ja) * 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
US7403101B2 (en) * 2005-02-09 2008-07-22 General Motors Corporation Collision avoidance of unattended vehicles
JP4642538B2 (ja) 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US8049644B1 (en) * 2007-04-17 2011-11-01 Rcokwell Collins, Inc. Method for TAWS depiction on SVS perspective displays
EP2741177B1 (en) * 2008-07-15 2019-06-26 Immersion Corporation Systems and Methods for Transmitting Haptic Messages
US20100156906A1 (en) * 2008-12-19 2010-06-24 David Montgomery Shot generation from previsualization of a physical environment
US8351894B2 (en) * 2009-02-27 2013-01-08 Research In Motion Limited Mobile wireless communications device with orientation sensing and related methods
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5691568B2 (ja) 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
IL213727A (en) * 2011-06-22 2015-01-29 Elbit Systems Ltd A display system installed on a helmet suitable for bright ambient lighting conditions
US20130083007A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Changing experience using personal a/v system
US9498720B2 (en) * 2011-09-30 2016-11-22 Microsoft Technology Licensing, Llc Sharing games using personal audio/visual apparatus
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
GB2501770B (en) * 2012-05-04 2016-03-16 Litonics Ltd Lighting device
CN102722249B (zh) * 2012-06-05 2016-03-30 上海鼎为电子科技（集团）有限公司 操控方法、操控装置及电子装置
EP2728311B1 (en) * 2012-10-30 2017-08-09 Elektrobit Automotive GmbH Technique for determining location data from a database
JP6079239B2 (ja) * 2013-01-04 2017-02-15 株式会社Ｊｖｃケンウッド 画像表示装置
US9393870B2 (en) * 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
JP2015087443A (ja) * 2013-10-29 2015-05-07 セイコーエプソン株式会社 光スキャナー、画像表示装置、ヘッドマウントディスプレイおよびヘッドアップディスプレイ
CN103761085B (zh) * 2013-12-18 2018-01-19 微软技术许可有限责任公司 混合现实全息对象开发

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5900849A (en) * 1995-05-25 1999-05-04 U.S. Philips Corporation Display headset
JP2013257716A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc 障害物回避装置および障害物回避方法
US20140198017A1 (en) * 2013-01-12 2014-07-17 Mathew J. Lamb Wearable Behavior-Based Vision System

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044102A (ko) * 2017-09-29 2020-04-28 애플 인크. 물리적 경계 검출
US11734867B2 (en) 2017-09-29 2023-08-22 Apple Inc. Detecting physical boundaries
KR20200089872A (ko) * 2019-01-18 2020-07-28 경희대학교 산학협력단 가상현실 콘텐츠를 체험하는 사용자의 체험 공간 활용도 향상 방법 및 장치
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement

Also Published As

Publication number Publication date
WO2016073783A1 (en) 2016-05-12
JP6539351B2 (ja) 2019-07-03
US20190212812A1 (en) 2019-07-11
EP3215917A1 (en) 2017-09-13
HK1250803A1 (zh) 2019-01-11
KR102667544B1 (ko) 2024-05-20
US10241566B2 (en) 2019-03-26
CN107850953A (zh) 2018-03-27
EP3215917B1 (en) 2023-10-11
US11334145B2 (en) 2022-05-17
CN107850953B (zh) 2021-08-31
US20160124502A1 (en) 2016-05-05
JP2017535901A (ja) 2017-11-30
EP3215917A4 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
US11334145B2 (en) Sensory feedback systems and methods for guiding users in virtual reality environments
EP3437075B1 (en) Virtual object manipulation within physical environment
CN110536665B (zh) 使用虚拟回声定位来仿真空间感知
RU2677593C2 (ru) Привлечение взгляда зрителей устройств отображения
US10088900B2 (en) Information processing method and information processing system
US9501873B2 (en) Indicating out-of-view augmented reality images
TWI567659B (zh) 照片表示視圖的基於主題的增強
JP6478360B2 (ja) コンテンツ閲覧
JP2023504992A (ja) 姿勢ベースの仮想空間構成
EP3311250A1 (en) System and method for spawning drawing surfaces
US9547412B1 (en) User interface configuration to avoid undesired movement effects
JP2018524684A (ja) 媒介現実
KR20170120624A (ko) 가상 및 증강 현실 환경에서의 제어기 시각화
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
TWI637287B (zh) 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
KR20200031256A (ko) 미러 디스플레이를 이용한 콘텐츠 디스플레이 장치 및 그 방법
KR20200031260A (ko) 미러 디스플레이를 이용한 콘텐츠 디스플레이 장치 및 그 방법
KR20190142857A (ko) 미러 디스플레이를 이용한 게임 장치 및 그 방법
JP2017120619A (ja) 情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant