KR102561022B1 - 가상 및 증강 현실 환경에서의 제어기 시각화 - Google Patents

가상 및 증강 현실 환경에서의 제어기 시각화 Download PDF

Info

Publication number
KR102561022B1
KR102561022B1 KR1020177025473A KR20177025473A KR102561022B1 KR 102561022 B1 KR102561022 B1 KR 102561022B1 KR 1020177025473 A KR1020177025473 A KR 1020177025473A KR 20177025473 A KR20177025473 A KR 20177025473A KR 102561022 B1 KR102561022 B1 KR 102561022B1
Authority
KR
South Korea
Prior art keywords
movable
tracked object
virtual
optical
user
Prior art date
Application number
KR1020177025473A
Other languages
English (en)
Other versions
KR20170120624A (ko
Inventor
다비드 소여
트리스탄 레드포드
예서 말라이카
앨런 예이츠
제레미 셀란
Original Assignee
밸브 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/937,844 external-priority patent/US10338186B2/en
Application filed by 밸브 코포레이션 filed Critical 밸브 코포레이션
Publication of KR20170120624A publication Critical patent/KR20170120624A/ko
Application granted granted Critical
Publication of KR102561022B1 publication Critical patent/KR102561022B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G01S1/7034—Mounting or deployment thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G01S1/7038—Signal details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

워크-어라운드(walk-around) 가상 현실 환경과 같은 가상/증강 현실 환경에서 사용하기 위한 제어기 시각화 시스템 및 방법이 설명된다. 물리적 제어 장치의 가상 표현은 가상 환경의 상황을 기반으로 변경될 수 있다. 실시예들은 추적된 제어 장치의 가상 렌더링을 동작 공간의 일부의 실시간 비디오 표현과 결합한다. 실시예들에서, 대화형(interactive) 구성 요소의 기능에 관한 추가 정보의 디스플레이는 특정 동작이 가상 공간에서 사용자로부터 요구될 때와 같은 상황에 기초하여 디스플레이될 수 있다.

Description

가상 및 증강 현실 환경에서의 제어기 시각화
본 출원은 2015년 2월 27일자로 출원된 임시출원일련번호 제62/126,352 호의 이익을 주장하며, 2014년 11월 10일자로 출원된 임시출원일련번호 제62/077,374호와 2015년 2월 27일자로 출원된 임시출원일련번호 제62/126,358호의 이익을 주장하는, 2015년 11월 10일자로 출원된 특허출원번호 제14/937,844호의 일부 계속 출원이다. 이들 출원의 내용은 본 명세서에 모든 목적을 위하여 참조로 포함된다.
본 발명은 일반적으로 가상/증강 현실 환경에서의 제어기 시각화에 관한 것으로, 더욱 상세하게는 본 개시의 양태들은 가상 또는 증강 현실 환경에서의 물리적 제어기 장치들의 표현 및 증강화를 위한 시스템들 및 방법들에 관한 것이다.
다양한 증강 및/또는 가상 현실 시스템 및/또는 환경이 공지되어있다. 현재의 한 세대의 데스크톱 가상 현실("VR") 경험은, 고정된 컴퓨터(개인용 컴퓨터 ("PC"), 랩탑 또는 게임 콘솔 등)에 테더되거나(tethered) 또는 독립적인 HMD (head-mounted display)를 이용하여, 만들어졌다. 이러한 데스크탑 VR 경험은 일반적으로 완전히 몰입하여 사용자의 감각을 주변 환경에서 연결을 끊어 놓으려 한다.
가상 환경과 상호 작용하기 위해 물리적 제어 장치를 이용할 때, 가상 공간만을 보여주는 HMD를 착용한 사용자는, 제어 장치 상에 제공된 제어 요소들을 찾고 상호 작용하는 데 문제를 겪을 수 있다. 이러한 사용자는 또한 제어 장치상의 버튼과 같은 상호 작용 요소의 기능에 대해 잘 모를 수 있다.
실제 공간에 존재하는 물리적 제어기를 사용하여 가상 공간에서 시뮬레이션된 아이템을 조작하는 것이 일반적이다. 시뮬레이션된 아이템은 때로 제어 장치와 어느 정도 유사하거나 그 역도 마찬가지일 수 있다 (예를 들어, 가상 세계에서 총을 작동시키는 총-모양 제어기). 그러나 이러한 솔루션은 일반적으로 부정확하거나 특정 제어 장치에 대해 하드-코딩되어(hard-coded) 있다.
이 기술 분야의 현재의 한계를 해소하는 것이 바람직하다.
본 실시예에서 이제 비례하지 않는 첨부 도면들이 참조될 것이다.
도 1은 본 발명의 실시예들의 양태들을 구현하는데 사용될 수 있는 컴퓨팅 장치의 예시적인 다이어그램이다.
도 2는 본 발명의 실시예들의 양태들을 구현하는데 사용될 수 있는 광학 수신기들 및 센서들을 포함하는 헤드 장착 가상 현실 장치를 착용한 사람 사용자의 예시적인 다이어그램이다.
도 3은 본 발명의 실시예들의 양태를 구현하는데 사용될 수 있는 광학 위치 추적 시스템의 송신기/수신기 구성의 예시적인 다이어그램이다.
도 4는 4개의 광 수신기들을 갖는 본 발명의 양태에 따른 헤드 장착형 가상 현실 디스플레이의 예시도이다.
도 5는 본 발명의 실시예들에 따른 가상 현실 환경에서의 예시적인 디스플레이이며, 실제 게임 제어기의 가상 이미지가 시야에 있다.
도 6은 본 발명의 실시예들에 따른 가상 현실 환경에서의 예시적인 디스플레이로서, 실제 게임 제어기의 가상 이미지가 시야에 있고, 특정 순간에 활성화 될 수 있는 특정 제어기 기능에 관해서 사용자에게 안내를 제공하기 위하여, 예시적인 날아다니는 텍스트 설명(flyover text callouts) 또한 디스플레이된 이미지 상에 중첩되어있다.
당업자는 본 발명의 다음의 설명이 단지 예시적인 것이며 특정 방식으로 제한하는 것이 아님을 알 수 있을 것이다. 본 발명의 다른 실시 예는 본 개시의 이점을 갖는 당업자에게 용이하게 제안될 것이며, 본 명세서에 정의된 일반적인 원리는 본 발명의 사상 및 범위를 벗어나지 않고 다른 실시 예 및 응용에 적용될 수 있다. 따라서, 본 발명은 도시된 실시예들에 한정되는 것으로 의도되지 않고, 본 명세서에 개시된 원리들 및 특징들에 부합하는 가장 넓은 범위에 따른다. 이제 첨부된 도면에 도시된 바와 같이 본 발명의 특정 구현 예들을 상세하게 참조할 것이다. 동일한 참조 번호들은 동일 부분 또는 유사한 부분을 지칭하기 위해 도면 및 다음의 설명 전체에 걸쳐 사용될 것이다.
이 상세한 설명에서 기술된 데이터 구조 및 코드는, 전형적으로 컴퓨터 시스템에 의해 사용하기 위한 코드 및/또는 데이터를 저장할 수 있는 임의의 장치 또는 매체일 수 있는, 컴퓨터가 판독 가능한 저장 매체에 저장된다. 여기에는 디스크 드라이브, 자기 테이프, CD(compact discs) 및 DVD (digital versatile discs or digital video discs)와 같은 자기 및 광학 저장 장치, 및 전송 매체(신호가 변조되는 캐리어의 유무 관계없이)에 내장된 컴퓨터 명령 신호 등이 포함된다. 예를 들어, 전송 매체는 인터넷과 같은 통신 네트워크를 포함할 수 있다.
도 1은 본 발명의 실시예들의 양태들을 구현하는데 사용될 수 있는 컴퓨팅 장치 100의 예시적인 다이어그램이다. 컴퓨팅 장치 100는, 버스 101, 하나 이상의 프로세서(processor) 105, 메인 메모리(main memory) 110, ROM(read-only memory) 115, 저장 장치(storage device) 120, 하나 이상의 입력 장치(input devices) 125, 하나 이상의 출력 장치(output devices) 130, 통신 인터페이스(communication interface) 135를 포함할 수 있다. 버스 101는 컴퓨팅 장치 100의 컴포넌트들 간의 통신을 허용하는 하나 이상의 컨덕터들(conductors)을 포함 할 수 있다. 프로세서 105는 명령을 해석하고 실행하는 임의의 유형의 종래 프로세서, 마이크로 프로세서 또는 프로세싱 로직을 포함할 수 있다. 메인 메모리 110는 RAM(random-access memory) 또는 프로세서 105에 의한 실행을 위한 정보 및 명령어를 저장하는 다른 유형의 동적 저장 장치를 포함할 수 있다. ROM 115은 종래 ROM 장치 또는 프로세서 105에 의한 사용을 위한 정적 정보 및 명령어를 저장하는 다른 유형의 정적 저장 장치를 포함할 수 있다. 저장 장치 120는 자기 및/또는 광학 기록 매체 및 그 대응하는 드라이브를 포함할 수 있다. 입력 장치(들) 125는 사용자가 키보드, 마우스, 펜, 스타일러스(stylus), 필기 인식(handwriting recognition), 음성 인식, 생체 인식(biometric) 메카니즘 등과 같은 컴퓨팅 장치 100에 정보를 입력할 수 있게 하는 하나 이상의 종래 메커니즘을 포함할 수 있다. 출력 장치(들) 130은 디스플레이, 프로젝터, A / V 수신기, 프린터, 스피커 등과 같이 사용자에게 정보를 출력하는 하나 이상의 종래의 메카니즘을 포함할 수 있다. 통신 인터페이스 135는 컴퓨팅 장치/서버 100가 다른 장치 및/또는 시스템들과 통신할 수 있게 하는 임의의 트랜시버(transceiver)와 유사한 메커니즘을 포함할 수 있다. 컴퓨팅 장치 100는, 데이터 저장 장치 120와 같은 다른 컴퓨터가 판독가능한 매체로부터, 또는 통신 인터페이스 135를 통해 다른 장치로부터, 메모리 110로, 판독 가능한 소프트웨어 명령에 기초한 동작을 수행할 수 있다. 메모리 110에 포함된 소프트웨어 명령은 프로세서 105가 후술하는 처리를 수행하게 한다. 다르게는, 본 발명에 따른 프로세스를 구현하기 위해 하드 와이어드 회로(hardwired circuitry)가 소프트웨어 명령어 대신에 또는 조합하여 사용될 수 있다. 따라서, 다양한 구현 예는 하드웨어 회로 및 소프트웨어의 특정 조합으로 제한되지 않는다.
본 발명의 실시예들에서, 메모리 110는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 장치(random access solid state memory devices)와 같은 고속 랜덤 액세스 메모리를 제한없이 포함할 수 있으며, 하나 이상의 자기 디스크 저장 장치, 광학 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비 휘발성 고체 저장 장치와 같은 비휘발성 메모리를 제한없이 포함할 수 있다. 메모리 110는 선택적으로 프로세서(들) 105로부터 원격 위치된 하나 이상의 저장 장치를 포함할 수 있다. 메모리 110, 또는 메모리 110 내의 하나 이상의 저장 장치들 (예를 들어, 하나 이상의 비휘발성 저장 장치들)은, 컴퓨터가 판독 가능한 저장 매체를 포함할 수 있다. 실시 예에서, 메모리 110 또는 메모리 110의 컴퓨터 판독 가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들 중 하나 이상을 저장할 수 있다: 다양한 기본 시스템 서비스들을 처리하고 하드웨어 종속적인 작업을 수행하는 절차를 포함하는 운영 체제; 하나 이상의 통신 네트워크 인터페이스 및 인터넷, 다른 광역 네트워크, 로컬 영역 네트워크, 대도시 네트워크 등과 같은 하나 이상의 통신 네트워크를 통해 컴퓨팅 장치 100를 다른 컴퓨터들에 접속하기 위해 사용되는 네트워크 통신 모듈; 사용자가 컴퓨팅 장치 100와 상호 작용할 수 있게 하는 클라이언트 어플리케이션.
본 발명의 실시예들은 작동 공간에서 적어도 3 개의 자유도를 갖는 추적 가능한 헤드 장착 디스플레이("HMD") (220) 및 선택적으로 위치 추적의 자유도가 적어도 2 개인 하나 이상의 센서를 포함한다. 도 2는 본 발명의 실시예들의 양태들을 구현하는데 사용될 수 있는 광학 수신기들 및 센서들 (230a, 230b, 230c 등)을 포함하는 헤드 장착형 가상 현실 장치 (220)를 착용하고 있는 사람 사용자 (210)의 예시적인 다이어그램이다. HMD 및 옵션 센서들은 제어기에 감각 입력을 제공하고, 제어기는 감각 피드백을 HMD 또는 다른 출력 장치에 제공한다. 제한없이, HMD는 고정된 컴퓨터(개인용 컴퓨터 ("PC"), 랩탑 또는 게임 콘솔 등)에 테더될 수 있거나 또는 독립적일(self-contained) 수 있다(즉, 하나의 헤드 장착 장치에 일부 또는 모든 감각 입력, 제어기들/컴퓨터들, 출력들이 모두 수용됨).
본 발명의 양태들은 사용자가 이용할 수 있는 물리적 제어기를 현실적 또는 증강된 형태의 가상 현실 환경으로 전이시킴으로써 당 업계의 한계를 해결한다. 본 발명의 양태들은 사용자에 의해 보유된 실제 장치 또는 가상 환경에 맞추어진 그 변형을 시뮬레이션함으로써 및/또는 상황에 맞는 정보를 제공함으로써 실시예들에서 기존 해결책들을 개선한다.
도 3은 본 발명의 실시예의 양태들을 구현하는데 사용될 수 있는 광학 위치 추적 시스템의 송신기/수신기 구성의 예시적인 다이어그램이다. 도 3에 도시된 바와 같이, 예시적인 광학 위치 추적 시스템은 추적 볼륨을 가로질러 광 신호 (310)를 스위핑(sweep)하는 광 송신기로서 기지국 (320)을 포함한다. 각각의 특정 구현 예에 따라, 하나 이상의 기지국이 통합될 수 있고, 각각의 기지국은 하나 이상의 광 신호를 생성할 수 있다. 예를 들어, 단일 기지국은 일반적으로 6 자유도 추적을 위해 충분하지만, 일부 실시 예에서는 헤드셋 및 주변 장치를 위한 견고한 룸-스케일(room-scale) 추적을 제공하기 위해 다수의 기지국이 필요할 수 있다. 광학 수신기들(예를 들어, 330)는 헤드 장착 가상 현실 장치(220) 또는 다른 추적 물체에 통합된다. 실시예에서, 광 수신기들은 저지연 센서 융합을 지원하기 위해 각각의 추적된 장치상의 가속도계 및 자이로스코프 관성 측정 유닛(Inertial Measurement Unit) ("IMU")과 페어링된다(paired). 도 21에 도시된 바와 같이, 표준 12 온스(ounce) 소다 또는 맥주 캔(330)은 스케일 감을 제공하기 위해 도시되어 있다.
실시예들에 따른 각각의 기지국(320)은 직교 축상에서 현장(scene)을 가로 질러 선형 빔 (310)을 스위핑하는 2 개의 회전자들(rotors)를 포함한다. 각각의 스위핑 사이클의 시작에서, 실시예들에 따른 기지국(320)은 모든 센서들에 대해 가시적인 무지향성 광 펄스("동기 신호")를 방출한다. 따라서, 각 센서는 동기 신호와 빔 신호 사이의 지속 시간을 타이밍함으로써 스위핑된 볼륨(volume)에서 고유한 각도 위치를 계산한다. 센서 거리와 방향은 단일 강체에 부착된 여러 센서들을 사용하여 해결된다.
도 4는 본 발명의 실시예들의 양태들을 구현하는데 사용될 수 있는 4 개의 광 수신기들 (230a, 230b, 230c, 230d)을 구비한 헤드 장착형 가상 현실 디스플레이 (220)의 예시적인 다이어그램이다.
실시예들에서, 조사된(illuminated) 볼륨은 객체 및 표면을 반사하는 것이 거의 없을 것이라고 가정한다. 반사는 센서 시스템에 대해 스퓨리어스(spurious) 신호를 유발할 수 있다. 실시예들에서, 1차 반사의 영향은 기지국에서 원형 편광(circularly polarized) 방사선 소스 및 센서에서 적합한 정합(matched) 원형 편광 필터를 사용함으로써 감소되거나 제거될 수 있다.
실시예들에 따른 센서는 회전자로부터 변조된 광을 검출할 수 있는 광전자 장치(optoelectronic device)를 포함한다. 가시광 또는 근적외선(near-infrared)(NIR) 광에 대하여, 실시예에서 실리콘 포토다이오드들 및 적절한 증폭기/검출기 회로가 바람직하다. 환경은 기지국 신호 (광학 잡음)와 유사한 파장을 갖는 정적 및 시변 신호를 포함 할 수 있기 때문에, 간섭 신호로부터 쉽게 구별할 수 있도록 기지국 광을 변조하는 것이 도움이 되며, 및/또는 기지국 신호의 파장 이외의 임의의 파장의 방사광으로부터 센서를 필터링하는 것이 바람직하다.
실시예들에서, 본 발명은 (1) 다양한 물리적 제어 장치들의 3 차원 가상 표현의 데이터베이스, (2) 프로그래밍 인터페이스를 포함하되, 프로그래밍 인터페이스는 (a) 사용자에 의해 동작되는 특정 종류의 제어 장치의 식별을 허용하고, (b) 선택적으로 제어 장치의 3 차원 공간에서의 위치 및 방향을 허용하며, (c) 선택적으로, 제어 장치가 상호 작용하기 위해 사용되는 가상 현실 환경 상황(context)에 관한 정보 및 그런 가상 환경 내에서 제어 장치 상의 대화형 요소들과 관련된 기능의 집합을 허용하고, (d) 선택적으로, 호스트 운영 체제 또는 이동 전화와 같은 다른 장치에서 발생하는 이벤트에 대한 알림을 포함하되 이에 국한되지 않는 운영 공간의 상황 정보 수집을 허용한다.
도 5는 실제 게임 제어기 (520)의 가상 이미지가 제어기(520)를 유지하는 사람 사용자 (510)를 바라 보는 가상 현실 환경(540)의 예시적인 디스플레이이다.
실시예들에서 제어기 프로그램은 상기 (2) (a) - (d)에 따라 입력을 수집하고 사용자에게 사용자의 물리적 제어 장치의 가상 표현을 제공하며, 물리적 제어 장치는 가상의 상황 및/또는 제어장치 및 그 상호 작용(대화형) 요소들의 기능을 반영하도록 현실적이거나 증강될 수 있다.
각각의 특정 구현의 특정 요구 사항에 따라, 제어 장치의 그러한 증강된 가상 표현은, 제한없이, 제어 장치의 대화형 요소(들)의 말로 하는(verbal), 및/또는 아이콘 기반, 및/또는 애니메이션 기반 라벨링(labeling)을 포함하고, 이러한 라벨링은 가상 환경에서의 기능에 관한 정보를 제공한다. 예를 들어, 도 6에서, 실제 게임 제어기(520)의 가상 건(gun)의 동작을 제어하는 버튼은, 날아다니는 텍스트 설명(flyout text saying), 예를 들어, "FIRE" 또는 총의 이미지, 또는 다른 동작 라벨와 같이 동작 라벨 (610, 620, 630 등)으로 라벨링될 수 있다.
실시예들에 따른 증강된 가상 표현은 또한 대화형 요소와 연관된 기능의 이용 가능성 또는 가상 환경에 의해 제공되는 상황에 관한 다른 임의의 정보에 기초하여 수정될 수 있다. 예를 들어, 실시예들에서 가상 현실 게임에서의 무기는 작동하지 않을 수 있지만, 이와 관련된 대화형 요소는 암적색(dull red)으로 렌더링될(rendered) 수 있고, 충전 및 준비가 되면 녹색으로 깜박일 수 있다. 대안으로, 제어 장치는 가상 환경의 어느 부분이 가리키고 있는지에 따라 교환하거나(swap out) 생동감있는(animate) 가상 부속물(attachments)로 렌더링 될 수 있다.
실시예들에서, 데이터베이스에 저장되고 가상 현실 환경에서 사용자가 이용할 수 있게 하는 물리적 제어 장치는, 예를 들어, 비디오 게임 컨트롤러, 키보드, 트랙 패드(trackpads), 또는 퍼스널 컴퓨터용 다른 입력 장치, 휴대용 전화기 또는 태블릿 컴퓨터, 또는 오디오/비디오 장비용 리모콘 및 기타 전자 제품 등일 수 있고, 이에 제한되지 않는다. 이러한 제어 장치와 관련된 대화형(interactive) 요소들은, 예를 들어, 버튼, 조이스틱, 방향 패드, 소프트웨어 버튼, 터치 감지형 입력장치, 다이얼, 트리거(triggers), 노브(knobs), 모션 센서 등일 수 있으며, 이에 제한되지 않는다.
물리적 제어 장치의 가상 표현은 가상 환경의 상황에 기초하여 실시예들에서 변경될 수 있다. 예를 들어, 역사적인 배경에서 일어나는 가상 현실 게임에서, 제어 장치는 시간에 적절한 자료(time-appropriate material)로 만들어진 것으로 표현될 수 있다. 대안으로, 사용자가 장치를 조작하는 게임에서, 그러한 장치의 가상 표현은 그의 제어기의 표현에 부가될 수 있다.
실시예들에서의 물리적 제어 장치의 가상 표현은, 또한 가상 공간 외부에서 발생하는 동작 공간 및/또는 이벤트의 상황에 기초하여 변경될 수 있다. 예를 들어, 제어기는 걸려오는 전화 또는 문에서 소리를 내는 사람에게 알리는 전용 인터페이스를 통해 알림을 수신 할 수 있다. 이러한 시스템에서, 제어 장치의 가상 외관 및 기능은 대화형 요소가 적절한 기능 및 외관을 갖도록 변경될 수 있다. 걸려오는 전화 또는 다른 원거리 통신 수단의 경우, 그러한 기능이 해당 콜에 응답할 수 있다. 반면, 방문자에 대한 정보의 경우, 바람직한 행위는 가상 경험을 일시 중지하는 것일 수 있다. 이러한 예들은 외부 시스템이 제공할 수 있는 모든 종류의 통지 및 바람직한 응답으로 대체될 수 있다.
정보의 상황과 기능에 따른 특정 표현은 실시예들에서 연결될 수 있다. 예를 들어, 가상 현실 낚시 게임에서, 제어 장치의 가상 표현은 낚싯대에 의해 연장될 수 있다. 가상 환경에서 낚싯대가 작동하지 않으면 그 가상 묘사가 파손된 것으로 나타날 수 있다.
실시예들의 요구 사항에 따라, 상황이나 기능적 증강은 영구적인 것일 수도있고 사용자 입력에 기초할 수도 있다. 예를 들어, 제어 장치의 표현은 사용자가 제어 장치의 가상 표현으로 시선을 지시할 때까지 현실 세계에 그 외관을 반영 할 수 있으며, 이 시점에서 기능이나 상황에 따른 특정 정보에 의해 증강될 수 있다. 다른 예에서, 이러한 정보는 사용자가 눈 앞에서 물리적 제어 장치를 올리거나 미리 정의된 다른 동작을 취할 때, 가상적으로 표시될 수 있다.
또한, 대화형 요소들의 기능에 관한 부가적인 정보의 디스플레이는, 특정 동작이 가상 공간에서 사용자로부터 요구될 때 또는 사용자가 잠시 동안 유휴 상태이고 예상되는 동작에 대해 리마인더(reminder)가 필요하다고 가정될 때와 같은 상황에 기초하여, 실시예들에서 디스플레이될 수 있다.
실시예들은 제어 장치의 가상 표현이 물리적 제어 장치가 하는 것처럼 사용자의 눈에 대해 동일한 위치에 나타나도록, 3차원 작동 공간에서 추적된 제어 장치의 위치 및 방향을 반영한다.
다른 실시예들은 추적된 제어 장치의 가상 렌더링(rendering)을 동작 공간의 일부의 실시간 비디오 표현과 결합한다. 이러한 목적을 위해, 동작 공간을 레코딩하는 카메라로부터의 비디오 피드(feed)는, 헤드 장착 디스플레이에 보이는 이미지에 직접적으로 중첩되거나, 또는 가상 공간의 렌더링된 기하학적 형상에 투영되거나, 또는 가상 공간의 일부로서 또는 대체물로서 사용자에게 보여지는 동작 공간의 3 차원 모델 상에 투영될 수 있다. 이러한 실시예의 일례는 제어 장치의 3 차원 기하학적 구조 상에 매핑된 사용자의 손 (예를 들어, 사용자의 HMD상의 전방 카메라에 의해 보여지는 것과 같이)의 생생한 비디오 피드일 수 있다.
실시예에서 이러한 목적을 위해 비디오 피드로부터 추출되는 바람직한 요소들은, 이에 제한되지 않지만, 모션 검출, 또는 깊이 감지 기술, 또는 그들의 차원을 시스템에 알리기 위해 특수 마커 장치로 마킹하기와 같은 임의의 수의 기존의 방법에 의해 분리될 수 있다. 이러한 기술들은 숙련된 기술자들에게 공지된 바와 같이 임의의 방식으로 결합될 수 있다.
실시예들에서, 사용자는 일반적으로 기능적으로 동일할 수 있는 2 개의 제어기들을 갖는다. 본 발명의 일면에 따른 시스템들은 사용자의 HMD의 위치로부터 2 개의 제어기를 향해 삼각 측량하여 이들 중 어느 것이 왼손에 있고 어느 것이 오른손에 있는지를 결정한다. 사용자가 제어기를 스위칭하면, 실시예들에서 왼손과 오른손을 위해 설계된 방식으로 여전히 동작한다.
제어기들은 실시예들에서 실세계에 존재하는 모양으로 가상 세계/게임 환경에 디스플레이되고, 사용자가 HMD를 착용하는 동안 그것을 발견할 수 있고, 그가 그것을 집을 때 그는 현실 세계에서 기대되는 동일한 촉감을 얻는다. 실시예들에서, 사용자가 제어기를 픽업하여 적절하게 쥐었을 때, 제어기는 게임 내에서 그것이 나타내는, 마술 지팡이, 레이저 총 등 임의의 적절한 게임 아이템으로 변형될 수 있다.
게임 내 정보 외에, 실시예들에 따른 제어기는 현실 세계로부터의 통지를 디스플레이하도록 설정될 수 있다. 따라서, 실시예들에서, 가상 현실 세계의 제어기는 통지가 표시될 때 작은 빛을 나타낸다. 이러한 실시예들에서, 사용자가 게임 내 제어기를 잡는 손을 뒤집을 때, 가상 디스플레이가 사용자의 팔(arm) 아래에 표시되어, 예를 들어 텍스트 메시지를 표시하고, 전화 등 사용자를 호출하는 사람의 호출자 ID를 표시한다. 사용자는 제어기를 사용하여 이를 해제하거나 상호 작용(interact)할 수 있다. 이러한 실시예에서, 사용자는 통지가 도착할 때마다 HMD를 벗을 필요가 없다. 특정 구현의 요구 사항에 따라 통지는 특정 가상 환경에 맞게 사용자 맞춤형으로 설정될 수 있다. 예를 들어 공상 과학 게임은 팔 아래에 빛나는 LCD 디스플레이를 표시하지만, 환상 게임은 양피 스크롤(parchment scroll)을 표시할 수 있다.
상기 설명은 많은 세부 사항들을 포함하고, 예시적인 실시예들이 첨부 도면들에 기술되고 도시되었지만, 그러한 실시예들은 단지 폭넓은 발명을 설명하기 위한 것일뿐 본 발명을 제한하지는 않는다는 것이 이해되어야 한다. 또한, 전술한 바와 같이, 당업자에게 다양한 다른 변형이 발생할 수 있기 때문에, 도시되고 설명된 특정 구조 및 배열로 제한되어서는 안된다는 것도 이해되어야 한다. 본 발명은 여기에 개시된 상이한 종(species) 및/또는 실시 예로부터 요소들의 임의의 조합 또는 서브 조합을 포함한다.

Claims (10)

  1. 　견고하게 부착된 하나 이상의 광센서들을 포함하고, 작동 공간 내에 위치 가능한 이동 가능한 추적 물체;
    상기 작동 공간 내에 위치 가능한 하나 이상의 광송신기로서, 각각의 광송신기는 반복적인 스위핑 사이클 동안 직교 축들상의 추적 볼륨을 가로 질러 2 개의 광학 빔들을 스위핑하는 2개의 회전자들을 포함하고, 각각의 광송신기는 각각의 상기 스위핑 사이클의 시작에서 상기 광센서들에 의해 검출 가능한 무지향성 동기화 광펄스를 방출하는, 상기 하나 이상의 광송신기; 및
    상기 하나 이상의 광센서들에 결합된 제어 장치를 포함하고,
    상기 제어 장치는,
    상기 광센서들 각각에 대하여, 상기 동기화 광펄스의 검출과 상기 광학 빔들의 검출 사이의 경과 시간을 계산함으로써 상기 추적 볼륨 내의 각도 위치를 계산하고,
    상기 하나 이상의 광센서들의 상기 계산된 각도 위치에 기초하여 상기 이동 가능한 추적 물체의 위치 및 방향을 결정하고,
    상기 작동 공간 내의 상기 이동 가능한 추적 물체의 상기 결정된 위치 및 방향에 대응하는 가상 현실 환경 내의 위치 및 방향을 갖는 상기 가상 현실 환경의 상기 이동 가능한 추적 물체의 가상 표현을, 디스플레이가 제공하도록 하며,
    상기 가상 현실 환경의 상황에 따라 상기 이동 가능한 추적 물체의 상기 가상 표현을 변경하도록 구성된, 광학 추적 시스템.
  2. 제1항에 있어서,
    상기 이동 가능한 추적 물체는 관성 측정 유닛을 더 포함하고,
    상기 관성 측정 유닛은 상기 이동 가능한 추적 물체의 상기 위치 및 방향과 관련된 정보를 상기 광학 추적 시스템에 제공하고,
    상기 이동 가능한 추적 물체의 상기 가상 표현의 디스플레이는 상기 정보를 상기 각도 위치의 계산과 결합하는, 광학 추적 시스템.
  3. 제1항에 있어서,
    상기 이동 가능한 추적 물체의 상기 가상 표현은 상기 작동 공간의 상황에 따라 변경되는 광학 추적 시스템.
  4. 제1항에 있어서,
    상기 이동 가능한 추적 물체의 상기 가상 표현은 사용자의 시선이 상기 이동 가능한 추적 물체의 상기 가상 표현으로 향하는 것이 검출됨으로써 변경되는 광학 추적 시스템.
  5. 제1항에 있어서,
    상기 가상 현실 환경 내에서 상기 이동 가능한 추적 물체의 상기 위치 및 방향이, 상기 작동 공간 내에서 사용자의 눈에 대해 상기 이동 가능한 추적 물체가 나타날 때, 상기 사용자의 눈에 대해 실질적으로 동일한 위치에 나타나도록,
    상기 이동 가능한 추적 물체는 사용자의 눈에 대해 상기 작동 공간 내의 제1 위치에 위치하며, 상기 이동 가능한 추적 물체의 가상 표현은 상기 제1 위치에 대응하는 상기 가상 현실 환경 내의 제2 위치에 위치되는, 광학 추적 시스템.
  6. 견고하게 부착된 하나 이상의 광센서들을 포함하고, 작동 공간 내에 위치 가능한 이동 가능한 추적 물체;
    상기 작동 공간 내에 위치 가능한 하나 이상의 광송신기; 및
    상기 하나 이상의 광센서들에 결합된 제어 장치를 포함하고,
    상기 제어 장치는,
    상기 하나 이상의 광송신기에 대해 추적 볼륨 내의 각도 위치를 계산하고,
    상기 하나 이상의 광센서들의 상기 계산된 각도 위치에 기초하여 상기 이동 가능한 추적 물체의 위치 및 방향을 결정하고,
    상기 작동 공간 내의 상기 이동 가능한 추적 물체의 상기 결정된 위치 및 방향에 대응하는 가상 현실 환경 내의 위치 및 방향을 갖는 상기 가상 현실 환경의 상기 이동 가능한 추적 물체의 가상 표현을, 디스플레이가 제공하도록 하며,
    상기 가상 현실 환경의 상황에 따라 상기 이동 가능한 추적 물체의 상기 가상 표현을 변경하도록 구성된, 광학 추적 시스템.
  7. 제6항에 있어서,
    상기 이동 가능한 추적 물체는 관성 측정 유닛을 더 포함하고,
    상기 관성 측정 유닛은 상기 이동 가능한 추적 물체의 상기 위치 및 방향과 관련된 정보를 상기 광학 추적 시스템에 제공하고,
    상기 이동 가능한 추적 물체의 상기 가상 표현의 디스플레이는 상기 정보를 상기 각도 위치의 계산과 결합하는, 광학 추적 시스템.
  8. 제6항에 있어서,
    상기 이동 가능한 추적 물체의 상기 가상 표현은 상기 작동 공간의 상황에 따라 변경되는 광학 추적 시스템.
  9. 제6항에 있어서,
    상기 이동 가능한 추적 물체의 상기 가상 표현은 사용자의 시선이 상기 이동 가능한 추적 물체의 상기 가상 표현으로 향하는 것이 검출됨으로써 변경되는 광학 추적 시스템.
  10. 제6항에 있어서,
    상기 가상 현실 환경 내에서 상기 이동 가능한 추적 물체의 상기 위치 및 방향이, 상기 작동 공간 내에서 사용자의 눈에 대해 상기 이동 가능한 추적 물체가 나타날 때, 상기 사용자의 눈에 대해 실질적으로 동일한 위치에 나타나도록,
    상기 이동 가능한 추적 물체는 사용자의 눈에 대해 상기 작동 공간 내의 제1 위치에 위치하며, 상기 이동 가능한 추적 물체의 가상 표현은 상기 제1 위치에 대응하는 상기 가상 현실 환경 내의 제2 위치에 위치되는, 광학 추적 시스템.

KR1020177025473A 2015-02-27 2016-02-27 가상 및 증강 현실 환경에서의 제어기 시각화 KR102561022B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562126352P 2015-02-27 2015-02-27
US62/126,352 2015-02-27
US14/937,844 US10338186B2 (en) 2014-11-10 2015-11-10 Positional tracking systems and methods
US14/937,844 2015-11-10
PCT/US2016/019993 WO2016138509A1 (en) 2015-02-27 2016-02-27 Controller visualization in virtual and augmented reality environments

Publications (2)

Publication Number Publication Date
KR20170120624A KR20170120624A (ko) 2017-10-31
KR102561022B1 true KR102561022B1 (ko) 2023-07-31

Family

ID=56789171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025473A KR102561022B1 (ko) 2015-02-27 2016-02-27 가상 및 증강 현실 환경에서의 제어기 시각화

Country Status (5)

Country Link
EP (1) EP3262437B1 (ko)
JP (1) JP6704921B2 (ko)
KR (1) KR102561022B1 (ko)
CN (1) CN107710009B (ko)
WO (1) WO2016138509A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
CN106990851B (zh) * 2017-05-24 2023-04-25 北京无远弗届科技有限公司 虚拟现实手持组件及其制作方法、虚拟现实交互系统
US10540023B2 (en) 2017-09-26 2020-01-21 Yong Bum Kim User interface devices for virtual reality system
US10509489B2 (en) 2017-09-26 2019-12-17 Yong Bum Kim Systems and related methods for facilitating pen input in a virtual reality environment
KR20190080530A (ko) 2017-12-28 2019-07-08 단국대학교 산학협력단 가상현실 영화의 적극적 인터랙션 시스템 및 방법
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
KR20190119008A (ko) 2019-10-08 2019-10-21 단국대학교 산학협력단 가상현실 영화의 적극적 인터랙션 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003526774A (ja) * 1999-03-22 2003-09-09 アークセカンド インコーポレーテッド 座標系を設定するための方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729475A (en) * 1995-12-27 1998-03-17 Romanik, Jr.; Carl J. Optical system for accurate monitoring of the position and orientation of an object
US6191759B1 (en) * 1997-12-02 2001-02-20 Gregory J. Kintz Virtual reality system with a static light emitting surface and magnifying optical system
AU6513599A (en) * 1998-10-13 2000-05-01 Arc Second, Inc. Rotating head optical transmitter for position measurement system
EP1166042B1 (en) * 1999-03-22 2007-03-07 Arc Second, Inc Calibration of optical transmitter for position measurement systems
JP2004212058A (ja) * 2002-12-26 2004-07-29 Topcon Corp 作業位置測定装置
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20120213436A1 (en) * 2011-02-18 2012-08-23 Hexagon Technology Center Gmbh Fast Image Enhancement and Three-Dimensional Depth Calculation
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
EP3218736B1 (en) * 2014-11-10 2023-06-07 Valve Corporation Positional tracking systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003526774A (ja) * 1999-03-22 2003-09-09 アークセカンド インコーポレーテッド 座標系を設定するための方法

Also Published As

Publication number Publication date
KR20170120624A (ko) 2017-10-31
JP6704921B2 (ja) 2020-06-03
EP3262437B1 (en) 2024-04-10
CN107710009B (zh) 2021-06-29
CN107710009A (zh) 2018-02-16
JP2018514836A (ja) 2018-06-07
EP3262437A4 (en) 2018-10-24
WO2016138509A1 (en) 2016-09-01
EP3262437A1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
US11045725B1 (en) Controller visualization in virtual and augmented reality environments
KR102561022B1 (ko) 가상 및 증강 현실 환경에서의 제어기 시각화
US20200342681A1 (en) Interaction system for augmented reality objects
US10222981B2 (en) Holographic keyboard display
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
EP3172644B1 (en) Multi-user gaze projection using head mounted display devices
KR102098316B1 (ko) 증강 및/또는 가상 현실 환경에서의 텔레포테이션
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
CN105900041B (zh) 利用视线跟踪进行的目标定位
US10126553B2 (en) Control device with holographic element
CN108697935B (zh) 虚拟环境中的化身
US20170329503A1 (en) Editing animations using a virtual reality controller
US10152851B2 (en) Notification artifact display
WO2021242451A1 (en) Hand gesture-based emojis
CN111930223A (zh) 用于观看计算机生成的环境并与其互动的可移动显示器
US10462454B2 (en) Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
US20210081051A1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
KR102177734B1 (ko) 가상 현실에서의 홀드된 객체 안정화
US11816757B1 (en) Device-side capture of data representative of an artificial reality environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant