KR102086941B1 - 정전식 센싱을 이용한 컨트롤러 예감 - Google Patents

정전식 센싱을 이용한 컨트롤러 예감 Download PDF

Info

Publication number
KR102086941B1
KR102086941B1 KR1020187032767A KR20187032767A KR102086941B1 KR 102086941 B1 KR102086941 B1 KR 102086941B1 KR 1020187032767 A KR1020187032767 A KR 1020187032767A KR 20187032767 A KR20187032767 A KR 20187032767A KR 102086941 B1 KR102086941 B1 KR 102086941B1
Authority
KR
South Korea
Prior art keywords
game controller
virtual
physical game
visualization
physical
Prior art date
Application number
KR1020187032767A
Other languages
English (en)
Other versions
KR20180136480A (ko
Inventor
에단 스투름
스티븐 에이치. 베이커
폴 빈센트
데이비드 씨. 테일러
Original Assignee
서크 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서크 코퍼레이션 filed Critical 서크 코퍼레이션
Publication of KR20180136480A publication Critical patent/KR20180136480A/ko
Application granted granted Critical
Publication of KR102086941B1 publication Critical patent/KR102086941B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

향상된 기능성을 가진 가상 현실 게임 컨트롤러를 제공하기 위한 시스템 및 방법은, 컨트롤러 상에 정전식 터치 및 근접 센서를 제공하여 사용자에게 추가 피드백을 가능하게 하고, 손가락 또는 엄지손가락이 물리적 게임 컨트롤러의 버튼에 접근하고 있다는, 가상 환경에서의 시각화 지표를 제공하는 것과 같이, 게임 컨트롤러와 같은 물리적 물체와의 상호작용이 가상 환경에서 가상 도구와 상호작용으로 해석될 수 있도록 한다.

Description

정전식 센싱을 이용한 컨트롤러 예감
본 발명은 일반적으로 게임 컨트롤러 및 터치 센서에 관한 것이다. 구체적으로, 본 발명은, 정전식 터치 및 근접 센서를 컨트롤러 상에 제공함으로써, 가상 현실 환경에서 특히 유용한 추가 피드백을 사용자에게 가능하게 하는, 향상된 기능성을 가진 가상 현실 게임 컨트롤러를 제공하기 위한 시스템 및 방법과 관련된다.
사용자에게 추가 피드백을 가능하게 하는 컨트롤러 상의 정전식 터치 센서를 제공하기 위한 시스템을 이용할 수 있는 정전식 터치 센서에 관한 여러 디자인이 있다. 어떻게 임의의 정전식 감지 터치패드가 본 발명을 이용할 수 있는지에 대한 더 나은 이해를 위하여 터치 센서의 기저가 되는 기술을 검토하는 것이 도움이 된다.
서크(CIRQUE)® 회사 터치패드는 공통의 정전식-센싱 장치이고, 일 예가 도 1의 블록 다이어그램으로 도시되어 있다. 이 터치패드(10)에서, X(12) 전극 및 Y(14) 전극의 격자 및 센스 전극(16)은 터치패드의 터치-감지 영역(18)을 정의하는데 사용된다. 통상적으로, 터치패드(10)는, 공간 제한이 있을 때, 대략 16 x 12 전극, 또는 8 x 6 전극의 직사각형 격자이다. X(12) 및 Y(14)(또는 행과 열)로 엮인 전극은 단일 센스 전극(16)이다. 모든 위치 측정이 센스 전극(16)을 통하여 이루어진다.
서크(CIRQUE)® 회사 터치패드(10)는 센스 라인(16) 상의 전하의 불균형을 측정한다. 어떠한 포인팅 물체도 터치패드(10) 상에 또는 터치패드(10)에 근접하여 있지 않을 때, 터치패드 회로(20)는 균형된 상태이고, 센스 라인(16) 상에 어떠한 전하 불균형도 없다. 물체가 터치 표면(터치패드(10)의 센싱 영역(18))에 접근 또는 터치할 때 정전식 결합으로 인하여 포인팅 물체가 불균형을 생성하는 경우에, 정전용량 전하가 전극(12, 14) 상에 발생한다. 측정된 것은 정전용량 전하이지, 전극(12, 14) 상의 절대 정전용량 값은 아니다. 터치패드(10)는 센스 라인 상의 전하 균형을 재성립 또는 회복하기 위하여 센스 라인(16) 상에 더해야만 하는 전하량을 측정함으로써 정전용량 전하를 결정한다.
상기 시스템은 다음과 같이, 터치패드(10) 상에 또는 터치패드(10)에 인접한 손가락의 위치를 결합하기 위하여 이용된다. 이 예는 행 전극(12)을 기술하고, 열 전극(15)에 대해서 동일한 방식으로 반복된다. 행 및 열 전극 측정으로부터 얻은 값은 터치패드(10) 상에 또는 터치패드(10)에 인접한 포인팅 물체의 중심인 교차 지점을 결정한다.
제1 단계에서, 제1 세트의 행 전극(12)은 P, N 발전기(22)로부터의 제1 신호로 구동되고, 다른 그러나 인접한 제2 세트의 행 전극은 P, N 발전기로부터의 제2 신호로 구동된다. 터치패드 회로(20)는 어느 행 전극이 포인팅 물체에 가장 근접한지를 나타내는 공통의 정전식 측정 장치를 사용하여 센스 라인(16)으로부터 값을 얻는다. 그러나 일부 마이크로컨트롤러(28)의 제어하에 터치패드 회로(20)는 행 전극의 어느 측면 상에 포인팅 물체가 위치되는지를 아직 결정할 수 없고, 터치패드 회로(20)는 포인팅 물체가 전극으로부터 얼마나 멀리 떨어져 위치되는지만 결정할 수 밖에 없다. 따라서 시스템은 구동되는 전극(12)의 그룹을 일 전극만큼 이동시킨다. 다시 말해서, 그룹의 타측 상의 전극이 더 이상 구성되지 않으면 그룹의 일측 상의 전극이 추가된다. 이후, 새로운 전극은 P, N 발전기(22)에 의해 구동되고, 센스 라인(16)의 제2 측정이 행해진다.
이러한 2개의 측정으로부터, 행 전극의 어느 측면 상에 포인팅 물체가 위치되는지와 얼마나 멀리 위치되는지를 결정할 수 있다. 이후, 측정된 2개의 신호의 크기를 비교하는 방정식을 이용하여 포인팅 물체 위치 결정을 수행한다.
서크(CIRQUE)® 회사 터치패드의 민감도 또는 해상도는 16 x 12 격자의 행 및 열 전극이 나타내는 것보다 훨씬 더 크다. 해상도는 통상적으로 인치당 960 카운트 또는 더 큰 단위이다. 정밀한 해상도는 구성의 민감성, 동일한 행과 열 상의 전극(12, 14) 사이의 공간, 및 본 발명에 실질적이지 않은 다른 인자에 의해 결정된다. 상기 프로세스는 P, N 발전기(24)를 사용하여 Y 또는 열 전극(14)에 대해서 반복된다.
앞서 기술된 서크(CIRQUE)® 회사 터치패드는 X 및 Y 전극(12, 14)의 격자 및 별도의 단일 센스 전극(16)을 사용하지만, 센스 전극은 멀티플렉스(multiplexing)를 사용하여 실질적으로 X 또는 Y 전극(12, 14)이 될 수 있다.
앞서 기술된 것과 같은 터치 센서가 사용될 수 있는 환경은 가상 현실의 성장하는 영역에 있다. 가상 현실 환경은 특이한 사용자 상호작용 상황을 제공한다. 예를 들면, 사용자는, 눈을 덮고 가상 현실 환경을 제공하는 사용자의 머리 상에 놓인 장치 또는 머리-장착된 디스플레이(head-mounted display; HMD)를 가질 수 있다. 또한, 오디오의 추가로 가상 현실 경험을 향상시키기 위하여 사용자는 헤드폰을 가질 수 있다. 그러나 사용자가 시각과 청각을 통하여 경험하고 있는 가상 현실과, 사용자가 위치되는 실제 물리적 영역 사이의 단절이 있을 수 있다. 가상 현실 환경의 목적이, 실제로 존재하지 않거나 또는 인접한 물리적 환경에서 적어도 존재하지 않는 물체 및 소리를 사용자에게 제공하는 것일 수 있기 때문에, 이러한 단절은 사용자에게 명백할 수 있다.
사용자는 통상적으로 그들 자신의 신체, 팔, 다리, 발 또는 손을 볼 수 없기 때문에, HMD를 쓰고 있는 경험은 사용자에게 매우 당황케 할 수 있다. 사용자 자신의 신체 또는 신체부위의 시각화 피드백의 이러한 결함은, 사용자의 경험에 해로울 수 있고, 사용자는 물리적 물체로부터 단지 촉각 피드백만으로 제한될 수 있기 때문에 가상 환경을 손상시킨다. 따라서 가상 도구와 같이 가상 환경에서 또한 제공되고 있는 물리적 물체를 조작할 때, 사용자에게 추가 피드백을 제공하는 것이 바람직할 것이다.
가상 현실 환경을 논의할 때, 사용자가 그의 환경에 관하여 위치되는 곳의 관례적인 시각화 단서 또는 피드백이 없다는 것을 깨달을 때까지, 물리적 환경으로부터의 이러한 단절은 명백하지 않을 수 있다. 이러한 단서는 사용자가 그들 자신의 신체 또는 손으로 유지되고 있는 물체를 볼 수 있다는 것을 포함하지만 이에 제한되지는 않는다. 사용자 자신의 팔, 손, 다리, 발의 위치에 대한 시각화 단서의 결함은, 사용자가 발을 헛디디거나 물체에 대해 느끼기 위하여 어색하게 손을 뻗게 하도록 할 수 있다.
따라서 물리적 환경에서의 일부 물리적 물체가 가상 환경에서 가상 물체로 제공된다면, 사용자의 가상 현실 경험은 향상될 수 있다. 예를 들면, 물리적 물체가 가상 환경에서 제공되는 것은 이미 가능하다. 이러한 물체는 휴대용 게임 컨트롤러 또는 단지 게임 컨트롤러일 수 있다. 그러나 이는, 가상 물체는 물리적 물체가 물리적 환경에서 존재하는 것과 완전히 동일하게 나타내어야만 하는 것을 의미하는 것은 아니다. 가상 물체는 프로그램으로 가상 환경에서 다르게 나타나지만 여전히 사용자와 상호작용할 수 있도록 조작될 수 있다. 따라서 이는, 물리적 물체의 적어도 일부의 제공인 가상 물체와 사용자 사이, 또는 반대로의 상호작용을 향상시킬 수 있는 종래 기술을 넘은 장점이 될 것이다.
사용자와 가상 물체 사이의 상호작용은 사용자가 가상 환경에서 무엇을 볼 수 있는지로 시작할 수 있다. 예를 들면, 사용자는 버튼을 누르거나 게임 컨트롤러 상의 다이얼을 누르는 것을 원할 수 있다. 물리적 환경에서, 사용자는 엄지손가락 또는 손가락이 게임 컨트롤러에 가까이 이동되어, 원하는 위치에 엄지손가락 또는 손가락이 시각적으로 안내되는 것을 볼 수 있기 때문에, 이 일은 간단하다. 그러나 사용자의 손 및 손가락을 가상 환경에서 나타내는 것이 매우 어려울 수 있기 때문에, 이 시각화 피드백은 가상 환경에서 부족할 수 있다. 따라서 신체 일부가 가상 환경에서 사용자에게 시각화되지 않는다고 하더라도, 손, 손가락, 엄지손가락, 팜, 다리, 또는 발과 같은 신체 일부를 가상 환경에서 원하는 위치로 시각적으로 안내하여 사용자를 도울 수 있는 시각화 단서를 가상 환경에서 사용자에게 제공할 수 있는 것이 선행기술을 넘은 장점이 될 것이다.
본 명세서 내에서 "터치 센서(touch sensor)" 용어의 사용은, "정전식 터치 센서(capacitive touch sensor)", "정전식 센서(capacitive sensor)", "정전식 터치 및 근접 센서(capacitive touch and proximity sensor)", "근접 센서(proximity sensor)", "터치 및 근접 센서(touch and proximity sensor)", "터치 패널(touch panel)", "터치패드(touchpad)", 및 "터치 스크린(touch screen)"과 상호 교환 가능하게 사용될 수 있다. 또한, "게임 컨트롤러(game controller)" 용어의 임의의 사용은 "가상 현실 게임 컨트롤러(virtual reality game controller)"와 상호 교환 가능하게 사용될 수 있다.
제1 실시예에서, 본 발명은 향상된 기능성을 가진 가상 현실 게임 컨트롤러를 제공하기 위한 시스템 및 방법이고, 컨트롤러 상에 정전식 터치 및 근접 센서를 제공하여 사용자에게 추가 피드백을 가능하게 하고, 손가락 또는 엄지손가락이 물리적 게임 컨트롤러의 버튼에 접근하고 있다는, 가상 환경에서의 시각화 지표를 제공하는 것과 같이, 게임 컨트롤러와 같은 물리적 물체와의 상호작용이 가상 환경에서 가상 도구와 상호작용으로 해석될 수 있도록 한다.
본 발명의 이러한 목적과 다른 목적, 특징부, 장점 및 대안적 양상이, 첨부된 도면과 조합된 이하의 상세한 설명의 고려 사항으로부터 통상의 기술자에게 명백하게 될 것이다.
도 1은 본 발명에서 사용하기 적합한, 종래 기술에서 발견된 터치패드의 작동의 블록 다이어그램이다.
도 2는 본 발명에 포함되어 변형될 수 있는 2개의 물리적 게임 컨트롤러의 정면도이다.
도 3a는 물리적 게임 컨트롤러 상의 터치 센서의 평면도이다.
도 3b는 가상 도구 상의 터치 센서와 동일한 형상 및 크기를 가상 도구 상의 키패드의 평면도이다.
이제 본 발명의 다양한 구성이 숫자 지정으로 주어지는 도면에 참조가 이루어져, 통상의 기술자가 발명하여 사용할 수 있도록 설명될 것이다. 이하 설명은 단지 본 발명의 원리인 것으로 이해되어야 하고, 이하의 청구항을 좁게 하는 것으로 해석되어서는 안 된다.
본 발명의 제1 실시예는, 사용자와, 물리적 물체의 적어도 일부를 나타내는 가상 물체 사이의 상호작용을 향상시키는 가상 단서를 사용자에게 제공하는 것이다. 이하 주어진 예는 손잡이 물체에 관한 것이지만, 제1 실시예나 이 장치에 제한되는 것으로 여겨져서는 안 된다.
또한, 가상 물체가 설명될 때마다, 가상 물체는, 사용자가 또한 물리적 환경에서 터치할 수 있는 물리적 물체의 전부 또는 일부를 나타내는 것으로 이해되어야 한다. 물리적 물체는 가상 환경에서 다르게 나타날 수도 있고, 또한 동일하게 나타날 수도 있다. 중요한 것은, 사용자와 가상 환경에서의 물체 사이의 상호작용이 가상 환경에서 동일한 방식으로 나타내어지고 있거나 해석되고 있다는 것이다.
예를 들면, 사용자가 가상 환경에서의 가상 도구를 사용하는 것을 원할 수 있다. 사용자는, 가상 도구와 더욱 쉽게 상호작용을 수행하기 위하여 물리적 물체와 상호작용하는 것이 바람직할 수 있다. 다시 말해서, 물리적 물체는 가상 환경에서 나타내 질 수 있고, 물리적 물체의 조작은 가상 환경에서의 가상 도구와의 상호작용으로 해석될 수 있다.
사용자 자시의 신체 부분이 가상 환경에서 나타내어지고 있지 않다는 것을 이해하기 시작하여, 제1 실시예는, 사용자가 가상 물체와 어떻게 상호작용 할 것인지를 나타내는 시각적 피드백을 사용자에게 제공하는 것이다.
도 2는 물리적 게임 컨트롤러(30)의 사시도로 제공된다. 게임 컨트롤러(30)는 손잡이 장치로서 가상 환경에 나타내 질 수 있다. 그러나 게임 컨트롤러(30)는 가상 환경에서 다른 물체로 나타낼 수 있다는 것이 이해되어야 한다. 이 가상 물체는 물리적 게임 컨트롤러(30)에 대하여 유사하거나 또는 다른 형상, 크기, 색깔, 질감, 또는 임의의 다른 시각적 태도를 가질 수 있다. 사용자가 실제로 게임 컨트롤러(30)를 잡고 있을 때 가상 물체는 심지어 그립 또는 손잡이를 보여주지 않을 수도 있다. 중요한 것은 사용자가 게임 컨트롤러와 상호작용 할 수 있고, 게임 컨트롤러는 가상 환경에 나타내져 있다는 것이다.
제1 실시예의 제1 특징부는, 물체, 본 예에서 게임 컨트롤러(30)는 게임 컨트롤러의 표면 내에 및/또는 표면 상에 배치된 하나 이상의 센서를 포함할 수 있다. 제2 특징부는, 게임 컨트롤러(30)가 가상 물체로서 가상 환경에 존재하도록 또한 센서에 의해 검출 및 추적할 수 있다는 것이다. 가상 물체는 가상 환경에서 나타내어 질 수 있는 임의의 물체일 수 있고, 물리적 게임 컨트롤러(30)의 크기, 형상 또는 임의의 다른 시각적 태도로 제한되는 것으로 여겨져서는 안 된다.
물리적 게임 컨트롤러(30)는 가상 환경에 임의의 물체로서 나타낼 수 있기 때문에, 이러한 물체는 어떤 것도 될 수 있다고 이해하는 것이 도움이 된다. 예를 들면, 게임 컨트롤러(30)는 무기, 도구, 또는 사용자가 상호작용할 수 있는 임의의 물체가 될 수 있다. 게임 컨트롤러(30)의 이동 가능한 성질 때문에, 가상 물체도 또한 이동할 수 있다고 이해 가능하다. 가상 물체의 일부 좋은 예는 손전등, 페인트 붓, 총 또는 임의의 다른 원하는 물체를 포함하지만, 이에 제한되는 것으로 여겨져서는 안 된다.
물리적 게임 컨트롤러(30)는 가상 환경에서 복제될 수 있거나 복제되지 않을 수 있는 물리적 특징부를 가질 수 있다. 물리적 게임 컨트롤러(30) 상에 존재할 수 있는, 예를 들면, 트리거(trigger) 장치, 버튼, 스위치, 조이스틱, 스틱 패드 또는 임의의 다른 물리적 특징부를 고려한다. 이러한 물리적 특징부는 가상 환경에 입력을 제공하는데 사용될 수 있다. 예를 들면, 트리거 장치는 무기의 트리거로써 또는 스프레이 건의 트리거로써 기능할 수 있다.
명백한 것은, 사용자의 손가락이 물리적 환경에서의 트리거 상에 기댈 수 있기 때문에 트리거가 위치시키는 것이 어렵지 않을 수 있지만, 사용자가 특징부 상에 손가락 또는 엄지손가락을 이제 가질 수 없기 때문에 버튼 또는 터치 패드와 같은 다른 특징부는 더 어려울 수 있다. 또한, 물리적 게임 컨트롤러 상의 트리거 장치가 가상 도구 상의 트리거로써 기능할지라도, 물리적 물체와 가상 환경에서 그의 가상 표현 사이의 일부 끊김이 있을 수 있다. 예를 들면, 그들은 동일한 장소에 정확하게 있을 수 있거나 그러지 않을 수 있다.
일부 사용자가 처리하는데 더 어려운 시간을 가질 수 있는 가상 환경에서 많은 상호작용 경험이 있을 수 있다. 그러므로 상호작용 처리를 돕기 위하여 사용자에게 더 많은 피드백을 제공하는 것이 바람직할 것이다. 본 발명의 제1 실시예에서, 게임 컨트롤러(30) 상의 정전식 센싱은, 사용자와 게임 컨트롤러 사이의 물리적 상호작용을 나타내는 가상 환경 내에서 시각적인 피드백을 사용자에게 제공하는데 사용될 수 있다.
물리적 게임 컨트롤러(30)는 제1 버튼(32), 제2 버튼(34) 및 패드 또는 다이얼(36)을 포함할 수 있다. 물리적 게임 컨트롤러(30)는 특정 개수의 버튼 또는 패드 또는 도시된 거 같은 배치로 제한되는 것으로 여겨져서는 안 되고, 단지 설명 목적을 위해 도시된 것이다.
제1 실시예에서, 게임 컨트롤러(30)는, 손, 손가락 또는 엄지손가락과 같은 사용자의 검출 가능한 신체부위가 물리적 게임 컨트롤러 안에 또는 물리적 게임 컨트롤러 상에 배치되는 정전식 센서에 접근할 때, 신체부위의 근접 검출이 가능한 하나 이상의 정전식 센서를 사용할 수 있다. 근접 센서를 사용함으로써, 정전식 센서는 게임 컨트롤러의 특징부의 터치만 검출할 수 있는 것이 아니라, 더욱 중요하게는, 특징부를 향하는 검출가능한 신체부위의 접근을 검출할 수 있다. 검출가능한 신체부위의 접근에 관한 이 정보는, 이후 가상 환경에서 사용자에게 원하는 시각화 피드백을 제공하는데 사용될 수 있다.
제1 실시예에서, 시각화 피드백은, 사용자가 실제로 게임 컨트롤러(30)의 버튼 또는 다른 특징부를 터치하기 전에 사용자에게 "예감(premonition)" 또는 "프리뷰(preview)"를 제공할 수 있다. 다시 말해서, 손가락이 버튼에 접근하는 것을 관찰함으로써, 사용자가 버튼을 향하여 손가락을 안내할 수 있는 것과 상당히 동일한 방식으로, 검출가능한 신체부위가 특징부에 접근하고 있다는 것을 사용자에게 나타내는 시각화 피드백을 사용자에게 줄 수 있다.
시각화 피드백의 특정 형태는 임의의 시각화 지표를 포함할 수 있다. 예를 들면, 시각화 피드백은 시각화 물체 상의 특징부의 조명의 강도의 변경일 수 있다. 도 2에 도시된 바와 같이, 좌측 상의 물리적 게임 컨트롤러(30)는 버튼(32)을 가진다. 가상 환경에서 어떠한 검출가능한 물체도 근처에 있지 않을 때는 버튼(32)은 조명되지 않을 수 있다. 그러나 사용자의 손가락 또는 다른 검출가능한 물체가 물리적 게임 컨트롤러(30) 상의 버튼(32)에 접근할 때, 버튼(32)은, 물리적 게임 컨트롤러 상의 버튼 둘레에 붉은 링에 의해 가상 환경에서 조명될 수 있다.
대안적으로, 전체 버튼(32)이 조명 없음으로부터 변경될 수 있고, 물리적 게임 컨트롤러(30) 상에 접촉이 이루어질 때까지 점진적으로 밝게 될 수 있다. 따라서 광 강도에 관한 임의의 시각화 지표가 사용될 수 있다.
다른 시각화 지표는 버튼(32) 둘레의 일련의 동심원 링이 될 수 있다. 버튼이 물리적 게임 컨트롤러(30) 상에서 터치될 때, 모든 동심원 링이 발광될 때까지 버튼(32) 둘레에 빛나고 있는 동심원 링의 개수는 증가할 수 있다.
시각화 컨트롤러 상의 버튼 또는 다른 특징부를 조명하는 가상 환경에서 시각화 지표를 사용하는 이점 중 하나는, 조명은 가상이기 때문에 처리되어야만 하는 어떠한 물리적 제한도 없다는 것이다. 조명은 특징부가 조명되는 단지 프로그램 가능한 특징부이고, 따라서 조명의 위치, 크기 또는 강도에 대해 어떠한 제한도 없다. 따라서 조명은 접근되고 있는 특징부 또는 버튼을 넘어 확장될 수 있다. 예를 들면, 전체 가상 물체가 빛나도록 될 수 있다.
가상 환경에서 사용자가 볼 수 있는 것은 가능성으로 나타내 지고 있는 동일한 게임 컨트롤러가 아니라, 물리적 게임 컨트롤러(30) 상의 버튼(32)과 동일한 위치에서 가상 도구 상의 상호작용하는 특징부를 가지는 일부 다른 물체일 수 있다는 것을 기억하는 것이 도움이 된다. 버튼(32) 또는 특징부는 이후, 어떤 방식으로 변경되거나 강조되거나 조명되고, 따라서 버튼(32)을 향하는 사용자의 손가락의 접근의 일부 시각화 징후가 발생하여, 사용자가 가상 환경에서 가상 물체를 주시하고 있다면, 사용자에게 시각화될 것이다.
가상 환경에서 가상 물체에 또는 가상 물체의 일부에 발생할 수 있는 일부 시각화 지표 또는 변형은, 사용자에게 시각화 단서, 시각화 물체의 크기의 변경, 색깔의 변경, 조명의 변경, 가상화 물체의 이동 또는 특징부의 변경, 및 다른 가상화 물체의 생성을 제공하는 것이 발생될 수 있는 모든 다른 변경을 포함할 수 있지만 이에 제한되는 것으로 여겨져서는 안 된다. 이러한 변경은 가상 물체 상에 또는 가상 물체에 인접하여 발생할 수 있고, 전체 가상화 물체 또는 가상화 물체의 단지 일부를 포함할 수 있다.
제1 실시예는, 가상 환경에서 사용자가 볼 수 있는 시각화 지표에 관한 것이지만, 본 발명의 제2 실시예는 사용자에게 주어지는 피드백이 또한 촉감 피드백을 포함할 수 있다. 예를 들면, 물리적 게임 컨트롤러(30)는 검출가능한 신체부위가 버튼(32)에 얼마나 가까운지를 나타내기 위하여 다른 속도로 진동될 수 있다.
본 발명의 제3 실시예에서, 가상 환경에서의 변경을 야기할 수 있는 것이 정전식 센서를 향하는 물체의 접근이 아닐 수 있다. 사용자가 물리적 게임 컨트롤러(30)로 할 수 있는 다른 동작은 물리적 게임 컨트롤러에 적용되는 힘의 변경 또는 그립의 변경을 포함할 수 있지만, 이에 제한되는 것으로 여겨져서는 안 된다. 따라서 물리적 게임 컨트롤러(30)의 선택된 부분은 전체 게임 컨트롤러의 근접 센싱을 포함할 수 있다. 유사하게, 물리적 게임 컨트롤러(30)의 선택된 부분은 전체 게임 컨트롤러의 터치 센싱을 포함할 수 있다.
가상 환경에서 더욱 향상된 위치 정보를 위하여 물리적 게임 컨트롤러(30) 상의 사용자의 손의 이미지를 제공하는 것이 가능할 수 있다. 따라서 각각의 손가락이 게임 컨트롤러(30) 상에 어디를 받치고 있는지를 결정하는 것이 가능할 수 있다. 특정 게임 또는 적용을 위한 그립 힘의 센싱을 달성하기 위하여 센싱은 추가로 변형될 수 있다.
본 발명의 모든 실시예는 대형 정전식 센서 위를 맴돌고 있을 수 있는 손가락 검출을 수행할 수 있어, 접촉이 이루어질 때, 손가락이 어디를 접촉할 것인지를 결정할 수 있다는 것이 이해되어야 한다. 따라서 사용자는 실제 접촉이 이루어지기 전에 손 또는 손의 부분이 물리적 게임 컨트롤러(30)와 어디를 접촉할 것인지를 알 수 있다.
본 발명의 적어도 일 실시예에서, 도 3a는, 도 2에 도시된 제1 게임 컨트롤러(30)와 형태가 상이한 물리적 게임 컨트롤러(40) 상에 배치되는 직사각형의 터치 센서(42)의 평면도를 도시한다. 물리적 게임 컨트롤러(40)의 형상은, 게임 컨트롤러(40)가 물리적 환경에서 통상적으로 사용되는 물체의 형상에 더욱 확실히 맞도록, 원하는 대로 변형될 수 있다. 예를 들면, 무기와 같이 파지되는 게임 컨트롤러는 가상 물체가 무기를 나타내고 있을 때 더욱 유용할 수 있지만, 원통형 또는 긴 물체의 형상의 게임 컨트롤러는, 게임 컨트롤러가 손전등 또는 다른 유사한 긴 물체를 나타낼 때 더욱 유용할 수 있다.
도 3b는 도 3a에 도시된 게임 컨트롤러(40)와 상이한 게임 컨트롤러(50)의 평면도를 도시하지만, 복수의 개별 키를 구비하는 물리적 키패드(44)를 가지고, 키패드는 게임 컨트롤러의 상면 상에 위치된다. 본 예에서, 게임 컨트롤러(40)의 직사각형 터치 센서(42) 및 게임 컨트롤러(50)의 키패드(44)는 물리적 게임 컨트롤러 상의 거의 동일한 위치에 위치된다. 따라서 유사한 타원 형상을 가진 게임 컨트롤러는 물리적 특징부의 다른 유형으로 설비될 수 있다.
또한, 도 3a는, 물리적 게임 컨트롤러(40) 상의 직사각형 터치 센서(42) 위를 맴돌고 있지만 이와 물리적 접촉을 이루어지지 않고 있는 손가락의 위치(46)를 나타낸다. 위치(46)는 직사각형 터치 센서(42)의 평면에 수직한 손가락 끝의 위치이다. 유사하게, 도 3b는 손가락 끝이 게임 컨트롤러(50) 위를 맴돌고 있는 키패드(44) 상의 위치(48)를 도시한다.
물리적 키패드(44)에 접근할 때 손가락의 위치를 나타내기 위하여, 시각화 지표가 가상 키패드 상의 가상 환경에서 디스플레이될 수 있다. 시각화 지표는 가상 물체의 크기의 변경, 가상 물체의 색깔의 변경, 가상 물체의 조명의 변경, 가상 물체의 이동 및 또 다른 가상 물체의 생성, 또는 임의의 다른 시각화 지표와 같은 앞서 언급된 임의의 지표가 될 수 있다. 예를 들면, 하나의 시각화 지표는, 키가 모바일 폰과 같은 휴대용 가전제품의 가상 키보드 상에서 하는 것과 대체로 동일한 방식으로, 손가락 끝이 위를 맴돌고 있는 키가 실제적으로 더 크게 되어, 가상 키보드로부터 확대될 수 있는 것이 될 수 있다.
직사각형 터치 센서(42) 및 키패드(44)의 형상 및 크기는 거의 동일하기 때문에, 사용자는, 게임 컨트롤러(40)가 터치 센서(42)의 위치에 키패드를 구비하고 있는 것처럼, 게임 컨트롤러(40)를 작동시킬 수 있다. 다시 말해서, 게임 컨트롤러(50) 상의 키패드(44)의 물리적 키는 가상 키로 교체될 수 있고, 따라서 게임 컨트롤러(40)를 키패드가 있는 것처럼 사용할 수 있다. 손가락이 사용자가 가상 환경에서 터치하기를 원하는 가상 키패드 상의 위치 위를 맴돌고 있을 때까지, 사용자는 직사각형 터치 센서(42) 위로 손가락 끝을 이동시킬 수 있다. 이후, 사용자는 손가락을 직사각형 터치 센서(42)와 접촉하도록 아래로 낮출 수 있고, 가상 키패드 상의 대응하는 키가 가상 환경에서 터치되도록 한다.
직사각형 터치 센서(42) 및 키패드(44)의 크기 및 형상을 거의 동일하게 만드는 것은 유용할 수 있지만, 물리적 게임 컨트롤러(40)와의 행동을 가상 환경에서의 행동으로 해석되도록 해석하기 위하여, 이 유사성을 가지는 것이 반드시 필요한 것은 아니다. 이 예는 단지 설명을 위한 것이었고, 앞서 기술한 바와 같이 변형될 수 있다.
가상 현실 환경에서 사용자에게 피드백을 제공하기 위하여 제1 실시예를 사용하는 방법은 다음과 같다. 제1 단계는 사용자에게 시각화 가능한 가상 환경, 물리적 게임 컨트롤러, 및 가상 환경 내에서만 물리적 게임 컨트롤러를 나타내는 가상 물체를 제공하는 것이다.
다음 단계는, 물리적 게임 컨트롤러 상에 적어도 하나의 근접 센서를 배치하는 것으로서, 적어도 하나의 근접 센서는 접촉이 이루어지기 전에 적어도 하나의 근접 센서에 접근하는 물체를 검출할 것이다. 다음 단계는, 물리적 게임 컨트롤러 상의 적어도 하나의 근접 센서에 접근하는 물체를 검출하는 것이고, 이후, 물체가 물리적 게임 컨트롤러에 접근하고 있다는, 가상 환경에서의 시각화 지표를 제공한다. 제1 실시예에서, 시각화 지표는, 물체가 물리적 게임 컨트롤러에 접근하고 있는 가상 물체 그 자체에 제공될 수 있다. 또한, 물리적 게임 컨트롤러로부터 물체의 거리를 나타내는 시각화 지표는 변경될 수 있다.
특징부는 터치에 의해 활성화되고 터치가 중단될 때 비활성화되는 물리적 게임 컨트롤러 상에 배치될 수 있다. 특징부에 근접 센서를 배치함으로써, 따라서 특징부는, 언제 물체가 접근하고 있는지를 결정하여, 가상 환경에서의 일부 시각화 지표에 의해 사용자에게 물체의 거리를 나타낼 수 있다.
특징부는, 버튼, 트리거(trigger), 키보드, 패드, 및 다이얼로부터 선택될 수 있지만 이에 제한되는 것으로 여겨져서는 안 된다. 시각화 지표는, 가장 물체의 조명 표면, 표면 상의 조명 링, 표면 상의 복수의 동심원(concentric) 조명 링으로 구성되는 시각화 지표의 그룹으로부터 선택될 수 있지만 이에 제한되는 것으로 여겨져서는 안 된다.
또한, 물리적 게임 컨트롤로부터 물체의 거리를 나타내기 위하여, 시각화 지표의 조명의 강도를 변경함으로써, 물리적 게임 컨트롤로부터 물체의 거리가 나타내질 수 있다.
비록 단지 몇 개의 예시적 실시예가 앞서 상세하게 기술되었지만, 통상의 기술자는 본 발명에서부터 실질적으로 벗어나지 않고 예시적 실시예에 다수의 변형이 가능하다는 것을 기꺼이 이해할 것이다. 따라서 이러한 모든 변형은 이하의 청구항에서 정의된 바와 같이, 본 명세서의 범위 내에 포함되는 것으로 의도된다. 출원인의 표현 의도는, 청구항에서 관련 기능과 함께 '하기 위한 수단' 단어를 명백하게 사용하는 경우를 제외하고는, 본 명세서에서의 임의의 청구항의 임의의 제한을 위하여 35 U.S.C.§112, 6절을 적용하는 것이 아니다.

Claims (19)

  1. 가상 현실 환경에서 사용자에게 피드백을 제공하기 위한 방법으로서,
    사용자에게 시각화 가능한 가상 환경을 제공하는 단계;
    물리적 게임 컨트롤러를 제공하는 단계;
    가상 환경 내에서만 물리적 게임 컨트롤러를 나타내는 가상 물체를 제공하는 단계;
    물리적 게임 컨트롤러 상에 적어도 하나의 근접 센서를 배치하는 단계로서, 상기 적어도 하나의 근접 센서는 접촉이 이루어지기 전에 적어도 하나의 근접 센서에 접근하는 물체를 검출할 것이고,
    물리적 게임 컨트롤러 상의 적어도 하나의 근접 센서에 접근하는 물체를 검출하는 단계;
    물체가 물리적 게임 컨트롤러에 접근하고 있다는, 가상 환경에서의 시각화 지표를 제공하는 단계; 및
    상기 물리적 게임 컨트롤러로부터 물체의 거리를 나타내기 위하여 시각화 지표를 변경하는 단계를 포함하는, 가상 현실 환경의 피드백 제공 방법.
  2. 청구항 1에 있어서,
    상기 물체가 물리적 게임 컨트롤러에 접근하고 있다는, 가상 물체 상에 시각화 지표를 제공하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  3. 삭제
  4. 청구항 1에 있어서,
    1) 터치에 의해 활성화되고 터치가 중단될 때 비활성화되는 물리적 게임 컨트롤러 상에 제1 특징부를 생성하는 단계; 및
    2) 상기 제1 특징부 상에 적어도 하나의 근접 센서를 배치하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  5. 청구항 4에 있어서,
    버튼, 트리거(trigger), 키보드, 패드, 및 다이얼로 구성되는 복수의 특징부로부터 상기 제1 특징부를 선택하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  6. 청구항 5에 있어서,
    상기 물리적 게임 컨트롤러 상에 복수의 특징부를 제공하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  7. 청구항 1에 있어서,
    조명 표면, 표면 상의 조명 링, 표면 상의 복수의 동심원(concentric) 조명 링으로 구성되는 시각화 지표의 그룹으로부터 상기 시각화 지표를 선택하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  8. 청구항 7에 있어서,
    상기 물리적 게임 컨트롤로부터 물체의 거리를 나타내기 위하여 시각화 지표의 조명의 강도를 변경하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  9. 청구항 7에 있어서,
    상기 물리적 게임 컨트롤로부터 물체의 거리를 나타내기 위하여, 조명되는 동심원 조명 링의 개수를 변경하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  10. 청구항 2에 있어서,
    상기 물리적 게임 컨트롤에 대해 물체에 수직인 가상 물체 상의 위치를 보여주는 시각화 지표를 사용함으로써, 가상 물체에서 물리적 게임 컨트롤러에 접근하고 있는 물체의 위치를 제공하는 단계를 더 포함하는, 가상 현실 환경의 피드백 제공 방법.
  11. 가상 현실 환경에서 사용자에게 피드백을 제공하기 위한 시스템으로서,
    사용자에게 시각화 가능한 가상 환경;
    물리적 게임 컨트롤러;
    가상 환경 내에서만 물리적 게임 컨트롤러를 나타내는 가상 물체;
    물리적 게임 컨트롤러 상에 배치되는 적어도 하나의 근접 센서로서, 접촉이 이루어지기 전에 적어도 하나의 근접 센서에 접근하는 물체를 검출하는 상기 적어도 하나의 근접 센서; 및
    물체가 물리적 게임 컨트롤러에 접근하고 있는 것을 나타내는 가상 환경에서의 시각화 지표를 포함하고,
    상기 시각화 지표는, 상기 물리적 게임 컨트롤러로부터 물체의 거리를 나타내기 위하여 변경되는, 가상 현실 환경의 피드백 제공 시스템.
  12. 청구항 11에 있어서,
    상기 시각화 지표는 상기 가상 물체 상에 배치되는, 가상 현실 환경의 피드백 제공 시스템.
  13. 삭제
  14. 청구항 11에 있어서,
    터치에 의해 활성화되고 터치가 중단될 때 비활성화되는 물리적 게임 컨트롤러 상에 배치되는 제1 특징부를 더 포함하고, 상기 적어도 하나의 근접 센서는 상기 제1 특징부 상에 배치되는, 가상 현실 환경의 피드백 제공 시스템.
  15. 청구항 14에 있어서,
    버튼, 트리거(trigger), 키보드, 패드, 및 다이얼로 구성되는 복수의 특징부로부터 상기 제1 특징부를 선택하는, 가상 현실 환경의 피드백 제공 시스템.
  16. 청구항 15에 있어서,
    상기 물리적 게임 컨트롤러 상에 배치되는 복수의 특징부를 더 포함하는, 가상 현실 환경의 피드백 제공 시스템.
  17. 청구항 11에 있어서,
    조명 표면, 표면 상의 조명 링, 표면 상의 복수의 동심원 조명 링으로 구성되는 시각화 지표의 그룹으로부터 상기 시각화 지표를 선택하는, 가상 현실 환경의 피드백 제공 시스템.
  18. 청구항 17에 있어서,
    상기 시각화 지표는, 상기 물리적 게임 컨트롤로부터 물체의 거리를 나타내기 위하여 조명의 강도를 변경하는, 가상 현실 환경의 피드백 제공 시스템.
  19. 삭제
KR1020187032767A 2016-05-12 2017-05-12 정전식 센싱을 이용한 컨트롤러 예감 KR102086941B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662335557P 2016-05-12 2016-05-12
US62/335,557 2016-05-12
PCT/US2017/032516 WO2017197334A1 (en) 2016-05-12 2017-05-12 Controller premonition using capacitive sensing

Publications (2)

Publication Number Publication Date
KR20180136480A KR20180136480A (ko) 2018-12-24
KR102086941B1 true KR102086941B1 (ko) 2020-03-11

Family

ID=60267857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032767A KR102086941B1 (ko) 2016-05-12 2017-05-12 정전식 센싱을 이용한 컨트롤러 예감

Country Status (5)

Country Link
US (1) US20170329440A1 (ko)
JP (1) JP2019516153A (ko)
KR (1) KR102086941B1 (ko)
CN (1) CN108885501A (ko)
WO (1) WO2017197334A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
US10183217B2 (en) 2017-04-13 2019-01-22 Facebook Technologies, Llc Hand-held controller using segmented capacitive touch trigger
US10537795B2 (en) 2017-04-26 2020-01-21 Facebook Technologies, Llc Hand-held controller using LED tracking ring
WO2019112093A1 (ko) * 2017-12-08 2019-06-13 ㈜리얼감 포스 피드백 콘트롤 장치 및 방법
US10912990B2 (en) 2017-12-29 2021-02-09 Facebook Technologies, Llc Hand-held controller using sensors for hand disambiguation
KR102656447B1 (ko) * 2018-02-27 2024-04-12 삼성전자주식회사 컨트롤러와 접촉된 신체 부위에 따라 그래픽 객체를 다르게 표시하는 방법 및 전자 장치
CN109085922B (zh) * 2018-07-27 2021-02-12 北京航空航天大学 一种多元触觉融合反馈手柄
US11395960B2 (en) * 2018-10-19 2022-07-26 North Carolina State University Temporal axial alignment adapter for VR hand controllers
KR102234776B1 (ko) * 2019-05-08 2021-03-31 한국기술교육대학교 산학협력단 햅틱 휠을 이용한 vr 또는 게임 컨트롤러 및 그 제어 방법, 이를 구비한 vr 시스템
GB2586048A (en) * 2019-07-31 2021-02-03 Sony Interactive Entertainment Inc Control data processing
US11504610B2 (en) * 2020-02-14 2022-11-22 Valve Corporation Dynamically enabling or disabling controls of a controller
CN113407024B (zh) * 2021-05-25 2022-10-11 四川大学 一种庭审虚拟现实环境的证据展示和切换方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20130342460A1 (en) 2012-03-13 2013-12-26 Joshuah Vincent System, method, and graphical user interface for controlling an application on a tablet
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256770B2 (en) * 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
US9289678B2 (en) * 2005-01-12 2016-03-22 Microsoft Technology Licensing, Llc System for associating a wireless device to a console device
JP2007310599A (ja) * 2006-05-17 2007-11-29 Nikon Corp 映像表示装置
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
CN101943946B (zh) * 2010-09-03 2013-10-30 东南大学 基于三维力传感器的二维图像力触觉再现控制方法及系统
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
JP2013058117A (ja) * 2011-09-09 2013-03-28 Alps Electric Co Ltd 入力装置
JP2013061854A (ja) * 2011-09-14 2013-04-04 Alps Electric Co Ltd キーボード装置およびこのキーボード装置を用いた情報処理装置
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
JP6095420B2 (ja) * 2013-03-07 2017-03-15 東京パーツ工業株式会社 情報入力装置
US9227141B2 (en) * 2013-12-31 2016-01-05 Microsoft Technology Licensing, Llc Touch screen game controller
US10627904B2 (en) * 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
DE102014009299A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US20130342460A1 (en) 2012-03-13 2013-12-26 Joshuah Vincent System, method, and graphical user interface for controlling an application on a tablet

Also Published As

Publication number Publication date
JP2019516153A (ja) 2019-06-13
CN108885501A (zh) 2018-11-23
US20170329440A1 (en) 2017-11-16
WO2017197334A1 (en) 2017-11-16
KR20180136480A (ko) 2018-12-24

Similar Documents

Publication Publication Date Title
KR102086941B1 (ko) 정전식 센싱을 이용한 컨트롤러 예감
US10126941B2 (en) Multi-touch text input
CN100350363C (zh) 灵活的计算机输入系统
JP4743268B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR101695174B1 (ko) 전자장치에 수신문자입력을 위한 인체공학적 움직임 감지
US20090205878A1 (en) Touchpad for providing touch stick functionality in a game controller for providing relative and absolute position input
JP7391864B2 (ja) ハンドヘルドコントローラを備えるシステム
JP2009537051A5 (ko)
CN102886140A (zh) 启用触摸的移动设备上的游戏控制器
EP3617834B1 (en) Method for operating handheld device, handheld device and computer-readable recording medium thereof
KR101449948B1 (ko) 프로그램이 가능한 접촉 감지 제어 장치
JP2014164610A (ja) キーボードカバー、キー入力変換方法およびキーレイアウト変換システム
TWI575444B (zh) 指令輸入裝置與指令輸入方法
CN106502563A (zh) 一种游戏控制方法及装置
US10067604B2 (en) Detecting trigger movement without mechanical switches
US10620739B2 (en) Electrotactile feedback in multitouch systems
CN106325726A (zh) 触控互动方法
CN107710134A (zh) 使用多指手势的垂直平分线来控制显示器上多维环境中示出的目标的运动
US20180188923A1 (en) Arbitrary control mapping of input device
US20200356258A1 (en) Multi-Perspective Input For Computing Devices
Heller et al. Transporters: Vision & Touch Transitive Widgets for Capacitive Screens
TWI683237B (zh) 使用仿生韌帶之手勢感應系統
TWI410860B (zh) 具有虛擬鍵盤之觸控裝置及其形成虛擬鍵盤之方法
KR20210091171A (ko) 인체공학적 게임 컨트롤러 및 시스템
JP2018032122A (ja) 表示操作装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant