KR20190009846A - 원격 호버 터치 시스템 및 방법 - Google Patents

원격 호버 터치 시스템 및 방법 Download PDF

Info

Publication number
KR20190009846A
KR20190009846A KR1020197001978A KR20197001978A KR20190009846A KR 20190009846 A KR20190009846 A KR 20190009846A KR 1020197001978 A KR1020197001978 A KR 1020197001978A KR 20197001978 A KR20197001978 A KR 20197001978A KR 20190009846 A KR20190009846 A KR 20190009846A
Authority
KR
South Korea
Prior art keywords
touch
user
hover
finger
touch sensor
Prior art date
Application number
KR1020197001978A
Other languages
English (en)
Other versions
KR102219912B1 (ko
Inventor
아룬 라케쉬 요가난단
스테이시 히비노
창 롱 주진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190009846A publication Critical patent/KR20190009846A/ko
Application granted granted Critical
Publication of KR102219912B1 publication Critical patent/KR102219912B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제어기는 터치 센서 및 근접 센서를 포함한다. 사용자가 상기 터치 센서의 표면을 터치하는 시점 및 위치에 관한 정보가 검출된다. 또한, 사전-터치 이벤트들에 관한 정보가 검출된다. 상기 사전-터치 이벤트는 어떤 최대 깊이 내에서 상기 터치 센서 위에서 호버링하는 사용자 손가락에 상응한다. 디스플레이 장치는 상기 호버 이벤트들 및 상기 터치 이벤트들에 기반하여 시각화들을 생성한다. 이는, 호버 모드에서, 사용자 손가락이 상기 터치 센서를 기준으로 어디에 있는지에 대한 시각적 피드백을 제공하는 단계를 포함한다. 또한, 상기 호버 모드에서, 다양한 형태의 내비게이션 정보 뿐만 아니라 다른 제어 정보도 제공될 수 있다.

Description

원격 호버 터치 시스템 및 방법
본 발명의 실시예는 일반적으로 호버 터치 사용자 인터페이스를 이용하는 것에 관한 것이다.
다양한 형태 및 크기의 다양한 디스플레이들은 이들이 지원하는 사용자 인터페이스 상호작용에 있어서 제한이 있다. 특히, 많은 유형의 직접 터치 상호작용들이 지원되지 않는다. 예를 들면, 텔레비전 모니터들 및 머리 착용형 디스플레이(Head Mounted Display: HMD)들은 직접 터치 상호작용에 적합하지 않다. 여기에는 여러 가지 이유가 있다. 한 가지 이유는 근접성(proximity)이다. 텔레비전들은 전형적으로 사용자로부터 떨어진 편안한 시청 거리에서 시청되며, 사용자는 전형적으로 너무 멀리 떨어져 있어서 직접 터치 상호작용을 할 수 없다. 예를 들면, 거실 환경에 있어서, 텔레비전은 사람들이 앉아 있는 곳으로부터 거실을 가로질러 위치할 수 있으며, 따라서, 사용자가 텔레비전 디스플레이로 걸어가서 화면을 터치한다는 것이 매우 불편할 것이다.
또한, 컴퓨터 모니터들 및 주방 모니터들과 같은, 많은 다른 유형의 디스플레이들은, 직접 터치 상호작용의 장시간 사용 시 불편함과 피로를 유발될 정도로 충분히 먼, 편안한 시청 거리에서 유지된다. 예를 들면, 팔 길이 만큼 떨어져 있는 컴퓨터 모니터는 터치될 수는 있지만, 사용자가 일련의 직접 터치 상호작용들을 수행하기 위해 장시간 동안 팔을 올린 채로 유지하는 것이, 인체 공학적 의미에서, 편안하지는 않을 것이다.
반면에, 일부 머리 착용형 디스플레이(HMD)들은, 이들이 사용자의 얼굴에 너무 가까워서 디스플레이의 표면을 터치 상호작용에 이용할 수 없다는 의미에서, 너무 가깝다. 특히, 종래의 원격 디스플레이 또는 가상 현실(Virtual Reality: VR) 고글들은 다양한 사용자 인터페이스 상호작용들을 지원하지 못 한다. 예를 들면, VR 시스템들에 있어서, 사용자들은 VR 고글을 착용하고 있는 동안 그들의 손(또는 핸드 헬드(hand held) 입력 장치들)을 직접 볼 수가 없다. 이는 사용자가 수행할 수 있는 상호작용의 다양성 및 품질을 심하게 제한한다. 증강 현실(Augmented Reality: AR) 및 혼합 현실(Mixed Reality: MR) 고글들에서 사용자의 손이 보이는 경우에도, 자유로운 손 입력 및 제스처들로 모든 가상 세계 상호작용들을 수행하는 것은 번거롭다. 또한, 영숫자 입력은 자유로운 손 입력으로 수행하기에 특히 어렵다.
직접적인 화면 터치(on-screen touch) 입력에 대한 대안들도 또한 제한이 있다. 예를 들면, 전통적인 리모콘들 및 게임 제어기들은 버튼들, d-패드들, 손잡이들(knobs), 조이스틱들, 및 기타 물리적인 입력 요소들을 가질 수 있다. 채널들의 서핑, 채널 번호의 입력, 조이스틱으로 좌회전 등과 같은 간단한 작업에 대해, 이러한 유형의 리모콘들 및 게임 제어기들은 잘 작동한다. 그러나, 이들은 보다 진보된 사용자 인터페이스 기능들과 관련하여서는 잘 작동하지 못 한다. 이들과 연관된 주요 이슈들 중 하나는 선택들 및 기능들이 증가함에 따라 버튼들의 수가 폭발적으로 증가하므로 번거로워진다는 것이다. 또는, 버튼들에 다수의 기능들이 과하게 부과되어, ctrl+shft 등과 같은 조합들을 기억해야 하는 문제점을 야기한다. 마지막으로, 이들은 전형적으로 직접적인 공간적 입력에는 적합하지 않다.
트랙 패드가 있는 터치 리모콘들이 또 하나의 옵션이지만, 이들은 자체적인 문제점들이 있다. 한 가지 문제점은 터치 표면과 디스플레이의 위치 어긋남(dislocation)이다. 사용자들은 첫 번째 터치를 할 때까지, 그들이 어디를 터치할 것인지 알지 못한다. 리모콘들은 통상 작아서 그 터치 표면들도 작으며, 따라서 직접적인 공간적 선택에 별로 적합하지 않다. 예를 들면, 대부분의 터치 리모콘들은, 좌측으로 이동, 상단으로 이동 등과 같은, 간접적인 공간적 입력만 지원하며, 이는 이들을 D-패드와 동등하게 만든다.
모션 트래킹된 입력(motion tracked input)이 있는 리모콘들은 방향(orientation) 및/또는 위치(position)가 사용자 인터페이스에 대한 입력으로서 사용될 수 있도록 한다. 예를 들면, 3개의 자유도 및 6개의 자유도를 제공하는 리모콘들이 있다. 그러나, 이러한 유형의 리모콘들은 영숫자 및 텍스트 입력에 대해 양호하게 작동하지 못하며 다른 단점들이 있다.
때때로 제2 화면 장치들이 디스플레이를 위한 디지털 리모콘 및 입력 장치로서 사용된다. 이들은 전형적으로 두 가지 방식으로 사용된다. 화면 미러링 장치들은 제2 화면 장치를 이용하여 제2 화면 상에 주 화면을 미러링한다. 때때로 제2 화면 장치는, 주 화면과 상이한, 단순화된 인터페이스를 갖는 단순화된 화면을 사용하여 디지털 리모콘과 유사한 효과를 낸다. 그러나, 제2 화면 장치들은 주의 분산(divided attention)을 초래한다. 사용자의 시간은 대부분 화면들을 앞뒤로 이동하면서 보는 데 소비되므로, 시청 경험(viewing experience)에 영향을 미친다. 또한, 거리적인 차이 등으로 인한 맥락 상실(loss of context) 및 빈번한 눈의 재초점맞춤(refocus)과 같은 다른 주요한 이슈들도 있다.
제어기는 터치 센서 및 근접 센서(proximity sensor)를 포함한다. 사용자가 상기 터치 센서의 표면을 터치하는 시점과 위치에 관한 정보가 검출된다. 또한, 사전-터치(pre-touch) 이벤트들에 관한 정보가 검출된다. 상기 사전-터치 이벤트들은 어떤 최대 깊이 내에서 상기 터치 센서 위에서 호버링하는(hovering) 사용자 손가락에 상응한다. 디스플레이 장치는 상기 호버 이벤트들 및 상기 터치 이벤트들에 기반하여 시각화들을 생성한다. 이는, 호버 모드에서, 사용자 손가락이 상기 터치 센서를 기준으로 어디에 있는지에 대한 시각적 피드백을 제공하는 단계를 포함할 수 있다. 또한, 상기 호버 모드에서, 다양한 형태의 내비게이션(navigation) 정보 뿐만 아니라 다른 제어 정보도 제공될 수 있다.
하나 이상의 실시예들은 호버 터치 사용자 인터페이스를 이용하기 위한 원격 호버 터치 시스템 및 방법을 제공할 수 있다.
도 1은 실시예에 따른, 호버 및 터치 동작들을 결합한 시스템을 도시한다.
도 2는 실시예에 따른, 터치 센서의 터치 및 근접-터치(near-touch) 상호작용들에 기반하여 사용자 인터페이스를 적합화하는(adapting) 방법을 도시한다.
도 3A는 실시예에 따른, 정전용량성 감지판(capacitive sensing plate)을 이용하는 호버 터치 제어기의 실시예를 도시한다.
도 3B는 실시예에 따른, 깊이 카메라(depth camera)를 이용하는 호버 터치 제어기의 실시예를 도시한다.
도 3C는 실시예에 따른, 카메라 및 반사기들(reflectors)을 이용하는 호버 터치 제어기의 실시예를 도시한다.
도 3D는 실시예에 따른, 깊이 카메라를 이용하는 호버 터치 제어기의 실시예를 도시한다.
도 3E는 실시예에 따른, 초음파(ultrasound)를 이용하는 호버 터치 제어기의 실시예를 도시한다.
도 4A 및 도 4B는 실시예에 따른, 머리 착용형 디스플레이에 착탈가능하게 부착된 호버 터치 제어기를 도시한다.
도 5A, 도 5B, 및 도 5C는 실시예에 따른, 6-자유도 트래커(6 degree of freedom tracker)와 호버 터치 제어기가 결합된 하이브리드 장치의 양태들을 도시한다.
도 6A, 도 6B, 및 도 6C는 실시예에 따른, 호버 터치 제어기에 대한 동작의 상태들을 도시한다.
도 7A, 도 7B, 및 도 7C는 실시예에 따른, 커서 모드(cursor mode)의 상호작용 상태들을 도시한다.
도 8A, 도 8B, 도 8C, 및 도 8D는 실시예에 따른, 호버 모드에서 터치 센서 위에서의 손가락 위치들 및 디스플레이 상에서의 커서의 상응하는 위치들을 도시한다.
도 9A, 도 9B, 도 9C, 및 도 9D는 실시예에 따른, 터치 센서에 대한 손가락 위치들, 커서 모드, 및 디스플레이 상에서의 버튼들의 선택을 도시한다.
도 10A, 도 10B, 도 10C, 및 도 10D는 실시예에 따른, 터치 센서에 대한 손가락 위치들 및 스크롤 뷰(scroll view)와의 상호작용들을 도시한다.
도 11은 실시예에 따른, 터치 모드에서 직접적으로 상호작용되기 이전에 호버 모드에서 영향 받는 슬라이더(slider)를 예시하는 일련의 패널들이다.
도 12는 실시예에 따른, 터치 모드에 대한 최근접-스냅(snap-to-nearest) 모드의 표시를 제공하는 호버 모드 최근접-스냅 모드 커서(hover mode snap-to-nearest mode cursor)(상단 패널)를 도시한다.
도 13A, 도 13B, 도 13C, 및 도 13D는 실시예에 따른, 호버 모드에서 숨겨진 UI 요소들을 드러내는 양태들을 도시한다.
도 14A, 도 14B, 및 도 14C는 실시예에 따른, 밀어서-줌(push-to-zoom) 특징을 구현하기 위해 호버 모드를 이용하는 예를 도시한다.
도 15A, 도 15B, 도 15C, 및 도 15D는 실시예에 따른, 미리보기(preview) 특징을 구현하기 위해 호버 모드를 이용하는 것을 도시한다.
도 16A 및 도 16B는 실시예에 따른, 분산 터치(distributed touch) 특징을 도시한다.
도 17A, 도 17B, 및 도 17C는 실시예에 따른, 6-자유도 트래킹 및 호버 터치를 포함하는 하이브리드 장치를 이용한 메뉴 선택을 도시한다.
도 18은 실시예에 따른, 호버 모드가 광선 피킹(ray picking)에 이용되는 예를 도시한다.
도 19는 실시예에 따른, 호버 터치가 헤드업 디스플레이(head up display)에 이용되는 예를 도시한다.
도 20은 실시예에 따른, 호버 터치 제어기가 머리 착용형 디스플레이의 디스플레이와 병치된 실시예를 도시한다.
도 21은 실시예에 따른, 머리 착용형 디스플레이에 착탈가능한 호버 터치 제어기의 예를 도시한다.
도 22A 및 도 22B는 실시예에 따른, 6-자유도 트래커 및 호버 터치를 갖는 하이브리드 장치에 대한 가상 세계에서의 손-공간 상호작용(hand-space interactions)들을 도시한다.
도 23A 및 도 23B는 실시예에 따른, 6-자유도 트래커 및 호버 터치를 갖는 하이브리드 장치에 대한 가상 모바일 터치 디스플레이 및 연관된 상호작용들을 생성하는 양태를 도시한다.
도 24는 실시예에 따른, 하이브리드 장치에 대한 빌보딩(billboarding)의 예를 도시한다.
도 25는 실시예에 따른, 사용자 인터페이스가 6-자유도 손 트래킹(hand tracking)을 나타내고 유동적인(floating) 가상 모바일 장치를 포함하는, 사용자 인터페이스를 도시한다.
도 26은 실시예에 따른, 가상 모바일 장치의 키보드를 이용한 텍스트 입력을 돕기 위해 호버 터치를 이용하는 것을 도시한다.
도 27은 실시예에 따른, 손전등 조명(torch lighting) 동작의 제어를 돕기 위해 호버 터치를 이용하는 것을 도시한다.
도 28은 실시예에 따른, 낚싯대(fishing rod) 동작을 위해 원격 호버 터치를 이용하는 것을 도시한다.
도 29는 실시예에 따른, 가상 모바일 장치 상에 UI 페이지들을 로딩하는 것을 도시한다.
도 30은 실시예에 따른, 가상 모바일 장치의 위젯들(widgets)을 이용한 조정 및 상기 위젯들과의 상호작용을 도시한다.
도 31은 실시예에 따른, 객체 좌표의 조작(manipulation)을 도시한다.
도 32는 실시예에 따른, 스윕(sweep) 동작에 이용되는 하이브리드 제어기를 도시한다.
도 33은 가상 모바일 장치 상에서 단축키(hot key) 동작을 구현하는 것을 도시한다.
일 실시예는: 터치 표면을 갖는 터치 센서; 상기 터치 표면으로부터 최대 깊이 내에서 3차원 위치 정보를 검출하는 근접 센서(proximity sensor); 및 상기 터치 센서 및 상기 근접 센서를 모니터링하고 상기 터치 표면에 대한 상호작용 장치의 위치를 기술하는 3차원 공간 정보를 디스플레이 장치에 전달하도록 구성된 제어기를 포함하는 장치(apparatus)를 제공한다.
다른 실시예는: 터치 센서의 표면으로부터 최대 깊이 범위 내에서 상기 터치 센서의 상기 표면에 대한 사용자 손가락 위치를 기술하는 3차원 위치 정보를 수신하는 단계; 및 적어도 부분적으로 상기 3차원 위치 정보에 기반하여 사용자 인터페이스를 생성하는 단계에 있어서, 상기 사용자 인터페이스를 생성하는 단계는: 사용자가 상기 터치 센서의 상기 표면을 터치할 때 제1 시각적 피드백을 생성하는 단계; 및 상기 터치 센서의 상기 표면으로부터 이격되어 있으나 상기 최대 깊이 범위 내인 영역에 있는 상기 사용자 손가락에 상응하는 사전-터치 이벤트에 대한 제2 시각적 피드백을 생성하는 단계를 포함하는 것인, 방법을 제공한다.
다른 실시예는: 터치 센서의 표면에 대한 사용자 손가락의 위치를 기술하는 3차원 위치 정보를 수신하는 단계에 있어서, 상기 위치는 상기 표면의 평면(plane)을 기준으로 상기 표면으로부터의 최대 임계 깊이 이내에서 결정되는 것인, 단계; 적어도 부분적으로 상기 3차원 위치 정보에 기반하여 사용자 인터페이스를 생성하는 단계; 상기 사용자 손가락이 상기 터치 센서의 상기 표면을 터치하는 것에 응답하여, 터치다운(touchdown)이 발생했음을 결정하고 제1 사용자 인터페이스 상호작용 세트를 생성하는 단계; 및 상기 사용자 손가락이 상기 터치 센서의 상기 표면으로부터 이격되어 있지만 상기 최대 임계 깊이 내에 있는 것에 응답하여, 상기 사용자 손가락이 호버 모드에 상응하게 상기 터치 센서의 상기 표면 위쪽에서(above) 호버링하고 있음을 결정하고 제2 사용자 인터페이스 상호작용 세트를 생성하는 단계를 포함하는, 방법을 제공한다.
하나 이상의 실시예들의 이러한 및 다른 특징들, 양태들, 및 이점들은 하기의 설명, 첨부된 청구범위 및 첨부 도면을 참조하면 이해될 것이다.
도 1은 호버 및 터치 사용자 인터페이스 제어기 동작들을 결합하는 것에 지향점을 둔 시스템(100)의 실시예를 도시한다. 일 실시예에서, 호버 터치 제어기 장치(105)는 터치 센서(110)를 포함하며, 또한 적어도 하나의 프로세서(102) 및 메모리(104)를 포함할 수 있다. 예를 들면, 상기 적어도 하나의 프로세서(102)는 하나 이상의 컴퓨터 프로세서들, 마이크로프로세서들, 또는 마이크로제어기를 포함할 수 있다. 상기 메모리(104)는 프로그램 명령어를 지원하는 데이터 저장 장치를 포함할 수 있다. 상기 적어도 하나의 프로세서(102)는 명령어들에 의해 본 명세서에서 설명하는 하나 이상의 방법들을 수행하기 위한 특수 목적 프로세서로서 기능하도록 구성될 수 있다. 상기 터치 센서는 2차원 표면을 가지며, 상기 터치 센서(110)의 상기 표면과, 스타일러스, 사용자 손가락 등과 같은, 상호작용 장치의 접촉 포인트에 관한 2차원(예를 들면, (x,y)) 정보를 제공할 수 있다. 상기 터치 센서는, 사용자 손가락과 같은 상호작용 장치가 상기 터치 센서의 상기 표면을 터치하는 경우, "터치" 정보("터치 모드")를 제공한다.
일 실시예에서, 근접 센서(proximity sensor)(115)는 3차원 체적 이내에서 상기 터치 센서(110)로부터 상기 사용자 손가락(또는 다른 상호작용 장치)의 위치(예를 들면, 상기 사용자 손가락이 상기 터치 센서(110)의 상기 표면 위쪽에서 호버링하는 위치)를 감지한다. 상기 근접 센서는 상기 사용자 손가락이 상기 3차원 체적 이내에서 상기 터치 센서 주위를 호버링하는 시점(when) 및 위치(where)에 관한 정보를 제공한다. 이 정보는 "사전-터치(pre-touch)" 또는 "호버" 또는 "호버 모드"로서 기술될 수 있다.예를 들면, 상기 사용자 손가락은 상기 터치 센서의 상기 표면을 터치하기 이전에 상기 터치 센서의 상기 표면 위쪽에서 호버링할 수 있다.
상기 호버 터치 제어기 장치(105)는 사용자가 디스플레이 장치에 대한 입력들을 기입하기 위한 입력 장치이다. 상기 호버 터치 제어기 장치가 원격 디스플레이 장치를 제어하는 데 이용되는 실시예들에서, 상기 호버 터치 제어기는 "리모콘(remote)"으로 칭해질 수도 있다.
호버 터치 제어기(120)는 상기 터치 표면을 기준으로 한 사용자 손가락의 위치에 관한 정보를 생성하기 위해 상기 터치 센서(110)와 상기 근접 센서(115)의 동작을 조정한다(coordinate). 이 정보는 상기 사용자 손가락이 상기 터치 센서(110)의 상기 표면을 터치했음을 나타내는 정보 및, (x,y) 정보와 같이, 상기 터치 센서(110)의 상기 2차원 표면을 기준으로 한 위치; 및 상기 터치 센서(110)의 상기 표면 위쪽에서의 상기 사용자 손가락의 거리, 거리 범위, 또는 상대적인 거리에 관한 정보(예를 들면, 상기 터치 센서의 상기 표면 위쪽에서의 위치를 기술하는 (x, y, z) 정보, 이는 또한 "호버" 또는 "호버 모드"로서 기술될 수 있음)를 포함할 수 있다. 따라서, "터치" 상호작용들 및 "호버" 상호작용들을 기술하는 정보가 생성된다.
이 정보는 통신 인터페이스(125)를 통해 디스플레이 장치(135)로 전달된다. 상기 디스플레이 장치(135)는 디스플레이(140), 호버 터치 제어기 장치와 통신하기 위한 통신 인터페이스(145), 호버 터치 사용자 인터페이스(150), 프로세서(142), 및 메모리(144)를 포함한다.
상기 디스플레이 장치(135)는, 텔레비전 또는 컴퓨터 디스플레이와 같은, 원격 디스플레이로서 구현될 수 있다. 그러나, 하기에 보다 상세히 설명하는 바와 같이, 일부 실시예들에서, 상기 디스플레이는, VR 고글과 같은, 헤드셋 디스플레이 장치의 일부로서 구현될 수 있다. 또한, 하기에 설명하는 바와 같이, 일부 실시예들에서, 상기 호버 터치 제어기 장치(105)는 헤드셋 디스플레이 장치에 부착되는 유닛으로서 구현될 수 있다. 또한, 일부 실시예들에서, 상기 호버 터치 제어기 장치(105)는, 6-자유도 트래커와 같은, 다른 트래킹 장치와 결합하여 이용될 수 있다.
도 2는 실시예에 따른, 일반적 방법을 설명하기 위한 순서도이다. 호버 터치 UI(150)는, 상기 호버 터치 제어기 장치(105)로부터 수신된 정보에 기반하여, 상기 디스플레이(140)에 제시되는 사용자 인터페이스들을 생성한다. 일 실시예에서, 상기 호버 터치 UI(150)는, 상기 호버 터치 제어기 장치(105)로부터 수신된 정보에 기반하여, 블록(205)에서 사용자 손가락이 상기 터치 센서(110)의 표면 위에서 호버링하지만 그 표면을 터치하지는 않는 시점을 결정한다. 제1 사용자 인터페이스(User Interface: UI) 특징 세트가, 블록(210)에서, 위치(상기 터치 센서(110)의 상기 표면 위쪽에서의 상기 사용자 손가락의 거리, 거리 범위, 또는 상대적 거리를 포함함)에 기반하여 호버 모드에서 생성된다.
상기 호버 터치 UI(150)는, 블록(215)에서, 상기 사용자 손가락이 상기 터치 센서(110)의 상기 표면을 터치하는 시점을 결정한다. 상기 호버 모드에서의 상기 제1 UI 특징 세트의 변형된 또는 상이한 버전인, 제2 UI 특징 세트가, 블록(220)에서, 터치 모드에서 생성된다.
일 실시예에서, 상기 제1 특징 세트(상기 호버 모드에서)는 사전-터치 이벤트를 나타내는 시각화를 제공한다. 예시적인 예로서, 상기 사용자가 상기 터치 다운 모드에서 특징들을 선택하는 것을 돕기 위해, UI 내비게이션 시각화들이 상기 호버 모드에서 생성될 수 있다. 이는 터치 이벤트들 뿐만 아니라 사전-터치 상호작용들에 대한 시각적 피드백을 가능하게 한다. 하기에 보다 상세히 설명하는 바와 같이, 다양한 실시예들은, 상기 사용자 손가락이 상기 표면 위에서 호버링하는(그러나 그 표면을 터치하지는 않는) 경우, 상기 사용자가 사용자 인터페이스를 탐색하고(navigate) 상기 표면의 올바른 부분을 터치하도록 돕는, 사용자 인터페이스 특징들을 생성하는 단계를 포함한다. 예들에는 혼잡(clutter)을 줄이기 위해 호버 모드 상호작용에서 드러나는 숨겨진 사용자 인터페이스 요소들, 상호작용의 정확성을 높이기 위해 호버 모드에서 상기 사용자 인터페이스를 스케일링 하는 것, 상기 호버 모드에서 상기 UI의 스케일링, 및 미디어를 미리보기 위해 호버의 거리에 기반하여 연관된 윈도우를 스케일링하는 것이 포함된다. 다른 예들에는 다중-터치 입력 상호작용을 에뮬레이션하기 위해 터치 모드와 결합하여 호버 모드를 이용하는 것이 포함된다.
일 실시예에서, 호버 모드는 상기 터치 센서(110)의 상기 표면 위쪽이지만 상기 표면으로부터 선택된(최대) 거리 내인 거리들의 범위를 포함한다. 즉, 상기 호버 모드는 최대 호버 깊이 내에서 상기 표면 위를 호버링하는 사용자 손가락에 상응한다. 그러나, 이 호버 깊이 내에서 보다 작은 거리들이 또한 결정될 수도 있다. 일 실시예에서, 이는 어떤 최대 깊이 내에서 정규화된 값(예를 들면, Z/깊이)으로서 표현되며, 상기 정규화된 값은 사용자 인터페이스 제어 및 상호작용에 이용된다. 그러나, 상기 호버 깊이를 연속적인 정규화된 값으로서 나타낼 수 있지만, 상기 호버 깊이는 다른 포맷들로 나타낼 수 있다는 것도 또한 이해할 수 있을 것이다.
상기 호버 터치 제어기 장치(105)는 많은 상이한 방식으로 구현될 수 있다는 것을 이해할 수 있을 것이다. 특히, 상기 터치 센서(110) 및 상기 근접 센서(115)를 구현하기 위한 상이한 기법들이 이용될 수 있다. 여러 가지 변형들이 도 3A 내지 도 3E에 도시되어 있다.
도 3A는 호버 터치 제어기 장치(105-A)의 실시예를 도시한다. 일 실시예에서, 상기 호버 터치 제어기 장치(105-A)는 투영식(projected) 정전용량성 센서인 직사각형 판 또는 표면을 포함한다. 인간의 손/손가락의 존재로 인해 교란 시 측정될 수 있는, 정전기 장이 상기 판 주위에 생성된다. 상기 판 위에서의 호버링에 대한 측정치들 대 상기 판을 터치할 때의 측정치들을 구별하기 위해 캘리브레이션(calibration)이 수행될 수 있다. 호버 및 터치 둘 다에 대해 상기 판 내에서의 상호작용 포인트들의 2차원 (x, y) 좌표가 추정될 수 있다. 또한, 상기 판 위쪽에서의 상호작용 포인트의 높이도 또한 추정될 수 있으므로, 상기 판 위쪽에서의 완전한 3D 상호작용/트래킹이라는 결과는 가져온다. 일 실시예에서, 상기 판에 부착된 마이크로제어기는 신호들을 판독하고 처리하여, 블루투스/WIFI와 같은, 무선 모듈을 통해 무선으로 그 결과들을 전송한다.
도 3B는, 제어기가 저항성 또는 정전용량성 터치 표면을 포함하고 (x, y) 터치 위치들이 그 표면을 따라 측정되도록 제한되는, 호버 터치 제어기 장치(105-B)의 다른 실시예를 도시한다. 사용자 손가락의 z-값들을 측정하기 위해 추가적인 측정 유닛이 제공된다. 일 실시예에서, 깊이 카메라(depth camera)가 상기 판의 일단에 제공되어, 상기 판 바로 위쪽의 3D 체적에서 손가락을 트래킹할 수 있도록 한다. 상기 정전용량성 터치 표면 및 상기 깊이 카메라 둘 모두, 진정한 3D 트래킹을 제공하기 위해 데이터를 모으는, 마이크로제어기/컴퓨팅 시스템에 연결된다. 3D 좌표 및 터치 정보는 다음에 무선 모듈을 통해 중계된다.
다른 실시예(미도시)에서, 정전용량성/저항성 터치 표면 없이 깊이 카메라 또는 깊이 카메라 세트를 이용하여 동등한 인터페이스가 달성될 수 있다. 예를 들면, 상기 판 상에 장착된 캘리브레이션된 깊이 카메라는 터치와 호버를 구별하도록 튜닝될 수 있다.
도 3C는 호버 터치 제어기 장치의 주위에 이격된 카메라 세트를 포함하는 호버 터치 제어기 장치(105-C)의 실시예를 도시한다. 일 실시예에서, 각 코너에 또는 각 에지의 중심에 하나의 카메라가 있다. 카메라들이 제어기의 표면 위쪽에 도시되어 있지만, 보다 일반적으로 카메라는 상기 표면과 동일 평면(또는 거의 동일 평면)에 있도록 내장될 수도 있다. 각각의 카메라는 넓은 화각(Field of View: FoV)을 갖는다. 일 실시예에서, 컴퓨팅 장치(미도시)는 다음에 모든 카메라들로부터 이미지들을 종합하고 컴퓨터 비전을 이용하여 실행 시에 상호작용하는 손가락/손의 3D 모델을 생성한다. 대안적으로, 기계 학습 알고리즘이 상기 표면 위쪽의 x, y, z 위치를 추정하는 데 이용될 수 있다. 상기 정보는 다음에 무선 모듈을 통해 상기 디스플레이로 중계된다.
도 3D는, 깊이 카메라가 투명한 저항성 또는 정전용량성 터치 표면 아래에 배치된, 호버 터치 제어기 장치(105-D)의 실시예를 도시한다. 카메라로부터의 정보는 상기 터치 표면 위쪽의 3D 체적을 트래킹하도록 캘리브레이션된다. 상기 3D 체적 및 상기 터치 표면에서의 호버에 관한 정보는 함께 결합되어 무선 디스플레이를 통해 원격 디스플레이로 중계된다.
도 3E는 초음파 센서들을 이용하는 호버 터치 제어기 장치(105-E)의 실시예를 도시한다. 복수의 초음파 센서들은 표면과 동일 평면에 있도록 내장된다. 상기 복수의 초음파 센서들은 모두 마이크로제어기에 연결되고 이들의 신호들은 3D 트래킹 체적을 제공하기 위해 처리된다. 손가락이 터치 존에 있거나 또는 투명한 터치 요소가 상기 표면에 달라붙는 시점을 검출하도록 캘리브레이션함으로써 터치 추정이 수행된다.
일부 실시예들에서, 상기 호버 터치 제어기 장치(105)는 머리 착용형 디스플레이에 연결되거나, 부착되거나, 또는 이와 달리 머리 착용형 디스플레이와 결합하여 동작할 수 있다는 것도 또한 이해할 것이다. 도 4A는 호버 터치 장치 제어기(405) 가 HMD(435)의 전면(front face)과 병치되는 실시예를 도시한다. 일 실시예에서, 상기 입력 표면은 그 자체의 무선 모듈들 및 처리 유닛들을 포함하여, 필요한 경우 상기 입력 표면이 상기 HMD로부터 분리되어 손 레벨(hand level)에서 사용될 수 있도록 한다(도 4B). 일 실시예에서, 상기 호버 터치 제어기는 시-스루(see-through) HMD들과 함께 사용될 수 있도록 투명하다.
또한, 일부 실시예들에서, 상기 호버 터치 제어기 장치(105)는 6 자유도(6 degree of freedom: 6 DOF) 제어기에 의해 제공되는 정보와 같은, 다른 트래킹 정보와 결합하여 이용될 수 있다. 도 5A는 6 자유도(6 DOF) 원격 호버 터치 제어기 장치의 실시예를 도시한다. 6 DOF 장치들은 절대 위치 (X, Y, Z) 및 방향 (피치(pitch), 요(yaw), 롤(roll))을 트래킹한다. 일 실시예에서, 호버 터치 제어기 장치(505)(도 5B)는 6 DOF 트래커(508)(도 5A)와 결합되어 개별적인 이들 각각보다 더 강력한 하이브리드 장치(도 5C)를 생성한다. 상기 호버 터치 제어기 장치는 상기 6 DOF 트래커에 영구적으로 부착될 수 있다. 대안적으로, 상기 호버 터치 제어기 장치는 상기 6 DOF 트래커에 착탈가능하게 부착될 수 있다. 6 DOF 트래커가 예로서 제공되었지만, 보다 일반적으로 호버 터치 제어기는 다른 트래킹 장치들과 결합될 수 있다.
일 실시예에서, 트래킹 및 상호작용 상태 세트가 호버 터치 제어기 장치의 트래킹 및 터치 데이터에 대해 정의된다. 도 6A, 도 6B, 도 6C를 참조하면, 일 실시예에서, 상기 장치에 대한 상호작용 공간은 두 개의 존들로 범주화될 수 있다. 호버 존(hover zone)(점선으로 표시됨)은 상기 호버 터치 제어기 장치의 상기 표면 바로 위쪽의 체적(volume)이다. 도 6A는 상기 호버 존 외부에 있는 사용자 손가락을 도시하며, 이는 아무런 호버도 없고(Z 데이터 없음), 터치도 없고, 출력도 없는 상태에 상응한다. 도 6B는 상기 호버 존 내에 있는 사용자 손가락을 도시한다. 상기 호버 존의 영역에서는 완전한 3D 트래킹이 이용가능하며, 손가락 끝은 3D 좌표 (X, Y, Z)로 트래킹되고 표현될 수 있다. Z 값은 상호작용 포인트/손가락의 깊이이며, 상기 상호작용 포인트/손가락이 상기 표면에 얼마나 가까운지를 추정하는 데 이용될 수 있다. 도 6C는 상기 표면을 터치하도록 내려진 손가락(Z=0)을 도시하며, 이는 상기 제어기 장치의 상기 표면 상의 영역 상에 있는 터치 존에 상응한다. Z는 상기 표면에서 0으로 간주되므로, 여기서는 오직 2D 트래킹만이 (X, Y)로 제공된다. 대안적으로, 3D 트래킹 좌표가 (X, Y, 0)으로서 제공될 수 있다.
생성되는 상기 사용자 인터페이스들은 상기 상호작용 상태들에 기반할 수 있다. 도 7A, 도 7B, 및 도 7C는 상호작용 존들 중 손가락이 어디에 존재하는지 여부에 기반하여 3개의 별개의 상호작용 상태들이 있는 예에 상응한다. 각 도면의 우측은 호버 깊이(점선) 및 터치 표면을 기준으로 한 손가락 위치를 보여준다. 각 도면의 좌측은 사용자 인터페이스의 양태들을 도시한다. 이는 다음과 같은 상태 및 사용자 인터페이스 세트로 이어진다:
아웃(OUT)(도 7A) 터치 존 내에도 없고 호버 존 내에도 없는 경우. 손가락은 완전히 트래킹 공간 외부에 있으므로 아무런 트래킹도 발생하지 않는다. 따라서, 상기 사용자 인터페이스는, 예를 들면, 개방 원(open circle)일 수 있는, 디폴트 상태에 있다.
호버(HOVER)(도 7B) 손가락이 상기 호버 존 내에 있는 경우. 이 예에서, 호버 존 사용자 인터페이스가 생성된다. 예시의 목적으로, 일 예에서, 사용자 손가락이 상기 표면에 접근함에 따라 반경이 더 커지도록, Z 깊이 값에 기반한 반경을 갖는 영역에 있을 수 있다.
터치(TOUCH)(도 7C) 손가락이 상기 제어기의 상기 표면을 터치하고 있는 경우, 즉, 상기 터치 존 내에 있는 경우. 이 예에서, 상기 영역은 그 전체 치수(full dimension)로 확장되어 있다.
일 실시예에서, 도 7A, 도 7B, 및 도 7C는, 커서의 크기가 사용자 손가락이 상기 호버 존에 진입하여 상기 터치 표면을 터치하는 때에 최대 크기로 확장되는, 커서 사용자 인터페이스의 양태들을 도시한다. 이는 사용자가 상태를 이해하고 상기 사용자 인터페이스를 탐색하는 데 도움이 된다. 도 7B는 상기 커서의 호버 모드에 상응하고, 도 7C는 상기 커서의 터치 모드에 상응한다.
일 실시예에서, 상기 원격 호버 터치 커서 모드(remote hover touch cursor mode)는 원격 디스플레이 상에 트래킹 정보의 시각적 표현을 제공하도록 설계되어, 사용자들이 그들의 상태를 이해하고 이에 상응하여 탐색할 수 있다. 마우스 커서 또는 트랙패드의 커서와 유사한, 이 커서는 상기 제어기 장치에 대한 손의 (x, y) 이동을 보여준다. 예를 들면, 상기 사용자 손가락이 상기 터치 센서의 상기 표면에 대하여 (x, y) 좌표로 (0.2, 0.6)에 있는 경우, 상기 원격 디스플레이 상에서 상기 호버 터치 커서의 표시는 상응하는 위치에 놓일 것이다. 이는 사용자에게, 상기 터치 센서의 상기 표면을 터치함이 없이 그의 손가락의 이동을 트래킹하는 방식으로, 상기 호버 터치 커서가 상기 디스플레이 위에서 이동하는 것을 보는 경험을 제공한다.
또한, 일 실시예에서, 상기 원격 장치 상에서의 상기 사용자 인터페이스의 변형(transformation)이 상기 Z 값 및 상기 상태에 기반하여 생성된다. 일 실시예에서, 다음의 상태들이 지원된다:
아웃(OUT): 아웃 존(out zone)에 있는 경우, 상기 커서는 트래킹을 중지하고 마지막 유효한 트래킹된 위치에 머무른다. 일 실시예에서, 상기 커서 사용자 인터페이스는 사용자에게 이에 대한 시각적 피드백을 제공하는 시각적 표시 상태로 진입한다. 예를 들면, 상기 커서 사용자 인터페이스는, 도 7A에 도시한 바와 같이, 백색으로 또는 맑은 상태(clear)로 될 수 있다. 그러나, 백색 또는 맑은 표시 대신 다른 시각적 표시자들이 사용될 수 있다는 것을 이해할 것이다.
호버(HOVER): 호버 상태인 경우, 상기 커서의 시각적 표시가 변화된다. 예를 들면, 내부 원 영역이 채색되거나 음영처리될 수 있으며 상기 Z 값에 의존하는 직경을 가질 수 있다(도 7B). 예를 들면, 상기 원의 반경은 상기 표면에 대한 손가락의 근접(손가락의 Z 값)에 직접적으로 상응할 수 있다. 따라서, 손가락이 상기 터치 표면에 가까워지는 경우, 상기 원은 더 커진다. 손가락이 더 멀어지는 경우, 상기 원은 더 작아진다. 이는 사용자에게 직관적인 피드백을 제공한다. 손가락이 터치 상태에 가까워질수록, 상기 원은 외부 원을 거의 채울 정도로 커진다. 터치 시에(도 7C), 현저한 상태 변화가 발생했음을 상기 사용자에게 표시하는 데 도움이 되도록, 상기 전체 원은 또한 음영처리(shading), 색상, 또는 다른 속성들에 있어서 변화가 있을 수 있다(도 7C에서는 음영처리에 의해 도시되어 있음).
도 8A, 도 8B, 도 8C, 및 도 8D는 사용자 손가락 위치(호버 모드에서) 및 상기 디스플레이 장치의 상기 커서의 상응하는 사용자 인터페이스 표현을 도시한다. 예를 들면, 도 8A는 상기 제어기 장치의 상단 좌측에 있는 상기 사용자 손가락(하단 좌측 예시) 및 상기 디스플레이 상에서 상응하는 위치에 표시된 상기 커서를 도시한다. 하단 우측 예시는 상기 사용자 손가락이 호버 모드에 있는 것을 보여준다. 도 8B는, 호버 모드에서, 상기 제어기에 대한 상기 터치 표면의 상단 우측에 있는 상기 사용자 손가락 및 상기 디스플레이의 상단 우측에 있는 상기 커서 표시를 도시한다. 도 8C는, 호버 모드에서, 상기 제어기의 상기 터치 센서의 하단 좌측에 있는 상기 사용자 손가락 및 상기 디스플레이의 하단 좌측에 표시된 상기 커서를 도시한다. 도 8D는, 호버 모드에서, 상기 제어기의 상기 터치 센서의 하단 우측에 있는 상기 사용자 손가락 및 상기 디스플레이의 하단 우측에 표시된 상기 커서를 도시한다.
도 7A, 도 7B, 도 7C, 도 8A, 도 8B, 도 8C, 및 도 8D에 도시한 바와 같이, 상기 디스플레이 장치 상에서의 상기 커서 이동 및 변형은 상기 제어 표면에 대한 손가락의 상호작용 상태에 관한 포괄적인 정보를 제공한다. 다시 말하면, 상기 호버 모드는, 사용자들이 터치하기 전에 터치하려고 하는 UI 객체가 어떤 것인지 볼 수 있게 해주는, 시각화를 생성하는 데 이용될 수 있다. 이는 사용자들이 상기 제어기 장치 또는 그들의 손을 내려다 볼 필요 없이 단지 상기 원격 디스플레이를 보는 것만으로 효율적으로 작업할 수 있도록 해 준다.
상기 호버 터치 커서는 보다 큰 사용자 인터페이스 스킴(scheme)의 일부로서 사용될 수 있다. 예를 들면, 일 실시예에서, 상기 호버 터치 커서 및 트래킹은 원격 디스플레이 상에서의 직접적인 공간적 입력(direct spatial input)의 등가물을 제공하는 데 이용되며, 여기서 직접적인 공간적 입력이란 사용자들이 그들의 손가락이 호버링하고 있는 위치 및 그들이 막 터치하려고 하는 시점 및 위치의 표시로부터 시각적 피드백을 얻는다는 것을 의미한다. 본질적으로, 이는 원격 디스플레이 상에서의 직접적인 공간적 입력과 동등하다. 특히, 상기 호버 모드에 대한 시각적 피드백은 다중-터치로 모바일 장치와 직접 상호작용하는 것처럼 상호작용을 쉽게 만들어 준다.
도 9A, 도 9B, 도 9C, 및 도 9D는 사용자 인터페이스를 제공하는 데 호버 터치를 이용하는 예를 도시한다. 도 9A에서, 상기 사용자 손가락 위치는 상기 제어기의 상단 좌측 맨 끝(far top left)에 있으며, 결과적으로 상기 커서는 상기 디스플레이의 상단 좌측 맨 끝에 있게 된다. 도 9B는 상기 사용자 손가락이 약간 우측으로 이동되어, 결과적으로 상기 커서가 버튼 A와 중첩되는 것을 보여준다. 일 실시예에서, 상기 사용자가 버튼 A 위에서 호버링함에 따라, 상기 버튼(버튼 A)은 상향 스케일링된다(scale up). 이는 상기 사용자로 하여금 그가 어떤 버튼 바로 위에 있는지를 알게 해주기 때문에 매우 도움이 되는 특징이다. 상기 사용자는 만약 그가 터치를 할 경우 어떤 버튼이 활성화될 것인지를 즉시 알게 된다. 상기 버튼의 증가된 크기는 또한 의도된 버튼 이내에 터치타운이 이루어질 가능성이 높아짐을 의미하며, 따라서 타이핑 오류를 감소시킨다. 또한, 상기 커서가 손가락 좌표를 정확히 따르지 않고 가장 가까운 사용자 인터페이스 요소의 중심으로 스냅되도록 인공 지능이 이용될 수 있다. 이는 타이핑의 속도를 높일 수 있다. 스케일링에 부가하여 또는 스케일링에 대한 대안으로서, 도 9B는 또한, 색상 또는 음영처리(대각선 해치 라인들로 예시됨)를 포함하는 하이라이트와 같이, 스케일과 관련되지 않은 버튼의 변화를 도시한다.
도 9C 및 도 9D는 사용자가 사용자 인터페이스 요소를 터치하는 다른 예를 도시한다. 도 9C는 사용자가 버튼 D 위에서 호버링하는 경우를 도시한다. 따라서, 버튼 D는 스케일 및/또는 색상 또는 음영처리에 있어서 변화될 수 있다. 도 9D는, 터치를 나타내기 위해 상기 커서가 변화하는, 터치다운을 도시한다. 또한, 터치다운이 발생하는 경우, 상기 버튼의 시각적 효과는 터치 동작이 발생했음을 표시하도록 변화될 수 있다(예를 들면, 색상 또는 음영처리의 변화). 일 실시예에서, 터치다운이 발생하는 경우, 상기 버튼의 시각적 효과는 상기 커서가 보이지 않는 상태에서 변화될 수 있다.
도 10A, 도 10B, 도 10C, 및 도 10D는 실시예에 따른, 상호작용의 다른 예를 도시한다. 원격 호버 터치로 스크롤뷰(scrollview)가 구현된다. 즉, 버튼 요소들의 시퀀스가 롤링/언롤링될 수 있는 스크롤과 유사한 시퀀스로 배열된다. 이 예에서, 상기 버튼 요소들은 정돈된 순서를 가지며(예를 들면, A, B, C, D, E...), 상기 디스플레이는 스크롤의 일부를 보여준다. 사용자가 상기 스크롤뷰 위에서 호버링하기 시작함에 따라(도 10A는 스크롤 버튼들 G, H, I, J, K, L을 예시하고 있음) 호버링되는 요소(버튼 G)는 터치가 발생할 경우 어떤 것이 포착될 것인지를 표시하기 위해 색상이 변화된다. 터치다운 시(도 10B), 상기 요소는 접촉을 표시하는 색상으로 변화된다. 이제 상기 사용자는, 상기 뷰를 스크롤하여 좌측에 더 많은 요소들이 드러나도록 하기 위해, 상기 터치 포인트를 우측으로 드래그할 수 있다(도 10C). 해제(release) 시(도 10D), 상호작용된 요소는 그 색상을 재설정한다(reset). 일 실시예에서, 선택은 드래그 없이 요소에 대한 터치 및 해제이다.
일 실시예에서, 호버 모드 정보는 UI 요소(예를 들면, UI 위젯)와 상호작용하려는 사용자의 의도를 예측하고 상기 UI 위젯과 상호작용하기 위한 상대적인 이동 정보를 생성하는 데 이용된다. 도 11은 사용자가 슬라이더를 움직이기 위해 상기 슬라이더의 볼을 정확히 터치할 필요가 없는 슬라이더의 예를 도시한다. 상기 커서가 UI 요소의 경계에 진입하는 경우, 이어지는 모든 상호작용들은 각각의 UI 요소를 제어하는 것이라고 가정한다. 상단 패널에서, 상기 커서는 상기 UI 요소의 상기 경계 외부에서 호버링하고 있다. 상단으로부터 두 번째 패널에서, 상기 커서는 호버 모드에서 상기 UI 요소 경계 내로 이동되었다. 이 시점부터, 상기 커서가 상기 UI 요소 경계 이내에 머무르는 한, 상기 경계 내 어디서든 모든 호버 및 터치 상호작용들은 상기 슬라이더로 재-지향된다(redirected). 중간 패널에서, 터치 모드에서, 상기 커서 및 상기 슬라이더는 둘 모두 외관이 변화된다. 하단 패널에서 두 번째 패널은 상기 커서의 이동(터치 모드에서) 및 상응하는 슬라이더 이동을 도시한다. 하단 패널은, 상기 커서가 UI 요소의 경계를 벗어난, 아웃 상태로의 전환을 도시한다. 따라서, 상기 커서와의 상호작용들은 더 이상 상기 UI 요소로 재-지향되지 않는다.
상대적인 이동을 발생시키는 데 호버 모드 정보를 이용하는 것은 여러 가지 이점들을 제공한다. 예를 들면, UI 위젯이 오직 미리 결정된 제한된 범위의 상호작용들만을 갖는다고 가정한다. 사용자가 상기 위젯 상의 임의의 포인트를 터치다운하는 경우, 상기 터치다운 포인트로부터의 상대적인 이동들은 위젯 영역 내의 UI 요소로 매핑될 수 있다. 상기 사용자는 더 이상 상기 슬라이더의 상기 볼을 정확히 터치할 필요가 없으므로, 사용자의 상호작용들은 이제 더 간편해지고, 오류 발생이 덜해지고, 더 빨라질 수 있다.
도 12는 최근접-스냅 동작 모드(snap-to-nearest mode of operation)를 지원하는 실시예를 도시한다. 상기 호버 모드 정보는 상호작용 가능한 가장 가까운 사용자 인터페이스 특징(예를 들면, 위젯 또는 버튼)을 계산하고 이 계산에 기초하여 2차 커서(secondary cursor)의 시각화를 생성하여 상기 커서의 복사본을 상기 특징의 중심으로 스냅하는 데 이용될 수 있다. 상기 사용자가 키보드 위에서 호버링함에 따라(상단 패널), 2차적 커서는 가장 가까운 버튼으로 스냅된다. 상기 사용자가 계속해서 그의 손가락을 움직임에 따라, 상기 스냅된 2차적 커서는 상응하는 가장 가까운 위젯으로 계속해서 점프한다. 상기 사용자가 터치다운하는 경우(하단 패널), 상기 2차적 커서도 또한 터치다운되어 상기 2차적 커서가 스냅된 위젯을 활성화시킨다. 즉, 상기 호버 모드 최근접-스냅 모드는 상기 사용자에게 터치다운 모드에서 어떤 위젯에 스냅될 것인지를 보여준다. 상기 최근접-스냅 인터페이스는 타이핑/입력에서의 오류 감소, 더 빠른 타이핑/입력, 및 동일한 레이아웃에 더 많은 위젯들의 배치를 가능하게 한다.
일 실시예에서, 원격 호버 터치는 UI 요소들을 숨겼다가 호버 시에 그들을 드러냄으로써 혼잡을 줄일 수 있다. 즉, 상기 호버 모드는 추가적인 UI 요소들을 드러내는 데 이용될 수 있다. 도 13A, 도 13B, 도 13C, 및 도 13D는 실시예에 따른, 예시적 상호작용을 도시한다. 도 13A는 사용자가 좌측 원 외부에서 호버링하는 경우를 도시한다. 상기 사용자가 상기 좌측 원 위에서 호버링하는 경우(도 13B), 상기 사용자 인터페이스는 상기 원이 그 자식들(children) 모두를 드러내도록 변화된다. 상기 사용자가 상기 부모 원(parent circle)을 터치다운하고 관심 있는 자식 요소(child element)로 슬라이드하는 경우(도 13C), 다른 형제 메뉴들은 사라진다(도 13D). 해제 시, 상기 자식 메뉴가 선택된다. 이러한 계층적 선택은 한 번의 터치 + 슬라이드 동작으로 달성된다. 계층적 선택의 측면에서, 전통적인 인터페이스에서는 이와 달리 여러 추가적인 단계들을 취해야 유사한 최종 결과가 얻어진다. 동일한 기법이 메뉴의 다중-계층적 선택(부모-자식-손자-증손자 등)으로 확장될 수 있다.
일 실시예에서, 상기 호버 모드는 밀어서 줌(push to zoom) 인터페이스를 구현하는 데 이용될 수 있다. 도 14A, 도 14B, 및 도 14C는 실시예에 따른, 밀어서 줌 인터페이스의 예를 도시한다. 사용자가 요소 B2 위에서 호버링하면(도 14A), 상기 요소 B2는 호버를 나타내기 위해 하이라이트된다(또는 표시 속성이 달리 변화된다). 도 14B에 도시한 바와 같이, 상기 사용자는 다음에 깊이 쪽으로 밀고 들어가, 상기 표면에 더욱 가까워진다. 손가락이 상기 표면에 가까워짐에 따라, 페이지는 상기 커서의 중심에 대해 줌하기 시작한다 (화면 좌표에서 상기 원의 중심의 상대적인 위치는 동일하게 유지된다). 또한, 도 14B에 도시한 바와 같이, 상기 커서도 또한 상기 사용자 손가락이 상기 표면에 더 가깝게 이동하고 있음을 나타내도록 변화될 수 있다. 상기 사용자가 상기 깊이의 100%를 통과하여 밀고 들어간 경우(도 14C), 상기 페이지는 줌-인되어 그 원래의 크기보다 훨씬 커져(예를 들면, 몇 배), 상기 커서의 중심에 대해 스케일링된다. 이 예에서 상기 커서는 이제 상기 터치 모드에서도 표시된다. 상기 사용자는 이제 쉽게 상기 UI 요소를 터치할 수 있다. 일 실시예에서, 상기 손가락의 깊이는 상기 커서의 중심에 대한 줌 백분율이다. 상기 사용자가 50% 줌에서 좌우로 움직이기 시작하면, 상기 동작은 줌된 이미지를 좌우로 패닝(panning)하는 것과 유사하게 된다.
일 실시예에서, 상기 호버 모드는 미리보기(preview) 모드를 구현하는 데 이용될 수 있다. 도 15A, 도 15B, 도 15C, 및 도 15D는 실시예에 따른, 미리보기 모드를 도시한다. 도 15A에서, 사용자는 초기에 메뉴 아이템 세트 위에서 호버링한다. 상기 사용자가 메뉴 아이템 C 위에서 호버링하고(도 15B) 깊이를 따라 더 가깝게 밀고 들어가기 시작함에(도 15C) 따라, 상기 아이템 C에 상응하는 비디오/윈도우는 나오기 (peak out) 시작한다. 손가락이 상기 아이템 C를 터치하는 시점에(도 15D), 상기 비디오/윈도우는 전체 화면으로 커져서 이전의 윈도우를 대체한다. 대안적으로, 상기 사용자가 C를 터치하기 전에 백트래킹하거나 또는 멀리 이동하는 경우, 상기 비디오/윈도우의 스케일링도 사라진다. 이는 사용자들이 채널로 전환하기 전에 상기 채널을 미리 볼 수 있도록 한다.
일 실시예에서, 상기 호버 모드는 자식 메뉴(child menu)들을 드러내는 데 이용된다. 도 16A는, 사용자 손가락이 부모 메뉴(parent menu) 아이템 C 위에서 호버링함에 따라(상단으로부터 두 번째 패널) 상응하는 자식 메뉴(C1, C2, C3, C4)가 드러난다는 점에서, "분산 터치(distributed touch)"라고 불릴 수 있는 것을 도시한다. 유사하게, 상기 손가락이 아이템 D 위에서 호버링함에 따라(상단으로부터 세 번째 패널), D에 대한 자식 메뉴(아이템들 D1, D2, D3, D4)가 표시된다. 상기 손가락이 부모 메뉴 D에 터치다운되는 경우, 아이템들 D1 내지 D4를 갖는 자식 메뉴에서 제2 커서가 개시된다. 도 16B는 D의 자식 메뉴에 대한 상기 제2 커서를 도시한다. 상기 손가락이 터치다운된 채로, 상기 사용자가 상기 손가락을 움직이는 경우, 상기 주 커서(primary cursor)는 고정된 상태로 유지되는 반면에, 상기 2차 커서(아이템들 D1, D2, D3, D4)는 상기 움직임을 반영하기 시작한다. 상기 손가락이 D4로 슬라이드되어 해제되는 경우, D4에 상응하는 콘텐트가 선택된다(하단 패널).
일 실시예에서, 부모 메뉴 아이템의 화면 위치의 비율(ratio)은 초기에 상기 2차 커서를 위치시키는 데 이용된다. 도 16A 및 도 16B의 예에서, 상기 아이템 D는 상기 부모 메뉴의 좌측 끝으로부터 대략 40%였다. 그러므로, 상기 2차 커서도 또한 자식 메뉴의 시작점으로부터 대략 40%에서 시작된다. 상기 비율을 유지함으로써 슬라이드 및 선택을 위한 충분한 여유가 확보될 수 있다. 그러나, 보다 일반적으로 다른 비율들이 사용될 수 있다.
자식 메뉴들을 드러내는 데 호버 모드를 이용하는 예로서, 상기 2차 커서가 항상 자식 메뉴의 중심에 위치되었다고 가정한다. 이 상황에서, 선택된 주 메뉴 아이템이 화면에서 가장 좌측에 있다면, 사용자는 자식 메뉴에서 좌측에 메뉴 아이템들을 가지지만, 좌측으로 슬라이드할 여유는 없게 되는데, 왜냐하면 이들이 터치 영역 밖으로 나갈 것이기 때문이다. 따라서, 상기 화면 위치의 비율을 적용하는 것은 만족스러운 사용자 경험을 달성하기 위한 설계 고려사항이다.
일 실시예에서, 호버 모드를 이용하여 자식 메뉴들을 드러내는 것은 3개의 단계만으로 선택이 이루어진다:
1) 부모 메뉴에서 메뉴 아이템을 터치다운하는 단계;
2) 자식 메뉴에서 원하는 아이템 상으로 2차 커서를 슬라이드하는 단계; 및
3) 해제하여 선택하는 단계.
반면에, 종래의 부모 메뉴 및 자식 메뉴 상황에서는(예를 들면, 종래의 터치 스크린 디스플레이를 이용하는 경우), 사용자는 부모 메뉴로부터 옵션을 선택하여 자식 메뉴를 드러낸다. 다음에, 상기 사용자는 그의 손가락을 자식 메뉴로 이동시킨 다음 거기서 아이템을 선택해야 할 것이다. 이는 본질적으로 5개의 단계이다:
1) 부모 메뉴에서 메뉴 아이템을 터치다운하는 단계;
2) 터치를 해제하는 단계;
3) 손가락을 자식 메뉴로 이동시키는 단계;
4) 자식 메뉴를 터치다운하는 단계; 및
5) 터치를 해제하는 단계.
"분산 터치"의 원리가 2차원 메뉴 세트로 더 확장될 수 있다는 것을 이해할 수 있을 것이다. 예를 들면, 2차원 메뉴 세트는 디스플레이 주변부에 배열되거나 아니면 상기 디스플레이 위에 2차원 패턴으로 배열될 수 있다.
상술한 바와 같이, 일 실시예에서, 하이브리드 장치는 6 DOF와 호버 터치 제어기를 결합한다. 하이브리드 6 DOF 호버 터치 제어기는, 사용자 인터페이스 요소들을 보고, 식별하고, 터치하는 측면에서, 새로운 상호작용 기회를 제공한다. 특히, 하이브리드 6 DOF 호버 터치 제어기는, 사용자 인터페이스 요소들의 크기가 손가락 반경보다 더 작은 경우 정상적으로 상호작용하기 어려운 사용자 인터페이스 요소들과 상호작용하는 경우(뚱뚱한 손가락 문제)와 같이, 사용자가 종래의 6 DOF 제어기에서는 동작시킬 수 없는 상호작용들을 가능하게 한다. 예를 들면, 상기 6 DOF 제어기는 호버 터치 부분의 Z-깊이 정보와 결합된 절대적 방향(absolute orientation) 정보를 제공하는 데 이용될 수 있다. 대안적으로, 상기 6 DOF 제어기로부터의 상대적 방향 정보가 상기 호버 터치 부분의 Z-깊이 정보와 결합될 수 있다.
도 17A, 도 17B, 및 도 17C는 6 DOF와 호버 터치 제어기를 결합한 하이브리드 장치의 예시적인 사용 사례를 도시한다. 사용자는 6 DOF 원격 호버 터치 장치를 그의 손에 가지고 있다. 상기 사용자가 그의 손을 회전시킴에 따라, 상기 하이브리드 장치의 방향이 변한다. 도 17A에서, 상기 사용자는 상기 장치의 좌측 하단을 아래로 내린 채로 시작한다. 이에 상응하여, 좌측 하단의 존이 하이라이트된다. 도 17B에 도시한 바와 같이, 상기 사용자가 상기 장치를 중앙 쪽으로 회전시킴에 따라, 중앙 상단 존이 하이라이트된다. 도 17C에 도시한 바와 같이, 이제, 상기 하이브리드 장치가 여전히 중앙 쪽으로 회전된 상태로, 상기 사용자는 상호작용하는 손가락을 호버 존으로 가져온다. 이 예에서, 상기 손가락이 상기 호버 존으로 진입하는 경우, 화면에서 하이라이트된 영역은 그 크기의 두 배로 줌되어 화면을 채운다. 이 예는 상기 6 DOF에 의해 관심 영역의 조대 선택(coarse selection)이 수행되고 상기 호버 터치 인터페이스를 통해 미세 선택(fine-grained selection)이 수행되는 방법을 도시한다. 일 실시예에서, 선택 존의 종횡비(aspect ratio)는, 호버 터치 시의 X-Y 상호작용들과 디스플레이 상의 줌된 인터페이스에서의 X-Y 상호작용들 간의 1:1 매핑을 제공하는, 리모콘의 종횡비와 매칭되도록 설계될 수 있다.
일 실시예에서, 6 DOF와 호버 터치 제어기를 결합한 하이브리드 장치는, 사용자들이 3D 상호작용과 2D 화면-공간 상호작용 사이를 전환하는, 머리 착용형 디스플레이들에서 응용된다. 예시적인 응용들에는 가상 현실(Virtual Reality: VR), 증강 현실(Augmented Reality: AR) 및 혼합 현실(Mixed Reality: MR) 환경들에서의 이용이 포함된다. 용어 "가상 세계(Virtual World: VW)"는 VR, AR 및 MR이 총괄적으로 포괄하는 영역을 기술하는 데 사용될 수 있다.
VR 머리 착용형 디스플레이를 착용하는 것의 문제점들 중 하나는 사용자가 실제 세계를 볼 수 없게 된다는 것이다. 이는 사용자가 물리적 입력 장치 제어기들 상의 숫자들을 직접 읽을 수 없다는 것을 의미한다. 결과적으로, 이는 사용자가 VR 머리 착용형 디스플레이를 착용하고 있는 동안에는 터치 스크린이 있는 종래의 물리적 리모콘 또는 모바일 전화를 이용하여 직접 입력하는 것을 불가능하게 만든다. 이 문제에 대한 종래의 해결책들은 불만족스럽다. 한 가지 접근법은 입력을 위한 가상 손을 만드는 것이다. 일부 VR HMD들은 이들 앞에 있는 손을 트래킹하기 위해 내장된 깊이 카메라들을 가지며, 상기 깊이 카메라들은 가상 세계에서 보통 가상 손으로서 표현되고 자유로운 손 입력을 가능하게 한다. AR 및 MR에 있어서, 사용자들은 HMD를 통해 그들의 손을 볼 수 있으며, 그들의 손은 상기 HMD 상에 있고 자유로운 손 제스처 입력을 할 수 있게 하는 카메라로 트래킹될 수 있다. 자유로운 손 입력이 일부 제스처 상호작용들을 가능하게 하더라도, 영숫자 및 텍스트 데이터와 같은 복잡한 입력에 대해서는 충분하지 않다. 또한, 항상 손을 들고 있어야 하는(사용자의 FOV 내에 있어야 하는) 요건은 번거롭고 불편하다. AR 및 MR HMD들은, 이들의 시-스루 성질로 인해, 다중-터치 화면을 내려다 볼 수 있게 하고 따라서 다중-터치 장치들을 사용할 수 있게 한다. 그러나, 이는 사용자가 증강/혼합 세계와 다중-터치 스크린을 번갈아 응시해야 하므로 사용자의 주의가 분산되는 문제를 야기하며, 결과적으로 재초점맞춤으로 인한 피로 뿐만 아니라 열악한 경험을 초래한다.
일 실시예에서, 원격 호버 터치 변형을 갖는 하이브리드 6 DOF는 VW에서의 상호작용들을 향상시키는 데 이용될 수 있다. VW에서의 상호작용들은 4개의 영역들로 범주화될 수 있다:
a) 화면 관련(Screen relative): 단지 디스플레이의 화면 공간 좌표 내에서의 동작(working). 이는 본질적으로 3D 객체들을 선택하기 위한 2D 상호작용이다;
b) 세계 관련(World relative): 세계 좌표에서의 동작. 예를 들면, 유동적인(floating) 3D 객체를 잡기 위해 손을 뻗는 것;
c) 객체 관련(Object relative): 객체 좌표에서의 동작. 예를 들면, 3D 객체에 부착된 UI 패널; 및
d) 손 관련(Hand relative): 손 좌표 내에서의 동작. 예를 들면, 손에 부착되어 손으로 탐색하는 방사형 메뉴들.
일 실시예에서, 호버 터치 제어기 및 이것의 6 DOF 변형은 상술한 4 가지의 상호작용 범주들(또는 이들의 서브세트들) 모두를 다룰 수 있다. 화면 관련 상호작용들에 대해서 말하면, 화면 공간 상호작용들은 원격 호버 터치 상호작용들을 VW 뷰포트(VW viewport)의 화면 좌표로 매핑한다.
도 18은 3D 객체들이 광선 피킹(ray picking) 프로세스에 의해 상호작용되는 실시예의 예를 도시한다. 원격 호버 터치 입력은 2D 화면 좌표 (X, Y)로 매핑된다. 3D 광선(ray)은 다음에, 상기 화면의 표면에 수직 방향으로, 이 포인트로부터 장면(scene)으로 투사된다(cast). 다음에, 상기 광선과 교차하는 제1 객체가 선택에 이용된다. 도 18(상단 패널)에 도시한 바와 같이, 원격 호버 터치 커서는 공중에 떠 있는 3D 메뉴 요소들 위에서 호버링하고, 그 밑의 객체들은 하이라이트된다(상단에서 두 번째 패널). 손가락이 입력 장치의 표면을 터치하는 경우, 상기 커서는 터치 모드로 전환된다. 선택되는 3D 객체(하단에서 두 번째 패널에서 아이템 G)도 또한 선택을 하이라이트하도록 적어도 하나의 속성(예를 들면, 색상)이 변화된다. 해제 시, 아이템 G에 연결된 필요한 동작(action)이 호출된다(하단 패널에서 장면 G). 유사한 기법(미도시)이 가상 환경에서 3D 객체들을 이동시키는 데 이용될 수 있다. 예를 들면, 호버에 있어서, 커서는 객체 상에 놓일 수 있고, 다음에 터치 모드에서, 상기 커서를 이동시켜 상기 객체를 이동시킨다.
일 실시예에서, 원격 호버 터치는, 메뉴 아이템들이 화면 공간에 고정된 상태에서, 헤드업 디스플레이들(Head Up Displays: HUDs)과 상호작용하는 데 이용될 수 있다. 도 19는 버튼들의 집합(예를 들면, 1, 2, 3, 4, 5, 6, 7, 8)이 화면의 우측에 고정된 예시적 시나리오를 도시한다. 일 실시예에서, 원격 호버 터치는 호버 모드에서 원하는 버튼 위에서 호버링한(상단 세 개의 패널들) 다음 터치다운하여 원하는 버튼을 선택하는 데(하단에서 두 번째 패널) 이용되며, 상기 버튼은 결국 해제 시 동작을 수행할 수 있다(예를 들면, 하단 패널에서 장면 변경).
도 20은, 호버 터치 제어기가 머리 착용형 디스플레이에 통합되고, 상기 디스플레이와 병치되며 그 치수가 매칭되는, 실시예를 도시한다. 상단 패널(우측)은 나무 및 개와 같은, 장면이 있는 디스플레이를 도시한다. 이 설정에서, 중간 패널은 사용자가 그의 얼굴 앞에서 그의 손가락을 호버링하는 것(그가 거의 자신의 눈을 터치할 것 같은 경우 취하게 될 자세와 유사함)을 도시한다. 호버 터치 커서는, 상기 손가락이 가리키는, 디스플레이에서의 동일한 위치에 나타난다. 상기 손가락이 상기 디스플레이의 수직축을 따라 더 가깝게 또는 더 멀리 이동함에 따라, 이전 실시예들에서 언급한 바와 같이, 상기 커서는 상응하여 상기 손가락의 깊이 표현을 업데이트 한다. 상기 사용자가 상기 HMD의 전면(front surface)을 터치하는 경우(하단 패널), 이전 실시예들과 유사한 화면 공간 선택이 발생한다. 입력 및 디스플레이 공간의 병치(collocation)의 일 양태는, 입력이 디스플레이와 병치되는 경우, 다음과 같은 이유들로 인해 인지 부하(cognitive load)가 현저히 감소된다는 것이다:
a) 시각적 피드백이 입력/터치가 발생하는 정확히 동일한 물리적 위치에 있으므로, 마우스와 같은 비-병치된 입력들의 경우처럼 아무런 정신적 번역(mental translation)도 필요가 없다;
b) 입력 시스템이 디스플레이와 정확히 동일한 치수(dimension)이며, 이는 도달/운행(reach/traversal) 측면에서 과부하의 감소를 의미한다; 그리고,
c) 디스플레이에 대한 종횡비가 입력 표면의 종횡비와 동일하고, 상이한 축을 따라 상이하게 스케일링되지 않는다(직사각형 디스플레이에 대해 정사각형 절대 터치 표면을 사용하는 것을 상상해 보라).
또한, 입력 및 디스플레이 공간의 병치는 사용자의 고유수용감각(sense of proprioception)을 이용한다. 인간은 눈을 감고도 그의 신체의 상이한 부분들을 공간적으로 위치를 찾는 감각을 가지고 있다. 신체 공간 공간적 직감(body space spatial intuition)의 이러한 양태는 사용자들이 훨씬 더 빠른 속도로 이러한 상호작용을 수행할 수 있게 한다. 둘째, 사용자는 그의 손에 아무것도 들고 있지 않으므로, 이 실시예는 상호작용들 사이에 손을 자유롭게 두어 손이 쉴 수 있게 하거나 또는 다른 현실 세계 객체들을 잡고 상호작용할 수 있게 한다는 추가적인 이점을 갖는다. 마지막으로, 이 실시예는 입력 장치를 잃어버리고 다시 그것을 찾으려 노력할(이는 사용자가 현실 세계를 보지 못하게 되는 VR 시나리오에서 상당히 어려울 수 있음) 필요가 없다는 작은 이점을 제공한다.
원격 호버 터치가 되는 머리 착용형 디스플레이는 VR 시스템에서 구현될 수 있다. 그러나, 보다 일반적으로, 상기 원격 호버 장치는, 디스플레이를 통과하여 현실 세계를 볼 필요가 있는 AR/MR HMD들의 이용을 위해 맑거나(clear) 투명할 수 있다.
도 21은, 호버 터치 제어기가 HMD에 착탈가능하게 만들어져, 상기 호버 터치 제어기를 병치된 입력 장치로서 이용하거나 아니면 분리하여 사용자가 편안하게 손에 들고 상호작용하는 것을 선택하는 옵션을 제공하는, 실시예를 도시한다. 상단 패널은 부착된 상태의 원격 호버 터치 입력 장치를 도시한다. 상기 원격 호버 터치 장치의 크기가 여전히 디스플레이의 크기와 1:1로 매칭된 상태이므로, 병치의 이점이 상실되어 고유수용감각(입력 장치 공간 내에서의 상대적 위치)에 의해 약간 대체된다 하더라도, 스케일 및 종횡비와 관련된 인지적 이점(cognitive benefits)의 대부분은 유지된다. 이러한 적합화(adaptation)는, 자신의 손가락으로 자신의 시야를 가리는 것이 바람직하지 않은 일정 시나리오들에서, AR/MR용 시-스루 HMD들에 있어서의 이전 실시예에 대한 대안이다. 하단의 두 개의 패널들은 HMD로부터 분리된 호버 터치 제어기를 보여준다.
도 22A 및 도 22B는 호버 터치와 6 DOF 트래킹의 결합에 대한 VW에서의 손 공간 상호작용들의 실시예를 도시한다. 일 실시예에서, 6 DOF 입력 장치가 트래킹되는 경우, 그것은, 손의 위치와 방향을 보여주는, 막대기(wand)(스틱(stick))가 달린 구와 같은, 3D 커서를 통해 3D 환경에서 표현될 수 있다. 상기 스틱의 방향은 사용자가 VW에서 상기 입력 장치를 들고 있는 방향이다. 일 실시예에서, 이 정보는 상기 3D 환경 내에 가상 모바일 터치 디스플레이의 등가물을 배치하는 데 이용된다. 이는 도 22A에 도시되어 있다. 호버 터치 상호작용들은 이 가상 모바일 터치 디스플레이 상의 GUI로 매핑된다. 이 가상 모바일 터치 디스플레이는 상기 6 DOF 트래킹과 정렬되도록 위치 및 방향이 설정될 수 있다. 이는, 본질적으로, 사용자가 현실 세계에서 모바일 전화를 탐색하는 방식과 유사하게, 가상 환경에서 탐색 및 회전될 수 있는 가상 모바일 장치/터치 패널의 등가물을 제공한다. 도 22B에 도시한 바와 같이, 동일한 사항이 양 손으로 확장될 수 있다.
상기 가상 모바일 터치 디스플레이는, 대체적으로 말하자면, VW에서의 GUI이다. 그러나, 상기 가상 모바일 터치 디스플레이는, 가상 키보드, 가상 버튼 등과 같이, 실제 모바일 장치들의 하나 이상의 UI들의 가상 표현들을 가질 수 있다. 즉, 실제 모바일 장치의 모든 특징들의 완전한 가상 표현이 필요한 것은 아니다.
도 23A는 가상 모바일 터치 디스플레이(좌측) 및, 하이브리드 6 DOF 원격 호버 터치에 대한, 상응하는 사용자의 손의 이동 및 회전을 도시한다. 커서(예를 들면, 사용자의 손의 이동 및 회전에 기반한 방향을 나타내는, 구 및 막대기)가, 상이한 손의 이동들/회전들의 세트에 대해, 도시되어 있다. 상기 가상 모바일 터치 디스플레이가 표시되어 있다. 도 23B는, 사용자 손가락이 호버 터치 존에 진입하는 경우(상단에서 두 번째 및 세 번째 패널), 호버 터치 커서의 등가물이 이 가상 모바일 터치 디스플레이 상에 나타난다. 도 23B에 도시한 바와 같이, 상기 사용자는, 현실 세계에서의 모바일 장치에서처럼, 그의 손가락을 원하는 메뉴 아이템으로 이동시키고 터치다운하여 선택할 수 있다(하단 패널). 이는, 다이얼, 스와이프, 물리(physics), 및 탭과 같은, 모바일 장치 상에서의 친숙한 상호작용들을 VW 환경에 도입할 수 있도록 한다.
일부 상황들에서, 사용자는 앞에 있는 특정 영역에 그의 주의를 집중하기 원할 수 있으며 상기 가상 모바일 터치 디스플레이 장치를 내려다 볼 필요가 없을 수 있다. 또한, 상기 6 DOF 트래커가 이상한 각도로 되어 있어, 이에 부착된 상기 가상 모바일 터치 장치를 보기 어렵게 만들 수 있다. 상기 가상 모바일 장치는 순전히 그래픽적 시뮬레이션이므로, 상기 가상 모바일 장치는 항상 사용자를 향하도록 설정될 수 있다 - 컴퓨터 그래픽에서 통상 빌보딩(billboarding)으로 칭해지는 행동. 이러한 빌보드들의 높이도 또한 사용자의 눈의 레벨과 동일하게 설정될 수 있다. 동일한 예가 도 24에 도시되어 있다. 이 실시예의 변형에서, 사용자는 이 가상 모바일 장치로부터 3D 커서를 일시적으로 분리하여(하단 패널) 사용자의 관점에 대해 일정한 위치 및 방향으로 유지할 수 있다.
도 25는 실시예에 따른 예시적 구현을 도시한다. 6 DOF 손 트래킹은 유동적인(floating) 3D 커서(2502)(볼 및 막대기로 도시됨)로 표현될 수 있다. 상기 커서 위에, 그래픽 사용자 인터페이스(예를 들면, 적색, 녹색, 청색, 백색 요소들)를 표시하고 있는 유동적인 가상 모바일 터치 디스플레이 장치(floating virtual mobile touch device)가 있다. 원("적색"으로 라벨링된 요소 상에 있는 원)은, 사용자가 그의 손가락을 호버 터치 표면에서 이동시킴에 따라 이동되는, 호버 터치 커서이다. 상기 사용자는 호버링하여 특정 그래픽 사용자 인터페이스 요소를 겨냥한 다음 터치다운하여 그것을 선택할 수 있다.
도 26은, 실시예에 따른, 가상 모바일 터치 디스플레이 장치 내의 키보드의 예시적 구현을 도시한다. 도 26은, 원격 호버 터치를 이용하여, 사용자가 호버링하여 상기 가상 모바일 장치의 상기 키보드를 사용하여 텍스트 박스(2604)에 텍스트를 타이핑할 수 있다는 것을 도시한다. 일 실시예에서, 원격 호버 터치 커서가 현재 호버링하고 있는 키(2602)는, 음영 또는 색상과 같은, 속성을 변경하여 반응한다. 또한, 상기 원격 호버 커서가 상기 키 상에 있는 경우 상기 키의 크기가 커질 수 있다. 이는 타이핑 경험을 향상시키고, 손가락을 내려서 터치한다면 어떤 키가 선택될지에 관한 중요한 피드백을 제공할 뿐만 아니라, 그래픽 사용자 인터페이스 요소들의 크기, 시점(view point)으로부터의 거리, 목표를 터치하는 정확도 등과 관련된 이슈들을 해결하는 데 도움이 된다. 실제로, 이것은 순전히 그래픽적 시뮬레이션이므로, 다시 이러한 영숫자 입력 동작들에 대한 시각적 피드백이 또한 VW 환경 내에서 반복될 수 있고, 따라서 상기 사용자는 계속 내려다 볼 필요가 없다.
6 DOF 트래킹과 호버 터치 제어기의 결합에 기인하는 많은 새로운 이점들이 있다. 이는, 손전등(torchlight)과 같이, 다양한 VW 기법들에 대한 추가적 제어를 제공하는 능력을 포함한다. 손전등은 장면에서 3D 객체들을 선택하기 위해 VW에서 통상적으로 이용되는 기법이다. 무한 원뿔(infinite cone)이 6 DOF 트래킹된 손에 부착된다. 사용자가 그의 손을 움직임에 따라, 상기 원뿔은 상이한 객체들 상에 위치된다. 상기 사용자는 다음에 버튼을 눌러 이 원뿔 내에 있는 객체들을 선택할 수 있다.
병치된 가상 모바일 터치 디스플레이 장치를 이용하여, 상기 사용자는 이 원뿔의 애퍼처(aperture)를 조정하여 더 크게 또는 더 작게 만들고 관심있는 3D 객체에 딱 맞도록 미세 조정할 수 있으며, 상기 환경에서 나머지 객체들을 회피할 수 있다. 이것의 예가, 6 DOF 하이브리드 제어기에서 원격 호버 터치를 이용하여 상기 원뿔 애퍼처를 조정하기 위해, 원격 호버 터치 제어기를 이용하여, 가상 장치 상의 버튼을 누르는 것이 이용되는 예를 도시하는, 도 27에 나타나 있다. 상기 모바일 장치(및 원뿔)의 방향은 상기 6 DOF에 기반한다. 상기 원뿔의 폭은 원격 호버 터치를 이용하여 선택될 수 있다.
VW 환경에 있어서 어려운 과제 중 대부분은 3D 공간 내에서 객체들의 위치 및 방향을 설정하는 것이다. 멀리 서서 조작된 3D 객체의 6 개의 자유도(X, Y, Z, 피치(Pitch), 요(Yaw), 롤(Roll))를 동시에 제어하는 것은 항상 어려운 과제였다. 하이브리드 장치에서 6 DOF와 원격 호버 터치의 결합은 추가적인 제어를 제공한다. 도 28은 낚싯대(fishing rod)기법으로 알려진 기법을 도시한다. 객체를 선택(상술한 손전등 기법 아니면 다른 기법들을 통해)한 후, 사용자는 3D 객체를 반경 방향으로 움직이기 위해 그의 손을 회전시키기 시작할 수 있다. 즉, 상기 객체와 트래킹된 손 사이의 거리 D1은 상기 사용자가 회전함에 따라 유지된다. 상기 사용자는 상기 가상 모바일 장치 상의 다이얼을 동시적으로 터치 및 변경하여, 상기 객체를 더 가깝게(도시한 바와 같이 거리 D2가 되도록) 릴링(reeling)할 수 있다. 이로써 가상 공간 내에서 3D 객체의 X, Y, Z 및 피치, 요, 롤을 동시에 조작할 수 있다.
도 29는 실시예에 따른, 6 DOF 및 호버 터치 제어기를 갖는 하이브리드 장치의 능력의 또 다른 예를 도시한다. 객체를 선택(상술한 손전등 기법 아니면 다른 기법들을 통해)한 후, 상기 가상 모바일 장치는 해당 객체에 상응하는 UI 페이지들에 대한 앱(app)과 동등함)을 즉시 로딩할 수 있다. 상기 사용자는 이제 이 요소들에서 위젯들을 조작하는 데 호버-터치 제어기를 이용할 수 있다.
도 29의 실시예에 도시한 바와 같이, 자동차 모델과 연관된 UI 페이지들은 상기 가상 모바일 장치에 로딩된다. 먼저, 자동차의 평면도(top view)가 도시되어 있다. 사용자는 스와이프하여, 정면도(front view)인, 다음 페이지가 드러나도록 한다. 사용자는 다음에 다시 스와이프하여, 측면도(side view)인, 다음 페이지가 드러나도록 한다. 사용자는 다음에 하단에 있는 다이얼을 회전시키기 시작하고, 이는 결국 상기 자동차 모델을 회전시킨다. 이와 유사한 방식으로, 위치, 방향, 색상, 스케일, 질감 등과 같은 많은 특성들을 상기 가상 모바일 장치를 이용하여 멀리에서 조작할 수 있다.
도 30은, 실시예에 따른, 가상 모바일 터치 디스플레이 장치의 상황적 성질(contextual nature)을 예시하는 예시적 구현을 도시한다. 사용자가 6 DOF 커서를 이용하여 광선을 투사하고 가상 세계 내의 객체들을 선택함에 따라(선택된 객체 밑에 정사각형으로 표시됨), 상기 가상 모바일 터치 디스플레이 장치 내의 그래픽 사용자 인터페이스는 상기 선택된 객체와 관련된 위젯들을 갖는 인터페이스로 전환된다. 상기 그래픽 사용자 인터페이스는 HMD에서 또는 HMD와 결합된 컴퓨터에서 작동하는 호버 터치 UI에 의해 생성될 수 있다. 사용자는 다음에, 6 DOF를 갖는 호버 터치 제어기 장치 상에서, 호버 터치를 이용하여, 상기 가상 모바일 장치 내의 이러한 메뉴 아이템들을 선택하여 이러한 객체들의 특성이 변경되도록 한다. 예를 들면, 상단 우측의 이미지는, 정육면체(cube) 선택 시, x, y, z 등을 따르는 스케일링과 관련된 메뉴들이 나타나는 것을 보여준다. 사용자는 호버 터치를 이용하여 x 스케일과 연관된 메뉴를 선택하여 상기 정육면체를 길게 늘일 수 있다.
도 31은 실시예에 따른, 객체 좌표에서 조작하는 상황을 예시한다. 3D 환경에서 가상 선택 평면이 설정된다. 이는, 6 DOF 트래킹을 이용하여, 가상 평면을 드래그하여 제 위치에 배치함으로써 수행될 수 있다. 대안적으로, 가상 평면이 3D 객체의 면(이 경우 원통형(cylinder)의 기저(base))에 정렬되도록 상기 가상 평면을 자동으로 정렬함으로써, 동일한 작업이 수행될 수 있다. 이미지 평면은 원격 호버 터치로부터 상호작용들을 1:1로 매핑한다. 사용자가 호버 존에 접근하여 진입하는 경우, 원격 호버 터치 커서가 이 가상 선택 평면에 나타난다. 상기 사용자는 다음에, 관심 있는 객체, 이 경우에는 정사각형 객체와 정렬될 때까지, 이리저리 움직일 수 있다. 다음에, 상기 사용자는 상기 객체를 터치다운하여 상기 가상 평면에서 원하는 위치로 드래그할 수 있다. 이 기법의 장점은 단순한 2D 인터페이스로 3D 조작을 수행한다는 것이다.
이제 여러 가지 고급 이용 사례들에 상응하는 실시예들을 설명할 것이다. 가상 모바일 터치 장치의 개념을 구현하도록 6 DOF 트래킹과 호버 터치를 결합한 하이브리드 장치는 공간적 상호작용에 있어서 많은 가능성을 열어 준다. 상기 제공된 예들은 대부분 주어진 시점에 이 결합의 양태들의 서브세트만을 이용한다. 이 결합의 진정한 힘은, 이전에는 수행할 수 없었거나 아니면 상호작용 시간을 증가시키고 직관성을 감소시키는 현저히 많은 수의 단계들을 필요로 하는, 동작들을 수행하기 위해 이러한 양태들 중 많은 것들이 동시에 이용되는 경우에 있다.
VR, AR, 및 MR의 가장 큰 유망성들 중 하나는 실감 모델링(immersive modeling)의 가능성이다. 지금까지 수십년 동안, 사람들은 제품, 건물 등의 3D 모델을 구축하기 위해 키보드와 마우스를 가지고 데스크탑 컴퓨터 앞에 앉아 있었다. 사용자가 2D 인터페이스(모니터)를 통해 3D 세계를 구축하는 경우, 이러한 접근법에는 현저한 인지 불일치(cognitive mismatch)가 있다. 실감 기술(immersive technologies) 및 3D 입력을 통해, 사용자들은 이제 보다 직관적이고 현실 세계에서 사람들이 실제 3D 객체들로 작업하는 방식과 일치하는 그들의 손으로 완전한 모델을 3D로 구축할 수 있다. 실감 모델링에 있어서 어려움 중 하나는 정보 및 제어의 제시이다. 윈도우 아이콘 메뉴 포인터(Windows Icons Menus Pointers: WIMP) 및 키보드에서의 단축키들은 사용자들에게 2D 메타포(metaphor)에서 많은 제어를 제공했다. 실감 모델링에 따르면, WIMP 또는 키보드가 없으므로, 제어에 대한 어려움을 초래한다. 상기 가상 모바일 터치 장치와 동반되는 6 DOF 호버 터치는 이러한 많은 어려움을 해결하는 데 도움이 된다.
호버 터치 제어기가 있는 하이브리드 6 DOF 장치를 이용하는 한 가지 응용은 스위핑(sweeping)이다. 스위핑은, 복잡한 3D 형태를 생성하는 데 이용되는, 3D 모델링에서의 기법이다. 상기 기법의 기본은 특정 경로를 따라 특정 단면을 스위핑하는 것이다. 2D 메타포에서, 이것은, 사용자가 먼저 경로를 생성하는 데 시간을 소비하고, 여러 가지 상이한 시야각들로 전환하는 것이 필요한, 복잡한 프로세스이다. 상기 경로 생성은 3개의 축들 모두에서 구부러지고 움직이는 진정한 3D 경로에 대해 훨씬 더 복잡하다. 다음에 프로파일이 선택되어 상기 경로를 따라 스위핑된다. 6 DOF 트래킹을 이용하면, 사용자들은 공간에서 단지 그들의 손을 움직여 이 경로를 생성하고 스위핑을 수행한다. 6 DOF 및 호버 터치와 가상 모바일 터치 장치의 결합에 의해, 사용자들은 이 동작을 훨씬 더 풍부하게 만들 수 있다. 사용자들은 상기 가상 모바일 장치 상의 상이한 단면들 중에서 즉시 선택하여 그것들을 스위핑할 수 있다. 스위핑 시, 사용자들은, 스위핑된 3D 모델에 실시간으로 영향을 미치게 될, 반경, 색상, 질감, 패턴 등과 같은 파라미터들을 변경하기 위해, 상기 가상 모바일 터치 장치를 추가적으로 이용할 수 있다. 예를 들면, 도 32는 스위핑에 이용되는 6 DOF 호버 터치를 예시하는 실시예를 도시한다. 사용자는 그의 손을 움직여 경로를 생성하면서, 동시에 상기 가상 모바일 장치 상의 반경 위젯(radius widget)도 변경한다. 이로써, 단지 1 스트로크(stroke)로 구축된, 변화하는 단면 두께를 갖는 고급(advanced) 3D 모델이 생성된다. 2D 메타포에서 이 동일한 모델을 만든다면, 1 또는 2 차수만큼 더 많은 단계들이 수행되어야 할 것이다.
6 DOF 호버 터치와 가상 모바일 장치를 결합하는 또 하나의 중요한 이점은 그것이 키보드에서의 단축키의 등가물을 달성하는 데 이용될 수 있다는 것이다. 2D 메타포에서, 사용자들은 단축키를 눌러 동작에 관여된 여러 가지 파라미터들을 변경할 수 있다. 예를 들면, ctrl 버튼을 누르고 마우스를 움직이면 특정 평면을 따라 3D 객체를 드래그하게 될 것이다. 생성되는 형태에 따라, 상기 가상 모바일 장치는 상응하는 단축키를 보여주는 인터페이스로 전환할 수 있다. 사용자는, 그러한 단축키 상호작용을 구현하기 위해 메뉴 아이템들 중 하나를 누른 상태에서 동시에, 3D 입력 동작을 수행할 수 있다. 도 33은 이 시나리오를 도시한다. 단지 6 DOF 입력만으로, 사용자들은 포인팅하고(광선을 투사하고), 코너를 잡고, 사각형의 크기를 조정할 수 있다. 사용자가 변들/축들(sides/axes) 중 하나의 크기만 조정하기를 원하는 경우, 상기 사용자는 화면 상의 상응하는 메뉴 아이템을 누른 상태에서 동작을 수행할 수 있다. 예를 들면, 사용자가 y 메뉴를 누른 상태에서 포인팅 및 드래그를 수행하는 경우, 그의 손이 x 및 y 방향으로 움직이더라도, 사각형은 y 치수는 일정하게 유지된 채로 x를 따라서만 크기가 조정된다.
본 발명이 특정 실시예들과 함께 설명되었지만, 본 발명을 설명된 실시예들에 제한하고자 한 것이 아님을 이해할 수 있을 것이다. 반대로, 청구된 청구범위에 의해 정의된 바와 같은 본 발명의 사상 및 범위 내에 포함될 수 있는 대체들, 변형들, 및 등가물들을 포괄하고자 한 것이다. 본 발명은 이러한 특정 세부사항들 중 일부 또는 전부가 없어도 실시될 수 있다. 또한, 잘 알려진 특징들은 불필요하게 본 발명을 모호하게 하지 않기 위해 상세하게 설명되지 않았을 수도 있다. 본 발명에 따르면, 구성요소들, 프로세스 단계들, 및/또는 데이터 구조들은 다양한 유형의 운영 체제들, 프로그래밍 언어들, 컴퓨팅 플랫폼들, 컴퓨터 프로그램들, 및/또는 컴퓨팅 장치들을 이용하여 구현될 수 있다. 또한, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는, 고정배선식(hardwired) 장치들, 필드 프로그램가능 게이트 어레이들(field programmable gate arrays: FPGAs), 또는 애플리케이션 특정적 집적 회로들(application specific integrated circuits: ASICs) 등과 같은, 장치들도 또한 본 명세서에 개시된 본 발명 개념의 사상 및 범위를 벗어나지 않고 이용될 수 있음을 알 수 있을 것이다. 본 발명은 또한, 메모리 장치와 같은, 컴퓨터 판독가능 매체에 저장된 컴퓨터 명령어 세트로서 구체적으로 구현될 수도 있다.

Claims (20)

  1. 터치 표면을 갖는 터치 센서;
    상기 터치 표면으로부터 최대 깊이 내에서 3차원 위치 정보를 검출하는 근접 센서(proximity sensor); 및
    상기 터치 센서 및 상기 근접 센서를 모니터링하고, 상기 터치 표면에 대한 상호작용 장치의 위치를 기술하는 3차원 공간 정보를 디스플레이 장치에 전달하도록 구성된 제어기를 포함하는 장치.
  2. 제1 항에 있어서, 상기 디스플레이 장치는 머리 착용형 디스플레이(head mounted display)이고, 상기 장치는 상기 머리 착용형 디스플레이에 부착되거나 또는 상기 머리 착용형 디스플레이와 통합되는 장치.
  3. 제1 항에 있어서, 상기 장치는 6 자유도 트래킹 유닛(6 degree of freedom traking unit)과 결합되고, 상기 제어기의 위치 및 방향에 관한 트래킹 정보는 상기 3차원 공간 정보와 함께 상기 디스플레이 장치에 제공되는 장치.
  4. 제3 항에 있어서, 상기 디스플레이 장치는, 상기 상호작용 장치가 상기 터치 표면을 터치하는 터치 이벤트들에 대한 제1 시각화 및 상기 상호작용 장치가 상기 최대 깊이 내에서 상기 터치 표면으로부터 떨어져서 호버링하는 사전-터치(pre-touch) 이벤트들에 대한 제2 시각화를 생성하는, 사용자 인터페이스를 포함하는 장치.
  5. 제4 항에 있어서, 상기 제2 시각화는, 상기 상호작용 장치가 상기 터치 표면을 터치하게 될 시점과 위치에 대한 표시자로서, 상기 상호작용 장치가 현재 호버링하고 있는 위치를 나타내는 장치.
  6. 터치 센서의 표면으로부터 최대 깊이 범위 내에서 상기 터치 센서의 상기 표면에 대한 사용자 손가락 위치를 기술하는 3차원 위치 정보를 수신하는 단계; 및
    적어도 부분적으로 상기 3차원 위치 정보에 기반하여 사용자 인터페이스를 생성하는 단계를 포함하며, 상기 사용자 인터페이스를 생성하는 단계는:
    사용자가 상기 터치 센서의 상기 표면을 터치할 때 제1 시각적 피드백을 생성하는 단계; 및
    상기 터치 센서의 상기 표면으로부터 이격되어 있으나 상기 최대 깊이 범위 내인 영역에 있는 상기 사용자 손가락에 상응하는 사전-터치 이벤트에 대한 제2 시각적 피드백을 생성하는 단계를 포함하는 방법.
  7. 제6 항에 있어서, 상기 사전-터치 이벤트에 대한 상기 제2 시각적 피드백을 생성하는 단계는 내비게이션 정보를 생성하는 단계를 포함하는 것인 방법.
  8. 제6 항에 있어서, 상기 제1 시각적 피드백 및 상기 제2 시각적 피드백은, 사용자 손가락이 상기 터치 센서의 상기 표면을 터치하게 될 시점 및 위치에 대한 표시자로서, 상기 사용자 손가락이 현재 호버링하고 있는 위치의 시각적 피드백을 제공하는 것인 방법.
  9. 터치 센서의 표면에 대한 사용자 손가락의 위치를 기술하는 3차원 위치 정보를 수신하는 단계에 있어서, 상기 위치는 상기 표면의 평면(plane)을 기준으로 상기 표면으로부터의 최대 임계 깊이 이내에서 결정되는 것인, 단계;
    적어도 부분적으로 상기 3차원 위치 정보에 기반하여 사용자 인터페이스를 생성하는 단계;
    상기 사용자 손가락이 상기 터치 센서의 상기 표면을 터치하는 것에 응답하여, 터치다운(touchdown)이 발생했음을 결정하고 제1 사용자 인터페이스 상호작용 세트를 생성하는 단계; 및
    상기 사용자 손가락이 상기 터치 센서의 상기 표면으로부터 이격되어 있지만 상기 최대 임계 깊이 내에 있는 것에 응답하여, 상기 사용자 손가락이 호버 모드에 상응하게 상기 터치 센서의 상기 표면 위쪽에서 호버링하고 있음을 결정하고 제2 사용자 인터페이스 상호작용 세트를 생성하는 단계를 포함하는 방법.
  10. 제9 항에 있어서, 상기 사용자 인터페이스는, 커서가 상기 터치다운에 대한 제1 표현 및 상기 호버 모드에 대한 제2 표현을 갖는 커서 모드를 포함하는 것인, 방법.
  11. 제9 항에 있어서, 상기 사용자 인터페이스는 상기 호버 모드에서 상기 사용자 인터페이스의 적어도 하나의 특징을 스케일링하는 것인 방법.
  12. 제9 항에 있어서, 상기 사용자 인터페이스는, 상기 사용자 손가락이 상기 터치 센서의 상기 표면을 터치하게 될 시점 및 위치에 대한 표시자로서, 상기 사용자 손가락이 현재 호버링하고 있는 위치를 나타내는 시각적 피드백을 제공하는 것인 방법.
  13. 제9 항에 있어서, 상기 사용자 인터페이스는 상기 호버 모드에서 최근접 유효 위젯(nearest valid widget)에 스냅(snap)되는 것인 방법.
  14. 제9 항에 있어서, 상기 사용자 인터페이스는 상기 호버 모드에서 숨겨진 메뉴를 드러내는 것인 방법.
  15. 제9 항에 있어서, 상기 호버 모드에서 자식 사용자 인터페이스들(children user interfaces) 이 생성되는 것인 방법.
  16. 제9 항에 있어서, 상기 호버 모드에서 2차 커서(secondary cursor)가 생성되는 것인, 방법.
  17. 제9 항에 있어서, 상기 사용자 인터페이스는 헤드업 디스플레이(head up display)에 표시되는 것인, 방법.
  18. 제9 항에 있어서, 상기 터치 센서를 지원하는 장치로부터 6 자유도 트래킹 정보를 수신하는 단계를 더 포함하고, 상기 6 자유도 트래킹 정보에 기반한 방향을 갖는 가상 모바일 장치가 표시되고, 상기 터치 센서의 상기 3차원 위치 정보는 상기 가상 모바일 장치에 입력을 수행하는 데 이용되는 것인 방법.
  19. 제18 항에 있어서, 영숫자 정보가 상기 가상 모바일 장치에 입력되는 것인 방법.
  20. 제9 항에 있어서, 상기 터치 센서를 지원하는 장치로부터 6 자유도 트래킹 정보를 수신하는 단계를 더 포함하고, 상기 사용자 인터페이스의 일부의 조대 선택(coarse selection)은 상기 6 자유도 트래킹 정보에 기반하고, 상기 터치 센서의 상기 3차원 위치 정보는 미세 선택(fine grained selection)을 하는 데 이용되는 것인 방법.
KR1020197001978A 2016-06-21 2017-06-02 원격 호버 터치 시스템 및 방법 KR102219912B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662352957P 2016-06-21 2016-06-21
US62/352,957 2016-06-21
US15/581,412 US10852913B2 (en) 2016-06-21 2017-04-28 Remote hover touch system and method
US15/581,412 2017-04-28
PCT/KR2017/005778 WO2017222208A1 (en) 2016-06-21 2017-06-02 Remote hover touch system and method

Publications (2)

Publication Number Publication Date
KR20190009846A true KR20190009846A (ko) 2019-01-29
KR102219912B1 KR102219912B1 (ko) 2021-02-24

Family

ID=60660179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001978A KR102219912B1 (ko) 2016-06-21 2017-06-02 원격 호버 터치 시스템 및 방법

Country Status (4)

Country Link
US (1) US10852913B2 (ko)
EP (1) EP3436907B1 (ko)
KR (1) KR102219912B1 (ko)
WO (1) WO2017222208A1 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686972B2 (en) * 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US9665172B2 (en) 2013-09-03 2017-05-30 Tobii Ab Portable eye tracking device
US11205075B2 (en) * 2018-01-10 2021-12-21 Quantum Interface, Llc Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same
JP6603325B2 (ja) * 2015-10-14 2019-11-06 マクセル株式会社 入力端末装置
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
JP7043166B2 (ja) * 2016-09-21 2022-03-29 株式会社デンソーテン 表示制御装置、表示制御システム及び表示制御方法
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10514801B2 (en) * 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
USD904418S1 (en) * 2017-10-17 2020-12-08 Nationwide Mutual Insurance Company Display screen with animated graphical user interface
KR102389185B1 (ko) * 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
USD879831S1 (en) * 2017-11-22 2020-03-31 Lg Electronics Inc. Display screen with graphical user interface
CN109643182B (zh) * 2017-12-29 2022-01-07 达闼机器人有限公司 信息处理方法、装置、云处理设备及计算机程序产品
KR102455382B1 (ko) * 2018-03-02 2022-10-18 엘지전자 주식회사 이동단말기 및 그 제어 방법
CN108829332B (zh) * 2018-05-22 2023-10-03 珠海格力电器股份有限公司 触摸滑条的控制方法、遥控器、家用电器、计算机可读存储介质及触摸滑条装置
US10976855B1 (en) * 2018-06-27 2021-04-13 Facebook Technologies, Llc Flexible touch sensing assembly for detecting proximity of user to a controller device
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US20220121318A1 (en) * 2019-07-10 2022-04-21 Hewlett-Packard Development Company, L.P. Writing Feeling Improvement On Active Pen With Hover Detection
US10969899B2 (en) * 2019-07-19 2021-04-06 Samsung Electronics Co., Ltd. Dynamically adaptive sensing for remote hover touch
CN110658971B (zh) * 2019-08-26 2021-04-23 维沃移动通信有限公司 一种截屏方法及终端设备
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
CN114424151A (zh) * 2019-09-20 2022-04-29 交互数字Ce专利控股公司 用于vr和ar环境中的基于手的用户交互的装置和方法
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11481111B2 (en) 2020-04-24 2022-10-25 Microsoft Technology Licensing, Llc Utilization of predictive gesture analysis for preloading and executing application components
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11921931B2 (en) * 2020-12-17 2024-03-05 Huawei Technologies Co., Ltd. Methods and systems for multi-precision discrete control of a user interface control element of a gesture-controlled device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US12093461B2 (en) * 2021-02-12 2024-09-17 Apple Inc. Measurement based on point selection
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
CN114415848B (zh) * 2021-12-28 2023-05-23 华南理工大学 一种带触摸区的鼠标
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US11927752B2 (en) * 2022-02-16 2024-03-12 Htc Corporation Control method and mobile device in immersive system
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US11797100B1 (en) * 2022-09-23 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for classifying touch events based on relative orientation
US20240103687A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention
DE102022133392A1 (de) * 2022-12-15 2024-06-20 Gestigon Gmbh Verfahren und system zum erfassen von benutzereingaben
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090121033A (ko) * 2008-05-21 2009-11-25 엘지전자 주식회사 근접 터치를 이용한 이동 단말기 및 그의 화면표시제어방법
US20120254808A1 (en) * 2011-03-30 2012-10-04 Google Inc. Hover-over gesturing on mobile devices
KR101517001B1 (ko) * 2008-12-09 2015-04-30 삼성전자주식회사 입력 장치 및 방법
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703623A (en) * 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
US6031531A (en) * 1998-04-06 2000-02-29 International Business Machines Corporation Method and system in a graphical user interface for facilitating cursor object movement for physically challenged computer users
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US7475351B1 (en) * 2003-12-02 2009-01-06 Sun Microsystems, Inc. Interactive drag and snap connection tool
US8199107B2 (en) * 2004-12-22 2012-06-12 University Of Waterloo Input interface device with transformable form factor
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
JP5538667B2 (ja) * 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
US8074178B2 (en) * 2007-06-12 2011-12-06 Microsoft Corporation Visual feedback display
US20090002218A1 (en) * 2007-06-28 2009-01-01 Matsushita Electric Industrial Co., Ltd. Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
US20100107067A1 (en) 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
JP5446624B2 (ja) 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
US8681124B2 (en) 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
KR101670352B1 (ko) * 2009-12-03 2016-10-28 엘지전자 주식회사 이동 단말기, 전자 기기 및 전자 기기의 제어 방법
US9092129B2 (en) 2010-03-17 2015-07-28 Logitech Europe S.A. System and method for capturing hand annotations
WO2011136783A1 (en) 2010-04-29 2011-11-03 Hewlett-Packard Development Company L. P. System and method for providing object information
KR20120061711A (ko) * 2010-12-03 2012-06-13 삼성전자주식회사 모바일 장치 및 이를 포함하는 컴퓨팅 시스템
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8933888B2 (en) * 2011-03-17 2015-01-13 Intellitact Llc Relative touch user interface enhancements
US9182838B2 (en) 2011-04-19 2015-11-10 Microsoft Technology Licensing, Llc Depth camera-based relative gesture detection
US8619049B2 (en) 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
JP2012247938A (ja) 2011-05-26 2012-12-13 Sony Corp 情報処理装置、表示制御方法及びプログラム
US9560314B2 (en) 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
KR101383840B1 (ko) * 2011-11-17 2014-04-14 도시바삼성스토리지테크놀러지코리아 주식회사 리모트 컨트롤러와, 이를 이용한 제어 시스템 및 제어 방법
US8875051B2 (en) 2011-12-08 2014-10-28 Microsoft Corporation Dynamic navigation bar for expanded communication service
US9116598B1 (en) 2012-01-10 2015-08-25 Koji Yoden User interface for use in computing device with sensitive display
US8654076B2 (en) * 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling
KR101890624B1 (ko) * 2012-04-12 2018-08-22 엘지전자 주식회사 터치패드를 구비한 리모트 컨트롤러 및 그 제어 방법
KR20130142824A (ko) * 2012-06-20 2013-12-30 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
GB2515436B (en) * 2012-06-30 2020-09-02 Hewlett Packard Development Co Lp Virtual hand based on combined data
US9671874B2 (en) * 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
KR20140105689A (ko) 2013-02-23 2014-09-02 삼성전자주식회사 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
KR20140105985A (ko) * 2013-02-25 2014-09-03 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
US8769431B1 (en) * 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
WO2014188797A1 (ja) 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
WO2015010069A1 (en) * 2013-07-19 2015-01-22 Google Inc. Small-screen movie-watching using a viewport
US9208566B2 (en) * 2013-08-09 2015-12-08 Microsoft Technology Licensing, Llc Speckle sensing for motion tracking
US9547395B2 (en) 2013-10-16 2017-01-17 Microsoft Technology Licensing, Llc Touch and hover sensing with conductive polarizer
US20150109257A1 (en) * 2013-10-23 2015-04-23 Lumi Stream Inc. Pre-touch pointer for control and data entry in touch-screen devices
KR102161677B1 (ko) * 2014-01-03 2020-10-05 삼성전자주식회사 원격 제어 장치 및 그의 제어 방법
US10080146B2 (en) * 2014-03-12 2018-09-18 Telefonaktiebolaget Lm Ericsson (Publ) Antenna beam control
JP6050784B2 (ja) * 2014-05-28 2016-12-21 京セラ株式会社 電子機器及び制御プログラム並びに電子機器の動作方法
US9910504B2 (en) 2014-08-21 2018-03-06 Samsung Electronics Co., Ltd. Sensor based UI in HMD incorporating light turning element
EP3331227A4 (en) * 2015-07-30 2018-12-26 LG Electronics Inc. Mobile terminal and method for controlling same
US9886086B2 (en) * 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090121033A (ko) * 2008-05-21 2009-11-25 엘지전자 주식회사 근접 터치를 이용한 이동 단말기 및 그의 화면표시제어방법
KR101517001B1 (ko) * 2008-12-09 2015-04-30 삼성전자주식회사 입력 장치 및 방법
US20120254808A1 (en) * 2011-03-30 2012-10-04 Google Inc. Hover-over gesturing on mobile devices
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller

Also Published As

Publication number Publication date
US20170364198A1 (en) 2017-12-21
EP3436907B1 (en) 2024-02-14
US10852913B2 (en) 2020-12-01
EP3436907A1 (en) 2019-02-06
EP3436907A4 (en) 2019-05-01
WO2017222208A1 (en) 2017-12-28
KR102219912B1 (ko) 2021-02-24

Similar Documents

Publication Publication Date Title
KR102219912B1 (ko) 원격 호버 터치 시스템 및 방법
US11221730B2 (en) Input device for VR/AR applications
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
US11068111B2 (en) Hover-based user-interactions with virtual objects within immersive environments
US10417827B2 (en) Syndication of direct and indirect interactions in a computer-mediated reality environment
US10275145B2 (en) Drawing support tool
Forlines et al. Hybridpointing: fluid switching between absolute and relative pointing with a direct input device
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
US9007299B2 (en) Motion control used as controlling device
Stuerzlinger et al. The value of constraints for 3D user interfaces
Telkenaroglu et al. Dual-finger 3d interaction techniques for mobile devices
Mine et al. Making VR work: building a real-world immersive modeling application in the virtual world
US20120208639A1 (en) Remote control with motion sensitive devices
EP2538309A2 (en) Remote control with motion sensitive devices
CN108595010B (zh) 虚拟现实中虚拟物体的交互方法及装置
KR20150121098A (ko) 표시장치에서 객체의 오리엔테이션을 조작하기 위한 장치 및 방법
Hachet et al. Navidget for 3d interaction: Camera positioning and further uses
JP2011081447A (ja) 情報処理方法及び情報処理装置
Chen et al. An integrated framework for universal motion control
Karam et al. Finger click detection using a depth camera
Brudy Interactive menus in augmented reality environments
Lemoine et al. Interaction techniques: 3d menus-based paradigm
KR20150144100A (ko) 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법
Pietroszek 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue
Darbar Extending Interaction Space in Augmented Reality: Contributions in Optical-See-Through and Projection-Based Augmented Environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant