KR20210010361A - 원격 호버 터치를 위한 전자 디바이스 및 원격 인터랙션 방법 - Google Patents

원격 호버 터치를 위한 전자 디바이스 및 원격 인터랙션 방법 Download PDF

Info

Publication number
KR20210010361A
KR20210010361A KR1020200086388A KR20200086388A KR20210010361A KR 20210010361 A KR20210010361 A KR 20210010361A KR 1020200086388 A KR1020200086388 A KR 1020200086388A KR 20200086388 A KR20200086388 A KR 20200086388A KR 20210010361 A KR20210010361 A KR 20210010361A
Authority
KR
South Korea
Prior art keywords
aspect ratio
touch
hover
touch surface
active area
Prior art date
Application number
KR1020200086388A
Other languages
English (en)
Inventor
아룬 요가난단
창 롱 주진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210010361A publication Critical patent/KR20210010361A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 디바이스는 호버 터치 컨트롤러 디바이스를 포함할 수 있다. 전자 디바이스는 제 1 종횡비의 터치 표면을 갖는 터치 센서 및 근접 센서를 포함할 수 있다. 전자 디바이스는 사용자가 터치 표면을 터치하는 시점 및 위치에 대한 정보가 감지된다. 또한 호버-입력 이벤트들에 대한 정보가 감지된다. 호버 입력 이벤트들은 일부 최대 깊이 내에서 사용자의 손가락이 터치 표면 위에서 호버링하는 것에 대응한다. 전자 디바이스는 컨트롤러 또는 프로세서를 포함할 수 있다. 프로세서는 3 차원 공간 정보를 그래픽 사용자 인터페이스(GUI)에게 전달한다. GUI는 제 2 종횡비의 인터랙티브 표면을 갖는 디스플레이 상에서의 호버 이벤트들 및 터치 이벤트들에 기초하여 시각화를 생성한다. 프로세서는 다양한 GUI 설계 지원과 관련된 모든 문제를 추가로 보정한다. 이것은 제 1 종횡비와 제 2 종횡비 간의 차이를 보정하는 것을 포함할 수 있다.

Description

원격 호버 터치를 위한 전자 디바이스 및 원격 인터랙션 방법{ELECTRONIC DEVICE FOR REMOTE HOVER TOUCH AND REMOTE INETRACTION METHOD}
다양한 실시예는 호버 터치 기능을 갖는 전자 디바이스 및 원격 인터랙션 방법에 관한 것이며, 보다 구체적으로는 공간 입력 정보를 디스플레이 디바이스에 전달하는 전자 디바이스 및 방법에 관한 것이다.
다양한 형태와 크기를 갖는 각종 디스플레이는 이들이 지원하는 사용자 인터페이스 인터랙션(interaction)들을 제한할 수 있다. 특히, 다양한 타입의 다이렉트 터치 인터랙션들은 각종 디스플레이에서 지원되지 않을 수 있다. 예를 들어, 텔레비전 모니터 및 HMD(Head Mounted Display)는 근접(proximity) 등과 같은 다이렉트 터치 인터랙션에 적합하지 않다. 텔레비전은 일반적으로 사용자로부터 편안한 시청 거리에서 볼 수 있다. 일반적으로 이 거리는 사용자가 텔레비전과 다이렉트 터치 인터랙션하기에는 너무 멀다. 텔레비전과 달리, HMD의 디스플레이는 일반적으로 사용자의 안면에 가까운 거리에서 보여진다. 일반적으로 이 거리는 사용자가 HMD의 디스플레이와 다이렉트 터치 인터랙션하기에 너무 가깝다. VR(Virtual Reality) 환경에서 HMD를 착용하면, 사용자가 손이나 휴대용 입력 장치를 직접 보지 못하게 될 수 있다. 이것은 사용자가 수행할 수 있는 인터랙션의 다양성과 품질을 심각하게 제한한다. 증강 현실(AR) 및 혼합 현실(MR) 고글들에서 사용자의 손이 보일 경우에도, 프리 핸드 제스처로 모든 가상 세계 인터랙션을 수행하는 것은 번거롭다. 예를 들어, 문자와 숫자를 조합한 alphanumeric 입력은 프리 핸드 입력으로 수행하기가 특히 어렵다.
다이렉트 온-스크린 터치 입력에 대한 대안도 한계가 있다. 예를 들어, 기존의 리모컨 및 게임 컨트롤러에는 간단한 작업에 적합한 버튼, d-패드, 노브, 조이스틱 및 기타 물리적 입력 요소가 있을 수 있지만, 이러한 입력 요소는 다이렉트 공간 입력에 적합하지 않다. 터치 리모콘은 크기는 작지만, 처음 터치할 때까지 사용자가 터치할 위치를 알지 못하므로 다이렉트 공간 선택에 적합하지 않다. 모션 추적 입력 요소가 있는 리모컨은 배향 및/또는 위치를 입력으로 사용할 수 있지만, 문숫자 및 텍스트 입력에서는 성능이 떨어진다. 제 2 스크린 장치들이 디스플레이를 위한 디지털 리모콘 및 입력 장치로서 사용될 수 있지만, 이들은 스크린들 사이에서 사용자 집중력을 흐트러뜨려 시청 경험에 악영향을 미치게 된다.
위에서 설명한 종래의 컨트롤러들과는 달리, 호버 터치 컨트롤러 디바이스(hover touch controller device)는 다이렉트 온-스크린 터치 입력에 대한 대안으로 더 적합할 수 있다.호버 터치 컨트롤러 디바이스는 터치 센서 및 근접 센서를 포함할 수 있다.. 호버 터치 컨트롤러 디바이스는, 사용자가 터치 센서의 표면을 터치하는 시점 및 위치정보를 포함하는 터치 이벤트를 감지하고, 또한, 사전 터치 이벤트 및 사후 터치 이벤트에 대한 정보를 포함하는 호버-입력 이벤트를 감지할 수 있다. 호버-입력 이벤트는 일부 최대 깊이 내에서 사용자의 손가락이 터치 센서 위에서 호버링하는 것에 대응될 수 있다. 디스플레이는 호버 이벤트들 및 터치 이벤트들에 기초하여 시각화를 생성하고 사용자의 손가락이 터치 센서 위에서 호버링하는 호버 모드에서 시각적 피드백을 제공할 수 있다. 그러나, 현재의 호버 터치 컨트롤러 디바이스는 잠재력을 최대한 활용하기 위해 해결해야 할 다양한 그래픽 사용자 인터페이스(GUI) 설계들을 지원하는데 문제가 있다.
본 개시의 실시 예들은 전자디바이스를 사용할 때 다양한 그래픽 사용자 인터페이스(GUI) 설계들을 지원하는 것과 관련된 문제들에 대한 보정을 제공한다.
특정 실시 예들에서, 공간 입력을 전달하기 위한 장치가 제공된다. 이 장치는 제 1 종횡비를 갖는 터치 표면 및 인터랙티브 표면의 제 2 종횡비를 검색하도록 구성되는 프로세서를 포함할 수 있다.. 인터랙티브 표면의 제 2 종횡비는 터치 표면의 제 1 종횡비와 상이하다. 프로세서는 또한 제 2 종횡비에 대응하도록 제 1 종횡비를 조정함으로써 터치 표면의 활성 영역을 형성하고, 활성 영역에 대한 인터랙티브 수단의 위치를 나타내는 공간 정보를 인터랙티브 표면 상의 인디케이터에 전달하도록 구성될 수 있다.
다른 실시 예에서, 디스플레이 디바이스와 통신하기 위한 방법이 제공된다. 이 방법은 터치 표면의 제 1 종횡비를 결정하고, 인터랙티브 표면의 제 2 종횡비를 결정하는 단계를 포함할 수 있다.. 이 방법은 제 2 종횡비와 제 1 종횡비 사이의 차이를 모니터링하는 단계 및 제 2 종횡비가 제 1 종횡비와 상이하다는 것을 식별한 것에 응답하여, 제 2 종횡비에 대응하도록 제 1 종횡비를 조정함으로써 터치 표면의 활성 영역을 형성하는 단계를 더 포함할 수 있다.. 이 방법은 활성 영역에 대한 인터랙티브 수단의 위치를 나타내는 공간 정보를 인터랙티브 표면 상의 인디케이터에 전달하는 단계를 더 포함할 수 있다..
또 다른 실시 예에서, 복수의 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장 매체 상에 존재하는 컴퓨터 프로그램 제품으로서, 복수의 명령어들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 터치 표면의 제 1 종횡비를 결정하고, 인터랙티브 표면의 제 2 종횡비를 결정할 수 있다. 게 한다. 컴퓨터 프로그램 제품은 또한 프로세서로 하여금 제 2 종횡비와 제 1 종횡비 사이의 차이를 모니터링하고, 제 2 종횡비가 제 1 종횡비와 상이하다는 것을 식별한 것에 응답하여, 제 2 종횡비에 대응하도록 제 1 종횡비를 조정함으로써 터치 표면의 활성 영역을 형성하게 한다. 컴퓨터 프로그램 제품은 또한 프로세서로 하여금 활성 영역에 대한 인터랙티브 수단의 위치를 나타내는 공간 정보를 디스플레이 디바이스의 인터랙티브 표면 상의 인디케이터에 전달하게 한다.
본 개시의 실시 예들은 전자 장치의 터치 종회비를 디스플레이 장치의 종횡비에 맞춰 조정함에 따라 공간입력(호버/터치) 정보를 디스플레이 장치로 전달함으로써 다양한 규격의 디스플레이 장치와 적응적으로 인터렉션할 수 있습니다.
본 개시 및 그 이점에 대한 보다 완전한 이해를 위해, 이제 첨부 도면과 함께 취해지는 다음의 설명에 대한 참조가 이루어지며, 도면에서 유사한 참조 부호는 유사한 부분을 나타낸다.
도 1은 본 개시의 실시 예에 따른 전자 디바이스의 일 예를 도시한 것이다.
도 2는 본 개시의 일 실시 예에 따른 공간 입력을 디스플레이 디바이스에 전달하도록 구성된 시스템을 도시한 것이다.
도 3은 본 개시의 실시 예들에 따른 호버 터치 컨트롤러 디바이스 센서 필드들의 일 예를 도시한 것이다.
도 4a, 도 4b 및 도 4c는 본 개시의 실시 예들에 따른 인터랙션의 상태의 예들을 도시한 것이다.
도 5는 본 개시의 실시 예들에 따라 형성된 활성 영역의 일 예를 도시한 것이다.
도 6a 및 도 6b는 본 개시의 실시 예들에 따라 형성된 활성 영역과의 인터랙션의 예들을 도시한 것이다.
도 7은 본 개시의 실시 예들에 따라 형성된 활성 영역의 다른 예를 도시한 것이다.
도 8은 본 개시의 실시 예들에 따라 형성된 활성 영역의 다른 예를 도시한 것이다.
도 9는 본 개시의 실시 예들에 따라 형성된 활성 영역의 다른 예를 도시한 것이다.
도 10은 본 개시의 실시 예들에 따른 활성 영역의 종횡비를 결정하는 다른 예를 도시한 것이다.
도 11은 본 개시의 실시 예들에 따른 도달 패턴의 일 예를 도시한 것이다.
도 12는 본 개시의 실시 예들에 따른 활성 영역(510)이 터치 표면의 오른쪽에 매핑될 때의 도달 패턴의 다른 예를 도시한 것이다.
도 13은 본 개시의 실시 예들에 따른 세로 배향을 갖는 활성 영역의 예들을 도시한 것이다.
도 14는 본 개시의 실시 예들에 따른 가로 배향을 갖는 활성 영역의 예들을 도시한 것이다.
도 15는 프로세서에 의해 수행될 수 있는 본 개시의 실시 예들에 따른 호버 터치 컨트롤러 디바이스를 사용할 때 다양한 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 설계를 지원하는 것과 관련된 문제를 보정하기 위한 프로세스의 동작들을 도시한 것이다.
다른 기술적 특징들은 다음의 도면, 설명 및 청구 범위로부터 당업자에게 쉽게 명백해질 수 있다.
아래의 상세한 설명에 들어가기 전에, 본 특허 명세서 전체에 걸쳐 사용되는 특정 단어 및 어구들의 정의를 기재하는 것이 도움이 될 수 있다. 용어 "커플(couple)" 및 그 파생어는 두 개 이상의 요소 사이의 어떤 직접 또는 간접 통신을 나타내거나, 이들 요소가 서로 물리적으로 접촉하고 있는지의 여부를 나타낸다. 용어 "송신(transmit)", "수신(receive)" 및 "통신(communicate)" 그리고 그 파생어는 직접 통신 및 간접 통신 모두를 포함할 수 있다.. 용어 "포함한다(include)" 및 "구성한다(comprise)" 그리고 그 파생어는 제한이 아닌 포함을 의미한다. 용어 "또는(or)"은 포괄적 용어로써, '및/또는'을 의미한다. 어구 "~와 관련되다(associated with)" 및 그 파생어는 ~을 포함할 수 있다.(include), ~에 포함된다(be included within), ~와 결합하다(interconnect with), ~을 함유하다(contain), ~에 함유되어 있다(be contained within), ~에 연결한다(connect to or with), ~와 결합하다(couple to or with), ~ 전달한다(be communicable with), 와 협력하다(cooperate with), ~를 끼우다(interleave), ~을 나란히 놓다(juxtapose), ~에 인접하다(be proximate to), 구속하다/구속되다(be bound to or with), 소유하다(have), 속성을 가지다(have a property of), ~와 관계를 가지다(have a relationship to or with) 등을 의미한다. 용어 "컨트롤러(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템 또는 그 일부를 의미한다. 이러한 컨트롤러는 하드웨어 또는 하드웨어와 소프트웨어의 조합 및/또는 펌웨어로 구현될 수 있다. 특정 컨트롤러와 관련된 기능은 로컬 또는 원격으로 중앙 집중식으로 처리(centralized)되거나 또는 분산식으로 처리(distributed)될 수 있다. 어구 "적어도 하나"는, 그것이 항목들의 나열과 함께 사용될 경우, 나열된 항목들 중 하나 이상의 상이한 조합이 사용될 수 있음을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 다음의 조합, 즉 A, B, C, A와 B, A와 C, B와 C, 그리고 A와 B와 C 중 어느 하나를 포함할 수 있다..
또한, 후술하는 각종 기능들은 컴퓨터 판독 가능한 프로그램 코드로 형성되고 컴퓨터 판독 가능한 매체에서 구현되는 하나 이상의 컴퓨터 프로그램 각각에 의해 구현 또는 지원될 수 있다. 용어 "애플리케이션" 및 "프로그램"은 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령 세트, 프로시저, 함수, 객체, 클래스, 인스턴스, 관련 데이터, 혹은 적합한 컴퓨터 판독 가능한 프로그램 코드에서의 구현용으로 구성된 그것의 일부를 지칭한다. 어구 "컴퓨터 판독 가능한 프로그램 코드"는 소스 코드, 오브젝트 코드, 및 실행 가능한 코드를 포함하는 컴퓨터 코드의 종류를 포함할 수 있다.. 어구 "컴퓨터 판독 가능한 매체"는 ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 혹은 임의의 다른 타입의 메모리와 같은, 컴퓨터에 의해 액세스될 수 있는 임의의 타입의 매체를 포함할 수 있다.. "비-일시적인" 컴퓨터 판독 가능한 매체는 유선, 무선, 광학, 일시적인 전기적 또는 다른 신호들을 전달시키는 통신 링크를 제외한다. 비-일시적 컴퓨터 판독 가능한 매체는 데이터가 영구적으로 저장되는 매체 그리고 재기록이 가능한 광디스크 또는 소거 가능한 메모리 장치와 같은, 데이터가 저장되어 나중에 덮어 씌어지는 매체를 포함할 수 있다..
다른 특정 단어 및 어구에 대한 정의가 이 특허 명세서 전반에 걸쳐 제공된다. 당업자는 대부분의 경우가 아니더라도 다수의 경우에 있어서, 이러한 정의는 종래에 뿐만 아니라 그러한 정의된 단어 및 어구의 향후 사용에 적용될 수 있음을 이해해야 한다.
이하에 설명되는 도 1 내지 15, 및 이 특허 명세서에 있어서의 본 발명의 원리들을 설명하기 위해 사용되는 각종 실시예들은 오직 예시의 방법에 의한 것이며, 어떤 방식으로도 본 개시의 범위를 제한하는 것으로 해석되어서는 아니 된다. 본 발명의 원리들은 임의의 적절하게 구성된 시스템 또는 디바이스에서 구현될 수 있다는 것을 당업자는 이해할 수 있을 것이다.
본 개시의 실시 예들은 제 1 종횡비의 터치 표면을 갖는 터치 센서 및 근접 센서를 포함하는 전자 디바이스(예: 호버 터치 컨트롤러 디바이스)를 제공한다. 사용자가 터치 표면을 터치하는 시점 및 위치에 대한 정보가 감지된다. 또한, 호버-입력 이벤트들에 대한 정보가 감지된다. 호버-입력 이벤트들은 사용자의 손가락이 일부 최대 깊이 내에서 터치 표면 위에서 호버링(hovering)하는 것에 해당한다. 호버 터치 컨트롤러 디바이스는 컨트롤러를 더 포함할 수 있다.. 프로세서는 3 차원 공간 정보를 그래픽 사용자 인터페이스(Graphical User Interface, GUI)에 전송한다. GUI는 제 2 종횡비를 가진 인터랙티브 표면을 갖는 디스플레이/ 디스플레이 디바이스 상의 호버 이벤트들 및 터치 이벤트들에 기초하여 시각화를 생성한다. 프로세서는 각종 GUI 설계 지원과 관련된 임의의 사항들을 추가로 보정한다. 이것은 제 1 종횡비와 제 2 종횡비의 차이를 보정하는 것을 포함할 수 있다.
도 1은 본 개시의 다양한 실시 예들에 따른 네트워크 환경(100)에서의 예시적인 전자 디바이스를 도시한 것이다. 도 1에 도시된 전자 디바이스(101) 및 네트워크 환경(100)의 실시 예는 단지 예시를 위한 것이다. 전자 디바이스(101) 및 네트워크 환경(100)의 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
본 개시의 일 실시 예에 따르면, 전자 디바이스(101)는 네트워크 환경(100)에 포함된다. 전자 디바이스는 디스플레이 디바이스(102)에 커플링될 수 있다. 전자 디바이스(101)는 버스(110), 프로세서(120), 메모리(130), 입/출력(IO) 인터페이스(150), 디스플레이(160), 통신 인터페이스(170) 또는 센서들(180) 중 적어도 하나를 포함할 수 있다. 일부 실시 예들에서, 전자 디바이스(101)는 컴포넌트들 중 적어도 하나를 배제하거나 다른 컴포넌트를 추가할 수 있다.
버스(110)는 컴포넌트들(120 내지 170)을 서로 연결하고, 컴포넌트들 사이의 통신들(예를 들어, 제어 메시지들 및/또는 데이터)을 전송하기 위한 회로를 포함할 수 있다..
프로세서(120)는 중앙 처리 장치(CPU), 응용 프로세서(application processor, AP) 또는 통신 프로세서(communication processor, CP) 중 하나 이상을 포함할 수 있다.. 프로세서(120)는 전자 디바이스(101)의 다른 컴포넌트들 중 적어도 하나에 대한 제어를 수행할 수 있으며 및/또는 통신과 관련된 동작 또는 데이터 처리를 수행할 수 있다.
메모리(130)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 예를 들어, 메모리(130)는 전자 디바이스(101)의 적어도 하나의 다른 컴포넌트와 관련된 명령들 또는 데이터를 저장할 수 있다. 다양한 실시 예들에서, 메모리(130)는 전자 디바이스(101)의 애플리케이션(147)에 의해 이용되는 사무실 건물, 쇼핑몰, 집, 놀이 공원, 근방의 내부와 같은 실제 환경의 매핑 정보 또는 임의의 다른 현실 세계 또는 가상 세계 매핑 정보를 포함할 수 있는 공간 맵 데이터를 저장할 수 있다. 본 개시의 일 실시 예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은 예를 들어 커널(kernel)(141), 미들웨어(143), 애플리케이션 프로그래밍 인터페이스(API)(145) 및/또는 애플리케이션 프로그램(또는 "애플리케이션")(147)을 포함할 수 있다.. 커널(141), 미들웨어(143) 또는 API(145)의 적어도 일부는 운영 체제(OS)에 의해 나타내질 수 있다.
예를 들어, 커널(141)은 다른 프로그램들(예를 들어, 미들웨어(143), API(145) 또는 애플리케이션 프로그램(147))에서 구현되는 동작들 또는 기능들을 수행하는데 사용되는 시스템 리소스들(예를 들어, 버스(110), 프로세서(120) 또는 메모리(130))을 제어하거나 관리할 수 있다. 커널(141)은 미들웨어(143), API(145) 또는 애플리케이션(147)이 전자 디바이스(101)의 개별 컴포넌트들에 액세스하여 시스템 리소스들을 제어 또는 관리할 수 있게 하는 인터페이스를 제공한다.
미들웨어(143)는 예를 들어 API(145) 또는 애플리케이션(147)이 커널(141)과 데이터 통신할 수 있게 하는 중계기 역할을 할 수 있다. 복수의 애플리케이션들(147)이 제공될 수 있다. 예를 들어, 미들웨어(143)는 전자 디바이스(101)의 시스템 리소스들(예를 들어, 버스(110), 프로세서(120) 또는 메모리(130))을 사용하는 우선 순위를 복수의 애플리케이션들(147) 중 적어도 하나에 할당함으로써, 애플리케이션들(147)로부터 수신되는 작업 요청들을 제어할 수 있다.
API(145)는 애플리케이션(147)이 커널(141) 또는 미들웨어(143)로부터 제공되는 기능들을 제어할 수 있게 하는 인터페이스이다. 예를 들어, API(145)는 파일링 제어, 윈도우 제어, 이미지 처리 또는 텍스트 제어를 위한 적어도 하나의 인터페이스 또는 기능(예를 들어, 명령)을 포함할 수 있다..
IO 인터페이스(150)는 예를 들어 사용자 또는 다른 외부 디바이스들로부터의 명령들 또는 데이터 입력을 전자 디바이스(101)의 다른 컴포넌트(들)로 전송할 수 있는 인터페이스의 역할을 한다. 또한, IO 인터페이스(150)는 전자 디바이스(101)의 다른 컴포넌트(들)로부터 수신되는 명령들 또는 데이터를 사용자 또는 다른 외부 디바이스로 출력할 수 있다.
디스플레이(160)는 예를 들어, 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light emitting diode, LED) 디스플레이, 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 또는 마이크로 전자 기계 시스템(microelectromechanical systems, MEMS) 디스플레이, 또는 전자 종이 디스플레이를 포함할 수 있다.. 디스플레이(160)는 예를 들어 다양한 컨텐츠(예를 들어, 텍스트, 이미지, 비디오, 아이콘 또는 심볼)를 사용자에게 디스플레이할 수 있다. 디스플레이(160)는 터치 스크린을 포함할 수 있으며, 예를 들어 전자 펜 또는 사용자의 신체 부분을 사용한 터치, 제스처, 근접 또는 호버링 입력을 수신할 수 있다.
예를 들어, 통신 인터페이스(170)는 전자 디바이스(101)와 외부 전자 디바이스(예를 들어, 디스플레이 디바이스(102), 제 2 외부 전자 디바이스(104) 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들어, 통신 인터페이스(170)는 무선 또는 유선 통신을 통해 네트워크(162 또는 164)에 연결되어 외부 전자 디바이스와 통신할 수 있다. 통신 인터페이스(170)는 유선 또는 무선 송수신기이거나 또는 비디오 피드들 또는 비디오 스트림들과 같은 신호들을 송수신하기 위한 임의의 다른 컴포넌트일 수 있다. 또한, 통신 인터페이스(170)는 디스플레이 디바이스(102)와 같은 다른 디바이스와 직접 근거리 통신을 수행하는 근거리 통신 기능을 포함할 수 있다. 예를 들어, 통신 인터페이스(170)는 BLUETOOTH 송수신기, ZIGBEE 송수신기, WI-FI 송수신기 등, 자기 연결 또는 광 통신을 포함할 수 있다. 특정 실시 예들에서, 디스플레이 디바이스(102)는 유선 또는 무선 연결을 통해 전자 디바이스에 커플링된다.
전자 디바이스(101)는 물리량을 측정하거나 전자 디바이스(101)의 활성화 상태를 검출하여, 측정 또는 검출된 정보를 전기 신호로 변환할 수 있는 하나 이상의 센서들(180)을 더 포함할 수 있다.. 예를 들어, 센서(180)는 터치 입력을 위한 하나 이상의 버튼, 카메라, 제스처 센서, 자이로스코프 또는 자이로 센서, 기압 센서, 자기 센서 또는 자력계, 가속도 센서 또는 가속도계, 깊이 또는 거리 센서, 그립 센서, 근접 센서, 컬러 센서(예를 들어, RGB(red green blue) 센서), 생체 물리 센서, 온도 센서, 습도 센서, 조명 센서, 자외선(UV) 센서, 근전도(electromyography, EMG) 센서, 뇌전도(electroencephalogram, EEG) 센서, 심전도(electrocardiogram, ECG) 센서, 적외선 센서(IR) 센서, 초음파 센서, 홍채 센서, 지문 센서 등을 포함할 수 있다. 센서(들)(180)는 내부에 포함된 센서들 중 적어도 하나를 제어하기 위한 제어 회로를 더 포함할 수 있다. 이들 센서(들)(180) 중 임의의 것이 전자 디바이스(101) 내에 위치될 수 있다. 카메라 센서(180)는 프로세서(120)에 의해 조합될 수 있는 단일 이미지에 대한 복수의 프레임들을 캡처할 수 있다.
특정 실시 예들에서, 웨어러블 디바이스 또는 전자 디바이스(101) 장착 가능 웨어러블 디바이스(예를 들어, 광학 헤드 마운트 디스플레이(head mounted display, HMD))와 같은 외부 전자 디바이스가 제공된다. 전자 디바이스(101)가 HMD에 장착되는 경우, 전자 디바이스(101)는 HMD에서의 장착을 검출하고, 증강 현실 모드와 같은, 디스플레이 디바이스(102)로서 작동될 수 있다. 특정 실시 예들에서, 전자 디바이스(101)는 HMD에서의 장착을 검출하고, 증강 현실 모드로 작동한다. 전자 디바이스(101)가 HMD에 장착되는 경우, 전자 디바이스(101)는 통신 인터페이스(170)를 통해 HMD와 통신한다. 전자 디바이스(101)는 별도의 네트워크 없이도 HMD에 직접 연결되어 HMD와 통신할 수 있다.
무선 통신은 예를 들어 LTE(long term evolution), LTE-A(long term evolution-advanced), 5 세대 무선 시스템(5G), mm-wave 또는 60 GHz 무선 통신, 무선 USB, 코드 분할 다중 액세스(code division multiple access, CDMA), 광대역 코드 분할 다중 액세스(wideband code division multiple access, WCDMA), 범용 이동 통신 시스템(universal mobile telecommunication system, UMTS), 무선 광대역(wireless broadband , WiBro) 또는 모바일 통신용 글로벌 시스템(global system for mobile communication, GSM) 중 적어도 하나와 같은 무선 통신 매체를 셀룰러 통신 프로토콜로서 사용할 수 있다. 유선 연결로는 범용 직렬 버스(universal serial bus, USB), 고화질 멀티미디어 인터페이스(high definition multimedia interface, HDMI), 권장 표준 232(recommended standard 232, RS-232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
네트워크(162)는 통신 네트워크들 중 적어도 하나를 포함할 수 있다.. 통신의 예들로는 컴퓨터 네트워크(예를 들어, 근거리 통신망(local area network, LAN) 또는 광역 통신망(wide area network, WAN)), 인터넷 또는 전화 네트워크를 포함할 수 있다..
외부 전자 디바이스(104) 및 서버(106) 각각은 전자 디바이스(101)와 동일하거나 상이한 타입의 디바이스일 수 있다. 본 개시의 특정 실시 예들에 따르면, 서버(106)는 하나 이상의 서버들의 그룹을 포함할 수 있다.. 본 개시의 특정 실시 예들에 따르면, 전자 디바이스(101)에서 실행되는 모든 동작들 또는 일부 동작들은 다른 전자 디바이스 또는 복수의 다른 전자 디바이스들(예를 들어, 전자 디바이스(104) 또는 서버(106))에서 실행될 수 있다. 본 개시의 특정 실시 예들에 따르면, 전자 디바이스(101)가 자동 또는 요청에 따라 일부 기능 또는 서비스를 수행해야 하는 경우, 전자 디바이스(101)는 자체적으로 또는 부가적으로 기능 또는 서비스를 실행하는 대신에, 다른 디바이스(예를 들어, 전자 디바이스(104) 또는 서버(106))에게 이와 관련된 적어도 일부 기능들을 수행하도록 요청할 수 있다. 다른 전자 디바이스(예를 들어, 전자 디바이스(104) 또는 서버(106))는 요청된 기능들 또는 추가 기능들을 실행하고, 그 실행 결과를 전자 디바이스(101)에게 전송할 수 있다. 전자 디바이스(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능 또는 서비스를 제공할 수 있다. 이를 위해, 예를 들어 클라우드 컴퓨팅, 분산 컴퓨팅 또는 클라이언트-서버 컴퓨팅 기술이 사용될 수 있다.
도 1이 전자 디바이스(101)가 네트워크(162)를 통해 외부 전자 디바이스(104) 또는 서버(106)와 통신하기 위한 통신 인터페이스(170)를 포함하는 것으로 도시하고 있지만, 전자 디바이스(101)는 본 개시의 일 실시 예에 따라 별도의 통신 기능 없이 독립적으로 작동할 수 있다.
서버(106)는 전자 디바이스(101)에서 실행되는 동작들(또는 기능들) 중 적어도 하나를 수행하여 전자 디바이스(101)의 구동을 지원할 수 있다. 예를 들어, 서버(106)는 전자 디바이스(101)에서 실행되는 프로세서(120)를 지원할 수 있는 처리 모듈 또는 프로세서를 포함할 수 있다.
예를 들어, 전자 디바이스(101)는 예컨대 프로세서(120) 내부에 이벤트 처리 모듈을 포함할 수 있다. 이벤트 처리 모듈은 다른 요소들(예를 들어, 프로세서(120), 메모리(130), 입/출력 인터페이스(150) 또는 통신 인터페이스(170))로부터 획득되는 정보 중 적어도 일부를 처리할 수 있으며, 이것을 다양한 방식으로 사용자에게 제공할 수 있다. 서버는 이벤트 처리 모듈의 컴포넌트들 중 적어도 하나를 포함할 수 있고, 이벤트 처리 모듈에 의해 수행되는 동작들(또는 기능들) 중 적어도 하나를 수행(또는 대신 수행)할 수 있다.
예를 들어, 본 개시의 일 실시 예에 따르면, 이벤트 처리 모듈은 전자 디바이스(101)가 웨어러블 디바이스(예를 들어, 디스플레이 디바이스(102))에 장착된 상태에서 발생하는 이벤트와 관련된 정보를 처리하며, 디스플레이 장치 기능으로서 동작할 수 있다. 이벤트 처리 모듈은 증강 현실 모드로 작동하고, 증강 현실 모드에 맞춤화되어 처리된 정보를 표시하는 기능을 수행할 수 있다. 증강 현실 모드에서 작동하는 동안 생성된 이벤트가 애플리케이션 실행과 관련된 이벤트일 경우, 이벤트 처리 모듈은 애플리케이션의 실행을 차단하거나, 백그라운드 애플리케이션 또는 프로세스로서 작동하도록 애플리케이션을 처리할 수 있다.
이벤트 처리 모듈은 프로세서(120)와 분리된 것이거나 이벤트 처리 모듈의 적어도 일부가 프로세서(120) 또는 적어도 하나의 다른 모듈에 포함되거나 또는 구현될 수 있거나, 이벤트 처리 모듈의 전체 기능이, 도시된 프로세서(120) 또는 다른 프로세서에 포함되거나 또는 구현될 수 있다. 이벤트 처리 모듈은 메모리(130)에 저장된 적어도 하나의 프로그램(140)과 연동하여 본 개시의 실시 예들에 따른 동작들을 수행할 수 있다.
도 2는 본 개시의 실시 예들에 따라 공간 입력을 디스플레이 디바이스로 전송하기 위한 시스템(200)을 도시한 것이다. 도 2에 도시된 바와 같은 공간 입력을 디스플레이 디바이스로 전송하기 위한 시스템(200)의 실시 예는 단지 예시를 위한 것이다. 시스템(200)의 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 2에 도시된 예에서, 전자 디바이스 예를 들어, 호버 터치 컨트롤러 디바이스(202)는 디스플레이 디바이스(204)와 통신하도록 구성될 수 있다. 특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 전자 디바이스(101)와 동일하거나 유사하게 구성될 수 있다. 특정 실시 예들에서, 디스플레이 디바이스(204)는 디스플레이 디바이스(102)와 동일하거나 유사하게 구성될 수 있다.
특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 적어도 하나의 프로세서(206) 및 메모리(208)를 포함할 수 있다.. 예를 들어, 적어도 하나의 프로세서(206)는 하나 이상의 컴퓨터 프로세서들, 마이크로 프로세서들 또는 마이크로 컨트롤러를 포함할 수 있다. 메모리(208)는 프로그램 명령어들을 지원하는 데이터 저장 디바이스를 포함할 수 있다. 적어도 하나의 프로세서(206)는 본 명세서에 설명된 하나 이상의 방법들을 수행하기 위한 특수 목적 프로세서로서 기능하도록 명령어들에 의해 구성될 수 있다.
특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 2 차원(2D) 터치 표면을 갖는 터치 센서(210)를 포함할 수 있다. 터치 센서(210)는 스타일러스, 사용자의 손가락 등과 같은 인터렉티브 도구 와, 터치 센서(210)의 2 차원 터치 표면과의 콘택트 포인트에 대한 2 차원(예를 들어, (x, y)) 위치 정보를 제공할 수 있다. 터치 센서는 인터랙션 디바이스(예를 들면, 손가락)가 터치 센서의 터치 표면을 아래로 터치할 때 "터치" 위치 정보("터치")를 제공한다.
호버 터치 컨트롤러 디바이스(202)는 3 차원 필드를 갖는 근접 센서(212)를 포함할 수 있다. 근접 센서(212)는 3 차원 볼륨 내에서 인터랙티브 도구(예: 손가락, 스타일러스, 입력 도구, 입력 수단)의 위치(예를 들어, 사용자의 손가락이 터치 센서(210)의 표면 위에서 호버링하는 위치)를 감지하도록 구성될 수 있다. 근접 센서(212)는 사용자의 손가락 또는 입력 디바이스가 3 차원 볼륨 공간 내에서 터치 센서(210)의 터치 표면 주위를 호버링하는 시점 및 위치에 대한 3 차원(예를 들어, (x, y, z)) 위치 정보를 제공할 수 있다. 이 정보는 "호버-입력 이벤트" 또는 "호버" 또는 "호버 모드"로 설명될 수 있다. 예를 들어, 사용자의 손가락이 터치 센서의 터치 표면을 직접적으로 터치하기 전에 터치 센서의 터치 표면 위에서 호버링할 수 있다. 호버 터치 컨트롤러(214)는 터치 센서(210) 및 근접 센서(212)의 동작을 조정하여 터치 표면과 관련된 사용자의 손가락 위치에 대한 정보를 생성할 수 있.
호버 터치 컨트롤러 디바이스(202)는 또한 통신 인터페이스(216)를 포함할 수 있다.. 통신 인터페이스(216)는 디스플레이 디바이스(204)와 같은 다른 디바이스로부터 통신들을 송신 또는 수신할 수 있는 송신기, 수신기 또는 송수신기를 포함할 수 있다.. 예를 들어, 통신 인터페이스(216)는 BLUETOOTH 송수신기 또는 ZIGBEE 송수신기와같은 근거리 송수신기, WI-FI 송수신기, 광학 인터페이스, 자기 인터페이스 등을 포함할 수 있다. 통신 인터페이스(216)는 "호버-입력 이벤트" 정보를 디스플레이 디바이스(204)로 전송한다.
특정 실시 예들에서, 디스플레이 디바이스(204)는 텔레비전 또는 컴퓨터 디스플레이와 같은 원격 디스플레이 디바이스이다. 특정 실시 예들에서, 디스플레이 디바이스(204)는 전자 디바이스(104) 또는 HMD와 같은 디스플레이를 가진 다른 전자 디바이스일 수 있다. 특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 헤드셋 디스플레이 디바이스에 커플링되거나, 헤드셋 디스플레이 디바이스에 포함될 수 있다. 또한, 일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 6 자유도 추적기와 같은 다른 추적 디바이스와 조합하여 사용될 수 있다. 디스플레이 디바이스(204)는 디스플레이(220), 호버 터치 컨트롤러 디바이스(202)와 통신하도록 구성된 인터페이스(222), 호버 터치 사용자 인터페이스(224), 프로세서(226) 및 메모리(228)를 포함할 수 있다..
호버 터치 컨트롤러 디바이스(202)는 사용자가 디스플레이 디바이스(204)에 대한 입력들을 입력하기 위한 입력 디바이스이다. 원격 디스플레이 디바이스(204)를 제어하는데 사용되는 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 또한 디스플레이 디바이스(204)에 대한 "원격 제어"와 같은 "원격"으로 지칭될 수 있다.
일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 헤드 마운트 디스플레이(head mounted display)와 함께 사용될 수 있다. 일부 실시 예들에서 호버 터치 컨트롤러 디바이스(202)는 헤드 마운트 디스플레이에 연결되거나, 이에 부착되거나, 그렇지 않으면 헤드 마운트 디스플레이와 조합하여 작동된다는 것이 이해될 것이다. 예를 들어, 호버 터치 컨트롤러 디바이스(202)는 헤드 마운트 디스플레이의 전면(front face)과 함께 배치된다. 특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 투시형 헤드 마운트 디스플레이와 함께 사용될 수 있도록 투명하거나 실질적으로 투명하다. 일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 자체의 무선 모듈들 및 처리 유닛들을 포함할 수 있으며, 이것은 헤드 마운트 디스플레이로부터 분리되어 핸드 레벨에서 사용될 수 있게 한다. 예를 들어, 프로세서(206)는 BLUETOOTH, ZIGBEE 또는 WI-FI와 같은 무선 인터페이스를 통해 인터랙티브 수단의 위치를 무선으로 헤드 마운트 디스플레이에 송신할 수 있다.
일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 3 차원 위치 정보를 원격 디스플레이 디바이스(204)의 인터랙티브 표면 상의 커서에 전송하도록 구성될 수 있다. 커서는 디스플레이 상에 추적 정보에 대한 시각적 표현을 제공하도록 설계된다. 특정 실시 예들에서, 커서는 인터랙티브 수단이 호버 볼륨(405) 또는 터치 존(410)에서 작동하고 있는지 여부에 대한 시각적 표현을 제공하도록 설계되며, 이에 따라 사용자는 이러한 인터랙티브 공간과 관련된 개별 입력 상태를 이해하고 그에 따라 탐색할 수 있다. 마우스 커서 또는 트랙 패드의 커서와 유사한, 이러한 커서는 호버 터치 컨트롤러 디바이스(202)의 터치 표면에 대한 인터랙티브 수단의 (x, y) 움직임을 보여준다. 예를 들어, 인터랙티브 수단이 터치 센서의 터치 표면에 대해 (x, y) 좌표에 있는 경우, 원격 디스플레이 디바이스(204) 상의 호버 터치 커서의 디스플레이는 대응하는 위치에 위치될 것이다. 또한, 특정 실시 예들에서, 인터랙티브 수단이 터치 표면 위에서 호버링하고 있거나 터치 표면을 터치하고 있는지 여부에 기초하여 상이한 컬러(color)가 커서와 연관될 수 있다. 그러나, 컬러 대신에 다른 시각적 인디케이터들이 사용될 수 있음을 이해할 것이다. 예를 들어, 커서와 관련된 원의 반경이, 인터랙티브 수단의 터치 표면에 대한 근접 및 이에 의한 그것의 z 값에 직접 대응할 수 있다. 원격 디스플레이 디바이스(204) 상의 커서 움직임 및 변환은 호버 터치 컨트롤러 디바이스(202)의 터치 표면에 대한 인터랙티브 수단의 인터랙션 상태에 관한 종합적 정보를 사용자에게 제공할 수 있다. 즉, 커서는 객체가 터치되기 전에 디스플레이 상의 어떤 객체가 터치될지 사용자가 볼 수 있게 하는 시각화를 제공한다. 이것은 사용자가 호버 터치 컨트롤러 디바이스(202) 또는 자신의 손을 내려다볼 필요성을 제거하여 원격 디스플레이 디바이스(204)를 바라 보는 것만으로 효율적으로 작업할 수 있게 한다. 이것은 예를 들어 디스플레이 상에 타이핑하는 속도를 증가시킬 수 있다.
특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 또한 프로세서(206)를 포함할 수 있다.. 프로세서(206)는 인터랙티브 수단이 터치 표면 위에서 호버링하는 3 차원 위치 정보와 터치 표면을 터치하는 2 차원 위치 정보를 구별하도록 구성될 수 있다. 예를 들어, 프로세서(206)가 터치 표면 위에서 호버링하는 인터랙티브 수단과 관련된 측정값과 터치 표면을 터치하는 인터랙티브 수단과 관련된 측정값을 구별할 수 있도록 캘리브레이션이 수행될 수 있다. 플레이트 내에서의 인터랙션들에 대한 2 차원 (x, y) 좌표가 호버 및 터치 모두에 대해 추정될 수 있다. 예를 들어, 프로세서(206)는 터치 표면 상의 투영 포인트 위에서 호버링하는 인터랙티브 수단과 관련된 호버 포인트에 대한 (x, y) 위치를 3 차원 위치 정보로부터 결정할 수 있다. 프로세서(206)는 또한 터치 표면을 터치하는 인터랙티브 수단과 관련된 터치 포인트에 대한 (x, y) 위치를 2 차원 위치 정보로부터 결정할 수 있다. 프로세서(206)는 호버 터치 컨트롤러 디바이스(202)의 터치 표면에 대한 인터랙티브 수단의 위치를 디스플레이 디바이스(204)에 전송할 수 있다.
일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)의 통신 인터페이스(216)는 제 1 종횡비를 갖는 터치 표면 위에서 호버링하는 인터랙티브 수단과 관련된 3 차원 위치 정보, 및 터치 표면을 터치하는 인터랙티브 수단과 관련된 2 차원 위치 정보를, 프로세서(226)와 같은 호버 터치 컨트롤러 디바이스(202)의 외부의 프로세서로 송신하도록 구성될 수 있다. 특정 실시 예들에서, 프로세서(226)는 터치 표면 상의 투영 포인트 위에서 호버링하는 인터랙티브 수단과 관련된 호버 점에 대한 (x, y) 위치를 3 차원 위치 정보로부터 결정할 수 있다. 프로세서(226)는 또한 터치 표면을 터치하는 인터랙티브 수단과 관련된 터치 포인트에 대한 (x, y) 위치를 2 차원 위치 정보로부터 결정할 수 있다. 특정 실시 예들에서, 프로세서(226)는 디스플레이 디바이스(204) 상의 인터랙티브 표면의 제 2 종횡비를 검색할 수 있다. 특정 실시 예들에서, 프로세서(226)는 제 2 종횡비에 대응하도록 제 1 종횡비를 조정함으로써 터치 표면의 활성 영역을 형성할 수 있다. 특정 실시 예들에서, 프로세서(226)는 활성 영역에 대한 인터랙티브 수단의 위치를 나타내는 디스플레이 디바이스(204)의 인터랙티브 표면 상의 인디케이터에게 공간 정보를 전송할 수 있다. 즉, 본 개시가 프로세서(206)의 특정 실시 예들과 관련하여 설명될 것이지만, 본 발명을 설명된 실시 예들로 제한하려는 의도는 아니라는 것이 이해될 것이다. 대조적으로, 첨부된 청구 범위 내에서 당업자에게 제안될 수 있는 대체물, 수정물 및 등가물을 포함하도록 의도된다.
일부 실시 예들에서, 호버 터치 커서는 더 큰 사용자 인터페이스 방식의 일부로서 사용된다. 예를 들어, 특정 실시 예들에서, 호버 터치 커서 및 추적은 원격 디스플레이 디바이스(204) 상의 다이렉트 공간 입력에 상응하는 것을 제공하기 위해 이용되며, 여기서 다이렉트 공간 입력은 사용자가 자신의 손가락이 호버링되고 있는 위치 및 터치가 이루어지려고 하는 시점 및 위치에 대한 디스플레이로부터의 시각적 피드백 얻는 것을 의미한다. 본질적으로, 이것은 원격 디스플레이 디바이스(204) 상의 다이렉트 공간 입력과 동등하다. 특히, 호버 모드에 대한 시각적 피드백은 멀티-터치로 모바일 디바이스와 직접 인터랙션하는 것처럼 쉽게 인터랙션하게 만든다.
도 3은 본 개시의 실시 예들에 따른 호버 터치 컨트롤러 디바이스(202)의 센서 필드들의 일 예를 도시한 것이다. 도 3에 도시된 센서 필드들(300)의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 3에 도시된 예에서는, 입력 센서(302)가 도시되어 있다. 입력 센서(302)는 근접 센서(212) 또는 터치 센서(210)와 동일하거나 그 일부로서 포함될 수 있다. 특정 실시 예들에서, 입력 센서(302)는 2 차원 직사각형 플레이트 또는 터치 표면을 포함할 수 있다. 입력 센서(302)는 근접 센서 또는 근접 감지 능력을 더 포함할 수 있다. 근접 센서는 터치 표면(306) 위에서 호버링하는 인터랙티브 수단의 3 차원 위치 정보를 제공하도록 구성될 수 있다. 예를 들어, 입력 센서(302)는 터치 표면(306) 주위에 전기장(304)을 제공하도록 구성된 투영형 용량성 센서를 포함할 수 있으며, 이것은 터치 표면(306) 위에서 호버링하는 인터랙티브 수단의 존재에 의해 교란될 시에 측정될 수 있다. 즉, 사용자의 손가락과 같은 입력 디바이스가 호버 영역(308)을 교란할 경우, 입력 센서(302)는 입력 디바이스에 의해 야기된 교란을 검출 및 측정할 수 있다. 입력 센서(302)는 접촉 센서 또는 접촉 감지 능력을 더 포함할 수 있다.. 접촉 센서는 터치 표면(306)과 접촉하는 인터랙티브 수단의 2 차원 위치 정보를 제공하도록 구성될 수 있다. 예를 들어, 입력 센서(302)는 터치 표면과 접촉하는 인터랙티브 수단의 존재에 의해 교란될 때 측정될 수 있는, 터치 표면(306) 위에 전기장을 제공하도록 구성된 투영형 용량성 센서를 포함할 수 있다.
도 4a, 도 4b 및 도 4c는 본 개시의 실시 예들에 따른 인터랙션 상태의 예들을 도시한 것이다. 도 4a, 도 4b 및 도 4c에 도시된 인터랙션 상태의 실시 예들은 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
호버 터치 컨트롤러 디바이스(202)의 추적 및 터치 데이터에 대해 추적 및 인터랙션 상태 세트가 정의될 수 있다. 특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)를 위한 인터랙션 공간은 2개의 존, 즉 호버 볼륨(405) 및 터치 존(410)으로 분류될 수 있다. 본 명세서에 사용되는 "호버 볼륨"(405)(점선으로 도시됨)은 호버 터치 컨트롤러 디바이스(202)의 표면(415) 바로 위의 볼륨이다. 본 명세서에서 사용되는 "터치 존"(410)은 호버 터치 컨트롤러 디바이스()의 표면이다.
도 4a에 도시된 예에서는, 사용자의 손가락과 같은 인터랙티브 수단(420)이 호버가 없고(z 데이터없음), 터치가 없고, 출력이 없는 상태이며 호버 볼륨(405)의 외부에 있다. 도 4b의 예에서는, 인터랙티브 수단(420)이 호버 볼륨(405) 내에 있다. 호버 볼륨(405)의 볼륨 내에서는 풀(full) 3D 추적이 가능하며, 인터랙티브 수단(420)이 추적될 수 있다. 또한, 호버 볼륨(405)에서, 인터랙티브 수단(420)의 위치는 (x, y, z)와 같은 3D 좌표로 표현된다. 인터랙티브 수단(420)의 위치의 z값은 인터랙티브 수단(420)의 팁(tip)(425)의 깊이에 대응하며, 인터랙티브 수단(420)의 팁(425)이 터치 표면(415)에 근접한 것을 추정하는데 사용될 수 있다. 도 4c에 도시된 예에서는, 인터랙티브 수단(420)가 호버 터치컨트롤러 디바이스(202)의 터치 표면(415)에 대응하는 터치 존(410)에 있다(z=0). 터치 존(410)에서는, 3D 추적 좌표가 (x, y, 0) 형태로 제공될 수 있다. 대안적으로는, z = 0이기 때문에 2D 추적이 (x, y) 형태로 제공될 수도 있다.
호버 터치 컨트롤러 디바이스(202)에 대한 다수의 개별 입력 상태들이 존재한다는 것이 이해될 것이다. 특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)에 대한 개별 상태들은 7개의 입력 상태, OUTSIDE, HOVER_ENTER, HOVER_MOVE, TOUCH_DOWN, TOUCH_MOVE, TOUCH_UP, 및 HOVER_EXIT로 분류될 수 있다. 본 명세서에서 사용되는, "OUTSIDE" 상태는 인터랙티브 수단이 호버 볼륨(405) 외부에 있을 때 발생한다. 본 명세서에서 사용되는, "HOVER_ENTER" 상태는 인터랙티브 수단이 막 호버 볼륨(405)에 진입했을 때 발생한다. HOVER_ENTER는 이산 상태이며, 호버 볼륨(405)의 외부에서 내부로의 전이 시에 단 한번 발생한다. 본 명세서에서 사용되는, "HOVER_MOVE" 상태는 인터랙티브 수단이 호버 터치 컨트롤러 디바이스(202)의 터치 표면을 터치함 없이 호버 볼륨(405) 내에서 움직일 때 발생한다. HOVER_MOVE는 다수의 디스플레이 프레임들 위에서 발생하는 연속 상태이다. 본 명세서에 사용되는, "TOUCH_DOWN" 상태는 인터랙티브 수단이 호버 터치 컨트롤러 디바이스(202)의 터치 표면을 터치할 때 발생한다. TOUCH_DOWN은 이산 상태이며, 호버 볼륨(405)에서 터치 존(410)으로 전이할 때 단 한 번 발생한다. 본 명세서에서 사용되는, TOUCH_MOVE는 인터랙티브 수단이 TOUCH_DOWN을 가지면서 호버 터치 컨트롤러(202)의 터치 표면을 가로질러 이동할 때 발생한다. TOUCH_MOVE는 다수의 디스플레이 프레임들 위에서 발생하는 연속 상태이다. 본 명세서에서 사용되는, "TOUCH_UP" 상태는 인터랙티브 수단이 TOUCH_DOWN 상태 또는 TOUCH_MOVE 상태와 HOVER_MOVE 상태 사이에서 전이될 때 발생한다. TOUCH_UP은 이산 상태이며 터치와 호버 간의 전이 중에 단 한번만 발생한다. 본 명세서에서 사용되는, "HOVER_EXIT" 상태는 인터랙티브 수단이 호버 볼륨(405)을 막 떠났을 때 발생한다. HOVER_EXIT는 이산 상태이며 인터랙티브 수단이 호버 볼륨(405) 내부에서 호버 볼륨(405) 외부로 전이될 때 단 한번만 발생한다.
일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 헤드 마운트 디스플레이와 조합하여 사용된다. 일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 헤드 마운트 디스플레이어에 연결되거나 부착되거나 또는 이와 달리 헤드 마운트 디스플레이어와 조합하여 작동될 수 있다. 예를 들어, 호버 터치 컨트롤러 디바이스(202)는 헤드 마운트 디스플레이어의 전면과 함께 배치되거나 헤드 마운트 디스플레이어의 전면에 근접하여 배치될 수 있다. 특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 투시형 헤드 마운트 디스플레이와 함께 사용될 수 있도록 투명하거나 실질적으로 투명하다. 일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 자체의 무선 모듈들 및 처리 유닛들을 포함하며, 이것은 헤드 마운트 디스플레이로부터 분리되어 핸드 레벨에서 사용될 수 있게 한다. 예를 들어, 프로세서(206)는 BLUETOOTH, ZIGBEE, 또는 WI-FI와 같은 무선 인터페이스를 통해 인터랙티브 수단(420)의 위치를 무선으로 헤드 마운트 디스플레이에 송신할 수 있다.
특정 실시 예들에서, 프로세서(206)는 터치 표면(415)에 대한 사용자의 손가락 위치에 관한 정보를 생성하기 위해 터치 센서(210) 및 근접 센서(212)의 동작을 조정할 수 있다. 프로세서(206)는 2 차원 (x, y) 위치 정보로부터, 사용자의 손가락이 터치 센서(210)의 터치 표면(415)을 터치하였음을 나타내는, 터치 센서(210)의 터치 표면(415)의 2 차원 표면에 대한 위치(예컨대 (x, y) 정보)를 결정할 수 있다. 이 위치를 "콘택트 포인트(contact point)"라고 한다. 프로세서(206)는 3 차원 (x, y, z) 위치 정보로부터, 사용자의 손가락이 터치 센서(210)의 터치 표면(415) 상의 투영 포인트 위에서 호버링하고 있음을 나타내는, 터치 센서(210)의 터치 표면(415)의 2 차원 표면에 대한 위치(예컨대 (x1, y1) 정보)를 추가로 결정하며, 이 위치를 "호버 포인트(hover point)"라고 할 수 있다. 따라서, "터치" 인터랙션 및 "호버" 인터랙션을 나타내는 정보가 생성된다.
종래의 호버 터치 컨트롤러 디바이스들은 생성된 정보에 대한 사용자 인식에 문제가 있었다. 예를 들어, 사용자의 손가락이 터치 표면(415) 위에서 또는 터치 표면을 가로질러 이동할 때, 사용자는 손가락이 언제 들어와서 어떻게 움직이는지 및 호버 터치 컨트롤러 디바이스(202)에 의해 생성되는 대응 정보에 대하여 만족스럽지 못한 인터랙션을 경험할 수 있다. 여기에는 몇 가지 이유가 있다. 한 가지 이유는 터치 표면(415)의 종횡비와 미끄러짐(slippage) 느낌을 유발하는 디스플레이를 위한 GUI 설계의 인터랙티브 표면의 종횡비 사이의 불일치의 결과일 수 있다(설계 과정에서 이러한 불일치를 설명한다). 프로세서(206)가 터치 표면(415)의 종횡비와 GUI 설계의 인터랙티브 표면의 종횡비 사이의 불일치를 결정한 것에 응답하여, 프로세서(206)는 인터랙티브 표면의 종횡비에 대응하도록 터치 표면(415)의 활성 영역을 형성한다. 프로세서(206)는 통신 인터페이스(216)를 통해 디스플레이(204)의 인터랙티브 표면 상의 인디케이터에게, 활성 영역에 대한 인터랙티브 수단의 위치를 전송한다. 본 명세서에서 사용되는, 터치 표면(415)의 "활성 영역"은 인터랙티브 표면의 종횡비와 일치하는 종횡비를 갖는 터치 존(410)의 일부이다. 이것은 또한 인터랙티브 표면의 종횡비와 일치하는 터치 존(410)의 부분의 바로 위의 호버 볼륨(405)의 부분이다. 즉, 활성 영역은 인터랙티브 수단의 종횡비와 일치하는 호버 터치 컨트롤러 디바이스(202)의 표면 바로 위의 볼륨을 포함할 수 있다..
특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 절대적 인터랙션 디바이스로 작동할 수 있다. 본 명세서에 사용되는, "절대적 인터랙션(absolute interaction)"은 일반적으로 호버 터치 컨트롤러 디바이스(202)의 터치 표면(415)과 GUI 설계의 인터랙티브 표면 사이의 1:1 매핑을 지칭한다. 예를 들어, 태블릿을 오버레이하는 터치 입력은 절대적 인터랙션 디바이스이며, 그 이유는 터치 인터랙션이 태블릿의 인터랙티브 표면의 (x, y) 위치에서 발생할 때, GUI 설계의 인터랙티브 표면 상의 커서 또는 인디케이터의 대응 위치도 또한 전술한 (x, y) 위치에 있기 때문이다. 터치, 드래그 및 해제가 발생하는 절대 위치(들)는 절대적 인터랙티브 수단에서 사용자가 인터랙션을 인식하는데 중요하다. 이러한 이유로, 절대적 인터랙티브 수단들은 입력의 종횡비가 GUI 설계의 인터랙티브 표면 종횡비와 가깝게 일치할 것을 요구한다.
특정 실시 예들에서는, 호버 터치 컨트롤러 디바이스(202)가 상대적 인터랙션 디바이스로서 동작할 수 있다. 본 명세서에서 사용되는, "상대적 인터랙션(relative interaction)"은 일반적으로 호버 터치 컨트롤러 디바이스(202)의 터치 표면(415)과 관련된 인터랙티브 수단의 위치 변화를 GUI 설계의 인터랙티브 표면에 전달하는 것을 지칭한다. 예를 들어, 트랙 패드는 상대적 인터랙션 디바이스이며, 그 이유는, 트랙 패드의 인터랙티브 표면의 (x, y) 위치에서 터치가 발생하고 그 뒤에 (x1, y1) 위치로 드래그될 경우, GUI의 인터랙티브 표면 상의 커서/입력의 대응 위치는 (x, y)와 (x1, y1) 사이의 상대적 움직임을 반영하기 때문이다. 터치 및 드래그/릴리스가 발생하는 절대 위치(들)는 중요하지 않으며, 터치와 드래그/릴리스 사이의 상대적인 이동만이 상대적 인터랙티브 수단에서의 인터랙션에 대한 사용자의 인식에 중요하다. 이러한 이유로, 상대적 인터랙티브 수단은 입력의 종횡비가 GUI 설계의 인터랙티브 표면의 종횡비와 가깝게 일치할 것을 요구하지 않는다.
본 명세서에서 사용되는, "종횡비"는 일반적으로 GUI 설계에 있어서 디스플레이의 터치 표면, 모니터 또는 인터랙티브 표면의 높이에 대한 폭의 비를 지칭한다. 종횡비는 고정된 것일 수 있다. 예를 들어, 모니터와 같은 물리적 디바이스의 스크린에 대한 종횡비는 고정되어 있다. 종횡비는 동적이며 실시간으로 달라질 수 있다. 예를 들어, GUI 설계에 있어서 디스플레이의 인터랙티브 표면에 대한 종횡비는 메뉴 선택 또는 다른 애플리케이션의 로드에 따라 달라질 수 있다. 호버 터치 컨트롤러 디바이스(202)는 물리적 디바이스이며, 터치 표면(415)의 종횡비가 고정되어 있다.
일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 절대적 인터랙션 디바이스로서 작동할 수 있다. 본 명세서에 사용되는, "절대적 인터랙션"은 일반적으로 호버 터치 컨트롤러 디바이스(202)의 터치 표면(415)과 디스플레이 디바이스(204) 상의 GUI 설계의 인터랙티브 표면 사이의 1:1 매핑을 지칭한다. 호버 터치 컨트롤러 디바이스(202)는 호버 터치 컨트롤러 디바이스(202)의 터치 표면(415)의 종횡비와 일치하지 않는 종횡비를 갖는 디스플레이 디바이스(204)를 갖는 환경에서 작동할 수 있다. 예를 들어, 호버 터치 컨트롤러 디바이스(202)는 가상 디스플레이의 인터랙티브 표면이 터치 표면(415)의 종횡비와 일치하지 않는 가상 현실 환경에서 절대적 인터랙션 디바이스로서 작동할 수 있다. 또한, 인터랙티브 디스플레이의 종횡비는 동적이며 다양한 메뉴 선택들에 따라 실시간으로 변경된다. 또한, 종횡비는 가상 현실 환경 내에서 실행되는 애플리케이션(들)에 따라 동적으로 변경될 수 있다. 따라서, 터치 표면(415)의 고정된 종횡비는 그러한 환경에서 호버 터치 컨트롤러 디바이스(202)의 적용성을 제한한다.
일부 실시 예들에서, 프로세서(206)는 3 차원 위치 정보로부터, 터치 표면(415) 상의 투영 포인트 위에서 호버링하는 인터랙티브 수단(420)와 관련된 호버 포인트에 대한 (x, y) 위치를 결정할 수 있다. 또한, 프로세서(206)는 3 차원 위치 정보로부터, 터치 표면(415) 상에 투영된 호버 포인트 위의 인터랙티브 수단(420)의 높이에 대한 (z) 위치를 결정할 수 있으며, 이것이 인터랙티브 수단(420)의 풀 3D 추적을 초래할 수 있다. 호버 터치 컨트롤러 디바이스(202)는 다른 추적 정보와 함께 사용된다. 특정 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 6 자유도 디바이스와 함께 사용된다. 6 자유도 디바이스는 3 차원 위치(x, y, z) 및 배향(피치, 요, 롤)에 관한 추적 정보를 제공할 수 있다. 특정 실시 예들에서는, 호버 터치 컨트롤러 디바이스(202)가 6 자유도 디바이스와 조합됨으로써, 사용자가 가상 디스플레이의 인터랙티브 표면과 인터랙션하려는 위치에 대한 컨텍스트 정보를 제공하는 하이브리드 디바이스를 제공한다. 호버 터치 컨트롤러 디바이스(202)는 6 자유도 디바이스에 영구적으로 장착될 수 있다. 대안적으로, 호버 터치 컨트로러 디바이스(202)는 6 자유도 디바이스에 분리 가능하게 장착된다. 6 자유도 디바이스가 일 예로서 제공되었만, 호버 터치 컨트로러 디바이스(202)는 다른 추적 디바이스들과 조합될 수도 있다.
일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 제 1 종횡비의 터치 표면(415)을 갖는 터치 센서(210)를 포함할 수 있다.. 호버 터치 컨트롤러 디바이스(202)는 프로세서(206)를 더 포함할 수 있다.. 프로세서(206)는 3 차원 공간 정보를 그래픽 사용자 인터페이스(Graphical User Interface, GUI)에 전송한다. GUI는 제 2 종횡비의 인터랙티브 표면을 갖는 디스플레이 디바이스(204) 상의 호버 이벤트들 및 터치 이벤트들에 기초하여 시각화를 생성한다. 특정 실시 예들에서, 프로세서(206)는 제 1 종횡비에 대응하는 활성 영역(510)을 형성하도록 터치 표면(415)을 제어한다. 예를 들어, 프로세서(206)는 터치 표면(415)의 제 1 부분을 활성 영역(510)으로 구성하고, 터치 표면(415)의 제 2 부분을 비활성 영역으로 구성함으로써, 활성 영역(510)의 종횡비가 디스플레이의 인터랙티브 표면의 제 2 종횡비와 일치하게 되도록 한다. 특정 실시 예들에서, 프로세서(206)는 활성 영역(510) 내에서 발생하는 호버 이벤트들 및 터치 이벤트들만을 GUI에 전송하도록 구성되며, 이것이 인터랙티브 표면 상의 커서에 의해서 3 차원 공간 정보를 나타낸다. 예를 들어, 프로세서(206)는 호버 이벤트들 및 터치 이벤트들에 대해 활성 영역(510)만을 모니터링 및 보고할 수 있다.
일부 실시 예들에서, GUI 디스플레이의 종횡비는 동적이며, 프로세서(206)는 터치 표면의 활성 영역(510)의 종횡비를 실시간으로 변경하여 GUI 디스플레이의 종횡비와 일치하도록 구성될 수 있다. 예를 들어, GUI 디스플레이의 종횡비는 GUI 설계 내에서 메뉴를 선택하거나 애플리케이션을 선택하여 변경할 수 있다. 특정 실시 예들에서, 프로세서(206)는 제 2 종횡비를 결정하도록 구성될 수 있다. 예를 들어, 프로세서(206)는 시스템에서 선택된 메뉴 종횡비(Menu Aspect Ratio, MAR) 또는 선택된 애플리케이션 종횡비를 등록하는 GUI에 기초하여 활성 영역(510)에 대한 종횡비를 결정하도록 구성될 수 있다. 다른 예에서, 프로세서(206)는 디스플레이 디바이스(204)의 배향 또는 관성 측정 유닛에 기초하여 활성 영역(510)의 종횡비를 결정하도록 구성될 수 있다. 또 다른 예에서, 프로세서(206)는 가로 모드 및 세로 모드를 지원하는 분할 화면 시스템에서 제 1 인터랙티브 디스플레이 표면으로부터 제 2 인터랙티브 디스플레이 표면으로 전이하는 커서에 기초하여 활성 영역(510)의 종횡비를 결정하도록 구성될 수 있다. 또 다른 예에서, 프로세서(206)는 활성 인터랙티브 디스플레이가 폴딩 폰의 폴딩되지 않은 디스플레이 표면인지 폴딩된 디스플레이 표면인지에 기초하여 활성 영역(510)의 종횡비를 결정하도록 구성될 수 있다. 또 다른 예에서, 프로세서(206)는 인터랙티브 디스플레이 표면과의 커서 인터랙션이 상대적 인터랙션인지 아니면 절대적 인터랙션인지에 기초하여 호버 터치 컨트롤러 디바이스(202)의 활성 영역(510)의 종횡비를 결정하도록 구성될 수 있다.
특정 실시 예들에서, 프로세서(206)는 활성 영역(510)의 면적을 최대화하도록 구성된다. 프로세서(206)는 터치 표면(415)의 중앙을 중심으로 등록된 MAR을 갖는 활성 영역(510)의 면적을 최대화하기 위한 알고리즘을 사용할 수 있다. 예를 들어, 등록된 MAR이, 사용자가 1:2의 종횡비를 갖는 메뉴를 선택했지만 터치 표면(415)이 1:1의 종횡비를 갖는 것을 나타내는 경우, 알고리즘은 자동적으로 터치 표면(415)에 맞을 수 있고 터치 표면(415)의 중앙에 배치될 수 있는 가장 큰 직사각형의 종횡비 1:2를 알아내게 된다. 알고리즘은 터치 표면(415)을 2개의 영역, 즉 활성 영역(510) 및 비활성 영역으로 효과적으로 분할한다. MAR에 대응하는 활성 영역(510)에서 발생하는 인터랙션 만이 GUI에게 전달될 것이다. 비활성 영역에서 발생하는 모든 인터랙션은 GUI에 전달되지 않으며, GUI 설계의 인터랙티브 영역 상의 커서 입력에 영향을 주지 않게 된다.
도 5는 본 개시의 실시 예들에 따른 형성된 활성 영역(510)의 일 예를 도시한 것이다. 도 5에 도시된 형성된 활성 영역(510)의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 5에 도시된 예에서, 호버 터치 컨트롤러 디바이스(202)의 터치 표면은 약1:1의 종횡비를 갖는 실질적으로 정사각형이다. 대조적으로, 터치 표면(415)의 1.1 종횡비와 달리, 등록된 MAR은 사용자가 GUI 내에서 종횡비가 1:2.2 인 메뉴를 선택했음을 나타낸다. 사용자의 선택에 응답하여, 프로세서(206)는 등록된 MAR에 대응하는 종횡비를 갖는 터치 표면(415) 상에 활성 영역(510)을 형성하도록 구성될 수 있다. 특정 실시 예들에서, 프로세서(206)는 터치 표면(415)의 중앙을 중심으로 활성 영역(510)을 더 형성함으로써 활성 영역(510)의 크기를 최대화할 수 있다. 도 5에 도시된 바와 같이, 터치 표면(415)은 터치 표면(415)의 활성 영역(510)의 외부에 위치한 활성 영역(510) 및 하나 이상의 비활성 영역(들)(520)을 가질 수 있다. 프로세서(206)는 또한 활성 영역(510) 내의 터치 표면(415)과 인터랙션하는 인터랙티브 수단(420)과 비활성 영역(들)(520) 내의 터치 표면(415)과 인터랙션하는 인터랙티브 수단(420)을 구별하도록 구성된다. 예를 들어, 프로세서(206)가 인터랙티브 수단(420)이 터치 표면(415)의 활성 영역(510)을 호버링하거나 터치하고 있다는 것을 3 차원 정보로부터 결정할 때, 프로세서(206)는 3 차원 정보를 인터랙티브 표면 상의 커서에 전달할 것이다. 따라서, 커서는 활성 영역(510)의 종횡비에 대한 인터랙티브 수단(420)의 위치를 나타낼 것이며, 이는 인터랙티브 표면의 MAR과 동일할 것이다. 대조적으로, 프로세서(206)가 인터랙티브 수단(420)이 터치 표면(415)의 비활성 영역(520)을 호버링하거나 터치하고 있다는 것을 3 차원 정보로부터 결정할 때, 프로세서(206)는 3 차원 정보를 인터랙티브 표면 상의 커서에 전달하지 않을 것이다. 특정 실시 예들에서, 인터랙티브 수단(420)이 비활성 영역(520) 내에 위치한다고 프로세서(206)가 결정할 때, 프로세서(206)는 활성 영역(510) 내에서의 인터랙티브 수단(420)의 마지막 알려진 위치를 보고할 수 있다.
도 6a 및 도 6b는 본 개시의 실시 예들에 따라 형성된 활성 영역과의 인터랙션들의 예들을 도시한 것이다. 도 6a 및 도 6b에 도시된 형성된 활성 영역(510)의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 6a에 도시된 예에서, 등록된 MAR의 종횡비는 1:2이고, 터치 표면(415) 상에 형성된 활성 영역(510)의 대응하는 종횡비는 또한 1:2 이다. 도시된 바와 같이, 인터랙티브 수단(420)은 사용자의 손가락일 수 있다. 좌표 용어로 설명된 바와 같이, 사용자의 손가락의 위치는 활성 영역(510)의 왼쪽 하단 코너에 대해 (0.2, 0.4)이다. 즉, 백분율 용어로, 손가락은 활성 영역(510)의 폭의 20% 및 활성 영역(510)의 높이의 40%에 대응하는 위치에 위치된다. 좌표 용어로 설명된 바와 같이, 커서(610)의 대응하는 위치는 GUI 메뉴의 인터랙티브 표면(620)의 왼쪽 하단 코너에 대해 (0.2, 0.4)이다. 즉, 백분율 용어로, 커서(610)는 인터랙티브 표면(620)의 폭의 20% 및 인터랙티브 표면(620)의 높이의 40%에 대응하는 위치에 위치된다. 따라서, 사용자의 손가락 및 커서(610)는 동일한 상대 위치에 위치된다. 또한, 활성 영역(510)은 MAR과 일치하는 종횡비로 형성되었기 때문에, 호버 터치 컨트롤러 디바이스(202)는 절대적 인터랙션 디바이스로서 작동할 수 있다. 알 수 있는 바와 같이, 호버 터치 컨트롤러 디바이스(202)는 절대적 인터랙션 디바이스로서 작동하도록 구성되었지만, 활성 영역(510) 및 인터랙티브 표면(620)의 물리적 크기는 종횡비가 동일하더라도 상이하다.
일부 실시 예들에서, 인터랙티브 표면(620)의 종횡비는 사용자가 애플리케이션을 통해 이동함에 따라 변경될 수 있고, 프로세서(206)는 인터랙티브 표면(620)의 변경에 기초하여 터치 표면(415)의 활성 영역(510)을 형성하도록 구성된다. 예를 들어, 사용자가 애플리케이션을 작동시킴에 따라, 프로세서(206)는 사용자가 GUI 설계 내에서 상이한 종횡비를 갖는 상이한 메뉴에 초점을 맞추는 것에 응답하여 터치 표면(415)의 활성 영역(510)을 동적으로 재구성할 수 있다. 프로세서(206)는 최적 맞춤 알고리즘(best fit algorithm)을 사용하여 업데이트된 종횡비로 활성 영역(510)을 형성할 수 있다. 예를 들어, 알고리즘은 터치 표면(415)의 중앙을 중심으로 형성된 활성 영역(510)의 크기를 최대화할 수 있다. 일부 실시 예들에서, 종횡비는 동작에 응답하여 동적으로 적응된다. 예를 들어, 등록된 MAR의 종횡비는 도 6a에서 1.2이고, 터치 표면(415) 상에 형성된 활성 영역(510)의 대응하는 종횡비 또한 1:2이다. 특정 실시 예들에서, 도 6a의 MAR 구성은 GUI 설계의 홈 화면을 나타낼 수 있다. 즉, GUI 설계의 홈 화면은 세로 배향이다. 대조적으로, 등록된 MAR 의 종횡비는 도 6b에서 2:1이고, 터치 표면(415) 상의 터치 상에 형성된 활성 영역(510)의 대응하는 종횡비 또한 2:1이다. 특정 실시 예들에서, 도 6b의 MAR 구성은 사용자가 홈 화면에서 작동하는 GUI 설계에서 애플리케이션을 나타낼 수 있다. 즉, 애플리케이션은 가로 배향이다. 특정 실시 예들에서, 활성 영역(510)은 애플리케이션이 개방되는 것에 응답하여 실시간으로 변경될 수 있다. 즉, 프로세서(206)는 활성 영역(510)의 종횡비를 즉시 적응시켜, 개방된 애플리케이션의 등록된 MAR의 2:1 종횡비와 일치하도록 구성될 수 있다.
도 7은 본 개시의 실시 예들에 따른 형성된 활성 영역(510)의 다른 예를 도시한 것이다. 도 7에 도시된 형성된 활성 영역(510)의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 7에 도시된 예에서, 가로 배향 및 종횡비가 2.2:1인 직사각형 형상을 갖는 GUI에서 메뉴를 선택하면 프로세서(206)는 2.2:1의 대응하는 종횡비로 터치 표면(415) 상에 활성 영역(510)을 형성하게 된다. 도 7에 도시된 예에서, 활성 영역(510)은 2.2:1의 종횡비를 갖는 활성 영역(510)의 크기를 최대화하는 한편, 활성 영역(510)을 터치 표면(415)의 하단 가장자리와 정렬함으로써 하단 가장자리에서 시작하여 사용자의 손가락으로 쉽게 도달할 수 있다. 특정 실시 예들에서, 형성된 활성 영역(510)은 터치 표면(415)의 중앙 주위에 위치된다. 다른 실시 예에서, 활성 영역(510)은 사용자가 왼손잡이인지 오른손잡이인지, 디바이스 배향 등과 같은 인간 공학적 요인에 따라 결정된 위치에 형성된다.
도 8은 본 개시의 실시 예들에 따른 형성된 활성 영역(510)의 다른 예를 도시한 것이다. 도 8에 도시된 형성된 활성 영역(510)의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 8에 도시된 예에서, 세로 배향 및 종횡비가 1:1.32인 직사각형 형태를 갖는 GUI에서 메뉴를 선택하면, 프로세서(206)는 1:1.32의 대응하는 종횡비로 터치 표면(415) 상에 활성 영역(510)을 형성하게 된다. 도 8에 도시된 예에서, 활성 영역(510)은 터치 표면(415)의 중앙을 중심으로 1:1.32의 종횡비를 갖는 활성 영역(510)의 크기를 최대화하여, 활성 영역(510)의 하부가 터치 표면(415)의 하부 가장자리에 인접하게 되도록 한다.
도 9는 본 개시의 실시 예들에 따른 형성된 활성 영역(510)의 다른 예를 도시한 것이다. 도 9에 도시된 형성된 활성 영역(510)의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 9에 도시된 예에서, 종횡비가 1:1.1인 GUI에서 메뉴를 선택하면, 프로세서(206)는 1:1.1의 대응하는 종횡비로 터치 표면(415) 상에 대응하는 활성 영역(510)을 형성하게 된다. 도 9에 도시된 예에서는, 터치 표면(415)의 종횡비도 또한 1:1.1이고, 따라서 활성 영역(510)은 터치 표면(415)에 완전히 대응하게 된다. 따라서, 호버 터치 센서(210)의 터치 표면(415) 전체가 활성 영역(510)에 대응하게 되고, 비활성 영역(510)은 없게 된다.
일부 실시 예들에서, 호버 터치 컨트롤러 디바이스(202)는 또한 관성 측정 유닛(Inertial Measurement Unit, IMU)을 포함할 수 있다.. IMU는 하나 이상의 가속도계(들) 및 자이로 스코프(들)를 사용하여 배향(피치(pitch), 요(yaw), 롤(roll))과 관련된 측정 정보를 제공하도록 구성된 전자 디바이스이다. IMU 측정 정보는 전역 기준에 대한 자세, 각속도, 선형 속도 및 위치를 계산하는데 사용될 수 있다. 예를 들어, IMU는 프로세서(206)에 절대 위치(x, y, z) 및 방향(피치, 요, 롤)에 관한 추적 정보를 제공할 수 있다. 특정 실시 예들에서, IMU 추적 정보는 호버 터치 컨트롤러 디바이스(202)의 배향이 인터랙티브 포인터로서 사용될 수 있게 한다. IMU 3 자유도(Degrees Of Freedom, DOF) 포인팅 정보를 얻는 한가지 방법을 제공하지만, 그렇게 하는 유일한 방법은 아니다. 자기, 초음파 등과 같은 3D 추적 기술도 이 기능을 얻기 위해 사용될 수 있다. 또한, 6 DOF 추적기와 같은, 오퍼링의 일부로서 두 배향 정보를 제공하는 기술이 이러한 방식으로 작동하도록 수정될 수 있다.
도 10은 본 개시의 실시 예들에 따른 활성 영역(510)에 대한 종횡비를 결정하는 다른 예를 도시한 것이다. 도 10에 도시된 황성 영역(510)에 대한 종횡비를 결정하는 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 10에 도시된 예에서, 프로세서(206)는 호버 터치 컨트롤러 디바이스(202)의 배향에 기초하여 선택된 메뉴에 대응하는 종횡비를 결정하도록 구성될 수 다. 예를 들어, 인터랙티브 디스플레이의 종횡비는 GUI 설계 내의 메뉴 선택에 따라 변경될 수 있다. 도 10에 도시된 바와 같이, 메뉴(1010)는 세로 배향의 종횡비를 가지며 메뉴(1020)는 가로 배향의 종횡비를 갖는다. 호버 터치 컨트롤러 디바이스(202)의 배향을 변경함으로써, 사용자는 인터랙티브 포인터로서 호버 터치 컨트롤러 디바이스(202)를 사용하여 메뉴(1010) 또는 메뉴(1020)를 선택할 수 있다. 특정 실시 예들에서, 선택은 호버 터치 컨트롤러 디바이스(202) 상의 하드웨어 버튼 또는 소프트웨어 버튼을 활성화함으로써 확인된다. 메뉴 선택에 응답하여, 프로세서(206)는 선택된 메뉴의 종횡비와 일치하도록 터치 표면(415)의 활성 영역(510)을 재구성할 수 있다. 예를 들어, 사용자가 호버 터치 컨트롤러 디바이스(202)의 배향을 사용하여 세로 메뉴(1010)를 선택하고 버튼을 활성화함으로써 선택을 확인하면, 활성 영역(510)의 종횡비가 다른 경우 세로 메뉴(1010) 종횡비와 일치하게 되도록 재구성된다. 대안적으로 또는 부가적으로, 사용자가 호버 터치 컨트롤러의 배향을 사용하여 가로 메뉴(1020)를 선택하면, 활성 영역(510)의 종횡비는 가로 종횡비와 일치하게 되도록 재구성된다.
일부 실시 예들에서, 활성 영역(510)의 위치는 효율 및 편안함과 같은 인체 공학적 요소에 의해 결정된다. 예를 들어, 사용자가 편안하게 도달할 수 있는 터치 표면(415)의 부분들은 사용자가 오른손잡이인지 왼손잡이인지 및 손의 크기에 따라 달라진다. 이러한 이유로, 사용자는 활성 영역(510)의 부분들에 도달하는 것이 불편하거나 불가능하다는 것을 알 수 있다. 따라서, 인간 공학적 이유로, 예를 들어 가로 MAR의 경우에, 단순히 중앙에 매핑된 영역(510)에 또는 하단 가장자리에 인접하여 활성 영역(510)을 위치시키는 것 이외에도, 터치 표면(415) 내에 활성 영역(510)을 위치시키는 더 나은 방법이 필요하다.
도 11은 본 개시의 실시 예들에 따른 도달 패턴의 일 예를 도시한 것이다. 도 11에 도시된 도달 패턴의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 11은 활성 영역(510)이 터치 표면(415)의 중앙에 위치할 때 자신의 오른손 엄지(420)를 인터랙티브 입력 디바이스로서 사용하는 사용자에 대한 사용자 도달 패턴을 도시한 것이다. 사용자는 터치 표면(415)의 중앙에 위치한 활성 영역(510)에 의해서 활성 영역(510)의 일부(1110)에 도달하는 것이 불편하거나 불가능하다는 것을 알 수 있다.
도 12는 본 개시의 실시 예들에 따라 활성 영역(510)이 터치 표면(415)의 오른쪽에 매핑될 때 도달 패턴의 다른 예를 도시한 것이다. 도 12에 도시된 도달 패턴의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 12는 활성 영역(510)이 터치 표면(415)의 오른쪽에 위치할 때 사용자에 대한 대응 도달 패턴을 도시한 것이다. 도 11 및 도 12에 도시된 바와 같이, 터치 표면(415)의 오른쪽에 활성 영역(510)을 위치시키는 것은 입력 디바이스로서 자신의 오른손 엄지 손가락(420)을 사용하는 사용자에게는 더 편안할 것이다. 특정 실시 예들에서, 활성 영역(510)의 위치는 도달 가능성에 기초하며 정적이다. 그러나, 활성 영역(510)의 융기 부분이 도달 가능성 문제에 대한 최적의 솔루션이 되지 않는 다른 인체 공학적 요소가 있다. 예를 들어, 활성 영역(510)이 터치 표면(415) 상에 배치되는 위치에 대한 사용자 인식은 시간이 지남에 따라 변경될 수 있다.
일부 실시 예들에서, 프로세서(206)는 터치 표면(415) 내에 활성 영역(510)을 배치하기 위한 최적의 위치를 동적으로 결정하기 위해 매핑 알고리즘을 사용할 수 있다. 특정 실시 예들에서, 알고리즘은 프로세서(206)에 의해 결정되는 HOVER_ENTER 상태에 기초한 위치에, 활성 영역(510)의 최대화된 영역을 배치하도록 구성된다. 예를 들어, 프로세서(206)는 3 차원 (x, y, z) 위치 정보로부터 호버 엔트리 포인트를 결정할 수 있고, 따라서 터치 표면(415)의 2 차원 표면에 대한 (x, y, z) 위치는 그것이 터치 표면(415)에 막 들어갔을 때의 인터랙티브 수단(420)의 위치에 대응한다. 프로세서(206)는 결정된 호버 엔트리 포인트에 기초하여 터치 표면(415) 내에서 활성 영역(510)을 추가로 재배치할 수 있으며, 이에 따라 활성 영역(510)의 가장자리가 호버 엔트리 포인트에 인접하게 되도록 한다. 예를 들어, 프로세서(206)가 호버 인터랙션, HOVER_ENTER에서 터치 표면(415)의 오른쪽으로 들어가는 사용자의 엄지 손가락을 검출할 경우, 활성 영역(510)은 또한 터치 스크린의 오른쪽에 배치된다. 대안적으로, 활성 영역(510)이 이전에 다른 위치에 배치된 경우 터치 스크린의 오른쪽으로 시트프된다. 활성 영역(510)은 프로세서(206)가 호버 인터랙션, HOVER_EXIT에서 터치 표면(415)을 떠나는 사용자의 엄지 손가락을 검출할 때까지 터치 표면(415)의 오른쪽에 유지된다. 예를 들어, 터치 표면(415)의 하부 중앙에서 HOVER_ENTER가 검출되는 경우, 활성 영역(510)은 터치 표면(415)의 하부 중앙과 정렬되도록 시프트하고, HOVER_EXIT가 검출될 때까지 거기에 유지된다. 이와 관련하여, 활성 영역(510)은 사용자의 엄지 손가락이 호버 터치 컨트롤러 디바이스(202)의 감지된 호버 영역으로 들어가는 위치에 기초하여, 터치 표면(415)의 경계 내에서 가장 적절한 위치로 슬라이딩된다.
도 13은 본 개시의 실시 예들에 따른 세로 배향을 갖는 활성 영역(510)의 예들을 도시한 것이다. 도 13에 도시된 활성 영역의 실시 예들은 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 13에 도시된 예에서, 활성 영역(510)은 세로 배향의 직사각형 종횡비를 갖는다. 프로세서(206)가 HOVER_ENTER를 검출하는 것에 응답하여, 활성 영역(510)은 터치 표면(415)의 경계 내의 상이한 위치들에 적응된다. 도시된 바와 같이, 활성 영역(510)은 그렇게 하는 것이 방해받지 않는 한, 활성 영역(510)을 HOVER_ENTER 포인트의 중앙 주위로 집중시킴으로써, 터치 표면(415)의 제약 사항들 내에서 자체적으로 정렬되도록 구성된다. 예를 들어, 도 13b, 도 13c 및 도 13d의 예에 도시된 바와 같이, 활성 영역(510)의 하부 중앙이 HOVER_ENTER 포인트(1310)의 중앙 주위에 정렬된다. 대조적으로, 도 13b, 도 13c 및 도 13d에 도시된 예들과 같이, HOVER_ENTER의 위치가 이것의 발생을 방해하는 경우, 활성 영역(510)은 최적 맞춤 방법으로 정렬될 것이다. 예를 들어, 도 13a, 도 13b, 도 13e 및 도 13f의 예들에 도시된 바와 같이, HOVER_ENTER 포인트(1310)의 위치는, 활성 영역(510)이 완전히 정렬되기 전에 슬라이딩 활성 영역(510)의 가장자리가 터치 스크린(415)의 둘레에 접하게 되도록 구성된다. 즉, HOVER_ENTER 위치(1310)가, 활성 영역(510)이 HOVER_ENTER 위치(1310)의 중앙에 놓일 수 없도록 이루어진 경우, 활성 영역(510)은 터치 표면(415)의 컨파이닝 가장자리에 자신을 인접시킴으로써 최적 맞춤을 행한다.
도 14는 본 개시의 실시 예들에 따른 가로 배향을 갖는 활성 영역들의 예들을 도시한 것이다. 도 14에 도시된 활성 영역들의 실시 예들은 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 14에 도시된 예에서는, 활성 영역(510)이 가로 배향을 갖는 직사각형 종횡비를 갖는다. 프로세서(206)가 HOVER_ENTER를 검출하는 것에 응답하여, 활성 영역(510)이 터치 표면(415)의 경계 내에서 상이한 위치들로 슬라이딩된다. 도시된 바와 같이, 활성 영역(510)은, 방해받지 않는 한, 활성 영역(510)을 HOVER_ENTER 포인트(1310)의 중앙 주위에 집중시킴으로써 터치 표면(415)의 제약 경계 내에서 자체적으로 정렬된다. 예를 들어, 도 14e의 예에 도시된 바와 같이, 오른쪽 활성 영역(510)의 중앙이 HOVER_ENTER 포인트(1310)의 중앙 주위에 정렬된다. 대조적으로, 도 14e의 예와 같이, HOVER_ENTER 포인트(1310)의 위치가 이것의 발생을 방지하는 경우, 활성 영역(510)은 최적 맞춤 방법으로 정렬된다. 예를 들어, 도 14a, 도 14b, 도 14c 및 도 14d의 예들에 도시된 바와 같이, HOVER_ENTER 포인트(1310)의 위치는, 활성 영역(510)이 완전히 정렬되기 전에 슬라이딩 활성 영역(510)의 가장자리가 터치 스크린의 둘레에 접하게 되도록 이루어진다. 즉, HOVER_ENTER 포인트(1310) 위치가, 활성 영역(510)이 HOVER_ENTER 포인트(1310) 위치의 중앙에 놓일 수 없도록 이루어진 경우, 활성 영역(510)은 터치 표면(415)의 컨파이닝 가장자리에 자신을 인접시킴으로써 최적 맞춤을 행한다.
도 15는 프로세서에 의해 수행될 수 있는 본 개시의 실시 예들에 따른 호버 터치 컨트롤러 디바이스(202)를 사용할 때 다양한 그래픽 사용자 인터페이스(GUI) 설계를 지원하도록 보정하기 위한 프로세스(1500)를 도시한 것이다. 이 흐름도가 일련의 순차적인 블록을 도시하고 있지만, 명시적으로 언급되지 않는 한, 수행의 특정 순서에 관한 시퀀스로부터 블록 또는 그 일부에 대한 동시적 또는 중첩 방식이 아닌 순차적 수행 또는 개재 또는 중간 블록의 발생이 없는 전적으로 도시된 블록의 수행을 추론해서는 안된다. 본 예에 도시된 프로세스는 예를 들어 호버 터치 컨트롤러 디바이스(202)의 프로세서(206)에 의해 구현된다.
블록(1505)에서, 프로세서(206)는 호버 터치 컨트롤러 디바이스(202)의 터치 표면(415)의 제 1 종횡비를 식별한다. 블록(1510)에서, 프로세서(206)는 디스플레이의 인터랙티브 표면의 제 2 종횡비를 결정한다. 일부 실시 예들에서, 제 2 종횡비를 결정하는 것은 그래픽 사용자 인터페이스 내에서 메뉴를 선택하는 것, 디스플레이 또는 관성 측정 유닛의 배향을 변경하는 것, 제 1 인터랙티브 디스플레이 표면에서 제 2 인터랙티브 디스플레이 표면으로의 인디케이터를 전이시키는 것 및/또는 인터랙티브 디스플레이 표면과의 인디케이터 인터랙션이 상대적 인터랙션인지 또는 절대적 인터랙션인지를 결정하는 것 중 하나 이상에 대한 응답이다.
후속적으로, 블록(1520)에서 프로세서(206)는 제 2 종횡비와 제 1 종횡비 사이의 차이를 모니터링한다.
일부 실시 예들에서, 블록(1520)에서, 프로세서(206)는 인터랙티브 수단(420)에 대한 공간 정보를 더 수신하며, 이 공간 정보는 터치 표면(415) 상의 콘택트 포인트를 터치하는 인터랙티브 수단(420)를 나타내는 터치 센서(210)로부터의 2차원 위치 정보, 및 터치 표면(415) 상에 투영된 호버 포인트의 최대 깊이 내에서 호버링하는 인터랙티브 수단(420)를 나타내는 근접 센서(210)로부터의 3 차원 위치 정보를 포함할 수 있다.. 일부 실시 예들에서, 블록(1520)에서, 프로세서(206)는 투영된 호버 포인트가 처음으로 터치 표면(415)에 진입하는 위치에 대응하는 수신된 3 차원 위치 정보로부터 터치 표면(415)의 2 차원 표면에 대한 2 차원 호버 엔트리 포인트를 더 결정한다.
다음으로, 제 2 종횡비가 제 1 종횡비와 다르다는 것을 식별한 것에 응답하여, 블록(1530)의 프로세서(206)는 제 2 종횡비에 대응하도록 제 1 종횡비를 조정함으로써 터치 표면(415)의 활성 영역(510)을 형성한다. 일부 실시 예들에서, 활성 영역(510)을 형성하는 것은 터치 표면(415)의 제 1 부분을 활성 영역(510)으로 구성하고, 터치 표면(415)의 제 2 부분을 비활성 영역(520)으로 구성하는 것을 포함할 수 있다.. 일부 실시 예들에서, 활성 영역(510)을 형성하는 것은 터치 표면(415)의 중앙을 중심으로 활성 영역(510)의 면적을 최대화하는 단계를 포함할 수 있다.. 일부 실시 예들에서, 블록(1530)의 프로세서(206)는 인터랙티브 표면에서의 변경을 검출하는 것에 응답하여 터치 표면(415)의 활성 영역(510)을 형성한다. 일부 실시 예들에서, 블록(1530)의 프로세서(206)는 호버 엔트리 포인트에 기초하여 터치 표면(415) 내에서 활성 영역(510)을 더 형성함으로써, 활성 영역(510)의 가장자리가 호버 엔트리 포인트에 인접하게 되도록 한다. 일부 실시 예들에서, 블록(1530)의 프로세서(206)는 연속적인 호버 엔트리 포인트들에 기초하여 터치 표면(415) 내에서 활성 영역(510)을 더 재배치한다.
후속적으로, 블록(1540)에서 프로세서(206)는 활성 영역(510)에 대한 인터랙티브 수단(420)의 위치를 나타내는 공간 정보를 인터랙티브 표면 상의 인디케이터에게 전달한다.
본 개시가 특정 실시 예들과 관련하여 설명되었지만, 본 발명을 설명된 실시 예들로 제한하려는 의도가 아니라는 것이 이해될 것이다. 반대로, 첨부된 청구 범위 내에 속하는 것으로 당업자에게 제안될 수 있는 대체물, 수정물 및 등가물을 포함하는 것으로 의도된다. 본 발명은 이들 특정 세부 사항의 일부 또는 전부 없이도 실시될 수 있다. 또한, 본 발명을 불필요하게 모호화하지 않기 위해 잘 알려진 특징들은 상세하게 설명되지 않았을 수 있다.
본 발명에 따르면, 컴포넌트, 프로세스 단계 및/또는 데이터 구조는 다양한 유형의 운영 체제, 프로그래밍 언어, 컴퓨팅 플랫폼, 컴퓨터 프로그램 및/또는 컴퓨팅 장치를 사용하여 구현될 수 있다. 또한, 당업자는 하드와이어드 디바이스, FPGA(Field Programmable Gate Array), ASIC(application specific integrated circuit) 등과 같은 디바이스가 여기에 개시된 본 발명의 개념의 범위 및 사상을 벗어나지 않고 사용될 수 있음을 인식할 것이다. 본 발명은 또한 메모리 장치와 같은 컴퓨터 판독 가능 매체 상에 저장된 일련의 컴퓨터 명령어들로서 유형적으로 구현될 수 있다.
본 명세서의 어떠한 설명도, 임의의 특정 요소, 단계, 또는 기능이 청구 범위에 포함되는 필수 요소를 나타내는 것으로 독해되어서는 아니된다. 본 발명의 특허청구범위는 청구항들에 의해서만 규정된다. 또한, "~하기 위한 수단"이라는 정확한 단어가 분사로 이어지지 않는다면, 어떠한 청구항들도 미국 특허법 35 U.S.C. §112(f)의 해석을 적용하려는 것이 아니다.
101: 전자 디바이스
120: 프로세서
160: 디스플레이
102: 디스플레이 디바이스

Claims (21)

  1. 전자 디바이스에 있어서,
    제 1 종횡비를 갖는 터치 표면을 갖는 터치 센서;
    근접 센서; 및
    상기 터치 센서 및 근접 센서와 연결되는 프로세서를 포함하며,
    상기 프로세서는,
    상기 전자 디바이스와 통신하는 디스플레이 디바이스의 인터랙티브 표면(interactive surface)의 제 2 종횡비를 확인하고, 상기 제 2 종횡비는 상기 제 1 종횡비와 상이하며,
    상기 제 2 종횡비에 대응하도록 상기 제 1 종횡비를 조정함으로써 상기 터치 표면의 활성 영역(active area)을 형성하고,
    상기 터치 센서 및 근접 센서를 기초하여 상기 활성 영역에 대한 상기 인터랙티브 수단의 위치를 나타내는 공간 정보를 상기 디스플레이 디바이스의 상기 인터랙티브 표면 상의 인디케이터(indicator)에 전달하도록 구성되는 전자 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 인터랙티브 표면의 변화에 기초하여 상기 터치 표면의 상기 활성 영역을 형성하도록 더 구성되는 전자 디바이스.
  3. 제 1 항에 있어서,
    상기 터치 센서는, 상기 터치 표면 상의 콘택트 포인트(contact point)를 터치하는 상기 인터랙티브 수단과 관련된 2 차원 위치 정보를 제공하도록 구성되고, 상기 근접 센서는 상기 터치 표면 상에 투영되는 호버 포인트(hover point)의 최대 깊이 내에서 호버링(hovering)하는 인터랙티브 수단과 관련된 3 차원 위치 정보를 제공하도록 구성되는 전자 디바이스.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    호버 포인트가 상기 터치 표면에 처음 진입하는 위치에 기초하여 호버 엔트리 포인트(hover entry point)를 결정하고,
    상기 호버 엔트리 포인트에 기초하여, 상기 활성 영역의 가장자리가 상기 호버 엔트리 포인트에 인접하게 되도록, 상기 터치 표면 내의 상기 활성 영역을 재형성하도록 더 구성되며,
    상기 활성 영역은 연속적인 호버 엔트리 포인트들에 기초하여 상기 터치 표면 내에 적응되는 전자 디바이스.
  5. 제 1 항에 있어서,
    상기 터치 표면의 제 1 부분은 상기 활성 영역으로 구성되고, 상기 터치 표면의 제 2 부분은 비활성 영역으로 구성되는 전자 디바이스.
  6. 제 1 항에 있어서,
    상기 프로세서는 상기 터치 표면의 중앙을 중심으로 상기 활성 영역의 면적을 최대화하도록 더 구성되는 전자 디바이스.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    그래픽 사용자 인터페이스 내에서의 메뉴를 선택하는 정보;
    상기 디스플레이 디바이스 또는 관성 측정 유닛의 배향 정보;
    상기 인디케이터의 제 1 인터랙티브 디스플레이 표면에서 제 2 인터랙티브 디스플레이 표면으로의 전이되는 정보; 또는
    상기 인디케이터의 상기 인터랙티브 디스플레이 표면과의 인터랙션을 상대적 인터랙션(relative interaction) 또는 절대적 인터랙션(absolute interaction) 정보 중 하나 이상에 기초하여 상기 제 2 종횡비를 결정하도록 더 구성되는 전자 디바이스.
  8. 전자 디바이스에서 원격 인터랙션을 하기 위한 방법으로서,
    터치 표면의 제 1 종횡비를 식별하는 단계;
    상기 전자 디바이스와 통신하는 디스플레이 디바이스의 인터랙티브 표면의 제 2 종횡비를 확인하는 단계;
    상기 제 2 종횡비와 상기 제 1 종횡비 간의 차이를 모니터링하는 단계;
    상기 제 2 종횡비가 상기 제 1 종횡비와 상이하다는 것을 식별한 것에 응답하여 상기 제 2 종횡비에 대응하도록 상기 제 1 종횡비를 조정함으로써 상기 터치 표면의 활성 영역을 형성하는 단계; 및
    상기 활성 영역에 대한 상기 인터랙티브 수단의 위치를 나타내는 공간 정보를 상기 디스플레이 디바이스의 상기 인터랙티브 표면 상의 인디케이터에 전달하는 단계를 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 터치 표면의 상기 활성 영역을 형성하는 것은 상기 인터랙티브 표면 상의 변화를 검출하는 것에 응답하는 것을 특징으로 하는 방법.
  10. 제 8 항에 있어서,
    상기 터치 표면 상의 콘택트 포인트를 터치하는 상기 인터랙티브 수단을 나타내는 2 차원 위치 정보를 터치 센서로부터 수신하는 단계; 및
    상기 터치 표면 상에 투영되는 호버 포인트의 최대 깊이 내에서 호버링하는 상기 인터랙티브 수단을 나타내는 3 차원 위치 정보를 근접 센서로부터 수신하는 단계를 더 포함하는 방법.
  11. 제 10 항에 있어서,
    호버 포인트가 상기 터치 표면에 처음 진입하는 위치에 대응하는 호버 엔트리 포인트를, 상기 수신된 3 차원 위치 정보로부터 결정하는 단계; 및
    상기 호버 엔트리 포인트에 기초하여, 상기 활성 영역의 가장자리가 상기 호버 엔트리 포인트에 인접하게 되도록, 상기 터치 표면 내에 상기 활성 영역을 형성하는 단계; 및
    연속적인 호버 엔트리 포인트들에 기초하여 상기 터치 표면 내에 상기 활성 영역을 적응시키는 단계를 더 포함하는 방법.
  12. 제 8 항에 있어서,
    상기 활성 영역을 형성하는 것은 상기 터치 표면의 제 1 부분을 상기 활성 영역으로 구성하고 상기 터치 표면의 제 2 부분을 비활성 영역으로 구성하는 것을 포함하는 방법.
  13. 제 8 항에 있어서,
    상기 활성 영역을 형성하는 것은 상기 터치 표면의 중앙을 중심으로 상기 활성 영역의 면적을 최대화하는 것을 포함하는 방법.
  14. 제 8 항에 있어서,
    상기 제 2 종횡비를 결정하는 것은,
    그래픽 사용자 인터페이스 내에서 메뉴를 선택하는 정보;
    상기 디스플레이 또는 관성 측정 유닛의 배향을 변경하는 정보;
    제 1 인터랙티브 디스플레이 표면에서 제 2 인터랙티브 디스플레이 표면으로 상기 인디케이터를 전이시키는 정보; 또는
    상기 인디케이터의 상기 인터랙티브 디스플레이 표면과의 인터랙션을 상대적 인터랙션 또는 절대적 인터랙션 중의 하나로서 결정하는 정보 중 하나 이상에 기초하여 결정하는 로 방법.
  15. 복수의 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장 매체 상에 존재하는 컴퓨터 프로그램 제품으로서, 상기 복수의 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서가,
    터치 표면의 제 1 종횡비를 식별하는 동작;
    상기 전자 디바이스와 통신하는 디스플레이 디바이스의 인터랙티브 표면의 제 2 종횡비를 확인하는 동작;
    상기 제 2 종횡비와 상기 제 1 종횡비 간의 차이를 모니터링하는 동작;
    상기 제 2 종횡비가 상기 제 1 종횡비와 상이하다는 것을 식별한 것에 응답하여,
    상기 제 2 종횡비에 대응하도록 상기 제 1 종횡비를 조정함으로써 상기 터치 표면의 활성 영역을 형성하는 동작; 및
    상기 활성 영역에 대한 상기 인터랙티브 수단의 위치를 나타내는 공간 정보를 상기 디스플레이 디바이스의 상기 인터랙티브 표면 상의 인디케이터에 전달하는 동작을 수행하게 하는, 컴퓨터 프로그램 제품.
  16. 제 15 항에 있어서,
    상기 터치 표면의 상기 활성 영역을 형성하는 것은 상기 인터랙티브 표면 상의 변화를 검출하는 것에 응답하는 것인, 컴퓨터 프로그램 제품.
  17. 제 15 항에 있어서,
    상기 터치 표면 상의 콘택트 포인트를 터치하는 상기 인터랙티브 수단을 나타내는 2 차원 위치 정보를 터치 센서로부터 수신하는 동작, 및
    상기 터치 표면 상에 투영되는 호버 포인트의 최대 깊이 내에서 호버링하는 상기 인터랙티브 수단을 나타내는 3 차원 위치 정보를 근접 센서로부터 수신하는 동작을 더 포함하는 컴퓨터 프로그램 제품.
  18. 제 17 항에 있어서,
    호버 포인트가 상기 터치 표면에 처음 진입하는 위치에 대응하는 호버 엔트리 포인트를, 상기 수신된 3 차원 위치 정보로부터 결정하는 동작; 및
    상기 호버 엔트리 포인트에 기초하여, 상기 활성 영역의 가장자리가 상기 호버 엔트리 포인트에 인접하게 되도록, 상기 터치 표면 내에 상기 활성 영역을 형성하는 동작; 및
    연속적인 호버 엔트리 포인트들에 기초하여 상기 터치 표면 내에 상기 활성 영역을 적응시키는 동작을 더 포함하는 컴퓨터 프로그램 제품.
  19. 제 15 항에 있어서,
    상기 활성 영역을 형성하는 것은 상기 터치 표면의 제 1 부분을 상기 활성 영역으로 구성하고 상기 터치 표면의 제 2 부분을 비활성 영역으로 구성하는 것을 포함하는 컴퓨터 프로그램 제품.
  20. 제 15 항에 있어서,
    상기 활성 영역을 형성하는 것은 상기 터치 표면의 중앙을 중심으로 상기 활성 영역의 면적을 최대화하는 것을 포함하는 컴퓨터 프로그램 제품.
  21. 제 15 항에 있어서,
    상기 제 2 종횡비를 결정하는 것은,
    그래픽 사용자 인터페이스 내에서 메뉴를 선택하는 정보;
    상기 디스플레이 또는 관성 측정 유닛의 배향을 변경하는 정보;
    제 1 인터랙티브 디스플레이 표면에서 제 2 인터랙티브 디스플레이 표면으로 상기 인디케이터를 전이시키는 정보;
    상기 인디케이터의 상기 인터랙티브 디스플레이 표면과의 인터랙션을 상대적 인터랙션 또는 절대적 인터랙션 중의 하나로서 결정하는 정보 중 하나 이상을 기반으로 결정하는 것을 포함하는 컴퓨터 프로그램 제품.
KR1020200086388A 2019-07-19 2020-07-13 원격 호버 터치를 위한 전자 디바이스 및 원격 인터랙션 방법 KR20210010361A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/517,339 US10969899B2 (en) 2019-07-19 2019-07-19 Dynamically adaptive sensing for remote hover touch
US16/517,339 2019-07-19

Publications (1)

Publication Number Publication Date
KR20210010361A true KR20210010361A (ko) 2021-01-27

Family

ID=74238632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200086388A KR20210010361A (ko) 2019-07-19 2020-07-13 원격 호버 터치를 위한 전자 디바이스 및 원격 인터랙션 방법

Country Status (2)

Country Link
US (1) US10969899B2 (ko)
KR (1) KR20210010361A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11422673B2 (en) * 2020-06-12 2022-08-23 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN115480662A (zh) * 2021-05-28 2022-12-16 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4109902B2 (ja) 2002-05-27 2008-07-02 キヤノン株式会社 表示装置
KR101151300B1 (ko) 2009-09-14 2012-06-08 에스케이플래닛 주식회사 터치기구의 접근 인지를 이용한 휴대단말 및 그의 객체 표시 방법
KR101361214B1 (ko) 2010-08-17 2014-02-10 주식회사 팬택 터치스크린의 제어영역을 설정하는 인터페이스 장치 및 방법
US9213482B2 (en) 2011-11-11 2015-12-15 Elan Microelectronics Corporation Touch control device and method
US20130127738A1 (en) 2011-11-23 2013-05-23 Microsoft Corporation Dynamic scaling of touch sensor
US9781468B2 (en) 2015-08-25 2017-10-03 Echostar Technologies L.L.C. Dynamic scaling of touchpad/UI grid size relationship within a user interface
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method

Also Published As

Publication number Publication date
US10969899B2 (en) 2021-04-06
US20210019010A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US9729608B2 (en) Information processing device, table, display control method, program, portable terminal, and information processing system
US10558353B2 (en) System and method for 360-degree video navigation
US9007299B2 (en) Motion control used as controlling device
US20180300953A1 (en) Method And System For Receiving Gesture Input Via Virtual Control Objects
KR102411768B1 (ko) 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스
EP2538309A2 (en) Remote control with motion sensitive devices
US10890982B2 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
US11209937B2 (en) Error correction for seamless transition between hover and touch sensing
US11216149B2 (en) 360° video viewer control using smart device
CN107003719A (zh) 计算装置、用于控制所述计算装置的方法以及多显示器系统
KR20210010361A (ko) 원격 호버 터치를 위한 전자 디바이스 및 원격 인터랙션 방법
US20130328892A1 (en) Display apparatus, user terminal for controlling display apparatus and controlling method thereof
CN111475069B (zh) 显示方法及电子设备
US20190064947A1 (en) Display control device, pointer display method, and non-temporary recording medium
EP2538308A2 (en) Motion-based control of a controllled device
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
US10877554B2 (en) High efficiency input apparatus and method for virtual reality and augmented reality
US10963073B2 (en) Display control device including pointer control circuitry, pointer display method, and non-temporary recording medium thereof
US10365757B2 (en) Selecting first digital input behavior based on a second input
EP3764212A1 (en) Electronic device for recognizing user input using sensor and method thereof
Yoganandan et al. 360 video viewer control using smart device
KR101185594B1 (ko) 포인팅 디바이스의 더블클릭 수행방법