KR101847754B1 - 근접 기반 입력을 위한 장치 및 방법 - Google Patents

근접 기반 입력을 위한 장치 및 방법 Download PDF

Info

Publication number
KR101847754B1
KR101847754B1 KR1020167011322A KR20167011322A KR101847754B1 KR 101847754 B1 KR101847754 B1 KR 101847754B1 KR 1020167011322 A KR1020167011322 A KR 1020167011322A KR 20167011322 A KR20167011322 A KR 20167011322A KR 101847754 B1 KR101847754 B1 KR 101847754B1
Authority
KR
South Korea
Prior art keywords
information
distance
item
relevance
level
Prior art date
Application number
KR1020167011322A
Other languages
English (en)
Other versions
KR20160062147A (ko
Inventor
주하 헨릭 아라스보리
엘리나 올릴라
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20160062147A publication Critical patent/KR20160062147A/ko
Application granted granted Critical
Publication of KR101847754B1 publication Critical patent/KR101847754B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 예시 실시예에 따르면, 디스플레이 동작들을 제어하는 방법이 제공되고, 상기 방법은: 입력 면에 근접한 물체의 존재를 검출하는 단계(300), 물체와 연관되는 적어도 하나의 정보 아이템을 검출하는 단계(310), 물체와 입력 면의 거리에 대한 거리 정보를 검출하는 단계(320), 및 거리 정보에 기초하여 디스플레이되도록 적어도 하나의 정보 아이템과 연관되는 추가 정보의 선택을 제어하는 단계를 포함한다.

Description

근접 기반 입력을 위한 장치 및 방법{APPARATUS AND METHOD FOR PROXIMITY BASED INPUT}
본 발명은 근접 기반 입력을 위한 장치 및 방법에 관한 것이다.
터치 스크린들은 PDA(Personal Digital Assistant) 디바이스들, 테이블 탑(tabletop)들, 및 모바일 디바이스들과 같은 많은 휴대용 전자 디바이스들에서 사용된다. 터치 스크린들은 포인팅 디바이스(또는 스타일러스)에 의해 그리고/또는 손가락에 의해 동작 가능하다. 전형적으로 상기 디바이스들은 특정한 동작들을 위한 종래의 버튼들을 포함한다.
최근에, 터치 스크린들을 구비한 디바이스들에 소위 사용자 인터페이스들을 호버링(hovering)하는 것이 제안되어 왔다. 호버링은 일반적으로 입력 면을 터치하지 않고 사용자 인터페이스 입력 면에 근접해서 손가락과 같은 물체로 입력하는 것들을 칭한다. 그러므로, 터치 스크린 면 위의 공간은 사용자 입력들을 위한 추가적인 수단으로 사용될 수 있다. 예를 들어, 사용자 인터페이스는 메뉴를 팝업 함으로써 호버링하는 손가락에 반응하도록 배열될 수 있다. 메뉴 상의 원하는 아이템은 그 후에 스크린을 터치하여 선택될 수 있다. 모바일 디바이스들을 사용하고 있는 사람들은 일반적으로 더 다기능적이고 직관적인 방식들로 자신들의 디바이스들과 상호 작용하고자 한다.
본 발명의 예들의 다양한 양태들은 청구항들에서 제시된다.
하나의 양태에 따르면, 적어도 하나의 프로세서와 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되고, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께, 장치로 하여금 적어도, 입력 면에 근접한 물체의 존재를 검출하고, 물체와 연관되는 적어도 하나의 정보 아이템을 검출하고, 물체와 입력 면의 거리에 대한 거리 정보를 검출하고, 거리 정보에 기초하여 디스플레이를 위한 적어도 하나의 정보 아이템과 연관되는 추가 정보의 선택을 제어하게 한다.
하나의 양태에 따르면, 입력 면에 근접한 입력 물체의 존재를 검출하기 위한 적어도 하나의 근접 검출기를 구비하는 근접 검출 시스템과 근접 검출 시스템에 동작 가능하게 접속되는 제어기를 포함하고, 상기 제어기는 입력 면 가까운 근처에서 물체의 존재를 검출하고, 물체와 연관되는 적어도 하나의 정보 아이템을 검출하고, 상기 물체와 입력 면의 거리에 대한 거리 정보를 검출하고, 거리 정보에 기초하여 디스플레이를 위한 적어도 하나의 정보와 연관되는 추가 정보의 선택을 제어하도록 구성된다.
본 발명의 하나의 양태에 따르면, 장치가 제공되고, 상기 장치는 입력 면에 근접한 물체의 존재를 검출하는 수단과, 물체와 연관되는 적어도 하나의 정보 아이템을 검출하는 수단과, 물체와 입력 면의 거리에 대한 거리 정보를 검출하는 수단과, 거리 정보에 기초하여 디스플레이를 위한 적어도 하나의 정보 아이템과 연관되는 추가 정보의 선택을 제어하는 수단을 포함한다.
본 발명의 다른 양태에 따르면, 입력 면에 근접한 입력 물체의 존재를 검출하는 근접 검출 시스템을 포함하는 전자 디바이스를 위한 사용자 인터페이스가 제공되고, 상기 사용자 인터페이스는 물체의 현재 검출된 위치와 연관되는 적어도 하나의 그래픽 사용자 인터페이스를 검출하고, 적어도 하나의 정보 아이템과 연관되며 디스플레이되는 양이 입력 물체와 상기 입력 면의 거리에 기초하여 적응되는 추가 정보를 디스플레이하도록 구성된다.
다른 양태에 따르면, 방법이 제공되고, 상기 방법은 입력 면에 근접한 물체의 존재를 검출하는 단계와, 물체와 연관되는 적어도 하나의 정보 아이템을 검출하고, 물체와 상기 입력 면의 거리에 대한 거리 정보를 검출하는 단계와, 거리 정보에 기초하여 디스플레이를 위한 적어도 하나의 정보 아이템과 연관되는 추가 정보의 선택을 제어하는 단계를 포함한다.
본 발명 및 본 발명의 다양한 실시예들은 여러 장점들을 제공하며, 이는 아래 상세한 설명으로부터 명백해질 것이다.
본 발명의 예시적인 실시예들을 더욱 완전하게 이해하기 위해, 이제 첨부 도면들과 관련하여 취해지는 다음의 기술들이 참조된다;
도 1a 및 도 1b는 사용자 인터페이스 상호 작용 및 디스플레이 제어 예를 도시하는 도면;
도 2는 본 발명의 하나의 예시 실시예에 따른 입력 장치의 측면의 간소화된 블록도;
도 3은 본 발명의 하나의 예시 실시예에 따른 방법을 도시하는 도면;
도 4a 및 도 4b는 사용자 인터페이스 상호 작용 시퀀스 예를 도시하는 도면;
도 5는 본 발명의 하나의 예시 실시예에 따른 방법을 도시하는 도면;
도 6은 소셜 네트워크 시스템용 엔티티(entity)들을 도시하는 도면;
도 7은 사용자 인터페이스 예를 도시하는 도면; 및
도 8은 본 발명의 예시 실시예에 따른 전자 디바이스를 도시하는 도면.
도 1a 및 도 1b는 일부 실시예들에 따라 호버링 기반 디스플레이 제어의 일반 원리들을 도시한다. 호버링은 일반적으로 터치 스크린의 입력 면과 같은 입력 면에 아주 가까이 있으나 이와 접촉하지 않는 손가락, 또는 스타일러스와 같은 입력 물체(1)를 도입하는 것을 칭한다. 도 1a에서의 참조기호 “z”는 스크린 면으로부터 물체(1)의 거리를 도시하며, 이 거리는 또한 “호버링 거리”로 칭해질 수 있다. x 및 y 방향들은 일반적으로 입력 면에 실질적으로 평행하고, z 방향은 입력 면에 실질적으로 수직이다.
도 1b에 더 도시되는 바와 같이, 가까이 근접하는 물체(1)의 존재가 검출되고(10) 이 존재는 디스플레이를 위해 정보를 선택하고 디스플레이를 제어하는 디스플레이 제어기(20)에 표시된다. 그러한 호버링 물체(1)가 검출되면, 물체(1)의 x, y 지점(12)이 정의될 수 있다. 물체(1)의 위치에 기초하여, 적어도 하나의 연관된 정보 아이템, 예를 들어 뷰(view), 윈도우, 파일, 폴더, 컨택트(contact) 목록, 링크 또는 애플리케이션 중 적어도 하나의 GUI 아이콘이 검출되거나 선택될 수 있다. 물체(1)의 입력 면으로의 거리(z)가 추정될 수 있다(14).
현재 연관되어 있는 정보 아이템(2)과 관련된 추가 정보(3)가 디스플레이될 수 있다. 검출된 거리 정보(14)에 기초하여, 제어기(20)는 디스플레이를 위해, 적어도 하나의 정보 아이템과 연관되는 추가 정보의 선택을 제어할 수 있다. 이것은 관심 정보 아이템(들)과 관련되는 추가 정보의 디스플레이가 호버링 거리의 변화들에 기초하여 적응되도록 하는 임의의 유형의 제어 동작들을 칭함을 광의로 이해되어야 한다. 이는 예를 들어, 디스플레이를 위한 관련된 다수의 정보 아이템들을 적응시키고, 추가 정보의 디스플레이의 온 및 오프, 또는 부가 정보의 세부사항의 레벨을 제어하는 것을 포함할 수 있다. 디스플레이를 위해 선택되는 정보는 예를 들어, 텍스트, GUI 요소들, 애니메이션, 비디오, 또는 이들의 임의의 결합일 수 있다. 그러므로 제어기(20)는 미리보기 윈도우와 같은 부가 GUI의 디스플레이를 제어하도록 배열되어, 디스플레이된 정보 아이템(2)과 관련되는 부가 정보를 제공할 수 있다. 예를 들어, 물체(1)를 터치 스크린 면에 더 가까이 가져가면, 예를 들어 새 애플리케이션 뷰, 현재 뷰 내의 윈도우 또는 부가 정보를 디스플레이함으로써 정보 아이템에 관한 부가 세부사항들이 디스플레이될 수 있다. 물체(1)의 거리가 증가하는 것으로 검출되면, 더 적은 보충 정보(3)가 디스플레이될 수 있다. 이 사용자 인터페이스 입력 배열은 관심 하의 GUI 요소의 부가 정보를 얻기 위해 쉽고 직관적인 상호 작용 선택사양을 제공한다.
도 2는 예시 실시예에 따라 하나 이상의 입력 및/또는 출력 디바이스들을 구비하는 장치(100)를 도시한다. 입력 디바이스들은 예를 들어 버튼들, 스위치들, 슬라이더들, 키들 또는 키패드들, 내비게이션 패드들, 터치 패드들, 터치 스크린들 등으로부터 선택될 수 있다. 출력 디바이스들은 예를 들어 디스플레이들, 스피커들, 인디케이터들로부터 선택될 수 있다.
장치는 디스플레이(110) 및 손가락 또는 스타일러스와 같은 입력 물체(1)를 입력 면(112) 가까이 근접하게 그러나 이에 접촉하지 않게 가져갈 때 검출하도록 구성되는 근접 검출 시스템 또는 유닛(120)을 포함한다. 입력 면(112)은 사용자 입력들을 검출할 수 있는 장치의 터치 스크린 또는 다른 입력 디바이스의 면일 수 있다.
센싱 에어리어(140)는 입력 물체(1)가 면(112)의 가까운 근처에 있다고 검출되는 대략의 에어리어 및/또는 거리를 도시할 수 있다. 센싱 에어리어(140)는 또한 호버링 에어리어로 또한 칭해질 수 있고, 입력 물체(1)의 호버링 에어리어로의 도입 및 호버링 에어리어 내에서의 물체(1)에 의한 가능한 추가(비-터치) 입력들은 호버링으로 칭해질 수 있다. 일부 실시예들에서 호버링 에어리어(140)는 또한 심지어 입력 면(112)을 터치하지 않고도, 장치(100) 내에 데이터를 입력하거나 데이터에 액세스하는 것을 가능하게 한다. 입력 물체의 특정한 검출 제스처 또는 더욱 단순한 입력 물체의 도입과 같이, 입력 면(112)을 터치하지 않는 입력 물체(1)에 적어도 부분적으로 기초하여 검출되는 호버링 에어리어(140)에서의 사용자 입력은 호버링 입력으로 칭해질 수 있다. 그와 같은 호버링 입력은 적어도 하나의 기능, 예를 들어 UI 아이템의 선택 또는 팝업 메뉴의 활성화와 연관된다.
장치(100)는 키보드, 마우스와 같은 주변 장치일 수 있거나, 전자 디바이스에 통합될 수 있다. 전자 디바이스들의 예들은 컴퓨터들, 미디어 재생기들, 무선 통신 단말 디바이스들, 등과 같은 소비자 전자 디바이스를 포함한다.
일부 실시예들에서, 근접 검출 시스템(120)이 터치 스크린 디스플레이를 포함하는 장치 내에 제공된다. 그러므로, 디스플레이(110)는 복수의 터치 감지 검출기들(114)을 포함하여 터치 스크린 입력 면에 대한 터치 입력들을 감지하는 터치 스크린 디스플레이(110)일 수 있다.
일부 실시예들에서, 검출 시스템(120)은 하나 이상의 근접 센서들(122)에 의해 센싱 필드를 발생시킨다. 하나의 예시 실시예에서 정전식 근접 검출 시스템이 적용되고, 여기서 센서들(122)은 정전식 센싱 노드들이다. 센싱 필드 내의 하나 이상의 입력 물체들(1)에 의한 교란(disturbance)들이 모니터링되고 하나 이상의 물체들의 존재는 검출된 교란들에 기초하여 검출된다. 정전식 검출 회로는 입력 면(112) 상의 커패시턴스의 변화들을 검출한다.
그러나, 현 특징들은 임의의 특정한 유형의 근접 검출에 적용되는 것으로 제한되지 않음이 인정될 것이다. 근접 검출 시스템(120)은 적외선 근접 검출, 광학적 그림자(optical shadow) 검출, 음향 방출(acoustic emission) 검출, 초음파 검출, 레이더 기술, 또는 임의의 다른 적절한 근접 검출 기술에 기초할 수 있다. 예를 들어, 근접 검출 시스템(120)이 적외선 검출에 기초하는 경우, 시스템은 적외선 광의 펄스들을 송신하는 하나 이상의 방출기들을 포함할 것이다. 하나 이상의 검출기들은 근처의 객체들(1)로부터의 상기 광의 반사들을 검출하도록 제공될 것이다. 시스템이 반사된 광을 검출하면, 입력 물체가 존재하는 것으로 취해진다.
근접 검출 시스템(120)은 제어기(130)에 결합된다. 근접 검출 시스템(120)은 입력 물체(1)가 호버링 에어리어(140)에서 검출될 때 제어기(130)에 신호들을 제공하도록 구성된다. 그러한 입력 신호들에 기초하여, 명령들, 선택들 및 다른 유형들의 동작들이 초기화되어, 전형적으로 사용자를 위한 가시, 가청, 및/또는 촉각 피드백을 발생시킨다. 터치 감지 검출기들(114)에 대한 터치 입력들은 제어 회로소자를 통해 제어기(130), 또는 다른 제어기로 시그널링될 수 있다.
근접 검출 시스템(120)은 또한 제어기가 호버링 물체(1)의 에어리어 또는 타깃 UI 아이템을 결정할 수 있도록 물체(1)의 x, y 지점을 결정하는데 대한/하기 위한 정보를 제공하도록 배열될 수 있다.
장치(100)는 입력 물체(1)의 입력 면(112)까지의 거리(150), 즉 호버링 거리를 추정하여, 입력 면에 대한 물체(1)위 위치의 z 좌표 데이터를 제공하는 것이 가능하도록 배열될 수 있다. 거리는 근접 검출 시스템(100)에 의해 또는 근접 검출 시스템(100)에 의해 제공되는 신호에 기초하여 검출될 수 있다. 일부 실시예들에서 거리를 추정하는 것을 보조하기 위해 하나 이상의 추가 디바이스들이 적용된다. 예를 들어, 장치는 비디오 카메라, 광 레벨 센서, 초음파 센서 중 적어도 하나로부터의 정보에 기초하여 거리를 검출하도록 구성될 수 있다.
적용된 근접 검출 기술, 장치(100) 및 입력 면(112)의 크기, 및 원하는 사용자 상호 작용에 따라, 호버링 에어리어(140)는 입력 면(112)으로부터, 예를 들어 수 밀리미터들에서 심지어 수십 센티미터들로 선택된 거리만큼 확장되도록 배열될 수 있다. 근접 검출 시스템(120)은 사용자의 손의 부가적인 부분들을 또한 검출하도록 배열될 수 있고 시스템은 오입력들을 인식하고 추가 동작들을 방지하도록 배열될 수 있다.
제어기(130)는 또한 터치 스크린 디스플레이(110)와 같은 하나 이상의 출력 디바이스들에 접속될 수 있다. 제어기(130)는 디스플레이(110) 상의 상이한 애플리케이션 뷰들을 제어하도록 구성될 수 있다. 제어기(130)는 근접 검출 시스템(120) 및 터치 감지 검출기(114)로부터의 신호들에 기초하여 터치 입력들 및 호버링 입력들을 검출할 수 있다. 제어기(130)는 그 후에 검출된 터치 입력 또는 호버링 입력과 연관되는 디스플레이 기능을 제어할 수 있다. 터치 감지 검출 시스템 및/또는 근접 검출 시스템(120)에 의해 검출되는 입력과 연관되는 선택을 위한 광범위한 기능들이 사용 가능하다. 제어기(130)는 예를 들어 장치(100)의 현재의 동작 상태, 사용자 입력 또는 장치(100) 내에서 수행되고 있는 애플리케이션에 따라 연관성들을 적응시키도록 구성될 수 있다. 예를 들어, 연관들은 애플리케이션에 특정하고, 메뉴에 특정하고, 뷰에 특정하고/하거나 컨텍스트(장치(100)의 현재 환경 또는 용도로부터 획득되는 정보에 기초하여 정의될 수 있다)에 특정할 수 있다.
제어기(130)는 디스플레이를 위해 현재 호버링 거리(150)에 따라 입력 물체의 현재 x, y 지점들에 관한 추가 정보의 선택을 제어하도록 구성될 수 있다.
하나의 실시예에서, 장치(100)는 입력 물체(1) 및 입력 면(112) 사이의 거리(150)를 추정하도록 배열될 수 있고, 제어기(130)는 추정된 거리를 하나 이상의 미리 결정된 임계 값들과 비교할 수 있다. 임계값들 각각은 세부사항들의 특정한 레벨과 연관될 수 있다. 예를 들어, 적어도 하나의 정보 아이템과 연관되는 정보 아이템들의 제 1 세트를 디스플레이하는 것은 물체가 입력 면에 대해 제 1 거리를 가지고 있음을 나타내는 정보를 수신하는 것에 응답하여 제어될 수 있다. 적어도 하나의 정보 아이템과 연관되는 정보 아이템들의 제 2 세트의 선택 및 디스플레이는 그 후에 물체가 제공된 임계만큼 입력 면에 접근했거나 입력 면에 대한 제 2 거리 내에 있음을 표시하는 신호를 수신하는 것에 응답하여 제어될 수 있다.
그러므로, 제어기(130)는 호버링 거리의 변화를 모니터링하도록 배열될 수 있다. 임계값에 의해 변하는 호버링 거리를 검출한 것에 응답하여, 추가 정보의 디스플레이가 트리거되거나 적응될 수 있다. 추가 정보를 선택하는 제어기(130)의 동작을 유도하는 파라미터/세팅 데이터는 제어기(130)에 포함되거나 접속되는 메모리에 저장될 수 있다. 사용자에게는 호버링 동안 추가 정보의 디스플레이를 온 또는 오프로 세팅하고/하거나 추가 정보의 선택에 영향을 미치는, 예를 들어 호버링하는 물체들에 대한 사용자 인터페이스의 감도에 영향을 미치는 하나 이상의 세팅들을 적응시키는 선택사양이 제공될 수 있다.
예시 장치(100)는 본원에서 자세하게 논의되지 않는 다양한 부가 요소들을 포함할 수 있음이 인정될 것이다. 장치(100) 및 제어기(130)가 단일 엔티티로 도시될지라도, 상이한 특징들이 하나 이상의 물리 또는 논리 엔티티들에 구현될 수 있다. 예를 들어, 도 3 또는 도 5와 관련하여 설명되는 블록들 중 하나 이상을 수행하기 위해, 추가적인 특정 기능 모듈(들)이 있을 수 있다. 하나의 예시 변형예에서, 근접 검출 시스템(120) 및 입력 면(112)은 디스플레이(110)로부터 더 멀리, 예를 들어 소형 전자 디바이스의 측면 또는 후면(디스플레이의 위치의 관점에서) 상에 위치된다.
도 3은 예시 실시예에 따른 디스플레이 동작들을 제어하는 방법을 도시한다. 상기 방법은 예를 들어, 제어기(130)에 의한 제어 알고리즘으로 적용될 수 있다. 블록 300에서, 입력 면의 가까운 근방에 물체가 있음이 검출된다. 현재 검출된 물체의 위치와 연관되는 적어도 하나의 정보 아이템은 예를 들어, 물체(1)의 현재 x, y 지점 정보에 기초하여 연관되는 GUI를 결정함으로써 검출된다(310). 물체 및 입력 면의 거리에 대한 거리 정보가 검출된다(320). 예를 들어, 거리에 대한 추정은 근접 검출 시스템(120)으로부터의 신호에 의해 획득될 수 있다. 디스플레이를 위해, 적어도 하나의 정보 아이템과 연관되는 추가 정보의 선택은 거리 정보에 기초하여 제어된다(330). 그러므로, 사용자에 디스플레이되는 정보의 양은 호버링 거리에 기초하여 적응될 수 있다.
간소화된 도 3에 도시된 절차에서 다양한 수정들 및 추가들이 행해질 수 있음이 인정될 것이다. 도 3의 하나의 예시 변형예에서, 호버링 물체(110)의 거리는 물체가 임의의 정보 아이템에 연관되는(310) 것을 검출하는 것과 관계 없이 계속해서 모니터링될 수 있다(320). 일부 추가 예시 실시예들이 후술될 것이다.
하나의 실시예에서, 또한 도 3을 참조하면, 부가 정보를 디스플레이(330)하기 전에 하나 이상의 부가 트리거들 또는 상태들이 적용될 수 있다. 예를 들어, 제어기(130)는 정보 아이템과 연관되는 (x, y) 에어리어 상에 물체(1)가 유지되는 시간을 모니터닝하고, 단지 미리 결정된 시간 기간 동안 정보 아이템과 연관되는 물체(1)를 검출하는 것에만 응답하여 디스플레이를 트리거하도록 배열될 수 있다. 그러므로, 상기 아이템 위에 손가락 호버링을 유지함으로써 GUI와 관련된 부가 정보를 획득하는 것이 가능할 수 있다. 그러한 지연 상태를 적용함으로써, 호버링 동안 사용자가 실제 관심이 없는 추가 정보를 디스플레이하는 것을 방지하거나 적어도 줄이는 것이 가능해진다.
일부 실시예들에서, 장치는 블록 330에서 추정된 거리에 기초하여 상기 정보 아이템과 연관되는 미리보기, 추천, 또는 보충 정보 윈도우로 정보의 디스플레이를 활성화하고/하거나 정보의 선택을 적응시키도록 구성된다. 그러므로 그와 같은 윈도우는 관심 하에 있는 정보 아이템에 대한 가변하는 세부사항의 레벨을 지니는 추가 정보를 제공하기 위해 사용자에게 디스플레이 될 수 있다. 윈도우는 정적 또는 동적일 수 있다. 윈도우의 크기 및 윈도우 내의 컨텐츠의 양은 현재 검출되는 거리에 따라 변할 수 있다. 윈도우는 다양한 형태들로 이루어질 수 있다. 예를 들어, 통상적인 윈도우들 및 메뉴들 대신, 윈도우는 버블(bubble)일 수 있다. 윈도우의 외형 및/또는 위치는 손가락 또는 제스처의 움직임과 같이, 검출된 사용자 동작들에 응답하고/하거나 경과되는 시간에 기초하여 적응될 수 있다. 미리보기와 같은 윈도우는 호버링되고 있는 GUI 요소와 동일한 디스플레이 뷰에 배열될 수 있다. 그러나, 일부 경우들에서, 윈도우는 스크린의 배경부에, 2차 디스플레이에, 또는 중첩으로 디스플레이될 수 있다. 예를 들어, 장치(100)가 프로젝터에 접속되거나 듀얼 스크린을 가지는 경우, 윈도우는 2차 디스플레이에 디스플레이될 수 있다. 그러나, 호버링에 의해 트리거되는 추가 정보의 디스플레이를 배열하는데 많은 가능한 방법들이 존재하고 있고, 단지 일부 예들만이 도시됨이 인정될 것이다.
일부 실시예들에서, 도 4a의 예에서 도시된 바와 같이, 폴더 아이콘(400)이 입력 물체와 연관되어 검출된다. 예를 들어, 폴더들의 세트의 뷰가 디스플레이될 수 있고, 각각의 폴더는 여러 파일들을 담고 있다. 현재 디스플레이되고 있는 폴더 아이콘 위의 호버링 에어리어에서 미리 결정된 시간 기간 동안 손가락이 검출된다. 이에 따라 폴더의 파일들에 대한 부가 정보를 제공하는 윈도우(410)가 디스플레이될 수 있다. 윈도우(410) 내에 디스플레이되는 파일들의 수(폴더의 모든 파일들 중)는 물체와 입력 면의 검출된 거리에 기초하여 제어될 수 있다. 사용자는 자신의 손가락을 아이콘(400) 방향으로 더 이동시킴으로써 폴더의 컨텐츠의 더 상세한 뷰(420)를 획득할 수 있다. 도 4b에 도시된 바와 같이, 아이콘(400)에 더 가까운 손가락을 검출하는 것에 응답하여 추가 뷰(420)가 디스플레이될 수 있다.
일부 실시예들에서, 연관되는 정보 아이템에 관한 하나 이상의 추가 동작들은 물체(1)와 입력 면(112)의 현재 거리(150)에 기초하여 제어된다. 이것은 추가적으로, 또는 디스플레이를 위해 정보 아이템과 연관되는 부가 정보의 선택을 제어하는 것 대신, 수행될 수 있다. 예를 들어, 애플리케이션이 활성화되고, 사용자 프롬프트가 생성되고, 가청 및/또는 촉각 출력이 생성된다. 하나의 실시예에서, 현재 디스플레이된 복수의 정보 아이템들 중의 하나 이상의 정보 아이템들은 호버링 거리(150)에 기초하여 선택될 수 있다. 예를 들어, 추가 뷰(3) 내의 아이템들(410, 420) 중 하나가 포커싱(focusing)되고 거리에 기초하여 선택될 수 있다. 다른 예는 복수의 GUI 요소들 중 하나의 GUI 요소가 입력 물체와 입력 면의 추정된 거리에 기초하여 선택, 예를 들어 도 1a의 아이콘(2)의 외형은 입력 면에 더 접근하는 물체에 응답하여 변하는 것이다. 하나의 실시예에서, 현재 입력 물체와 연관되는 정보가 미디어 파일인 경우, 미디어 재생기는 미디어 파일의 미리보기 및/또는 재생을 출력하도록 활성화된다.
디스플레이를 위한 정보 아이템들의 선택에 영향을 미치는 추가 파라미터들이 있을 수 있다. 일부 실시예들에서 디스플레이를 위한 정보의 선택은 사용 가능한 정보 아이템들의 관련성에 기초하여 제어된다.
도 5에 도시되는 바와 같이, 블록 500에서 적어도 하나의 정보 아이템과 연관되는 관련성 정보 또는 적어도 하나의 정보 아이템과 연관되는 하나 이상의 부가 정보 아이템들이 검출되거나 결정된다. 그러므로, 장치(100)는 장치에 사용 가능한 정보 아이템(들)과 연관되는 메타데이터에 기초하여 자체적으로 관련 정보를 생성하거나 또는 다른 디바이스들로부터 관련성 정보를 수신하도록 배열될 수 있다.
디스플레이를 위한 정보는 관련성 정보에 따라 선택될 수 있다(510). 그러므로, 정보 아이템 위에 손가락을 유지함으로써 자신의 관심을 나타내는 사용자에 대해 가장 관련 있는 부가 정보를 제공하는 것이 가능해진다. 이것은 예를 들어 하나 이상의 폴더들 내의 수십 또는 수백의 파일들 중에서 관련성 정보 아이템들을 탐색하는 더 편리한 방법을 제공하는 것이 가능하다.
예를 들어, 도 4a 및 도 4b를 또 참조하면, 추가 뷰들(410, 420)에 대한 정보 아이템들은 사용 가능한 정보 아이템들의 각각의 관련성 값들에 기초하여 선택될 수 있다. 예를 들어, 아이콘(400)에 의해 표현되는 폴더 내의 기록들 중에서 가장 높은 관련성 값들을 가지는 기록들이 추가 뷰들(410, 420) 내에 디스플레이될 수 있다.
정보 아이템 또는 정보 아이템들의 세트에 대한 관련성 정보를 결정하는데(500) 다양한 방법들이 적용될 수 있다. 하나의 실시예에서 관련성 정보는 정보 아이템(들)의 사용 활동을 나타내는 액세스 이력을 조사하는 것에 기초하여 결정될 수 있다. 예를 들어, 장치(100)는 저장되거나 참조되는 사용자 파일들에 관한 액세스 이력을 장치(100)의 메모리 내에 저장하도록 배열된다. 하나의 실시예에서, 관련성 정보는 입력들을 호버링하는 것에 기초하여 갱신될 수 있다. 예를 들어, 사용자가 자신의 손가락을 정보 아이템 위에서 오랫동안 유지하는 경우, 정보 아이템의 관련성이 증가될 수 있다.
그와 같은 액세스 이력 또는 관련성 정보는 또한 장치 내에 저장되는 컨택트 정보에서 정의되는 다른 사용자들의 세트에 관하여 유지될 수 있다. 예를 들어, 사용자의 친구들이 가장 많이 액세스하고 그리고/또는 가장 최근에 액세스한 폴더 내에 저장된 그와 같은 파일들(또는 파일들의 카피들/인스턴스(instance)들)은 폴더의 가장 관련 있는 파일들로서 정의된다.
하나의 실시예에서, 파일의 관련성은 사용자의 소셜 네트워크를 조사함으로써 결정된다. 도 6의 예를 참조하면, 사람들 사이의 소셜 네트워크들 및 이들의 파일 및 다른 정보의 사용은 장치(100)가 하나 이상의 네트워크(620)를 통해 액세스하도록 배열될 수 있는 온라인 서비스에 의해 서버 또는 데이터베이스(600) 상에 저장될 수 있다. 관련성 정보 또는 파일들에 대한 친구들의 사용의 관련성을 결정하기 위한 정보는 또한 다운타임(downtime) 동안, 예를 들어 밤마다 클라이언트 디바이스로 푸싱(pushing)될 수 있다. 파일에 대한 관련성은 서버에 의해 연관된 소셜 네트워크에 속하는 사용자의 디바이스들(630)로부터 수신되는 추천들에 기초하여 결정될 수 있다. 그러므로, 소셜 네트워크 상에서 추천된 컨텐츠는 검출된 호버링 거리(150)에 기초하여 제어되는 뷰(410, 420) 내에 제공될 수 있고, 사용자는 현재 소셜 네트워크에 관심의 대상인 컨텐츠 아이템들을 더 용이하게 찾을 수 있다.
추가 예로서, 손가락이 음악 파일들을 담고 있는 폴더 위에서 호버링하고 있는 경우, 장치(100)는 사용자의 친구들이 어떤 음악을 가장 많이 들었는지를 검출하도록 배열될 수 있다. 그와 같은 노래에 대한 아이콘은 추가로 디스플레이되고 노래의 재생이 시작될 수 있다. 파일이 비디오 클립이라면, 장치는 이의 미리보기를 보여주도록 배열될 수 있다. 하나의 추가적인 예시 선택사양에서, 노래 또는 비디오의 미리 보기는 사용자의 친구가 듣기를 종료하거나 비디오를 시청하는 것을 종료하는 섹션으로부터 시작하도록 배열될 수 있다. 비디오 게임 애플리케이션들과 관련되는 하나의 예에서, 사용자의 친구들의 최근의 고득점들이 게임 애플리케이션 아이콘 옆에/위에 디스플레이될 수 있다. 하나의 실시예에서, 정보 아이템과 연관되는 관련성 정보는 정보 아이템의 GUI 요소 위에서 호버링하는 물체(1)에 응답하여 추가 정보로서의 디스플레이를 위해 제어된다(330). 예를 들어, 스테핀은 자체의 GUI가 호버링되고 있는 노래에 15번 액세스하였다.
하나의 예시 실시예에서, 장치(100)는 호버링 에어리어(140) 내에서의 입력 물체(1)의 움직임과 연관되는 추가 특성들에 기초하여 추가 정보 아이템들의 선택을 제어하도록 구성된다. 예를 들어, 장치(100)는 물체(1)의 움직임의 속도를 검출하도록 배열된다. 추가 정보 아이템들의 선택은 물체(1)의 움직임의 속도에 기초하여 제어될 수 있다(330).
하나의 실시예에서, 장치(100)는 터치 및/또는 호버링 기반 입력들을 동시에 제공하기 위해 다수 손가락들의 사용을 지원하도록 배열된다. 예를 들어, 하나의 손가락은 하나의 정보 아이템을 선택하거나 포커싱하는데 사용될 수 있고 다른 손가락은 다른 정보 아이템을 선택하거나 포커싱하는데 사용될 수 있다. 하나 이상의 호버링 손가락들의 거리들은 추정될 수 있고, 연관된 정보 아이템들의 각각에 대한 추가 정보의 양은 연관된 손가락의 현재 검출된 거리에 기초하여 제어될 수 있다. 예를 들어, 하나의 호버링 손가락의 거리는 여러 사용 가능한 폴더들로부터 하나의 폴더를 선택하는 것을 제어하는데 사용될 수 있고, 다른 동시 호버링 손가락의 거리는 선택된 폴더 내로부터 노래를 선택하도록 사용될 수 있다.
도 7은 다수 손가락들을 사용하여 GUI 아이템들과 연관되는 정보의 미리보기 또는 추천들을 획득하는 예를 도시한다. 사용자는 폴더(700) 내에 저장된 파일들을 추천하고자 원할 수 있는데, 여기서 폴더는 여러 서브폴더들, 이 예에서 음악 앨범들을 담고 있고, 서브폴더는 각각 여러 음악 파일들을 담고 있다. 도 7의 예에서, 사용 가능한 정보는 관련성 정보에 기초하여 더 먼저 스크리닝(screening)된다. 좌수 손가락의 거리는 예를 들어 사교적으로 가장 관련 깊을 수 있는 상위 3개의 앨범 폴더들(702)들 중 어느 것이 선택되는지를 결정할 수 있다. 우수 손가락의 거리는 좌수 손가락으로 현재 선택되어 있는 앨범으로부터 예를 들어 사교적으로 가장 관련 깊은 상위 5개의 노래 파일들(704) 중 어느 것이 미리보기를 위해 선택되는지를 결정할 수 있다.
선택 및 좌수/우수 손가락들, 거리 레벨들, 및 선택 가능한 아이템들의 수 사이의 구성은 다른 실시예에서 대해서뿐만 아니라 도 7에 도시된 실시예에 대해서도 다양한 방식들로 변경될 수 있음이 인정될 것이다.
하나의 예시 실시예에서, 제어기(130)는 특정한 호버링 또는 터치를 기반으로 하는 쥐거나 물러나는 제스처와 같이 다수의 손가락들의 특정한 결합 사용을 검출하는 것에 응답하여 특정 기능을 제어하도록 배열된다. 그와 같은 특정한 입력은 디스플레이 동작들을 제어하도록 예를 들어 단계 330에 더 적용될 수 있다.
하나의 예시 실시예에서, 검출된 입력과 연관되는 입력 물체(들)의 특성들이 결정되고 디스플레이 동작들을 제어하기 위해 예를 들어 단계 330에 적용된다. 예를 들어, 손가락들 및/또는 손목과 같은 사용자의 손에 대한 식별 정보는 다른 사용자들로부터 소스 디바이스의 사용자를 식별하는 것이 가능하도록 결정된다. 사용자의 손의 일부 예시 특성들은 좌수 또는 우수, 피부색, 대략적인 크기(또는 성인 또는 어린이 손의 표시), 손가락들이 취하는 집는 제스처의 표시와 같은 손가락들의 구성, 적용되는 손가락들의 수를 포함하나 이로 제한되지 않는다. 그러나, 또한 컬러 방식, 예를 들어 짧은 소매의 컬러, 손을 판독하는 열 센서, 사용자의 음성, 생각 등과 같은 다른 주목 가능한 기술자(descriptor)들이 적용될 수 있다. 예를 들어, 제어기(130)는 근접 검출 시스템(120) 및/또는 하나 이상의 비디오 카메라들과 같은 추가 센서들로부터의 신호들을 분석하는 것에 기초하여 입력 물체의 그러한 특성들을 검출하도록 배열될 수 있다.
하나의 실시예에서, 장치(100)는 호버링 에어리어(140) 내의 하나 이상의 물체들(별개 또는 결합 상태인)에 의한 제스처들을 검출하도록 구성된다. 예를 들어, 제스처 센싱 기능은 호버링 물체(1)를 검출하는 것(300)에 응답하여 활성화된다. 따라서 근접 센싱 필드의 변화들이 모니터링될 수 있다. 제스처는 검출된 변화들에 기초하여 식별된다. 식별된 제스처들과 연관되는 동작이 그 후에 수행될 수 있다. 예를 들어, 마우스 버튼을 더블 클릭할 때의 손가락의 움직임과 유사한 제스처를 검출한 것에 응답하여, GUI 요소가 선택되고 선택된 GUI 요소에 대해 추가 동작이 수행, 예를 들어 선택된 URL의 컨텐츠를 구비하는 새로운 애플리케이션 윈도우가 디스플레이된다. 다른 예는 장치(100)가 원을 형성하는 물체의 움직임을 검출하고 이에 따라 후속 또는 이전 뷰로 이동하도록 구성될 수 있는 것이다. 호버링 제스처들은 현재 연관되는 정보 또는 정보 아이템의 추가 정보의 디스플레이를 추가로 제어하는데 적용될 수 있다. 예를 들어, 도 7의 예에서, 우측 손가락의 시계방향 회전 제스처는 연관된 미리 보기된 노래의 고속 진행일 수 있다. 호버링 제스처 기능은 물체와 입력 면(112)의 거리에 따라 상이한 기능들과 연관될 수 있도록 구현될 수 있다.
상술한 특징들은 상이한 애플리케이션들 및 애플리케이션 모드들에 대해 적용될 수 있다. 특정 장점들을 사용할 수 있는 애플리케이션들의 일부 예들은 브라우저 애플리케이션들, 디바이스 관리 애플리케이션들, 파일 관리 애플리케이션들, 미디어 컨텐츠 관련 애플리케이션들 및 서비스들, 맵 애플리케이션들, 증강 현실 상호 작용들을 사용한 애플리케이션들, 소셜 네트워킹 애플리케이션들 등을 포함한다.
도 8은 예시 실시예에 따라 전자 디바이스(800)의 구조의 블록도를 도시한다. 전자 디바이스는 장치(100)를 포함할 수 있다. 전자 디바이스(800)의 하나의 실시예가 도시되고 이후에 예를 목적으로 기술될지라도, PDA들, 페이저(pager)들, 모바일 컴퓨터들, 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 테블릿 컴퓨터들, 미디어 재생기들, 텔레비전들, 게임 디바이스들, 카메라들, 비디오 레코더들, 위치추적 디바이스들, 전자 책들, 착용 가능 디바이스들, 프로젝터 디바이스들, 및 다른 유형들의 전자 시스템들과 같은 다른 유형들의 전자 디바이스들이 본 실시예들을 사용할 수 있으나, 전자 디바이스들은 이로 제한되지 않는다.
게다가, 예시 실시예의 장치는 전체 전자 디바이스를 필요로 하지 않지만, 다른 예시 실시예들 내의 전자 디바이스들의 구성요소 또는 구성요소들의 그룹일 수 있다. 예를 들어, 도 2의 제어기(130)의 기능들과 같은 상술한 기능들 중 적어도 일부를 수행하여 제어하기 위한 제어용 칩셋 또는 어떤 다른 종류의 하드웨어 모듈의 형태일 수 있다.
프로세서(802)는 전자 디바이스(800)와 연관되는 명령들을 수행하고 동작들을 수행하도록 구성된다. 프로세서(802)는 예를 들어 도 1a 내지 도 7과 함께 기술된 기능들 중 적어도 일부를 포함하는 다양한 기능들을 수행하기 위해 디지털 신호 프로세서 디바이스, 마이크로프로세서 디바이스, 및 회로소자와 같은 수단을 포함할 수 있다. 프로세서(802)는 메모리로부터 검출되는 명령들을 사용함으로써 전자 디바이스(800)의 구성요소들 사이에서 입력 및 출력 데이터의 수신 및 프로세싱을 제어할 수 있다. 프로세서(802)는 단일 칩, 다중 칩들, 또는 다중 전기 구성요소들 상에서 구현될 수 있다. 프로세서(802)에 사용될 수 있는 기술들 중 일부 예들은 전용 또는 임베디드 프로세서, 및 ASIC를 포함한다.
프로세서(802)는 하나 이상의 컴퓨터 프로그램들을 운영하기 위한 기능을 포함할 수 있다. 컴퓨터 프로그램 코드는 메모리(804)에 저장될 수 있다. 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께, 상기 장치로 하여금, 예를 들어 도 1a 내지 도 7과 함께 기술된 기능들 중 하나 이상의 제어를 포함하는 적어도 하나의 실시예를 수행하게 하도록 구성될 수 있다. 예를 들어, 프로세서(802)는 도 2의 제어기(130)의 기능들의 적어도 일부를 수행하도록 배열될 수 있다. 전형적으로 프로세서(802)는 컴퓨터 코드를 수행하고 데이터를 작성하고 사용하기 위해 운영 시스템들과 함께 동작한다.
예로서, 메모리(804)는 EEPROM, 플래시 메모리 등과 같은 비휘발성 부분, 및 데이터를 임시로 저장하는 캐시 에어리어를 포함하는, 임의 액세스 메모리(RAM)와 같은 휘발성 부분을 포함할 수 있다. 프로세서(802)의 기능을 제어하기 위한 정보는 또한 제거 가능 저장 매체 상에 상주할 수 있고 필요할 때 전자 디바이스(800) 상에 로딩되거나 인스톨될 수 있다.
전자 디바이스(800)는 송신기 및 수신기를 포함하는 송수신기 유닛(806)과 동작 가능한 통신 상태에 있는 안테나(또는 다수의 안테나들)를 포함할 수 있다. 전자 디바이스(800)는 하나 이상의 무선 인터페이스 표준들 및 통신 프로토콜들로 동작할 수 있다. 실례를 들면, 전자 디바이스(800)는 다수의 제 1, 제 2, 제 3 및/또는 제 4 세대 통신 프로토콜들 등 중 임의의 프로토콜에 따라 동작할 수 있다. 예를 들어, 전자 디바이스(800)는 이더넷 및 디지털 가입자 회선(digital subscriber line; DSL)과 같은 유선 프로토콜들, 전지구적 모바일 통신 시스템(Global System for Mobile communication; GSM)들과 같은 2세대(2G) 무선 통신 프로토콜들, 3세대 파트너십 프로젝트(3GPP), CDMA2000, 광대역 CDMA(WCDMA), 및 시분할-동기 CDMA(TD-SCDMA)에 의한 3G 프로토콜들과 같은 3세대(3G) 무선 통신 프로토콜들, 3GPP 롱텀 에볼루션(LTE)과 같은 4세대(4G) 무선 통신 프로토콜들, 802.11과 같은 무선 로컬 에어리어 네트워킹 프로토콜들, 블루투스와 같은 단거리 무선 프로토콜들 및/또는 기타 등등에 따라 동작할 수 있다.
전자 디바이스(800)의 사용자 인터페이스는 스피커와 같은 출력 디바이스(808), 마이크로폰, 키패드 또는 하나 이상의 버튼들 또는 액추에이터들과 같은 하나 이상의 입력 디바이스들(810), 및 디스플레이 디바이스(812)를 포함할 수 있다. 전자 디바이스(800)는 UI 아이템들의 입체 프레젠테이션들, 즉 사용자에 의해 3차원 이미지(3D)로 인지되는 UI 아이템들을 디스플레이할 수 있는 입체 디스플레이를 포함할 수 있다.
입력 디바이스(810)는 사용자의 터치로부터 입력을 수신하고 이 정보를 프로세서(802)로 송신하도록 구성되는 터치 센싱 디바이스를 포함할 수 있다. 그와 같은 터치-센싱 디바이스는 또한 터치 감지 면 상의 터치들의 위치 및 크기를 인식하도록 구성될 수 있다. 터치 센싱 디바이스는 정전식 센싱, 저항막 식 센싱, 표면 탄성파 센싱, 감압식 센싱, 유도식 센싱, 및 광 센싱을 포함하는 센싱 기술들에 기초할 수 있으나, 이로 제한되지 않는다. 게다가, 터치 센싱 디바이스는 단일 포인트 센싱 또는 다중 포인트 센싱에 기초할 수 있다. 하나의 실시예에서 입력 디바이스는 디스플레이(812)의 앞에 위치되는 터치 스크린이다.
전자 디바이스(800)는 또한 상술한 시스템(120)과 같이 프로세서(802)에 동작 가능하게 결합된 근접 검출 시스템(814)을 포함한다. 근접 검출 시스템(814)은 손가락, 스타일러스, 또는 다른 포인팅 디바이스가 예를 들어 하우징(housing) 또는 터치 스크린과 같은 I/O 디바이스들을 포함하는 컴퓨터 시스템의 일부 구성요소에 가까운 근처에 있으나 접촉하지 않는 때를 검출하도록 구성된다.
전자 디바이스(800)는 또한 추가 인터페이스 디바이스들, 가속도 센터들과 같은 추가 센서들, 배터리, 카메라, 비디오, 및/또는 오디오 모듈과 같은 미디어 캡처링 요소, 위치추적 유닛, 및 사용자 식별 모듈과 같이, 도 8에 도시되지 않은 추가 유닛들 및 요소들을 포함할 수 있다.
일부 실시예들에서 가청 및/또는 촉각 출력과 같은 추가 출력들은 또한 검출된 거리에 기초하여 장치(100)에 의해 발생될 수 있다. 그러므로, 프로세서(802)는 전자 디바이스(800) 내에서 스피커 및/또는 진동 모터와 같은 촉각 출력 액추에이터를 제어하도록 배열되어 그러한 추가 경보 출력을 제공할 수 있다.
본 발명의 실시예들은 소프트웨어, 하드웨어, 애플리케이션 로직, 또는 소프트웨어, 하드웨어 및 애플리케이션 로직의 결합으로 구현될 수 있다. 예시적인 실시예에서, 애플리케이션 로직, 소프트웨어, 또는 명령 세트는 다양한 종래의 컴퓨터 판독 가능 매체 중 임의의 매체 상에서 유지된다. 본 문서의 맥락에서, “컴퓨터 판독 가능 매체”는 도 8에서 기술되고 도시되는 컴퓨터의 한 예로서, 명령 실행 시스템, 장치, 또는 디바이스에 의해 또는 이들과 함께 사용하기 위한 명령들을 포함 또는 저장할 수 있는 임의의 매체 또는 수단일 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터와 같이 명령 수행 시스템, 장치, 또는 디바이스에 의해 또는 이들과 함께 사용하기 위한 명령들은 포함 또는 저장할 수 있는 임의의 매체 또는 수단일 수 있는 유형적이며 비 일시적인 컴퓨터 판독 가능 저장 매체를 포함할 수 있다.
하나의 예시 실시예에서, 상술한 적어도 일부의 제어 기능들을 제공하도록 구성되는 회로소자 또는 사용자 인터페이스 회로소자가 제공될 수 있다. 본 출원에서 사용되는 바와 같이, 용어 ‘회로소자’는 다음 모두를 칭한다: (a) 하드웨어-전용 회로 구현들(단지 아날로그 및/또는 디지털 회로소자에서의 구현들과 같은), (b) 회로들 및 소프트웨어(및/또는 펌웨어)의 결합들, 예를 들어(적용 가능한 경우): (i) 프로세서(들)의 결합 또는 (ii) 모바일 전화기 또는 서버와 같은 장치로 하여금 다양한 기능들을 수행하도록 함께 작업하는 프로세서(들)/소프트웨어(디지털 신호 프로세서(들)를 포함한다), 소프트웨어, 및 메모리(들)의 일부분들, 및 (c) 심지어 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않을지라도, 동작을 위한 소프트웨어 또는 펌웨어를 요구하는 마이크로프로세서(들) 또는 마이크로프로세서(들)의 일부와 같은 회로들.
‘회로소자’의 정의는 임의의 청구항들에 포함되는, 본 출원 내의 이 용어의 모든 용례에 적용된다. 추가적인 예로서, 본 출원에서 사용되는 바와 같이, 용어 ‘회로소자’는 또한 단지 프로세서(또는 멀티프로세서들) 또는 프로세서 및 이와(또는 이들과) 동반하는 소프트웨어 및/또는 펌웨어의 구현예를 포괄할 것이다.
원하는 경우, 본원에서 논의된 상이한 기능들 중 적어도 일부는 상이한 순서 및/또는 서로 동시에 수행될 수 있다. 더욱이, 원하는 경우, 상술한 기능들 중 하나 이상은 선택적일 수 있거나 결합될 수 있다.
본 발명의 다양한 양태들이 독립 청구항들에 제시되어 있을지라도, 본 발명의 다른 양태들은 기술된 실시예들 및/또는 종속 청구항들로부터의 특징들과 독립 청구항들의 특징들의 다른 결합들을 포함하고, 청구항들에 명시적으로 제시된 결합들만을 포함하지는 않는다.
또한 본원에서는 본 발명의 예시적인 실시예들이 상술될지라도, 이 기술들은 제한하는 의미로 간주되어서는 안 되는 것이 주목된다. 오히려, 첨부된 청구항들에서 정의된 바와 같은 본 발명의 범위를 벗어나지 않고 행해질 수 있는 여러 변형들 및 수정들이 존재한다.

Claims (26)

  1. 장치로서,
    적어도 하나의 프로세서와,
    컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금 적어도,
    입력 면에 근접해서 호버링(hovering)하는 적어도 하나의 입력 물체의 존재에 관한 표시를 수신하게 하고,
    상기 입력 물체와 연관된 적어도 하나의 정보 아이템(information item)을 결정하게 하고,
    상기 입력 물체의 상기 입력 면에 대한 거리에 기초하여 거리 정보(distance information)를 결정하게 하고,
    적어도 두 개의 임계 거리 중에서 제 1 임계 거리 - 상기 거리 정보는 상기 제 1 임계 거리와 연관됨 - 를 식별하게 하고,
    상기 제 1 임계 거리를 식별하는 것에 응답하여, 상기 적어도 하나의 정보 아이템과 연관된 가용 정보 중 제 1 레벨의 추가 정보를 식별 - 상기 제 1 레벨의 추가 정보는 상기 적어도 하나의 정보 아이템과 연관된 관련성 정보(relevancy information)에 기초하여 상기 가용 정보로부터 식별되고, 적어도 제 2 임계 거리는 제 2 레벨의 추가 정보와 연관됨 - 하게 하고,
    상기 관련성 정보에 기초하여 식별된 상기 제 1 레벨의 추가 정보가 디스플레이 - 상기 적어도 하나의 정보 아이템에 대한 가변하는 세부사항의 레벨을 지니는 추가 정보를 제공하기 위한 윈도우가 디스플레이됨 - 되도록 하게 하는
    장치.
  2. 제 1 항에 있어서,
    상기 장치는, 상기 거리 정보에 기초하여, 상기 적어도 하나의 정보 아이템과 연관된 미리보기(preview), 추천(recommendation) 또는 보충 정보(supplementary information)의 윈도우 내에 정보의 디스플레이를 활성화시키고/시키거나 상기 윈도우 내에 상기 정보의 양을 적응(adapt)하도록 구성되는
    장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 장치는,
    상기 적어도 하나의 정보 아이템과 연관된 상기 관련성 정보 또는 상기 적어도 하나의 정보 아이템과 연관된 하나 이상의 부가 정보 아이템들(further information items)을 결정하거나 검출하도록 구성되는
    장치.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 정보 아이템의 상기 관련성 정보는 상기 장치의 사용자 및 상기 장치 내에 저장된 컨택트 정보에서 정의된 추가 사용자들의 선택된 세트 중 적어도 하나에 의한 상기 적어도 하나의 정보 아이템의 사용을 표시하는 액세스 이력을 조사하는 것에 기초하여 결정되는
    장치.
  5. 제 3 항에 있어서,
    상기 장치는,
    복수의 정보 아이템들과 연관된 그래픽 사용자 인터페이스 요소 위에 상기 입력 물체가 있다는 표시를 수신하고,
    상기 복수의 정보 아이템들과 연관된 관련성 정보를 결정하거나 검출하고,
    상기 관련성 정보에 기초하여, 상기 복수의 정보 아이템들 중에서 가장 높은 관련성과 연관된 적어도 하나의 정보 아이템을 디스플레이하기 위해 선택하도록 구성되는
    장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 장치는 비디오 카메라, 광 레벨 센서, 또는 초음파 센서 중 적어도 하나로부터의 정보에 기초하여 상기 입력 물체의 상기 입력 면에 대한 거리를 검출하도록 구성되는
    장치.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 장치는 터치 스크린을 포함하는 모바일 통신 디바이스인
    장치.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 거리 정보는 상기 입력 물체의 상기 입력 면에 대하여 추정된 거리를 포함하는
    장치.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금 적어도,
    상기 거리 정보가 적어도 상기 제 2 임계 거리와 연관된다는 판정에 응답하여, 상기 적어도 하나의 정보 아이템과 연관된 상기 가용 정보 중 상기 제 2 레벨의 추가 정보를 식별 - 상기 제 2 레벨의 추가 정보는 상기 제 1 레벨의 추가 정보와 연관된 관련성과는 다른 관련성에 기초하여 상기 가용 정보로부터 식별됨 - 하게 하고,
    상기 다른 관련성에 기초하여 식별된 상기 제 2 레벨의 추가 정보가 디스플레이되도록 하게 하는
    장치.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금 적어도,
    호버링하는 상기 입력 물체의 존재에 기초하여 상기 적어도 하나의 정보 아이템에 대한 관련성 정보를 업데이트하게 하는
    장치.
  11. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 정보 아이템과 연관된 관련성은 사용 이력(usage history)에 기초한 것인
    장치.
  12. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 정보 아이템과 연관된 관련성은, 상기 장치의 사용자의 소셜 네트워크 상에서의 사용자들의 사용 이력(usage history)에 기초한 것인
    장치.
  13. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 레벨의 추가 정보는 상기 적어도 하나의 정보 아이템과 연관된 폴더의 컨텐츠를 포함하는
    장치.
  14. 제 1 항 또는 제 2 항에 있어서,
    상기 장치는 상기 입력 면에 근접해서 호버링하는 상기 적어도 하나의 입력 물체에 의하여 만들어지는 제스처를 검출하도록 구성되는
    장치.
  15. 제 1 항 또는 제 2 항에 있어서,
    상기 장치는 2 이상의 입력 물체를 검출하도록 구성되는
    장치.
  16. 제 1 항 또는 제 2 항에 있어서,
    상기 장치는 상기 입력 물체의 식별 정보에 기초하여 상기 장치의 사용자를 식별하도록 구성되는
    장치.
  17. 장치에 의해 수행되는 디스플레이 동작 제어 방법으로서,
    입력 면에 근접해서 호버링(hovering)하는 적어도 하나의 입력 물체의 존재에 관한 표시를 수신하는 단계와,
    상기 입력 물체와 연관된 적어도 하나의 정보 아이템을 결정하는 단계와,
    프로세서로, 상기 입력 물체의 상기 입력 면에 대한 거리에 관한 거리 정보(distance information)를 결정하는 단계와,
    적어도 두 개의 임계 거리 중에서 제 1 임계 거리 - 상기 거리 정보는 상기 제 1 임계 거리와 연관됨 - 를 식별하는 단계와,
    상기 제 1 임계 거리를 식별하는 것에 응답하여, 상기 적어도 하나의 정보 아이템과 연관된 가용 정보 중 제 1 레벨의 추가 정보를 식별 - 상기 제 1 레벨의 추가 정보는 상기 적어도 하나의 정보 아이템과 연관된 관련성 정보(relevancy information)에 기초하여 상기 가용 정보로부터 식별되고, 적어도 제 2 임계 거리는 제 2 레벨의 추가 정보와 연관됨 - 하는 단계와,
    상기 관련성 정보에 기초하여 식별된 상기 제 1 레벨의 추가 정보를 디스플레이 - 상기 적어도 하나의 정보 아이템에 대한 가변하는 세부사항의 레벨을 지니는 추가 정보를 제공하기 위한 윈도우가 디스플레이됨 - 하는 단계
    를 포함하는
    디스플레이 동작 제어 방법.
  18. 제 17 항에 있어서,
    상기 거리 정보에 기초하여 상기 적어도 하나의 정보 아이템과 연관된 미리보기, 추천 또는 보충 정보의 윈도우 내에 정보의 디스플레이 및 상기 윈도우 내에 상기 정보의 양의 적응(adaptation) 중에서 적어도 하나가 제어되는
    디스플레이 동작 제어 방법.
  19. 제 17 항 또는 제 18 항에 있어서,
    상기 적어도 하나의 정보 아이템과 연관된 관련성 정보 또는 상기 적어도 하나의 정보 아이템과 연관된 하나 이상의 부가 정보 아이템들(further information items)이 검출되거나 결정되고,
    디스플레이를 위한 추가 정보의 선택이 상기 관련성 정보에 따라 제어되는
    디스플레이 동작 제어 방법.
  20. 제 19 항에 있어서,
    상기 적어도 하나의 정보 아이템의 상기 관련성 정보는, 상기 장치의 사용자에 의한 상기 정보 아이템의 사용 및 상기 방법에 있어서 저장된 컨택트 정보에서 정의된 추가 사용자들의 선택된 세트에 의한 상기 정보 아이템의 사용 중 적어도 하나를 나타내는 액세스 이력을 조사하는 것에 기초하여 결정되는
    디스플레이 동작 제어 방법.
  21. 제 17 항 또는 제 18 항에 있어서,
    상기 입력 물체는 복수의 정보 아이템들과 연관된 그래픽 사용자 인터페이스 요소 위에서 검출되고,
    상기 복수의 정보 아이템들과 연관된 관련성 정보가 결정 또는 검출되고,
    상기 복수의 정보 아이템들 중 가장 높은 관련성과 연관되는 적어도 하나의 정보 아이템이 디스플레이를 위해 상기 관련성 정보에 기초하여 선택되는
    디스플레이 동작 제어 방법.
  22. 제 17 항 또는 제 18 항에 있어서,
    상기 입력 물체의 상기 입력 면에 대한 거리는 비디오 카메라, 광 레벨 센서, 또는 초음파 센서 중 적어도 하나로부터의 정보에 기초하여 검출되는
    디스플레이 동작 제어 방법.
  23. 제 17 항 또는 제 18 항에 있어서,
    상기 입력 면에 근접해서 호버링하는 상기 적어도 하나의 입력 물체에 의하여 만들어지는 제스처를 검출하는 단계를 더 포함하는
    디스플레이 동작 제어 방법.
  24. 제 17 항 또는 제 18 항에 있어서,
    2 이상의 입력 물체를 검출하는 단계를 더 포함하는
    디스플레이 동작 제어 방법.
  25. 제 17 항 또는 제 18 항에 있어서,
    상기 입력 물체의 식별 정보에 기초하여 상기 장치의 사용자를 식별하는 단계를 더 포함하는
    디스플레이 동작 제어 방법.
  26. 컴퓨터 프로그램 코드를 저장한 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램 코드는 컴퓨터와 함께 사용되기 위하여 상기 컴퓨터 판독가능 저장 매체 내에 구현되고,
    상기 컴퓨터 프로그램 코드는,
    입력 면에 근접해서 호버링(hovering)하는 적어도 하나의 입력 물체의 존재에 관한 표시를 수신하기 위한 코드와,
    상기 입력 물체와 연관된 적어도 하나의 정보 아이템(information item)을 결정하기 위한 코드와,
    상기 입력 물체의 상기 입력 면에 대한 거리에 기초하여 거리 정보(distance information)를 결정하기 위한 코드와,
    적어도 두 개의 임계 거리 중에서 제 1 임계 거리 - 상기 거리 정보는 상기 제 1 임계 거리와 연관됨 - 를 식별하기 위한 코드와,
    상기 제 1 임계 거리를 식별하는 것에 응답하여, 상기 적어도 하나의 정보 아이템과 연관된 가용 정보 중 제 1 레벨의 추가 정보를 식별 - 상기 제 1 레벨의 추가 정보는 상기 적어도 하나의 정보 아이템과 연관된 관련성 정보(relevancy information)에 기초하여 상기 가용 정보로부터 식별되고, 적어도 제 2 임계 거리는 제 2 레벨의 추가 정보와 연관됨 - 하기 위한 코드와,
    상기 관련성 정보에 기초하여 식별된 상기 제 1 레벨의 추가 정보가 디스플레이 - 상기 적어도 하나의 정보 아이템에 대한 가변하는 세부사항의 레벨을 지니는 추가 정보를 제공하기 위한 윈도우가 디스플레이됨 - 되도록 하게 하기 위한 코드
    를 포함하는
    컴퓨터 판독가능 저장 매체.
KR1020167011322A 2010-09-22 2011-09-06 근접 기반 입력을 위한 장치 및 방법 KR101847754B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/887,539 US8890818B2 (en) 2010-09-22 2010-09-22 Apparatus and method for proximity based input
US12/887,539 2010-09-22
PCT/FI2011/050762 WO2012038589A1 (en) 2010-09-22 2011-09-06 Apparatus and method for proximity based input

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137010090A Division KR20130058752A (ko) 2010-09-22 2011-09-06 근접 기반 입력을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160062147A KR20160062147A (ko) 2016-06-01
KR101847754B1 true KR101847754B1 (ko) 2018-04-10

Family

ID=45817293

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167011322A KR101847754B1 (ko) 2010-09-22 2011-09-06 근접 기반 입력을 위한 장치 및 방법
KR1020137010090A KR20130058752A (ko) 2010-09-22 2011-09-06 근접 기반 입력을 위한 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137010090A KR20130058752A (ko) 2010-09-22 2011-09-06 근접 기반 입력을 위한 장치 및 방법

Country Status (6)

Country Link
US (1) US8890818B2 (ko)
EP (1) EP2619647B1 (ko)
KR (2) KR101847754B1 (ko)
CN (1) CN103210366B (ko)
BR (1) BR112013006616B1 (ko)
WO (1) WO2012038589A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
JP5768347B2 (ja) 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20120096349A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Scrubbing Touch Infotip
JP5304763B2 (ja) * 2010-10-22 2013-10-02 アイシン・エィ・ダブリュ株式会社 画像表示装置、画像表示方法及びプログラム
JP2012103938A (ja) * 2010-11-11 2012-05-31 Seiko Epson Corp 光学式検出システム及びプログラム
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
EP2490113B1 (en) * 2011-02-15 2016-11-23 Lg Electronics Inc. Display device and method of controlling operation thereof
TWI447066B (zh) * 2011-06-08 2014-08-01 Sitronix Technology Corp Distance sensing circuit and touch electronic device
US10133439B1 (en) 2011-08-29 2018-11-20 Twitter, Inc. User interface based on viewable area of a display
US10684768B2 (en) * 2011-10-14 2020-06-16 Autodesk, Inc. Enhanced target selection for a touch-based input enabled user interface
US9442942B2 (en) 2011-10-20 2016-09-13 Nokia Technologies Oy Method, apparatus and computer program product for dynamic and visual object search interface
WO2013111140A2 (en) 2012-01-26 2013-08-01 Umoove Services Ltd. Eye tracking
US20150042581A1 (en) * 2012-01-30 2015-02-12 Telefonaktiebolaget L M Ericsson (Publ) Apparatus Having a Touch Screen Display
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
KR101527038B1 (ko) * 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
WO2013156987A1 (en) * 2012-04-16 2013-10-24 Xtendi Software Technologies Ltd. Proximity-based interface system and method
WO2013168171A1 (en) * 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
KR20140026723A (ko) * 2012-08-23 2014-03-06 삼성전자주식회사 휴대 장치의 가이드 제공 방법 및 그 휴대 장치
KR102084041B1 (ko) * 2012-08-24 2020-03-04 삼성전자 주식회사 펜 기능 운용 방법 및 시스템
US9552068B2 (en) * 2012-08-27 2017-01-24 Microchip Technology Germany Gmbh Input device with hand posture control
JP5942762B2 (ja) * 2012-10-04 2016-06-29 富士ゼロックス株式会社 情報処理装置及びプログラム
KR20140064089A (ko) * 2012-11-19 2014-05-28 삼성전자주식회사 근접 터치 입력을 통한 사용자 인터페이스 제공 방법 및 장치
CN103092467B (zh) * 2013-01-29 2016-08-03 华为终端有限公司 一种视频预览的方法及装置
KR20140105691A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 터치스크린을 구비하는 사용자 기기의 오브젝트 조작 방법 및 그 장치
US20140267094A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
US9170676B2 (en) 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures
US9195332B2 (en) 2013-05-23 2015-11-24 Nokia Technologies Oy Apparatus with deformable flexible user interface area and adjustable hover input region and associated methods
WO2014202819A1 (en) * 2013-06-17 2014-12-24 Nokia Corporation An apparatus for a 3-d stylus-actuable graphical user interface and associated methods
CN103472998B (zh) 2013-09-27 2017-03-15 小米科技有限责任公司 一种选取文字的方法、装置和终端设备
US9377949B2 (en) 2013-09-27 2016-06-28 Xiaomi Inc. Method and terminal device for selecting character
CN104571473B (zh) * 2013-10-15 2018-09-28 北京三星通信技术研究有限公司 穿戴式设备、移动终端及其通信方法
KR102405189B1 (ko) 2013-10-30 2022-06-07 애플 인크. 관련 사용자 인터페이스 객체를 표시
CN103631483B (zh) * 2013-11-27 2017-02-15 华为技术有限公司 一种定位的方法及装置
US9971413B2 (en) 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
KR101692848B1 (ko) * 2013-11-29 2017-01-05 주식회사 하이딥 호버링을 이용하는 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR101628246B1 (ko) * 2014-02-24 2016-06-08 삼성전자주식회사 컨텐츠 표시 방법 및 장치
WO2015130137A1 (en) * 2014-02-27 2015-09-03 Samsung Electronics Co., Ltd. Method and device for displaying three-dimensional graphical user interface screen
KR20150104302A (ko) 2014-03-05 2015-09-15 삼성전자주식회사 전자 장치의 사용자 입력 검출 방법 및 그 전자 장치
US9927927B2 (en) * 2014-05-05 2018-03-27 Atmel Corporation Implementing a virtual controller outside an area of a touch sensor
CN103970288A (zh) * 2014-05-21 2014-08-06 钟林 一种利用汉字拼形手势输入计算机指令的方法
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US10719132B2 (en) * 2014-06-19 2020-07-21 Samsung Electronics Co., Ltd. Device and method of controlling device
KR102251541B1 (ko) * 2014-06-23 2021-05-14 엘지전자 주식회사 이동단말기 및 그것의 제어방법
TW201602893A (zh) * 2014-07-07 2016-01-16 欣興電子股份有限公司 附加資訊提供方法及使用其的觸控顯示裝置
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
KR102399589B1 (ko) * 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
KR102380228B1 (ko) 2014-11-14 2022-03-30 삼성전자주식회사 디바이스를 제어하는 방법 및 그 디바이스
KR20160063812A (ko) * 2014-11-27 2016-06-07 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
KR102336445B1 (ko) * 2014-12-01 2021-12-07 삼성전자주식회사 디바이스를 제어하는 방법, 시스템 및 그 디바이스
KR20160067696A (ko) * 2014-12-04 2016-06-14 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9658704B2 (en) * 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US20180004385A1 (en) 2016-06-30 2018-01-04 Futurewei Technologies, Inc. Software defined icon interactions with multiple and expandable layers
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
CN108227525B (zh) * 2017-12-04 2020-10-23 无锡小天鹅电器有限公司 家用电器的控制方法、装置和洗衣机
CN108153464A (zh) * 2018-01-26 2018-06-12 北京硬壳科技有限公司 一种控制方法和装置
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) * 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
CN100437451C (zh) * 2004-06-29 2008-11-26 皇家飞利浦电子股份有限公司 用于防止弄脏显示设备的方法与设备
WO2006039939A1 (en) 2004-10-13 2006-04-20 Wacom Corporation Limited A hand-held electronic appliance and method of entering a selection of a menu item
US7924271B2 (en) 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
KR100934514B1 (ko) 2008-05-07 2009-12-29 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스제어방법
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US20090307224A1 (en) * 2007-11-12 2009-12-10 Amin Archit A Apparatus and method for communicating, accessing, organizing, and/or managing, information in a network environment
JP2009140368A (ja) * 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
US8082566B2 (en) * 2007-12-19 2011-12-20 Verizon Patent And Licensing Inc. Input based function preview apparatuses, systems, and methods
KR101486345B1 (ko) 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101467766B1 (ko) 2008-03-21 2014-12-10 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
EP2131272A3 (en) * 2008-06-02 2014-05-07 LG Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US9030418B2 (en) 2008-06-24 2015-05-12 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
KR20100044341A (ko) * 2008-10-22 2010-04-30 엘지전자 주식회사 이동 단말기 및 이를 이용한 스케쥴러 제공 방법
US20100110002A1 (en) * 2008-11-06 2010-05-06 Sony Ericsson Mobile Communications Ab Communication device with combined input and display device
JP5407336B2 (ja) * 2009-01-06 2014-02-05 日本電気株式会社 情報処理装置
KR101582686B1 (ko) * 2009-03-02 2016-01-05 엘지전자 주식회사 아이템 표시 방법 및 이를 적용한 이동 통신 단말기

Also Published As

Publication number Publication date
US8890818B2 (en) 2014-11-18
CN103210366A (zh) 2013-07-17
BR112013006616A2 (pt) 2016-06-21
CN103210366B (zh) 2016-11-02
EP2619647A4 (en) 2017-04-05
KR20130058752A (ko) 2013-06-04
KR20160062147A (ko) 2016-06-01
EP2619647B1 (en) 2020-10-21
WO2012038589A1 (en) 2012-03-29
EP2619647A1 (en) 2013-07-31
BR112013006616B1 (pt) 2021-03-16
US20120068941A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
KR101847754B1 (ko) 근접 기반 입력을 위한 장치 및 방법
US12026170B2 (en) User interface for searching
US10387016B2 (en) Method and terminal for displaying a plurality of pages,method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications
US9990062B2 (en) Apparatus and method for proximity based input
US8508347B2 (en) Apparatus and method for proximity based input
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
US10386995B2 (en) User interface for combinable virtual desktops
US20120054670A1 (en) Apparatus and method for scrolling displayed information
US20150347358A1 (en) Concurrent display of webpage icon categories in content browser
US20140331146A1 (en) User interface apparatus and associated methods
JP5837955B2 (ja) 電子装置の機能の実行方法及びその電子装置
KR20130090138A (ko) 다중 터치 패널 운용 방법 및 이를 지원하는 단말기
CN107111441B (zh) 多级用户界面
US20170277379A1 (en) Method and terminal for processing desktop icon
US20120050032A1 (en) Tracking multiple contacts on an electronic device
KR102306535B1 (ko) 디바이스를 제어하는 방법 및 디바이스
US20240320233A1 (en) User interface for searching

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant