KR20100136649A - 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치 - Google Patents

휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치 Download PDF

Info

Publication number
KR20100136649A
KR20100136649A KR1020090054827A KR20090054827A KR20100136649A KR 20100136649 A KR20100136649 A KR 20100136649A KR 1020090054827 A KR1020090054827 A KR 1020090054827A KR 20090054827 A KR20090054827 A KR 20090054827A KR 20100136649 A KR20100136649 A KR 20100136649A
Authority
KR
South Korea
Prior art keywords
user
pattern
light
gesture
controller
Prior art date
Application number
KR1020090054827A
Other languages
English (en)
Inventor
김은지
강태호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090054827A priority Critical patent/KR20100136649A/ko
Priority to US12/814,809 priority patent/US20100321289A1/en
Publication of KR20100136649A publication Critical patent/KR20100136649A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치에 관한 것으로, 이러한 발명은 휴대단말기의 사용자 인터페이스 구현 방법에 있어서, 근접 센싱을 실행하는 과정과, 상기 근접 센싱 실행 중 특정 제스처를 인식하는 과정과, 상기 특정 제스처가 인식되면 상기 특정 제스처에 대응하는 패턴을 분석하는 과정과, 상기 분석된 패턴에 따른 기능을 처리하는 과정;을 포함하는 것을 특징으로 한다.
휴대단말기, 근접 센서, 제스처, 패턴

Description

휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치{Method for embodying user interface using a proximity sensor in potable terminal and apparatus thereof}
본 발명은 휴대단말기의 사용자 인터페이스 구현 방법 및 장치에 관한 것으로, 더욱 상세하게는 근접 센서를 통해 사용자의 제스처(gesture)를 인식하여 사용자 인터페이스(User Interface, UI)를 구현하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치에 관한 것이다.
최근에 휴대단말기와 관련된 기술이 발달하고, 그 보급이 확산되면서 휴대단말기는 개인의 필수품이 되고 있다. 또한, 휴대단말기의 보급이 일반화되면서 사업자들은 사용자들의 욕구를 충족시키기 위한 다양한 서비스를 제공하고 있다. 예를 들면, 현재 이동통신 서비스 사업자들은 이동통신망을 통해 주요 기능인 발신자와 수신자 사이의 통화 기능뿐만 아니라 카메라 기능, 디지털 방송 재생 서비스, 무선 인터넷 서비스, 단문 메시지 서비스(SMS, Short Message Service), 멀티미디어 메시지 서비스(MMS, Multimedia Message Service)등의 다양한 기능 및 서비스를 휴대단말기에 접목하여 제공하고 있다. 특히, 근래의 휴대단말기 관련 서비스는 상기와 같은 기능 및 서비스를 비롯하여, 사용자의 기호에 맞는 다양한 부가 서비스를 제공하고 있다.
사용자는 이러한 다양한 서비스를 제공하는 휴대단말기를 조작하기 위하여 기능키를 입력하거나 터치스크린에 터치 신호를 입력해야만 한다. 하지만, 사용자는 각각의 서비스를 이용하기 위하여 기능 키 또는 터치 신호를 입력하는 과정에서 일정한 힘을 가해야 하는 불편한 점이 있다.
따라서, 상술한 바와 같은 종래의 문제점을 감안한 본 발명의 목적은 사용자는 휴대단말기의 근접 센서를 통해 제스처(Gesture)를 입력하고, 상기 제스처에 대응되는 패턴(Pattern)에 따라 기능을 실행할 수 있는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치를 제공하고자 한다.
다른 목적은 휴대단말기는 특정 제스처가 입력되면, 기울기 변화를 판단하여 해당되는 기울기에 따라 다른 패턴의 기능을 실행할 수 있는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치를 제공하고자 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 휴대단말기의 사용자 인터페이스 구현 방법에 있어서, 근접 센싱을 실행하는 과정과 상기 근접 센싱 실행 중 특정 제스처를 인식하는 과정과 상기 특정 제스처가 인식되면 상기 특정 제스처에 대응하는 패턴을 분석하는 과정과 상기 분석된 패턴에 따른 기능을 처리하는 과정을 포함하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 근접 센서를 이용하여 사용자 인터페이스를 구현하는 휴대단말기에 있어서, 근접 센싱 모드에서 제어부의 제어 신호에 따라 스위치 연결 기능을 실행하여 빛을 발산부 및 특정 제스처에 의해 빛의 감지하는 다수개의 수신부들로 구성되는 근접 센서부와 상기 특정 제스처를 인식하고, 상기 특정 제스처에 대응하는 패턴을 패턴 분 석부를 통해 분석하여 상기 분석된 패턴에 따른 기능을 처리하는 상기 제어부를 포함하는 하는 것을 특징으로 한다.
본 발명에 따르면, 근접 센서를 통해 감지되는 제스처를 통해 사용자 인터페이스를 구현할 수 있다.
또한, 터치스크린을 가지는 휴대단말기 또는 일반적인 키패드를 구비한 휴대단말기의 구분 없이 근접센서를 이용하여 다양한 종류의 어플리케이션(Application) 실행이 가능하다.
또한, 휴대단말기는 사용자의 의도에 따라 다양한 종류의 패턴을 설정하여 사용자의 개성에 맞는 사용자 인터페이스를 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
본 발명의 실시 예에 따른'제스처'는 근접 센서에 입력되는 사용자 동작을 의미한다. 이 때, 상기 제스처는 제1제스처와 제2제스처로 구분될 수 있다. 여기서, 상기 제1제스처는 사용자 동작의 방향성에 대응하는 제스처로써, 근접 센서에 감지되는 상하 또는 좌우 방향으로 구분되는 동작이 될 수 있다. 또한, 상기 제2제스처는 사용자 동작에 따른 빛의 세기에 대응하는 제스처로써, 근접 센서에 근접하 는 거리에 따라 구분되는 동작이 될 수 있다.
본 발명의 실시 예에서 휴대단말기는 감지되는 빛의 세기와 사용자 동작의 방향성으로 구분하여 사용자 동작을 감지할 수 있다. 이 때, 상기 두 가지 근접 센싱 방법을 함께 사용하여 보다 정밀한 사용자 동작을 감지할 수 있다.
본 발명의 실시 예에서 휴대단말기는 빛의 세기에 대응하는 사용자 동작을 감지하기 위하여 수신부에서 수신된 빛에 대한 신호를 저역 통과 필터(Low Pass Filter, LPF)를 통해 고조파 잡음을 제거하고, 증폭기를 통해 증폭한 후, 두 개의 비교기에 다른 값으로 설정되어 있는 한계 값과 각각 비교하는 과정을 수행할 수 있다. 또한, 휴대단말기는 빛의 세기에 따라 사용자 동작을 감지하기 위하여 증폭된 신호를 ADC(Analog Digital Convertor)를 통해 디지털 신호로 변환하고, 기 설정되어 있는 레퍼런스(Reference) 값과 비교하는 과정을 수행할 수 있다.
본 발명의 실시 예에서 휴대단말기는 다수개의 증폭기를 통해 전달되는 증폭된 신호의 전달 시간을 판단하고, 상기 시간을 감산 연산하여 빛이 먼저 인식되는 수신부를 판단함으로써, 사용자 동작의 방향성을 판단할 수 있다. 예를 들어, 휴대단말기는 두 개의 수신부들이 발산부를 가운데 두고 상하 방향 또는 좌우 방향으로 위치하는 경우, 상하 방향 또는 좌우 방향인 두 방향에 대해 사용자 동작의 방향성을 판단할 수 있으며, 네 개의 수신부들이 발산부를 가운데 두고 상하좌우 방향으로 네 개가 위치하는 경우, 상하좌우 방향에 대해 사용자 동작의 방향성을 판단할 수 있다.
본 발명의 실시 예에 따른 휴대단말기는 근접 센서를 포함하는 단말기로서, 바람직하게는 이동통신 단말기, 개인 정보 단말기(PDA, Personal Digital Assistants), IMT-2000(International Mobile Telecommunication 2000)단말기, 스마트 폰(Smart Phone)단말기, PMP(Potable Multimedia Player)단말기, MP3(MPEG Audio Layer-3)플레이어, 네비게이션(Navigation)단말기 및 노트북(Notebook) 등과 같은 단말기와 그에 대한 응용에도 적용될 수 있음은 자명한 것이다.
도 1은 본 발명의 실시 예에 따른 휴대단말기의 개략적인 구성을 설명하기 위한 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 휴대단말기는 제어부(100), 근접 센서부(110), 신호 처리부(120), 입력부(130), 표시부(140), 저장부(150), 오디오 처리부(160) 및 센서부(170)를 포함하여 구성된다. 이 때, 상기 근접 센서부(110)는 발산부(112)와 수신부(114)를 포함하고, 상기 저장부(150)는 패턴 데이터베이스(이하 패턴 DB, 152)를 포함하고, 상기 제어부(100)는 패턴 분석부(102)를 포함한다.
상기 근접 센서부(110)는 빛을 발산하고, 외부로부터 입력되는 사용자의 움직임 또는 물체의 움직임 등과 같은 물리적 신호를 감지하여 신호 처리부(120)로 전송할 수 있다. 이 때, 근접 센서부(110)는 외부 물체가 일정 거리 이상 감지 영역 내로 접근하는 것을 적외선을 이용하여 감지하는 IR 센서(Infrared Sensor)를 사용할 수 있다. 여기서, 근접 센서부(110)는 적외선(IR)을 방사하는 발광 다이오드(Light Emitting Diode, LED)로 이루어지는 발산부(112)와 반사되는 빛을 감지할 수 있는 다이오드 또는 트랜지스터(TR)와 같은 검출기(Detector)로 이루어지는 수 신부(114)로 구성될 수 있다.
상기 발산부(112)는 제어부(100)의 신호에 따라 외부 임의의 물체까지 근접 거리를 측정하기 위해 외부로 빛을 발산하는 역할을 하고, 수신부(114)는 검출기를 통해 외부 물체로부터 반사되는 빛을 감지하는 역할을 할 수 있다. 특히, 본 발명의 실시 예에서 발산부(112)는 신호 처리부(120)를 통해 증폭되는 신호에 따라 일정량의 빛을 발산한다. 또한, 상기 수신부(114)는 검출기를 통해 감지되는 빛에 대한 신호를 신호 처리부(120)로 전달할 수 있다. 이 때, 휴대단말기는 상하 또는 좌우 방향에 따른 사용자 동작을 감지하기 위하여 두 개의 수신부들로 구성될 수 있으며, 상하좌우 방향에 따른 사용자 동작을 감지하기 위하여 네 개의 수신부들로 구성될 수 있다.
상기 신호 처리부(120)는 제어부(100)로부터 발생하는 클럭(Clock) 신호에 따른 전원을 증폭할 수 있다. 또한, 신호 처리부(120)는 수신부(114)로부터 검출되는 빛에 대한 신호를 증폭하는 증폭기(Amplifier)와 상기 증폭기로부터 전달되는 신호를 기 설정되어 있는 한계 값과 비교할 수 있는 비교기(Comparator)를 포함하여 구성될 수 있다. 여기서, 상기 증폭기는 트랜지스터, OP AMP(Operational Amplifier) 및 전기 신호를 증폭할 수 있는 소자가 포함될 수 있다. 또한, 비교기는 증폭기로부터 증폭되는 신호와 한계 값을 비교하여 그 결과를 출력한다. 또한, 신호 처리부(120)는 발산부(112)에서 발산 되는 빛을 제어하기 위하여 스위치를 구비할 수 있다. 여기서, 본 발명의 실시 예에 따른 휴대단말기를 구성하는 신호 처리부(120)에 대한 설명은 도 2를 통해 상세하게 설명하기로 한다. 도 2를 참조하 면, 신호 처리부(120)는 제1필터(121), 제1증폭기(122), 제1비교기(123), 제2비교기(124), 스위치(119), 제3증폭기(125), 제2필터(126), 제2증폭기(127), 제3비교기(128), 제4비교기(129)를 포함하여 구성될 수 있다. 특히, 신호 처리부(120)는 제어부(100)의 제어 신호에 따라 스위치(119)를 제어하여 발산부(112)를 통해 빛이 발산될 수 있도록 한다. 즉, 상기 제3증폭기(124)는 근접 센싱 모드가 실행되면, 제어부(100)로부터 전달되는 제어 신호를 수신하고, 전원을 증폭할 수 있다. 이에 따라, 제3증폭기(124)는 스위치(112)를 연결하여 발산부(112)에 증폭된 전원을 전달할 수 있다. 이 후, 발산부(112)는 전달된 전원에 따라 빛을 발산할 수 있다.
신호 처리부(120)의 근접 센서부(110)를 구성하는 수신부(114)가 다수개의 수신부들로 구성되는 경우, 상기 다수개의 수신부들을 통해 감지되는 빛에 대한 신호들은 해당되는 필터를 통해 각기 다른 증폭기에 전달될 수 있다. 즉, 휴대단말기의 수신부(114)가 제1수신부(116)와 제2수신부(118)로 구성되는 경우 제1수신부(116)는 빛을 감지할 수 있고, 감지되는 빛에 대한 신호는 제1필터(121)를 통해 고조파 잡음을 제거한 후 제1증폭기(122)로 전달되어 증폭될 수 있다. 이 후, 제1증폭기(122)는 증폭된 신호를 제1비교기(125), 제2비교기(126) 및 제어부(100)로 전달한다. 이 때, 상기 비교기들은 기 설정되어 있는 한계 값과 증폭된 신호를 비교하여 생성되는 데이터를 제어부(100)로 전달할 수 있다. 또한, 제1증폭기(122)를 통해 전달되는 신호는 기 설정되어 있는 레퍼런스 값과 비교될 수 있다.
또한, 제2수신부(118)는 빛을 감지할 수 있고, 감지되는 빛에 대한 신호는 제2필터(126)를 통해 고조파 잡음을 제거한 후 제2증폭기(127)로 전달되어 증폭될 수 있다. 이 후, 제2증폭기(127)는 증폭된 신호를 제3비교기(128), 제4비교기(129) 및 제어부(100)로 전달한다. 이 때, 상기 비교기들은 기 설정되어 있는 한계 값과 증폭된 신호를 비교하여 생성되는 데이터를 제어부(100)로 전달할 수 있다. 또한, 제2증폭기(127)를 통해 전달되는 신호는 기 설정되어 있는 레퍼런스 값과 비교될 수 있다. 여기서, 상기 생성된 데이터들은 빛의 세기에 따라 사용자 동작이 인식되는 거리를 판단할 수 있는 데이터이다. 또한, 상기 레퍼런스 값은 비교기에 설정되어 있는 한계 값처럼 증폭된 신호와 비교될 수 있는 값이며, 단말기의 제조과정에서 설정될 수 있다.
또한, 상기 제1증폭기(122)와 제2증폭기(127)를 통해 제어부(100)로 전달되는 신호는 상기 신호가 전달되는 시간차에 의해 연산되어 사용자 동작의 방향성을 판단하는 데 이용될 수 있다.
상기 입력부(130)는 숫자 및 문자 정보 등의 다양한 정보를 입력하는 다수개의 입력키들 및 각종 기능들을 설정하기 위한 다수의 기능키들을 포함한다. 여기서, 입력부(130)는 각종 기능들의 설정 및 휴대단말기의 기능 제어와 관련하여 입력되는 신호를 제어부(100)로 전달할 수 있다. 또한, 입력부(130)는 사용자 행위에 따른 입력 신호를 발생하고, 이를 위한 키패드와 터치 패드 중 적어도 하나를 포함하여 구성될 수 있다. 이 때, 입력부(130)는 표시부(140)와 함께 하나의 터치스크린 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수도 있다.
상기 표시부(140)는 휴대단말기에서 이루어지는 일련의 동작상태, 동작결과 및 다수의 정보를 표시한다. 또한, 표시부(140)는 휴대단말기의 메뉴 및 사용자가 입력한 사용자 데이터를 화면에 표시한다. 여기서, 표시부(140)는 LCD(Liquid Crystal Display)로 구성될 수 있다. 이 때, 표시부(140)는 입력부(130)와 함께 하나의 터치스크린 형태로 구성되어 표시와 입력 기능을 동시에 수행할 수도 있다.
상기 저장부(150)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장부(150)는 프로그램 영역과 데이터 영역을 포함한다. 상기 프로그램 영역은 휴대단말기를 부팅하는 운영체제(OS: Operating System), 사용자의 동작에 따른 빛의 세기를 인식하는 프로그램, 사용자 동작의 방향성을 인식하는 프로그램, 빛의 세기에 대응하는 패턴을 판단하는 프로그램, 사용자 동작의 방향성에 대응하는 패턴을 판단하는 프로그램, 사용자 패턴을 설정하는 프로그램 및 기울기의 변화에 대응하는 패턴을 분석하는 프로그램 등이 저장될 수 있다. 그리고 상기 데이터 영역은 휴대단말기의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 사용자의 동작에 따라 분석된 패턴 및 사용자에 의해 설정되는 패턴 등이 저장될 수 있다. 이 때, 상기 패턴들은 데이터화 되어 패턴 DB(152)에 저장될 수 있다.
상기 오디오 처리부(160)는 제어부(100)에서 출력되는 오디오 신호를 재생하거나 또는 마이크(MIC)로부터 입력되는 오디오 신호를 제어부(100)에 전송하는 기능을 수행한다. 즉, 오디오 처리부(160)는 음향 데이터를 제어부(100)의 제어에 상응하여 스피커(SPK)를 통해 가청 음으로 변환하여 출력하고, 마이크(MIC)로부터 수신되는 오디오 신호를 디지털 변환하여 제어부(100)에 출력한다.
상기 센서부(170)는 휴대단말기의 기울기 변화를 판단하기 위하여 가속도 센 서와 지자기 센서를 포함하여 구성될 수 있다. 상기 가속도 센서는 휴대단말기가 어느 정도의 세기로 움직였는지를 감지하여 제어부(100)에 해당되는 데이터를 전달한다. 특히, 본 발명의 실시 예에 따른 가속도 센서가 3축 가속도 센서인 경우 3차원 공간에서 제어 명령 전달 장치가 움직이는 방향과 정도를 감지할 수 있다. 또한, 상기 지자기 센서는 휴대단말기의 방향을 감지하고 그 결과를 제어부(100)에 전달한다. 즉, 지자기 센서는 절대 방위를 기준으로 휴대단말기가 어느 방향에 위치하는지 감지할 수 있다.
상기 제어부(100)는 휴대단말기의 전반적인 동작 및 내부 블록들 사이의 신호 흐름을 제어한다. 본 발명의 실시 예에서 따른 제어부(100)는 아날로그 신호를 디지털 신호로 변환하는 기능을 실행할 수 있다. 특히, 제어부(100)는 사용자의 요청에 따라 근접 센서부(110)를 제어하여 근접 센싱 모드를 실행할 수 있다. 이 때, 근접 센싱 모드는 빛의 세기에 따라 사용자의 동작을 인식하는 방법과 다수개의 수신부들을 통해 빛이 감지되는 시간차를 연산하여 사용자 동작의 방향성을 인식하는 방법으로 구분될 수 있다. 여기서, 근접 센싱 모드가 실행되면, 제어부(100)는 발산부(112)에 전원을 인가하여 빛을 발산할 수 있도록 제어한다.
제어부(100)는 신호 처리부(120)에서 증폭되는 신호와 특정 비교기의 한계 값을 비교하여 빛의 세기를 판단할 수 있다. 즉, 제어부(100)는 근접 센서부(110)로부터 사용자의 동작이 입력되는 거리에 대응하는 빛의 세기를 판단할 수 있다. 이 때, 제어부(100)는 사용자의 동작에 따라 근접 센서부(110)로부터 먼 거리일 때 감지되는 빛의 세기보다 가까운 거리에서 더 많은 빛의 세기를 감지할 수 있다. 이 는 발산부(112)에서 발산하는 빛이 일정한 양일 경우 빛이 감지되는 거리가 근접 센서부(110)로부터 멀어질수록 빛의 산란 등에 해당하는 물리적 특성 변화에 의해 감소되어 수신부(114)에 감지되는 빛의 양이 적어지기 때문이다.
제어부(100)는 휴대단말기가 다수 개의 수신부들로 구성되는 경우 각각의 수신부에 빛이 감지되는 시간차를 연산하여 사용자 동작의 방향성을 판단할 수 있다. 즉, 제어부(100)는 빛이 먼저 감지되는 수신부의 위치에서 빛이 나중에 감지되는 수신부의 위치로 사용자 동작이 이동하는 것으로 판단할 수 있다.
제어부(100)는 패턴 인식 모드에서 근접 센서부(110)를 통해 입력되는 사용자 동작을 감지할 수 있다. 이 때, 상기 근접 센서부(110)는 신호 처리부(120)의 스위치 기능에 따라 발산부(112)를 통해 빛을 발산할 수 있다. 즉, 신호 처리부(120)는 근접 센서부(110)의 오작동을 방지하기 위하여 제어부(100)의 제어 신호에 따라 스위치 기능을 실행할 수 있다. 여기서, 제어부(100)는 사용자 동작이 감지되면, 상기 동작에 대응하는 패턴을 분석할 수 있다. 예를 들어, 상기 패턴은 상측, 하측, 우측 및 좌측 방향으로 이동하는 패턴일 수 있고, 사용자에 의해 설정된 패턴일 수 있다. 이를 자세하게 설명하면, 제어부(100)는 사용자 동작에 대응하는 패턴에 따라 해당되는 기능을 실행할 수 있다. 이 때, 제어부(100)는 사용자 패턴 설정 모드를 통해 사용자 패턴을 설정할 수 있다. 즉, 제어부(100)는 사용자의 입력에 의해 선택, 취소, 실행, 핫키(Hot key), 사용자 확인 및 단축번호 설정 등의 다양한 기능을 실행하기 위한 패턴을 설정할 수 있다. 여기서, 상기 사용자에 의해 설정되는 패턴은 두 가지 이상의 패턴의 조합으로 이루어지는 것이 바람직하다.
제어부(100)는 센서부(170)의 기울기 변화에 따라 패턴을 구분하여 출력할 수 있다. 즉, 제어부(100)는 3축 지자기 센서 또는 6축 센서(3축 지자기 센서와 3축 가속도 센서)의 기능을 실행하여 사용자 동작에 따른 패턴을 인식할 수 있다.
이와 같은 기능을 효과적으로 수행하기 위하여 제어부(100)는 패턴 분석부(102)를 포함하여 구성된다. 상기 패턴 분석부(102)는 사용자 동작에 대응하는 패턴을 분석하여 해당되는 기능을 실행할 수 있도록 한다.
도 3은 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 전반적으로 설명하기 위한 흐름도 이고, 도 4a 내지 도 4f는 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 전반적으로 설명하기 위한 화면 예이다.
도 3 내지 도 4f를 참조하면, 본 발명의 실시 예에 따른 휴대단말기는 S301단계에서 사용자의 요청에 따라 근접 센싱 모드를 실행할 수 있다. 이 때, 휴대단말기는 근접 센싱 모드에서 사용자의 동작이 입력되는 거리에 따른 빛의 세기와 방향성에 따라 패턴을 인식하여 해당되는 기능을 실행할 수 있다. 또한, 휴대단말기는 전원을 근접 센서부(110)에 전달하기 위하여 스위치 기능을 실행하기 위하여 신호 처리부(120)를 제어할 수 있다. 이 후, 발산부(100)는 제어부(100)의 신호에 의해 스위치 연결이 떨어질 때까지 계속해서 빛을 발산한다.
근접 센싱이 실행되면, 휴대단말기는 S303단계에서 사용자에 의해 입력되는 제스처를 인식할 수 있다. 이 때, 상기 제스처는 빛의 세기에 따라 거리를 판단하여 사용자 동작을 구분하는 제스처이거나 방향성에 따라 사용자 동작을 구분하는 제스처일 수 있다. 이를 상세하게 설명하면, 휴대단말기는 감지되는 빛에 대한 신 호를 신호 처리할 수 있다. 여기서, 신호 처리부(120)는 수신부(114)로부터 수신되는 신호를 증폭할 수 있고, 증폭된 신호를 비교기로 전달하거나 제어부(100)로 전달할 수 있다. 이 후, 신호 처리부(120)는 상기 전달된 신호를 기 설정되어 있는 한계 값과 비교하여 생성되는 데이터를 제어부(100)로 전달할 수 있다. 이 때, 제어부(100)는 상기 전달된 신호를 디지털 변환하여 기 설정되어 있는 레퍼런스 값과 비교하는 과정을 수행한다. 이 후, 제어부(100)는 상기 데이터를 분석하여 빛의 세기에 따른 제스처를 인식할 수 있다. 또한, 제어부(100)는 다수 개의 수신부들을 이용하여 사용자의 동작에 따라 빛이 감지되는 시간차를 판단할 수 있다. 즉, 제어부(100)는 증폭된 신호가 전달되는 시간을 확인하여 빛이 감지되는 수신부의 위치에 따라 사용자 동작의 방향성을 판단하여 제스처를 인식할 수 있다. 예를 들어, 도 4a에 도시된 바와 같이 휴대단말기는 사용자의 동작이 근접 센서부(110)로부터 멀게 위치(401)할 때의 빛의 세기보다 근접 센서부(110)로부터 가깝게 위치(403)할 때 더 많은 빛의 세기가 감지되는 것을 인식할 수 있다. 또한, 도 4b에 도시된 바와 같이 제어부(100)는 다수 개의 수신부들에 입력되는 빛에 대한 신호가 감지되는 시간을 감산하여 사용자 동작을 방향성을 판단할 수 있다. 여기서, 제어부(100)는 사용자의 동작이 좌(405)에서 우(407)로 이동하거나 우(407)에서 좌(405)로 이동하는 방향성 가지는 것을 인식할 수 있다. 이를 자세하게 설명하면, 도 4c에서 근접 센서부(110)는 발산부(112), 제1수신부(116) 및 제2수신부(118)로 구성될 수 있다. 이 때, 발산부(112)는 빛을 발산하고, 제1수신부(116)와 제2수신부(118)는 빛을 감지할 수 있다. 여기서, 제어부(100)는 빛에 대한 신호가 최대로 감지되는 시간차를 연산하여 사용자 동작의 방향성을 판단할 수 있다. 즉, 제어부(100)는 제2수신부(118)에 빛에 대한 신호가 감지되는 시간이 제1수신부(116)에 입력되는 시간 보다 빠른 경우, 사용자 동작의 방향성이 좌에서 우로 이동하는 방향(409)인 것으로 판단할 수 있다. 또한, 제어부(100)는 제1수신부(116)에 빛에 대한 신호가 감지되는 시간이 제2수신부(118)에 입력되는 시간 보다 빠른 경우, 사용자 동작의 방향성이 우에서 좌로 이동하는 방향(411)인 것으로 판단할 수 있다. 또한, 도 4d에 도시된 바와 같이 제어부(100)는 다수 개의 수신부들에 입력되는 빛에 대한 신호가 감지되는 시간을 감산하여 사용자 동작을 방향성을 판단할 수 있다. 여기서, 제어부(100)는 사용자의 동작이 아래(413)에서 위(415)로 이동하거나 위(415)에서 아래(413)로 이동하는 방향성 가지는 것을 인식할 수 있다.
제스처가 인식되면, 휴대단말기는 S305단계에서 상기 제스처에 대응하는 패턴을 분석한다. 이 때, 상기 패턴은 상하좌우 방향으로 이동하는 단일 패턴이거나 사용자에 의해 설정되는 사용자 패턴일 수 있다. 여기서, 상기 단일 패턴은 사용자 동작의 방향성에 따른 단일 제스처에 대응하여 인식될 수 있다. 또한, 사용자 패턴은 사용자 설정모드를 통해 설정되는 패턴으로써, 사용자에 의해 선택되는 특정 메뉴와 적어도 두 개 이상의 패턴이 매칭되어 설정될 수 있다. 또한, 상기 단일 패턴은 빛의 세기에 따른 제스처에 대응하여 인식될 수 있다. 또한, 제어부(100)는 센서부(170)의 기울기 변화를 판단하여 패턴을 구분하여 분석할 수 있다. 이 때, 상기 센서부(170) 3차원 공간에서 제어 명령 전달 장치가 움직이는 방향과 정도를 감지하고, 그 결과를 제어부(100)에 전달하기 위하여 3축 가속도 센서를 구비할 수 있다. 또한, 센서부(170)는 절대 방위를 기준으로 휴대단말기가 어느 방향에 위치하는지를 감지하고, 그 결과를 제어부(100)에 전달하기 위하여 지자기 센서를 구비할 수 있다. 예를 들어, 도 4e에 도시된 바와 같이 제어부(100)는 센서부(170)를 통해 인식되는 기울기가 지면과 90도인 경우 입력되는 제스처에 대응하는 패턴을 디폴트(Default)값으로 처리할 수 있다. 한편, 도 4f에 도시된 바와 같이 제어부(100)는 센서부(170)를 통해 인식되는 기울기가 지면과 45도인 경우 즉, 기울기의 변화가 생기면 입력되는 제스처를 다르게 인식하여 처리할 수 있다.
패턴이 분석되면, 휴대단말기는 S307단계에서 분석된 패턴에 따른 기능을 실행한다. 이 때, 제어부(100)는 입력된 제스처가 단일 패턴인 경우 사용자에 의해 입력되는 제스처에 따라 상하좌우로 이동, 소리의 크기 조절, 특정 메뉴에서 해당되는 하위 메뉴로 이동하기, 슬라이드(Slide) 기능, 스크롤(Scroll) 기능, 확대 및 축소 기능 등을 실행할 수 있다. 또한, 사용자 패턴일 경우 사용자의 제스처 인식 시 선택된 특정 메뉴 또는 아이콘을 실행, 상위 메뉴로 이동하거나 현재 실행되고 있는 어플리케이션을 정지, 반복 패턴에 따라 핫 키 실행, 비밀 번호 입력 기능 및 단축 번호 설정 기능 등을 실행할 수 있다. 또한, 빛의 세기에 따라 사용자 동작이 입력되는 거리를 판단하는 제스처인 경우 제어부(100)는 신호 처리부(120)로부터 수신되는 데이터를 분석하여 빛의 세기가 점점 커지면 특정 메뉴를 선택하거나 실행, 빛의 세기가 점점 작아지면 특정 메뉴를 취소하거나 이전 단계로 복귀 및 화면 확대 또는 축소 기능 등을 실행할 수 있다. 또한, 제어부(100)는 센서부(170)의 기울기 변화에 따라 제스처 입력에 대하여 다른 패턴으로 판단하여 해당되는 기능을 실행할 수 있다.
도 5는 본 발명의 실시 예에 따른 빛의 세기를 통해 사용자 동작을 구분하는 과정을 설명하기 위한 흐름도 이다.
도 5를 참조하면, 제어부(100)는 S501단계에서 빛의 세기를 판단하기 위하여 사용자의 동작이 입력되는 거리에 따라 근접 센싱을 실행한다. 이 때, 상기 근접 센싱 모드가 실행되면, 제어부(100)는 발산부(112)에 전원을 인가하여 빛을 발산할 수 있도록 스위치 연결을 위한 제어 신호를 신호 처리부(120)에 전달할 수 있다. 이 후, 제어부(100)로부터 제어 신호를 전달받은 신호 처리부(120)는 전원을 증폭하여 발산부(112)로 전달한다.
전원이 전달되면, 발산부(112)는 S503단계에서 상기 전원에 따라 빛을 발산할 수 있다. 여기서, 발산부(112)는 제어부(100)로부터 스위치 연결 종료 신호가 신호 처리부(120)로부터 전달될 때까지 계속해서 빛을 발산한다. 즉, 발산부(112)는 수신부(114)에 빛이 감지되는 것과 상관없이 빛을 발산한다.
빛이 발산되는 중에 수신부(114)는 S505단계에서 빛을 감지할 수 있다. 이 때, 수신부(114)는 감지되는 빛에 대한 신호를 전기 신호로 변환할 수 있다. 이 후, 수신부(114)는 변환된 신호를 신호 처리부(120)로 전달할 수 있다.
신호가 전달되면, 신호 처리부(120)는 S507단계에서 증폭기를 통해 신호를 증폭할 수 있다. 그런 다음, 신호 처리부(120)는 증폭된 신호를 비교기로 전달할 수 있다. 또한, 상기 증폭된 신호는 제어부(100)로 전달될 수 있다.
증폭된 신호가 전달되면, 신호 처리부(120)는 S509단계에서 비교기를 통해 증폭된 신호와 각 비교기에 설정되어 있는 한계 값을 각각 비교할 수 있다. 이 때, 휴대단말기의 비교기는 다수개로 구성될 수 있으며, 상기 다수개의 비교기들은 각기 다른 한계 값을 설정하고 있을 수 있다. 이를 통해, 신호 처리부(120)는 생성되는 데이터를 제어부(100)에 전달될 수 있다.
비교 결과에 대응하는 데이터가 전달되면, 제어부(100)는 S511단계에서 전달된 데이터를 분석한다. 이 때, 제어부(100)는 분석 결과에 따라 설정되어 패턴에 따라 기능을 실행할 수 있다.
한편, 제어부(100)는 증폭기로부터 증폭된 신호가 전달되면, 상기 증폭된 신호를 디지털 신호로 변환할 수 있다. 신호가 변환되면, 제어부(100)는 상기 변환된 신호와 기 설정된 레퍼런스 값을 비교할 수 있다. 이 때, 제어부(100)는 레퍼런스 값과 상기 전달된 신호의 비교 과정을 통해 데이터를 생성할 수 있다. 이 후, 데이터가 생성되면, 제어부(100)는 생성된 데이터를 분석하고, 분석 결과에 따라 설정되어 있는 패턴에 따라 기능을 실행할 수 있다.
도 6은 본 발명의 실시 예에 따른 사용자 동작의 방향성을 통해 사용자 동작을 구분하는 과정을 설명하기 위한 흐름도 이다.
도 6을 참조하면, 제어부(100)는 S601단계에서 사용자 동작의 방향성에 따라 근접 센싱을 실행한다. 이 때, 상기 근접 센싱 모드가 실행되면, 제어부(100)는 발산부(112)에 전원을 인가하여 빛을 발산할 수 있도록 스위치 연결을 위한 제어 신호를 신호 처리부(120)에 전달할 수 있다. 이 후, 제어부(100)로부터 제어 신호를 전달받은 신호 처리부(120)는 전원을 증폭하여 발산부(112)로 전달한다.
전원이 전달되면, 발산부(112)는 S603단계에서 상기 전원에 따라 빛을 발산할 수 있다.
빛이 발산되는 중에 수신부(114)는 S605단계에서 빛을 감지할 수 있다. 이 때, 수신부(114)는 제1수신부(116)와 제2수신부(116)를 포함하여 구성될 수 있다. 여기서, 수신부(114)는 감지되는 빛에 대한 신호를 전기 신호로 변환할 수 있다. 이 후, 수신부(114)는 변환된 신호를 신호 처리부(120)로 전달할 수 있다.
신호가 전달되면, 신호 처리부(120)는 S607단계에서 증폭기를 통해 신호를 증폭할 수 있다. 여기서, 상기 증폭된 신호는 제어부(100)로 전달되거나 비교기에 설정되어 있는 한계 값과 비교하기 위하여 비교기로 전달될 수 있다. 이와 같은 기능을 신호 처리부(120)는 제1수신부(116)와 제2수신부(116)에서 동일하게 실행할 수 있다. 즉, 제어부(100)는 제1증폭기(122)와 제3증폭기(127)를 통해 증폭된 신호들을 전달받을 수 있다.
증폭된 신호들이 전달되면, 제어부(100)는 S609단계에서 증폭된 신호가 전달되는 시간을 확인할 수 있다. 이 후, 제어부(100)는 S611단계에서 휴대단말기의 모든 수신부에 빛이 감지되는지 판단할 수 있다. 이 때, 모든 수신부에 빛이 감지되면, 제어부(100)는 S613단계에서 증폭된 신호들이 전달되는 시간차를 감산 연산하여 사용자 동작의 방향성을 구분할 수 있다. 예를 들어, 제어부(100)는 제1증폭기(122)를 통해 증폭된 신호가 전달되는 시간이 제2증폭기(124)에 의해 증폭된 신호가 전달되는 시간보다 빠르면, 제1수신부(116)에 감지되는 빛이 제2수신부(118)에 감지되는 빛보다 먼저 감지된 것으로 판단한다. 또한, 데이터가 전달되면, 제어 부(100)는 상기 데이터가 전달되는 시간을 판단하고, 데이터가 전달되는 시간을 이용하여 감산 연산을 실행할 수 있다. 이 때, 감산 연산이 실행되면, 제어부(100)는 사용자 동작의 방향성을 구분할 수 있다. 한편, 제어부(100)는 모든 수신부에 빛이 감지되지 않은 경우 빛의 감지하는 과정을 계속 수행하도록 제어할 수 있다.
사용자 동작의 방향성이 구분되면, 제어부(100)는 S615단계에서 방향성에 대응하는 패턴에 따라 기능을 실행할 수 있다. 한편, 다수개의 비교기들은 증폭기로부터 증폭된 신호가 전달되면, 각각에 설정되어 있는 한계 값과 증폭된 신호를 비교하는 과정을 수행할 수 있다. 이 때, 증폭된 신호가 전달되면, 각각의 비교기들은 기 설정되어 있는 한계 값과 비교하여 비교 결과에 따른 데이터를 제어부(100)로 전달할 수 있다.
도 7은 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 구체적으로 설명하기 위한 흐름도 이고, 도 8a 내지 도 8l은 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 구체적으로 설명하기 위한 화면 예이다.
도 7 내지 도 8l을 참조하면, 제어부(100)는 S701단계에서 패턴 인식 모드 선택 신호를 감지한다. 이 때, 상기 패턴 인식 모드는 근접 센서에 인식되는 사용자의 제스처에 따른 패턴을 분석하여 해당되는 기능을 실행하는 모드이다. 여기서, 상기 제스처는 빛의 세기에 따라 거리를 판단하여 사용자 동작을 구분하는 제스처이거나 방향성에 따라 사용자 동작을 구분하는 제스처가 포함될 수 있다.
패턴 인식 모드가 선택되면, 제어부(100)는 S702단계에서 패턴 인식 모드를 활성화할 수 있다. 여기서, 제어부(100)는 발산부(112)에 전원을 인가하여 빛을 발 산할 수 있도록 스위치 연결을 위한 제어 신호를 신호 처리부(120)에 전달할 수 있다. 이 후, 제어부(100)로부터 제어 신호를 전달받은 신호 처리부(120)는 전원을 증폭하여 발산부(112)로 전달한다.
패턴 인식 모드가 활성화되면, 발산부(112)는 S703단계에서 상기 전원에 따라 빛을 발산할 수 있다.
빛이 발산되는 중에 제어부(100)는 S705단계에서 제1제스처 입력을 감지할 수 있다. 여기서, 상기 제1제스처는 사용자 동작의 방향성에 따른 제스처가 될 수 있다. 즉, 상기 제1제스처는 상하 방향 또는 좌우 방향에 대한 방향성을 가지는 제스처가 될 수 있다.
제1제스처가 입력되면, 제어부(100)는 S707단계에서 상기 제1제스처에 대응하는 패턴을 분석할 수 있다. 이 때, 제어부(100)는 근접 센서부(110)를 통해 입력되는 제1제스처의 방향성을 이용하여 패턴을 분석할 수 있다. 이를 보다 효과적으로 분석하기 위하여 제어부(100)는 패턴 분석부(102)를 제어하여 상기 제1제스처에 대응하는 패턴을 분석할 수 있다.
패턴이 분석되면, 제어부(100)는 S709단계에서 제1제스처에 대한 추가 입력이 있는지 판단한다. 만약, 제1제스처에 대한 추가 입력이 감지되면, 제어부(100)는 S711단계에서 분석된 패턴을 저장한 후 추가 입력된 제1제스처에 대응하는 패턴을 분석하는 과정을 실행한다. 한편, 제1제스처에 대한 추가 입력이 감지되지 않으면, 제어부(100)는 S713단계에서 상기 분석된 패턴이 단일 패턴인지 판단하는 과정을 실행한다. 이 때, 분석된 패턴이 단일 패턴이면, 제어부(100)는 S715단계에서 근접 센서부(110)를 통해 제2제스처에 해당하는 동작이 감지되는지 판단한다. 이 때, 상기 제2제스처는 상기 분석된 패턴에 대한 기능을 실행, 선택 및 취소 처리할 수 있는 동작이 될 수 있다. 즉, 제어부(100)는 빛의 세기가 점점 커지는 제2제스처가 감지되면 특정 메뉴를 선택하거나 실행하고, 빛의 세기가 점점 작아지는 제2제스처가 감지되면 특정 메뉴를 취소하거나 이전 단계로 복귀 및 화면 확대 또는 축소 기능 등을 실행할 수 있다.
제2제스처가 입력되면, 제어부(100)는 S717단계에서 상기 제2제스처에 대응하는 패턴을 분석할 수 있다. 이 때, 제어부(100)는 근접 센서부(110)를 통해 입력되는 제2제스처의 빛의 세기를 통해 패턴을 분석할 수 있다. 이를 보다 효과적으로 분석하기 위하여 제어부(100)는 패턴 분석부(102)를 제어하여 상기 제2제스처에 대응하는 패턴을 분석할 수 있다.
패턴이 분석되면, 제어부(100)는 S719단계에서 상기 분석된 제1제스처의 패턴과 상기 제2제스처의 패턴을 매칭하여 해당되는 기능을 실행할 수 있다. 예를 들어, 제어부(100)는 상하좌우로 이동, 소리의 크기 조절, 특정 메뉴에서 해당되는 서브 메뉴로 이동하기, 슬라이드 기능, 스트롤 기능, 확대 및 축소 기능 등의 기능을 실행할 수 있다.
한편, 사용자에 의해 입력되는 패턴이 단일 패턴이 아닌 경우 즉, 사용자 설정 패턴이면, 제어부(100)는 S721단계에서 분석된 패턴에 해당되는 기능을 실행할 수 있다. 예를 들어, 제어부(100)는 사용자 패턴일 경우 선택된 특정 메뉴 또는 아이콘을 실행, 상위 메뉴로 이동하거나 현재 실행되고 있는 어플리케이션을 정지, 반복 패턴에 따라 핫 키 실행, 비밀 번호 입력 기능 및 단축 번호 설정 기능 등을 사용자의 제스처에 따라 복합 패턴을 적용하여 실행할 수 있다.
본 발명의 실시 예에서 특정 메뉴를 카메라 기능을 대표적으로 설명하지만 이에 한정된 것이 아니고, 다양한 종류의 메뉴가 포함될 수 있다. 이를 보다 자세하게 도 8a를 참조하여 설명하면, 제어부(100)는 패턴 인식 모드를 통해 카메라 기능을 실행할 수 있다. 카메라 기능이 실행되면, 제어부(100)는 사진 촬영 모드에 대한 화면을 표시할 수 있다. 이 때, 도 8b에 도시된 바와 같이 제어부(100)는 좌에서 우로 이동하는 제1제스처를 감지할 수 있다. 여기서, 상기 제1제스처가 감지되면, 제어부(100)는 상기 제1제스처의 패턴을 분석하고, 최초 아이콘인'일반 모드'(801)를 하이라이트 하여 표시할 수 있다. 이 후, 도 8c에 도시된 바와 같이 제어부(100)는 빛의 세기가 점점 커지는 제2제스처를 감지할 수 있다. 이 때, 상기 제2제스처가 감지되면, 제어부(100)는 일반 사진 촬영 모드를 실행할 수 있다. 또한, 도 8d에 도시된 바와 같이 제어부(100)는 일반 촬영 모드에서 영상을 촬영할 수 있도록 제어한다.
또한, 제어부(100)는 빛의 세기에 따라 화면에 있는 영상을 확대 또는 축소할 수 있다. 예를 들어, 도 8e에 도시된 바와 같이 제어부(100)는 상기 제2제스처가 점점 커지는 빛의 세기를 가지면, 상기 화면에 있는 영상을 확대하여 표시할 수 있다. 즉, 도 8f에 도시된 바와 같이 제어부(100)는 확대된 영상을 가지는 화면을 표시할 수 있다. 이 후, 제어부(100)는 상기 제2제스처가 점점 작아지는 빛의 세기를 가지는 상기 화면에 있는 영상을 축소하여 표시할 수 있다. 한편, 도 8g에 도시 된 바와 같이 제어부(100)는 상기 제2제스처가 점점 작아지는 빛의 세기를 가지는 경우 카메라 촬영 모드에서 한 단계 전 단계로 이동하는 기능을 실행할 수 있다.
또한, 도 8h에 도시된 바와 같이 제어부(100)는 단일 패턴에 따라 스크롤 기능을 실행할 수 있다. 이 때, 제어부(100)는 사용자에 의해 입력되는 동작의 방향성에 따라 해당되는 방향으로 화면을 이동할 수 있다. 즉, 도 8i에 도시된 바와 같이 제어부(100)는 좌에서 우로 이동하는 방향성을 가지는 제1제스처에 따라 현재 화면을 이동할 수 있다. 여기서, 도 8j에 도시된 바와 같이 제어부(100)는 제1제스처에 따라 현재 화면을 오른쪽으로 이동하는 스크롤 기능을 실행할 수 있다.
또한, 도 8k에 도시된 바와 같이 제어부(100)는 사용자 설정 패턴일 경우 사용자에 의해 입력되는 제1제스처에 따라 카메라 모드를 실행할 수 있다. 즉, 제어부(100)는 사용자에 의해 입력되는 제스처를 분석하여 사용자에 의해 기 설정되어 있는 복합 패턴에 따라 해당되는 기능을 실행할 수 있다. 이 때, 도 8l에 도시된 바와 같이 제어부(100)는 좌에서 우로 4번 이동하고, 우에서 좌로 1번 이동하는 복합 패턴에 따라 카메라 기능을 실행할 수 있다.
도 9는 본 발명의 실시 예에 따른 휴대단말기의 사용자 패턴을 설정하는 과정을 설명하기 위한 흐름도 이고, 도 10a 내지 도 10e는 본 발명의 실시 예에 따른 휴대단말기의 사용자 패턴을 설정하는 과정을 설명하기 위한 화면 예이다.
도 9 내지 도 10e를 참조하면, 제어부(100)는 S901단계에서 사용자 패턴 설정 모드를 선택할 수 있다. 이 때, 상기 사용자 설정 모드는 사용자에 의해 설정되는 패턴에 따라 해당되는 기능을 특정 제스처의 입력을 통해 실행할 수 있는 모드 이다.
사용자 설정 모드가 선택되면, 제어부(100)는 S903단계에서 설정 메뉴 목록을 제시할 수 있다. 예를 들어, 도 10a에 도시된 바와 같이 제어부(100)는 사용자 패턴 설정 메뉴로 가능한 목록을 화면에 표시한다. 이 때,제어부(100)는'1.카메라','2.폰 북','3.DMB'및 '4.메시지'등의 다양한 종류의 메뉴 목록을 제시할 수 있다. 이 때, 특정 메뉴가 선택되면, 제어부(100)는 S905단계에서 사용자 패턴을 설정하는 과정을 실행한다. 예를 들어, 도 10b에 도시된 바와 같이 제어부(100)는 사용자에 의해'1.카메라'가 선택되면, 사용자 설정 패턴으로 카메라 기능을 실행할 수 있는 설정 화면을 표시할 수 있다. 이 후, 제어부(100)는 사용자에 의해 입력되는 제스처를 인식하고, 인식된 제스처에 대응하는 설정 화면을 제시할 수 있다. 즉, 도 10c에 도시된 바와 같이 제어부(100)는 사용자에 의해 입력된 제스처를 화면에 제시할 수 있다.
사용자에 의해 제스처가 입력되면, 제어부(100)는 S907단계에서 상기 제스처에 대한 오류 여부에 따른 사용자의 확인 신호가 감지되는지 판단할 수 있다. 이 때, 확인 신호가 감지되면, 제어부(100)는 S909단계에서 상기 제스처에 대응하는 패턴이 기 설정되어 있는 패턴인지 판단하는 과정을 실행할 수 있다. 한편, 확인 신호가 감지되지 않으면, 즉 잘못된 제스처 입력인 경우 제어부(100)는 설정 메뉴를 선택하는 과정을 실행하도록 제어한다.
한편, 기 설정된 패턴과 사용자에 의해 입력된 제스처에 대응하는 패턴이 일치하는 경우 제어부(100)는 S911단계에서 이에 상응하는 팝업 메시지를 표시할 수 있다. 예를 들어, 도 10d에 도시된 바와 같이 제어부(100)는 사용자에 의해 입력된 제스처에 대응하는 패턴이 다른 메뉴의 패턴으로 사용되고 있음을 알리는 메시지를 화면에 표시할 수 있다. 즉, 제어부(100)는 '폰북 모드로 설정되어 있는 패턴입니다. 다시 입력해 주세요'라는 문구를 화면에 제시할 수 있다.
사용자에 의해 입력된 패턴이 기 설정된 패턴과 일치하지 않으면, 제어부(100)는 S913단계에서 사용자 패턴을 저장부(150)의 패턴 DB(152)에 저장하는 과정을 수행한다. 예를 들어, 도 10e에 도시된 바와 같이 제어부(100)는 사용자 패턴으로 설정된 메뉴를 저장할 수 있다. 즉, 제어부(100)는 패턴 인식 모드에서 사용자에 의해 입력되는 좌에서 우로 4번 이동하고, 우에서 좌로 1번 이동하는 방향성에 따라 카메라 기능을 실행할 수 있도록 설정할 수 있다.
도 11은 본 발명의 실시 예에 따른 휴대단말기의 기울기 변화에 따라 구분하여 제스처를 인식하는 과정을 설명하기 위한 흐름도 이다.
도 11을 참조하면, 제어부(100)는 S1101단계에서 패턴 인식 모드 실행 신호를 감지한다. 이 때, 제어부(100)는 패턴 인식 모드를 활성화하고, 발산부(112)에 전원을 인가하여 빛을 발산할 수 있도록 스위치 연결을 위한 제어 신호를 신호 처리부(120)에 전달할 수 있다. 이 후, 신호 처리부(120)는 스위치를 연결하고, 제어부(100)로부터 전송받은 전원을 증폭하여 발산부(112)로 전달한다.
패턴 인식 모드가 실행되면, 발산부(112)는 S1103단계에서 상기 전원에 따라 빛을 발산할 수 있다.
빛이 발산하는 중에 제어부(100)는 S1105단계에서 수신부(114)를 통해 입력 되는 제스처를 감지할 수 있다. 이 때, 제어부(100)는 S1107단계에서 센서부(170)의 기울기 변화가 감지되는 지 판단할 수 있다. 여기서, 상기 센서부(170)는 3차원 공간에서 제어 명령 전달 장치가 움직이는 방향과 정도를 감지하고, 그 결과를 제어부(100)에 전달하기 위하여 3축 가속도 센서를 구비할 수 있다. 또한, 센서부(170)는 절대 방위를 기준으로 휴대단말기가 어느 방향에 위치하는지를 감지하고, 그 결과를 제어부(100)에 전달하기 위하여 지자기 센서를 구비할 수 있다.
기울기 변화가 감지되면, 제어부(100)는 S1109단계에서 기울기 변화를 분석하는 과정을 실행한다. 이 후, 제어부(100)는 S1101단계에서 분석된 기울기 변화에 따라 대응하는 패턴을 분석할 수 있다. 즉, 제어부(100)는 센서부(170)의 기울기 변화를 판단하여 패턴을 구분할 수 있다. 한편, 제어부(100)는 센서부(170)를 통해 감지되는 기울기 변화가 없는 경우 S1113단계에서 해당 제스처에 대응하는 패턴을 분석할 수 있다. 이 후, 패턴이 분석되면, 제어부(100)는 S1115단계에서 분석된 패턴에 해당하는 기능을 실행할 수 있다.
패턴이 분석되면, 제어부(100)는 S1117단계에서 기울기 변화에 상응하여 분석된 패턴에 해당하는 기능을 실행할 수 있다. 예를 들어, 제어부(100)는 센서부(170)를 통해 인식되는 기울기가 지면과 90도인 경우 입력되는 제스처에 대응하는 패턴을 디폴트 값으로 처리할 수 있다. 한편, 제어부(100)는 센서부(170)를 통해 인식되는 기울기가 지면과 45도인 경우 즉, 기울기의 변화가 생기면 입력되는 제스처를 다르게 인식하여 처리할 수 있다.
한편, 본 명세서와 도면에 개시 된 본 발명의 실시 예들은 본 발명의 기술내 용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시 예에 따른 휴대단말기의 개략적인 구성을 설명하기 위한 구성도,
도 2는 본 발명의 실시 예에 따른 휴대단말기의 구성 중 신호 처리부의 기능을 구체적으로 설명하기 위한 구성도,
도 3은 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 전반적으로 설명하기 위한 흐름도,
도 4a 내지 도 4f는 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 전반적으로 설명하기 위한 화면 예,
도 5는 본 발명의 실시 예에 따른 빛의 세기를 통해 사용자 동작을 구분하는 과정을 설명하기 위한 흐름도,
도 6은 본 발명의 실시 예에 따른 사용자 동작의 방향성을 통해 사용자 동작을 구분하는 과정을 설명하기 위한 흐름도,
도 7은 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 구체적으로 설명하기 위한 흐름도,
도 8a 내지 도 8l은 본 발명의 실시 예에 따른 휴대단말기의 제스처 인식 과정을 구체적으로 설명하기 위한 화면 예,
도 9는 본 발명의 실시 예에 따른 휴대단말기의 사용자 패턴을 설정하는 과정을 설명하기 위한 흐름도,
도 10a 내지 도 10e는 본 발명의 실시 예에 따른 휴대단말기의 사용자 패턴 을 설정하는 과정을 설명하기 위한 화면 예,
도 11은 본 발명의 실시 예에 따른 휴대단말기의 기울기 변화에 따라 구분하여 제스처를 인식하는 과정을 설명하기 위한 흐름도.

Claims (23)

  1. 휴대단말기의 사용자 인터페이스 구현 방법에 있어서,
    근접 센싱을 실행하는 과정과,
    상기 근접 센싱 실행 중 특정 제스처를 인식하는 과정과,
    상기 특정 제스처가 인식되면, 상기 특정 제스처에 대응하는 패턴을 분석하는 과정과,
    상기 분석된 패턴에 따른 기능을 처리하는 과정;을 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  2. 제1항에 있어서, 상기 실행하는 과정은
    제어 신호에 따라 스위치 연결 기능을 실행하는 과정과,
    상기 스위치가 연결되면, 빛을 발산하는 과정과,
    사용자의 상기 특정 제스처에 따라 패턴을 구분하는 패턴 인식 모드를 활성화하는 과정;을 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  3. 제1항에 있어서, 상기 특정 제스처는
    빛의 세기에 따라 거리를 판단하여 사용자 동작을 구분하는 제스처이거나 방향성에 따라 사용자 동작을 구분하는 제스처인 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  4. 제1항에 있어서, 상기 인식하는 과정은
    빛이 발산되는 중 사용자 동작에 의해 다수개의 수신부들을 통해 빛을 감지하는 과정과,
    상기 빛이 감지되면, 상기 빛에 대한 신호를 신호 처리하는 과정;을 더 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  5. 제4항에 있어서, 상기 신호 처리하는 과정은
    상기 빛에 대한 신호를 필터링하고, 증폭하는 과정과,
    상기 증폭된 신호를 다수개의 비교기들로 전달하여 상기 비교기들에 설정되어 있는 각각의 한계 값과 비교하거나 제어부로 전달하는 과정;을 더 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  6. 제1항에 있어서, 상기 인식하는 과정은
    다수개의 비교기들을 통해 비교되는 데이터를 분석하는 과정과,
    상기 분석 결과에 따라 빛의 세기를 판단하는 과정;을 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  7. 제1항에 있어서, 상기 인식하는 과정은
    상기 다수개의 수신부들에 빛이 감지되면, 상기 다수개의 수신부들에 의해 감지되는 빛에 대한 신호가 전달되는 시간을 분석하는 과정과,
    상기 분석된 시간을 연산하여 사용자 동작의 방향성을 판단하는 과정;을 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  8. 제1항에 있어서, 상기 분석하는 과정은
    상하좌우 방향으로 이동하기 위한 단일 패턴 혹은 사용자 패턴 설정 모드에서 적어도 두 개 이상의 단일 패턴이 설정되는 사용자 패턴을 구분하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  9. 제8항에 있어서, 상기 사용자 패턴 설정 모드는
    사용자에 의해 선택되는 특정 메뉴 혹은 특정 기능을 실행하기 위하여 상기 적어도 두 개의 단일 패턴을 복합하여 설정하는 모드인 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  10. 제9항에 있어서,
    상기 사용자 패턴 설정 모드에서 설정된 패턴을 패턴 DB에 저장하는 과정;을 더 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페 이스 제공 방법.
  11. 제1항에 있어서, 상기 분석하는 과정은
    기울기 변화의 정도를 판단하는 과정과,
    상기 기울기 변화에 따라 상기 특정 제스처의 패턴을 구분하는 과정;을 더 포함하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  12. 제11항에 있어서, 상기 판단하는 과정은
    3축 지자기 센서와 3축 가속도 센서를 이용하여 상기 기울기 변화를 감지하는 것을 특징으로 하는 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법.
  13. 근접 센서를 이용하여 사용자 인터페이스를 구현하는 휴대단말기에 있어서,
    근접 센싱 모드에서 제어부의 제어 신호에 따라 스위치 연결 기능을 실행하여 빛을 발산부 및 특정 제스처에 의해 빛의 감지하는 다수개의 수신부들로 구성되는 근접 센서부와,
    상기 특정 제스처를 인식하고, 상기 특정 제스처에 대응하는 패턴을 패턴 분석부를 통해 분석하여 상기 분석된 패턴에 따른 기능을 처리하는 상기 제어부;를 포함하는 하는 것을 특징으로 하는 휴대단말기.
  14. 제13항에 있어서, 상기 특정 제스처는
    빛의 세기에 따라 거리를 판단하여 사용자 동작을 구분하는 제스처이거나 방향성에 따라 사용자 동작을 구분하는 제스처인 것을 특징으로 하는 휴대단말기.
  15. 제13항에 있어서,
    상기 빛에 대한 신호를 필터링하여 증폭하고, 다수개의 비교기들에 설정되어 있는 각각의 한계 값과 비교하기 위하여 상기 비교기들로 전달하거나 상기 제어부로 전달하는 신호 처리부;를 더 포함하는 것을 특징으로 하는 휴대단말기.
  16. 제13항에 있어서, 상기 제어부는
    다수개의 비교기들을 통해 비교되는 데이터를 분석하여 빛의 세기를 판단하는 것을 특징으로 하는 휴대단말기.
  17. 제13항에 있어서, 상기 제어부는
    상기 다수개의 수신부들에 빛이 감지되면, 상기 다수개의 수신부들에 의해 감지되는 빛에 대한 신호가 전달되는 시간을 연산하여 사용자 동작의 방향성을 판단하는 것을 특징으로 하는 휴대단말기.
  18. 제13항에 있어서, 상기 제어부는
    사용자의 상기 특정 제스처에 따라 패턴을 구분하는 패턴 인식 모드를 활성화하는 것을 특징으로 하는 휴대단말기.
  19. 제13항에 있어서, 상기 제어부는
    상하좌우 방향으로 이동하기 위한 단일 패턴 혹은 사용자 패턴 설정 모드에서 적어도 두 개 이상의 단일 패턴이 설정되는 사용자 패턴을 구분하여 분석하는 것을 특징으로 하는 휴대단말기.
  20. 제19항에 있어서, 상기 사용자 패턴 설정 모드는
    사용자에 의해 선택되는 특정 메뉴 혹은 특정 기능을 실행하기 위하여 상기 적어도 두 개의 단일 패턴을 복합하여 설정하는 모드인 것을 특징으로 하는 휴대단말기.
  21. 제20항에 있어서,
    상기 사용자 패턴 설정 모드에서 설정된 복합 패턴을 패턴 DB에 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 휴대단말기.
  22. 제13항에 있어서, 상기 제어부는
    기울기 변화의 정도를 판단하고, 상기 기울기 변화에 따라 상기 특정 제스처의 패턴을 구분하여 분석하는 것을 특징으로 하는 휴대단말기.
  23. 제22항에 있어서,
    3축 지자기 센서와 3축 가속도 센서를 이용하여 상기 기울기 변화를 감지하는 센서부;를 더 포함하는 것을 특징으로 하는 휴대단말기.
KR1020090054827A 2009-06-19 2009-06-19 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치 KR20100136649A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090054827A KR20100136649A (ko) 2009-06-19 2009-06-19 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
US12/814,809 US20100321289A1 (en) 2009-06-19 2010-06-14 Mobile device having proximity sensor and gesture based user interface method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090054827A KR20100136649A (ko) 2009-06-19 2009-06-19 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20100136649A true KR20100136649A (ko) 2010-12-29

Family

ID=43353862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090054827A KR20100136649A (ko) 2009-06-19 2009-06-19 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치

Country Status (2)

Country Link
US (1) US20100321289A1 (ko)
KR (1) KR20100136649A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012102743A1 (en) * 2011-01-24 2012-08-02 Intuit Inc. Motion-based interaction between a portable electronic device and a stationary computing device
KR101282955B1 (ko) * 2011-08-31 2013-07-17 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
KR101450586B1 (ko) * 2012-11-28 2014-10-15 (주) 미디어인터랙티브 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US9345299B2 (en) 2013-04-24 2016-05-24 Samsung Electronics Co., Ltd. Portable electronic device equipped with protective cover and driving method thereof
KR20170134226A (ko) * 2016-05-26 2017-12-06 모토로라 모빌리티 엘엘씨 전자 디바이스 상에서 오브젝트들의 지향성 감지를 위한 시스템들 및 방법들
US10739953B2 (en) 2014-05-26 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for providing user interface

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213443B2 (en) * 2009-02-15 2015-12-15 Neonode Inc. Optical touch screen systems using reflected light
US8952895B2 (en) 2011-06-03 2015-02-10 Apple Inc. Motion-based device operations
US9152258B2 (en) 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US8643628B1 (en) 2012-10-14 2014-02-04 Neonode Inc. Light-based proximity detection system and user interface
US8917239B2 (en) * 2012-10-14 2014-12-23 Neonode Inc. Removable protective cover with embedded proximity sensors
US20110239149A1 (en) * 2010-03-24 2011-09-29 Microsoft Corporation Timeline control
US8957866B2 (en) * 2010-03-24 2015-02-17 Microsoft Corporation Multi-axis navigation
US8954099B2 (en) * 2010-06-16 2015-02-10 Qualcomm Incorporated Layout design of proximity sensors to enable shortcuts
US20120133579A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Gesture recognition management
CN102692995A (zh) 2011-03-21 2012-09-26 国基电子（上海）有限公司 具有接近感应功能的电子装置及接近感应控制方法
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
WO2012151471A2 (en) * 2011-05-05 2012-11-08 Net Power And Light Inc. Identifying gestures using multiple sensors
US8886407B2 (en) 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
US8866064B2 (en) 2011-07-26 2014-10-21 Avago Technologies General Ip (Singapore) Pte. Ltd. Multi-directional proximity sensor
JP6194167B2 (ja) * 2011-11-25 2017-09-06 京セラ株式会社 装置、方法、及びプログラム
US9298333B2 (en) 2011-12-22 2016-03-29 Smsc Holdings S.A.R.L. Gesturing architecture using proximity sensing
US11493998B2 (en) * 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
EP2823564B1 (en) * 2012-03-06 2017-01-04 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Receiving stage and method for receiving
US10503373B2 (en) 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
JP2013196047A (ja) * 2012-03-15 2013-09-30 Omron Corp ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10437392B2 (en) * 2012-07-05 2019-10-08 Samsung Electronics Co., Ltd. Apparatus and method for detecting hard and soft touch by using acoustic sensors
KR20140014735A (ko) * 2012-07-25 2014-02-06 삼성전자주식회사 이미지 캡처 장치 및 그 제어 방법
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US10324565B2 (en) 2013-05-30 2019-06-18 Neonode Inc. Optical proximity sensor
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US9507425B2 (en) * 2013-03-06 2016-11-29 Sony Corporation Apparatus and method for operating a user interface of a device
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
KR20130088104A (ko) * 2013-04-09 2013-08-07 삼성전자주식회사 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
SE537579C2 (sv) * 2013-04-11 2015-06-30 Crunchfish Ab Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning
KR102102702B1 (ko) 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
US9477314B2 (en) * 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
US20150022635A1 (en) * 2013-07-19 2015-01-22 Blackberry Limited Using multiple flashes when obtaining a biometric image
WO2015017797A1 (en) * 2013-08-02 2015-02-05 Kid Case L.L.C. Method and system for using a supervisory device with a mobile device
US9483628B2 (en) * 2013-08-29 2016-11-01 Paypal, Inc. Methods and systems for altering settings or performing an action by a user device based on detecting or authenticating a user of the user device
KR20150042039A (ko) * 2013-10-10 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 동작 방법
KR102159789B1 (ko) 2013-10-28 2020-09-25 삼성전자주식회사 전자 장치 및 이의 사용자 제스처 인식방법
KR102233728B1 (ko) * 2013-10-31 2021-03-30 삼성전자주식회사 전자 장치의 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9241360B2 (en) * 2013-11-22 2016-01-19 Brian Mullin Friedman Systems, apparatus, and methods for programmatically associating nearby users
CN103699260B (zh) 2013-12-13 2017-03-08 华为技术有限公司 一种启动终端功能模块的方法及终端设备
US20150169217A1 (en) * 2013-12-16 2015-06-18 Cirque Corporation Configuring touchpad behavior through gestures
US9304674B1 (en) * 2013-12-18 2016-04-05 Amazon Technologies, Inc. Depth-based display navigation
US9652044B2 (en) * 2014-03-04 2017-05-16 Microsoft Technology Licensing, Llc Proximity sensor-based interactions
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
WO2015178824A1 (en) * 2014-05-23 2015-11-26 Ascom Sweden Ab A mobile communication device adapted for touch free interaction
US20220171530A1 (en) * 2014-06-11 2022-06-02 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US20150363008A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US9903753B2 (en) * 2015-01-13 2018-02-27 Motorola Mobility Llc Portable electronic device with dual, diagonal proximity sensors and mode switching functionality
CN104679417B (zh) * 2015-03-23 2018-05-22 广东欧珀移动通信有限公司 移动终端中接近传感器的应用方法及系统
US10075919B2 (en) * 2015-05-21 2018-09-11 Motorola Mobility Llc Portable electronic device with proximity sensors and identification beacon
EP3104257A3 (de) * 2015-06-07 2017-02-22 BOS Connect GmbH Verfahren und system zur lageermittlung und einsatzdokumentation bei gefahrguteinsätzen
JP6711817B2 (ja) * 2015-08-20 2020-06-17 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10691214B2 (en) 2015-10-12 2020-06-23 Honeywell International Inc. Gesture control of building automation system components during installation and/or maintenance
CN106647292A (zh) * 2015-10-30 2017-05-10 霍尼韦尔国际公司 用于智能家居系统的可穿戴手势控制设备和方法
US10193549B2 (en) * 2015-12-29 2019-01-29 Samsung Electronics Co., Ltd. Sensing apparatus
US10685550B2 (en) * 2016-05-19 2020-06-16 Harman International Industries, Incorporated Gesture-enabled audio device with visible feedback
US10884507B2 (en) * 2018-07-13 2021-01-05 Otis Elevator Company Gesture controlled door opening for elevators considering angular movement and orientation
KR102628105B1 (ko) * 2019-08-13 2024-01-23 엘지전자 주식회사 이동 단말기
JP6853589B1 (ja) * 2019-11-13 2021-03-31 Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社 首掛け型装置
EP4085321A4 (en) 2019-12-31 2024-01-24 Neonode Inc. CONTACTLESS TOUCHLESS INPUT SYSTEM

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6348682B1 (en) * 1999-11-12 2002-02-19 Institute Of Microelectronics Photodetector circuit and methods
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7180500B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
US20070229650A1 (en) * 2006-03-30 2007-10-04 Nokia Corporation Mobile communications terminal and method therefor
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
KR100797788B1 (ko) * 2006-09-04 2008-01-24 엘지전자 주식회사 이동통신 단말기 및 패턴인식을 통한 단축기능의 실행방법
US8793621B2 (en) * 2006-11-09 2014-07-29 Navisense Method and device to control touchless recognition
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8660300B2 (en) * 2008-12-12 2014-02-25 Silicon Laboratories Inc. Apparatus and method for optical gesture recognition
EP2228711A3 (en) * 2009-03-12 2014-06-04 Lg Electronics Inc. Mobile terminal and method for providing user interface thereof
KR101554220B1 (ko) * 2009-06-03 2015-09-21 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 데이터 출력 방법 및 장치
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012102743A1 (en) * 2011-01-24 2012-08-02 Intuit Inc. Motion-based interaction between a portable electronic device and a stationary computing device
KR101282955B1 (ko) * 2011-08-31 2013-07-17 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
KR101450586B1 (ko) * 2012-11-28 2014-10-15 (주) 미디어인터랙티브 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US9345299B2 (en) 2013-04-24 2016-05-24 Samsung Electronics Co., Ltd. Portable electronic device equipped with protective cover and driving method thereof
US10739953B2 (en) 2014-05-26 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for providing user interface
KR20170134226A (ko) * 2016-05-26 2017-12-06 모토로라 모빌리티 엘엘씨 전자 디바이스 상에서 오브젝트들의 지향성 감지를 위한 시스템들 및 방법들

Also Published As

Publication number Publication date
US20100321289A1 (en) 2010-12-23

Similar Documents

Publication Publication Date Title
KR20100136649A (ko) 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
KR102127640B1 (ko) 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
KR101934822B1 (ko) 이동 단말에서의 잠금 해제 방법 및 이를 위한 이동 단말
KR102009423B1 (ko) 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치
KR101629645B1 (ko) 휴대 단말기 및 그 동작방법
US20140185834A1 (en) Volume control apparatus
US20140351768A1 (en) Method for processing input and electronic device thereof
US20110087983A1 (en) Mobile communication terminal having touch interface and touch interface method
US9507561B2 (en) Method and apparatus for facilitating use of touchscreen devices
EP2555497A1 (en) Controlling responsiveness to user inputs
KR20100006219A (ko) 사용자 인터페이스 방법 및 장치
KR20100069842A (ko) 사용자 인터페이스를 구현하는 전자장치 및 그 방법
KR20130122839A (ko) 적어도 하나의 마이크 센서를 갖는 모바일 디바이스 및 그 제어방법
US20120196540A1 (en) Method and apparatus for a bluetooth-enabled headset with a multitouch interface
KR20130097331A (ko) 터치 스크린을 구비하는 전자기기에서 객체를 선택하기 위한 장치 및 방법
JP2014229302A (ja) 電子装置の機能の実行方法及びその電子装置
JP2023500390A (ja) アイコン移動方法及び電子機器
JP2018073067A (ja) 電子機器、制御方法およびプログラム
CN111124206B (zh) 位置调整方法及电子设备
CN111656303A (zh) 数据处理装置的手势控制
JP2018056688A (ja) 携帯端末、電子機器、及びプログラム
CN106484359B (zh) 一种手势控制的方法及移动终端
KR102197912B1 (ko) 제스처 인식에 따른 기능 실행 방법, 장치 및 기록매체
TWI410828B (zh) 偵測距離之變化以執行指令之方法及應用此方法之可攜式電子裝置
JP2014103536A (ja) 携帯端末装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL NUMBER: 2015101007030; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20151126

Effective date: 20170808