KR101254037B1 - 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말 - Google Patents

시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말 Download PDF

Info

Publication number
KR101254037B1
KR101254037B1 KR1020090097376A KR20090097376A KR101254037B1 KR 101254037 B1 KR101254037 B1 KR 101254037B1 KR 1020090097376 A KR1020090097376 A KR 1020090097376A KR 20090097376 A KR20090097376 A KR 20090097376A KR 101254037 B1 KR101254037 B1 KR 101254037B1
Authority
KR
South Korea
Prior art keywords
gaze
mobile terminal
information
screen
user
Prior art date
Application number
KR1020090097376A
Other languages
English (en)
Other versions
KR20110040199A (ko
Inventor
홍상우
박명순
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090097376A priority Critical patent/KR101254037B1/ko
Publication of KR20110040199A publication Critical patent/KR20110040199A/ko
Application granted granted Critical
Publication of KR101254037B1 publication Critical patent/KR101254037B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말에 관한 것으로, 별도로 입력장치를 여러 번 조작하지 않더라도 사용자가 원하는 화면의 특정 영역의 크기를 조절할 수 있고, 한 손으로도 휴대단말을 안정적으로 조작할 수 있는 조작 편의성을 제공하기 위한 것이다. 본 발명에 따르면, 화면에 정보가 표시된 휴대단말이 적어도 하나의 카메라부로 사용자 영상을 촬영한다. 휴대단말이 촬영된 사용자 영상을 분석하여 사용자의 시선을 실시간으로 추적한다. 휴대단말이 시선 추적 중 시선이 집중되는 정보 부분의 크기를 조절, 즉 확대 또는 축소하여 표시한다. 그리고 사용자가 휴대단말을 흔들면, 휴대단말은 크기가 조절된 정보 부분을 원상태로 복원한다. 따라서 사용자는 화면에 표시된 정보 중에서 크기 조절을 원하는 특정 영역에 시선을 집중하는 것만으로도 해당 영역을 확대 또는 축소할 수 있고, 휴대단말을 흔드는 간단한 제스처를 통하여 크기가 조절된 정보를 원상태로 복원시킬 수 있다.
시선, 눈, 주목, 화면, 영상

Description

시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말{Method and mobile terminal for display processing using eyes and gesture recognition}
본 발명은 화면 처리 기술에 관한 것으로, 더욱 상세하게는 휴대단말의 화면에서 사용자의 시선이 집중되는 부분의 크기를 조절하여 표시하고 간단한 제스처를 통하여 크기가 조절된 부분을 원상태로 복원시키는 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말에 관한 것이다.
유무선 통신망을 이용한 정보 통신 기술은 소비자의 구매를 자극하는 새로운 기술 및 기능으로 인하여 짧은 기간에 대단히 빠른 성장을 하고 있다. 특히 휴대단말은 그 기술의 발달로 인하여 단순한 어플리케이션을 수행하는 단계를 넘어서서 사용자들의 요구에 맞는 다양한 어플리케이션들이 설치되고 있다. 이로 인해 사용자는 휴대단말을 통하여 음성 정보, 문자 정보, 화상 정보, MP3(MPEG(Moving Picture Experts Group) layer 3), 게임 등을 이용할 수 있다.
한편으로 휴대단말은 화면 크기의 제약으로 화면에 표시되는 정보, 예컨대 이미지, 텍스트 등이 작게 표시된다. 따라서 사용자는 화면에서 특정 영역에 표시된 정보를 확인하기 위해서 키패드, 터치패드와 같은 입력장치를 조작해서 해당 영 역을 확대한다. 즉 사용자는 입력장치를 조작하여 화면에 표시된 정보를 처리할 수 있는 화면 처리 모드를 선택하고, 선택한 화면 처리 모드에서 확대를 원하는 특정 영역을 선택한다. 그리고 사용자는 선택한 특정 영역을 처리하는 기능키를 호출하고, 호출한 기능키 중에서 선택한 특정 영역을 확대하는 기능키를 선택해야 한다.
이와 같이 종래에는 사용자가 휴대단말의 화면에서 특정 영역의 정보를 확대하기 위해서 입력장치를 여러 번 조작해야 하는 불편함이 있다. 그리고 입력장치를 여러 번 조작하기 위해서는, 통상적으로 한 손으로 휴대단말을 잡은 상태에서 다른 손으로 휴대단말의 입력장치를 조작해야 하기 때문에, 양손을 자유롭게 사용할 수 없는 환경(예컨대, 복잡한 지하철이나 버스 안)에서 특정 영역의 정보를 확대하는 기능을 사용하는 데 불편이 따를 수 있다.
그리고 입력장치를 여러 번 조작하는 과정에서 입력 오류가 발생될 수 있다. 이유는 키입력의 횟수가 증가할수록 입력 오류가 발생될 확률이 증가하기 때문이다. 특히 키패드 방식에 비해 터치스크린(touch screen) 방식의 휴대단말에서 키입력에 따른 입력 오류가 빈번하게 발생된다. 즉 터치스크린 방식의 휴대단말은 가상키패드를 화면에 표시하여 사용자의 터치를 통하여 키입력을 수신하게 되는데, 키를 터치하는 과정에서 목표하는 키에 인접한 다른 키의 터치에 따른 입력 오류가 빈번하게 발생하기 때문이다.
따라서 본 발명의 목적은 별도로 입력장치를 여러 번 조작하지 않더라도 시선 집중을 통하여 화면의 특정 영역의 크기를 조절하고 간단한 제스처를 통하여 크기가 조절된 부분을 원상태로 복원시키는 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말을 제공하기 위한 것이다.
본 발명의 다른 목적은 한 손으로도 휴대단말을 안정적으로 조작할 수 있는 조작 편의성을 제공하는 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말을 제공하기 위한 것이다.
상기 목적을 달성하기 위하여, 본 발명은 표시부, 적어도 하나의 카메라부, 모션감지부 및 제어부를 포함하여 구성되는 시선 및 제스처 인식을 이용하여 화면을 처리하는 휴대단말을 제공한다. 상기 표시부는 화면에 정보를 표시한다. 상기 적어도 하나의 카메라부는 사용자를 촬영한다. 상기 모션감지부는 휴대단말을 흔들었을 때에 발생하는 상기 휴대단말의 움직임을 감지하여 제스처 감지신호를 출력한다. 그리고 상기 제어부는 상기 카메라부에서 촬영된 사용자 영상을 수신하고, 상기 사용자 영상을 분석하여 사용자의 시선을 실시간으로 추적하고, 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분의 크기를 조절하여 표시하고, 상기 모션감지부로부터 수신한 상기 제스처 감지신호에 따라 상기 크기가 조절된 정보 부분을 원상태로 복원한다.
본 발명에 따른 휴대단말은 상기 화면에 표시된 정보의 종류에 따른 크기 조절 방식을 저장하는 저장부를 더 포함할 수 있다. 이때 상기 제어부는 상기 저장부에서 상기 화면에 표시된 정보의 종류에 따른 크기 조절 방식을 추출하고, 상기 추출한 크기 조절 방식에 따라 상기 시선이 집중되는 상기 정보 부분의 크기를 조절하여 표시할 수 있다.
본 발명에 따른 휴대단말은 사용자의 선택 신호를 입력받는 입력부를 더 포함한다. 상기 입력부를 통하여 상기 선택 신호로 확대 요청 신호가 입력되면, 상기 제어부는 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 확대하여 표시한다. 상기 입력부를 통하여 상기 선택 신호로 축소 요청 신호가 입력되면, 상기 제어부는 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 축소하여 표시한다.
본 발명에 따른 휴대단말에 있어서, 상기 입력부는 상기 확대 요청 신호를 입력하는 확대키와, 상기 축소 요청 신호를 입력하는 축소키를 구비한 크기 조절키를 포함할 수 있다.
본 발명은 또한, 화면에 정보가 표시된 휴대단말이 적어도 하나의 카메라부로 사용자 영상을 촬영하는 촬영 단계, 상기 휴대단말이 상기 촬영된 사용자 영상을 분석하여 상기 사용자의 시선을 실시간으로 추적하는 추적 단계, 상기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분의 크기를 조절하여 표시하는 표시 단계, 상기 휴대단말이 모션감지부로 상기 휴대단말의 흔들림을 감지하여 상기 크기가 조절된 정보 부분을 원상태로 복원하는 복원 단계를 포함하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법을 제공한다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 추적 단계는 상기 휴대단말은 상기 카메라부로 촬영한 사용자 영상에서 얼굴 영상을 추출하는 단계, 상기 휴대단말은 상기 추출된 얼굴 영상에서 눈을 추출하고, 상기 추출한 눈의 위치 변화를 추적하여 사용자의 시선을 추적하는 단계를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 표시 단계는 상기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 정보의 위치를 산출하는 산출 단계, 상기 휴대단말이 상기 산출된 위치를 중심으로 상기 정보의 크기를 조절하여 표시하는 조절 표시 단계를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 산출 단계는 상기 휴대단말이 상기 시선 추적 중 상기 시선이 정지하는 시간을 산출하는 단계, 상기 휴대단말이 상기 산출된 시간이 임계시간을 초과하는 경우 상기 시선을 집중하는 것으로 판단하는 단계, 상기 휴대단말이 상기 시선이 집중되는 상기 정보의 위치를 산출하는 단계를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 위치를 산출하는 단계는 상기 휴대단말이 상기 추출한 눈의 영상정보로 시선 방향을 산출하는 단계, 상기 휴대단말이 상기 산출된 시선 방향과 상기 화면과의 교점으로부터 상기 화면에 대한 눈의 상대적 위치를 산출하여 상기 시선이 집중된 상기 정보의 위치를 산출하는 단계를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 조절 표시 단계는 상기 휴대단말이 상기 산출된 위치를 상기 화면의 중심으로 이동시키는 단계, 상기 휴대단말이 상기 화면의 중심에 대해서 상기 정보의 크기를 조절하여 표시하는 단계를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 조절 표시 단계에서 상기 휴대단말이 상기 산출된 위치를 중심으로 근방의 영역의 크기를 조절할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 조절 표시 단계는 상기 휴대단말은 상기 산출된 시간이 상기 임계 시간을 초과하면 상기 정보의 크기 조절을 시작하는 단계, 상기 휴대단말은 상기 시선이 집중된 상기 정보의 위치에서 다른 곳으로 이동하면 상기 정보의 크기 조절을 중지하는 단계를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 조절 표시 단계에서 상기 정보의 크기 조절율은 상기 산출된 시간에 비례할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 복원 단계는 상기 휴대단말이 상기 모션감지부로 상기 휴대단말의 흔들림을 감지한 제스처 감지신호를 수신하는 단계, 상기 휴대단말이 상기 수신한 제스처 감지신호에 따른 흔들림 강도를 산출하는 단계, 상기 산출한 흔들림 강도가 임계강도 이하인 경우 상기 크기가 조절된 정보 부분의 표시 상태를 유지하고, 상기 산출한 흔들림 강도가 임계강도를 초과하는 경우 상기 크기가 조절된 정보 부분을 원상태로 복원시키는 단계를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 복원 단계는 상 기 산출한 흔들림 강도가 임계강도 이하인 상태에서 상기 시선이 상기 화면 상에 이동하면, 상기 휴대단말이 상기 시선이 이동하는 경로 상에 있는 상기 정보 부분의 크기를 연속적으로 조절 및 복원하여 표시하는 크기 조절 및 복원 단계를 더 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 크기 조절 및 복원 단계에서 상기 휴대단말은 상기 시선이 위치하는 지점의 정보 부분은 크기를 조절하여 표시하고, 상기 시선이 지나간 지점의 정보 부분은 복원하여 표시할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 표시 단계는 상기 휴대단말이 확대 요청 신호를 수신하면, 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 확대하여 표시하는 단계, 상기 휴대단말이 축소 요청 신호를 수신하면, 상기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 축소하여 표시하는 단계 중에 적어도 하나를 포함할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 표시 단계에서 상기 휴대단말은 상기 확대 요청 신호 및 축소 요청 신호를 키입력, 음성입력 및 제스처 입력 중에 적어도 하나를 통하여 수신할 수 있다.
본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 표시 단계에서 상기 휴대단말이 상기 시선이 집중되는 상기 정보 부분에 포인터를 표시할 수 있다.
그리고 본 발명에 따른 휴대단말의 화면 처리 방법에 있어서, 상기 정보는 메뉴 항목, 텍스트 정보, 가상키패드, 이미지 정보 및 동영상 정보 중 적어도 하나를 포함할 수 있다.
본 발명에 따르면, 휴대단말은 사용자의 시선을 추적하고 시선 추적 중 화면에서 시선이 집중되는 부분의 크기를 조절, 즉 확대 또는 축소하여 표시하고, 휴대단말을 흔들면 크기가 조절된 부분을 원상태로 복원시키기 때문에, 사용자는 입력부(입력장치)를 여러 번 조작하지 않더라도 시선 집중 및 휴대단말을 흔드는 간단한 제스처를 통하여 화면에서 원하는 부분을 확대 또는 축소하거나 원상태로 복원할 수 있다.
시선이 집중되는 부분이 확대 또는 축소된 상태에서 사용자의 시선이 화면 내에서 이동하면, 휴대단말은 시선이 이동하는 방향으로 정보의 크기를 연속적으로 조절 및 복원시켜 표시할 수 있다. 즉 휴대단말은 시선이 이동하는 경로 상에 있는 정보 부분에 대해서, 시선이 위치하는 지점의 정보 부분은 크기를 조절하여 표시하고, 시선이 지나간 지점의 정보 부분은 복원하여 연속적으로 표시한다.
또한 사용자는 한 손으로 휴대단말을 잡은 상태에서 시선 집중 및 휴대단말을 흔드는 간단한 제스처만으로 휴대단말의 화면 크기 조절 및 복원 기능을 수행시킬 수 있기 때문에, 본 발명에 따른 휴대단말은 사용자에게 한 손으로도 휴대단말을 안정적으로 조작할 수 있는 조작 편의성을 제공한다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 시선 및 제스처 인식을 이용하여 화면을 처리하는 휴대단말의 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 실시예에 따른 휴대단말(10)은 입력부(11), 저장부(13), 카메라부(15), 표시부(17), 모션감지부(18) 및 제어부(19)를 포함하여 구성되며, 시선 및 제스처 인식을 이용하여 화면을 처리한다.
본 실시예에 따른 휴대단말(10)은 시선 인식을 위한 카메라부(15)를 구비하는 단말로서, 이동통신단말, 노트북(notebook), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), DMB(Digital Multimedia Broadcasting) 또는 DVB(Digital Video Broadcasting)와 같은 디지털방송 수신기를 포함할 수 있다..
입력부(11)는 휴대단말(10)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 제어부(19)로 전달한다. 사용자는 입력부(11)를 통해 표시부(17)의 화면에 정보 표시를 요청하고, 시선 인식 및 제스처를 통하여 표시된 정보를 확대, 축소 및 복원하는 화면 크기 조절 모드의 실행을 요청할 수 있다. 입력부(11)는 시선이 집중되는 정보 부분의 확대를 요청하는 확대 요청 신호를 입력하는 확대키와, 시선이 집중되는 정보 부분의 축소를 요청하는 축소 요청 신호를 입력하는 축소키를 포함하는 크기 조절키를 구비할 수 있다. 입력부(11)는 크기 조절키를 별도로 구비할 수도 있고, 기존의 키 중에 적어도 하나에 해당 기능을 매핑하여 사용할 수도 있다. 입력부(11)로는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린 등의 입력장치가 사용될 수 있다.
저장부(13)는 휴대단말(10)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장한다. 저장부(13)는 시선 및 제스처 인식을 이용하여 화면을 처리하는, 예컨대 시선이 집중되는 영역에 표시된 정보의 크기를 조절하고 휴대단말(10)의 흔들림을 감지하여 크기가 조절된 정보를 원상태로 복원시키는 실행프로그램을 저장한다.
이때 화면에 표시되는 정보는 휴대단말(10)에서 영상으로 표시할 수 있는 정보로서, 메뉴 항목, 텍스트 정보, 가상키패드, 이미지 정보 또는 동영상 정보를 포함한다. 저장부(13)는 정보의 종류에 따른 크기 조절 방식을 저장할 수 있다. 크기 조절 방식은 시선이 집중되는 부분을 중심으로 근방의 영역만을 부분적으로 크기를 조절하는 제1 크기 조절 방식과, 시선이 집중되는 부분을 중심으로 정보의 크기를 전체적으로 조절하는 제2 크기 조절 방식을 포함할 수 있다. 크기 조절 방식은 사용자에 의해 설정될 수도 있고 디폴트로 설정될 수 있다. 예컨대, 메뉴 항목, 텍스트 정보 및 가상키패드에 대한 크기 조절 방식으로 제1 크기 조절 방식이 설정될 수 있다. 이미지 정보 및 동영상 정보에 대한 크기 조절 방식으로 제2 크기 조절 방식이 설정될 수 있다.
카메라부(15)는 피사체의 촬영 기능을 수행하며, 특히 시선 인식을 이용하여 화면을 처리하기 위한 사용자의 영상을 획득한다. 이때 카메라부(15)는 이미지 센서, 신호처리부 및 영상처리부를 포함하여 구성될 수 있다. 이미지 센서는 촬영한 영상의 광신호를 아날로그 신호로 변환한다. 신호처리부는 아날로그 신호를 디지털 신호로 변환한다. 그리고 영상처리부는 신호처리부를 통해 입력되는 영상신호를 처 리하여 영상데이터를 획득하며, 획득된 영상데이터를 제어부(19)나 표시부(17)를 통해 출력하거나 저장부(13)에 저장한다. 휴대단말(10)은 사용자의 시선을 추적하기 위해서 적어도 하나 이상의 카메라부(15)를 포함하거나, 카메라부(15)가 적어도 하나 이상의 이미지 센서를 포함할 수 있다.
표시부(17)는 휴대단말(10)에서 실행되는 각종 기능 메뉴를 비롯하여 저장부(13)에 저장된 정보를 표시한다. 표시부(17)는 제어부(19)의 제어에 따라 시선이 집중되는 정보 부분의 크기를 조절하여 화면에 표시한다. 표시부(17)로는 LCD(Liquid Crystal Display)나 터치스크린이 사용될 수 있다. 터치스크린은 표시장치와 입력장치로서의 역할을 동시에 수행한다.
모션감지부(18)는 제어부(19)의 제어에 의해 활성화되어 사용자가 휴대단말(10)을 흔들었을 때에 발생하는 휴대단말(10)의 움직임을 감지하고, 감지한 제스처 감지신호를 제어부(19)로 전송한다. 제스처 감지신호는 흔들림 강도의 산출에 필요한 흔들림 정보를 포함한다. 흔들림 정보는 사용자가 휴대단말(10)을 흔들었을 발생되는 흔들림 폭, 흔들림 방향, 가속도 등에 대한 정보를 포함할 수 있다. 이때 모션감지부(18)는 가속도 센서, 각속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나를 포함한다.
그리고 제어부(19)는 휴대단말(10)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)이다. 특히 제어부(19)는 시선 및 제스처 인식을 이용한 실시간 화면 처리를 제어한다. 즉 제어부(19)는 카메라부(15)에서 촬영된 사용자 영상을 수신한다. 제어부(19)는 수신한 사용자 영상을 분석하여 사용자의 시선 을 실시간으로 추적한다. 제어부(19)는 시선 추적 중 시선이 집중되는 정보 부분의 크기를 조절하여 표시한다. 그리고 제어부(19)는 시선이 집중되는 정보 부분의 크기를 조절한 상태에서 모션감지부(18)로부터 수신한 제스처 감지신호에 따라 크기가 조절된 정보 부분을 원상태로 복원한다.
이때 제어부(19)가 확대 요청 신호를 수신하면, 시선이 집중되는 정보 부분을 확대하여 표시한다. 제어부(19)가 축소 요청 신호를 수신하면, 시선이 집중되는 정보 부분을 축소하여 표시한다. 확대 요청 신호 및 축소 요청 신호는 입력부(11)의 특정키, 예컨대 확대키 및 축소키를 통하여 제어부(19)로 입력하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 확대 요청 신호 및 축소 요청 신호는 음성입력 또는 제스처 입력 등을 통하여 제어부(19)로 입력할 수 있다.
제어부(19)는 다음과 같이 사용자의 시선을 추적할 수 있다. 먼저 제어부(19)는 카메라부(15)로 촬영한 사용자 영상에서 얼굴 영상을 추출한다. 그리고 제어부(19)는 추출한 얼굴 영상에서 눈을 추출하고, 추출한 눈의 위치 변화로부터 사용자의 시선을 추적한다. 예컨대, 얼굴 영상은 PCA(principal component analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis) 중에 하나를 이용하여 추출할 수 있다. 제어부(19)는 추출한 얼굴 영상에서 얼굴구성요소인 눈을 adaboost 또는 SVM(Support Vector Machine)을 이용하여 추출할 수 있다. 그리고 제어부(19)는 추출한 눈의 위치변화로부터 사용자의 시선을 추적한다. 여기서 adaboost는 객체의 형태를 추출하기 위한 학습 알고리듬으로, Yoav Freund and Robert E. Schapire 에 의한 "A decision-theoretic generalization of on-line learning and an application to boosting", In Computational Learning Theory: Eurocolt '95, pp. 23-37, Springer-Verlag, 1995에 자세히 기재되어 있다.
그 외 제어부(19)는 수신한 사용자 영상에서 얼굴 영상을 추출하고, 추출한 얼굴 영상에서 눈을 추출하기 위해서, ASM(Active Shape Modelling), AAM(Active Appearance Modelling) 등과 같은 얼굴 모델링 기법을 사용할 수도 있다.
제어부(19)는 다음과 같이 시선 추적 중 시선이 집중되는 정보 부분의 크기를 조절하여 표시할 수 있다. 먼저 제어부(19)는 시선 추적 중 시선이 집중되는 정보의 위치를 산출한다. 이때 제어부(19)는 시선 추적 중 시선이 정지하는 시간을 산출한다. 제어부(19)는 산출된 시간이 설정된 임계시간을 초과하는 지의 여부를 판단한다. 임계시간을 초과하는 경우 제어부(19)는 사용자가 시선을 집중하고 있는 것으로 판단한다. 그리고 제어부(19)는 시선이 집중되는 정보의 위치를 산출한다. 한편 임계시간을 초과하기 전에 시선이 이동하는 경우, 제어부(19)는 사용자가 시선을 집중하고 있지 않는 것으로 판단한다.
제어부(19)는 다음과 같이 시선이 집중되는 정보의 위치를 산출할 수 있다. 즉 제어부(19)는 추출한 눈의 영상정보로부터 시선 방향을 산출한다. 제어부(19)는 산출한 시선 방향과 화면과의 교점으로부터 화면에 대한 눈의 상대적 위치 정보를 산출하여 시선이 집중되는 정보의 위치를 산출할 수 있다. 또는 제어부(19)는 적외선 센서(도시안됨)를 이용하여 화면에 대한 눈의 상대적 위치 정보를 산출하여 시선이 집중되는 정보의 위치를 산출할 수 있다.
그리고 제어부(19)는 산출된 위치를 중심으로 정보의 크기를 조절하여 표시한다. 이때 제어부(19)는 다음과 같이 정보의 크기를 조절하여 화면에 표시할 수 있다. 즉 제어부(19)는 산출된 현재 위치를 중심으로 정보의 크기를 조절하여 표시할 수 있다. 또는 제어부(19)는 산출된 위치를 화면의 중심으로 이동시킨 후, 화면의 중심에 대해서 정보의 크기를 조절할 수 있다. 이때 제어부(19)는 산출된 위치 또는 이동한 중심 위치에 대해서 정보의 크기를 전체적으로 조절하거나, 해당 위치를 중심으로 근방의 영역만을 부분적으로 크기를 조절할 수 있다. 예컨대 도 5는 후자를 예시한 것이고, 도 6은 전자를 예시한 것이다. 도 5 및 도 6에 대한 설명은 후술하도록 하겠다.
또는 제어부(19)는 화면에 표시된 정보의 종류에 따라 다음과 같이 크기를 조절하여 화면에 표시할 수 있다. 예컨대 정보가 메뉴 항목인 경우, 제어부(19)는 시선이 집중되는 특정 메뉴 항목의 현재 위치를 중심으로 근방의 영역만을 부분적으로 확대 또는 축소할 수 있다. 정보가 텍스트 정보인 경우, 제어부(19)는 메뉴 항목과 동일한 방식으로 시선이 집중되는 텍스트 부분을 확대 또는 축소할 수 있다. 정보가 가상키패드인 경우, 제어부(19)는 메뉴 항목과 동일한 방식으로 시선이 집중되는 키 부분을 확대 또는 축소할 수 있다. 정보가 이미지 정보 또는 동영상 정보인 경우, 제어부(19)는 시선이 집중되는 부분을 중심으로 이미지 정보 또는 동영상 정보를 전체적으로 확대 또는 축소할 수 있다.
또는 제어부(19)는, 시선이 집중되는 부분에 포인터(pointer)를 표시할 수 있다. 즉 제어부(19)는 사용자의 시선이 집중되는 정보의 특정 부분을 확대 또는 축소한 이후에, 사용자가 해당 부분을 선택할 수 있도록 시선이 집중되는 부분에 포인터를 표시할 수 있다.
한편 시선이 집중되는 영역의 크기를 조절할 때, 제어부(19)는 시선이 정지하는 시간이 임계 시간을 초과하면 정보의 크기 조절을 시작한다. 그리고 제어부(19)는 시선이 집중된 정보의 위치에서 시선이 다른 곳으로 이동하면 정보의 크기 조절을 정지한다. 이때 정보의 크기 조절율은 시선이 정지하는 시간에 비례하며, 시선이 정지하는 시간에 연속적으로 또는 단계적으로 비례하게 정보의 크기를 조절할 수 있다. 정보의 크기 조절율은 사용자에 의해 설정되거나 디폴트로 설정될 수 있다.
정보의 크기가 조절된 이후에, 제어부(19)는 모션감지부(18)로부터 수신한 제스처 감지신호에 따라 크기가 조절된 정보 부분을 원상태로 복원한다. 즉 제어부(19)는 모션감지부(18)로부터 수신한 제스처 감지신호에 따른 흔들림 강도를 산출한다. 산출한 흔들림 강도가 임계강도 이하인 경우, 제어부(19)는 크기가 조절된 정보 부분의 표시 상태를 유지한다. 산출한 흔들림 강도가 임계강도를 초과하는 경우, 제어부(19)는 크기가 조절된 영역을 원상태로 복원시킨다. 이때 산출된 현재 위치를 중심으로 정보의 크기를 조절한 경우, 제어부(19)는 해당 영역을 원상태로 복원시킨다. 산출된 위치를 화면의 중심으로 이동시킨 경우, 제어부(19)는 크기 조절 이전의 상태로 복원시키거나 산출된 위치를 화면의 중심에 위치시킨 상태로 크기가 조절된 배율에 대응하는 반대되는 배율로 복원시킬 수도 있다. 예컨대 사용자가 휴대단말(10)을 임계강도 이상으로 흔들면, 제어부(19)는 확대된 영역을 원상태 로 복원시킨다.
이때 제어부(19)는 제스처 감지신호에 포함된 흔들림 정보를 이용하여 흔들림 강도를 산출할 수 있다. 즉 제어부(19)는 흔들림 정보에 포함된 흔들림 폭, 흔들림 방향 및 가속도 중에 적어도 하나의 정보를 이용하여 흔들림 강도를 산출할 수 있다. 임계강도는 일반적인 휴대단말(10)의 사용시 발생될 수 있는 흔들림 강도보다는 큰 값으로 설정되며, 사용자가 휴대단말(10)을 통하여 직관적으로 수행할 수 있는 범위 내의 값으로 설정될 수 있다. 예컨대, 흔들림 강도가 흔들림 폭에 의해 결정되는 경우, 일반적으로 휴대단말(10)을 사용할 때 발생될 수 있는 흔들림 폭은 5cm이하 이기 때문에, 임계강도로는 5 내지 30cm 사이의 값으로 설정할 수 있다. 한편 임계강도를 30cm를 초과하는 큰 값으로도 설정할 수 있지만, 이 경우 사용자가 휴대단말(10)을 과도하게 흔들어야 하는 불편함이 있다. 임계강도가 5cm 이하로 설정될 경우, 사용자가 의도하지 않은 휴대단말(10)의 조그만 움직임에 따른 흔들림 강도가 임계강도를 초과하여 크기가 조절된 영역을 원상태로 복원시키는 문제를 발생시킬 수 있다.
한편으로 산출한 흔들림 강도가 임계강도 이하인 경우, 제어부(19)는 정보의 크기가 조절된 이후에 시선의 이동이 있는 지의 여부를 다시 판단한다. 즉 정보의 크기가 조절된 이후에, 제어부(19)는 사용자의 시선을 계속적으로 추적한다. 그리고 제어부(19)는 시선의 이동 여부를 판단한다.
시선 이동 여부를 판단한 결과 이동이 없는 경우, 제어부(19)는 크기가 조절된 정보 부분의 표시 상태를 유지한다.
시선 이동 여부를 판단한 결과 이동이 있는 경우, 제어부(19)는 시선 이동 방향으로 크기가 조절된 정보의 부분을 이동시킨다. 즉 시선이 집중되는 부분의 크기가 조절된 상태에서 사용자의 시선이 화면 내에서 이동하면, 제어부(19)는 시선이 이동하는 방향으로 정보의 크기를 연속적으로 조절 및 복원시켜 표시할 수 있다. 이때 제어부(19)는 시선이 이동하는 경로 상에 있는 정보 부분의 크기를 연속적으로 조절 및 복원하여 표시할 수 있다. 시선이 위치하는 지점의 정보 부분은 크기를 조절하여 표시하고, 시선이 지나간 지점의 정보 부분은 복원하여 표시한다.
한편 본 실시예에 따른 휴대단말(10)은 제어부(19)가 시선 및 제스처 인식을 통한 화면 처리를 수행하는 예를 개시하였지만, 제어부(19)와는 별도의 화면처리부를 구비하여 화면 처리를 수행하도록 할 수 있다.
이와 같이 본 실시예에 따른 휴대단말(10)은 사용자의 시선을 추적하고 시선 추적 중 화면에서 시선이 집중되는 부분을 확대 또는 축소하여 표시하고, 휴대단말(10)을 흔들면 확대 또는 축소된 부분을 원상태로 복원시키기 때문에, 사용자는 입력부(11)를 여러 번 조작하지 않더라도 시선 집중 및 휴대단말(10)을 흔드는 간단한 제스처를 통하여 화면에서 원하는 부분의 크기를 조절하거나 원상태로 복원할 수 있다.
시선이 집중되는 부분이 확대 또는 축소된 상태에서 사용자의 시선이 화면 내에서 이동하면, 휴대단말(10)은 시선이 이동하는 방향으로 정보의 크기를 연속적으로 조절 및 복원시켜 표시할 수 있다. 즉 휴대단말(10)은 시선이 이동하는 경로 상에 있는 정보 부분에 대해서, 시선이 위치하는 지점의 정보 부분은 크기를 조절 하여 표시하고, 시선이 지나간 지점의 정보 부분은 복원하여 연속적으로 표시한다.
또한 사용자는 한 손으로 휴대단말(10)을 잡은 상태에서 시선 집중 및 휴대단말(10)을 흔드는 간단한 제스처만으로 휴대단말(10)의 화면 크기 조절 및 복원 기능을 수행시킬 수 있기 때문에, 본 발명에 따른 휴대단말(10)은 사용자에게 한 손으로도 휴대단말(10)을 안정적으로 조작할 수 있는 조작 편의성을 제공한다.
이와 같은 본 실시예에 따른 휴대단말(10)의 시선 및 제스처 인식을 이용한 화면 처리 방법의 일 예에 대해서 도 1 내지 도 4를 참조하여 설명하면 다음과 같다. 여기서 도 2는 본 발명의 실시예에 따른 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법의 일 예에 따른 흐름도이다. 도 3은 도 2의 시선 추적 단계에 따른 상세 흐름도이다. 그리고 도 4는 도 2의 시선이 집중되는 정보 부분의 크기를 조절하여 표시하는 단계에 따른 상세 흐름도이다.
먼저 S20단계에서 휴대단말(10)은 표시부(17)의 화면에 정보를 표시한다. 정보는 메뉴 항목, 텍스트 정보, 가상키패드, 이미지 정보 또는 동영상 정보를 포함한다.
다음으로 S25단계에서 휴대단말(10)은 사용자의 선택 신호에 따라 화면 크기 조절 모드를 선택한다. 이때 사용자의 선택 신호로 확대 요청 신호가 입력되면, 휴대단말(10)은 화면 확대 모드를 실행한다. 사용자의 선택 신호로 축소 요청 신호가 입력되면, 휴대단말(10)은 화면 축소 모드를 실행한다. 한편 본 실시예에서는 확대 요청 신호 및 축소 요청 신호는 입력부(11)의 특정키, 예컨대 확대키 및 축소키를 통하여 휴대단말(10)로 입력되는 예를 개시하였지만 상기한 실시예에 한정되는 것 은 아니다. 예컨대 확대 요청 신호 및 축소 요청 신호는 음성입력 또는 제스처 입력 등을 통하여 휴대단말(10)로 입력될 수 있다.
한편으로 본 실시예에서는 화면 크기 조절 모드가 S20단계를 수행한 이후에 사용자의 선택 신호에 따라 수행되는 예를 개시하였지만, 디폴트로 설정될 수 있다.
다음으로 S30단계에서 휴대단말(10)은 카메라부(15)를 통하여 사용자의 얼굴을 포함한 사용자의 영상을 촬영한다.
다음으로 S40단계에서 휴대단말(10)은 촬영한 사용자 영상을 분석하여 사용자의 시선을 실시간으로 추적한다. S40단계를 도 3을 참조하여 상세히 설명하면 다음과 같다. 먼저 S41단계에서 휴대단말(10)은 촬영된 영상에서 얼굴 영상을 추출한다. 이어서 S43단계에서 휴대단말(10)은 추출한 얼굴 영상에서 눈을 추출한다. 그리고 S45단계에서 휴대단말(10)은 추출한 눈의 위치 변화로부터 사용자의 시선을 추적한다. 예컨대 휴대단말(10)은 촬영한 영상에서 상대방의 얼굴 영상을 PCA, FDA, ICA 중에 하나를 이용하여 추출할 수 있다. 휴대단말(10)은 추출한 얼굴 영상에서 눈을 adaboost 또는 SVM을 이용하여 추출할 수 있다. 그리고 휴대단말(10)은 추출한 눈의 위치변화로부터 사용자의 시선을 추적할 수 있다.
다음으로 S50단계에서 휴대단말(10)은 시선이 집중되는 정보 부분의 크기를 조절하여 표시한다. S50단계를 도 4를 참조하여 상세히 설명하면 다음과 같다.
먼저 S51단계에서 휴대단말(10)은 화면 상에서 시선이 정지하는 시간을 산출한다. 다음으로 S53단계에서 휴대단말(10)은 산출된 시간이 설정된 임계시간을 초 과하는 지의 여부를 판단한다.
S53단계의 판단 결과 초과하지 않는 경우, 휴대단말(10)은 S51단계를 수행한다. 이때 임계시간을 초과하기 전에 시선이 이동하는 경우, 휴대단말(10)은 정보의 현재 표시 상태를 유지한다.
S53단계의 판단 결과 초과한 경우, S55단계에서 휴대단말(10)은 사용자가 시선을 집중하고 있는 것으로 판단하고 시선이 집중된 정보의 위치를 산출한다. 이때 휴대단말(10)은 추출한 눈의 영상정보로부터 시선 방향을 산출한다. 휴대단말(10)은 산출한 시선 방향과 화면과의 교점으로부터 화면에 대한 눈의 상대적 위치 정보를 산출하여 시선이 집중된 정보의 위치를 산출할 수 있다. 또는 휴대단말(10)은 적외선 센서를 이용하여 화면에 대한 눈의 상대적 위치 정보를 산출하여 시선이 집중된 정보의 위치를 산출할 수 있다.
다음으로 S56단계에서 휴대단말(10)은 S25단계에서 선택된 크기 조절키가 확대키인지 축소키인지의 여부를 판단한다.
S56단계의 판단 결과 확대키가 선택된 경우, S57단계에서 휴대단말(10)은 산출된 위치를 중심으로 정보를 확대한다. 예컨대 휴대단말(10)은 다음과 같이 정보를 확대할 수 있다. 즉 휴대단말(10)은 시선이 정지하는 시간이 임계 시간을 초과하면 정보의 확대를 시작한다. 그리고 휴대단말(10)은 시선이 집중된 정보의 위치에서 시선이 다른 곳으로 이동하면 정보의 확대를 정지한다.
이때 정보의 확대율은 시선이 정지하는 시간에 비례하며, 시선이 정지하는 시간에 연속적으로 또는 단계적으로 비례하게 정보를 확대할 수 있다. S57단계에서 휴대단말(10)은 산출된 현재 위치를 중심으로 정보를 확대하여 표시할 수 있다. 또는 휴대단말(10)은 산출된 위치를 화면의 중심으로 이동시킨 후, 화면의 중심에 대해서 정보를 확대할 수 있다. 이때 휴대단말(10)은 산출된 위치 또는 이동한 중심 위치에 대해서 정보를 전체적으로 확대하거나, 해당 위치를 중심으로 근방의 영역만을 부분적으로 확대할 수 있다.
S56단계의 판단 결과 축소키가 선택된 경우, S58단계에서 휴대단말(10)은 산출된 위치를 중심으로 정보를 축소한다. 그리고 정보를 축소하는 방식 또한 확대하는 방식과 동일하게 수행되기 때문에 상세한 설명은 생략한다.
다음으로 S60단계에서 휴대단말(10)은 임계강도를 초과하는 휴대단말(10)의 흔들림이 감지되는 지의 여부를 판단한다. 즉 모션감지부(18)는 사용자가 휴대단말(10)을 흔들었을 때에 발생하는 휴대단말(10)의 움직임을 감지하고, 감지한 제스처 감지신호를 제어부(19)로 전송한다. 다음으로 제어부(19)는 모션감지부(18)로부터 수신한 제스처 감지신호에 따른 흔들림 강도를 산출한다. 예컨대 휴대단말(10)은 제스처 감지신호에 포함된 흔들림 정보를 이용하여 흔들림 강도를 산출할 수 있다. 즉 휴대단말(10)은 흔들림 정보에 포함된 흔들림 폭, 흔들림 방향 및 가속도 중에 적어도 하나의 정보를 이용하여 흔들림 강도를 산출할 수 있다.
S60단계의 판단결과 산출한 흔들림 강도가 임계강도 이하인 경우, 휴대단말(10)은 S50단계에 따른 표시 상태를 유지한다. 즉 휴대단말(10)은 크기가 조절된 정보 부분의 표시 상태를 유지한다.
S60단계의 판단결과 산출한 흔들림 강도가 임계강도를 초과하는 경우, S70단 계에서 휴대단말(10)은 크기가 조절된 영역을 원상태로 복원시킨다. 이때 산출된 현재 위치를 중심으로 정보의 크기를 조절한 경우, 휴대단말(10)은 해당 영역을 원상태로 복원시킨다. 산출된 위치를 화면의 중심으로 이동시킨 경우, 휴대단말(10)은 크기 조절 이전의 상태로 복원시키거나 산출된 위치를 화면의 중심에 위치시킨 상태로 확대된 배율에 대응하는 반대되는 배율로 복원시킬 수도 있다.
이와 같은 본 실시예에 따른 휴대단말(10)의 시선 및 제스처 인식을 이용한 화면 처리 방법의 일 예에 대해서 도 1, 도 5 및 도 6의 화면 예시도를 참조하여 설명하면 다음과 같다. 이때 시선 인식을 이용하여 화면을 처리할 때, 시선이 집중되는 정보 부분에 대해서 확대 또는 축소하여 표시하기 때문에, 도 5 및 도 6에는 시선이 집중되는 정보 부분이 확대되는 예를 개시하였다.
먼저 시선 집중에 의해 정보를 확대하여 표시할 때, 도 5에 도시된 바와 같이, 시선이 집중된 정보 부분을 중심으로 근방의 영역을 확대할 수 있다.
도 5(a)에 도시된 바와 같이, 표시부(17)의 화면에 정보로서 영상(81)이 표시된다. 영상(81)으로는 산 위에 달이 뜬 이미지 정보를 예시하였다.
사용자가 화면에서 달에 시선을 집중하면, 도 5(b)에 도시된 바와 같이 휴대단말(10)은 달을 중심으로 근방의 영역을 확대하여 표시한다. 도면부호 83은 시선이 집중되는 부분을 가상으로 도시한 것으로, 실제 표시될 수도 있고 표시되지 않을 수도 있다. 도면부호 85는 확대된 영상을 가리킨다.
그리고 도 5(b)에 도시된 바와 같이 사용자가 휴대단말(10)을 흔들고, 그 흔들림 강도가 임계강도를 초과하면, 도 5(c)에 도시된 바와 같이 휴대단말(10)은 확 대된 해당 영역을 원상태로 복원시킨다. 이때 도 5(c) 및 도 5(a)의 화면에 표시된 영상(81)은 동일하다.
다음으로 시선 집중에 의해 정보를 확대하여 표시할 때, 도 6에 도시된 바와 같이 휴대단말(10)은 시선이 집중된 정보 부분을 화면의 중심으로 이동시킨 후 확대하여 표시할 수 있다.
도 6(a)에 도시된 바와 같이 사용자가 달에 시선을 집중하면, 도 6(b)에 도시된 바와 같이 휴대단말(10)은 달을 화면의 중심(O)으로 이동시킨다. 그리고 휴대단말(10)은 화면의 중심에 위치한 달을 중심으로 영상을 확대하여 표시한다. 도면부호 87은 확대된 영상을 가리킨다.
그리고 도 6(b)에 도시된 바와 같이 사용자가 휴대단말(10)을 흔들고, 그 흔들림 강도가 임계강도를 초과하면, 도 6(c)에 도시된 바와 같이 휴대단말(10)은 산출된 위치를 화면의 중심에 위치시킨 상태로 확대된 배율에 대응하는 축소 배율로 정보를 복원시킨다. 한편 휴대단말(10)은 도 6(a)에 도시된 바와 같이 확대 이전의 상태로 정보를 복원시킬 수 있다.
한편으로 시선 집중에 의해 정보를 확대하여 표시할 때, 휴대단말(10)은 시선이 집중된 정보 부분을 화면의 중심으로 이동시킨 후 시선이 집중된 달을 중심으로 근방의 영역을 확대하여 표시할 수도 있다.
한편 시선 집중에 의해 정보를 축소하여 표시하는 방식은 전술된 확대 방식과는 반대로 시선이 집중되는 정보 부분을 축소하여 표시하는 것을 제외하면, 전술한 확대 방식과 동일하게 진행되기 때문에 상세한 설명은 생략한다.
본 발명의 실시예에 따른 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법의 다른 예를 도 1 및 도 7를 참조하여 설명하면 다음과 같다. 여기서 도 7은 본 발명의 실시예에 따른 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법의 다른 예에 따른 흐름도이다.
먼저 S20단계 내지 S70단계까지는 도 2 내지 도 4에 개시된 단계와 동일하게 진행되기 때문에 상세한 설명은 생략하고, S70단계 이후에 진행되는 S91단계부터 설명하면 다음과 같다.
S60단계의 판단결과 산출한 흔들림 강도가 임계강도 이하인 경우, S91단계에서 휴대단말(10)은 정보의 크기가 조절된 이후에 시선의 이동이 있는 지의 여부를 다시 판단한다. 즉 정보의 크기가 조절된 이후에, 휴대단말(10)은 사용자의 시선을 계속적으로 추적한다. 그리고 휴대단말(10)은 시선의 이동 여부를 판단한다.
S91단계에서의 판단결과 시선의 이동이 없는 경우, 휴대단말(10)은 S60단계를 다시 수행한다.
S91단계에서의 판단결과 시선의 이동이 있는 경우, S93단계에서 휴대단말(10)은 시선 이동 방향으로 크기가 조절된 정보의 부분을 이동시킨다. 즉 시선이 집중되는 부분의 크기가 조절된 상태에서 사용자의 시선이 화면 내에서 이동하면, 휴대단말(10)은 시선이 이동하는 방향으로 정보를 연속적으로 크기 조절 및 복원시켜 표시한다. 이때 시선이 위치하는 지점의 정보 부분은 크기를 조절하여 표시하고, 시선이 지나간 지점의 정보 부분은 복원하여 표시한다.
따라서 사용자는 정보의 특정 영역을 주시한 이후에, 다른 부분을 일정 시간 주시하지 않더라도 시선 이동을 통하여 화면에 표시된 정보를 연속적으로 크기를 조절하면서 내용을 확인할 수 있다.
다음으로 S93단계를 수행한 이후에 휴대단말(10)은 S60단계로 복귀한다.
그리고 S60단계에서의 판단결과 산출한 흔들림 강도가 임계강도를 초과하는 경우, S70단계에서 휴대단말(10)은 크기가 조절된 영역을 원상태로 복원시킨다. 이때 산출된 현재 위치를 중심으로 정보의 크기를 조절한 경우, 휴대단말(10)은 해당 영역을 원상태로 복원시킨다.
이와 같은 본 실시예에 따른 휴대단말(10)의 시선 및 제스처 인식을 이용한 화면 처리 방법의 다른 예에 대해서 도 1 및 도 8의 화면 예시도를 참조하여 설명하면 다음과 같다. 이때 도 8에서는 시선이 집중되는 정보 부분이 확대되는 예를 개시하였다.
먼저 도 8(a)에 도시된 바와 같이, 표시부(17)의 화면에 정보로서 영상(81)이 표시된다. 영상(81)으로는 산 위에 달이 뜬 이미지 정보를 예시하였다.
다음으로 사용자가 화면에서 달에 시선을 집중하면, 도 8(b)에 도시된 바와 같이 휴대단말(10)은 달을 중심으로 근방의 영역을 확대하여 표시한다. 도면부호 83은 시선이 집중되는 부분을 가상으로 도시한 것으로, 실제 표시될 수도 있고 표시되지 않을 수도 있다. 도면부호 85는 확대된 영상을 가리킨다.
이어서 도 8(c)에 도시된 바와 같이 사용자의 시선이 달에서 왼쪽으로 이동하면, 휴대단말(10)은 시선 이동 방향으로 정보의 확대 부분을 이동시킨다. 이때 시선이 위치하는 지점의 정보 부분, 예컨대 산 부분은 확대하여 표시하고, 시선이 지나간 지점의 정보 부분은, 예컨대 달 부분은 복원하여 표시한다.
그리고 도 8(b) 또는 도 8(c) 상태에서, 사용자가 휴대단말(10)을 흔들고, 그 흔들림 강도가 임계강도를 초과하면, 도 8(d)에 도시된 바와 같이 휴대단말(10)은 확대된 해당 영역을 원상태로 복원시킨다. 이때 도 8(a) 및 도 8(d)의 화면에 표시된 영상(81)은 동일하다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말에 관한 것으로, 휴대단말은 사용자의 시선을 추적하고, 시선 추적 중 시선이 집중되는 화면의 정보 부분의 크기를 조절, 즉 확대 및 축소하여 표시하고, 사용자가 휴대단말을 흔들면 크기가 조절된 부분을 원상태로 복원시키기 때문에, 사용자는 입력부를 여러 번 조작하지 않더라도 시선 집중 및 휴대단말을 흔드는 간단한 제스처를 통하여 화면에서 원하는 부분을 확대 또는 축소하거나 원상태로 복원할 수 있다. 그리고 사용자는 한 손으로 휴대단말을 잡은 상태에서 시선 집중 및 휴대단말을 흔드는 간단한 제스처만으로 휴대단말의 화면 크기 조절 및 복원 기능을 수행할 수 시킬 수 있는 조작 편의성을 제공받을 수 있다.
도 1은 본 발명의 실시예에 따른 시선 및 제스처 인식을 이용하여 화면을 처리하는 휴대단말의 구성을 보여주는 블록도이다.
도 2는 본 발명의 실시예에 따른 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법의 일 예에 따른 흐름도이다.
도 3은 도 2의 시선 추적 단계에 따른 상세 흐름도이다.
도 4는 도 2의 시선이 집중되는 정보 부분의 크기를 조절하여 표시하는 단계에 따른 상세 흐름도이다.
도 5 및 도 6은 도 2의 화면 처리 방법에 따른 화면 예시도이다.
도 7은 본 발명의 실시예에 따른 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법의 다른 예에 따른 흐름도이다.
도 8은 도 7의 화면 처리 방법에 따른 화면 예시도이다.
* 도면의 주요 부분에 대한 설명 *
10 : 휴대단말
11 : 입력부
13 : 저장부
15 : 카메라부
17 : 표시부
18 : 모션감지부
19 : 제어부

Claims (20)

  1. 휴대단말에 있어서,
    화면에 정보를 표시하는 표시부;
    사용자를 촬영하는 적어도 하나의 카메라부;
    상기 휴대단말을 흔들었을 때에 발생하는 상기 휴대단말의 움직임을 감지하여 제스처 감지신호를 출력하는 모션감지부;
    상기 카메라부에서 촬영된 사용자 영상을 수신하고, 상기 사용자 영상을 분석하여 사용자의 시선을 실시간으로 추적하고, 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분의 크기를 조절하여 표시하고, 상기 모션감지부로부터 수신한 상기 제스처 감지신호에 따라 상기 크기가 조절된 정보 부분을 원상태로 복원하는 제어부;
    를 포함하고, 상기 제어부는
    상기 사용자 영상으로부터 시선 방향을 산출하고, 상기 산출된 시선 방향과 상기 화면과의 교점으로부터 상기 화면에 대한 눈의 상대적 위치를 산출하여 상기 시선이 집중된 상기 정보의 위치를 산출하는 것을 특징으로 하는 시선 및 제스처 인식을 이용하여 화면을 처리하는 휴대단말.
  2. 제1항에 있어서,
    상기 화면에 표시된 정보의 종류에 따른 크기 조절 방식을 저장하는 저장부;
    를 더 포함하며,
    상기 제어부는 상기 저장부에서 상기 화면에 표시된 정보의 종류에 따른 크기 조절 방식을 추출하고, 상기 추출한 크기 조절 방식에 따라 상기 시선이 집중되 는 상기 정보 부분의 크기를 조절하여 표시하는 것을 특징으로 하는 시선 및 제스처 인식을 이용하여 화면을 처리하는 휴대단말.
  3. 제1항에 있어서,
    사용자의 선택 신호를 입력받는 입력부;
    를 더 포함하며,
    상기 입력부를 통하여 상기 선택 신호로 확대 요청 신호가 입력되면, 상기 제어부는 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 확대하여 표시하고,
    상기 입력부를 통하여 상기 선택 신호로 축소 요청 신호가 입력되면, 상기 제어부는 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 축소하여 표시하는 것을 특징으로 하는 시선 및 제스처 인식을 이용하여 화면을 처리하는 휴대단말.
  4. 제3항에 있어서, 상기 입력부는,
    상기 확대 요청 신호를 입력하는 확대키와, 상기 축소 요청 신호를 입력하는 축소키를 구비한 크기 조절키를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용하여 화면을 처리하는 휴대단말.
  5. 화면에 정보가 표시된 휴대단말이 적어도 하나의 카메라부로 사용자 영상을 촬영하는 촬영 단계;
    상기 휴대단말이 상기 촬영된 사용자 영상을 분석하여 상기 사용자의 시선을 실시간으로 추적하는 추적 단계;
    상기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분의 크기를 조절하여 표시하는 표시 단계;
    상기 휴대단말이 모션감지부로 상기 휴대단말의 흔들림을 감지하여 상기 크기가 조절된 정보 부분을 원상태로 복원하는 복원 단계;
    를 포함하며, 상기 표시 단계는
    상기 휴대단말이 상기 사용자 영상으로부터 시선 방향을 산출하는 단계;
    상기 휴대단말이 상기 산출된 시선 방향과 상기 화면과의 교점으로부터 상기 화면에 대한 눈의 상대적 위치를 산출하여 상기 시선이 집중된 상기 정보의 위치를 산출하는 단계;
    를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  6. 제5항에 있어서, 상기 추적 단계는,
    상기 휴대단말은 상기 카메라부로 촬영한 사용자 영상에서 얼굴 영상을 추출하는 단계;
    상기 휴대단말은 상기 추출된 얼굴 영상에서 눈을 추출하고, 상기 추출한 눈의 위치 변화를 추적하여 사용자의 시선을 추적하는 단계;
    를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  7. 제5항에 있어서, 상기 표시 단계는,
    상기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 정보의 위치 를 산출하는 산출 단계;
    상기 휴대단말이 상기 산출된 위치를 중심으로 상기 정보의 크기를 조절하여 표시하는 조절 표시 단계;
    를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  8. 제7항에 있어서, 상기 산출 단계는,
    상기 휴대단말이 상기 시선 추적 중 상기 시선이 정지하는 시간을 산출하는 단계;
    상기 휴대단말이 상기 산출된 시간이 임계시간을 초과하는 경우 상기 시선을 집중하는 것으로 판단하는 단계;
    상기 휴대단말이 상기 시선이 집중되는 상기 정보의 위치를 산출하는 단계;
    를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  9. 삭제
  10. 제7항에 있어서, 상기 조절 표시 단계는,
    상기 휴대단말이 상기 산출된 위치를 상기 화면의 중심으로 이동시키는 단계;
    상기 휴대단말이 상기 화면의 중심에 대해서 상기 정보의 크기를 조절하여 표시하는 단계;
    를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  11. 제7항에 있어서, 상기 조절 표시 단계에서,
    상기 휴대단말이 상기 산출된 위치를 중심으로 근방의 영역의 크기를 조절하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  12. 제7항에 있어서, 상기 조절 표시 단계는,
    상기 휴대단말은 상기 산출된 시간이 임계 시간을 초과하면 상기 정보의 크기 조절을 시작하는 단계;
    상기 휴대단말은 상기 시선이 집중된 상기 정보의 위치에서 다른 곳으로 이동하면 상기 정보의 크기 조절을 중지하는 단계;
    를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  13. 제12항에 있어서, 상기 조절 표시 단계에서,
    상기 정보의 크기 조절율은 상기 산출된 시간에 비례하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  14. 제5항에 있어서, 상기 복원 단계는,
    상기 휴대단말이 상기 모션감지부로 상기 휴대단말의 흔들림을 감지한 제스처 감지신호를 수신하는 단계;
    상기 휴대단말이 상기 수신한 제스처 감지신호에 따른 흔들림 강도를 산출하는 단계;
    상기 산출한 흔들림 강도가 임계강도 이하인 경우 상기 크기가 조절된 정보 부분의 표시 상태를 유지하고, 상기 산출한 흔들림 강도가 임계강도를 초과하는 경우 상기 크기가 조절된 정보 부분을 원상태로 복원시키는 단계;
    를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  15. 제14항에 있어서, 상기 복원 단계는,
    상기 산출한 흔들림 강도가 임계강도 이하인 상태에서 상기 시선이 상기 화면 상에 이동하면, 상기 휴대단말이 상기 시선이 이동하는 경로 상에 있는 상기 정보 부분의 크기를 연속적으로 조절 및 복원하여 표시하는 크기 조절 및 복원 단계;
    를 더 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  16. 제15항에 있어서, 상기 크기 조절 및 복원 단계에서,
    상기 휴대단말은 상기 시선이 위치하는 지점의 정보 부분은 크기를 조절하여 표시하고, 상기 시선이 지나간 지점의 정보 부분은 복원하여 표시하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  17. 제5항에 있어서, 상기 표시 단계는,
    상기 휴대단말이 확대 요청 신호를 수신하면, 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 확대하여 표시하는 단계;
    상기 휴대단말이 축소 요청 신호를 수신하면, 상기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 정보 부분을 축소하여 표시하는 단계;
    중에 적어도 하나를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  18. 제17항에 있어서, 상기 표시 단계에서,
    상기 휴대단말은 상기 확대 요청 신호 및 축소 요청 신호를 키입력, 음성입 력 및 제스처 입력 중에 적어도 하나를 통하여 수신하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  19. 제5항에 있어서, 상기 표시 단계에서,
    상기 휴대단말이 상기 시선이 집중되는 상기 정보 부분에 포인터를 표시하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
  20. 제5항 내지 제8항 및 제10항 내지 제19항 중 어느 한 항에 있어서,
    상기 정보는 메뉴 항목, 텍스트 정보, 가상키패드, 이미지 정보 및 동영상 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 시선 및 제스처 인식을 이용한 휴대단말의 화면 처리 방법.
KR1020090097376A 2009-10-13 2009-10-13 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말 KR101254037B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090097376A KR101254037B1 (ko) 2009-10-13 2009-10-13 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090097376A KR101254037B1 (ko) 2009-10-13 2009-10-13 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말

Publications (2)

Publication Number Publication Date
KR20110040199A KR20110040199A (ko) 2011-04-20
KR101254037B1 true KR101254037B1 (ko) 2013-04-12

Family

ID=44046604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090097376A KR101254037B1 (ko) 2009-10-13 2009-10-13 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말

Country Status (1)

Country Link
KR (1) KR101254037B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047909A (ko) * 2014-10-23 2016-05-03 (주)웅진씽크빅 독서 패턴 분석 장치 및 방법
KR20200118524A (ko) 2019-04-08 2020-10-16 유홍준 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130053007A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
CN103377643B (zh) * 2012-04-26 2017-02-15 富泰华工业（深圳）有限公司 字体调整系统及方法
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
KR102041984B1 (ko) 2012-12-18 2019-11-07 삼성전자주식회사 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
KR102175853B1 (ko) 2013-02-22 2020-11-06 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
KR102014417B1 (ko) * 2013-05-30 2019-08-26 엘지전자 주식회사 단말기 및 그 제어 방법
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR102063767B1 (ko) * 2013-09-24 2020-01-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101489247B1 (ko) * 2013-12-09 2015-02-04 한국항공우주연구원 사용자 인터페이스 장치 및 방법
KR102575844B1 (ko) 2016-04-05 2023-09-08 삼성전자주식회사 화면을 표시하는 전자 장치 및 그 제어 방법
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070072252A (ko) * 2005-12-31 2007-07-04 엘지전자 주식회사 안구 감지 기능이 구비된 이동 통신 단말기 및 그 화면처리 방법
KR20090079474A (ko) * 2008-01-17 2009-07-22 임차성 사용자 맞춤형 자동 디스플레이 위치 조절장치
KR100912310B1 (ko) 2008-04-17 2009-08-14 엘지전자 주식회사 사용자의 제스쳐를 검출하여 사용자 인터페이스를 제어하는방법
KR20110035162A (ko) * 2009-09-30 2011-04-06 에스케이텔레콤 주식회사 시선 인식을 이용한 화면 처리 방법 및 휴대단말

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070072252A (ko) * 2005-12-31 2007-07-04 엘지전자 주식회사 안구 감지 기능이 구비된 이동 통신 단말기 및 그 화면처리 방법
KR20090079474A (ko) * 2008-01-17 2009-07-22 임차성 사용자 맞춤형 자동 디스플레이 위치 조절장치
KR100912310B1 (ko) 2008-04-17 2009-08-14 엘지전자 주식회사 사용자의 제스쳐를 검출하여 사용자 인터페이스를 제어하는방법
KR20110035162A (ko) * 2009-09-30 2011-04-06 에스케이텔레콤 주식회사 시선 인식을 이용한 화면 처리 방법 및 휴대단말

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047909A (ko) * 2014-10-23 2016-05-03 (주)웅진씽크빅 독서 패턴 분석 장치 및 방법
KR101637538B1 (ko) 2014-10-23 2016-07-07 (주)웅진씽크빅 독서 패턴 분석 장치 및 방법
KR20200118524A (ko) 2019-04-08 2020-10-16 유홍준 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법

Also Published As

Publication number Publication date
KR20110040199A (ko) 2011-04-20

Similar Documents

Publication Publication Date Title
KR101254037B1 (ko) 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말
KR101242531B1 (ko) 시선 인식을 이용한 화면 처리 방법 및 휴대단말
EP3461291B1 (en) Implementation of a biometric enrollment user interface
DK179350B1 (en) Device, Method, and Graphical User Interface for Navigating Media Content
US20180024643A1 (en) Gesture Based Interface System and Method
US9952663B2 (en) Method for gesture-based operation control
US20180129292A1 (en) Devices, Methods, and Graphical User Interfaces for Haptic Mixing
AU2021290349A1 (en) Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
KR20220075457A (ko) 사용자 인터페이스들을 위한 촉각 피드백
US20160004307A1 (en) Information processing apparatus and program
US20160313875A1 (en) Adaptive user interfaces
US20090153468A1 (en) Virtual Interface System
JP2015087824A (ja) 画面操作装置および画面操作方法
KR20090101733A (ko) 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
US10353550B2 (en) Device, method, and graphical user interface for media playback in an accessibility mode
US20210052984A1 (en) Program, electronic device, and method
KR102404636B1 (ko) 사용자 인터페이스들을 위한 촉각 피드백
US20210281746A1 (en) Devices, Methods, and Graphical User Interfaces for Assisted Photo-Taking
CN108920069B (zh) 一种触控操作方法、装置、移动终端和存储介质
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
KR20180117815A (ko) 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
CN109804340B (zh) 用于页面显示的方法、装置、图形用户界面及移动终端
US20210205698A1 (en) Program, electronic device, and method
KR102224932B1 (ko) 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법
KR101119896B1 (ko) 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee