KR101773845B1 - 휴대용 단말기에서 입력 처리 방법 및 장치 - Google Patents

휴대용 단말기에서 입력 처리 방법 및 장치 Download PDF

Info

Publication number
KR101773845B1
KR101773845B1 KR1020110045587A KR20110045587A KR101773845B1 KR 101773845 B1 KR101773845 B1 KR 101773845B1 KR 1020110045587 A KR1020110045587 A KR 1020110045587A KR 20110045587 A KR20110045587 A KR 20110045587A KR 101773845 B1 KR101773845 B1 KR 101773845B1
Authority
KR
South Korea
Prior art keywords
screen
delete delete
indicator
detected
scroll
Prior art date
Application number
KR1020110045587A
Other languages
English (en)
Other versions
KR20120127842A (ko
Inventor
박형길
서민환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110045587A priority Critical patent/KR101773845B1/ko
Priority to US13/422,157 priority patent/US9170645B2/en
Priority to EP12161544.7A priority patent/EP2525271B1/en
Publication of KR20120127842A publication Critical patent/KR20120127842A/ko
Application granted granted Critical
Publication of KR101773845B1 publication Critical patent/KR101773845B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

본 발명은 휴대용 단말기에서 입력 처리 방법을 제공하고, 상기 방법은 안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시하는 단계 및 해당 신호가 감지되면, 상기 표시자에 놓여있는 개체를 선택하는 단계를 포함하는 것을 특징으로 한다.

Description

휴대용 단말기에서 입력 처리 방법 및 장치{METHOD OF PROCESSING INPUT SIGNAL IN PORTABLE TERMINAL AND APPARATUS TEEREOF}
본 발명은 휴대용 단말기에 관한 것으로서, 특히 손가락으로 버튼을 누르지 않고도 입력을 발생시키는 입력 처리 방법 및 장치에 관한 것이다.
현재 전자 통신 산업의 발달로 말미암아 이동 통신 단말기(셀룰러폰), 전자수첩, 개인 복합 단말기 등의 휴대용 단말기는 현대 사회의 필수품이 되어가면서, 빠르게 변화하는 정보 전달의 중요한 수단이 되고 있다.
일반적으로, 휴대용 단말기는 입력을 위한 버튼을 구성한다. 이러한 버튼은 기구적으로 구현되거나, 터치스크린이 적용되는 경우 소프트웨어적으로도 구현될 수 있다. 사용자가 손가락을 이용하여 상기 버튼을 누르면, 해당 동작을 위한 입력 신호가 발생한다. 그러나, 손이 불편하여 조작에 어려움을 가지는 사용자이거나 손을 사용할 수 없는 상황에 처한 사용자에 대하여 종래의 이러한 버튼은 무용한 것이 될 수 있다. 따라서, 이러한 불편한 점을 해결할 개선된 입력 방식이 요구되고 있다.
본 발명의 목적은 휴대용 단말기에서 손을 이용하지 않고도 입력을 발생시킬 수 있는 입력 처리 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 사용자의 시선 추적, 음성 인식 중 어느 하나 또는 이들을 조합하여 입력을 발생시키는 입력 처리 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 눈 깜빡임 및 그 종류에 따라 다양한 입력을 발생시키는 입력 처리 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 시선 추적 또는 음성 인식을 이용하여 해당 개체를 선택, 개체를 재배치, 화면 스크롤을 위한 입력을 발생시키는 입력 처리 방법 및 장치를 제공하는데 있다.
상기 과제를 해결하기 위한 제 1견지로서, 본 발명은 휴대용 단말기에서 입력 처리 방법에 있어서, 안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시하는 단계 및 해당 신호가 감지되면, 상기 표시자에 놓여있는 개체를 선택하는 단계를 포함하는 것을 특징으로 하는 입력 처리 방법을 제공한다.
상기 과제를 해결하기 위한 제 2견지로서, 본 발명은 휴대용 단말기에서 입력 처리 방법에 있어서, 안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시하는 단계와, 제1신호가 감지되면 상기 표시자에 놓여있는 개체를 재배치하고자 하는 대상으로 선택하는 단계와, 제2신호가 감지되면 상기 선택된 개체를 안구의 시선에 따라 이동시키는 단계 및 제3신호가 감지되면 해당 위치에 상기 선택된 개체를 배치하는 단계를 포함하는 것을 특징으로 하는 입력 처리 방법을 제공한다.
상기 과제를 해결하기 위한 제 3견지로서, 본 발명은 휴대용 단말기에서 입력 처리 방법에 있어서, 화면을 해당 기능이 지정된 적어도 하나 이상의 영역들로 구분하는 단계와, 안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시하는 단계 및 상기 영역들 중 상기 표시자가 속하는 영역을 확인하고, 해당 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 입력 처리 방법을 제공한다.
상기 과제를 해결하기 위한 제 4견지로서, 본 발명은 휴대용 단말기에서 입력 처리 장치에 있어서, 음성 데이터 및 표시 데이터를 출력하는 출력부와, 전반적인 동작을 제어하는 소정의 프로그램과 제어동작이 수행될 때 입출력되는 각종 데이터를 저장하는 저장부 및 카메라로부터 사용자의 눈 움직임에 관한 정보를 수신하고 마이크로폰으로부터 제공되는 음성 명령을 인식하며, 전반적인 동작의 제어를 수행하는 제어부를 포함하되, 상기 제어부는 안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시시키며, 해당 신호가 감지되면 상기 표시자에 놓여있는 개체를 선택함을 특징으로 하는 입력 처리 장치를 제공한다.
상기 과제를 해결하기 위한 제 5견지로서, 본 발명은 휴대용 단말기에서 입력 처리 장치에 있어서, 음성 데이터 및 표시 데이터를 출력하는 출력부와, 전반적인 동작을 제어하는 소정의 프로그램과 제어동작이 수행될 때 입출력되는 각종 데이터를 저장하는 저장부 및 카메라로부터 사용자의 눈 움직임에 관한 정보를 수신하고 마이크로폰으로부터 제공되는 음성 명령을 인식하며, 전반적인 동작의 제어를 수행하는 제어부를 포함하되, 상기 제어부는 안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시시키며, 제1신호가 감지되면 상기 표시자에 놓여있는 개체를 재배치하고자 하는 대상으로 선택하고, 제2신호가 감지되면 상기 선택된 개체를 안구의 시선에 따라 이동시켜 표시시키며, 제3신호가 감지되면 해당 위치에 상기 선택된 개체를 배치하여 표시시킴을 특징으로 하는 입력 처리 장치를 제공한다.
상기 과제를 해결하기 위한 제 6지로서, 본 발명은 휴대용 단말기에서 입력 처리 장치에 있어서, 음성 데이터 및 표시 데이터를 출력하는 출력부와, 전반적인 동작을 제어하는 소정의 프로그램과 제어동작이 수행될 때 입출력되는 각종 데이터를 저장하는 저장부 및 카메라로부터 사용자의 눈 움직임에 관한 정보를 수신하고 마이크로폰으로부터 제공되는 음성 명령을 인식하며, 전반적인 동작의 제어를 수행하는 제어부를 포함하되, 상기 제어부는 화면을 해당 기능이 지정된 적어도 하나 이상의 영역들로 구분하고, 안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시시키며, 상기 영역들 중 상기 표시자가 속하는 영역을 확인하고 해당 기능을 수행시킴을 특징으로 하는 입력 처리 장치를 제공한다.
본 발명은 손을 이용하지 않고도 해당 기능을 위한 입력을 발생시키므로 사용자의 편의성을 도모한다.
도 1은 본 발명의 일 실시 예에 따른 휴대용 단말기를 이용하여 입력을 수행하는 것을 보여주는 도면;
도 2는 본 발명의 일 실시 예에 따른 휴대용 단말기의 블럭 구성도;
도 3a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 절차의 순서도;
도 3b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 과정을 보여주는 도면;
도 4a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 절차의 순서도;
도 4b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 과정을 보여주는 도면;
도 5a는 본 발명의 일 실시 예에 따라 화면의 내용을 확대 또는 축소하여 표시하는 절차의 순서도;
도 5b는 본 발명의 일 실시 예에 따라 화면 확대/축소 보기 모드의 화면;
도 6a는 본 발명의 일 실시 예에 따라 화면의 내용을 스크롤하는 절차의 순서도;
도 6b는 본 발명의 일 실시 예에 따라 스크롤 모드의 화면;
도 7은 본 발명의 일 실시 예에 따라 화면 밖에 구성된 버튼을 화면으로 옮기고 이를 선택하는 과정을 보여주는 도면;
도 8a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 절차의 순서도;
도 8b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 과정을 보여주는 도면;
도 9a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 절차의 순서도 및
도 9b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 과정을 보여주는 도면.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 휴대용 단말기에 관한 것으로서, 특히 손가락으로 버튼을 누르지 않고도 입력을 발생시키는 입력 처리 방법 및 장치에 관한 것이다. 본 발명의 일 실시 예는 휴대용 단말기에서 사용자의 시선 추적, 음성 인식 중 어느 하나 또는 이들을 조합하여 입력을 발생시키는 입력 처리 방법 및 장치를 제공한다. 또한, 본 발명의 일 실시 예는 휴대용 단말기에서 눈 깜빡임 및 그 종류에 따라 다양한 입력을 발생시키는 입력 처리 방법 및 장치를 제공한다. 더욱이, 본 발명의 일 실시 예는 시선 추적 또는 음성 인식을 이용하여 해당 아이콘을 선택, 아이콘을 재배치, 화면 스크롤을 위한 입력을 발생시키는 입력 처리 방법 및 장치를 제공한다.
도 1은 본 발명의 일 실시 예에 따른 휴대용 단말기를 이용하여 입력을 수행하는 것을 보여주는 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 휴대용 단말기(10)는 외관을 형성하는 케이스 프레임(11)과, 상기 케이스 프레임(11)에 내삽되는 하기 구성 요소들을 구성한다. 상기 휴대용 단말기(10)는 영상 신호를 출력하기 위한 디스플레이(12)와, 음성 신호를 출력하기 위한 스피커(13)와, 음성을 입력하기 위한 마이크로폰(14) 및 키 입력을 위한 키버튼(15), 피사체를 촬상하는 카메라(16)를 구비한다. 상기 디스플레이(12)에 터치 패널이 덧붙여져 터치스크린이 구성될 수도 있다. 특히, 본 발명의 일 실시 예에 따른 휴대용 단말기(10)는 상기 카메라(16)가 촬상하는 사용자의 눈동자 움직임을 포착하여 사용자가 화면을 바라보는 시선(20)을 추적하고 이를 화면상에 나타낸다. 일 예로, 사용자가 바라보는 화면의 위치에 표시자(16)가 나타난다. 사용자가 화면을 바라보는 시선(20)의 이동에 따라 화면에 나타난 표시자가 이동한다. 또한, 상기 휴대용 단말기(10)는 상기 카메라(16)가 촬상하는 사용자의 눈 깜빡임의 종류를 감지하여 해당 입력을 발생시킬 수 있다. 게다가, 상기 휴대용 단말기(10)는 상기 마이크로폰(14)로부터 입력되는 사용자의 음성을 인식하여 입력을 발생시킬 수 있다. 후술하겠지만, 상기 휴대용 단말기(10)는 상기 표시자(17), 눈 깜빡임, 음성 인식 중 적어도 어느 하나를 이용하여 개체(예;아이콘) 선택, 개체 이동, 화면 확대/축소, 화면 스크롤 등의 기능을 수행할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 휴대용 단말기의 블럭 구성도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 휴대용 단말기는 입력 신호를 제공하는 입력부(21)와, 표시 데이터를 표시하는 표시부(22)와, 데이터를 저장하는 저장부(23)와, 음성을 인식하는 음성 인식부(24)와, 사용자의 눈 움직임에 관한 정보를 제공하는 안구 추적부(25) 및 전반적인 동작의 제어를 수행하는 제어부(26)를 포함한다. 상기 휴대용 단말기는 음성 데이터를 출력하는 음성 출력부를 더 구비할 수 있다. 상기 음성 출력부와 상기 표시부(22)를 묶어 통칭하여 출력부라 하여도 무방하다.
상기 입력부(21)는 해당 동작을 위한 입력 신호를 상기 제어부(26)로 제공한다. 상기 입력 신호는 버튼이 눌러짐에 따른 키 신호와 음성에 따른 음성 신호로 구분할 수 있다. 상기 제어부(26)는 상기 입력 신호에 따라 해당 기능을 상기 저장부(23)에 저장된 데이터를 참조하여 수행한다. 상기 저장부(23)는 전반적인 동작을 제어하는 소정의 프로그램과 제어동작이 수행될 때 입출력되는 각종 데이터를 저장한다. 상기 음성 인식부(24)는 상기 입력부(21)로부터 제공되는 음성 신호들에서 해당 동작을 수행하도록 지정된 음성 인식 신호를 포착하고 이를 상기 제어부(26)로 알린다. 상기 안구 추적부(25)는 상기 카메라(16)를 이용하여 눈동자 움직임, 눈 깜빡임 등에 관한 안구 추적 신호를 상기 제어부(26)로 알린다. 상기 제어부(26)는 상기 음성 인식부(24)로부터 제공되는 해당 음성 인식 신호에 따른 기능을 수행한다. 게다가, 상기 제어부(26)는 상기 안구 추적부(25)로부터 제공되는 해당 안구 추적 신호에 따른 기능을 수행한다. 상기 음성 인식부(24) 및 상기 안구 추적부(25)가 상기 제어부(26)에 포함되는 구성도 가능하며, 이러한 구성을 바탕으로 이하 도면을 참조하여 상기 제어부(26)의 본 발명의 일 실시 예에 따른 입력 처리 방법을 상세히 설명하겠다.
도 3a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 절차의 순서도이다. 선택하는 개체로서 아이콘을 예로 들고 있지만, 이에 국한되지 않는다.
도 3a을 참조하면, 상기 제어부(26)는 아이콘 메뉴 화면에서 안구의 시선에 따른 화면상 위치를 확인한다(301 단계).
이후, 상기 제어부(26)는 상기 확인된 위치에 대한 표시자를 화면에 표시한다(303 단계). 즉, 사용자가 바라보는 화면상의 위치에 상기 표시자가 표시된다. 일 실시 예에 따라, 상기 표시자는 원형의 선택 영역으로 표시될 수 있다. 안구의 시선에 따른 화면상 위치는 고정된 것이 아니므로, 상기 제어부(26)는 다양한 방법으로 상기 원형의 선택 영역을 결정하여 표시시킬 수 있다. 일 예로, 상기 제어부(26)는 일정 시간 동안 또는 주기적으로 안구의 시선에 따른 화면상 위치들을 확인 후 평균값과 표준 편차를 이용하여 상기 원형의 선택 영역을 결정할 수 있다.
다음, 상기 제어부(26)는 임계 시간 이상 양쪽 눈을 감았다 뜨는 것이 감지되는지 확인한다(305 단계). 임계 시간 이상 양쪽 눈을 감았다 뜨는 것이 감지되지 않으면, 상기 제어부(26)는 상기 301 단계 이하의 과정을 수행한다. 그러나, 임계 시간 이상 양쪽 눈을 감았다 뜨는 것이 감지되면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘이 존재하는지 확인한다(307 단계). 상기 307 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘을 선택한다(309 단계). 이는 일반적인 터치스크린 단말기에서 사용자가 해당 아이콘을 손가락으로 짚어 선택하는 것과 같다. 상기 307 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하지 않으면, 상기 제어부(26)는 아이콘이 선택되지 않았음을 알리는 메시지를 표출하고(311 단계), 상기 301 단계 이하의 과정을 수행한다. 상기 메시지는 문자로 표시되거나 음성으로 출력될 수 있다.
도 3b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 과정을 보여주는 도면이다.
도 3b를 참조하면, 아이콘 메뉴 화면에서 사용자가 바라보는 위치가 원형의 선택 영역으로 표시된다(a). 이후 사용자가 양쪽 눈을 감았다 뜨면 상기 선택 영역에 놓여져 있는 아이콘은 선택된다(b).
도 4a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 절차의 순서도이다. 재배치하는 개체로서 아이콘을 예로 들고 있지만, 이에 국한되지 않는다.
도 4a를 참조하면, 상기 제어부(26)는 아이콘 메뉴 화면에서 안구의 시선에 따른 화면상 위치를 확인한다(401 단계).
이후, 상기 제어부(26)는 상기 확인된 위치에 대한 표시자를 화면에 표시한다(403 단계). 전술하였듯이, 상기 표시자는 원형의 선택 영역으로 표시될 수 있다.
다음, 상기 제어부(26)는 임계 시간 이상 한쪽 눈을 계속 감고 감는 것이 감지되는지 확인한다(405 단계). 임계 시간 이상 한쪽 눈을 계속 감고 있지 않음이 감지되면, 상기 제어부(26)는 상기 401 단계 이하의 과정을 수행한다. 그러나, 임계 시간 이상 한쪽 눈을 계속 감고 있는 것이 감지되면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘이 존재하는지 확인한다(407 단계). 상기 407 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘을 재배치할 대상으로 선택한다(409 단계). 상기 제어부(26)는 재배치하고자 선택된 아이콘을 다른 아이콘들보다 부각되게 나타낼 수도 있다. 상기 407 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하지 않으면, 상기 제어부(26)는 재배치하고자 하는 아이콘이 선택되지 않았음을 알리고 감은 눈을 뜨라는 메시지를 표출하고(411 단계), 상기 401 단계 이하의 과정을 수행한다. 상기 메시지는 문자로 표시되거나 음성으로 출력될 수 있다. 이는 사용자가 재배치하고자 하는 아이콘 위에 상기 선택 영역이 놓여질 수 있도록 유도하기 위함이다.
다음, 상기 제어부(26)는 나머지 뜬 눈의 안구가 시선을 이동하는지 여부를 확인한다(413 단계). 나머지 뜬 눈의 안구가 시선을 이동하는 것이 감지되면, 상기 제어부(26)는 그 이동에 상응하는 위치로 상기 선택한 아이콘을 화면상에서 이동시킨다(415 단계). 그러나, 나머지 뜬 눈의 안구가 시선을 이동하는 것이 감지되지 않으면, 상기 제어부(26)는 이하 설명할 417 단계 이하의 과정을 수행한다. 상기 제어부(26)는 413 단계에서 나머지 뜬 눈의 깜밖임은 무시할 수 있다.
다음, 상기 제어부(26)는 감은 눈을 뜨는지 확인한다(417 단계). 감은 눈을 뜨는 것이 감지되면, 상기 제어부(26)는 상기 413 단계에서 결정된 위치로 상기 선택한 아이콘을 배치한다(419 단계). 그러나, 감은 눈을 뜨는 것이 감지되지 않으면, 상기 제어부(26)는 상기 413 단계 이하의 과정을 수행한다.
도 4b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 과정을 보여주는 도면이다.
도 4b를 참조하면, 아이콘 메뉴 화면에서 사용자가 바라보는 위치가 원형의 선택 영역으로 표시된다(a). 이후, 사용자가 한쪽 눈을 임계 시간 이상 계속 감으면, 상기 선택 영역에 놓여져 있는 아이콘은 부각되고 재배치할 대상으로 선택된다(b). 다음, 사용자가 나머지 뜬 눈으로 시선을 이동하면(41), 상기 재배치할 아이콘 또한 상응하게 이동되어 표시된다(c). 이후, 사용자가 감은 눈을 뜨면, 이동된 위치에 놓여진 상기 선택된 아이콘의 배치가 완료된다(d).
도 5a는 본 발명의 일 실시 예에 따라 화면의 내용을 확대 또는 축소하여 표시하는 절차의 순서도이다. 화면의 내용은 그림, 사진 등의 이미지이거나, 웹페이지, 전자책 등이 될 수 있다. 화면 확대/축소 보기 모드에서 상기 제어부(26)는 하기의 과정을 수반한다.
도 5a를 참조하면, 상기 제어부(26)는 안구의 시선에 따른 화면상 위치를 확인한다(501 단계).
이후, 상기 제어부(26)는 상기 확인된 위치에 대한 표시자를 화면에 표시한다(503 단계). 전술하였듯이, 상기 표시자는 원형의 선택 영역으로 표시될 수 있다. 상기 안구의 시선에 따라 상기 선택 영역 또한 이동된다.
다음, 상기 제어부(26)는 상기 선택 영역이 화면의 어느 영역에 위치하는지 확인한다(505 단계). 도 5b는 본 발명의 일 실시 예에 따라 화면 확대/축소 보기 모드의 화면이다. 도 5b를 참조하면, 화면은 확대를 지정하는 영역(521)과 축소를 지정하는 영역(522)으로 구분되어 표시된다. 게다가, 확대 및 축소를 지정하지 않는 영역(523)이 더 구성될 수도 있다.
상기 선택 영역이 확대를 지정하는 영역에 위치하면, 상기 제어부(26)는 화면의 내용을 확대시켜 표출한다(507 단계). 또한, 상기 선택 영역이 축소를 지정하는 영역에 위치하면, 상기 제어부(26)는 화면의 내용을 축소시켜 표출한다(511 단계). 미도시되었지만, 상기 선택 영역이 확대 및 축소를 지정하지 않은 영역(523)에 위치한다면, 상기 제어부(26)는 화면의 내용은 확대 및 축소되지 않는다.
이후, 상기 제어부(26)는 화면 확대/축소 보기 모드가 종료되기 전까지 상기 501 단계 이하의 과정을 수행한다(509 단계). 일반적으로 구성되는 종료 버튼을 누르면 상기 모드가 종료될 수 있다.
도 6a는 본 발명의 일 실시 예에 따라 화면의 내용을 스크롤하는 절차의 순서도이다. 화면의 내용은 그림, 사진 등의 이미지이거나, 웹페이지, 전자책 등이 될 수 있다. 화면 스크롤 모드에서 상기 제어부(26)는 하기의 과정을 수반한다.
도 6a를 참조하면, 상기 제어부(26)는 안구의 시선에 따른 화면상 위치를 확인한다(601 단계).
이후, 상기 제어부(26)는 상기 확인된 위치에 대한 표시자를 화면에 표시한다(603 단계). 전술하였듯이, 상기 표시자는 원형의 선택 영역으로 표시될 수 있다. 상기 안구의 시선에 따라 상기 선택 영역 또한 갱신되어 표시된다. 사용자 입장에서 상기 선택 영역은 이동하는 것으로 보여진다.
다음, 상기 제어부(26)는 해당 방향으로의 스크롤을 지정하는 영역들 중 상기 선택 영역이 위치하는 영역을 확인하고, 해당 방향으로 내용을 스크롤한다(605 단계). 도 6b는 본 발명의 일 실시 예에 따라 스크롤 모드의 화면이다. 도 6b를 참조하면, 화면은 위쪽으로의 스크롤을 지정하는 영역(621)과, 아래쪽으로의 스크롤을 지정하는 영역(622)과, 왼쪽으로의 스크롤을 지정하는 영역(623)과, 오른쪽으로의 스크롤을 지정하는 영역(624)으로 구분되어 표시된다. 게다가, 스크롤이 지정되지 않은 영역(625)이 더 구성될 수도 있다. 일 예로, 상기 선택 영역이 아래쪽으로의 스크롤이 지정된 영역에 위치하면, 상기 제어부(26)는 화면의 내용을 아래쪽으로 스크롤하여 표출한다.
이후, 상기 제어부(26)는 화면 스크롤 모드가 종료되기 전까지 상기 601 단계 이하의 과정을 수행한다(607 단계). 일반적으로 구성되는 종료 버튼을 누르면 상기 모드가 종료될 수 있다.
도 7은 본 발명의 일 실시 예에 따라 화면 밖에 구성된 버튼을 화면으로 옮기고 이를 선택하는 과정을 보여주는 도면이다. 일 실시 예에 따라 화면 밖에 구성된 버튼은 볼륨 키움 버튼과 볼륨 줄임 버튼이라 정한다.
도 7의 과정을 수반하기 위한 모드가 실행되면, 화면 밖에 구성된 볼륨 키움 버튼과 볼륨 줄인 버튼을 대신하는 각각의 버튼들이 화면에 표출된다(a). 달리 말하면, 볼륨 키움이 지정된 영역과 볼륨 줄임이 지정된 영역이 표시된다. 게다가 화면에 사용자가 바라보는 위치가 원형의 선택 영역으로 표시된다. 이후, 사용자가 시선을 이동하면(71), 상기 선택 영역은 갱신되어 표시된다(b). 사용자 입장에서 상기 선택 영역은 이동하는 것으로 보여진다. 상기 갱신된 선택 영역이 상기 볼륨 키움이 지정된 영역에 위치한 상태에서, 눈을 깜빡이면, 예를 들어, 양 눈을 깜빡인다던지 한 눈을 깜빡이면 볼륨 키움이 수행된다(d).
도 8a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 절차의 순서도이다. 선택하는 개체로서 아이콘을 예로 들고 있지만, 이에 국한되지 않는다.
도 8a을 참조하면, 상기 제어부(26)는 아이콘 메뉴 화면에서 안구의 시선에 따른 화면상 위치를 확인한다(801 단계).
이후, 상기 제어부(26)는 상기 확인된 위치에 대한 표시자를 화면에 표시한다(803 단계). 즉, 화면에서 사용자가 바라보는 위치에 상기 표시자가 표시된다. 전술하였듯이, 상기 표시자는 원형의 선택 영역으로 표시될 수 있다.
다음, 상기 제어부(26)는 "선택" 음성 인식 신호가 감지되는지 확인한다(805 단계). "선택" 음성 인식 신호가 감지되지 않으면, 상기 제어부(26)는 상기 801 단계 이하의 과정을 수행한다. 그러나, "선택" 음성 인식 신호가 감지되면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘이 존재하는지 확인한다(807 단계). 상기 807 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘을 선택한다(809 단계). 이는 일반적인 터치스크린 단말기에서 사용자가 해당 아이콘을 손가락으로 짚어 선택하는 것과 같다. 상기 807 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하지 않으면, 상기 제어부(26)는 아이콘이 선택되지 않았음을 알리는 메시지를 표출하고(811 단계), 상기 801 단계 이하의 과정을 수행한다. 상기 메시지는 문자로 표시되거나 음성으로 출력될 수 있다.
도 8b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 선택하는 과정을 보여주는 도면이다.
도 8b를 참조하면, 아이콘 메뉴 화면에서 사용자가 바라보는 위치가 원형의 선택 영역으로 표시된다(a). 이후, 사용자가 "선택"이라 말하면, 상기 선택 영역에 놓여져 있는 아이콘은 선택된다(b).
도 9a는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 절차의 순서도이다. 재배치하는 개체로서 아이콘을 예로 들고 있지만, 이에 국한되지 않는다.
도 9a를 참조하면, 상기 제어부(26)는 아이콘 메뉴 화면에서 안구의 시선에 따른 화면상 위치를 확인한다(901 단계).
이후, 상기 제어부(26)는 상기 확인된 위치에 대한 표시자를 화면에 표시한다(903 단계). 전술하였듯이, 상기 표시자는 원형의 선택 영역으로 표시될 수 있다.
다음, 상기 제어부(26)는 "선택" 음성 인식 신호가 감지되는지 확인한다(905 단계). "선택" 음성 인식 신호가 감지되지 않으면, 상기 제어부(26)는 상기 901 단계 이하의 과정을 수행한다. 그러나, "선택" 음성 인식 신호가 감지되면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘이 존재하는지 확인한다(907 단계). 상기 907 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하면, 상기 제어부(26)는 상기 선택 영역에 놓여있는 아이콘을 재배치할 대상으로 선택한다(909 단계). 상기 제어부(26)는 재배치하고자 선택된 아이콘을 다른 아이콘들보다 부각되게 나타낼 수도 있다. 상기 907 단계에서 상기 선택 영역에 놓여있는 아이콘이 존재하지 않으면, 상기 제어부(26)는 재배치하고자 하는 아이콘이 선택되지 않았음을 알리는 메시지를 표출하고(911 단계), 상기 901 단계 이하의 과정을 수행한다. 상기 메시지는 문자로 표시되거나 음성으로 출력될 수 있다. 이는 사용자가 재배치하고자 하는 아이콘 위에 상기 선택 영역이 놓여질 수 있도록 유도하기 위함이다.
다음, 상기 제어부(26)는 "드래그" 음성 인식 신호가 감지되는지 확인한다(913 단계). "드래그" 음성 인식 신호가 감지되지 않으면, 상기 제어부(26)는 하기 917 단계 이하의 과정을 수행한다. "드래그" 음성 인식 신호가 감지되면, 상기 제어부(26)는 안구의 시선 이동에 따라 상기 선택한 개체를 화면상에서 이동시킨다(915 단계).
이후, 상기 제어부(26)는 "드롭" 음성 인식 신호가 감지되는지 확인한다(917 단계). "드롭" 음성 인식 신호가 감지되지 아니하면, 상기 제어부(26)는 상기 913 단계 이하의 과정을 수행한다. "드롭" 음성 인식 신호가 감지되면, 상기 제어부(26)는 상기 915 단계에서의 이동에 상응하는 위치로 상기 선택한 아이콘을 화면상에 배치한다(919 단계).
도 9b는 본 발명의 일 실시 예에 따라 아이콘 메뉴 화면에서 아이콘을 재배치하는 과정을 보여주는 도면이다.
도 9b를 참조하면, 아이콘 메뉴 화면에서 사용자가 바라보는 위치가 원형의 선택 영역으로 표시된다(a). 이후, 사용자가 "선택"이라 말하면, 상기 선택 영역에 놓여져 있는 아이콘은 부각되고 재배치할 대상으로 선택된다(b). 다음, 사용자가 "드래그"라 말하고 시선을 이동하면, 시선이 이동(91)된 위치로 상기 선택된 아이콘이 이동하여 위치한다(c). 이후, 사용자가 "드롭"이라 말하면, 이동된 위치에 놓여진 상기 선택된 아이콘의 배치가 완료된다(d).
도 8a 내지 도 9b에서 살펴본 바와 같이, 본 발명의 일 실시 예는 안구 추적(eye-tracking)과 음성 인식이 복합된 구성을 보여준다.
게다가, 전술한 아이콘을 선택하기 위한 모드, 아이콘을 재배치시키기 위한 모드, 화면을 확대/축소 보기하는 모드, 화면의 내용을 스크롤하는 모드 등은 도 3a에서 설명한 방법으로 화면상의 해당 버튼이 선택되는 것으로 실행될 수도 있다. 게다가, 이러한 모드들은 일반적인 키 버튼이 눌러지면 실행될 수도 있다. 더욱이, 이러한 모드들은 음성 인식으로 실행될 수 있는데, 예를 들어 사용자가 "스크롤 모드"라고 말하면 스크롤 모드가 실행되고 화면에 각 방향으로의 스크롤이 지정된 영역들이 표시된다.
더욱이, 각 모드들은 눈 깜빡임으로 전환될 수 있다. 예를 들어, 도 5b의 확대/축소 모드가 실행 중에 사용자가 눈을 두 번 깜빡이면 스크롤 모드로 전환될 수도 있다. 즉, 눈 깜빡임의 종류에 따라 각 모드 간의 전환을 지정할 수도 있을 것이다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (52)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 휴대용 단말기에서 입력 처리 방법에 있어서,
    안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시하는 단계;
    제1 신호가 감지되면 상기 표시자에 놓여있는 개체를 재배치하고자 하는 대상으로 선택하는 단계;
    상기 선택된 개체를 이동하기 위한 제2 음성 신호가 감지되면 상기 선택된 개체를 안구의 시선에 따라 이동시키는 단계 및
    상기 이동된 개체를 배치하기 위한 제3 음성 신호가 감지되면 상기 선택된 개체가 이동된 위치에 상기 선택된 개체를 배치하는 단계를 포함하는 것을 특징으로 하는 입력 처리 방법.
  7. 제 6항에 있어서,
    상기 제1신호가 감지되나 상기 표시자에 놓여있는 개체가 존재하지 않을 경우, 개체가 선택되지 않았음을 알리는 문자 또는 음성 형태의 메시지를 제공하는 단계를 더 포함하는 것을 특징으로 하는 입력 처리 방법.
  8. 제 6항에 있어서,
    상기 제1신호는,
    임계 시간 이상 한쪽 눈을 계속 감고 있는 것이 감지되면 발생함을 특징으로 하는 입력 처리 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제 6항에 있어서,
    상기 표시자는,
    일정 시간 동안 또는 주기적으로 안구의 시선에 따른 화면상 위치들을 확인 후 평균값과 표준 편차를 이용하여 결정되는 소정 범위의 영역임을 특징으로 하는 입력 처리 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 휴대용 단말기에서 입력 처리 장치에 있어서,
    음성 데이터 및 표시 데이터를 출력하는 출력부와,
    전반적인 동작을 제어하는 소정의 프로그램과 제어동작이 수행될 때 입출력되는 각종 데이터를 저장하는 저장부 및
    카메라로부터 사용자의 눈 움직임에 관한 정보를 수신하고 마이크로폰으로부터 제공되는 음성 명령을 인식하며, 전반적인 동작의 제어를 수행하는 제어부를 포함하되,
    상기 제어부는,
    안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시시키며,
    제1 신호가 감지되면 상기 표시자에 놓여있는 개체를 재배치하고자 하는 대상으로 선택하고,
    상기 선택된 개체를 이동하기 위한 제2 음성 신호가 감지되면 상기 선택된 개체를 안구의 시선에 따라 이동시켜 표시시키며,
    상기 이동된 개체를 배치하기 위한 제3 음성 신호가 감지되면 상기 선택된 개체가 이동된 위치에 상기 선택된 개체를 배치하여 표시시킴을 특징으로 하는 입력 처리 장치.
  29. 제 28항에 있어서,
    상기 제어부는,
    상기 제1신호가 감지되나 상기 표시자에 놓여있는 개체가 존재하지 않을 경우, 개체가 선택되지 않음을 알리는 문자 또는 음성 형태의 메시지를 출력시킴을 특징으로 하는 입력 처리 장치.
  30. 제 28항에 있어서,
    상기 제1신호는,
    임계 시간 이상 한쪽 눈을 계속 감고 있는 것이 감지되면 발생함을 특징으로 하는 입력 처리 장치.
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 제 28항에 있어서,
    상기 표시자는,
    일정 시간 동안 또는 주기적으로 안구의 시선에 따른 화면상 위치들을 확인 후 평균값과 표준 편차를 이용하여 결정되는 소정 범위의 영역임을 특징으로 하는 입력 처리 장치.
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 전자 장치에서 입력 처리 장치에 있어서,
    카메라로부터 사용자의 시선 이동에 관한 정보를 수신하고 마이크로폰으로부터 제공되는 음성 명령을 인식하며, 전반적인 동작의 제어를 수행하는 제어부를 포함하되,
    상기 제어부는,
    상기 전자 장치가 제1 모드로 동작하고 있는 도중에, 제2 모드와 연관된 눈 깜박임을 검출하면, 상기 전자 장치를 제2 모드로 동작하도록 제어하는 단계를 포함하며,
    상기 전자 장치는, 상기 제1 모드에서, 제1 위치에서 제2 위치로의 시선 이동에 기반하여 제1 동작을 수행하도록 설정되고,
    상기 전자 장치는, 상기 제2 모드에서, 제3 위치에서 제4 위치로의 시선 이동에 기반하여 제2 동작을 수행하도록 설정된 것을 특징으로 하는 입력 처리 장치.
  46. 제 45항에 있어서,
    상기 제1 동작 또는 상기 제2 동작은, 화면 내용을 스크롤하는 동작, 화면을 확대 또는 축소하는 동작, 개체를 드래그-앤-드롭하는 동작 중 하나인 것을 특징으로 하는 입력 처리 장치.
  47. 전자 장치에서 입력 처리 방법에 있어서,
    상기 전자 장치가 제1 모드로 동작하고 있는 도중에, 제2 모드와 연관된 눈 깜박임을 검출하면, 상기 전자 장치를 제2 모드로 동작하도록 제어하는 단계를 포함하며,
    상기 전자 장치는, 상기 제1 모드에서, 제1 위치에서 제2 위치로의 시선 이동에 기반하여 제1 동작을 수행하도록 설정되고,
    상기 전자 장치는, 상기 제2 모드에서, 제3 위치에서 제4 위치로의 시선 이동에 기반하여 제2 동작을 수행하도록 설정된 것을 특징으로 하는 입력 처리 방법.

  48. 제 47항에 있어서,
    상기 제1 동작 또는 상기 제2 동작은, 화면 내용을 스크롤하는 동작, 화면을 확대 또는 축소하는 동작, 개체를 드래그-앤-드롭하는 동작 중 하나인 것을 특징으로 하는 입력 처리 방법.
  49. 전자 장치에서 드래그-앤-드롭 동작을 수행하기 위한 입력 처리 장치에 있어서,
    카메라로부터 사용자의 시선 이동에 관한 정보를 수신하고 마이크로폰으로부터 제공되는 음성 명령을 인식하며, 전반적인 동작의 제어를 수행하는 제어부를 포함하되,
    상기 제어부는,
    안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시시키고,
    임계 시간 이상 동안, 제1 눈이 감겨진 것을 검출하면, 상기 표시자에 놓여있는 개체를 드래그-앤-드롭하기 위한 대상으로 선택하고;
    상기 제1 눈이 감겨 있는 중에 제2 눈에 의한 시선 이동을 검출하면, 상기 선택된 개체를, 상기 제2 눈에 의한 시선 이동에 따라 드래그하고;
    상기 감겼던 제1 눈이 뜨는 것을 검출하면, 상기 선택된 개체가 이동된 위치에, 상기 선택된 개체를 드롭하는 것을 특징으로 하는 입력 처리 장치.
  50. 전자 장치에서 입력 처리 방법에 있어서,
    안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시하는 단계,
    임계 시간 이상 동안, 제1 눈이 감겨진 것을 검출하면, 상기 표시자에 놓여있는 개체를 드래그-앤-드롭하기 위한 대상으로 선택하는 단계;
    상기 제1 눈이 감겨 있는 중에 제2 눈에 의한 시선 이동을 검출하면, 상기 선택된 개체를, 상기 제2 눈에 의한 시선 이동에 따라 드래그하는 단계;
    상기 감겼던 제1 눈이 뜨는 것을 검출하면, 상기 선택된 개체가 이동된 위치에, 상기 선택된 개체를 드롭하는 단계를 포함하는 것을 특징으로 하는 입력 처리 방법.
  51. 전자 장치에서 입력 처리 장치에 있어서,
    카메라로부터 사용자의 시선 이동에 관한 정보를 수신하고 마이크로폰으로부터 제공되는 음성 명령을 인식하며, 전반적인 동작의 제어를 수행하는 제어부를 포함하되,
    상기 제어부는,
    안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시시키고,
    화면을, 위쪽 스크롤에 지정된 영역, 아래쪽 스크롤에 지정된 영역, 왼쪽 스크롤에 지정된 영역, 및 오른쪽 스크롤에 지정된 영역을 포함하는 다수 개의 영역들로 분할하고,
    상기 표시자가 상기 위쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 위쪽으로 스크롤하도록 제어하고,
    상기 표시자가 상기 아래쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 아래쪽으로 스크롤하도록 제어하고,
    상기 표시자가 상기 왼쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 왼쪽으로 스크롤하도록 제어하고,
    상기 표시자가 상기 오른쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 오른쪽으로 스크롤하도록 제어하는 것을 특징으로 하는 입력 처리 장치.
  52. 전자 장치에서 입력 처리 방법에 있어서,
    안구의 시선에 따른 화면상 위치를 확인하고 상기 확인된 위치에 따른 표시자를 화면에 표시하는 단계;
    화면을, 위쪽 스크롤에 지정된 영역, 아래쪽 스크롤에 지정된 영역, 왼쪽 스크롤에 지정된 영역, 및 오른쪽 스크롤에 지정된 영역을 포함하는 다수 개의 영역들로 분할하는 단계;
    상기 표시자가 상기 위쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 위쪽으로 스크롤하는 단계;
    상기 표시자가 상기 아래쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 아래쪽으로 스크롤하는 단계;
    상기 표시자가 상기 왼쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 왼쪽으로 스크롤하는 단계;
    상기 표시자가 상기 오른쪽 스크롤을 지정하는 영역에 위치하는 것을 검출하면, 화면의 내용을 오른쪽으로 스크롤하는 단계를 포함하는 것을 특징으로 하는 입력 처리 방법.
KR1020110045587A 2011-05-16 2011-05-16 휴대용 단말기에서 입력 처리 방법 및 장치 KR101773845B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110045587A KR101773845B1 (ko) 2011-05-16 2011-05-16 휴대용 단말기에서 입력 처리 방법 및 장치
US13/422,157 US9170645B2 (en) 2011-05-16 2012-03-16 Method and apparatus for processing input in mobile terminal
EP12161544.7A EP2525271B1 (en) 2011-05-16 2012-03-27 Method and apparatus for processing input in mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110045587A KR101773845B1 (ko) 2011-05-16 2011-05-16 휴대용 단말기에서 입력 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120127842A KR20120127842A (ko) 2012-11-26
KR101773845B1 true KR101773845B1 (ko) 2017-09-01

Family

ID=45936937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110045587A KR101773845B1 (ko) 2011-05-16 2011-05-16 휴대용 단말기에서 입력 처리 방법 및 장치

Country Status (3)

Country Link
US (1) US9170645B2 (ko)
EP (1) EP2525271B1 (ko)
KR (1) KR101773845B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023158189A1 (ko) * 2022-02-21 2023-08-24 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 제어 방법

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953462B2 (en) 2008-08-04 2011-05-31 Vartanian Harry Apparatus and method for providing an adaptively responsive flexible display device
US8804148B2 (en) * 2011-09-26 2014-08-12 Brother Kogyo Kabushiki Kaisha Image forming apparatus and non-transitory computer readable medium storing a program for controlling the same
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9148537B1 (en) * 2012-05-18 2015-09-29 hopTo Inc. Facial cues as commands
US8738814B1 (en) 2012-05-25 2014-05-27 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
US8745280B1 (en) 2012-05-25 2014-06-03 hopTo, Inc. System for and method of translating motion-based user input between a client device and an application host computer
US9395826B1 (en) 2012-05-25 2016-07-19 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
US9690334B2 (en) 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
US20140055339A1 (en) * 2012-08-22 2014-02-27 David Stanasolovich Adaptive visual output based on motion compensation of a mobile device
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9007524B2 (en) * 2012-09-25 2015-04-14 Intel Corporation Techniques and apparatus for audio isolation in video processing
US9064168B2 (en) * 2012-12-14 2015-06-23 Hand Held Products, Inc. Selective output of decoded message data
US20140145966A1 (en) * 2012-11-27 2014-05-29 Research In Motion Limited Electronic device with touch input display system using head-tracking to reduce visible offset for user input
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
JP5875510B2 (ja) * 2012-12-10 2016-03-02 株式会社ソニー・コンピュータエンタテインメント 電子機器、メニュー表示方法
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
KR102049977B1 (ko) * 2012-12-31 2019-11-28 엘지전자 주식회사 이동 단말기
US10031637B2 (en) * 2013-01-25 2018-07-24 Lg Electronics Inc. Image display apparatus and method for operating the same
JP2014160982A (ja) * 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
KR102281233B1 (ko) 2013-03-14 2021-07-23 삼성전자 주식회사 화면 제어 방법 및 장치
KR102068049B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
KR102111457B1 (ko) * 2013-05-15 2020-05-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5958833B2 (ja) * 2013-06-24 2016-08-02 パナソニックＩｐマネジメント株式会社 指向性制御システム
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
JP6127839B2 (ja) 2013-09-02 2017-05-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
US10048748B2 (en) * 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
DE102013021814A1 (de) 2013-12-20 2015-06-25 Audi Ag Bedienvorrichtung mit Eyetracker
US9645641B2 (en) 2014-08-01 2017-05-09 Microsoft Technology Licensing, Llc Reflection-based control activation
US10146303B2 (en) * 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
KR20160090584A (ko) * 2015-01-22 2016-08-01 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR101635049B1 (ko) * 2015-01-29 2016-07-08 엘지전자 주식회사 이동 단말기 어셈블리
RU2015103099A (ru) * 2015-01-30 2016-08-20 Петр Алексеевич Игнатюк Способ перехода на интернет-страницу и запуска программы мессенджера(варианты)
WO2017075100A1 (en) * 2015-10-26 2017-05-04 Pillantas Inc. Systems and methods for eye vergence control
KR20170054080A (ko) * 2015-11-09 2017-05-17 삼성전자주식회사 전자장치 및 그의 동작 방법
JP6597397B2 (ja) * 2016-02-29 2019-10-30 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN110799932A (zh) * 2017-06-29 2020-02-14 麦克赛尔株式会社 便携终端
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
CN109164908B (zh) * 2018-07-03 2021-12-24 维沃移动通信有限公司 一种界面控制方法及移动终端
KR102106432B1 (ko) * 2020-01-17 2020-05-06 (주) 알에스기획 눈의 정보를 추출하고 분석하는 시스템 및 그 방법
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
KR102592923B1 (ko) * 2023-06-27 2023-10-23 주식회사 토노베이션 행동분석을 통한 사용자 맞춤형 인터페이스 제공용키오스크 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US5689619A (en) 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US7013258B1 (en) * 2001-03-07 2006-03-14 Lenovo (Singapore) Pte. Ltd. System and method for accelerating Chinese text input
US7365738B2 (en) * 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
KR101098687B1 (ko) 2004-09-23 2011-12-23 엘지전자 주식회사 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
US20070188473A1 (en) * 2006-02-14 2007-08-16 Picsel Research Limited System and methods for document navigation
EP2002322B1 (en) * 2006-03-23 2009-07-15 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
US8494229B2 (en) * 2008-02-14 2013-07-23 Nokia Corporation Device and method for determining gaze direction
KR20100110893A (ko) * 2008-03-03 2010-10-13 파나소닉 주식회사 초음파 진단 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023158189A1 (ko) * 2022-02-21 2023-08-24 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP2525271B1 (en) 2019-09-04
US20120293406A1 (en) 2012-11-22
EP2525271A3 (en) 2014-11-19
EP2525271A2 (en) 2012-11-21
KR20120127842A (ko) 2012-11-26
US9170645B2 (en) 2015-10-27

Similar Documents

Publication Publication Date Title
KR101773845B1 (ko) 휴대용 단말기에서 입력 처리 방법 및 장치
US11604560B2 (en) Application association processing method and apparatus
US10394320B2 (en) System for gaze interaction
US10488919B2 (en) System for gaze interaction
US9772762B2 (en) Variable scale scrolling and resizing of displayed images based upon gesture speed
KR101373333B1 (ko) 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
CN110929054B (zh) 多媒体信息应用界面显示方法及装置、终端、介质
US11334225B2 (en) Application icon moving method and apparatus, terminal and storage medium
EP2214079B1 (en) Display apparatus, display control method, and display control program
CN103391469B (zh) 移动终端及其控制方法
KR101919796B1 (ko) 휴대 단말기 및 그 제어 방법
US9582172B2 (en) Display control apparatus and method, image display apparatus, and non-transitory computer readable medium
CN107526494A (zh) 键盘显示方法、装置、终端及存储介质
KR101971982B1 (ko) 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
EP2703982A2 (en) Touch sensitive device and method of touch-based manipulation for contents
KR20100123475A (ko) 휴대 단말기의 이미지 처리 방법
EP3187977A1 (en) System for gaze interaction
KR20130097331A (ko) 터치 스크린을 구비하는 전자기기에서 객체를 선택하기 위한 장치 및 방법
CN107390977A (zh) 按键操作方法、装置及存储介质
CN109656461B (zh) 一种截屏方法和终端
EP2743815B1 (en) Mobile terminal and method of controlling the mobile terminal
CN105335061A (zh) 信息的显示方法、装置及终端
CN109213349A (zh) 基于触摸屏的交互方法及装置、计算机可读存储介质
EP3168732A1 (en) Method and device for switching keyboard style
KR20140035081A (ko) 휴대단말기의 메뉴 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant