KR102175853B1 - 동작 제어 방법 및 그 전자 장치 - Google Patents

동작 제어 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102175853B1
KR102175853B1 KR1020130018929A KR20130018929A KR102175853B1 KR 102175853 B1 KR102175853 B1 KR 102175853B1 KR 1020130018929 A KR1020130018929 A KR 1020130018929A KR 20130018929 A KR20130018929 A KR 20130018929A KR 102175853 B1 KR102175853 B1 KR 102175853B1
Authority
KR
South Korea
Prior art keywords
feature point
area
location
electronic device
reference position
Prior art date
Application number
KR1020130018929A
Other languages
English (en)
Other versions
KR20140105116A (ko
Inventor
윤영권
이기혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130018929A priority Critical patent/KR102175853B1/ko
Priority to US14/177,682 priority patent/US9395813B2/en
Priority to EP14154949.3A priority patent/EP2770460B1/en
Publication of KR20140105116A publication Critical patent/KR20140105116A/ko
Application granted granted Critical
Publication of KR102175853B1 publication Critical patent/KR102175853B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

본 발명은 전자 장치의 동작 제어 방법 및 장치에 관한 것으로서, 전자 장치의 동작 제어 방법은, 특징점을 이용하여 전자 장치의 동작을 제어하기 위한 이벤트가 발생될 시, 카메라로부터 입력되는 이미지들을 실시간으로 분석하는 과정과, 상기 입력되는 이미지들 중에서 적어도 하나의 이미지 내 특징점의 위치를 바탕으로 기준 위치를 결정하는 과정과, 상기 결정된 기준 위치를 바탕으로 특징점의 이동 여부를 판단하기 위한 기준 영역을 결정하는 과정과, 상기 기준 영역 내에서 이동되는 특징점의 위치에 따라 기준 위치를 변경하는 과정을 포함한다.

Description

동작 제어 방법 및 그 전자 장치{METHOD FOR CONTROLLING OPERATION AND AN ELECTRONIC DEVICE THEREOF}
본 발명은 전자 장치의 동작 제어 방법 및 장치에 관한 것으로서, 특히 사용자의 얼굴을 이용하여 동작을 제어하는 방법 및 장치에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 휴대용 전자 장치는 음성 통화 서비스뿐만 아니라 데이터 통신을 이용한 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 휴대용 전자 장치는 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스 등의 다양한 멀티미디어 서비스를 제공할 수 있다.
휴대용 전자 장치는 공간 활용성을 향상시키면서, 사용자 편의를 향상시키기 위해 정보의 입력 및 표시를 동시에 수행하는 하나의 입출력 장치인 터치스크린을 사용한다. 이와 같이, 터치스크린을 구비한 휴대용 전자 장치는 터치스크린을 통해 사용자의 손 혹은 터치 펜을 감지하고, 감지된 위치에 대응하는 동작을 수행한다. 그러나, 휴대용 전자 장치에서 사용자의 손 혹은 터치 펜을 감지하여 동작하는 경우, 신체가 부자유한 사용자는 휴대용 전자 장치를 조작할 수 없는 문제점이 발생하였다. 이에 따라, 최근에는 휴대용 전자 장치에서 카메라로부터 입력되는 사용자의 눈을 인식하여 휴대용 전자 장치의 동작을 제어하기 위한 방안이 논의되고 있다. 예를 들어, 휴대용 전자 장치에서는 사용자의 눈이 위쪽으로 이동하는 것을 감지하여, 위쪽 방향으로 스크롤링을 수행함으로써 터치스크린에 디스플레이되는 이미지를 갱신하고, 사용자의 눈이 초기 위치로 되돌아오는 것을 감지하여, 위쪽 방향으로의 스크롤링을 중지하는 기법이 제공되고 있다.
그러나, 상술한 바와 같이 휴대용 전자 장치에서 사용자의 눈의 움직임을 인식하여 동작을 제어하는 방식은, 사용자가 원하지 않는 동작을 수행하게 되는 문제점이 있다. 즉, 일반적으로 휴대용 전자 장치를 파지한 사용자들은 의도치 않은 작은 손 떨림, 기울임, 상/하/좌/우로의 이동을 수행할 수 있게 되며, 이 경우 휴대용 전자 장치에서는 사용자의 눈이 이동한 것으로 판단하여 스크롤링과 같은 미리 매핑된 특정 동작을 수행하게 된다.
또한, 사용자가 눈을 위쪽으로 이동하여 휴대용 전자 장치로 하여금 스크롤링 동작을 수행하도록 한 후, 눈을 초기 위치로 되돌려 휴대용 전자 장치로 하여금 스크롤링 동작을 멈추도록 하고자 하는 경우, 사용자는 초기 위치를 정확히 인지하기 어렵기 때문에 초기 위치가 아닌 위치로 눈을 이동시킬 수 있고, 이때 휴대용 전자 장치에서는 사용자가 의도하지 않은 동작을 수행하게 된다.
따라서, 본 발명의 실시 예는 전자 장치에서 동작 제어 기준이 되는 초기 위치를 갱신하여 전자 장치의 오동작을 개선하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 다른 실시 예는 전자 장치에서 카메라로부터 입력되는 얼굴에서 특징점을 인식하여 초기 기준 위치를 결정하고, 특징점의 위치 변화에 따라 기준 위치를 주기적으로 갱신하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 카메라로부터 입력되는 이미지 내 특징점의 위치를 바탕으로 기준 위치 및 기준 영역을 결정하고, 특징점의 위치 변화를 추적하여 기준 영역으로 되돌아오는 횟수를 바탕으로 기준 위치 및 기준 영역을 갱신하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 카메라로부터 입력되는 이미지 내 특징점의 위치를 바탕으로 기준 위치 및 기준 영역을 결정하고, 특징점의 위치 변화를 추적하여 특징점의 이동 방향을 바탕으로 기준 위치 및 기준 영역을 갱신하는 방법 및 장치를 제공함에 있다.
본 발명의 실시 예에 따르면, 전자 장치의 동작 제어 방법은, 특징점을 이용하여 전자 장치의 동작을 제어하기 위한 이벤트가 발생될 시, 카메라로부터 입력되는 이미지들을 실시간으로 분석하는 과정과, 상기 입력되는 이미지들 중에서 적어도 하나의 이미지 내 특징점의 위치를 바탕으로 기준 위치를 결정하는 과정과, 상기 결정된 기준 위치를 바탕으로 특징점의 이동 여부를 판단하기 위한 기준 영역을 결정하는 과정과, 상기 기준 영역 내에서 이동되는 특징점의 위치에 따라 기준 위치를 변경하는 과정을 포함한다.
본 발명의 실시 예에 따르면, 전자 장치는, 하나 이상의 프로세서; 카메라; 메모리; 및 상기 메모리에 저장되어 있으며, 상기 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 것으로서, 상기 프로그램은, 특징점을 이용하여 전자 장치의 동작을 제어하기 위한 이벤트가 발생될 시, 카메라로부터 입력되는 이미지들을 실시간으로 분석하는 명령어와, 상기 입력되는 이미지들 중에서 적어도 하나의 이미지 내 특징점의 위치를 바탕으로 기준 위치를 결정하는 명령어와, 상기 결정된 기준 위치를 바탕으로 특징점의 이동 여부를 판단하기 위한 기준 영역을 결정하는 명령어와, 상기 기준 영역 내에서 이동되는 특징점의 위치에 따라 기준 위치를 변경하는 명령어를 포함한다.
본 발명은 전자 장치에서 카메라로부터 입력되는 얼굴에서 특징점을 인식하여 초기 기준 위치를 결정하고, 특징점의 위치 변화에 따라 기준 위치를 갱신함으로써, 사용자가 초기 기준 위치를 정확히 인지하지 못하여 특징점이 정확한 초기 위치로 되돌아오지 않는 경우, 해당 위치로 기준 위치를 변경하여 오동작이 발생되는 것을 방지할 수 있다. 또한, 전자 장치를 파지한 사용자의 의도하지 않은 미세한 손떨림, 기울임, 움직임이 발생하는 경우에도, 기준 위치 변경으로 인해 오동작이 발생될 확률을 감소시킬 수 있는 효과가 있다.
도 1a은 본 발명의 일 실시 예에 따른 전자 장치의 블럭 구성을 도시하는 도면,
도 1b는 본 발명의 다른 실시 예에 따른 전자 장치의 프로세서의 블럭 구성을 도시하는 도면,
도 2a 및 도 2b는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 특징점을 인식하여 기준 위치를 결정하는 예를 도시하는 도면,
도 3a 내지 도 3c는 본 발명의 실시 예에 따른 전자 장치에서 사용자의 특징점의 위치 변화에 따라 기준 위치를 변경하는 예를 도시하는 도면,
도 4a는 본 발명의 실시 예에 따른 전자 장치에서 주기적으로 기준 위치를 변경하는 예를 도시하는 도면,
도 4b는 본 발명의 실시 예에 따른 전자 장치에서 특징점이 기준 영역으로 되돌아오는 횟수를 바탕으로 기준 위치를 변경하는 예를 도시하는 도면,
도 4c는 본 발명의 실시 예에 따른 전자 장치에서 특징점의 이동 방향을 바탕으로 기준 위치를 변경하는 예를 도시하는 도면,
도 5는 본 발명의 실시 예에 따른 전자 장치에서 주기적으로 기준 위치를 변경하는 절차를 도시하는 도면,
도 6은 본 발명의 실시 예에 따른 전자 장치에서 특징점이 기준 영역으로 되돌아오는 횟수를 바탕으로 기준 위치를 변경하는 절차를 도시하는 도면,
도 7은 본 발명의 실시 예에 따른 전자 장치에서 특징점의 이동 방향을 바탕으로 기준 위치를 변경하는 절차를 도시하는 도면, 및
도 8은 본 발명의 실시 예에 따른 전자 장치에서 기준 위치를 변경하는 절차를 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 설명에서 전자 장치는 이동통신 단말기, 스마트폰(Smart Phone), 태블릿 PC(Tablet Personal Computer), 디지털 카메라, 네비게이션, 랩탑(Laptop), 넷북(Netbook) 등과 같이 카메라를 구비한 각종 전차 장치를 모두 포함하는 의미이다.
도 1a은 본 발명의 일 실시 예에 따른 전자 장치의 블럭 구성을 도시하고 있다.
도 1a에 도시된 바와 같이, 전자 장치(100)는 메모리(110), 프로세서(120), 카메라(130), 터치스크린(140)을 포함하여 구성될 수 있다. 이때, 메모리(110) 및 프로세서(120) 각각은 다수 개의 메모리(110) 및 다수 개의 프로세서(120)로 구성될 수 있다.
메모리(110)는 데이터 저장부(111), 운영 체제 프로그램(112), 애플리케이션 프로그램(113), 그래픽 사용자 인터페이스 프로그램(114), 특징점 인식 및 동작 제어 프로그램(115) 등을 포함한다. 소프트웨어 구성요소인 프로그램은 명령어들의 집합 즉, 명령어 세트(instruction set)로 구성될 수 있다. 프로그램은 또한 모듈로 표현할 수 있다.
메모리(110)는 본 발명의 실시 예를 수행하는 명령어들을 포함하는 하나 이상의 프로그램들을 저장할 수 있다.
데이터 저장부(111)는 메모리(110)에 저장된 프로그램에 대응하는 기능을 수행하는 중에 발생되는 데이터를 저장한다. 본 발명에 따른 데이터 저장부(111)는 특징점 인식 및 동작 제어 프로그램(115)의 제어에 따라 특징점의 초기 기준 위치 및 초기 기준 위치에 의해 설정되는 기준 영역에 대한 정보를 저장할 수 있다. 여기서, 기준 위치는 점, 선 혹은 도형일 수 있으며, 데이터 저장부(111)는 기준 위치를 나타내는 적어도 하나의 좌표를 저장할 수 있다. 또한, 기준 영역은 기준 위치를 포함하는 영역일 수 있으며, 데이터 저장부(111)는 기준 영역을 나타내는 적어도 하나의 좌표를 저장할 수 있다. 또한, 데이터 저장부(111)는 특징점 인식 및 동작 제어 프로그램(115)의 제어에 따라 변경된 기준 위치 및 변경된 기준 위치에 의해 설정되는 기준 영역에 대한 정보를 저장할 수 있다.
운영 체제 프로그램(112)(예를 들어, WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 또는 VxWorks와 같은 내장 운영 체제)은 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함한다. 예를 들어, 일반적인 시스템 작동의 제어는, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미한다. 운영 체제 프로그램(112)은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(프로그램) 사이의 통신을 원활하게 하는 기능을 수행한다.
애플리케이션 프로그램(113)은 브라우저(browser), 이메일(email), 메시지(message), 워드 프로세싱(word processing), 어드레스 북(address book), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service), 전화, 스케줄 관리 및 업무 관리등의 애플리케이션을 포함한다.
그래픽 사용자 인터페이스 프로그램(114)은 사용자와 전자 장치(100) 사이의 그래픽을 이용한 사용자 인터페이스를 제공하는 적어도 하나의 소프트웨어 구성요소를 포함한다. 즉, 그래픽 사용자 인터페이스 프로그램(114)은 특징점에 대한 기준 위치를 설정하기 위한 요청 메시지를 디스플레이하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 그래픽 사용자 인터페이스 프로그램(114)은 특징점의 기준 위치가 변경될 시, 특징점의 기준 위치가 변경되었음을 나타내는 아이콘 혹은 메시지를 디스플레이하기 위한 명령어를 포함할 수 있다. 또한, 그래픽 사용자 인터페이스 프로그램(114)은 사용자가 현재 특징점의 기준 위치를 인지할 수 있도록, 특징점의 기준 위치를 아이콘 혹은 이미지로 디스플레이하기 위한 명령어를 포함할 수 있다. 이때, 기준 위치를 나타내는 아이콘 혹은 이미지는 화면에 디스플레이 중인 컨텐츠를 사용자가 시청하는데 방해되지 않도록, 투명도를 조절하여 디스플레이할 수 있다.
특징점 인식 및 동작 제어 프로그램(115)은 카메라(130)로부터 입력되는 이미지에서 사용자 얼굴 내 특징점을 인식하여 전자 장치의 동작을 제어하기 위한 명령어를 포함한다. 여기서, 사용자 얼굴 내 특징점은, 얼굴 형태, 눈, 안구, 동공, 코, 입, 눈썹 등과 같이 얼굴 내에서 식별 가능한 구성 요소일 수 있다. 즉, 특징점 인식 및 동작 제어 프로그램(115)은 특징점을 이용하여 전자 장치를 제어하기 위한 이벤트가 발생될 시, 카메라(130)의 구동을 요청하는 명령어를 포함한다. 또한, 특징점 인식 및 동작 제어 프로그램(115)은 카메라(130)로부터 입력되는 적어도 하나의 이미지를 인식하여 사용자 얼굴 내 특징점을 추출하고, 특징점이 추출된 위치를 특징점의 기준 위치로 결정하는 명령어를 포함한다. 또한, 특징점 인식 및 동작 제어 프로그램(115)은 결정된 기준 위치를 바탕으로 기준 영역을 결정한다. 여기서, 기준 영역은 특징점의 이동 여부를 판단하기 위한 기준 영역을 의미한다. 즉, 특징점 인식 및 동작 제어 프로그램(115)은 실시간으로 입력된 이미지를 분석한 결과, 특징점이 기준 위치에서 다른 위치로 이동되었더라도 기준 영역 내에 포함된 경우에는 특징점이 이동하지 않은 것으로 판단하고, 특징점이 기준 영역 이외의 위치로 이동한 경우에는 특징점이 이동한 것으로 판단할 수 있다. 예를 들어, 특징점 인식 및 동작 제어 프로그램(115)은 도 2a에 도시된 바와 같이, 카메라를 통해 촬영된 사용자의 이미지를 입력받고, 도 2b에 도시된 바와 같이, 사용자의 얼굴 내에서 눈을 추출하고, 눈이 추출된 위치를 기준 위치(210)로 결정하고, 기준 위치(210)로부터 임계 거리 이내의 영역을 기준 영역(212)으로 결정할 수 있다. 여기서, 도 2a 및 도 2b에서는 설명의 편의를 위해, 전자 장치의 화면에 사용자 얼굴을 도시하였으나, 실제로 전자 장치에서 기준 위치 및 기준 영역을 설정하는 과정을 수행할 시, 화면에 사용자의 얼굴이 디스플레이되지 않고, 사용자가 이용 중인 애플리케이션의 실행 화면이 디스플레이될 수 있다.
또한, 특징점 인식 및 동작 제어 프로그램(115)은 카메라(130)로부터 실시간으로 입력되는 이미지를 인식하여 사용자 얼굴 내 특징점을 추출한 후, 추출된 특징점의 위치를 기준 위치 및 기준 영역과 비교하여 특징점의 이동 여부를 판단하는 명령어를 포함한다. 즉, 특징점 인식 및 동작 제어 프로그램(115)은 새롭게 입력된 이미지 내 특징점의 위치가 기준 위치와 다르고, 특징점의 위치가 기준 영역에 포함되지 않는 경우, 특징점이 이동한 것으로 판단할 수 있다. 반면, 특징점 인식 및 동작 제어 프로그램(115)은 새롭게 입력된 이미지 내 특징점의 위치가 기준 위치와 동일하거나, 새롭게 입력된 이미지 내 특징점의 위치가 기준 위치와 다르지만 기준 영역에 포함되는 경우, 특징점이 이동하지 않은 것으로 판단할 수 있다. 특징점 인식 및 동작 제어 프로그램(115)은 특징점이 이동하지 않은 것으로 판단된 경우, 카메라(130)로부터 실시간으로 입력되는 이미지를 계속적으로 분석하여 특징점의 이동 여부를 판단할 수 있다. 반면, 특징점 인식 및 동작 제어 프로그램(115)은 특징점이 이동한 것으로 판단된 경우, 특징점이 이동한 영역에 대응하는 동작, 이동 방향에 대응하는 동작, 혹은 이동한 거리에 대응하는 동작을 수행할 수 있다. 예를 들어, 도 2b에 도시된 바와 같이, 기준 위치(210) 및 기준 영역(212)이 설정된 상태에서, 도 3b에 도시된 바와 같이, 사용자의 눈(310)이 기준 영역(212)이 아닌 제 1 영역(300)에 위치한 경우, 특징점 인식 및 동작 제어 프로그램(115)은 사용자의 눈이 이동한 것으로 판단하고, 제 1 영역(300)에 대응하는 기능인 위쪽 방향으로의 스크롤링을 수행할 수 있다.
또한, 특징점 인식 및 동작 제어 프로그램(115)은 본 발명의 실시 예에 따라 특징점 기준 위치 제어 프로그램(116)을 포함한다. 특징점 기준 위치 제어 프로그램(116)은 기준 위치를 갱신하기 위한 명령어를 포함한다. 특징점 기준 위치 제어 프로그램(116)은 주기적으로 기준 위치를 갱신할 수도 있고, 특징점이 기준 영역으로 되돌아온 횟수를 바탕으로 기준 위치를 갱신할 수도 있으며, 특징점의 이동 방향을 바탕으로 기준 위치를 갱신할 수도 있다. 또한, 특징점 기준 위치 제어 프로그램(116)은 기준 위치를 갱신할 때마다, 갱신된 기준 위치를 바탕으로 기준 영역을 갱신하기 위한 명령어를 포함한다. 예를 들어, 특징점 기준 위치 제어 프로그램(116)은 도 2b에 도시된 바와 같이, 사용자의 눈의 위치에 따라 기준 위치(210) 및 기준 영역(212)이 설정된 상태에서, 도 3a에 도시된 바와 같이, 사용자의 눈(310)이 기준 영역(212)이 아닌 제 1 영역(300)으로 이동한 후, 도 3b에 도시된 바와 같이, 사용자 눈(312)이 기준 영역(212)으로 이동하여 소정 시간 이상 머무르는 것이 확인되는 경우, 도 3c에 도시된 바와 같이, 사용자의 눈의 위치를 기준으로 기준 위치(320) 및 기준 영역(322)을 변경할 수 있다. 다시 말해, 사용자가 전자 장치에서 실행 중인 애플리케이션에 대한 제어를 수행하기 위해 눈을 움직이고, 이후에 애플리케이션에 대한 제어를 종료하기 위해 눈을 초기 위치로 되돌리고자 하였으나, 이때 되돌린 눈의 위치가 초기 위치와 미세하게 다를 수 있다. 따라서, 본 발명의 실시 예에서는 전자 장치의 애플리케이션을 제어하기 위한 기준 위치를 눈의 초기 위치로 고정시키지 않고, 기준 위치를 사용자가 되돌린 눈의 위치를 이용하여 변경하기 위한 것이다.
그러면, 특징점 기준 위치 제어 프로그램(116)이 기준 위치 및 기준 영역을 갱신하는 예시적인 방법에 대해 상세하게 살펴보기로 한다. 이하에서는, 세 가지 예시적인 방법에 대해 각각 설명하나, 설계 방식에 따라 이하 설명되는 세 가지 예시적인 방식은 적어도 둘 이상이 혼용되어 사용될 수도 있다.
첫 번째, 특징점 기준 위치 제어 프로그램(116)은 기준 위치를 결정한 시점을 기준으로 미리 결정된 시간 이후에 기준 위치를 갱신할 수 있다. 이때, 기준 위치는 미리 결정된 시간 구간 동안에 특징점이 기준 영역 이내의 특정 위치에서 소정 시간 이상 머무르는 경우마다, 해당 특정 위치들을 측정하여 측정된 위치들의 평균 값으로 갱신될 수 있다. 또한, 기준 위치는 미리 결정된 시간 이후에 특징점이 기준 영역 이내의 특정 위치에서 소정 시간 이상 머무를 경우, 해당 특정 위치로 갱신될 수 있다. 도 4a는 본 발명의 실시 예에 따른 전자 장치에서 주기적으로 기준 위치를 변경하는 예를 도시하고 있다. 여기서, 가로축은 시간을 의미하며, 세로축은 이미지의 Y축 좌표를 의미한다. 도 4a에 도시된 바와 같이, 특징점 기준 위치 제어 프로그램(116)은 기준 위치(401)를 초기 특징점의 위치(411)로 결정하고, 기준 위치(401)와 임계값만큼 차이나는 위치를 포함하는 영역을 기준 영역(403)으로 결정한다. 특징점 기준 위치 제어 프로그램(116)은 기준 위치(401) 및 기준 영역(403)을 결정한 후, 미리 설정된 N초를 측정하면서, N초 동안에 특징점의 이동 위치를 추적한다. 특징점 기준 위치 제어 프로그램(116)은 N초 측정이 완료된 이후, 특징점이 N초 동안에 기준 영역(403) 내에서 임계 시간 이상 머무른 위치들(413, 415, 417)을 평균하여 기준 위치(405)를 변경할 수 있다. 또한, 실시 예에 따라 특징점 기준 위치 제어 프로그램(116)은 N초 측정이 완료된 이후, N초 동안이 아닌 N초 이후에 특징점이 기준 영역(403) 내에서 임계 시간 이상 머무른 위치(417)를 기준 위치로 변경할 수도 있을 것이다. 여기서, 도시하지는 않았으나 변경된 기준 위치(405)에 따라 기준 영역이 변경됨은 당연할 것이다.
두 번째, 특징점 기준 위치 제어 프로그램(116)은 특징점이 기준 영역으로 되돌아온 횟수를 바탕으로 기준 위치를 갱신할 수 있다. 즉, 특징점 기준 위치 제어 프로그램(116)은 기준 위치를 결정한 이후, 특징점이 기준 영역 이외의 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치에 임계 시간 이상 머무르는 횟수를 계산하여, 계산된 횟수가 미리 설정된 임계 횟수와 일치할 경우, 기준 위치를 갱신할 수 있다. 이때, 기준 위치는 임계 횟수에 대응하는 특징점의 위치들의 평균값으로 갱신될 수 있다. 도 4b는 본 발명의 실시 예에 따른 전자 장치에서 특징점이 기준 영역으로 되돌아오는 횟수를 바탕으로 기준 위치를 변경하는 예를 도시하고 있다. 여기서, 가로축은 시간을 의미하며, 세로축은 이미지의 Y축 좌표를 의미한다. 도 4b에 도시된 바와 같이, 특징점 기준 위치 제어 프로그램(116)은 기준 위치(401)를 초기 특징점의 위치(411)로 결정하고, 기준 위치(401)와 임계값만큼 차이나는 위치를 포함하는 영역을 기준 영역(403)으로 결정한다. 특징점 기준 위치 제어 프로그램(116)은 기준 위치(401) 및 기준 영역(403)이 결정된 후, 특징점의 이동 위치를 추적하여, 기준 영역 이외의 영역으로 이동했다가 기준 영역으로 되돌아와 소정 시간 이상 머무른 위치들(421, 423, 425)을 기록하면서, 동시에 횟수를 계산한다. 특징점 기준 위치 제어 프로그램(116)은 임계 횟수가 3일 경우, 기준 영역 이외의 영역으로 이동했다가 기준 영역으로 되돌아와 소정 시간 이상 머무른 세 개의 위치들(421, 423, 425)이 기록될 경우, 세 개의 위치들(421, 423, 425)의 평균값으로 기준 위치(405)를 변경한다. 여기서, 도시하지는 않았으나 변경된 기준 위치(405)에 따라 기준 영역이 변경됨은 당연할 것이다.
세 번째, 특징점 기준 위치 제어 프로그램(116)은 특징점의 이동 방향을 바탕으로 기준 위치를 갱신할 수 있다. 즉, 특징점 기준 위치 제어 프로그램(116)은 특징점이 기준 영역 이외의 영역들 중에서 기준 영역에 대해 서로 다른 방향에 위치한 적어도 두 개의 영역을 교대로 이동하는 것을 감지하여 기준 위치를 갱신할 수 있다. 자세히 말해, 특징점 기준 위치 제어 프로그램(116)은 기준 위치를 결정한 이후, 특징점이 기준 영역 이외의 제 1 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치에서 임계 시간 이상 머무른 후, 다시 기준 영역 이외의 제 2 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치에서 임계 시간 이상 머무르는 경우, 해당 위치들을 바탕으로 기준 위치를 갱신할 수 있다. 도 4c는 본 발명의 실시 예에 따른 전자 장치에서 특징점의 이동 방향을 바탕으로 기준 위치를 변경하는 예를 도시하고 있다. 여기서, 가로축은 시간을 의미하며, 세로축은 이미지의 Y축 좌표를 의미한다. 도 4c에 도시된 바와 같이, 특징점 기준 위치 제어 프로그램(116)은 기준 위치(401)를 초기 특징점의 위치(411)로 결정하고, 기준 위치(401)와 임계값만큼 차이 나는 위치를 포함하는 영역을 기준 영역(403)으로 결정한다. 특징점 기준 위치 제어 프로그램(116)은 기준 위치(401) 및 기준 영역(403)을 결정한 후, 특징점의 이동 위치를 추적하여, 기준 영역 이외의 제 1 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치(431)에서 소정 시간 이상 머무른 후, 기준 영역 이외의 제 2 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치(433)에서 소정 시간 이상 머무르는 것을 감지하고, 이때, 소정 시간 이상 머무른 두 위치(431, 433)의 평균 값으로 기준 위치(405)를 변경한다. 여기서, 도시하지는 않았으나 변경된 기준 위치(405)에 따라 기준 영역이 변경됨은 당연할 것이다. 여기서, 특징점이 서로 다른 방향에 위치한 영역으로 이동했을 경우를 감지하여 기준 위치를 변경하는 것은, 기준 위치의 반복적인 변경으로 인해 기준 위치가 어느 한쪽 방향으로 치우치는 것을 방지하기 위함이다.
프로세서(120)는 도시되지는 않았지만 적어도 하나의 프로세서 및 주변 인터페이스로 구성될 수 있다. 또한, 프로세서(120)는 메모리(110)에 저장되어 있는 특정 프로그램(명령어 세트)을 실행하여 그 프로그램에 대응하는 특정한 다수의 기능을 수행한다.
카메라(130)는 프로세서(120)의 제어에 의해 구동되어, 이미지를 촬영한다. 카메라(130)는 전자 장치(100)의 서로 다른 위치에 적어도 두 개 이상 구비될 수 있다. 특히, 본 발명의 실시 예에 따라(130)는 특징점을 이용하여 전자 장치를 제어하기 위한 이벤트 발생 시, 구동되어 사용자 얼굴 이미지를 실시간으로 촬영할 수 있다.
터치스크린(140)은 터치 감지 디스플레이(touch-sensitive display)로서, 전자 장치(100)와 사용자 사이에 터치 입력/출력을 위한 인터페이스를 제공한다. 터치스크린(140)은 터치 센서(미도시)를 통해 터치(혹은 접촉)를 감지하고, 감지되는 터치 입력을 전자 장치(100)로 전달하고, 전자 장치(100)로부터의 출력을 사용자에게 시각적으로 제공하는 매개체이다. 즉, 터치스크린(140)은 터치 입력에 반응하여, 사용자에게 텍스트, 그래픽 및 비디오를 바탕으로 하는 시각적 출력을 제공한다.
터치스크린(140)은 사용자의 터치 입력을 감지하는 터치 감지면을 포함하여, 햅틱(haptic) 접촉, 택타일(tactile) 접촉 또는 이들의 조합 방식에 의한 사용자 터치를 입력을 감지한다. 예를 들면, 터치스크린(140)의 터치 감지 지점은 터치 감지면에 대한 접촉에 사용된 손가락의 폭(digit)에 대응한다. 또한, 터치스크린(130)은 터치 감지면을 통해 스타일러스(stylus) 펜(pen) 등과 같은 외부 장치에 의한 접촉을 감지한다. 검출된 접촉은, 터치스크린 상에 표시되는 사용자 인터페이스 대상(예를 들어, 소프트 키)에 대응하는 상호 작용(interaction)으로 변환한다.
터치스크린(130)은 LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode) 또는 FLED(Flexible LED)등과 같은 다양한 디스플레이 기술을 사용할 수 있으며. 본 발명의 터치스크린(140)은 이러한 디스플레이 기술을 이용하는 터치스크린으로 한정되는 것은 아니다. 또한, 터치스크린(140)은 용량형(capacitive) 검출, 저항형(resistive) 검출, 적외선형 (infrared) 검출 또는 표면 음파 검출 기술과 같은 여러 가지 터치 검출(혹은 감지(sensing)) 기술을 이용하여 터치 감지면에 대한 접촉의 시작, 접촉의 이동 또는 접촉의 중단이나 종료를 감지할 수 있다. 본 발명에 따른 터치스크린(140)은 특징점을 이용하여 전자 장치를 제어하는 기능을 수행 중임을 나타내는 아이콘, 이미지 혹은 메시지를 디스플레이할 수 있다. 또한, 터치스크린(140)은 특징점에 대한 기준 위치를 설정하기 위한 요청 메시지를 디스플레이할 수 있고, 특징점의 기준 위치가 변경될 시, 특징점의 기준 위치가 변경되었음을 디스플레이할 수 있다. 또한, 터치스크린(140)은 사용자가 현재 특징점의 기준 위치를 인지할 수 있도록, 특징점의 기준 위치를 디스플레이할 수 있다. 더하여, 터치스크린(140)은 특징점을 이용하여 전자 장치를 제어하는 기능을 수행 시, 카메라로부터 입력되는 이미지를 화면에 디스플레이하는 대신, 사용자에 의해 선택된 애플리케이션의 실행 화면을 디스플레이할 수 있다.
도 1b는 본 발명의 다른 실시 예에 따른 전자 장치의 프로세서의 블럭 구성을 도시하고 있다.
도 1b를 참조하면, 프로세서는 특징점 인식 및 동작 제어 프로세서(122)를 포함한다.
특징점 인식 및 동작 제어 프로세서(122)는 카메라(130)로부터 입력되는 이미지에서 사용자 얼굴 내 특징점을 인식하여 전자 장치의 동작을 제어한다. 여기서, 사용자 얼굴 내 특징점은, 얼굴 형태, 눈, 안구, 동공, 코, 입, 눈썹 등과 같이 얼굴 내에서 식별 가능한 구성 요소일 수 있다. 즉, 특징점 인식 및 동작 제어 프로세서(122)는 특징점을 이용하여 전자 장치를 제어하기 위한 이벤트가 발생될 시, 카메라(130)의 구동을 요청할 수 있다. 또한, 특징점 인식 및 동작 제어 프로세서(122)는 카메라(130)로부터 입력되는 적어도 하나의 이미지를 인식하여 사용자 얼굴 내 특징점을 추출하고, 특징점이 추출된 위치를 특징점의 기준 위치로 결정할 수 있다. 또한, 특징점 인식 및 동작 제어 프로세서(122)는 결정된 기준 위치를 바탕으로 기준 영역을 결정할 수 있다. 여기서, 기준 영역은 특징점의 이동 여부를 판단하기 위한 기준 영역을 의미한다. 즉, 특징점 인식 및 동작 제어 프로세서(122)는 실시간으로 입력된 이미지를 분석한 결과, 특징점이 기준 위치에서 다른 위치로 이동되었더라도 기준 영역 내에 포함된 경우에는 특징점이 이동하지 않은 것으로 판단하고, 특징점이 기준 영역 이외의 위치로 이동한 경우에는 특징점이 이동한 것으로 판단할 수 있다.
또한, 특징점 인식 및 동작 제어 프로세서(122)는 카메라(130)로부터 실시간으로 입력되는 이미지를 인식하여 사용자 얼굴 내 특징점을 추출한 후, 추출된 특징점의 위치를 기준 위치 및 기준 영역과 비교하여 특징점의 이동 여부를 판단할 수 있다. 즉, 특징점 인식 및 동작 제어 프로세서(122)는 새롭게 입력된 이미지 내 특징점의 위치가 기준 위치와 다르고, 특징점의 위치가 기준 영역에 포함되지 않는 경우, 특징점이 이동한 것으로 판단할 수 있다. 반면, 특징점 인식 및 동작 제어 프로세서(122)는 새롭게 입력된 이미지 내 특징점의 위치가 기준 위치와 동일하거나, 새롭게 입력된 이미지 내 특징점의 위치가 기준 위치와 다르지만 기준 영역에 포함되는 경우, 특징점이 이동하지 않은 것으로 판단할 수 있다. 특징점 인식 및 동작 제어 프로세서(122)는 특징점이 이동하지 않은 것으로 판단된 경우, 카메라(130)로부터 실시간으로 입력되는 이미지를 계속적으로 분석하여 특징점의 이동 여부를 판단할 수 있다. 반면, 특징점 인식 및 동작 제어 프로세서(122)는 특징점이 이동한 것으로 판단된 경우, 특징점이 이동한 영역에 대응하는 동작, 이동 방향에 대응하는 동작, 혹은 이동한 거리에 대응하는 동작을 수행할 수 있다.
또한, 특징점 인식 및 동작 제어 프로세서(122)는 본 발명의 실시 예에 따라 특징점 기준 위치 제어 프로세서(124)를 포함한다. 특징점 기준 위치 제어 프로세서(124)는 기준 위치를 갱신하기 위한 기능을 수행한다. 특징점 기준 위치 제어 프로세서(124)는 주기적으로 기준 위치를 갱신할 수도 있고, 특징점이 기준 영역으로 되돌아온 횟수를 바탕으로 기준 위치를 갱신할 수도 있으며, 특징점의 이동 방향을 바탕으로 기준 위치를 갱신할 수도 있다. 또한, 특징점 기준 위치 제어 프로세서(124)는 기준 위치를 갱신할 때마다, 갱신된 기준 위치를 바탕으로 기준 영역을 갱신하기 위한 기능을 수행할 수 있다. 일반적으로, 사용자가 전자 장치에서 실행 중인 애플리케이션에 대한 제어를 수행하기 위해 눈을 움직이고, 이후에 애플리케이션에 대한 제어를 종료하기 위해 눈을 초기 위치로 되돌리고자 하였으나, 이때 되돌린 눈의 위치가 초기 위치와 미세하게 다를 수 있다. 따라서, 본 발명의 실시 예에서는 전자 장치의 애플리케이션을 제어하기 위한 기준 위치를 눈의 초기 위치로 고정하지 않고, 기준 위치를 사용자가 되돌린 눈의 위치를 이용하여 변경하기 위한 것이다.
그러면, 특징점 기준 위치 제어 프로세서(124)가 기준 위치 및 기준 영역을 갱신하는 예시적인 방법에 대해 상세하게 살펴보기로 한다. 이하에서는, 세 가지 예시적인 방법에 대해 각각 설명하나, 설계 방식에 따라 이하 설명되는 세 가지 예시적인 방식은 적어도 둘 이상이 혼용되어 사용될 수도 있다.
첫 번째, 특징점 기준 위치 제어 프로세서(124)는 기준 위치를 결정한 시점을 기준으로 미리 결정된 시간 이후에 기준 위치를 갱신할 수 있다. 이때, 기준 위치는 미리 결정된 시간 구간 동안에 특징점이 기준 영역 이내의 특정 위치에서 소정 시간 이상 머무르는 경우마다, 해당 특정 위치들을 측정하여 측정된 위치들의 평균 값으로 갱신될 수 있다. 또한, 기준 위치는 미리 결정된 시간 이후에 특징점이 기준 영역 이내의 특정 위치에서 소정 시간 이상 머무를 경우, 해당 특정 위치로 갱신될 수 있다.
두 번째, 특징점 기준 위치 제어 프로세서(124)는 특징점이 기준 영역으로 되돌아온 횟수를 바탕으로 기준 위치를 갱신할 수 있다. 즉, 특징점 기준 위치 제어 프로세서(124)는 기준 위치를 결정한 이후, 특징점이 기준 영역 이외의 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치에 임계 시간 이상 머무르는 횟수를 계산하여, 계산된 횟수가 미리 설정된 임계 횟수와 일치할 경우, 기준 위치를 갱신할 수 있다. 이때, 기준 위치는 임계 횟수에 대응하는 특징점의 위치들의 평균값으로 갱신될 수 있다.
세 번째, 특징점 기준 위치 제어 프로세서(124)는 특징점의 이동 방향을 바탕으로 기준 위치를 갱신할 수 있다. 즉, 특징점 기준 위치 제어 프로세서(124)는 특징점이 기준 영역 이외의 영역들 중에서 기준 영역에 대해 서로 다른 방향에 위치한 적어도 두 개의 영역을 교대로 이동하는 것을 감지하여 기준 위치를 갱신할 수 있다. 자세히 말해, 특징점 기준 위치 제어 프로세서(124)는 기준 위치를 결정한 이후, 특징점이 기준 영역 이외의 제 1 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치에서 임계 시간 이상 머무른 후, 다시 기준 영역 이외의 제 2 영역으로 이동했다가 기준 영역으로 되돌아와 임의의 위치에서 임계 시간 이상 머무르는 경우, 해당 위치들을 바탕으로 기준 위치를 갱신할 수 있다.
그러면, 특징점의 기준 위치 및 기준 영역을 갱신하는 예시적인 방법을 수행하는 전자 장치의 절차에 대해 상세하게 살펴보기로 한다.
도 5는 본 발명의 실시 예에 따른 전자 장치에서 주기적으로 기준 위치를 변경하는 절차를 도시하고 있다.
도 5를 참조하면, 전자 장치는 501단계에서 카메라를 구동한다. 여기서, 카메라는 특징점을 이용하여 전자 장치를 제어하기 위한 이벤트가 발생될 시 자동으로 구동될 수 있다. 이후, 전자 장치는 503단계에서 카메라로부터 입력되는 이미지를 분석하여 사용자 얼굴을 인식하고, 505단계로 진행하여 인식된 사용자 얼굴에서 특징점을 추출한다. 이때, 특징점은 얼굴 형태, 눈, 안구, 동공, 코, 입, 눈썹 등과 같이 얼굴 내에서 식별 가능한 구성 요소 중 어느 하나일 수 있다. 이후, 전자 장치는 507단계에서 추출된 특징점의 위치를 바탕으로 기준 위치 및 기준 영역을 결정한다. 예를 들어, 도 2b에 도시된 바와 같이, 사용자의 얼굴 내에서 눈을 추출하고, 눈이 추출된 위치를 기준 위치(210)로 결정하고, 기준 위치(210)로부터 임계 거리 이내의 영역을 기준 영역(212)으로 결정할 수 있다. 여기서, 도 2a 및 도 2b에서는 설명의 편의를 위해, 전자 장치의 화면에 사용자 얼굴을 도시하였으나, 실제로 전자 장치에서 기준 위치 및 기준 영역을 설정하는 과정을 수행할 시, 화면에 사용자의 얼굴이 디스플레이되지 않고, 사용자가 이용 중인 애플리케이션의 실행 화면(예: 웹 브라우저 실행 화면)이 디스플레이될 수 있다.
이후, 전자 장치는 509단계에서 타이머를 구동한다. 여기서, 타이머는 기준 위치를 갱신하기 위해 미리 설정된 시간을 측정하기 위한 타이머를 의미한다.
전자 장치는 511단계에서 카메라로부터 입력되는 이미지를 분석하여 특징점의 위치를 추적하고, 513단계에서 특징점의 위치가 변경되었는지 여부를 판단한다. 즉, 전자 장치는 카메라로부터 실시간으로 입력되는 이미지를 분석하여 특징점의 위치를 확인하고, 확인된 특징점의 위치가 기준 위치와 동일한지 여부를 판단한다. 여기서, 확인된 특징점의 위치가 기준 위치와 동일하지 않을 경우, 특징점의 위치가 변경된 것으로 결정할 수 있다. 만일, 특징점의 위치가 변경되지 않았을 시, 전자 장치는 511단계로 되돌아가 이하 단계를 수행한다. 여기서, 도면에는 도시되지 않았으나, 후술되는 단계에서 카메라로부터 입력되는 이미지를 실시간으로 분석하여 특징점의 위치를 추적하는 동작은 계속하여 수행되어야 할 것이다.
반면, 특징점의 위치가 변경되었을 시, 전자 장치는 515단계로 진행하여 특징점의 위치가 기준 영역 내에 포함되는지 여부를 확인한다. 즉, 전자 장치는 특징점의 위치가 기준 영역 내에서 기준 위치가 아닌 다른 위치로 이동되었는지 여부를 확인한다. 여기서, 전자 장치는 특징점의 위치가 기준 영역 내에서 이동된 것으로 판단되는 경우, 특징점의 이동이 사용자가 의도하지 않은 손떨림, 기울임 혹은 움직임에 의한 것으로 판단하고, 특징점이 이동하지 않은 것으로 결정할 수 있다.
만일, 특징점의 위치가 기준 영역 내에 포함된 경우, 전자 장치는 특징점이 이동하지 않은 것으로 판단하고, 517단계로 진행하여 특징점이 기준 영역 내의 특정 위치에서 미리 설정된 시간 이상 머무르는지 여부를 검사한다. 만일, 특징점이 특정 위치에서 미리 설정된 시간 이상 머무르지 않을 경우, 전자 장치는 511단계로 되돌아가 이하 단계를 재수행한다.
반면, 특정 위치에서 미리 설정된 시간 이상 머무를 경우, 전자 장치는 519단계로 진행하여 특징점이 미리 설정된 시간 이상 머무른 위치를 후보 위치로 기록하고, 521단계로 진행하여 타이머가 만료되는지 여부를 검사한다. 여기서, 후보 위치는 기준 위치를 갱신하기 위해 사용될 위치를 의미한다.
만일, 타이머가 만료되지 않을 시, 전자 장치는 511단계로 되돌아가 이하 단계를 재수행한다.
반면, 타이머가 만료될 시, 전자 장치는 523단계로 진행하여 현재 시점까지 기록된 적어도 하나의 후보 위치들을 이용하여 기준 위치를 갱신한다. 이때, 전자 장치는 갱신된 기준 위치를 바탕으로 기준 영역을 갱신할 수 있다. 여기서, 기록된 후보 위치가 다수 개일 경우, 전자 장치는 다수 개의 후보 위치들 중에서 하나의 후보 위치를 선택하고, 선택된 후보 위치를 기준 위치로 변경할 수도 있으며, 다수 개의 후보 위치들 중에서 둘 이상의 후보 위치의 평균 값을 기준 위치로 변경할 수도 있다. 이후, 전자 장치는 511단계로 되돌아간다. 여기서, 도시되지는 않았으나, 523단계를 수행한 전자 장치는 현재 시점까지 기록된 후보 위치들의 정보를 삭제한 후, 511단계로 되돌아갈 수 있다.
한편, 515단계의 확인 결과 특징점의 위치가 기준 영역 내에 포함되지 않은 경우, 전자 장치는 525단계로 진행하여 특징점의 위치에 따라 미리 설정된 기능을 수행한다. 예를 들어, 도 3a에 도시된 바와 같이, 사용자의 눈(310)이 기준 영역(212) 이외의 영역인 제 1 영역(300)에 위치한 경우, 전자 장치는 제 1 영역(300)에 미리 매핑된 위쪽 방향으로의 스크롤링을 수행할 수 있다.
이후, 전자 장치는 527단계에서 타이머가 만료되는지 여부를 감지한다. 만일, 타이머가 만료될 시, 전자 장치는 523단계로 진행하여 기록된 적어도 하나의 후보 위치들을 이용하여 기준 위치를 갱신한다. 이때, 전자 장치는 갱신된 기준 위치를 바탕으로 기준 영역을 갱신할 수 있다. 이후, 전자 장치는 현재 시점까지 기록된 후보 위치들의 정보를 삭제하고, 511단계로 되돌아간다. 반면, 타이머가 만료되지 않을 시, 전자 장치는 곧바로 511단계로 되돌아간다. 예를 들어, 도 4a에 도시된 바와 같이, 전자 장치는 기준 위치(401) 및 기준 영역(403)을 결정한 후, 미리 설정된 N초(407)를 측정하면서, N초(407) 동안에 특징점의 이동 위치를 추적한다. 전자 장치는 N초(407)가 경과된 이후, 특징점이 N초 동안에 기준 영역(403) 내에서 임계 시간 이상 머무른 위치들(413, 415, 417)을 평균하여 기준 위치(405)를 변경할 수 있다. 또한, 실시 예에 따라 전자 장치는 N초(407)가 경과된 이후, N초 동안이 아닌 N초 이후에 특징점이 기준 영역(403) 내에서 임계 시간 이상 머무른 위치(417)를 기준 위치로 변경할 수도 있다. 여기서, 도시하지는 않았으나 변경된 기준 위치(405)에 따라 기준 영역이 변경됨은 당연할 것이다.
도 6은 본 발명의 실시 예에 따른 전자 장치에서 특징점이 기준 영역으로 되돌아오는 횟수를 바탕으로 기준 위치를 변경하는 절차를 도시하고 있다.
도 6을 참조하면, 전자 장치는 601단계에서 카메라를 구동한다. 여기서, 카메라는 특징점을 이용하여 전자 장치를 제어하기 위한 이벤트가 발생될 시 자동으로 구동될 수 있다. 이후, 전자 장치는 603단계에서 카메라로부터 입력되는 이미지를 분석하여 사용자 얼굴을 인식하고, 605단계로 진행하여 인식된 사용자 얼굴에서 특징점을 추출한다. 이때, 특징점은 얼굴 형태, 눈, 안구, 동공, 코, 입, 눈썹 등과 같이 얼굴 내에서 식별 가능한 구성 요소 중 어느 하나일 수 있다. 이후, 전자 장치는 607단계에서 추출된 특징점의 위치를 바탕으로 기준 위치 및 기준 영역을 결정한다. 예를 들어, 도 2b에 도시된 바와 같이, 사용자의 얼굴 내에서 눈을 추출하고, 눈이 추출된 위치를 기준 위치(210)로 결정하고, 기준 위치(210)로부터 임계 거리 이내의 영역을 기준 영역(212)으로 결정할 수 있다. 여기서, 도 2a 및 도 2b에서는 설명의 편의를 위해, 전자 장치의 화면에 사용자 얼굴을 도시하였으나, 실제로 전자 장치에서 기준 위치 및 기준 영역을 설정하는 과정을 수행할 시, 화면에 사용자의 얼굴이 디스플레이되지 않고, 사용자가 이용 중인 애플리케이션의 실행 화면(예: 웹 브라우저 실행 화면)이 디스플레이될 수 있다.
이후, 전자 장치는 609단계에서 카메라로부터 입력되는 이미지를 분석하여 특징점의 위치를 추적하고, 611단계에서 특징점의 위치가 변경되었는지 여부를 판단한다. 즉, 전자 장치는 카메라로부터 실시간으로 입력되는 이미지를 분석하여 특징점의 위치를 확인하고, 확인된 특징점의 위치가 기준 위치와 동일한지 여부를 판단한다. 여기서, 확인된 특징점의 위치가 기준 위치와 동일하지 않을 경우, 특징점의 위치가 변경된 것으로 결정할 수 있다. 만일, 특징점의 위치가 변경되지 않았을 시, 전자 장치는 609단계로 되돌아가 이하 단계를 수행한다. 여기서, 도면에는 도시되지 않았으나, 후술되는 단계에서 카메라로부터 입력되는 이미지를 실시간으로 분석하여 특징점의 위치를 추적하는 동작은 계속하여 수행되어야 할 것이다.
반면, 특징점의 위치가 변경되었을 시, 전자 장치는 613단계로 진행하여 특징점의 위치가 기준 영역 내에 포함되는지 여부를 확인한다. 즉, 전자 장치는 특징점의 위치가 기준 영역 내에서 기준 위치가 아닌 다른 위치로 이동되었는지 여부를 확인한다. 여기서, 전자 장치는 특징점의 위치가 기준 영역 내에서 이동된 것으로 판단되는 경우, 특징점의 이동이 사용자가 의도하지 않은 손떨림, 기울임 혹은 움직임에 의한 것으로 판단하고, 특징점이 이동하지 않은 것으로 결정할 수 있다.
만일, 특징점의 위치가 기준 영역 내에 포함된 경우, 전자 장치는 특징점이 이동하지 않은 것으로 판단하고, 615단계로 진행하여 특징점이 기준 영역 내의 특정 위치에서 미리 설정된 시간 이상 머무르는지 여부를 검사한다. 만일, 특징점이 특정 위치에서 미리 설정된 시간 이상 머무르지 않을 경우, 전자 장치는 609단계로 되돌아가 이하 단계를 재수행한다.
반면, 특정 위치에서 미리 설정된 시간 이상 머무를 경우, 전자 장치는 617단계로 진행하여 특징점이 미리 설정된 시간 이상 머무른 위치를 후보 위치로 기록하고, 619단계로 진행하여 기록된 후보 위치의 개수가 임계값과 동일한지 여부를 검사한다. 만일, 기록된 후보 위치의 개수가 임계값과 동일하지 않을 시, 전자 장치는 609단계로 되돌아가 이하 단계를 재수행한다. 여기서, 후보 위치는 기준 위치를 갱신하기 위해 사용될 위치를 의미한다.
반면, 기록된 후보 위치의 개수가 임계값과 동일할 시, 전자 장치는 621단계로 진행하여 현재 시점까지 기록된 적어도 하나의 후보 위치들을 이용하여 기준 위치를 갱신한다. 여기서, 기록된 후보 위치가 다수 개일 경우, 전자 장치는 다수 개의 후보 위치들 중에서 하나의 후보 위치를 선택하고, 선택된 후보 위치를 기준 위치로 변경할 수도 있으며, 다수 개의 후보 위치들 중에서 둘 이상의 후보 위치의 평균 값을 기준 위치로 변경할 수도 있다. 또한, 전자 장치는 갱신된 기준 위치를 바탕으로 기준 영역을 갱신할 수 있다. 이후, 전자 장치는 623단계에서 현재 시점까지 기록된 후보 위치들의 정보를 삭제한 후, 609단계로 되돌아갈 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 전자 장치는 기준 위치(401) 및 기준 영역(403)이 결정된 후, 특징점의 이동 위치를 추적하여, 기준 영역 이외의 영역으로 이동했다가 기준 영역으로 되돌아와 소정 시간 이상 머무른 위치들(421, 423, 425)을 기록하면서, 동시에 횟수를 계산한다. 전자 장치는 임계 횟수가 3일 경우, 기록된 세 개의 위치들(421, 423, 425)의 평균값으로 기준 위치(405)를 변경할 수 있다. 여기서, 도시하지는 않았으나 변경된 기준 위치(405)에 따라 기준 영역이 변경됨은 당연할 것이다.
한편, 613단계의 확인 결과 특징점의 위치가 기준 영역 내에 포함되지 않은 경우, 전자 장치는 625단계로 진행하여 특징점의 위치에 따라 미리 설정된 기능을 수행한다. 예를 들어, 도 3a에 도시된 바와 같이, 사용자의 눈(310)이 기준 영역(212) 이외의 영역인 제 1 영역(300)에 위치한 경우, 전자 장치는 제 1 영역(300)에 미리 매핑된 위쪽 방향으로의 스크롤링을 수행할 수 있다. 이후, 전자 장치는 609단계로 되돌아가 이하 단계를 재수행한다.
도 7은 본 발명의 실시 예에 따른 전자 장치에서 특징점의 이동 방향을 바탕으로 기준 위치를 변경하는 절차를 도시하고 있다.
도 7을 참조하면, 전자 장치는 701단계에서 카메라를 구동한다. 여기서, 카메라는 특징점을 이용하여 전자 장치를 제어하기 위한 이벤트가 발생될 시 자동으로 구동될 수 있다. 이후, 전자 장치는 703단계에서 카메라로부터 입력되는 이미지를 분석하여 사용자 얼굴을 인식하고, 705단계로 진행하여 인식된 사용자 얼굴에서 특징점을 추출한다. 이때, 특징점은 얼굴 형태, 눈, 안구, 동공, 코, 입, 눈썹 등과 같이 얼굴 내에서 식별 가능한 구성 요소 중 어느 하나일 수 있다. 이후, 전자 장치는 707단계에서 추출된 특징점의 위치를 바탕으로 기준 위치 및 기준 영역을 결정한다. 예를 들어, 도 2b에 도시된 바와 같이, 사용자의 얼굴 내에서 눈을 추출하고, 눈이 추출된 위치를 기준 위치(210)로 결정하고, 기준 위치(210)로부터 임계 거리 이내의 영역을 기준 영역(212)으로 결정할 수 있다. 여기서, 도 2a 및 도 2b에서는 설명의 편의를 위해, 전자 장치의 화면에 사용자 얼굴을 도시하였으나, 실제로 전자 장치에서 기준 위치 및 기준 영역을 설정하는 과정을 수행할 시, 화면에 사용자의 얼굴이 디스플레이되지 않고, 사용자가 이용 중인 애플리케이션의 실행 화면(예: 웹 브라우저 실행 화면)이 디스플레이될 수 있다.
이후, 전자 장치는 709단계에서 카메라로부터 입력되는 이미지를 분석하여 특징점의 위치를 추적하고, 711단계에서 특징점의 위치가 변경되었는지 여부를 판단한다. 즉, 전자 장치는 카메라로부터 실시간으로 입력되는 이미지를 분석하여 특징점의 위치를 확인하고, 확인된 특징점의 위치가 기준 위치와 동일한지 여부를 판단한다. 여기서, 확인된 특징점의 위치가 기준 위치와 동일하지 않을 경우, 특징점의 위치가 변경된 것으로 결정할 수 있다. 만일, 특징점의 위치가 변경되지 않았을 시, 전자 장치는 709단계로 되돌아가 이하 단계를 수행한다. 여기서, 도면에는 도시되지 않았으나, 후술되는 단계에서 카메라로부터 입력되는 이미지를 실시간으로 분석하여 특징점의 위치를 추적하는 동작은 계속하여 수행되어야 할 것이다.
반면, 특징점의 위치가 변경되었을 시, 전자 장치는 713단계로 진행하여 특징점의 위치가 기준 영역 외부의 제 1 영역 혹은 제 2 영역으로 이동되는지 여부를 검사한다. 예를 들어, 도 3a에 도시된 바와 같이, 기준 영역(212)을 기준으로 상단 영역을 제 1 영역(220)이라 하고, 하단 영역을 제 2 영역(230)이라 할 경우, 특징점이 제 1 영역(300) 혹은 제 2 영역(302)으로 이동되는지 여부를 검사한다. 만일, 특징점이 제 1 영역(300) 혹은 제 2 영역(302)으로 이동되지 않고, 기준 영역(212) 내부에 존재하는 경우 전자 장치는 709단계로 되돌아가 이하 단계를 재수행한다. 여기서, 전자 장치는 특징점의 위치가 기준 영역 내에서 이동된 것으로 판단되는 경우, 특징점의 이동이 사용자가 의도하지 않은 손떨림, 기울임 혹은 움직임에 의한 것으로 판단하고, 특징점이 이동하지 않은 것으로 결정할 수 있다.
반면, 특징점이 제 1 영역(300) 혹은 제 2 영역(302)으로 이동된 것으로 판단되는 경우, 전자 장치는 715단계로 진행하여 이동된 영역에 매핑된 기능을 수행한다. 예를 들어, 도 3a에 도시된 바와 같이, 사용자의 눈(310)이 제 1 영역(300)에 위치한 경우, 전자 장치는 제 1 영역(300)에 미리 매핑된 위쪽 방향으로의 스크롤링을 수행할 수 있다.
이후, 전자 장치는 717단계로 진행하여 특징점의 위치가 기준 영역 내로 이동되고, 기준 영역 내의 제 1 위치에서 미리 설정된 시간 이상 머무르는지 여부를 판단한다. 예를 들어, 전자 장치는 실시간으로 입력되는 이미지를 계속하여 분석한 결과, 도 3a에 도시된 바와 같이, 사용자의 눈(310)이 제 1 영역(300)에 위치해 있다가, 도 3b에 도시된 바와 같이, 사용자의 눈(312)이 기준 영역(212) 내로 되돌아 온 후, 기준 영역(212) 내의 임의의 위치에서 미리 설정된 시간 이상 머물러 있는지 여부를 검사한다. 만일, 특징점의 위치가 기준 영역 내로 이동된 후, 기준 영역 내의 제 1 위치에서 미리 설정된 시간 이상 머무르지 않는 경우, 전자 장치는 709단계로 되돌아가 이하 단계를 재수행한다.
반면, 특징점의 위치가 기준 영역 내로 이동된 후, 기준 영역 내의 제 1 위치에서 미리 설정된 시간 이상 머무르는 경우, 전자 장치는 719단계로 진행하여 제 1 위치를 후보 위치로 기록한다. 여기서, 후보 위치는 기준 위치를 갱신하기 위해 사용될 위치를 의미한다.
이후, 전자 장치는 721단계에서 특징점이 기준 영역 외부의 제 1 영역과 제 2 영역 중에서 이전 시점에 이동했던 영역과 다른 영역으로 이동되는지 여부를 검사한다. 즉, 전자 장치는 715단계에서 특징점이 위치했던 영역이 아닌, 다른 영역으로 이동되는지 여부를 검사한다. 만일, 특징점이 다른 영역으로 이동되지 않을 시, 즉 이전 시점에 이동했던 영역으로 다시 이동되는 경우, 전자 장치는 731단계로 진행하여 이동된 영역에 매핑된 기능을 수행하고, 709단계로 되돌아가 이하 단계를 재수행한다.
반면, 특징점이 다른 영역으로 이동될 시, 즉 이전 시점에 이동했던 영역이 아닌 다른 영역으로 이동하는 경우, 전자 장치는 723단계로 진행하여 이동된 다른 영역에 매핑된 기능을 수행하고, 725단계에서 특징점의 위치가 기준 영역 내로 이동되고, 기준 영역 내의 제 2 위치에서 미리 설정된 시간 이상 머무르는지 여부를 판단한다. 이때, 제 1 위치와 제 2 위치는 기준 영역 내 임의의 위치로서, 동일한 위치일 수도 있고, 서로 다른 위치일 수도 있다. 만일, 특징점의 위치가 기준 영역 내로 이동되었으나, 기준 영역 내 제 2 위치에서 미리 설정된 시간 이상 머무르지 않을 경우, 전자 장치는 709단계로 되돌아가 이하 단계를 재수행한다.
반면, 특징점의 위치가 기준 영역 내로 이동되었으나, 기준 영역 내 제 2 위치에서 미리 설정된 시간 이상 머무를 경우, 전자 장치는 727단계로 진행하여 제 2 위치를 후보 위치로 기록하고, 729단계에서 제 1 후보 위치와 제 2 후보 위치를 이용하여 기준 위치를 갱신하고, 갱신된 기준 위치를 바탕으로 기준 영역을 갱신한다. 예를 들어, 도 4c에 도시된 바와 같이, 전자 장치는 기준 위치(401) 및 기준 영역(403)을 결정한 후, 특징점의 이동 위치를 추적하여, 특징점이 기준 영역(403)의 하단 영역으로 이동했다가 기준 영역(403)으로 되돌아와 제 1 위치(431)에서 소정 시간 이상 머무른 후, 기준 영역(403)의 상단 영역으로 이동했다가 기준 영역(403)으로 되돌아와 제 2 위치(433)에서 소정 시간 이상 머무르는 것이 감지된 경우, 제 1 위치 및 제 2 위치(431, 433)의 평균값으로 기준 위치(405)를 변경할 수 있다. 여기서, 도시하지는 않았으나 변경된 기준 위치(405)에 따라 기준 영역이 변경됨은 당연할 것이다. 여기서, 특징점이 서로 다른 방향에 위치한 영역으로 이동했을 경우를 감지하여 기준 위치를 변경하는 것은, 기준 위치의 반복적인 변경으로 인해 기준 위치가 어느 한쪽 방향으로 치우치는 것을 방지하기 위함이다.
이후, 전자 장치는 709단계로 되돌아가 이하 단계를 재수행한다.
도 8은 본 발명의 실시 예에 따른 전자 장치에서 기준 위치를 변경하는 절차를 도시하고 있다.
도 8을 참조하면, 전자 장치는 801단계에서 카메라로부터 입력되는 이미지를 실시간으로 분석하고, 803단계에서 초기 입력되는 적어도 하나의 이미지를 분석하여 특징점의 기준 위치를 결정한다. 즉, 전자 장치는 특징점을 이용하여 전자 장치를 제어하기 위한 이벤트가 발생될 시에 입력되는 N개의 이미지 내에서 특징점의 위치를 추출하고, N개의 이미지 각각으로부터 추출된 특징점의 위치를 바탕으로 특징점의 기준 위치를 결정할 수 있다.
이후, 전자 장치는 805단계에서 결정된 기준 위치를 바탕으로 특징점의 이동 여부를 판단하기 위한 기준 영역을 결정한다. 이때, 기준 영역은 기준 위치를 포함하는 영역으로, 기준 위치로부터 임계 거리 이내의 영역을 기준 영역으로 결정할 수 있다.
이후, 전자 장치는 807단계에서 기준 영역 내에서 특징점의 위치를 바탕으로 기준 위치를 변경한다. 즉, 전자 장치는 이미지를 실시간으로 분석하여 특징점의 위치 변경을 추적하면서, 기준 영역 이내에서 특징점이 이동된 위치를 바탕으로 기준 위치를 변경할 수 있다. 이때, 전자 장치는 변경된 기준 위치를 바탕으로 기준 영역을 변경할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 특징점을 이용하여 전자 장치의 동작을 제어하기 위한 이벤트가 발생될 시,
    카메라로부터 입력되는 이미지들을 실시간으로 분석하는 과정;
    상기 입력되는 이미지들 중에서 적어도 하나의 이미지 내 특징점의 위치를 바탕으로 기준 위치를 결정하는 과정;
    상기 결정된 기준 위치를 바탕으로 특징점의 이동 여부를 판단하기 위한 기준 영역을 결정하는 과정, 상기 기준 영역은 결정된 기준 위치로부터 임계거리 이내의 영역임; 및
    상기 기준 영역 내에서 이동되는 특징점의 위치에 따라 기준 위치를 변경하는 과정을 포함하고,
    상기 기준 위치를 변경하는 과정은,
    미리 설정된 시간을 측정하는 과정과,
    상기 미리 설정된 시간이 만료된 후, 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치가 기준 영역 내에 포함되는지 여부를 판단하는 과정과,
    상기 특징점의 위치가 기준 영역 내에 포함되는 경우, 상기 기준 영역 내에 포함된 상기 특징점의 위치를 기준 위치로 변경하는 과정을 포함하는 전자 장치의 동작 제어 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 기준 위치를 변경하는 과정은,
    상기 미리 설정된 시간 동안에 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치를 추적하는 과정과,
    상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 과정을 포함하는 전자 장치의 동작 제어 방법.
  4. 제 3항에 있어서,
    상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 과정은,
    상기 추적된 특징점의 위치들 중에서 상기 특징점이 상기 기준 영역 내에서 임계 시간 이상 머무른 위치를 후보 위치로 결정하는 과정과,
    적어도 하나의 상기 결정된 후보 위치를 이용하여 기준 위치를 변경하는 과정을 포함하는 전자 장치의 동작 제어 방법.
  5. 제 1항에 있어서,
    상기 기준 위치를 변경하는 과정은,
    미리 설정된 시간 동안에 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치를 추적하는 과정과,
    상기 특징점의 위치가 상기 기준 영역 이외의 영역으로 이동하였다가 상기 기준 영역으로 되돌아온 횟수를 확인하는 과정과,
    상기 되돌아온 횟수와 임계 횟수를 비교하는 과정과,
    상기 되돌아온 횟수와 임계 횟수가 동일할 시, 상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 과정을 포함하는 전자 장치의 동작 제어 방법.
  6. 제 5항에 있어서,
    상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 과정은,
    상기 특징점이 상기 기준 영역으로 되돌아온 후 임계 시간 이상 머무른 위치를 후보 위치로 결정하는 과정과,
    적어도 하나의 상기 결정된 후보 위치를 이용하여 기준 위치를 변경하는 과정을 포함하는 전자 장치의 동작 제어 방법.
  7. 제 1항에 있어서,
    상기 기준 위치를 변경하는 과정은,
    미리 설정된 시간 동안에 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치를 추적하는 과정과,
    상기 추적된 특징점의 위치를 바탕으로 특징점의 이동 영역을 확인하는 과정과,
    상기 특징점의 이동 영역이 미리 설정된 조건을 만족하는지 여부를 확인하는 과정과,
    상기 특징점의 이동 영역이 미리 설정된 조건을 만족할 시, 상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 과정을 포함하는 전자 장치의 동작 제어 방법.
  8. 제 7항에 있어서,
    상기 특징점의 이동 영역이 미리 설정된 조건을 만족하는지 여부를 확인하는 과정은,
    상기 특징점의 이동 영역을 바탕으로 상기 특징점이 상기 기준 영역에 대해 서로 다른 방향에 위치한 서로 다른 영역을 적어도 한 번씩 이동하였는지 판단하는 과정을 포함하는 전자 장치의 동작 제어 방법.
  9. 제 1항에 있어서,
    상기 특징점은, 얼굴 형태, 눈, 안구, 동공, 코, 입, 눈썹 중 어느 하나인 전자 장치의 동작 제어 방법.
  10. 제 1항에 있어서,
    상기 특징점이 기준 영역 이외의 영역으로 이동하는지 여부를 판단하는 과정과,
    상기 기준 영역 이외의 영역으로 이동하는 경우, 상기 특징점이 이동한 영역에 미리 매핑된 기능을 수행하는 과정을 더 포함하는 전자 장치의 동작 제어 방법.
  11. 하나 이상의 프로세서;
    카메라;
    메모리; 및
    상기 메모리에 저장되어 있으며, 상기 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 것으로서,
    상기 프로그램은, 특징점을 이용하여 전자 장치의 동작을 제어하기 위한 이벤트가 발생될 시, 카메라로부터 입력되는 이미지들을 실시간으로 분석하는 명령어와, 상기 입력되는 이미지들 중에서 적어도 하나의 이미지 내 특징점의 위치를 바탕으로 기준 위치를 결정하는 명령어와, 상기 결정된 기준 위치를 바탕으로 특징점의 이동 여부를 판단하기 위한 기준 영역을 결정하는 명령어와, 상기 기준 영역 내에서 이동되는 특징점의 위치에 따라 기준 위치를 변경하는 명령어와, 미리 설정된 시간을 측정하기 위한 명령어와, 상기 미리 설정된 시간이 만료된 후, 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치가 기준 영역 내에 포함되는지 여부를 판단하는 명령어와, 상기 특징점의 위치가 기준 영역 내에 포함되는 경우, 상기 기준 영역 내에 포함된 상기 특징점의 위치를 기준 위치로 변경하는 명령어를 포함하고, 상기 기준 영역은 결정된 기준 위치로부터 임계거리 이내의 영역인, 전자 장치.
  12. 삭제
  13. 제 11항에 있어서,
    상기 프로그램은, 상기 미리 설정된 시간 동안에 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치를 추적하는 명령어와, 상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 명령어를 더 포함하는 전자 장치.
  14. 제 13항에 있어서,
    상기 프로그램은, 상기 추적된 특징점의 위치들 중에서 상기 특징점이 상기 기준 영역 내에서 임계 시간 이상 머무른 위치를 후보 위치로 결정하는 명령어와, 적어도 하나의 상기 결정된 후보 위치를 이용하여 기준 위치를 변경하는 명령어를 더 포함하는 전자 장치.
  15. 제 11항에 있어서,
    상기 프로그램은, 미리 설정된 시간 동안에 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치를 추적하는 명령어와, 상기 특징점의 위치가 상기 기준 영역 이외의 영역으로 이동하였다가 상기 기준 영역으로 되돌아온 횟수를 확인하는 명령어와, 상기 되돌아온 횟수와 임계 횟수를 비교하는 명령어와, 상기 되돌아온 횟수와 임계 횟수가 동일할 시, 상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 명령어를 더 포함하는 전자 장치.
  16. 제 15항에 있어서,
    상기 프로그램은, 상기 특징점이 상기 기준 영역으로 되돌아온 후 임계 시간 이상 머무른 위치를 후보 위치로 결정하는 명령어와, 적어도 하나의 상기 결정된 후보 위치를 이용하여 기준 위치를 변경하는 명령어를 더 포함하는 전자 장치.
  17. 제 11항에 있어서,
    상기 프로그램은, 미리 설정된 시간 동안에 상기 실시간으로 입력되는 이미지 내에서 특징점의 위치를 추적하는 명령어와, 상기 추적된 특징점의 위치를 바탕으로 특징점의 이동 영역을 확인하는 명령어와, 상기 특징점의 이동 영역이 미리 설정된 조건을 만족하는지 여부를 확인하는 명령어와, 상기 특징점의 이동 영역이 미리 설정된 조건을 만족할 시, 상기 추적된 특징점의 위치들 중에서 상기 기준 영역 내에 포함된 위치들을 바탕으로 기준 위치를 변경하는 명령어를 더 포함하는 전자 장치.
  18. 제 17항에 있어서,
    상기 프로그램은, 상기 특징점의 이동 영역을 바탕으로 상기 특징점이 상기 기준 영역에 대해 서로 다른 방향에 위치한 서로 다른 영역을 적어도 한 번씩 이동하였는지 판단하는 명령어를 더 포함하는 전자 장치.
  19. 제 11항에 있어서,
    상기 특징점은, 얼굴 형태, 눈, 안구, 동공, 코, 입, 눈썹 중 어느 하나인 전자 장치.
  20. 제 11항에 있어서,
    상기 프로그램은, 상기 특징점이 기준 영역 이외의 영역으로 이동하는지 여부를 판단하는 명령어와, 상기 기준 영역 이외의 영역으로 이동하는 경우, 상기 특징점이 이동한 영역에 미리 매핑된 기능을 수행하는 명령어를 더 포함하는 전자 장치.
KR1020130018929A 2013-02-22 2013-02-22 동작 제어 방법 및 그 전자 장치 KR102175853B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130018929A KR102175853B1 (ko) 2013-02-22 2013-02-22 동작 제어 방법 및 그 전자 장치
US14/177,682 US9395813B2 (en) 2013-02-22 2014-02-11 Method for controlling operation and electronic device thereof
EP14154949.3A EP2770460B1 (en) 2013-02-22 2014-02-13 Method for controlling operation and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130018929A KR102175853B1 (ko) 2013-02-22 2013-02-22 동작 제어 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20140105116A KR20140105116A (ko) 2014-09-01
KR102175853B1 true KR102175853B1 (ko) 2020-11-06

Family

ID=50112747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130018929A KR102175853B1 (ko) 2013-02-22 2013-02-22 동작 제어 방법 및 그 전자 장치

Country Status (3)

Country Link
US (1) US9395813B2 (ko)
EP (1) EP2770460B1 (ko)
KR (1) KR102175853B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10025379B2 (en) 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2019041118A1 (zh) * 2017-08-29 2019-03-07 深圳传音通讯有限公司 一种智能终端的显示界面控制方法及显示界面控制装置
CN107835314B (zh) * 2017-11-03 2020-03-24 青岛海信移动通信技术股份有限公司 移动终端在物体上放置时执行操作的方法及移动终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030686A (ja) 2001-07-19 2003-01-31 Konami Co Ltd ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185452A (ja) 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
RU2408162C2 (ru) * 2005-08-17 2010-12-27 Сириал Текнолоджиз Гмбх Способ и устройство для обнаружения и отслеживания в реальном времени глаз нескольких наблюдателей
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
US8462949B2 (en) * 2007-11-29 2013-06-11 Oculis Labs, Inc. Method and apparatus for secure display of visual content
KR101254037B1 (ko) 2009-10-13 2013-04-12 에스케이플래닛 주식회사 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말
KR101286965B1 (ko) * 2009-12-29 2013-07-23 동국대학교 산학협력단 시선 추적 장치 및 방법
KR20120139893A (ko) 2011-06-20 2012-12-28 에스케이텔레콤 주식회사 휴대 단말을 위한 움직이는 사용자 인터페이스 제공 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030686A (ja) 2001-07-19 2003-01-31 Konami Co Ltd ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム

Also Published As

Publication number Publication date
EP2770460A2 (en) 2014-08-27
US20140240220A1 (en) 2014-08-28
US9395813B2 (en) 2016-07-19
EP2770460A3 (en) 2016-08-03
EP2770460B1 (en) 2021-10-13
KR20140105116A (ko) 2014-09-01

Similar Documents

Publication Publication Date Title
KR102423826B1 (ko) 사용자 단말 장치 및 그의 제어 방법
US11126295B2 (en) Devices and methods for processing touch inputs
US11809784B2 (en) Audio assisted enrollment
KR102578253B1 (ko) 전자 장치 및 전자 장치의 지문 정보 획득 방법
KR102033863B1 (ko) 세기에 기초하여 터치 입력을 프로세싱하기 위한 디바이스 및 방법
US20140118268A1 (en) Touch screen operation using additional inputs
CA2922493C (en) Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US10416777B2 (en) Device manipulation using hover
US9268407B1 (en) Interface elements for managing gesture control
KR102175853B1 (ko) 동작 제어 방법 및 그 전자 장치
US9864514B2 (en) Method and electronic device for displaying virtual keypad
AU2013223015A1 (en) Method and apparatus for moving contents in terminal
US20210400032A1 (en) User interfaces for accessing an account
KR20150131607A (ko) 사용자 인터페이스 제어 장치 및 그것의 사용자 인터페이스 제어 방법
KR20140110452A (ko) 전자장치에서 근접 터치를 이용한 사용자 인터페이스 제어 방법 및 장치
US9092085B2 (en) Configuring a touchpad setting based on the metadata of an active application of an electronic device
US9958946B2 (en) Switching input rails without a release command in a natural user interface
US20210360372A1 (en) User interfaces for viewing and refining the current location of an electronic device
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
US10082936B1 (en) Handedness determinations for electronic devices
US9817566B1 (en) Approaches to managing device functionality
US20230195304A1 (en) Input method and apparatus, and apparatus for input
US20170123623A1 (en) Terminating computing applications using a gesture
CN117270719A (zh) 界面显示方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant