KR20180074124A - 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치 - Google Patents

얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치 Download PDF

Info

Publication number
KR20180074124A
KR20180074124A KR1020160177873A KR20160177873A KR20180074124A KR 20180074124 A KR20180074124 A KR 20180074124A KR 1020160177873 A KR1020160177873 A KR 1020160177873A KR 20160177873 A KR20160177873 A KR 20160177873A KR 20180074124 A KR20180074124 A KR 20180074124A
Authority
KR
South Korea
Prior art keywords
face
electronic device
user
information
mapping table
Prior art date
Application number
KR1020160177873A
Other languages
English (en)
Inventor
이정규
Original Assignee
주식회사 심보다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 심보다 filed Critical 주식회사 심보다
Priority to KR1020160177873A priority Critical patent/KR20180074124A/ko
Publication of KR20180074124A publication Critical patent/KR20180074124A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00288—
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치가 제공된다. 본 얼굴 인식을 통해 전자 장치를 제어하는 방법은 사용자의 얼굴이 포함된 영상을 촬영하고, 촬영된 영상에서 사용자의 얼굴을 인식하고, 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성하고, 기 저장된 맵핑 테이블을 바탕으로 생성된 얼굴 정보에 대응되는 제어 명령을 수행한다.

Description

얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치{METHOD OF CONTROLLING ELECTRONIC DEVICE WITH FACE RECOGNITION AND ELECTRONIC DEVICE USING THE SAME}
본 발명은 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치에 관한 것으로, 더욱 상세하게는 촬영되는 영상에서 인식된 사용자 얼굴의 표정, 움직임 또는 방향을 판단하고, 판단된 사용자 얼굴의 표정, 움직임 또는 방향에 대응하여 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치에 관한 것이다.
얼굴 인식 기술이 발달함에 따라, 얼굴 인식 기술은 카메라의 자동 초점 기능, 출입문의 보안 기능 등과 같이 다양한 기능을 수행하고 있다.
얼굴 인식 기술을 통해 이용자들의 흥미를 유발할 수 있는 가능성이 큼에도 불구하고, 얼굴 인식 기술의 엔터테인먼트로의 활용은 활발히 이루어지지 않고 있다.
따라서, 얼굴 인식 기술을 이용하여 전자 장치의 화면을 제어하는 기술을 이용하여 다양한 엔터테인먼트 서비스에 대한 필요성이 대두되고 있다.
이와 더불어, 사용자에게 자이로 센서, 가속도 센서 등과 같은 센서를 부착하지 않고, 사용자의 얼굴을 인식하여 전자 장치를 제어할 수 있다면, 사용자는 움직임에 제약이 없이, 얼굴 또는 표정을 움직이는 것만으로 전자 장치를 제어할 수 있게 될 것이다.
본 발명은 상술한 필요성을 충족시키기 위해 안출된 것으로, 본 발명의 목적은 사용자 얼굴의 표정, 움직임 또는 방향을 판단하여 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 얼굴 인식을 통해 전자 장치를 제어하는 방법은, 사용자의 얼굴이 포함된 영상을 촬영하는 단계; 상기 촬영된 영상에서 사용자의 얼굴을 인식하는 단계; 상기 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성하는 단계; 기 저장된 맵핑 테이블을 바탕으로 상기 생성된 얼굴 정보에 대응되는 제어 명령을 수행하는 단계;를 포함한다.
그리고, 상기 제어 명령을 수행하는 단계는, 상기 생성된 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는지 여부를 판단하는 단계; 상기 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는 경우, 상기 기 저장된 맵핑 테이블에서 상기 생성된 얼굴 정보에 대응되는 제어 명령 선택하는 단계; 및 상기 선택된 제어 명령을 수행하는 단계;를 포함할 수 있다.
또한, 상기 기 저장된 맵핑 테이블은, 얼굴의 표정, 움직임 또는 방향에 대한 정보로 구성되는 얼굴 정보와 전자 장치를 제어하는 제어 명령이 일대일 맵핑된 테이블일 수 있다.
그리고, 상기 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하는 단계는, 상기 인식된 얼굴에서 복수의 특징점들을 검출하는 단계; 및 상기 검출된 복수의 특징점들의 상관 관계를 분석하여 표정, 움직임 또는 방향 중 적어도 하나를 판단하는 단계;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 또 다른 실시 예에 따른, 전자 장치는, 사용자의 얼굴이 포함된 영상을 촬영하는 카메라; 상기 촬영된 영상에서 사용자의 얼굴을 인식하고, 상기 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성하며, 기 저장된 맵핑 테이블을 바탕으로 상기 생성된 얼굴 정보에 대응되는 제어 명령을 수행하는 제어부;를 포함한다.
상술한 바와 같이, 본 발명의 다양한 실시 예에 따라, 사용자는 얼굴 표정, 움직임 또는 방향을 통해 전자 장치의 무구속 제어를 할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른, 전자 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 얼굴 특징점들을 검출하는 실시 예를 설명하기 위한 도면,
도 3 및 도 4는 본 발명의 다양한 실시 예에 따른, 얼굴 인식을 통해 전자 장치를 제어하는 방법을 설명하기 위한 도면들, 그리고,
도 5는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시 예들에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 개시의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 개시의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 개시의 실시 예에서, "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 도면을 참조하여 본 개시에 대해 설명하기로 한다. 도 1은 본 발명의 일 실시 예에 따른, 전자 장치의 구성을 나타내는 도면이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 카메라(110), 디스플레이부(120) 및 제어부(130)를 포함한다. 한편, 본 발명의 일 실시 예에 따른, 전자 장치(100)는 데스크탑 PC, 노트북 PC, 태블릿 PC, 키오스크, 스마트 TV, 스마트 폰, 전동휠체어 등과 같은 다양한 전자 장치로 구현될 수 있다.
카메라(110)는 영상을 촬영하는 구성이다. 특히, 카메라(110)는 적어도 한 명의 사용자의 얼굴을 포함하는 영상을 촬영할 수 있다.
디스플레이부(120)는 영상 수신부(미도시)로부터 수신한 영상 데이터를 영상 처리부(미도시)에서 처리한 비디오 프레임 및 그래픽 처리부(미도시)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이하는 구성이다. 제어부(130)는 저장부(미도시)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어하는 구성이다. 한편, 제어부(150)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스, 버스 등을 포함할 수 있고, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
특히, 제어부(130)는 카메라(110)를 통해 사용자의 얼굴이 포함된 영상이 촬영되면, 촬영된 영상에서 사용자의 얼굴을 인식하고, 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성할 수 있다. 그리고, 제어부(130)는 기 저장된 맵핑 테이블을 바탕으로 생성된 얼굴 정보에 대응되는 제어 명령을 수행할 수 있다. 이때, 제어 명령은 디스플레이되는 UI에 대한 제어뿐만 아니라, 전자 장치의 하드웨어 적인 제어일 수도 있다.
구체적으로, 제어부(130)는 촬영된 영상의 밝기, 움직임, 색상, 눈 위치 추정 등의 정보를 바탕으로 사용자의 얼굴과 배경을 구분하여 사용자의 얼굴을 인식할 수 있다. 예를 들어, 제어부(130)는 밝기, 얼굴 모양, 연령, 인종 등이 상이한 복수의 이미지에 포함된 인물에 대해 각각의 얼굴 영역(일반적으로, 사각형 영역)을 지정한 데이터에 대한 별도의 학습 결과를 통하여 사용자의 얼굴을 인식할 수 있으며, 학습을 위한 이미지 데이터가 많아질수록 학습 결과의 정확성은 높아져, 결과적으로 촬영된 영상에서 사용자의 얼굴을 더 정확하게 검출할 수 있게 된다.
그리고, 사용자의 얼굴이 인식되면, 제어부(130)는 도 2에 도시된 바와 같이, 얼굴 영역에 포함된 얼굴 모양(210), 눈썹(220), 눈(230), 코(240) 및 입(250)에 대한 특징점들을 표시한 데이터를 생성할 수 있다. 이 특징점들은 복수의 얼굴에 대해 얼굴 모양, 눈썹, 눈, 코, 입의 특징점 위치를 표시한 데이타들에 대한 별도의 학습 결과를 이용하여 검출될 수 있으며, 학습을 위한 데이터가 많아질수록 사용자의 얼굴에서 특징점을 검출하는 정확도를 높일 수 있다.
그리고, 제어부(130)는 검출된 복수의 특징점들의 상관 관계를 분석하여 표정 또는 얼굴 움직임 중 적어도 하나를 판단할 수 있다. 예를 들어, 제어부(130)는 눈에 할당된 특징점들 사이의 위치 상관 관계를 분석하여 눈을 감았는지 여부를 판단하고, 입에 할당된 특징점들 사이의 위치 상관 관계를 분석하여 입을 벌리고 있는지 여부를 판단하며, 눈, 눈썹, 입 등의 모양을 바탕으로 표정 또는 얼굴 움직임 중 적어도 하나를 판단할 수 있다.
그리고, 제어부(130)는 눈, 눈썹, 코, 입 등의 비율을 바탕으로 얼굴의 방향을 판단할 수 있다. 예를 들어, 제어부(130)는 코와 왼쪽 눈 사이의 길이가 코와 오른쪽 눈 사이의 길이보다 긴 경우, 사용자의 얼굴 방향이 오른쪽으로 향하고 있다고 판단할 수 있고, 코와 왼쪽 눈 사이의 길이가 코와 오른쪽 눈 사이의 길이의 비율이 높을수록 큰 각도로 오른쪽으로 향하는 것으로 판단할 수 있다.
그리고, 제어부(130)는 판단된 얼굴의 표정, 움직임 또는 방향을 바탕으로 얼굴 정보를 생성할 수 있다.
그리고, 제어부(130)는 기 저장된 맵핑 테이블을 바탕으로 생성된 얼굴 정보에 대응되는 제어 명령을 수행할 수 있다.
구체적으로, 제어부(130)는 생성된 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는지 여부를 판단할 수 있다. 생성된 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는 경우, 제어부(130)는 기 저장된 맵핑 테이블에서 얼굴 정보에 대응되는 제어 명령을 선택하고, 선택된 제어 명령을 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 도 3에 도시된 바와 같이, 얼굴 인식을 통해 생성된 얼굴 정보가 얼굴의 방향이 왼쪽 위 방향을 향하는 정보인 경우, 제어부(130)는 얼굴의 방향이 왼쪽 위를 향하는 정보가 기 저장된 맵핑 테이블에 존재하는지 여부를 판단할 수 있다. 그리고, 기 저장된 맵핑 테이블에 얼굴의 방향이 왼쪽 위 방향을 향하는 정보와 디스플레이 되는 아이콘(310)을 왼쪽 위 방향으로 이동시키는 제어 명령이 일대일 대응되어 저장된 경우, 제어부(130)는 디스플레이되는 아이콘(310)을 왼쪽 위 방향으로 이동시키는 제어 명령을 선택하고, 아이콘(310)을 왼쪽 위 방향으로 이동시켜 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 그리고, 기 저장된 맵핑 테이블에 눈을 깜빡이는 움직임 정보와 아이콘이 위치하는 영역을 선택하는 제어 명령이 일대일 대응되어 저장된 경우, 제어부(130)는 아이콘(310)이 위치하는 영역을 선택하는 제어 명령을 선택하여 아이콘(310)이 위치하는 UI 엘리먼트(330)를 선택하는 제어 명령을 수행할 수 있다. 한편, 사용자 얼굴의 방향이 제1 방향을 향하는 얼굴 정보와 아이콘을 제1 방향으로 이동시키는 제어 명령이 일대일 대응되고, 눈을 깜빡이는 움직임 얼굴 정보와 UI 엘리먼트를 선택하는 제어 명령이 일대일 대응되어 맵핑 테이블에 저장되는 것은 일 실시 예에 해당할 뿐, 이에 한정되지 않는다.
본 발명의 또 다른 실시 예에 따르면, 도 4에 도시된 바와 같이, 얼굴 인식을 통해 캐릭터의 움직임을 제어하여 게임을 실행할 수 있다. 예를 들어, 기 저장된 맵핑 테이블은 입을 벌리는 얼굴 정보와 캐릭터(410)가 점프하는 제어 명령, 눈을 깜빡이는 얼굴 정보와 캐릭터(410)가 앞으로 달리는 제어 명령, 눈썹을 올렸다 내리는 얼굴 정보와 캐릭터(410)가 뒤로 달리는 제어 명령이 일대일 대응되는 맵핑 테이블일 수 있다. 카메라(120)를 통해 얼굴을 포함하는 영상이 촬영되면, 제어부(130)는 실시간으로 얼굴을 인식하고, 얼굴의 표정, 움직임 또는 방향을 판단하여 실시간으로 얼굴 정보를 생성할 수 있다. 생성된 얼굴 정보가 입을 벌리는 얼굴 정보인 경우, 제어부(130)는 캐릭터(410)가 점프하는 제어 명령을 선택하여 캐릭터(410)가 점프하도록 제어할 수 있다. 그리고, 생성된 얼굴 정보가 눈을 깜짝이는 얼굴 정보인 경우, 제어부(130)는 캐릭터(410)가 앞으로 달리는 제어 명령을 선택하여 캐릭터(410)가 앞으로 달리도록 제어할 수 있다. 그리고, 생성된 얼굴 정보가 눈썹을 올렸다 내리는 얼굴 정보인 경우, 제어부(410)는 캐릭터(410)가 뒤로 달리도록 제어할 수 있다. 사용자는 이러한 얼굴 인식을 통한 제어를 통해 캐릭터(410)가 앞으로 달리는 중 장애물(420)을 마주하면, 점프하여 장애물을 넘고 다시 앞으로 달리는 게임을 할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 기 저장된 맵핑 테이블은 제1 얼굴 정보와 전동 휠체어를 앞으로 이동시키는 제어 명령, 제2 얼굴 정보와 전동 휠체어를 우회전하는 제어 명령, 제3 얼굴 정보와 전동 휠체어를 좌회전하는 제어 명령 및 제3 얼굴 정보와 전동 휠체어를 정지시키는 제어 명령이 일대일 맵핑되는 테이블일 수 있다. 이러한 경우, 사용자는 얼굴 표정, 움직임 또는 방향을 이용하여 전동휠체어를 제어할 수 있게 된다.
이하에서는 도 5를 참조하여 본 발명의 일 실시 예에 따른, 얼굴 인식을 통해 제어할 수 있는 전자 장치(100)의 제어 방법을 설명하기로 한다.
우선, 전자 장치(100)는 사용자의 얼굴이 포함된 영상을 촬영한다(S510). 전자 장치(100)는 한 명의 사용자의 얼굴을 포함하는 영상뿐만 아니라, 여러 명의 사용자의 얼굴을 포함하는 영상을 촬영할 수도 있다.
그리고, 전자 장치(100)는 촬영된 영상에서 사용자의 얼굴을 인식한다(S520). 구체적으로, 전자 장치(100)는 기 저장된 학습 데이터들을 바탕으로 촬영된 영상에서 사용자의 얼굴을 인식할 수 있다.
그리고, 전자 장치(100)는 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성한다(S530). 구체적으로, 전자 장치(100)는 인식된 얼굴에서 복수의 특징점들을 검출하고, 검출된 특징점들의 상관 관계를 분석함으로써 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성할 수 있다. 예를 들어, 전자 장치(100)는 인식된 얼굴의 표정을 활짝 웃는 표정으로 판단하거나 눈을 깜빡이는 것으로 판단하거나 얼굴이 오른쪽 방향을 향하는 것으로 판단하여 얼굴 정보를 생성할 수 있다.
그리고, 전자 장치(100)는 기 저장된 맵핑 테이블을 바탕으로 생성된 얼굴 정보에 대응되는 제어 명령을 수행한다 (S540). 구체적으로, 전자 장치(100)는 생성된 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는지 여부를 판단하고, 생성된 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는 경우, 기 저장된 맵핑 테이블에서 생성된 얼굴 정보에 대응되는 제어 명령을 수행할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의해, 사용자는 무구속 상태에서 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 취함으로써 전자 장치를 제어할 수 있게 된다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 전자 장치
110: 카메라
120: 디스플레이부
130: 제어부

Claims (5)

  1. 얼굴 인식을 통해 전자 장치를 제어하는 방법에 있어서,
    사용자의 얼굴이 포함된 영상을 촬영하는 단계;
    상기 촬영된 영상에서 사용자의 얼굴을 인식하는 단계;
    상기 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성하는 단계;
    기 저장된 맵핑 테이블을 바탕으로 상기 생성된 얼굴 정보에 대응되는 제어 명령을 수행하는 단계;를 포함하는 얼굴 인식을 통해 전자 장치를 제어하는 방법.
  2. 제1항에 있어서,
    상기 제어 명령을 수행하는 단계는,
    상기 생성된 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는지 여부를 판단하는 단계;
    상기 얼굴 정보가 기 저장된 맵핑 테이블에 존재하는 경우, 상기 기 저장된 맵핑 테이블에서 상기 생성된 얼굴 정보에 대응되는 제어 명령 선택하는 단계; 및
    상기 선택된 제어 명령을 수행하는 단계;를 포함하는 것을 특징으로 하는 얼굴 인식을 통해 전자 장치를 제어하는 방법.
  3. 제2항에 있어서,
    상기 기 저장된 맵핑 테이블은,
    얼굴의 표정, 움직임 또는 방향에 대한 정보로 구성되는 얼굴 정보와 전자 장치를 제어하는 제어 명령이 일대일 맵핑된 테이블인 것을 특징으로 하는 얼굴 인식을 통해 전자 장치를 제어하는 방법.
  4. 제1항에 있어서,
    상기 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하는 단계는,
    상기 인식된 얼굴에서 복수의 특징점들을 검출하는 단계; 및
    상기 검출된 복수의 특징점들의 상관 관계를 분석하여 표정, 움직임 또는 방향 중 적어도 하나를 판단하는 단계;를 포함하는 것을 특징으로 하는 얼굴 인식을 통해 전자 장치를 제어하는 방법.
  5. 사용자의 얼굴이 포함된 영상을 촬영하는 카메라;
    상기 촬영된 영상에서 사용자의 얼굴을 인식하고, 상기 인식된 얼굴의 표정, 움직임 또는 방향 중 적어도 하나를 판단하여 얼굴 정보를 생성하며, 기 저장된 맵핑 테이블을 바탕으로 상기 생성된 얼굴 정보에 대응되는 제어 명령을 수행하는 제어부;를 포함하는 전자 장치.
KR1020160177873A 2016-12-23 2016-12-23 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치 KR20180074124A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160177873A KR20180074124A (ko) 2016-12-23 2016-12-23 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160177873A KR20180074124A (ko) 2016-12-23 2016-12-23 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20180074124A true KR20180074124A (ko) 2018-07-03

Family

ID=62918380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160177873A KR20180074124A (ko) 2016-12-23 2016-12-23 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치

Country Status (1)

Country Link
KR (1) KR20180074124A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109718544A (zh) * 2018-12-14 2019-05-07 深圳壹账通智能科技有限公司 基于人脸辨识的游戏控制方法与使用该方法的电子装置
KR20200140488A (ko) * 2019-06-07 2020-12-16 네이버웹툰 유한회사 사용자 얼굴 정보를 인식하여 움직이는 캐릭터를 표현하는 방법 및 시스템
KR102479374B1 (ko) * 2021-12-20 2022-12-19 유진 3d 랜더링을 이용한 맵생성 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110083770A (ko) * 2010-01-15 2011-07-21 에스케이텔레콤 주식회사 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말
KR20140089183A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110083770A (ko) * 2010-01-15 2011-07-21 에스케이텔레콤 주식회사 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말
KR20140089183A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109718544A (zh) * 2018-12-14 2019-05-07 深圳壹账通智能科技有限公司 基于人脸辨识的游戏控制方法与使用该方法的电子装置
KR20200140488A (ko) * 2019-06-07 2020-12-16 네이버웹툰 유한회사 사용자 얼굴 정보를 인식하여 움직이는 캐릭터를 표현하는 방법 및 시스템
KR102479374B1 (ko) * 2021-12-20 2022-12-19 유진 3d 랜더링을 이용한 맵생성 시스템

Similar Documents

Publication Publication Date Title
US20210258474A1 (en) Adjusting Motion Capture Based on the Distance Between Tracked Objects
US11249557B2 (en) Methods and systems for controlling a device using hand gestures in multi-user environment
KR20230074780A (ko) 검출된 손 제스처들에 응답한 터치리스 포토 캡처
US10255690B2 (en) System and method to modify display of augmented reality content
US9766709B2 (en) Dynamic user interactions for display control
US11809637B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
US20150248167A1 (en) Controlling a computing-based device using gestures
JP7447302B2 (ja) デバイスのハンドジェスチャベースの制御のための方法及びシステム
EP2877909A1 (en) Multimodal interaction with near-to-eye display
JP6341755B2 (ja) 情報処理装置、方法及びプログラム並びに記録媒体
JP2012238293A (ja) 入力装置
KR20180074124A (ko) 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
KR101835531B1 (ko) 얼굴 인식 기반의 증강현실 영상을 제공하는 디스플레이 장치 및 이의 제어 방법
TW201709022A (zh) 非接觸式控制系統及方法
WO2021184356A1 (en) Methods and systems for hand gesture-based control of a device
Buddhika et al. Smart photo editor for differently-abled people using assistive technology
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
US11966516B2 (en) Methods and systems for hand gesture-based control of a device
S Choras et al. Markerless head gesture recognition for human computer interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment