KR101480564B1

KR101480564B1 - 안면 인식을 이용한 알람 제어 장치 및 방법

Info

Publication number: KR101480564B1
Application number: KR20080103249A
Authority: KR
Inventors: 김관식; 신근; 조성필
Original assignee: 삼성전자주식회사
Priority date: 2008-10-21
Filing date: 2008-10-21
Publication date: 2015-01-12
Also published as: US8558704B2; US20190137946A1; US10725434B2; US10496042B2; KR20100043974A; US11294336B2; US20200319601A1; US20100097227A1; US20140043165A1

Abstract

본 발명은 사용자의 잠을 깨우는 알람 기능의 효용성을 극대화하기 위한 방법을 제안한다. 이를 위해 본 발명은 알람 제어 장치에 사용자가 잠을 깼는지를 판단하기 위한 기준으로 눈 영상을 촬영할 수 있는 영상 입력부를 장착한다. 이러한 영상 입력부를 장착한 알람 제어 장치는 사용자의 얼굴 영상을 촬영하고, 그 얼굴 영상으로부터 눈 영역을 검출한 후, 그 눈 영역에서의 눈동자 움직임을 근거로 사용자가 잠에서 깨어있는 상태인지를 판단한다. 만일 일정 시간동안 사용자가 잠에서 깨어있는 상태를 유지한다고 판단되는 경우 알람 기능이 해제된다. 이렇게 함으로써 사용자가 알람을 손쉽게 해제하는 것을 방지함과 동시에 사용자의 잠을 깨우고자 하는 알람 기능의 효용성이 극대화되는 효과가 있다.

알람, 눈, 해제

Description

안면 인식을 이용한 알람 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING ALARM USING THE FACE RECOGNITION}

본 발명은 알람 제어 장치 및 방법에 관한 것으로, 특히 사용자가 무의식 중에 알람을 끄고 다시 자는 것을 방지할 수 있도록 하는 알람 제어 장치 및 방법에 관한 것이다.

알람 발생 방법에 있어, 매일 주기적인 시각이 되면 알람 발생이 이루어지도록 하는 기능이 통상의 이동 통신 단말기에 적용되어 실시되는데, 이를 통상적으로 모닝콜 기능이라 칭하기도 한다. 이러한 모닝콜을 포함하는 알람 기능의 경우 사용자가 매번 알람 시각을 입력하여 설정하지 않더라도 매일 해당 시각이 되면 알람이 자동적으로 발생하도록 하는 동작을 수행한다. 따라서, 매일 반복적으로 수행되는 기상 시각 등의 사항들의 경우 이동 통신 단말기는 사용자로부터 한번의 알람 시각을 입력받아 매일 반복적으로 해당 시각이 되면 알람을 발생함으로써 사용자의 편의가 증대되었다. 즉, 이동 통신 단말기에 알람 기능이 설정된 경우, 사용자는 별도의 알람 장치 없이도, 자신이 지정한 특정 시간, 예컨대, 약속 시간, 기상 시간, 회의 시간 등의 도래를 쉽게 인지할 수 있게 된다.

이러한 알람 기능의 경우 사용자는 알람 장치에 구비된 버튼을 단순히 누름으로써 그 알람 기능을 종료하게 된다. 이러한 버튼을 통한 알람 기능의 종료는 그 편리함에도 불구하고 사용자가 자신도 모르게 끄고 다시 잠드는 경우가 발생할 수 있다. 이러한 경우를 방지하기 위해 일정 시간 경과 후에 여러번에 걸쳐 알람이 울리는 스누즈 기능이 구현되어 있다. 그러나, 이러한 스누즈 기능도 종료키 등의 키입력을 이용하여 해제할 수 있어, 사용자가 어느 정도 익숙해지면 일반 알람 기능처럼 잠결에도 손쉽게 스누즈 기능을 해제할 수 있게 된다.

상기한 바와 같이 종래의 알람 기능의 경우, 사용자가 알람이 울릴 때 잠결에 종료 버튼을 누름으로써 자신도 모르게 다시 잠드는 경우가 발생할 수도 있다. 그러한 경우에는 알람 역할을 제대로 하지 못하게 된다. 또한 종래의 알람 기능의 해제는 사용자에 의한 키조작을 통해 제한적이면서도 수동적으로 이루어졌다. 이러한 점을 고려하여 알람의 원 기능을 충실히 수행할 수 있도록 사용자로 하여금 알람을 해제하는 동안 잠이 깰 수 있도록 하는 방법이 요구된다. 또한 알람의 주요한 목적인 사용자를 깨우기 위해서는 키입력 이외의 다양한 방식으로 알람 기능을 해제할 수 있도록 하는 방법도 고려해볼 필요성이 있다.

따라서 본 발명은 사용자의 집중력을 요구하면서도 잠이 깰 수 있도록 하는 알람 제어 장치 및 방법을 제공한다.

또한 본 발명은 별도의 키입력 없이도 알람 기능을 해제할 수 있도록 하는 알람 제어 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 안면 인식을 이용한 알람 제어 장치에 있어서, 알람 발생 시 구동되며 사용자의 얼굴 영상을 촬영하는 영상 입력부와, 상기 영상 입력부를 통해 입력된 얼굴 영상에서 눈 영역을 검출하는 눈 영역 검출부와, 알람 시각 도래 시 알람이 발생되도록 제어하고, 상기 눈 영역 검출부를 통해 상기 사용자의 눈 뜬 상태에 해당하는 눈 영역이 미리 정해진 시간동안 검출되 는지를 판단하고, 판단 결과 상기 미리 정해진 시간동안 검출된 경우 상기 알람 발생을 중지하도록 제어하는 알람 제어부와, 상기 알람 제어부의 제어하에 알람을 발생하는 알람 발생부를 포함함을 특징으로 한다.

또한 본 발명은, 알람 제어 장치에서 안면 인식을 이용한 알람 제어 방법에 있어서, 알람 시각이 도래하면 알람을 발생하는 과정과, 상기 알람 발생 시 사용자의 얼굴 영상을 촬영하고, 상기 촬영된 얼굴 영상에서 눈 영역을 검출하는 과정과, 상기 사용자의 눈 뜬 상태에 해당하는 눈 영역이 미리 정해진 시간동안 검출되는지를 판단하는 과정과, 판단 결과 상기 미리 정해진 시간동안 검출된 경우 상기 알람 발생을 중지하는 과정을 포함함을 특징으로 한다.

본 발명은 사용자가 알람을 손쉽게 해제하는 것을 방지하고, 사용자가 알람을 해제하기 위해 일정 시간동안 눈을 크게 뜬 상태를 유지하도록 함으로써 사용자의 잠을 깨우고자 하는 알람 기능의 효용성이 극대화되는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

상기한 바와 같은 기능이 구현된 알람 제어 장치의 구성 및 그 동작을 도 1을 참조하여 살펴보기로 한다. 도 1은 본 발명의 실시예에 따른 알람 제어 장치의 내부블록 구성도이다.

도 1을 참조하면, 알람 제어 장치는 영상 입력부(100), 눈 영역 검출부(110), 메모리(120), 알람 발생부(130), 입력 인터페이스(140) 및 알람 제어부(150)를 포함하여 구성된다.

먼저, 영상 입력부(100)는 알람 제어 장치에 장착되며 피사체를 촬영하기 위한 수단으로, 그 예로서 카메라를 들 수 있다. 이러한 영상 입력부(100)는 알람이 발생하는 동안에는 사용자의 얼굴에 대한 정지 영상을 획득하기 위해 사용자의 얼굴을 연속 촬영한다.

눈 영역 검출부(110)는 영상 입력부(100)를 통해 입력된 영상에서 얼굴 영역 을 인식한 후, 그 얼굴 영역에서 눈 영역을 검출하는 역할을 한다. 입력 영상에서 얼굴 영역을 인식하는 방법으로 얼굴 영역 추출 알고리즘이 이용될 수 있다. 예를 들어, 사용자 얼굴의 템플리트를 사전에 구성하여 이미지의 모든 영역을 템플리트 최소 사이즈에서부터 최대 사이즈까지 크기 조절을 해가면서 스캔 및 매칭해가는 템플리트 매칭 방법, 살색정보의 활용 방법 등 다양한 방법이 이용될 수 있다.

본 발명의 제1실시예에서는 얼굴 영역 추출 알고리즘으로서 사용자의 얼굴을 촬영한 이미지를 미리 저장해놓은 후, 그 저장된 이미지와 알람 발생 시에 촬영한 이미지를 비교한 결과를 이용함으로써 얼굴 영역 및 눈 영역을 결정할 수 있다. 본 발명의 제2실시예에서는 얼굴 영역 추출 알고리즘으로서 연속된 정지 영상 간의 차이 영상을 이용하여 얼굴 영역 및 눈 영역을 결정할 수 있다.

이를 구체적으로 설명하기 위해 미리 촬영해놓은 사용자의 얼굴 영역(200)을 나타내고 있는 도 2를 참조한다. 도 2에 도시된 바와 같이 이러한 얼굴 영역(200)에서 눈 영역(210)의 위치는 변하지 않으므로, 알람 발생 시 입력된 영상에서 얼굴 영역을 인식하기만 하면 눈 영역의 위치는 촬영해놓은 영상과 입력된 영상 간의 비교를 통해 획득될 수 있다. 이하의 설명에 있어서는 위와 같은 얼굴 영역 추출 알고리즘을 예로 들어 설명하나, 본 발명에서 제시되지 않은 다른 얼굴 영역 추출 알고리즘을 적용해도 무방하다.

메모리(120)는 다수의 프로그램과 데이터를 저장하기 위한 롬(ROM: Read Only Memory) 및 램(RAM: Random Access Memory) 등으로 이루어진다. 또한 메모리(120)는 알람 날짜, 알람 시각 등 알람 설정에 관한 정보뿐만 아니라 사용자가 잠에서 깨어있는 상태라고 판단하기 위한 기준 정보 예컨대, 사용자가 눈을 뜨고 있어야 하는 지속 시간, 사용자가 눈을 뜨고 있다고 판단되는 눈 영역 이미지의 변화 정도 등 알람 해제에 관한 정보를 저장하고 있다. 또한 메모리(120)는 본 발명에 따라 사용자가 눈을 뜨고 있는 상태인지를 판단하는 데 필요한 사용자의 얼굴 이미지 또는 사용자의 눈 영역 이미지를 저장하고 있다.

알람 발생부(130)는 알람 제어부150)의 제어하에 스피커를 통해 알람음을 출력하는 역할을 한다.

입력 인터페이스(140)는 키패드 등으로 이루어질 수 있으며 사용자와의 인터페이스를 위한 기능키 등을 구비한다. 이러한 입력 인터페이스(140)는 알람 시간, 알람 반복 횟수 등을 비롯한 알람 설정 정보를 뿐만 아니라 알람 해제를 위한 정보의 입력 수단이다.

알람 제어부(150)는 알람 제어 장치의 모든 구성 요소들을 제어하며, 특히 본 발명의 실시예에 따라 눈 영역 검출부(110)를 통해 검출된 눈 영역 이미지를 이용하여 알람의 해제 여부를 판단한다. 다시 말하면, 알람 제어부(150)는 사용자의 눈 뜬 상태에 해당하는 눈 영역이 미리 정해진 시간동안 검출되는지를 판단하고, 미리 정해진 시간동안 검출되는 경우 알람 발생을 중지하도록 제어한다.

우선, 알람 제어부(150)는 사용자가 눈을 뜨고 있는 상태인지를 판단하기 위해 미리 정해진 시간동안 눈 영역 검출부(110)를 통해 검출되는 눈 영역 이미지 간의 변화를 측정한다. 만일 그 변화 정도가 미리 정해진 값 이내일 경우에는 사용자가 눈을 지속적으로 뜨고 있는 상태로 판단한다. 이러한 경우에는 사용자가 잠이 깼다고 판단하여 알람 발생을 중지한다. 즉, 알람 제어부(150)는 눈 영역 검출부(110)를 통해 검출되는 눈 영역 간의 변화 정도를 측정함으로써 사용자의 눈 뜬 상태에 해당하는 눈 영역이 검출되는지를 판단하는 것이다.

이와 달리 그 미리 정해진 시간동안 그 변화 정도가 미리 정해진 값 이상일 경우에는 사용자가 잠이 깨지 않은 상태라고 판단한다. 이러한 경우에는 알람 발생을 지속하게 된다. 이때, 얼굴 영상에서 눈 영역을 검출하는 방법은 전술한 바와 같이 얼굴 영역 검출 알고리즘을 이용하며, 눈 영역 이미지 간의 변화 정도를 측정하기 위해서는 다음과 같은 방식이 이용될 수 있다. 예를 들어, 연속하여 촬영된 두 개의 눈 영역 이미지 간의 차이 영상을 이용하거나 미리 저장된 사용자의 눈 영역 이미지와 촬영한 얼굴 영상에서의 눈 영역 이미지에서의 두 눈 영역 간의 크기 비교 방식을 이용할 수 있다. 이때, 기준이 되는 미리 저장된 사용자의 눈 영역 이미지는 사용자가 눈을 뜬 상태에서 미리 촬영된 이미지임은 물론이다.

이러한 방식을 통해 미리 정해진 시간동안 사용자가 눈을 뜨고 있는 상태에 해당하는 눈 영역 이미지가 검출되는 경우에는 알람 제어부(150)는 이를 알람 제어에 해당한다고 판단하여 알람 발생을 중지하도록 알람 발생부(130)를 제어한다.

또한 본 발명에서는 사용자가 미리 정해진 시간동안에만 눈을 뜨고 있다가 다시 눈을 감는 경우를 대비하여 사용자의 집중력이 요구되는 옵션 기능을 추가적으로 구비함으로써 알람 기능의 효용성을 극대화시킬 수도 있다. 이에 따라 알람 제어부((150)는 사용자가 일정 시간동안 눈을 뜨고 있다고 판단한 후에 사용자로 하여금 따라하기 기능을 수행할 것을 요구하는 화면을 출력한다. 예컨대, 문자, 숫 자, 단어 등에 대한 입력을 요구하는 따라하기 퀴즈를 화면에 출력한 경우에는, 알람 제어부(150)는 입력 인터페이스(140)를 통해 사용자로부터 해당 문자, 숫자, 단어 등이 입력받아 이를 비교함으로써 알람 발생의 해제 여부를 결정한다. 만일 비교한 결과가 일치할 경우에는 알람 발생을 중지함과 동시에 성공 축하 메시지를 출력할 수 있다.

도 3은 본 발명의 실시예에 따라 안면인식을 이용한 알람 제어 장치에서의 동작흐름도이다. 사용자는 알람을 설정할 때, 일반적인 알람 방식과 안면인식 알람 방식 중 어느 하나를 사용할지를 미리 설정해놓을 수 있는 데, 도 3에서는 안면인식 알람 방식이 설정된 경우를 전제로 하여 설명한다.

도 3을 참조하면, 알람 제어 장치는 300단계에서 사용자에 의해 설정된 알람 시각이 도래하는지를 판단한다. 판단 결과 알람 시각이 도래한 경우 310단계에서 알람을 발생한다. 이때, 알람 제어 장치는 안면인식 알람 방식이 설정된 경우 자동으로 영상 입력부(100)를 구동한다. 이어, 알람 제어 장치는 320단계에서 영상 입력부(100)를 통해 사용자에 대한 영상이 입력되는지를 판단한다. 만일 사용자가 영상 입력부(100)를 통해 자신의 얼굴을 촬영한 경우에는 알람 제어 장치는 330단계에서 촬영을 통해 입력된 영상에서 얼굴 영역을 인식하고, 340단계에서 인식된 얼굴 영역에서 눈 영역을 검출한다.

여기서, 얼굴 영역의 인식을 위해 미리 저장해놓은 사용자의 얼굴 영상과 촬영한 사용자의 얼굴 영상을 비교 분석함으로써 입력된 영상에서 얼굴 영역을 검출할 수 있다. 이렇게 얼굴 영역이 추출되면 눈 영역의 위치는 고정적이므로 얼굴 영 역을 검출함과 동시에 눈 영역도 함께 검출할 수 있음은 물론이다. 다르게는 연속하여 촬영한 영상 간의 차이 영상을 이용하여 얼굴 영역 및 눈 영역을 검출하는 방식 등 입력된 영상에서 얼굴 영역 및 눈 영역을 검출하는 방식이면 본 발명에서 제시되지 않는 다른 기술을 적용해도 무방하다.

이와 같이 눈 영역이 검출되면 알람 제어 장치는 350단계에서 알람 제어에 해당하는지를 판단한다. 구체적으로, 알람 제어 장치는 검출되는 눈 영역 이미지가 사용자가 눈을 뜨고 있는 상태에 해당하는 이미지이면서 그 이미지가 미리 정해진 시간동안 지속적으로 입력되는 경우에는 사용자가 잠을 깼다고 판단한다. 즉, 알람 제어 장치는 알람 제어에 해당하는 사용자의 눈 뜬 이미지가 입력되었다고 판단한다.

이에 따라 알람 제어에 해당하는 경우에는 알람 제어 장치는 355단계에서 옵션 기능이 설정되어 있는지를 판단한다. 만일 옵션 기능이 설정되어 있는 경우에는 도 4의 제어 흐름의 400단계로 진행하는 데, 도 3 및 도 4에서 355단계와 400단계가 연결되어 있음을 나타내기 위해 심볼 A를 사용하였다. 이 옵션 기능은 사용자가 알람 해제를 위한 시간 동안에만 눈을 떴다가 다시 감는 것에 대비하기 위한 기능으로, 사용자의 추가적인 집중력을 요구한다. 이러한 옵션 기능이 설정되어 있지 않은 경우에는 알람 발생 장치는 사용자가 눈 뜬 상태인지만을 파악하고, 알람 제어에 해당하는 눈을 뜬 상태인 경우 360단계로 진행하여 알람 발생을 중지한다.

이와 달리 옵션 기능이 설정되어 있는 경우 알람 제어 장치는 400단계에서 옵션 기능 중의 하나로 따라하기 기능이 설정되어 있는지를 판단한다. 판단 결과 따라하기 기능이 설정되어 있는 경우 410단계에서 따라하기 퀴즈를 화면에 출력하고 420단계에서 정답이 입력되는 경우에 한해 430단계에서 알람 발생을 중지한다.

상기한 바와 같은 본 발명에 따르면 사용자가 반드시 두 눈을 뜬 채로 카메라를 향해 응시해야 하므로 잠결에 자신도 모르게 알람을 끄는 경우를 방지할 수 있게 된다. 게다가 본 발명에서는 미리 설정된 시간 동안 사용자로 하여금 눈을 뜨고 있도록 함으로써 잠에서 깨어나게 하고자 하는 알람 기능의 효용성을 극대화시킬 수 있게 된다.

도 1은 본 발명의 실시예에 따른 알람 제어 장치의 내부블록 구성도,

도 2는 본 발명에서 이용되는 얼굴 영상에 대한 예시도,

도 3 및 도 4는 본 발명의 실시예에 따라 안면인식을 이용한 알람 제어 장치에서의 동작흐름도.

Claims

이동 통신 단말에 있어서,

사용자의 얼굴 영상을 획득하는 영상 입력부와,

어플리케이션과 연계된 정보를 출력하는 표시부 및

상기 어플리케이션 구동 중에 상기 영상 입력부를 통해 획득된 얼굴 영상으로부터 눈 영역을 검출하여, 미리 정해진 시간 동안 상기 눈 영역이 눈 뜬 상태로 검출되는지에 따라 상기 어플리케이션을 유지하거나 중지하도록 동작하는 제어부를 포함함을 특징으로 하는 이동 통신 단말.
제1항에 있어서,

사용자 입력을 수신하는 입력부를 더 포함하고,

상기 제어부는 상기 어플리케이션이 구동 중에 상기 사용자 입력을 수신하면 상기 사용자 입력에 대응하여 상기 어플리케이션을 중지하도록 함을 특징으로 하는 이동 통신 단말.
제1항에 있어서,

어플리케이션 설정 관련 정보, 상기 사용자가 눈을 뜨고 있어야 하는 지속 시간을 나타내는 상기 미리 정해진 시간, 상기 사용자 얼굴을 촬영한 영상 중 적어도 하나를 저장하는 메모리를 더 포함함을 특징으로 하는 이동 통신 단말.
제1항에 있어서, 상기 어플리케이션은 알람 어플리케이션인 것을 특징으로 하는 이동 통신 단말.
제3항에 있어서, 상기 제어부는,

상기 미리 정해진 시간 동안 촬영되는 영상과 미리 저장된 영상을 비교함으로써 상기 눈 영역을 검출함을 특징으로 하는 이동 통신 단말.
제1항에 있어서, 상기 제어부는,

상기 미리 정해진 시간 동안 지속적으로 촬영되는 두 영상들간의 차이 영상을 사용하여 상기 눈 영역을 검출함을 특징으로 하는 이동 통신 단말.
이동 통신 단말에서 어플리케이션 제어 방법에 있어서,

어플리케이션 구동 중에 사용자의 얼굴 영상을 획득하는 과정과,

상기 획득된 얼굴 영상으로부터 눈 영역을 검출하는 과정과,

미리 정해진 시간 동안 상기 눈 영역이 눈 뜬 상태로 검출되는지에 따라 상기 어플리케이션을 유지시키거나 중지시키는 과정을 포함함을 특징으로 하는 이동 통신 단말에서 어플리케이션 제어 방법.
제7항에 있어서,

상기 어플리케이션이 구동 중에 사용자 입력을 수신하면 상기 사용자 입력에 대응하여 상기 어플리케이션을 중지하는 과정을 더 포함함을 특징으로 하는 이동 통신 단말에서 어플리케이션 제어 방법.
제7항에 있어서,

어플리케이션 설정 관련 정보, 상기 사용자가 눈을 뜨고 있어야 하는 지속 시간을 나타내는 상기 미리 정해진 시간, 상기 사용자 얼굴을 촬영한 영상 중 적어도 하나를 저장하는 과정을 더 포함함을 특징으로 하는 이동 통신 단말에서 어플리케이션 제어 방법.
제7항에 있어서, 상기 어플리케이션은 알람 어플리케이션인 것을 특징으로 하는 이동 통신 단말에서 어플리케이션 제어 방법.
제9항에 있어서, 상기 눈 영역을 검출하는 과정은,

상기 미리 정해진 시간 동안 촬영되는 영상과 미리 저장된 영상을 비교함으로써 상기 눈 영역을 검출하는 과정임을 특징으로 하는 이동 통신 단말에서 어플리케이션 제어 방법.
제7항에 있어서, 상기 눈 영역을 검출하는 과정은,

상기 미리 정해진 시간 동안 지속적으로 촬영되는 두 영상들간의 차이 영상을 사용하여 상기 눈 영역을 검출하는 과정임을 특징으로 하는 이동 통신 단말에서 어플리케이션 제어 방법.