KR20130123316A

KR20130123316A - 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법

Info

Publication number: KR20130123316A
Application number: KR1020130046000A
Authority: KR
Inventors: 김홍일; 손병준; 홍태화
Original assignee: 삼성전자주식회사
Priority date: 2012-05-02
Filing date: 2013-04-25
Publication date: 2013-11-12

Abstract

본 발명은 입력 영상에서 얼굴 또는 눈을 검출하여 이동 단말을 제어할 수 있는 방법을 제공한다. 이를 위해 본 발명은, 상기 이동 단말의 전면에 구비된 영상 입력부를 통해 전방을 촬영한 영상이 입력되면, 입력된 영상에 대해 얼굴 인식을 수행하여 인실 결과를 근거로 사용자 존재 유무, 사용자의 얼굴 방향, 이동 단말과의 거리, 사용자의 얼굴 위치 등을 포함하는 사용자 상태 정보를 판단하고, 그 사용자 상태 정보에 따라 미리 정해진 이동 단말의 기능을 수행하는 과정으로 이루어진다. 이렇게 함으로써, 사용자로부터의 직접적인 입력없이도 이동 단말의 기능을 제어할 수 있게 된다.

Description

사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING MOBILE TERMINAL BASED ON FACE RECOGNIZATION RESULT}

본 발명은 영상 처리 장치 및 방법에 관한 것으로, 특히 영상 입력부를 통해 입력된 영상 내에서 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법에 관한 것이다.

최근 이동 단말기에서 제공하는 다양한 서비스 및 부가 기능들이 점차 확대되고, 그 중에서도 카메라 기능은 필수적인 기능으로 여겨지고 있다. 이러한 이동 단말기의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 카메라를 구비한 이동 단말기와 이러한 이동 단말기의 다양한 서비스 및 부가 기능들을 접목시키는 활용이 필요하다. 이러한 활용의 한 예로써, 이러한 카메라를 통해 입력되는 영상을 이용하여 얼굴을 인식하는 기술이 있다. 이러한 얼굴 인식 기술은 표정 연구, 운전자 졸음 감지, 출입 관리 등의 많은 응용 분야에서 매우 중요하게 인식되고 있다.

이러한 얼굴 인식의 방법들 중에는 카메라로부터의 영상에서 사용자의 안면, 눈, 입, 턱, 눈썹, 얼굴의 윤곽 등과 같은 특징들 중에서 3개 이상의 특징을 식별한 후, 기준 방향에 대해서 상기 영상의 회전 방향을 결정하고, 결정된 회전 방향으로 디스플레이하는 기술이 있다. 또한, 전면 카메라부를 통해 사용자 얼굴의 윤곽, 눈, 턱, 입의 위치를 인식한 후 두 눈을 잇는 양안선의 회전 각도를 산출하여 표시 정보의 표시 방향을 결정하여 표시하는 기술이 있다. 그런데 얼굴 인식을 위해서는 영상에서 얼굴, 눈, 입, 턱 등의 다수의 얼굴 구성 요소나 얼굴에서 발생하는 특징의 정확한 위치를 검출하는 과정이 필요하다.

상기한 바와 같이 종래에는 대부분 사용자 얼굴과 함께 눈, 입, 턱 등의 얼굴 구성 요소를 검출하는 것을 전제로 하므로, 다른 객체로 인해 얼굴이 가려지거나 카메라 화각에 따라 일부분의 얼굴만 캡쳐되는 등의 영상에서는 사용자 얼굴이 검출되지 않아 정상적인 얼굴 인식 결과를 얻을 수 없을 뿐만 아니라 얼굴 검출 결과에 대응하는 기능이 정상적으로 수행될 수 없게 된다.

게다가 얼굴 인식 기술에 있어서 정확한 얼굴 인식을 위해서는 눈의 위치를 정확하게 검출하는 기법이 전제가 되어야 한다. 하지만 종래에는 얼굴 영상 내의 눈 위치를 검출하는 방법에 초점을 맞추고 있으므로, 얼굴 검출이 되지 않은 상황을 고려하지 않고 있다. 따라서 얼굴 검출이 되지 않은 상황에서도 눈 위치를 정확하게 검출할 필요성이 있다.

또한 종래에는 사용자가 이동 단말에게 원하는 동작이 수행되도록 하기 위해서는 키패드, 터치스크린 등과 같은 하드웨어적인 사용자인터페이스를 이용할 수 밖에 없었다. 만일 사용자의 직접적인 입력없이 눈 검출을 통해 이동 단말의 제어가 가능하다면 사용자 경험을 향상시킬 수 있을 것이다.

따라서 본 발명은 사용자로부터의 직접적인 입력없이 입력 영상에서 얼굴 또는 눈을 검출하여 이동 단말을 제어할 수 있는 장치 및 방법을 제공한다.

또한 본 발명은 입력 영상에서 얼굴 검출이 되지 않은 상태에서도 눈 검출을 통해 이동 단말을 제어할 수 있는 장치 및 방법을 제공한다.

또한 본 발명은 입력 영상에 존재하는 일부분의 얼굴에 대해서도 얼굴 검출을 수행하기 위한 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치에 있어서, 영상 입력부와, 상기 영상 입력부를 통해 입력 영상이 수신되면, 상기 입력 영상에 대해 얼굴 또는 눈 검출을 수행하는 영상 처리부와, 상기 영상 처리부로부터의 얼굴 인식 결과 또는 눈 인식 결과를 근거로 사용자 상태 정보를 판단하고, 상기 사용자 상태 정보에 대응하여 미리 정해진 이동 단말의 기능을 수행하도록 제어하는 제어부를 포함함을 특징으로 한다.

또한 본 발명은 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법에 있어서, 미리 설정된 이벤트 발생 시 상기 이동 단말에 장착된 영상 입력부를 구동하는 과정과, 상기 영상 입력부를 통해 입력 영상이 수신되면, 상기 입력 영상에 대해 얼굴 검출을 수행하는 과정과, 상기 얼굴 검출이 이루어지지 않으면 상기 입력 영상에 대해 눈 검출을 수행하는 과정과, 상기 영상 처리부로부터의 얼굴 인식 결과 또는 눈 인식 결과를 근거로 사용자 상태 정보를 판단하는 과정과, 상기 사용자 상태 정보에 대응하여 미리 정해진 이동 단말의 기능을 수행하는 과정을 포함함을 특징으로 한다.

본 발명에 따르면, 사용자가 미리 설정한 셋팅에 따라 이동 단말이 제어되는 것이 아니라 입력 영상의 분석을 통해 사용자의 얼굴 방향뿐만 아니라 사용자 존재 유/무, 이동 단말과 사용자와의 거리와 같은 사용자 상태 분석을 통하여 지능적으로 하드웨어 및 소프트웨어를 제어함으로써 사용자 편의성을 높이는 효과가 있다.

또한 본 발명에 따르면, 얼굴이 검출되지 않는 상황에서는 눈을 검출하여 상기 검출된 눈 정보를 이용하여 사용자의 존재 유/무를 판단하고 상기 판단 결과에 따라 표시부 상의 화면 조명 시간 연장 및 화면 꺼짐을 제어할 뿐만 아니라 동영상 플레이 시 화면 일시정지 기능을 사용자에게 제공할 수 있다.

또한 본 발명에 따르면, 이동 단말에서 획일적인 제어 방식을 개선하여 상기 검출된 눈 정보로부터 이동 단말에서의 얼굴 방향을 추정하여 화면 회전 기능을 지능적으로 제어하고, 눈의 크기 변화에 따라 이동 단말의 볼륨을 지능적으로 제어할 수 있는 서비스를 제공하는 등의 이동 단말을 이용함에 있어 편의성 향상을 도모할 수 있다. 이에 따라 사용자 입장에서는 이동 단말의 기능을 용이하면서도 직관적으로 이용할 수 있어 사용자 경험을 향상시킬 수 있게 된다.

또한 본 발명에 따르면, 영상에 부분 얼굴이 존재할 지라도 그 부분 얼굴에 대한 얼굴 검출을 수행할 수 있어, 오검출의 영향도 크게 줄이면서 가장자리에 나타나는 부분 얼굴의 검출도 가능하여 사용자에게 얼굴 검출 결과에 대응하는 원활한 기능을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 이동 단말의 내부 블록 구성도,
도 2는 본 발명의 실시예에 따른 이동 단말에서의 동작 과정을 나타낸 도면,
도 3은 상기 도 2의 얼굴 검출 및 눈 검출의 상세 과정을 나타낸 도면,
도 4는 본 발명의 실시예에 따른 얼굴 방향에 따라 얼굴을 검출하는 방법을 설명하기 위한 예시도,
도 5는 본 발명의 실시예에 따른 눈 검출하는 방법을 설명하기 위한 예시도,
도 6은 본 발명의 실시예에 따른 눈 후보 영역을 검출하는 방식을 설명하기 위한 예시도,
도 7은 본 발명의 실시예에 따른 입력 영상에서 얼굴이 존재할 수 있는 위치에 대한 예시를 나타낸 도면,
도 8은 본 발명의 실시예에 따른 영상 프레임에서 얼굴 판단 영역을 이용한 스캐닝 방법을 설명하기 위한 도면,
도 9는 본 발명의 실시예에 따른 영상 프레임의 스케일에 따른 얼굴 판단 영역의 이동을 예시한 도면,
도 10은 본 발명의 실시예에 따른 영상 프레임의 가장자리에서의 얼굴 판단 영역과 그 영상 프레임 간의 위치 관계를 예시한 도면,
도 11a는 본 발명의 실시예에 따른 영상 프레임의 우측 가장자리에 치우친 상태로 부분 얼굴이 존재하는 경우를 예시한 도면,
도 11b는 본 발명의 실시예에 따른 스캐닝 위치에 따른 얼굴 판단 영역에 포함된 얼굴 영상을 예시한 도면,
도 11c는 본 발명의 실시 예에 따른 미러링 방식에 의해 보정된 영상을 예시한 도면,
도 12는 본 발명의 실시 예에 따른 미러링 방식을 설명하기 위한 도면,
도 13은 본 발명의 실시 예에 따라 영상 프레임의 하단 또는 우측 하단 코너에 부분 얼굴이 존재하는 경우를 예시한 도면,
도 14에서는 본 발명의 실시 예에 따라 미리 정의된 얼굴 템플릿들을 예시한 도면,
도 15는 본 발명의 일실시 예에 따른 영상 보정 방법을 나타내는 흐름도,
도 16은 본 발명의 다른 실시 예에 따른 영상 보정 방법을 나타내는 흐름도,
도 17은 본 발명의 또다른 실시 예에 따른 영상 보정 방법을 나타내는 흐름도.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 입력 영상에서 얼굴 또는 눈을 검출하여 이동 단말을 제어할 수 있는 방법을 제공한다. 이를 위해 본 발명은, 상기 이동 단말의 전면에 구비된 영상 입력부를 통해 전방을 촬영한 영상이 입력되면, 입력된 영상에 대해 얼굴 인식을 수행하여 인식 결과를 근거로 사용자 존재 유무, 사용자의 얼굴 방향, 이동 단말과의 거리, 사용자의 얼굴 위치 등을 포함하는 사용자 상태 정보를 판단하고, 그 사용자 상태 정보에 따라 미리 정해진 이동 단말의 기능을 수행하는 과정으로 이루어진다. 이렇게 함으로써, 사용자로부터의 직접적인 입력없이도 이동 단말의 기능을 제어할 수 있게 된다.

상기한 바와 같이 기능이 구현된 이동 단말의 구성 요소 및 그 동작을 도 1을 참조하여 살펴보기로 한다. 도 1은 본 발명의 바람직한 실시예에 따른 이동 단말의 구성을 나타내는 도면이다. 이동 단말은 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북, 랩탑, 태블릿(Tablet) PC, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있다.

도 1을 참조하면, 이동 단말은 크게 영상 입력부(100), 영상 처리부(105), 제어부(120), 메모리(130), 표시부(140) 및 통신부(150)를 포함한다. 이외에 이동 단말은 마이크 등의 구성부를 더 포함할 수 있으나, 이하에서는 본 발명과 관련된 구성부들에 대해서만 설명하기로 한다.

영상 입력부(100)는 이동 단말의 전면에 장착되며, 사용자 방향을 향하므로 사용자의 얼굴을 촬영하는 역할을 한다. 이러한 영상 입력부(100)의 예로는, 렌즈계, 이미지 센서, 플래쉬 등을 포함하는 카메라가 해당할 수 있다. 사용자는 영상 입력부(100)를 통해 동영상 또는 정지 영상을 촬영할 수 있으며, 전방 또는 사용자를 촬영한 영상 신호는 영상 처리부(105)로 전달된다. 정지 영상 또는 동영상을 구성하는 한 영상을 처리하는 경우에 있어서, M×N 행렬(matrix) 구조로 배치된 복수의 화소(pixel) 유닛을 구비하는 상기 이미지 센서로부터 출력되는 영상 신호는 상기 화소 유닛들로부터 출력되는 전압들(즉, 화소 값들)의 집합으로 구성된다.

이러한 영상 입력부(100)로부터 출력되는 영상 신호는 하나의 프레임(즉, 정지 영상)을 나타낸다. 또한, 상기 프레임은 M×N 화소로 구성된다. 상기 이미지 센서로는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등을 사용할 수 있다.

이때, 일반적으로 영상 입력부(100)를 통해 촬영되는 영상은 프리뷰를 위해 표시부(140) 상에 표시되나, 본 발명의 실시예에서는 사용자가 이동 단말의 기능 또는 특정 어플리케이션을 사용하고 있는 상태에서 얼굴 검출 결과 또는 눈 검출 결과를 이용하여 이동 단말의 특정 기능을 지능적으로 제어하는 것이므로, 입력 영상이 표시부(140) 상에 표시되지 않을 수 있다. 이에 따라 사용자가 자신이 촬영되고 있음을 인지하지 못하더라도 이동 단말과 사용자 간의 거리, 눈의 크기 등을 사용자가 조절할 수 있어 이동 단말의 제어를 위한 직관적인 입력이 가능하다.

영상 처리부(105)는 프레임 단위로 영상을 처리하여 촬영된 영상에 대한 얼굴 인식을 수행한다. 여기서, 얼굴 인식은 사진 촬영과 같은 정지 화상뿐만 아니라, 동영상에 대해서도 적용될 수 있다. 예를 들어, 동영상의 경우 연속적인 정지 영상 프레임으로 구성되는 것이므로, 얼굴 인식을 위해 정지 영상 프레임이 사용될 수 있다.

이러한 영상 처리부(105)는 입력 영상에 얼굴 영상이 포함되어 있을 경우 얼굴 영상을 추출하여 인식하고, 얼굴 영상이 포함되어 있지 않을 경우 입력 영상에서 눈을 검출하여 인식을 수행한다. 이를 위해 영상 처리부(105)는 크게 얼굴 검출부(110)와 눈 검출부(115)를 포함하여 구성될 수 있다. 이러한 얼굴 검출부(110)에서의 구체적인 동작 설명은 후술하기로 한다.

이때, 얼굴 인식의 수행은 이동 단말에 구비된 얼굴 인식 알고리즘에 기반하며, 피사체의 얼굴 전체 윤곽 정보를 이용하여 식별하는 방법을 사용하거나 얼굴 피부의 색상 및/또는 질감, 템플릿(template) 등을 이용한 얼굴 추출 기술이 이용될 수 있다. 예를 들어, 영상 처리부(105)는 다수의 얼굴 영상을 통해 얼굴 학습을 수행하고, 축적된 얼굴 학습 데이터를 이용하여 입력된 영상 프레임으로부터 얼굴 영상을 검출할 수 있다.

또한, 눈 인식의 수행도 눈 인식 알고리즘에 기반하며, 일반적으로 눈 검출은 얼굴을 먼저 검출한 후 검출된 얼굴 영역의 제한된 영역 내에서 눈을 검출한다. 또한, 입력 영상에서 좌우 눈의 쌍을 이용하여 눈을 검출하는 기술이 이용될 수 있다. 특히 본 발명의 실시예에서는 입력 영상에서 얼굴이 검출되지 않은 경우에 입력 영상 전체 또는 미리 정해진 관심 영역 내에서 눈 검출을 수행하는 방법을 이용한다.

메모리(130)는 이동 단말의 운영 시스템, 다양한 어플리케이션들, 이동 단말로 입력되는 정보, 데이터, 파일 등과 그 내부에서 생성되는 정보, 데이터, 파일 등을 저장한다. 예를 들어, 메모리(130)는 사진, 동영상 등과 같은 영상을 저장하며, 영상 입력부(100)를 통해 입력되는 피사체 얼굴을 인식하기 위한 얼굴 인식 알고리즘 및 얼굴 인식에 사용되는 데이터 등을 저장한다. 예를 들어, 얼굴 검출에 사용할 얼굴에 대한 정보와, 얼굴 인식에 사용할 미리 등록된 사용자별 얼굴 특징 정보들을 저장할 수 있다. 이와 같이 메모리(130)에 저장되는 얼굴 검출에 사용할 얼굴 정보는 반복되는 얼굴 인식에 의하여 그 정보가 학습되어 업데이트될 수 있다.

표시부(140)는 제어부(120)로부터 입력된 영상 신호에 따른 영상을 표시함과 동시에 사용자 입력 데이터를 수신하여 상기 제어부(120)로 출력할 수 있다. 상기 표시부(140)는 LCD(liquid crystal display), OLED(Organic Light Emitting Diodes), LED 등과 같은 디스플레이 유닛과, 디스플레이 유닛의 아래 또는 위에 배치되는 터치 패널을 포함할 수 있다. 상기 터치 패널은 사용자 입력을 감지한다. 상기 터치 패널은 사용자 입력 수단(예를 들어, 손가락, 스타일러스 펜(stylus pen) 등)이 표시부의 표면을 누르면, 입력 위치(또는 좌표) 및/또는 입력 상태(마우스 다운, 마우스 업, 마우스 이동 등)에 대한 정보를 갖는 감지 신호(또는 터치 감지 신호)를 출력한다. 예를 들어, 사용자는 상기 표시부(140)의 화면(즉, 상기 표시부(140)의 표면)에 표시된 다양한 실행 가능한 아이템을 터치하여 상기 아이템과 관련된 애플리케이션을 실행한다. 상기 표시부(140)는 사용자의 입력을 수신하는 수단이며, 카메라 애플리케이션, 화상 통신 애플리케이션 등의 애플리케이션과 관련된 화면들을 출력한다. 본 예에서, 표시부의 예로서 터치스크린을 들고 있으나, 표시부는 통상의 디스플레이 유닛만으로 구성될 수도 있다.

통신부(150)는 제어부(120)에 의해 생성된 메시지, 데이터, 파일 등을 유선 또는 무선으로 전송하거나, 유선 또는 무선으로 메시지, 데이터, 파일 등을 수신하여 상기 제어부(120)로 출력한다.

센서부(160)는 이동 단말의 위치, 방위, 움직임을 감지하는 센서로서, 가속도계(accelerometer), 자이로스코프(gyroscope), 충격 센서(shock sensor), 기울기 센서 (tilt sensor) 등의 관성 센서, 고도계, 중력 센서, 지자기 센서, 또는 이들의 조합으로 구현될 수 있다. 물론, 본 발명이 이에 한정되는 것은 아니며, 센서부(160)는 이동 단말의 회전 방향, 움직임 방향 또는 기울어짐을 감지할 수 있는 다른 유형의 센서로 구현될 수도 있다.

스피커(170)는 제어부(120)로부터 입력된 음성 신호(또는 음성 데이터)를 대기로 출력하며, 제어부(120)의 제어하에 얼굴 방향에 따라 스테레오 음성의 좌, 우 출력을 다르게 하여 음성 신호를 출력한다. 다르게는 제어부(120)의 제어하에 눈 크기에 따라 볼륨 크기를 다르게 하여 음성 신호를 출력한다.

제어부(120)는 중앙처리장치로서 이동 단말의 전반적인 동작을 제어하고, 본 발명에 따른 사용자의 얼굴 분석 결과에 따른 이동 단말의 기능 제어 방법을 수행하는 역할을 한다. 이러한 제어부(120)는 터치스크린 형태의 표시부(140) 뿐만 아니라 영상 입력부(100)를 통해 수신되는 다양한 사용자 입력을 검출할 수 있다. 상기 사용자 입력은 상기 터치뿐만 아니라, 사용자의 제스처(gesture), 눈동자 움직임 등 상기 장치(100) 내로 입력되는 다양한 형태의 정보를 포함할 수 있다. 제어부(120)는 상기 검출된 사용자 입력에 대응하는 미리 정해진 동작 또는 기능이 이동 단말 내에서 수행되도록 제어할 수 있다.

구체적으로, 제어부(120)는 영상 처리부(105)로부터의 얼굴 및/또는 눈 검출 결과를 이용하여 얼굴 또는 눈 각각의 크기, 위치 및 각도를 추정한다. 이에 따라 제어부(120)는 얼굴 및/또는 눈 검출 결과를 이용하여 사용자 상태 정보를 판단할 수 있다. 여기서, 사용자 상태 정보란 사용자 존재 유무, 사용자의 얼굴 방향, 이동 단말과 사용자 간의 상대적 거리, 사용자의 얼굴 위치 중 적어도 하나를 포함한다.

구체적으로, 제어부(120)는 입력 영상에서 얼굴 검출 또는 눈 검출 유무에 따라 사용자의 존재 유무를 판단하며, 화면에서 얼굴 또는 눈이 차지하는 비율 즉, 얼굴 크기 또는 눈 크기에 따라 이동 단말과 사용자 간의 상대적 거리를 추정한다. 또한 제어부(120)는 입력 영상의 상, 하, 좌, 우 방향 예컨대, 0°, 90°, 180°, 270°중 얼굴이 검출된 각도 및 위치를 이용하여 사용자의 얼굴 방향과 사용자의 얼굴 위치를 판단한다. 또한 제어부(120)는 입력 영상에서 얼굴이 검출되지 않더라도 눈 위치 및 각도에 따라 사용자의 얼굴 방향과 사용자의 얼굴 위치를 판단할 수도 있다.

이어, 제어부(120)는 사용자 상태 정보에 따라 미리 정해진 기능이 수행되도록 제어한다. 본 발명에서는 사용자 상태 정보에 따라 미리 정해진 기능을 다음과 같은 실시예들로 구분하여 설명할 수 있다.

본 발명의 제1실시예에 따르면, 사용자가 이동 단말을 사용하는 도중에 미리 지정된 시간이 경과하면 제어부(120)는 표시부(140)를 오프하고 화면 잠금 모드를 수행한다. 이와 같이 화면 잠금 모드가 실행되면, 제어부(120)는 영상 입력부(100)를 구동하여 전방을 촬영하도록 제어하며, 영상 처리부(105)로부터 얼굴 검출 또는 눈 검출 결과를 제공받아 사용자 존재 유무를 판단하여, 만일 사용자가 이동 단말의 전방에 존재한다고 판단되면 화면 잠금을 해제하도록 제어한다. 이후에는 상기 미리 지정된 시간이 경과하더라도 제어부(120)는 입력 영상에서 사용자의 얼굴이 검출되는 한 표시부(140)를 온 상태로 유지한다. 이러한 경우에는 매번 화면 잠금을 해제하기 위해 특정키, 비밀번호, 잠금 패턴 등의 별도의 입력을 하지 않아도 되므로, 사용자의 편의성이 증대되게 된다. 이와 달리 사용자가 이동 단말의 전방에 존재하지 않는다고 판단되면 제어부(120)는 화면 잠금 상태를 유지한다.

이와 같이 본 발명의 제1실시예에 따르면 제어부(120)는 표시부(140) 상의 화면 조명 시간 연장 및 화면 잠금을 제어할 수 있다. 예를 들어, 사용자가 동영상을 시청 중이다가 잠시 자리를 비우게 되더라도, 사용자가 직접 일시정지 기능을 선택하지 않는 한 동영상이 계속적으로 재생되게 된다. 하지만 본 발명에 따르면, 입력 영상에서는 얼굴 및 눈이 검출되지 않아 사용자의 존재가 없다고 판단되므로 제어부(120)는 별도의 키입력 없이도 일시정지 기능을 수행할 수 있다.

본 발명의 제2실시예에 따르면, 제어부(120)는 센서부(160)를 통해 이동 단말의 회전이 감지되면, 영상 입력부(100)를 구동한다. 이어, 영상 처리부(105)로부터 제공된 얼굴 및/또는 눈 검출 결과를 이용하여 사용자의 얼굴 방향을 판단한다. 이에 따라 제어부(120)는 사용자의 얼굴 방향에 따라 화면의 표시 방향을 결정한다. 즉, 이동 단말이 회전되었더라도 사용자의 얼굴 방향을 우선으로 화면 표시 방향이 정해지므로, 사용자 입장에서는 항상 사용자 방향의 화면을 볼 수 있게 된다. 이와 같이 본 발명의 제2실시예에 따르면, 화면 회전 기능을 지능적으로 제어할 수 있다.

본 발명의 제3실시예에 따르면, 제어부(120)는 사용자의 얼굴 방향에 따라 스피커(170)를 통한 스테레오 음성의 좌, 우 출력을 변경할 수 있다.

본 발명의 제4실시예에 따르면, 화상 통화 또는 동영상 재생 시 제어부(120)는 얼굴 크기 또는 눈 크기로부터 추정된 이동 단말과 사용자 간의 거리에 따라 음성 출력을 변경할 수 있다.

상기한 바와 같이 본 발명의 실시예들에 따르면, 사용자의 직접적인 입력없이도 사용자가 이동 단말을 사용하고 있는 상태라면 사용자 입장에서는 직관적인 제어가 가능하며, 이동 단말 입장에서는 지능적인 제어가 가능하게 된다.

도 2는 본 발명의 실시예에 따른 이동 단말에서의 동작 과정을 나타낸 도면이다.

도 2를 참조하면, 제어부(120)는 200단계에서 미리 설정된 이벤트가 발생하면, 205단계에서 영상 입력부(100)를 구동한다. 여기서, 미리 설정된 이벤트란 이동 단말의 회전, 흔들림, 조도 변화, 호 착신, 문자 메시지 수신, 스마트폰 어플리케이션에서 발생한 통지 등 이동 단말의 하드웨어 및 소프트웨어의 변화를 모두 포함한다.

이어, 210단계에서 영상 처리부(105)에서는 영상 입력부(100)를 통해 입력되는 초기 영상 프레임을 폐기한 후 이어서 들어오는 입력된 영상에 대한 얼굴 인식을 수행한다. 이때, 영상 입력부(100)의 구동 후 입력된 초기 영상은 노출, 포커스, 화이트 밸런스 등을 포함한 카메라 파라미터가 주위 환경에 맞게 셋팅이 완료된 상태가 아니기 때문에 영상이 어둡고 초점이 맞지 않을 수 있으므로, 초기 입력 영상 중 하나 또는 수 개의 영상 프레임을 스킵(skip) 처리하고 자동 세팅이 완료된 이후의 영상 프레임을 얼굴 인식에 이용하는 것이 바람직하다.

만일 215단계에서 영상 처리부(105)는 입력 영상에서 얼굴 인식 알고리즘을 이용한 얼굴 검출이 성공적이면 225단계로 진행한다. 이와 달리 215단계에서 얼굴 검출이 실패하면, 영상 처리부(105)는 220단계에서 눈 검출을 수행하여 눈 검출이 성공적인지를 판단한다. 만일 눈 검출이 실패하면 210단계로 되돌아가 영상 입력부(100)를 통해 영상을 다시 입력받는다. 만일 220단계에서 눈 검출이 성공적이면 225단계에서 제어부(120)는 영상 처리부(105)로부터 제공된 얼굴 검출 결과 및/또는 눈 검출 결과를 근거로 사용자 상태 정보를 분석한다. 구체적으로, 제어부(120)는 입력 영상에 얼굴 또는 눈이 검출되면 사용자가 존재한다고 간주하고, 사용자의 얼굴 방향, 이동 단말을 바라보는 사용자의 얼굴 위치, 사용자의 얼굴 방향 및 이동 단말과의 상대적 거리 등을 분석한다.

이어, 230단계에서 분석된 사용자 상태 정보에 따라 이동 단말의 기능을 제어한다. 예를 들어, 미리 설정된 이벤트가 문자 메시지 수신일 경우 문자 메시지 수신을 화면을 통해 사용자에게 알리기 위해서는 사용자가 화면을 응시한 상태이어야 바람직하므로, 얼굴 또는 눈이 검출된 경우 제어부(120)는 문자 메시지를 표시부(140)에 표시한다.

한편, 도 2의 입력 영상에 대한 얼굴 인식 또는 눈 인식을 수행하는 부분(240)을 구체적으로 설명하기 위해 도 3을 참조한다. 도 3은 상기 도 2의 얼굴 검출 및 눈 검출의 상세 과정을 나타낸 도면이며, 본 발명의 이해를 돕기 위해 도 4 및 도 5를 참조한다. 일반적으로 사용자가 이동 단말을 사용할 때 회전 각도가 0°, 90°, 180°, 270°방향으로 주로 사용하기 때문에 도 4에 도시된 바와 같이 입력 영상에서 사용자 얼굴이 0°(400), 90°(410), 180°(415), 270°(420)방향 중 어느 한 방향에 위치할 수 있다.

도 3을 참조하면, 300단계에서 영상이 입력되면, 305단계 내지 320단계를 수행하여 영상 처리부(105)는 0°, 90°, 180°, 270°방향 중 어느 한 방향에 대해 얼굴이 검출되는지를 판단한다. 만일 0°, 90°, 180°, 270°방향 중 어느 한 방향에 대해 얼굴이 검출되면, 제어부(120)는 355단계에서 영상 처리부(105)로부터의 얼굴 검출 결과를 이용하여 얼굴 방향을 결정한다.

이와 달리 305단계 내지 320단계를 수행하여 얼굴이 검출되지 않으면 영상 처리부(105)는 325단계 내지 340단계를 수행하여 0°, 90°, 180°, 270°방향 중 어느 한 방향에 대해 눈이 검출되는지를 판단한다. 예를 들어, 영상 입력부(100)가 구동되어 촬영이 시작되더라도 프리뷰 화면 대신 현재 사용자가 이용 중인 어플리케이션 화면 등이 출력되므로, 사용자는 자신이 촬영되고 있음을 알지 못한 상태이므로 영상 입력부(100)의 촬영 범위 내에 정확하게 위치하지 못할 수 있으며, 이에 따라 도 5에 도시된 바와 같이 얼굴의 일부(500, 515, 520)만이 촬영될 수 있다.

이러한 경우에는 입력 영상에서 얼굴 검출이 이루어지지 않더라도 눈(505, 515, 525)의 검출을 가능하다. 이때, 도 5에 도시된 바와 같이 일부의 얼굴(520)에서 좌/우 양안(525)이 존재하는 영상이 촬영될 수 있으나, 참조번호 500 및 515에서와 같이 단안(505, 515)이 존재하는 영상이 촬영될 수도 있다. 따라서 본 발명에서는 좌/우 양안 뿐만 아니라 단안에 대해서도 눈 검출이 가능한 방법을 제안한다.

이러한 눈 검출을 위한 방법은 후술하기로 한다. 만일 0°, 90°, 180°, 270°방향 중 어느 한 방향에 대해 눈이 검출되면 제어부(120)는 350단계에서 얼굴의 상 또는 하 방향을 판단한다. 이어, 355단계에서 얼굴 방향을 결정하여, 360단계에서 결정된 얼굴 방향에 따라 표시 방식의 회전 여부를 판단한다. 예를 들어, 사용자 얼굴이 도 4의 180°(415)방향에서 검출되면 사용자가 이동 단말의 상단 쪽에 위치하고 있는 상태이며, 이동 단말의 화면이 사용자 입장에서는 거꾸로인 상태이다. 따라서 본 발명에 따르면, 사용자 얼굴이 검출된 방향으로 이동 단말의 화면 표시를 회전(rotating)시킬 수 있다. 즉, 이동 단말의 화면이 사용자 얼굴 방향으로 회전되어 표시된다.

한편, 눈 검출은 다음과 같은 방법을 이용하여 수행되는데, 피부색, 눈 템플릿 등을 이용한 눈 검출 기술이 이용될 수 있다. 특히 본 발명의 실시예에서는 입력 영상에서 좌/우 양안 뿐만 아니라 단안에 대해서도 눈 검출이 가능한 방법을 제안한다.

구체적으로, 영상 처리부(105)는 입력 영상 전체 또는 미리 정해놓은 관심 영역에서 눈 검출을 수행한다. 이때, 눈 검출 속도를 줄이기 위해서 이전 영상 프레임에서 얻은 눈 검출 위치를 기반으로 국부적인 눈 검출을 수행할 수도 있다. 또한, 피부색을 이용하여 눈 검출을 수행할 수도 있으며, 피부색을 이용한 눈 검출 방법은 도 6을 참조하여 설명한다.

영상 처리부(105)는 눈 인식 알고리즘을 통해 하나 이상의 눈 후보 영역을 검출한다. 예를 들어, 입력 영상을 이진화하는 등의 과정을 거쳐 눈의 후보가 될 수 있는 폐곡선을 추출하거나, 얼굴에서 눈의 밝기는 검은 동공을 가지지 않은 서양인의 경우라 하더라도 입력 영상에서의 그 컬러 특성은 강한 회색(strong gray) 성향을 나타낸다는 특징을 이용하여 눈 후보 영역을 검출한다. 이때, 일반적인 검출된 얼굴 영역에서 눈 검출을 수행하는 방법에 비해 하나 이상의 눈 후보 영역이 검출될 수 있으며, 검출된 눈 후보 영역 중 일부는 실제 눈이 아닌 영역일 수 있다.

따라서 본 발명의 실시예에서는 눈 인식 알고리즘을 통해 하나 이상의 눈 후보 영역이 검출된 경우, 검출된 눈 후보 영역 중 오검출된 눈 영역을 제거하기 위해 피부색을 이용한 눈 검출 방법을 제안하는 것이다.

이를 위해 영상 처리부(105)는 하나 이상의 검출된 눈 후보영역의 Y, Cb, Cr 값을 이용하여 피부색의 비율과 피부색이 아닌 영역의 비율을 구한 후, 그 비율들을 이용하여 눈 검출을 수행한다. 이때, 피부색에 해당하는 Y, Cb, Cr 각각의 범위는 미리 정해놓은 임계치 Ty, B1, B2, R1, R2에 의해서 결정되며 하기 수학식 1을 만족하는 Y, Cb, Cr에 해당하는 픽셀값은 피부색 영역에 해당한다고 판단한다.

상기 미리 정해놓은 임계치는 인종, 조명 등과 같은 외부 환경에 따라 다양하게 적용될 수 있다.

여기서, 피부색과 피부색이 아닌 영역의 비율을 산출하는 방법에 대한 예시는 도 6에 도시된 바와 같다. 도 6을 참조하면, 영상 처리부(105)의 눈 검출부(115)는 눈 후보영역을 검출한 후, 상기 검출된 눈 후보영역을 가로방향으로 3개의 영역(600, 605, 610)으로 구분하고, 세로방향으로 4 개의 영역으로 구분한다. 이어, 영상 처리부(105)는 가로방향으로 3등분된 영역들(600, 605, 610) 중에서 가운데 영역(605)을 제외한 영역들(600, 610)에 대한 피부색의 비율 S을 계산하고, 가운데 영역(605)에서 세로방향으로 4등분을 한 영역들 중에 빗금친 1/4~ 3/4 영역(615)에 해당하는 부분에 대해서 피부색이 아닌 부분의 비율 NS를 계산한다. 여기서, 상기 검출된 눈 후보 영역의 Y, Cb, Cr 값을 이용하여 상기 피부색에 해당하는 픽셀값이 결정되며, 이러한 피부색을 결정하기 위한 조건은 상기 수학식 1에서 설명한 바와 같다.

이와 같은 방식을 통해 눈 후보 영역에서 피부색과 피부색이 아닌 부분의 비율 S, NS가 구해지면 피부색과 피부색이 아닌 부분의 비율 S, NS 각각을 미리 정해 놓은 임계치 Ts, Tn와 비교한다. 이러한 비교 결과가 하기 수학식 2를 만족하면 눈 검출이 성공적이라고 결정하고, 하기 수학식 2의 조건을 만족하지 않으면 오검출로 판단한다.

따라서 하나 이상의 눈 후보 영역 중에서 상기 수학식 2를 만족하는 눈 후보 영역을 최종적으로 눈이 검출된 영역으로 결정한다. 상기한 바와 같이 오검출된 눈 후보 영역을 제거하는 방법을 이용한다면 양안뿐만 아니라 단안의 경우에도 눈 검출이 용이하다. 이때, 상기 눈 후보 영역을 가로, 세로 방향으로 나눈 비율은 도 6에서의 예시에 한정되지 않는다.

예를 들어, 영상 처리부(105)는 정상적인 눈 영상과 눈으로 오검출이 빈번한 영상들을 수집하여 눈 학습을 수행하고, 눈 학습을 통해 축적된 눈 학습 데이터를 이용하여 입력 영상으로부터 눈 검출을 할 수도 있다.

이와 같이 본 발명에 따르면, 도 5에서와 같이 전체 얼굴이 검출되지 않더라도 눈 검출 여부로 사용자 존재 유부를 파악할 수 있으며, 이동 단말을 바라보는 사용자의 얼굴 방향을 추정하기 위해서 영상의 0도, 90도, 180도, 270도 방향에 대해서 순차적으로 눈 검출을 수행한다. 얼굴 검출 과정을 4 방향(상,하,좌,우)에 대하여 먼저 수행한 후 검출된 얼굴이 있을 경우에는 이를 활용하여 현재 사용자의 얼굴 방향을 판단하며, 얼굴 검출이 실패했을 경우에 눈 검출 과정을 진행한다. 이때, 얼굴검출과 마찬가지로 4 방향에 대해서 검출을 수행하며 얼굴 검출 시 이용했던 회전된 영상들을 활용함으로써 연산량을 줄인다. 4 방향에 대해서 눈 검출이 실패하면 다시 분석을 시작하고 특정 방향에서 눈 검출이 되면 얼굴 상, 하 방향을 판단하는 과정으로 진행한다.

얼굴 검출과 달리 눈 검출은 상, 하 정보를 검출 과정으로만 알 수 없기 때문에 눈 후보 영역 중에서 최종 눈 영역이 결정되더라도 추가로 방향 판단을 위한 과정이 필요하다. 예를 들어, 눈 방향을 판단함에 있어 검출된 단안 혹은 양안에 대해서 최종 눈 영역의 주변 영역의 영상을 정규화시키고 이를 활용하여 얼굴의 상, 하를 결정한다. 예를 들어, 눈과 함께 눈썹의 위치를 검출함으로써 얼굴의 상, 하를 결정할 수 있다.

한편, 전술한 바에서는 사용자 얼굴 방향을 결정하는데 있어서 얼굴 검출 또는 눈 검출 정보를 이용하는 경우를 예로 들어 설명하였으나, 센서부(160)의 센서 정보를 활용할 수도 있다. 예를 들어, 센서부(160)를 통해 이동 단말의 회전이 감지되면, 감지된 이동 단말의 회전 방향, 움직임 방향, 기울어짐 상태 등의 회전 정보를 활용할 수 있다. 이러한 경우 도 4에서와 같이 입력 영상의 4방향에 대해 얼굴 검출을 수행하지 않고 이동 단말의 회전 방향을 기준으로 한 방향에 대해 얼굴 검출을 수행할 수 있다. 이러한 경우 사용자가 화면을 보고 있는 상황에서 이동 단말만을 회전시켰을 경우 입력 영상에서의 얼굴 분석 결과는 사용자의 얼굴 방향과 이동 단말의 화면이 일치하지 않으므로 사용자 시선에 맞추도록 화면 표시 방향을 회전시킬 수 있다. 이와 달리 사용자가 이동 단말을 회전시키지는 않았으나, 사용자의 얼굴 방향이 변경되었음을 나타내는 얼굴 검출 결과가 나오는 경우 사용자 얼굴 방향에 대응하도록 화면 표시 방향이 변경될 수 있다.

한편, 전술한 바에서는 입력 영상 내에서 특정 크기의 학습된 얼굴 정보를 이용한 스캐닝을 통해 얼굴을 검출하는 경우를 예로 들어 설명하였다. 하지만, 카메라를 이용하여 촬영할 때 그 카메라의 화각 또는 얼굴과의 거리에 따라 얼굴의 일부분만이 입력 영상의 가장자리에 존재할 수 있다.

도 7은 입력 영상에서 얼굴이 존재할 수 있는 위치에 대한 예시를 나타낸 도면이다. 도 7을 참조하면, 입력 영상 내에서 좌상측에 존재하는 얼굴(700), 상측에 존재하는 얼굴(705), 우상측에 존재하는 얼굴(710), 좌측에 존재하는 얼굴(715), 중앙에 존재하는 얼굴(720), 우측에 존재하는 얼굴(725), 좌하측에 존재하는 얼굴(730), 하측에 존재하는 얼굴(735) 및 우하측에 존재하는 얼굴(740)이 포함될 수 있다. 즉, 입력 영상 내의 상, 하, 좌, 우 가장자리 및 코너 부분에서 부분적인 얼굴이 존재할 수 있다.

따라서 입력 영상 내에 도 7의 중앙에 존재하는 얼굴(720)을 제외하고는 나머지 위치(700, 705, 710, 715, 725, 730, 735, 740)에 부분적인 얼굴이 존재하더라도 얼굴이 검출되지 않게 된다. 일반적으로 얼굴 검출은 특정 크기의 학습 얼굴 영상을 이용하여 입력 영상에 대한 스캐닝을 통해 얼굴을 검출하게 되므로, 만일 전체 얼굴이 존재하지 않을 경우에는 부분적인 얼굴이 존재하더라도 그 입력 영상 내에 얼굴이 존재하지 않는다고 판단하게 된다. 또한, 기존의 부분적인 얼굴 검출을 위해 좌 얼굴 검출기와 우 얼굴 검출기를 별도로 사용하는 경우에는 입력 영상 내에 반드시 좌 또는 우 얼굴이 존재해야만 하며 기존의 얼굴 검출기와의 호환성이 떨어져 얼굴 검출율이 현저히 떨어지게 된다. 게다가 좌 우 일부분 이외의 얼굴에 대해서는 검출이 어려울 수 있다.

따라서 본 발명의 실시 예에서는 부분 얼굴이 포함된 영상을 얻게 될 경우, 다음과 같은 방법에 의하여 얼굴 검출을 수행한다.

도 8은 영상 프레임에서 얼굴 판단 영역을 이용한 스캐닝 방법을 설명하기 위한 도면이다.

도 8에서는 영상 프레임(800)에서 얼굴 영상의 검출을 위한 얼굴 판단 영역(810)을 이용하여 좌상측 코너(A)에서 시작하여 우하측 코너(I)까지 스캐닝하는 경로(830)를 예시하고 있다. 얼굴 판단 영역(810)은 미리 정해진 크기를 가지며, 미리 학습된 얼굴 검출기일 수 있다. 도 8에서와 같이, 복수의 얼굴 영상이 포함된 영상 프레임(800)에서 그 영상 프레임(800)의 가장자리 한쪽에 치우쳐 존재하는 얼굴의 경우 그 얼굴의 일부가 잘려질 수 있다. 이에 따라 그 영상 프레임(800)의 가장자리에는 부분 얼굴이 존재할 확률이 높다.

따라서 본 발명에서는 이러한 점을 고려하여 얼굴 판단 영역(810)이 영상 프레임(800)의 가장자리에서는 그 얼굴 판단 영역(810)의 일부가 벗어난 상태로 스캐닝하는 방식을 제안한다.

도 9는 영상 프레임(800)의 스케일에 따른 얼굴 판단 영역(810)의 이동을 예시한 도면이다.

도 9를 참조하면, 서로 다른 크기의 얼굴을 검출할 수 있도록 도 9(a)의 영상 프레임(800)의 스케일을 도 9(b)에서와 같이 단계적으로 축소시킬 수 있다. 얼굴 판단 영역(810)은 미리 정해진 크기를 가지므로, 도 9(a)에서는 영상 프레임(800) 내에서 얼굴 판단 영역(810)와 비슷한 크기의 작은 얼굴들이 포함되어 있을 경우에 그 얼굴 판단 영역(810)을 통해 얼굴 검출이 가능하며, 도 9(b)에서는 얼굴 판단 영역(810)과 비슷한 크기의 큰 얼굴에 대한 검출이 가능할 것이다. 이러한 각 영상 프레임(800)의 스케일은 단계적으로 변경될 수 있다.

도 10은 영상 프레임(800)의 가장자리에서의 얼굴 판단 영역(810)과 그 영상 프레임(800)간의 위치 관계를 예시하고 있다.

도 10을 참조하면, 영상 프레임(800)을 둘러싼 빗금친 영역(이하, 추가 영역)은 얼굴 검출을 위해 보정이 필요한 영역에 해당한다. 이러한 추가 영역의 폭 및 높이는 얼굴 판단 영역(810)의 크기에 따라 정해진다. 예를 들어, 얼굴 판단 영역(810)의 폭을 a라고 하며, 높이를 b라고 할 경우 얼굴 판단 영역(810)의 초기 위치(A)는 그 얼굴 판단 영역(810)의 중심이 영상 프레임(800)의 좌상측 코너에 위치한다. 초기 위치(A)에서 얼굴 판단 영역(810)의 폭 절반(a/2)은 영상 프레임(800) 내에 포함되며 그 나머지 절반(a/2)은 빗금친 영역에 포함되도록 영상 프레임(800)의 좌측 가장자리를 둘러싼 추가 영역의 폭이 정해진다.

이와 유사하게 얼굴 판단 영역(810)이 초기 위치 즉, 좌상단 코너 위치(A)로부터 수평 방향으로 우상단 코너(C)로 이동하게 되는데, 좌측 가장자리를 둘러싼 추가 영역의 폭도 a/2로 설정될 수 있다. 본 발명에서는 좌우 측 가장자리에서의 추가 영역의 폭의 한 예로 a/2로 설정된 경우를 예시하지만, 그 폭은 설정에 따라 달라질 수 있으며, 좌측 가장자리에서의 추가 영역의 폭과 우측 가장자리에서의 추가 영역의 폭도 서로 다르게 설정될 수 있다.

또한, 얼굴 판단 영역(810)의 높이 절반(b/2)만이 영상 프레임(800) 내에 포함되도록 그 영상 프레임(800)의 상하 측 가장자리를 둘러싼 빗금친 영역의 높이가 정해진다. 마찬가지로 본 발명에서는 상하 측 가장자리에서의 추가 영역의 높이의 한 예로 b/2로 설정된 경우를 예시하지만, 그 높이는 설정에 따라 달라질 수 있으며, 상측 가장자리에서의 추가 영역의 높이와 하측 가장자리에서의 추가 영역의 높이도 서로 다르게 설정될 수 있다.

한편, 얼굴 판단 영역(810)이 초기 위치 즉, 좌상단 코너 위치(A)로부터 수평 방향으로 우상단 코너(C)로 이동한 이후에, 얼굴 판단 영역(810)은 다시 좌측 가장자리로 이동하게 된다. 이에 따라 그 얼굴 판단 영역(810)의 중심이 920에 지시되는 위치로 이동하게 된다. 이때, 좌상단 코너 위치(A)에서의 얼굴 판단 영역(810)과 b/3만큼 겹치도록 아래로 이동한 위치를 시작으로 얼굴 판단 영역(810)이 이동하게 된다. 이러한 얼굴 판단 영역(810)은 최종 위치 즉, 우하단 코너 위치(I) 위치에 도달할 때까지 스캐닝을 위해 이동된다.

도 11a는 영상 프레임(800)의 우측 가장자리에 치우친 상태로 부분 얼굴이 존재하는 경우를 예시하고 있으며, 도 11b는 스캐닝 위치에 따른 얼굴 판단 영역에 포함된 얼굴 영상을 예시하고 있다.

도 11a을 참조하면, 우측 가장자리에 얼굴 판단 영역이 위치하게 될 경우 그 얼굴 판단 영역의 일부는 비어있는 상태가 된다. 도 11a의 얼굴 판단 영역(1010, 1030, 1040, 1060)의 스캐닝 위치에 따라 도 11b에서와 같이 서로 다른 부분의 얼굴이 포함되는 얼굴 판단 영역(1010, 1030, 1040, 1060)이 나타날 수 있다. 이때, 얼굴 검출이 수행되기 이전이므로 얼굴 판단 영역(1010, 1030, 1040, 1060) 내의 각 영역(1012, 1032, 1042, 1062)에 부분 얼굴이 존재한다고 가정한 것이며, 실제로는 각 영역(1012, 1032, 1042, 1062)은 영상 프레임(800)의 우측 가장자리에 해당하는 픽셀들로 구성되어 있다.

도 11a에서와 같이 얼굴 판단 영역(1010, 1030, 1040, 1060)을 이용하여 영사 프레임(800)의 우측 가장자리에서 스캐닝함에 따라 각 얼굴 판단 영역(1010, 1030, 1040, 1060)은 도 11b에서와 같이 표현될 수 있다. 도 11b에서와 같이 각 얼굴 판단 영역(1010, 1030, 1040, 1060)은 픽셀들로 채워진 영역 예컨대, 부분 얼굴이 존재할 것이라고 예측되는 영역(1012, 1032, 1042, 1062) 및 비어있는 영역(빗금친 영역)(1015, 1035, 1045, 1065)을 포함한다.

본 발명에서는 각 얼굴 판단 영역(1000, 1010, 1030, 1040, 1060)에서의 비어있는 영역(1015, 1035, 1045, 1065)을 보정하는 것이다.

도 11c는 본 발명의 실시 예에 따른 미러링 방식에 의해 보정된 영상을 예시하고 있다.

도 11c를 참조하면, 도 11b의 비어있는 영역(1015, 1035, 1045, 1065)에는 부분 얼굴 예측 영역(1012, 1032, 1042, 1062)에 있는 픽셀 정보들이 미러링 방식으로 채워지게 된다. 이에 따라 도 11c에서와 같이 부분 얼굴 예측 영역(1012, 1032, 1042, 1062)의 픽셀 정보와 동일하게 반대편 영역들(1115, 1135, 1145, 1165)들이 채워지게 된다. 다르게는 MCT(Modified Census Transform), LBP(Local Binary Pattern) 등의 방식을 통해 반대편 영역들(1115, 1135, 1145, 1165)들이 채워질 수 있다. 이와 같이 얼굴 판단 영역이 영상 프레임(800) 내에서 수평 또는 수직 방향으로 스캐닝 후 보정됨에 따라 도 11c에서와 같은 보정된 영상을 얻을 수 있게 된다. 따라서 얼굴 판단 영역이 수평 또는 수직 방향으로 스캐닝함에 따라 얻어지는 보정된 영상들 중에는 얼굴 검출이 가능한 영상이 존재하게 된다. 즉, 미러링을 통해 얼굴의 특징들 눈, 코, 입 등의 얼굴의 주요 부분이 배치된 보정된 영상(1060)을 얻게 되면 그 보정된 영상(1060)에 대해 얼굴 검출이 성공적으로 이루어지게 된다. 따라서 기존에는 전체 얼굴이 포함되어 있지 않은 경우에는 얼굴이 검출되지 않았다고 판단하였지만, 본 발명에 따르면 부분 얼굴에 대해서도 얼굴 검출이 성공적으로 이루어지게 된다.

여기서, 미러링 방식을 구체적으로 설명하기 위해 도 12를 참조한다.

도 12를 참조하면, 얼굴 판단 영역이 영상 프레임(800)의 가장자리에 걸쳐서 위치하는 상태에서는, 그 가장자리를 벗어난 a 영역(1210)은 그 얼굴 판단 영역의 a’ 영역(1200)과 동일한 영상 즉, 미러링을 통해 보정된 영상으로 채워지게 된다. 마찬가지로 b 영역(1230)은 b’ 영역(1220)과 동일한 영상으로 미러링을 통해 보정된다.

한편, 전술한 바에서는 영상 프레임(800)의 좌우측 가장자리에서의 미러링 방식을 통한 영상 보정 방법에 대해 설명하였으며, 이하에서는 상하, 코너에서의 영상 보정 방법에 대해 설명하기로 한다.

도 13은 본 발명의 실시 예에 따라 영상 프레임(800)의 하단 또는 우측 하단 코너에 부분 얼굴이 존재하는 경우를 예시하고 있다.

도 13을 참조하면, 영상 프레임(800)의 하측 가장자리에 얼굴 판단 영역(810)의 일부가 위치하게 되면, 그 하측 가장자리를 벗어난 영역(빗금친 영역)(1300)은 빈 영역으로 나타나게 된다. 마찬가지로 하측 코너에 얼굴 판단 영역(810)의 일부가 위치하게 되면, 그 얼굴 판단 영역(810) 내에는 빈 영역(1310)이 포함되게 된다. 따라서 본 발명에서는 상하측 또는 코너에서는 미리 정의된 템플릿을 이용하여 얼굴 판단 영역(810)의 빈 영역을 보정하는 방법을 제안한다. 이때, 본 발명의 다른 실시 예에 따라 코너에서는 미러링 방식과 템플릿 매칭 방식이 모두 적용될 수 있다. 다시 말하면, 도 13의 우측 코너에 위치하는 얼굴 판단 영역(810)에 대해 영상 프레임(810)의 우측 가장자리를 기준축으로 하여 미러링을 함으로써 눈 부분에 해당하는 픽셀로 빈 영역(1310)이 채워지게 한 후, 그 영상 프레임(810)의 우측 코너 아래로는 템플릿 매칭을 통해 템플릿 영상의 코 아래 부분을 붙이는 방식으로 빈 영역(1310)을 채우게 된다.

도 14에서는 이러한 미리 정의된 얼굴 템플릿(1400, 1410)들을 예시하고 있다. 도 14에서와 같이 미리 정의된 얼굴 템플릿을 이용하여 얼굴 판단 영역(810)의 빈 영역을 보정한다면, 상, 하로 일부가 잘려진 얼굴 영역에 대한 보정이 가능하다. 이와 같이 본 발명에서는 미러링 방식과 템플릿 매칭 방식을 선택적으로 또는 동시에 적용함으로써, 가장자리에 위치하는 부분 얼굴을 검출할 수 있어 얼굴 검출 성능이 향상되는 효과를 기대할 수 있다.

도 15는 본 발명의 일실시 예에 따른 영상 보정 방법을 나타내는 흐름도이다.

도 15를 참조하면, 제어부(120)는 1500단계에서 영상 입력부(100)로부터 영상 프레임을 수신하거나 메모리(130)에 저장된 영상 프레임을 독취한다. 본 방법은 하나의 영상 프레임에 대해 기술되고 있으나, 본 방법은 순차로 입력 또는 독취되는 영상 프레임들에 대해 각각 적용될 수 있다. 또한, 본 방법은 이동 단말(100)이 일대일 화상 통화 또는 다자간 화상 회의를 수행하는 도중에 카메라로부터 실시간으로 입력되는 영상에 대해 수행되거나, 다른 애플리케이션 모드에서 카메라를 통해 실시간으로 입력되는 영상에 대해 수행될 수 있다. 또한 도 15에서는 제어부(120)에서 얼굴 검출 동작을 수행하는 경우를 예시하나, 이러한 동작은 얼굴 검출부(110)에서 수행될 수 있음은 물론이다.

1505단계에서 제어부(120)는 영상 프레임에서 전체 얼굴이 검출되는지를 판단한다. 여기서, 을 수행하여 전체 얼굴이 검출되는지를 판단한다. 여기서, 전체 얼굴 검출은 통상의 얼굴 검출 방법을 이용하여 수행되는데, 얼굴의 윤곽선, 얼굴 피부의 색상 및/또는 질감, 템플릿 등을 이용한 얼굴 추출 기술이 이용될 수 있다. 예를 들어, 제어부(120)는 다수의 얼굴 영상을 통해 얼굴 학습을 수행하고, 축적된 얼굴 학습 데이터를 이용하여 입력된 영상 프레임으로부터 전체 얼굴 영상을 검출할 수 있다.

만일 전체 얼굴이 검출된 경우 제어부(120)는 1540단계에서 검출된 얼굴 정보를 저장한다. 이러한 검출된 얼굴 정보는 예컨대, 미리 정해진 이동 단말의 기능을 제어하는 데 이용될 수 있다.

만일 전체 얼굴이 검출되지 않으면 1510단계에서 영상 프레임에서 잘려진 객체가 검출되는지를 판단한다. 예컨대, 에지 검출을 통해 에지를 연결하는 선이 중단되는 경우 잘려진 객체가 존재한다고 판단할 수 있다. 이러한 경우 그 잘려진 객체는 부분 얼굴일 수 있다. 따라서 얼굴 검출을 위해 영상 프레임(800)의 가장자리를 둘러싼 추가 영역에서의 보정이 수행되어야 한다.

만일 잘려진 객체가 검출되면 1515단계에서 미러링이 가능한지를 판단한다. 예를 들어, 얼굴 판단 영역이 영상 프레임(800)의 좌우 가장자리에 위치하는지, 얼굴의 코를 중심으로 한 수직축과 같은 미러링할 대칭축이 있는지, 그 대칭축을 기준으로 양쪽에서 잘려나간 부분이 있는지 등의 조건 중 어느 하나에 해당하는지를 판단할 수 있다.

만일 미러링이 가능하면 1520단계에서 도 12에서와 같은 미러링 방식을 통해 미러링을 수행한다. 반면 미러링이 가능하지 않으면 1525단계에서 템플릿 매칭을 수행한다. 이어, 제어부(120)는 미러링 또는 템플릿 매칭을 통해 보정된 영역을 포함하는 얼굴 판단 영역에 대한 얼굴 검출을 수행한다. 얼굴 판단 영역에 대한 얼굴 검출은 통상의 얼굴 검출 알고리즘을 적용함으로써 이루어진다. 따라서 제어부(120)는 1535단계에서 얼굴 판단 영역에서 얼굴이 검출되는지를 판단한다. 만일 그 얼굴 판단 영역에 얼굴 정보가 포함되어 있으면 해당 얼굴 정보를 검출하여 1540단계에서 검출된 얼굴 정보를 저장한다. 반면 얼굴 검출이 이루어지지 않으면 얼굴 검출 과정을 종료한다. 전술한 1510단계 내지 1530단계는 얼굴 판단 영역을 영상 프레임 내에서 수평 방향 또는 수직 방향으로 스캐닝함에 따라 반복적으로 수행되는 것으로 이해되어야 한다.

여기서, 부분 얼굴의 크기 및 화면에 나타나는 정도에 따라서 적응적으로 그 부분 얼굴에 대한 유효성을 판단하는 과정을 추가로 적용할 수 있다. 예를 들어, 코너 부분에 입을 포함하는 부분 얼굴만이 존재할 경우에는 얼굴이라고 검출되더라도 검출된 얼굴 정보를 이동 단말에 기능을 제어하는 데 사용하는 데 부적합할 수 있으므로, 부분 얼굴에 대한 유효성을 판단하는 과정이 추가될 수도 있다. 따라서 이러한 부분 얼굴이 갖고 있는 정보의 취약성을 감안하여 본 발명에서는 오검출의 가능성을 줄이기 위해 유효성을 판단하는 과정을 추가할 수 있으며, 이러한 유효성 판단 과정은 적용 어플리케이션에 따라 선택적으로 추가 또는 배제할 수 있다.

도 16은 본 발명의 다른 실시 예에 따른 영상 보정 방법을 나타내는 흐름도이다. 1600단계 내지 1610단계는 도 15의 1500단계 내지 1510단계에서와 동일하므로, 그 구체적인 설명은 생략하기로 한다.

1615단계에서 제어부(120)는 얼굴 판단 영역의 위치가 영상의 가장자리에 위치하는지를 판단한다. 만일 영상의 가장자리에 위치하면 1620단계에서 미러링을 수행하여 1625단계에서 미러링을 통해 보정된 영역을 포함하는 얼굴 판단 영역에 대한 얼굴 검출을 수행한다. 만일 얼굴이 검출되지 않으면 1635단계에서 추가로 템플릿 매칭을 수행한다. 이어, 1640단계에서 제어부(120)는 템플릿 매칭을 통해 보정된 영역을 포함하는 얼굴 판단 영역에 대한 얼굴 검출을 수행한다. 이러한 미러링과 템플릿 매칭을 동시에 적용하는 방식을 영상 프레임(800)의 코너에 적용된다면 효과적인 부분 얼굴 검출이 가능할 것이다. 1645단계 및 1650단계는 도 15의 1535단계 및 1540단계에서와 동일하므로, 그 구체적인 설명은 생략하기로 한다. 한편, 전술한 도 16에서는 미러링 수행 후 템플릿 매칭을 수행하는 경우를 예로 들어 설명하였으나, 미러링 또는 템플릿 매칭 중 어느 하나만 적용되도록 구현될 수도 있으며, 둘 다 적용될 경우 그 적용 순서는 달라질 수 있다.

도 17은 본 발명의 또다른 실시 예에 따른 영상 보정 방법을 나타내는 흐름도이다.

도 17을 참조하면, 1700단계 및 1705단계는 도 15의 1500단계 및 1505 단계에서와 동일하므로, 그 구체적인 설명은 생략하기로 한다. 1710단계에서 제어부(120)는 얼굴 판단 영역의 일부가 영상의 좌우 가장자리를 벗어나는지를 판단한다. 만일 좌측 가장자리 또는 우측 가장자리를 벗어나는 경우 제어부(120)는 1715단계에서 도 12에서와 같은 미러링 방식으로 미러링을 수행한다. 반면, 얼굴 판단 영역의 일부가 영상의 좌우 가장자리를 벗어나는 것이 아니라면 1720단계에서 좌우 상단 또는 좌우 하단 즉, 코너를 벗어나는지를 판단한다. 만일 코너를 벗어나는 경우 제어부(120)는 1725단계에서 미러링 수행 후 템플릿 매칭을 수행한다. 반면, 1720단계에서 좌우 상단 또는 좌우 하단 즉, 코너를 벗어나는 것이 아니라면 1730단계에서 영상의 상단 또는 하단을 벗어나는지를 판단한다. 만일 영상의 상단 또는 하단을 벗어나는 경우에는 제어부(120)는 1735단계에서 템플릿 매칭을 수행한다. 이어, 1740단계 내지 1750단계는 도 15의 1530단계 내지 1540단계에서의 동작과 동일하므로, 그 구체적인 설명은 생략하기로 한다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계로 읽을 수 있는 저장 매체에 저장될 수 있다. 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 이동 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 이동 단말이 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 이동 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 이동 단말의 요청 또는 자동으로 해당 프로그램을 상기 이동 단말로 전송하는 제어부를 포함할 수 있다.

Claims

사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치에 있어서,
영상 입력부와,
상기 영상 입력부를 통해 입력 영상이 수신되면, 상기 입력 영상에 대해 얼굴 또는 눈 검출을 수행하는 영상 처리부와,
상기 영상 처리부로부터의 얼굴 인식 결과 또는 눈 인식 결과를 근거로 사용자 상태 정보를 판단하고, 상기 사용자 상태 정보에 대응하여 미리 정해진 이동 단말의 기능을 수행하도록 제어하는 제어부를 포함함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제1항에 있어서, 상기 사용자 상태 정보는,
사용자 존재 유무, 사용자의 얼굴 방향, 상기 이동 단말과의 거리 및 사용자의 얼굴 위치 중 적어도 하나를 포함함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제1항에 있어서, 상기 제어부는,
미리 설정된 이벤트 발생 시 상기 영상 입력부를 구동시킴을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제3항에 있어서, 상기 제어부는,
화면 잠금 상태로 전환되면 상기 영상 입력부를 구동한 후, 상기 영상 입력부를 통해 입력되는 영상에 대한 인식 결과가 상기 사용자가 존재한다고 판단되면, 화면 잠금 상태를 해제한 후 미리 설정된 시간이 경과하더라도 이후 상기 영상 입력부를 통해 입력되는 영상에 대한 인식 결과가 상기 사용자가 존재한다고 판단되면, 상기 화면 잠금 상태의 해제를 유지함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제1항에 있어서, 상기 영상 처리부는,
얼굴 인식 알고리즘을 통해 상기 입력 영상 내에 얼굴이 검출되는지를 판단하고, 상기 얼굴이 검출되지 않으면 눈 인식 알고리즘을 통해 눈 검출을 수행함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제5항에 있어서, 상기 영상 처리부는,
상기 눈 인식 알고리즘을 통해 하나 이상의 눈 후보 영역을 검출하고, 검출된 눈 후보 영역들 중 피부색을 이용한 눈 검출 방식을 이용하여 최종 눈 영역을 결정함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제6항에 있어서, 상기 영상 처리부는,
상기 검출된 눈 후보 영역을 가로 및 세로 방향으로 미리 정해진 수의 영역으로 분할한 후, 가로 방향으로 분할된 영역들 중 가운데 영역을 제외한 나머지 영역들에 대한 피부색의 비율 및 세로 방향으로 분할된 영역들 중 일부 영역에 대한 피부색이 아닌 부분의 비율을 산출하고, 산출된 피부색의 비율과 피부색이 아닌 비율이 미리 정해진 각각의 임계치들보다 클 경우 최종 눈 영역으로 결정함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제6항에 있어서, 상기 영상 처리부는,
상기 검출된 눈 후보 영역의 Y, Cb, Cr 값을 이용하여 상기 피부색에 해당하는 픽셀값을 결정함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제6항에 있어서, 상기 영상 처리부는,
상기 최종 눈 영역이 결정되면, 상기 최종 눈 영역의 주변 영역을 정규화함으로써 상기 얼굴의 상, 하를 결정함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제1항에 있어서, 상기 영상 처리부는,
얼굴 판단 영역을 상기 입력 영상의 수평 방향 또는 수직 방향으로 스캐닝함에 따라, 상기 얼굴 판단 영역의 일부가 상기 입력 영상의 가장자리를 벗어나는 위치로 이동하게 되면 미러링 방식 및 템플릿 매칭 방식 중 적어도 하나를 이용하여 상기 얼굴 판단 영역 내에서 상기 가장자리를 벗어난 영역을 보정함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제10항에 있어서, 상기 영상 처리부는,
상기 얼굴 판단 영역이 상기 입력 영상의 좌측 또는 우측 가장자리를 벗어나는 위치로 이동하게 되면, 상기 미러링 방식을 이용하여 상기 얼굴 판단 영역의 상기 좌측 또는 우측 가장자리를 벗어난 영역을 상기 입력 영상 내에 포함되는 얼굴 판단 영역의 픽셀 정보로 채운 후, 상기 보정된 영역을 포함하는 상기 얼굴 판단 영역으로부터 부분 얼굴을 검출함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제10항에 있어서, 상기 영상 처리부는,
상기 얼굴 판단 영역이 상기 입력 영상의 상측 또는 하측 가장자리를 벗어나는 위치로 이동하게 되면, 상기 템플릿 매칭 방식을 이용하여 상기 상측 또는 하측 가장자리를 벗어난 영역을 상기 템플릿 매칭에 따른 영상을 붙임으로써 보정한 후, 상기 보정된 영역을 포함하는 상기 얼굴 판단 영역으로부터 부분 얼굴을 검출함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
제10항에 있어서, 상기 영상 처리부는,
상기 얼굴 판단 영역의 일부가 상기 입력 영상의 코너를 벗어나는 위치로 이동하게 되면 상기 미러링 방식 및 상기 템플릿 매칭 방식을 동시에 적용하여 상기 얼굴 판단 영역 내에서 상기 코너를 벗어난 영역을 보정한 후, 상기 보정된 영역을 포함하는 상기 얼굴 판단 영역으로부터 부분 얼굴을 검출함을 특징으로 하는 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치.
이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법에 있어서,
미리 설정된 이벤트 발생 시 상기 이동 단말에 장착된 영상 입력부를 구동하는 과정과,
상기 영상 입력부를 통해 입력 영상이 수신되면, 상기 입력 영상에 대해 얼굴 검출을 수행하는 과정과,
상기 얼굴 검출이 이루어지지 않으면 상기 입력 영상에 대해 눈 검출을 수행하는 과정과,
상기 영상 처리부로부터의 얼굴 인식 결과 또는 눈 인식 결과를 근거로 사용자 상태 정보를 판단하는 과정과,
상기 사용자 상태 정보에 대응하여 미리 정해진 이동 단말의 기능을 수행하는 과정을 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제14항에 있어서, 상기 사용자 상태 정보는,
사용자 존재 유무, 사용자의 얼굴 방향, 상기 이동 단말과의 거리 및 사용자의 얼굴 위치 중 적어도 하나를 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제14항에 있어서, 상기 영상 입력부를 구동하는 과정은,
화면 잠금 상태로 전환되면 상기 영상 입력부를 구동하는 과정을 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제16항에 있어서, 상기 미리 정해진 이동 단말의 기능을 수행하는 과정은,
상기 영상 입력부를 통해 입력되는 영상에 대한 인식 결과가 사용자가 존재한다고 판단되면, 화면 잠금 상태를 해제하는 과정과,
이후 상기 영상 입력부를 통해 입력되는 영상에 대한 인식 결과가 상기 사용자가 존재한다고 판단되면, 상기 화면 잠금 상태의 해제를 유지하는 과정을 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제14항에 있어서, 상기 눈 검출을 수행하는 과정은,
눈 인식 알고리즘을 통해 하나 이상의 눈 후보 영역을 검출하는 과정과,
검출된 눈 후보 영역들 중 피부색을 이용한 눈 검출 방식을 이용하여 최종 눈 영역을 결정하는 과정을 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제18항에 있어서, 상기 최종 눈 영역은,
상기 검출된 눈 후보 영역을 가로 및 세로 방향으로 미리 정해진 수의 영역으로 분할한 후, 가로 방향으로 분할된 영역들 중 가운데 영역을 제외한 나머지 영역들에 대한 피부색의 비율 및 세로 방향으로 분할된 영역들 중 일부 영역에 대한 피부색이 아닌 부분의 비율을 산출하고, 산출된 피부색의 비율과 피부색이 아닌 비율이 미리 정해진 각각의 임계치들보다 클 경우 상기 최종 눈 영역으로 결정되는 것임을 특징으로 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제19항에 있어서, 상기 피부색에 해당하는 픽셀값은,
상기 검출된 눈 후보 영역의 Y, Cb, Cr 값을 이용하여 결정되는 것임을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제14항에 있어서,
얼굴 판단 영역을 상기 입력 영상의 수평 방향 또는 수직 방향으로 스캐닝하는 과정과,
상기 스캐닝함에 따라, 상기 얼굴 판단 영역의 일부가 상기 입력 영상의 가장자리를 벗어나는 위치로 이동하게 되면 미러링 방식 및 템플릿 매칭 방식 중 적어도 하나를 이용하여 상기 얼굴 판단 영역 내에서 상기 가장자리를 벗어난 영역을 보정하는 과정을 더 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제21항에 있어서, 상기 얼굴 검출을 수행하는 과정은,
상기 얼굴 판단 영역이 상기 입력 영상의 좌측 또는 우측 가장자리를 벗어나는 위치로 이동하게 되면, 상기 미러링 방식을 이용하여 상기 얼굴 판단 영역의 상기 좌측 또는 우측 가장자리를 벗어난 영역을 상기 입력 영상 내에 포함되는 얼굴 판단 영역의 픽셀 정보로 채우는 과정과,
상기 보정된 영역을 포함하는 상기 얼굴 판단 영역으로부터 부분 얼굴을 검출하는 과정을 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제21항에 있어서, 상기 얼굴 검출을 수행하는 과정은,
상기 얼굴 판단 영역이 상기 입력 영상의 상측 또는 하측 가장자리를 벗어나는 위치로 이동하게 되면, 상기 템플릿 매칭 방식을 이용하여 상기 상측 또는 하측 가장자리를 벗어난 영역을 상기 템플릿 매칭에 따른 영상을 붙임으로써 보정하는 과정과,
상기 보정된 영역을 포함하는 상기 얼굴 판단 영역으로부터 부분 얼굴을 검출하는 과정을 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.
제21항에 있어서, 상기 얼굴 검출을 수행하는 과정은,
상기 얼굴 판단 영역의 일부가 상기 입력 영상의 코너를 벗어나는 위치로 이동하게 되면 상기 미러링 방식 및 상기 템플릿 매칭 방식을 동시에 적용하여 상기 얼굴 판단 영역 내에서 상기 코너를 벗어난 영역을 보정하는 과정과,
상기 보정된 영역을 포함하는 상기 얼굴 판단 영역으로부터 부분 얼굴을 검출하는 과정을 포함함을 특징으로 하는 이동 단말에서 사용자의 얼굴 분석 결과에 따라 이동 단말의 기능을 제어하는 방법.