KR20130093962A - 휴대 단말기등의 디스플레이부에서 사용자 편의성을 고려하여 안면 인식을 이용한 소비 전력 저감 방법 및 장치 - Google Patents

Abstract

본 발명은 통상적으로 휴대 단말기의 디스플레이에 소모되는 전력의 양을 줄이기 위해 사용하는 디밍 시스템이 사용자가 실제 사용하고 있는 상태에서도 화면 조명 장치나 화면을 끔으로서 사용자가 일일히 사용자 입력을 통해 다시 화면이나 화면 조명장치를 켜는 불편함을 개선하기 위한 발명으로서 화면 조명장치나 화면 자체를 끄는 타이머 시간이 도래하면 전면 카메라나 이에 상응하는 기능을 가진 장치가 안면 인식 모듈을 통하여 사용자의 안면이 감지되는가를 판단하여 사용자의 안면이 감지되면 실제 사용자가 화면을 응시하고 있다고 판단하여 그 기간동안에는 화면 조명장치나 화면을 끄지 못하도록 방지함으로써 전력 소비 절감의 본연의 목적이 손상받지 않고 사용자의 불편함을 최소화 시키는 방법이다.

Description

휴대 단말기등의 디스플레이부에서 사용자 편의성을 고려하여 안면 인식을 이용한 소비 전력 저감 방법 및 장치{The apparatus and method for reducing power consumption and user convenience in hand-held device display using face recognition}

본 발명은 휴대 단말기 등에서 안면 인식을 통하여 표시부(display 장치)의 밝기등을 관리하여 그 단말기의 소비전력을 줄이고자 하는 방법 및 그 시스템에 관한 것이다.

현재 기존의 휴대가 가능한 통신 및 멀티미디어 장치가 본래의 단순한 목적, 즉 통신이나 음악감상, 영화 감상 등에 국한되지 않고 다양한 용도가 융합된 형태로 빠르게 대체되고 진화하고 있는 중이다. 바꿔 말하면 기존의 목적에서 벗어나서 다양한 형태의 다른 매체 등도 다룰 수 있게 됨으로써 기존 개인용 컴퓨터를 이용하던 정보의 이용 형태를 그대로 휴대용 단말기에서도 이용할 수 있게 하는 형태로 서비스 및 응용 등이 보편화되고 있는 추세이다. 이러한 예로써 신문이나 웹서핑은 물론이고 검색이나 쇼핑, 네비게이션, 대부분의 멀티미디어 지원등이 스마트폰이나 이와 유사한 개인용 태블릿을 통해 폭넓게 이용되고 있다.

이를 지원하기 위해서 각 단말기에서 기본적으로 갖추어야 하는 것이 단말기 자체의 성능도 고성능화 되어야 하지만 디스플레이 장치 또한 대형화, 고해상도화가 필요함은 자명하다. 하지만 이러한 디스플레이의 대형화, 고해상도화가 필연적으로 이 장치가 소비하는 전력을 증대시킴으로써 한정된 전력 자원(배터리)에 의존하는 휴대 단말 장치로서는 부담이 되고 있다.

현재 출시되고 있는 휴대 단말 장치등의 제조사는 디스플레이 장치에 소비되는 전력을 부분적으로 줄이고자 사용자가 정하는 시간에 따라 그 시간이 도래할때 까지 사용자의 입력(터치 스크린의 경우 터치, 키패드의 경우 키패드 눌림, 기타 사용자의 의도에 의해 제어부에 입력되는 입력신호, 이하 사용자 입력)이 없으면 1차적으로 화면 조명장치를 off(이하 1차 디밍이라고 한다) 시키고, 동일하게 일정 시간 간격이내에 사용자의 입력이 없을 경우 2차적으로 화면 off(이하 2차 디밍이라고 한다) 시키는 등의 방법을 채용하여 디스플레이에 소모되는 전력의 양을 줄인다.

현재 스마트 폰등으로 대표되는(본 발명에서는 이해를 돕기 위하여 스마트 폰의 이용 형태를 예로 든것이나 다른 휴대 단말기등도 이용 패턴이 이와 유사하고 배경기술에서 설명한 형태의 디밍등의 방법을 사용하고 있으므로 이를 다 포함한다고 하겠다) 휴대 단말기의 이용 패턴을 보면 e-book, 신문, 웹 서핑, 검색, 쇼핑, 영화 감상등이 주를 이루고 있으나 일부 동영상 플레이어와 같이 해당 응용 프로그램등에 따라 강제적으로 그 응용 프로그램이 실행중일때에는 디밍이 안되도록 막는등의 방법을 사용하지 않으면 실제로 사용자가 화면을 보고 있으나 터치나 키패드 입력을 하지 않았을 경우 1, 2차 디밍을 통하여 디스플레이 장치를 꺼버리는 일이 발생 하므로 사용자가 일일히 화면이 꺼지기 전, 혹은 꺼지고 난 후 터치나 키패드 입력, 잠금장치 해제등의 별도의 절차를 거쳐 다시 켜주어야 하는 불편함이 있다. 따라서 사용자의 입력이 없더라도 실제 사용자가 단말기를 사용하고 있으면 1, 2차 디밍에 빠지지 않게 하는 방법을 고안할 필요가 있다.

상기 과제를 달성하기 위하여 본 발명에서는 전면에 설치되어 있는 전면 카메라(혹은 카메라의 렌즈부가 회전 가능하여 단말기의 각 방향을 전부 촬영 할 수 있는 카메라)를 이용하여 사용자의 안면인식을 수행한다. 이는 1차, 2차 디밍 시간이 각각 도래 하였을 경우 디스플레이 화면을 디밍 상태로 천이시키기 전에 안면인식을 수행한 결과를 이용해 사용자의 안면이 인식된 경우 실제 사용자가 단말기를 사용하고 있다고 판단하여 디밍 상태에 빠지지 않게 한다. 물론 안면인식의 결과가 사용자의 안면 인식이 되지 않았다면 정상적인 1, 2차 디밍 상태로 천이하여 디스플레이에 소모되는 전력을 줄인다.

본 발명을 관련된 휴대 단말기등에 적용하였을 경우 얻게 되는 효과는 다음과 같다.

첫째, 휴대단말의 사용자가 미리 정해진 디밍 시간 안에 읽을 수 없는 일정 길이 이상의 컨텐츠를 화면을 통해 읽을 경우 화면이 디밍 상태로 빠지기 전에 사용자 입력을 해서 디밍에 빠지지 않게 한다던지 미처 이러한 입력을 못해서 디밍에 빠진 경우 다시 사용자 입력을 하여 화면을 켜거나 잠금 상태를 해제하여야 하는 불편을 덜어주어 휴대 단말을 이용하는 사용자의 편의성이 증대된다.

둘째, 본 발명이 적용된 휴대 단말에서 사용 방법등에 관한 설정을 초기에 한번만 적용을 하면 사용자가 특정 응용에서 일일히 디밍 시간을 길게 새로 설정한다던지의 불편함을 감수하지 않아도 단말에서 자동적으로 안면인식의 결과로서 디밍 시간등을 조절해 줌으로써 역시 사용자 편의성이 증대된다.

도 1은 본 발명의 적용 대상이 되는 휴대 단말기의 기능적 구조도
도 2는 통상의 휴대 단말기에서 행하는 디스플레이부 디밍 절차
도 3은 본 발명의 실시예로써 안면 인식을 이용한 디밍 절차를 표시한 예시 순서도
도 4는 본 발명의 실시예로써 안면 인식을 이용한 디밍 절차에서 사용자 편의성을 더욱 증대시키기 위하여 1차 디밍 상태에서 주기적으로 안면 검출 절차를 수행하여 디밍 상태를 천이 시키는 방법을 표시한 예시 순서도

본 발명은 피처폰, 스마트 폰, PDA(personal digital assistants), tablet PC, PMP(portable multimedia player)등 디스플레이에 소비되는 전력을 줄이고자 디밍 컨셉트를 채용한 대부분의 휴대 단말기에 적용될 수 있다. 이하에서는 설명의 단순함을 위하여 위의 각종 디바이스들을 휴대 단말기로 통합하여 설명한다.

먼저 본 발명의 적용대상이 되는 휴대 단말기의 기능적 구조를 도 1을 참조하여 설명한다. 물론 현재 휴대 단말기의 기능적 구도에서 도 1 이외에 많은 기능적 구성 요소가 존재하지만 본 발명과 관계도가 높은 기능적 구조만 포함하고 나머지는 생략하였다.

카메라부(101)는 내부의 촬상 소자에 의해 촬상되는 정지영상 또는 동영상을 사진 촬영, 멀티미디어 메시지 전송, 화상전화. 셀프카메라 촬영등의 응용에 이용하기 위하여 단말기 내부의 제어부(102)에 전송한다. 이 전송된 영상은 적절한 처리를 거쳐 디스플레이부(105)에 표시되거나 내부적으로 저장된다. 현재 대부분의 휴대 단말기에서는 피사체 방향의 카메라(배면 카메라, 디스플레이 부와 반대 방향)와는 별도로 화상전화나 셀프 카메라등의 응용에 사용하기 위하여 단말기의 전면부에도(디스플레이부와 동일 방향) 카메라를 장착하여 출시되고 있다. 이하 이를 전면 카메라라 칭한다. 일부 단말기의 경우 두개의 카메라를 두는 부담을 줄이기 위해 회전이 가능한 카메라를 탑재하여 한개의 카메라로 전면, 배면 카메라의 역할을 수행하는 경우도 있으나 본 발명에서는 그러한 경우에도 본 발명의 목적에 이용되고 있는 형태 일때 이를 전면카메라라 칭한다.

제어부(102)는 일반적으로 휴대 단말기의 전반적인 동작을 제어하는 일을 담당한다. 즉 음성 및 영상통화, 데이터 통신, 멀티미디어 재생, 각종 신호처리등을 담당한다.

안면인식 제어모듈(103)은 제어부 내에서 하드웨어나 소프트웨어적으로 존재하며 전면 카메라를 통해 입력된 영상에서 사용자의 안면을 인식하여 그 결과값을 제어부에 전송하여 디스플레이부를 제어 할 수 있도록 한다.

화면 조명장치/화면 구동부(104)는 제어부에서 나온 명령에 따라 디스플레이 부에 표시되는 정보를 결정하고 화면 조명장치의 동작도 제어한다. 본 구성요소는 통상 제조사나 경제적인 이유로 하드웨어나 소프트웨어적으로 제어부와 통합되어 제작/구현되기도 하고 별도로 제작/구현되기도 한다.

디스플레이부(105)는 화면 조명장치/화면 구동부(104)의 구동 신호에 따라 제어부가 처리한 영상 정보를 표시 출력하는 부분이다. 현재 대부분의 휴대 단말기에서는 휴대가 간편하고 비교적 저전력 소비가 가능한 액정화면(LCD, liquid crystal display), 유기 발광 다이오드(OLED, organic light emitting diode), PDP등이나 이의 일부 변형된 소재를 사용하여 디스플레이부의 물리적인 구성을 만든다. 이러한 소재의 차이점은 화면 조명장치의 구동 방식에도 차이를 가져오는데 액정화면의 경우 백라이트를 두어 화면의 밝기를 조절하고 유기 발광 다이오드의 경우 각 소자의 전력량을 조절하여 화면의 밝기를 조절하는 방법을 사용한다. 하지만 본 발명에서는 소재의 차이에 따라 조명장치의 구동방식이 다르다 할지라도 소비 전력 저감을 위하여 각각의 소재가 단계별로 조명장치를 끄거나 어둡게 하는 동작은 유사하고 이러한 단계에 적용하는 방법이므로 소재나 조명장치의 구동방식과 무관하게 적용 가능하다. 이하 설명에서는 디스플레이의 소재에 무관하게 설명의 단순함을 위하여 화면이나 화면 조명장치라 칭한다.

다음은 설명한 휴대 단말기의 기능적 구성요소와 참조 도면을 이용하여 본 발명의 동작에 대해서 상세하게 설명한다.

먼저 도 2는 본 발명의 동작에 대한 이해를 돕기 위하여 통상의 휴대 단말기의 1, 2차 디밍이 이루어 지는 과정에 대해 설명 한다.

통상의 디밍을 지원하는 휴대 단말기의 경우 일단 디스플레이 설정(단말기에 따라 용어 차이 있음)등의 메뉴를 제공하여 사용자가 1, 2차 디밍에 각각 돌입하는 시간을 설정할 수 있도록 하고 있다. 본 설명에서는 1차 디밍에 돌입하는 시간 간격을 1차 디밍 타이머, 2차 디밍에 돌입하는 시간을 2차 디밍 타이머라 칭한다. 도 2의 S100 상태는 사용자에 의도에 의해 디스플레이의 조명장치도 켜지고 화면도 켜진 상태이다. S100 상태는 1차 디밍 타이머 시간내에서 사용자의 입력이 있으면 계속 S100 상태를 유지한다. 이 상태에서는 디스플레이에 사용되는 전력의 소모가 최대값이므로 1차 디밍 타이머 만료가 도래할 때가지 사용자의 입력이 없으면 제어부의 명령에 의해 화면 조명장치/화면 구동부가 조명장치를 끔으로써 여기에 소비되는 전력의 절감을 꾀한다(S101 상태). S101 상태에서는 2차 디밍 타이머가 만료되기 전 사용자의 입력이 있으면 S100 상태로 전이하고 2차 디밍 타이머 만료가 도래할때까지 사용자의 입력이 없으면 제어부의 명령에 따라 화면조명장치/화면 구동부가 화면도 끔으로서 디스플레이에 소비되는 전력을 최소화 한다.

다음은 본 발명의 방법에서 초기 설정의 방법에 대하여 설명한다. 먼저 본 발명에서는 초기 설정과 관련하여 본 발명의 방법을 사용 여부와 사용 하였을 경우 세부 설정을 할 수 있는 메뉴를 제공한다. 당 메뉴는 기존 디스플레이 설정 메뉴와 통합하여 그 내부에 하부 메뉴나 동일 레벨의 메뉴로 제공 할 수도 있고 별도의 메뉴를 구성하여 제공 할 수도 있다. 본 발명과 관련된 설정 메뉴의 내용은 먼저 본 발명의 방법을 사용할지의 여부를 사용자가 선택 할 수 있는 방법을 제공한다. 이를 제공하는 목적은 휴대 단말기의 잔여 전력이 극소량밖에 남지않아 사용자가 통화나 특정 목적이라도 당분간 이용하기를 원할 때 그 목적이외의 동작은 전력 소모를 최소화 하기 위해 사용하기를 원하지 않을 수도 있기 때문이다. 또 당 메뉴에서는 안면 인식의 민감도에 관한 설정도 사용자가 지정 할 수 있도록 제공한다. 안면 인식의 민감도라 최저인 경우 안면 인식 제어 모듈은 전면 카메라를 통해 입력되는 영상에서 사용자의 얼굴만이 인식되면 사용자가 화면을 주시하고 있는 것으로 간주하고 사용자가 사용자 안면이 감지되었음을 제어부에 알린다. 안면 인식의 민감도가 최고로 설정된 경우 안면 인식 제어 모듈에서는 전면 카메라를 통해 입력되는 영상에서 사용자의 얼굴만이 인식되는 것과 더불어 그 얼굴이 디스플레이를 향하고 있는가를 판단하여 정면으로 향하고 있을 경우에만 사용자 안면이 감지되었음을 제어부에 알린다. 안면 인식의 민감도를 선택 할 수 있는 방법을 제공하는 이유는 사용자에 따라서 전력 소모의 최소화를 위해서 실제 화면을 보고 있을 때만(안면 인식 민감도 최고) 본 발명의 방법이 동작하기를 원하는 경우도 있을 수도 있고 전력 소모를 일부 감수 하더라도 응답성과 사용자 편의성을 최대화 하기 위하여 즉, 사용자가 처한 상황에 따라 사선 방향에서 화면을 응시하는 경우도 있을 수 있으므로 전면 카메라가 인식하는 범위내에 사용자 얼굴이 위치하면(안면 인식 민감도 최저) 본 방법이 동작하기를 원하는 경우도 있을 수 있기 때문이다.

지금부터는 도 3과 도 4를 이용하여 본 발명의 실시예와 관련된 디밍의 제어방법에 대해 설명한다. 도 3의 S100 상태는 도 2의 S100 상태와 동일하다. 이 상태에서는 1차 디밍 타이머가 만료되기 이전에 사용자의 입력이 있으면 S100 상태를 계속 유지한다. 1차 디밍 타이머가 만료되면 본 발명에서는 일단 본 발명의 방법을 사용자가 설정화면에서 사용하도록 설정 하였는가를 검사한다. 사용하도록 설정 하였다면 안면 제어 모듈이 사용자의 안면이 전면 카메라에 탐지 되는가를 검사한다. 이에 사용자의 안면이 탐지 되었을 경우 사용자가 입력은 안하지만 실제로 화면을 보고 있는 경우이므로 S101 상태로 돌입하지 않고 S100 상태를 그대로 유지함으로써 화면이 어두워진 후 사용자가 다시 사용자 입력을 통해 화면을 켜게 하는 불편을 감소 시킨다. 만일 설정에서 사용자가 본 발명의 방법을 사용하지 않도록 설정 하였다면 도 2에서 정의된 통상의 디밍 절차를 따른다. 안면 인식 제어 모듈이 사용자의 안면을 전면 카메라에서 탐지 하지 못하였다면 사용자가 화면을 보고 있지 않은 경우 이므로 이에 전력 소모를 줄이기 위하여 S101 상태(화면 조명장치 오프, 화면 온)로 돌입한다. S101 상태에서 사용자 입력이 있으면 S100 상태로 천이하고 사용자 입력이 없는 상태에서 2차 디밍 타이머 만료시간이 도래하면 1차때와 마찬가지로 본 발명의 방법을 사용자가 설정화면에서 사용 하도록 설정 하였는가를 검사한다. 사용 하도록 설정 하였다면 1차 때와 동일하게 안면 인식 제어 모듈이 안면이 전면 카메라에 탐지 되는가를 검사한다. 이에 사용자의 안면이 탐지 되었을 경우 S100 상태로 천이하여 화면 조명장치를 온 시키고 탐지 되지 않았을 경우 화면을 끄고 S102 상태로 천이한다. 본 발명에서 S101 상태에서 S100 상태로 천이하는 방법은 바로 위에서 설명한 방법 외에도 사용자 편의성과 전력 소모의 감소를 위에 다른 방법도 있다(도 4). 즉 2차 디밍 타이머가 만료되기 이전에도 그 타이머 시간내에 주기적으로 안면 인식 제어 모듈을 호출하여 사용자의 안면이 인식되는지를 검사해서 안면이 검출되면 화면 조명장치가 오프된 상황 이후에 다시 사용자가 화면을 보기 시작하였음을 의미하므로 즉각적으로 화면 조명장치를 온 시키고 S100 상태로 천이한다. 도 4의 방법은 물론 도 3의 방법보다 안면 인식 제어 모듈이 호출되는 빈도가 많아지므로 전력 소모는 다소 늘어 날 수 있으나 사용자의 편의성과 화면의 가독성이 늘어나는 측면에서 상쇄 될 수 있으므로 사용자 설정등을 통하여 사용자가 선택 할 수 있는 메뉴를 제공한다. S102 상태는 각각의 타이머내에 사용자 입력도 없고 안면 인식도 되지 않은 상황이므로 사용자가 휴대 단말기를 사용하거나 보고 있지 않은 상태라고 할 수 있다. 이 상태에서는 기타 불필요한 동작으로 전력 소모를 할 필요가 없으므로 현 상태를 계속 유지한다. 이 상태를 벗어나기 위해서는 사용자가 사용자 입력을 통해서 적극적으로 S100 상태로 천이하거나 다소간의 전력 소모를 감안하더라도 응용에 따라서 S100 상태로의 천이가 사용자의 불편한 개입이 없이 자동적으로 이루어 지게 하려면 S102 상태에서 주기적으로 안면 인식 제어 모듈이 가동되어 사용자의 얼굴이 감지되면 S100 상태로 천이되게 설정하거나 구현 될 수 있다.

도면의 주요부분에 대한 부호의 설명
도 1의 101, 휴대 단말기에서 영상 획득을 위한 카메라 부
도 1의 102, 휴대 단말기에서 그 단말의 전반적인 동작을 제어하는 제어부
도 1의 103, 카메라 부로 부터 들어온 영상에서 사용자의 안면이 존재하는 지를 인식하고 판단하는 안면 인식 모듈
도 1의 104, 휴대 단말기에서 디스플레이 부의 조명장치와 화면을 제어하는 화면 조명장치/화면 구동부
도 1의 105, 휴대 단말기에서 제어부와 화면 구동부가 처리한 영상을 표시하는 디스플레이 부
도 1의 ① 제어부에서 카메라의 입력이 필요하여 카메라를 기동하는 신호
도 1의 ② 카메라 부에서 획득한 영상
도 1의 ③ 제어부의 명령에 대해 그 처리결과나 현재의 상태를 알리는 신호
도 1의 ④ 안면 인식 제어 모듈에서 처리 결과에 따라 제어부를 통해 화면 조명/화면 구동부에 보내는 명령 신호
도 1의 ⑤ 화면 조명/화면 구동 장치가 디스플레이부에 내리는 명령 신호
도 2,3,4 의 S100, 디스플레이부가 화면 조명 장치도 켜져 있고 화면도 켜져 있는 상태
도 2,3,4의 S101, 디스플레이부가 화면 조명 장치는 꺼져 있고 화면은 켜져 있는 상태
도 2,3,4의 S102, 디스플레이부가 화면 조명 장치와 화면이 모두 꺼져 있는 상태

Claims (4)

1. 청구항 1 휴대 단말기에서 안면 인식을 통하여 디스플레이부의 화면 조명 장치와 화면을 제어하여 그 단말을 이용하는 사용자의 편의성을 개선시키는 방법
   
2. 청구항 2 제 1항에 있어서 상기 방법을 적용하기 위해서 휴대 단말기의 전면 카메라나 이에 상응하는 역할을 하는 장치를 이용하는 방법
   
3. 청구항 3 제 1항의 방법을 적용함에 있어서 휴대 단말기의 사용자에게 사용자의 편의성과 전력 소모의 적정성을 안배하여 본 방법의 사용 여부를 묻는 메뉴 제공의 방법
   
4. 청구항 4 제 1항의 방법을 적용함에 있어서 휴대 단말기의 사용자에게 사용자의 편의성과 전력 소모의 적정성을 안배하여 안면 인식의 민감도를 설정할 수 있는 메뉴를 제공하는 방법
   

Images