KR20190090998A

KR20190090998A - 얼굴 인식 알고리즘을 이용한 눈의 피로 감소방법 및 시스템

Info

Publication number: KR20190090998A
Application number: KR1020180009894A
Authority: KR
Inventors: 이인수; 박상호; 곽지훈; 김현석; 최혁진
Original assignee: 경북대학교 산학협력단
Priority date: 2018-01-26
Filing date: 2018-01-26
Publication date: 2019-08-05
Also published as: KR102068084B1

Abstract

본 발명에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법은, 미리 정해진 일정주기마다 미리 정해둔 일정시간동안 사용자의 안면을 촬상하는 제1단계; 상기 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하는 제2단계; 및 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였으면, 디스플레이의 파라미터를 가변하는 제3단계;를 구비함을 특징으로 한다.

Description

얼굴 인식 알고리즘을 이용한 눈의 피로 감소방법 및 시스템{eye strain reduction method and system using face recognition algorithm}

본 발명은 눈의 피로 감소 시스템에 관한 것으로, 더욱 상세하게는 본 발명은 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 미연에 감소시킬 수 있게 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법 및 시스템에 관한 것이다.

PC와 스마트 폰 보급률이 늘고 사용량이 증가하면서 디스플레이 매체에 의한 현대인들의 눈의 피로가 증가하고 있다.

이러한 문제를 해소하기 위해 종래에는 주변 밝기와 비슷하게 디스플레이의 밝기를 조절하거나 혹은 블루라이트를 조절하거나 블루라이트를 차단하는 기술을 제안하여 눈의 피로를 감소하기 위한 노력을 계속하고 있다.

이러한 기술로는 대한민국 특허청에 액정 디스플레이의 눈부심 방지 장치 및 방법을 명칭으로 하여 특허공개된 제10-2009-0046200호가 있으며, 이는 액정디스플레이의 APL(Average Picture Level) 값을 검출하는 APL 검출부; 상기 APL 검출부에서 검출된 APL값에 따라, 상기 검출된 APL 값이 기 설정된 제1 기준 값 이상인 경우, 백라이트의 밝기를 기 설정된 반비례식에 따라 상기 검출된 APL 값과 반비례하게 증가 또는 감소시키고, 상기 검출된 APL 값이 기 설정된 제1 기준 값 미만이고 제2 기준 값 이상인 경우, 상기 백라이트의 밝기를 기설정된 밝기로 제한시키고, 상기 검출된 APL 값이 기 설정된 제2 기준 값 미만인 경우, 빛샘 현상이 보이지 않는 값에 한하여 상기 백라이트의 밝기를 감소시키는 제어부; 및 상기 제어부의 제어에 따라 백라이트의 밝기를 조절하여 구동하는 백라이트 구동부를 포함하고, 백 라이트의 밝기를 계산하기 위한 상기 기 설정된 반비례식은 화면 사이즈, APL 값 및 일정한 눈 자극을 주는 밝기 상수에 기초하여 결정되는 것을 특징으로 하는 액정디스플레이의 눈부심 방지 장치를 개시하고 있다.

그리고 대한민국 특허청에 눈 불편감 감소 디스플레이를 명칭으로 하여 특허등록된 제10-1774691호도 있으며, 이는 보는이(viewer)의 시야(sight) 내에 배열되는 디스플레이; 상기 보는이의 안구 상태(ocular condition)를 감지하도록 구성되는 감지 서브시스템(sensory subsystem); 및 상기 디스플레이 및 상기 감지 서브시스템에 함께 동작하도록(operatively) 커플링되는 컨트롤러 - 상기 컨트롤러는 상기 보는이의 시선(gaze) 방향을 추적하기 위해 상기 감지 서브시스템으로부터의 출력을 적용하고, 상기 보는이가 겪는 눈 불편감(eye discomfort)을 완화시키기 위해 상기 안구 상태에 응답하여 상기 디스플레이 시스템의 동작 파라미터를 조정하도록 구성됨 - 를 포함하는 디스플레이 시스템을 개시하고 있다.

상기한 바와 같이 종래에는 사용자의 시선을 통해 눈 불편감을 추정하여 디스플레이의 파라미터를 조절하는 기술을 제안하고 있을 뿐이므로, 사용자의 눈 피로를 직접적으로 파악하지 못하여 효율적으로 눈 피로 절감을 이행할 수 없는 문제가 있었다.

이에 종래에는 사용자는 눈의 피로가 쌓인 이후에나 디스플레이의 밝기를 조절하거나 블루라이트를 직접 조절하는 형편이었으므로, 사용자의 눈 피로를 좀 더 신뢰성있게 예측하여 사용자의 눈을 보호하고 눈의 피로를 감소시킬 수 있는 기술의 개발이 절실하게 요망되었다.

대한민국 특허공개 제10-2009-0046200호 대한민국 특허등록 제10-1774691호

본 발명은 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 감소시킬 수 있게 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법 및 시스템을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법은, 미리 정해진 일정주기마다 미리 정해둔 일정시간동안 사용자의 안면을 촬상하는 제1단계; 상기 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하는 제2단계; 및 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였으면, 디스플레이의 파라미터를 가변하는 제3단계;를 구비함을 특징으로 한다.

상기한 본 발명은 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 미연에 감소시킬 수 있는 효과를 야기한다.

도 1은 본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 구성도.
도 2는 본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법의 절차도.
도 3은 본 발명의 바람직한 실시예에 따르는 눈 깜박임 측정과정을 예시한 도면.
도 4는 본 발명의 바람직한 실시예에 따르는 디스플레이의 특성 곡선을 예시한 도면.
도 5는 본 발명의 바람직한 실시예에 따라 디스플레이의 출력화면이 변화하는 것을 예시한 도면.

본 발명은 눈의 피로 상태를 예측할 수 있는 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 미연에 감소시킨다.

즉 본 발명은 사용자가 눈을 깜박이지 않은 상태로 집중하여 작업을 이행하는 경우에 눈 피로를 유발하는 광 성분이 눈으로 더 많이 인입되는 것을 감안하여, 눈의 깜박임이 느려지면 디스플레이의 파라미터를 감소시켜 눈을 보호하고 눈 피로를 미연에 방지하고, 눈의 깜박임이 정상으로 돌아오면 디스플레이의 파라미터를 원래대로 복원하여 미려한 비디오 출력을 가능하게 한다.

특히 본 발명은 디스플레이의 파라미터 변경여부를 미리 정해둔 일정주기마다 결정하므로 디스플레이의 파라미터 변경에 따른 사용자의 불편감을 최소화하고 시스템의 처리 부하를 절감한다.

이러한 본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템 및 방법을 도면을 참조하여 상세히 설명한다.

<얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 구성>

본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 구성을 도 1을 참조하여 설명한다.

상기 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템은 제어장치(100)와 디스플레이 제어기(102), 디스플레이(104), 메모리부(106), 촬상장치(108), 사용자 인터페이스(110)로 구성된다.

상기 제어장치(100)는 상기 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 각부를 제어하며, 사용자 인터페이스(110)를 통한 사용자의 요청에 따른 비디오 출력정보를 디스플레이 제어기(102)에 제공한다. 특히 상기 제어장치(100)는 본 발명의 바람직한 실시예에 따라 사용자의 눈 깜박임 횟수에 따라 디스플레이(104)의 파라미터 중 하나인 블루값을 조절하여 사용자의 눈을 보호하고 눈의 피로를 감소시킨다.

상기 디스플레이 제어기(102)는 상기 제어장치(100)의 제어에 따른 비디오 출력정보에 따르는 비디오를 출력하도록 상기 디스플레이(104)를 제어한다. 또한 상기 디스플레이 제어기(102)는 상기 제어장치(100)의 제어에 따라 디스플레이(104)의 파라미터 중 하나인 블루값을 조절하여 사용자의 눈의 피로를 미연에 감소시킨다.

상기 디스플레이(104)는 상기 디스플레이 제어기(102)의 제어에 따라 비디오를 출력한다.

상기 메모리부(106)는 상기 제어장치(100)의 제어 프로그램을 포함하는 다양한 정보를 저장한다.

상기 촬상장치(108)는 사용자의 안면을 촬상하고 그에 따른 촬상정보를 상기 제어장치(100)에 제공한다.

상기 사용자 인터페이스(110)는 사용자로부터의 각종 정보 또는 명령을 입력받아 상기 제어장치(100)에 제공한다.

<얼굴 인식 알고리즘을 이용한 눈의 피로 감소방법>

이제 상기한 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템에 적용가능한 상기한 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법을 도 2의 흐름도를 참조하여 상세히 설명한다.

상기 제어장치(100)는 미리 정해둔 일정주기가 도래하였는지를 체크한다(200단계). 상기 미리 정해둔 일정주기가 도래하였으면, 상기 제어장치(100)는 촬상장치(108)를 통해 사용자의 안면을 촬상한다(202단계).

상기 촬상장치(108)로부터 사용자의 안면을 촬상한 촬상정보가 제공되면, 상기 제어장치(100)는 사용자의 안면에 대한 촬상정보에서 눈을 검출한다. 여기서, 상기 눈 검출은 Open CV를 이용할 수 있다.

상기 사용자의 눈이 검출되면, 상기 제어장치(100)는 안면 랜드마크 기법을 사용하며, 눈의 가로세로비(EAR, EYES ASPECT RATIO)를 수학식 1에 따라 산출하고, 눈의 가로세로비의 변화량을 토대로 눈깜박임을 검출한다(204단계).

상기 수학식 2에서 EAR은 눈의 가로 간격과 세로 간격 사이의 비인 눈의 가로세로비이고, 상기 P₁ 및 P₆은 눈의 수평 특징점들이고, 상기 P₂ 내지 P₅는 눈의 수직 특징점들이며, 이 특징점들을 도 3의 (a)에 예시한 바와 같다.

상기한 눈 깜박임 검출과정을 도 3을 참조하여 설명한다. 도 3은 본 발명의 바람직한 실시예에 따르는 눈 깜박임 측정과정을 예시한 도면으로, (a)는 눈을 뜬 상태의 랜드마크를 예시한 것이고 (b)는 눈을 감은 상태의 랜드마크를 예시한 것이다. 상기 눈의 가로 세로 비는 도 3의 (c)에 예시한 바와 같이 눈을 뜬 상태를 유지하다가 감을 때에 급격하게 감소됨을 예시한 것이다.

이와 같이 눈의 가로세로비는 눈을 감을 때에 급격하게 감소되므로, 제어장치(100)는 상기 눈의 가로세로비가 미리 정해둔 수치이상 감소된 경우에 눈 깜박임이 일어난 것으로 판단한다.

상기 제어장치(100)는 미리 정해둔 일정시간동안 상기 사용자의 눈 깜박임 횟수를 검출한다(206단계).

미리 정해둔 일정시간동안 상기 사용자의 눈 깜박임 횟수가 이전 횟수에 비해 미리 정해둔 비율이상 변화하였는지를 체크한다(208단계). 상기 눈 깜박임 횟수가 이전 횟수에 비해 미리 정해둔 비율이상 변화하였으면, 상기 제어장치(100)는 상기 눈 깜박임 횟수가 감소되었는지를 체크한다(210단계). 상기 눈 깜박임 횟수가 미리 정해둔 비율 이상 감소되었으면, 상기 제어장치(100)는 눈 깜박임 횟수의 감소비율에 대응되는 비율로 디스플레이의 파라미터 중 블루값의 출력값을 강하한다(214단계).

이와 달리 상기 눈 깜박임 횟수가 미리 정해둔 비율 이상 증가되었으면, 상기 제어장치(100)는 눈 깜박임 횟수의 증가비율에 대응되는 비율로 디스플레이의 파라미터 중 블루값의 출력값을 상승한다(212단계).

도 4는 본 발명의 바람직한 실시예에 따르는 블루값의 변화를 예시한 것으로, 제1상태의 블루값은 사용자의 눈 깜박임 횟수의 감소에 따라 제2상태로 가변될 수 있으며, 이 경우에 디스플레이(104)로 출력되는 블루라이트는 감소된다. 그리고 제2상태의 블루값은 사용자의 눈 깜박임 횟수의 증가에 따라 제1상태로 가변될 수 있으며, 이 경우에 디스플레이(104)는 원래의 비디오 출력정보에 가까운 비디오를 출력하여 사용자의 심미적 욕구를 충족할 수 있다.

이러한 본 발명은 눈의 깜박임 데이터로 화면 제어를 할 수 있도록 소켓 프로그래밍을 이용하여 실시간으로 데이터를 전송한다. 그리고 전송된 데이터 값을 바탕으로 화면이 제어될 수 있도록 한다.

도 5는 본 발명에 따라 디스플레이의 화면이 변화되는 것을 예시한 도면이다. 도 5의 좌측은 평시의 화면 출력상태를 예시한 것이고, 도 5의 우측은 사용자의 눈 깜박임 감소에 대응되게 블루라이트 출력을 강하시킨 화면을 예시한 것이다.

이러한 본 발명은 눈의 깜박임이 감소하거나 눈의 깜박임 비율이 감소했을 경우에 화면의 블루값을 감소시킴으로써, 사용자가 집중하여 작업하는 동안 블루라이트의 출력량을 감소시킬 수 있게 한다. 이는 작업하는 동안 사용자의 눈으로 인입되는 블루라이트 양을 감소시켜 사용자의 눈의 피로를 미연에 방지할 수 있다.

또한 본 발명은 사용자의 특별한 제어없이도 눈의 깜박임 변화를 통해 블루라이트 출력량을 제어하므로 사용상의 편이성을 가져온다.

또한 상기한 본 발명의 바람직한 실시예에서는 사용자의 눈피로 방지를 위해 디스플레이의 파라미터 중 하나인 블루값을 조정하는 것만을 예시하였으나, 상기 디스플레이의 파리미터들인 밝기, 감마값 등도 함께 조절하여 사용자의 눈의 피로 감소를 극대화할 수 있으며, 이는 본 발명에 의해 당업자에게 자명하다.

또한 상기한 본 발명의 바람직한 실시예에서는 사용자의 눈 깜박임 횟수만을 토대로 디스플레이의 파라미터를 조정하는 것만을 예시하였으나, 사용자의 눈 깜박임과 주변밝기를 고려하여 디스플레이의 파라미터들을 조절하는 것도 가능하며, 이는 본 발명에 의해 당업자에게 자명하다.

또한 상기한 본 발명의 바람직한 실시예에서는 미리 정해둔 일정주기마다 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조정하는 것만을 예시하였으나, 사용자의 요청에 따라 실시간으로 디스플레이의 파라미터를 변경하는 것도 가능하며, 이는 본 발명에 의해 당업자에게 자명하다.

100 : 제어장치
102 : 디스플레이 제어기
104 : 디스플레이
106 : 메모리부
108 : 촬상장치
110 : 사용자 인터페이스

Claims

얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법에 있어서,
미리 정해진 일정주기마다 미리 정해둔 일정시간동안 사용자의 안면을 촬상하는 제1단계;
상기 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하는 제2단계; 및
상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였으면, 디스플레이의 파라미터를 가변하는 제3단계;를 구비함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법.
제1항에 있어서,
상기 제3단계가,
상기 일정시간동안의 사용자의 눈 깜박임 횟수가 미리 정해둔 비율이상 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 미리 정해둔 비율이상 변화하였으면, 상기 디스플레이의 파라미터를 가변하는 것임을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법.
제1항에 있어서,
상기 제2단계에서의 눈 깜박임 검출은,
사용자의 안면을 촬상한 정보에서 눈의 수평 특징점들 사이인 눈의 가로 간격과 수직 특징점들 사이인 눈의 세로 간격 사이의 비를 토대로 검출함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법.
제3항에 있어서,
상기 눈의 가로 간격과 눈의 세로 간격 사이의 비는 수학식 2에 따라 산출됨을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법.
수학식 2

상기 수학식 2에서 EAR은 눈의 가로 간격과 세로 간격 사이의 비이고,
상기 P₁ 및 P₆은 눈의 수평 특징점들이고, 상기 P₂ 내지 P₅는 눈의 수직 특징점들임.
제1항에 있어서,
상기 디스플레이의 파라미터는 블루값임을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법.
제4항에 있어서,
상기 디스플레이의 파라미터는 밝기값 및 감마값을 더 포함함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법.
얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템에 있어서,
사용자의 안면을 촬상하는 촬상장치;
디스플레이;
미리 정해진 일정주기마다 미리 정해둔 일정시간동안 상기 촬상장치를 통해 사용자의 안면을 촬상하고,
상기 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하고,
상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였으면, 디스플레이의 파라미터를 가변하는 제어장치;를 구비함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.
제7항에 있어서,
상기 제어장치가,
상기 일정시간동안의 사용자의 눈 깜박임 횟수가 미리 정해둔 비율이상 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 미리 정해둔 비율이상 변화하였으면, 상기 디스플레이의 파라미터를 가변하는 것임을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.
제7항에 있어서,
상기 눈 깜박임 검출은,
사용자의 안면을 촬상한 정보에서 눈의 수평 특징점들 사이인 눈의 가로 간격과 수직 특징점들 사이인 눈의 세로 간격 사이의 비를 토대로 검출함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.
제9항에 있어서,
상기 눈의 가로 간격과 눈의 세로 간격 사이의 비는 수학식 3에 따라 산출됨을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.
수학식 3

상기 수학식 3에서 EAR은 눈의 가로 간격과 세로 간격 사이의 비이고,
상기 P₁ 및 P₆은 눈의 수평 특징점들이고, 상기 P₂ 내지 P₅는 눈의 수직 특징점들임.
제7항에 있어서,
상기 디스플레이의 파라미터는 블루값임을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.
제11항에 있어서,
상기 디스플레이의 파라미터는 밝기값 및 감마값을 더 포함함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.