KR20160061691A - 시선추적장치 및 그의 동공검출방법 - Google Patents

Abstract

본 발명은 사용자가 눈을 깜빡일 때 눈꺼풀에 의해 동공의 일부가 가려지면 눈 주변의 특징점을 이용하여 동공을 복원하여 검출하는 시선추적장치 및 그의 동공검출방법에 관한 것으로, 카메라를 통해 눈 영상을 취득하는 단계와, 상기 눈 영상에서 눈꺼풀 처짐 정도를 확인하는 단계와, 상기 눈꺼풀 처짐 정도에 따라 동공 복원 알고리즘을 통해 동공을 검출하는 단계를 포함한다.

Description

시선추적장치 및 그의 동공검출방법{Gaze Tracker and Method for Detecting Pupil thereof}

본 발명은 사용자가 눈을 깜빡일 때 눈꺼풀에 의해 동공의 일부가 가려지면 눈 주변의 특징점을 이용하여 동공을 복원하여 검출하는 시선추적장치 및 그의 동공검출방법에 관한 것이다.

시선 방향은 이미지 상에서 안구의 중심과 동공의 중심을 찾고 두 지점을 연결하여 결정한다. 이때, 동공의 중심은 눈 영역에서 가장 검은 원을 찾는 것으로 해결하며, 안구의 중심은 별도의 조명을 이용하여 삼각측량으로 찾아낸다.

그러나, 종래의 동공 검출 방식은 건강한 사람이 1초에 15~20회 정도 눈을 깜빡이는데, 눈을 깜빡이는 순간에 동공의 일부가 가려져 원의 위치를 정확히 검출하기 어려운 문제가 발생한다.

이때, 일반적으로 VGA급 영상에서 얼굴의 사이즈 대비 눈 영역의 크기를 구하면 수십 픽셀 이내이고, 동공과 안구 중심점까지의 직선 거리도 수 cm이기 때문에 동공 핏팅 시 발생하는 수 픽셀의 오차가 시선 벡터를 구하는 단계에서는 크게 확대되는 문제가 있다. 특히, 안구의 중심점이 아닌 수정체의 중심점을 찾는 시스템에서는 동공과 수정체 중심까지의 거리가 1cm이내 이기 때문에 작은 오차에 더 민감하게 된다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 사용자가 눈을 깜빡일 때 눈꺼풀에 의해 동공의 일부가 가려지면 눈 주변의 특징점을 이용하여 동공을 복원하여 검출하는 시선추적장치 및 그의 동공검출방법을 제공하고자 한다.

상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 시선추적장치의 동공검출방법은 카메라를 통해 눈 영상을 취득하는 단계와, 상기 눈 영상에서 눈꺼풀 처짐 정도를 확인하는 단계와, 상기 눈꺼풀 처짐 정도에 따라 동공 복원 알고리즘을 통해 동공을 검출하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 눈꺼풀 처짐 정도 확인 단계는, 눈꺼풀 상태, 동공 위치, 동공 가림 정도에 따라 눈 상태를 결정하는 것을 특징으로 한다.

또한, 상기 눈 상태는, 동공 노출 상태, 동공 일부 노출 상태, 동공 미노출 상태로 구분되는 것을 특징으로 한다.

또한, 상기 동공 검출 단계는, 상기 눈꺼풀 처짐 정도가 동공 노출 상태이면 타원 피팅(fitting)을 통해 동공을 검출하는 것을 특징으로 한다.

또한, 상기 동공 검출 단계는, 상기 눈꺼풀 처짐 정도가 동공 일부 노출 상태이면 눈 주변 특징점을 추출하는 단계와, 상기 눈 주변 특징점을 이용하여 동공 중심점의 좌표를 산출하는 단계와, 상기 동공 중심점의 좌표를 기준으로 눈꺼풀에 의해 가려진 동공을 복원하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 눈 주변 특징점을 추출하는 단계는, 동공의 노출된 영역의 외곽점을 추출하는 것을 특징으로 한다.

또한, 상기 눈꺼풀 처짐 정도가 동공 미노출 상태이면, 시선추적을 중단하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 시선추적장치는 사용자의 눈 영상을 취득하는 카메라와, 상기 눈 영상에서 눈꺼풀 처짐 정도를 확인하고, 그 확인결과에 따라 동공 복원 알고리즘을 동공을 검출하는 영상처리기를 포함하는 것을 특징으로 한다.

또한, 상기 영상처리기는, 눈꺼풀이 동공의 일부를 가린 경우, 눈 주변의 특징점을 추출하고 그 추출한 특징점을 이용하여 동공의 중심점 좌표를 복원하는 것을 특징으로 한다.

또한, 상기 영상처리기는, 상기 눈꺼풀에 의해 가려지지 않은 동공의 외곽점으로부터 원 피팅을 통해 동공의 중심점 좌표를 복원하는 것을 특징으로 한다.

또한, 상기 영상처리기는, 동공 복원이 불가한 경우, 상기 시선추적장치의 동작을 중단시키는 것을 특징으로 한다.

본 발명에 따르면, 사용자가 눈을 깜빡일 때 눈꺼풀에 의해 동공의 일부가 가려지면 눈 주변의 특징점을 이용하여 동공을 복원하여 검출한다. 따라서, 본 발명에 따른 시선추적장치는 눈 깜빡임에 의해 발생하는 시선 벡터의 오류를 감소시킬 수 있다.

또한, 시선추적장치는 눈꺼풀에 의해 가려진 동공을 복원할 수 없는 경우, 시선 추적 동작을 중단하므로, 유효한 시선 벡터만 이용할 수 있게 한다.

도 1은 본 발명의 일 실시예에 따른 시선추적장치를 도시한 블록구성도.
도 2는 본 발명의 일 실시예와 관련된 눈 상태를 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 동공 복원 과정을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 시선추적장치의 동공검출방법을 도시한 흐름도.

본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 시선추적장치를 도시한 블록구성도이고, 도 2는 본 발명의 일 실시예와 관련된 눈 상태를 도시한 예시도이고, 도 3은 본 발명의 일 실시예에 따른 동공 복원 과정을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 시선추적장치(100)는 카메라(110) 및 영상처리기(120)를 포함한다.

카메라(110)는 사용자(예: 운전자)의 눈 영상을 취득한다. 카메라(110)는 사용자를 향해 광을 조사하는 조명을 포함할 수 있다.

카메라(110)는 CCD(charge coupled device) 영상센서(image sensor), MOS(metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등과 같은 영상센서들 중 어느 하나의 영상센서로 구현될 수 있다.

영상처리기(120)는 카메라(110)를 통해 취득한 눈 영상에서 눈꺼풀 처짐 정도를 확인한다. 눈꺼풀 처짐 정도는 도 2에 도시된 바와 같이 눈꺼풀틈새 사이의 거리(h)에 근거하여 결정된다. 다시 말해서, 영상처리기(120)는 눈꺼풀(EL)의 상태, 동공(P) 위치 및 동공(P) 가림 정도에 따라 눈 상태를 확인한다.

도 2에 도시된 바와 같이, 눈 상태는 눈꺼풀이 고정된 상태로 동공이 90% 이상 노출된 상태(a), 눈꺼풀에 의해 동공의 일부가 가려져 동공의 20% 이상 90% 미만이 노출된 상태(b), 눈꺼풀에 의해 동공이 완전하게 가려지거나 동공의 20% 미만이 노출된 상태(c)로 구분된다.

영상처리기(120)는 눈 상태에 따라 동공을 검출하는 방법이 달라진다.

먼저, 눈꺼풀에 의해 동공이 가려지지 않은 경우, 영상처리기(120)는 타원 피팅 방식을 이용하여 눈 영상에 동공을 검출한다. 영상처리기(120)는 눈 영상에서 외곽선을 검출하고, 그 검출한 외곽선 중 타원 형상인 외곽선을 동공으로 검출한다.

영상처리기(120)는 눈꺼풀에 의해 동공의 일부가 가려지는 경우 눈 주변의 특징점을 추출한다. 눈 주변의 특징점은 도 3에 도시된 바와 같이 눈꺼풀에 의해 가려지지 않은 동공의 노출 부분의 외곽점(△)이다. 그리고, 영상처리기(120)는 추출한 눈 주변의 특징점을 이용하여 동공 중심점의 좌표를 산출한다. 영상처리기(120)는 추출한 외곽점으로부터 원 피팅 방식(circle fitting method)을 이용하여 동공을 복원한다.

본 실시예는 눈이 감기는 상황에서 윗눈꺼풀(upper eyelid)(EL)이 위에서 아래로 내려오며 눈동자(동공)(P)의 상하좌우 이동은 거의 발생하지 않고, 동공(P)의 원이 가려져도 부채꼴의 중심점(동공 중심점 Pc)은 변하지 않는다는 특징을 이용한 것이다.

영상처리기(120)는 눈꺼풀에 의해 동공이 가려져 동공 복원(동공 위치 추정)이 불가한 경우 시선추적기(100)의 동작을 중지시킨다. 이와 같이, 영상처리기(120)는 동공 복원이 불가한 경우 시선추적 동작을 중단시키므로 유효한 시선 벡터만 이용할 수 있게 한다.

이후, 시선추적장치(100)는 영상처리기(120)에 의해 동공이 검출되면 그 검출한 동공의 중심점을 이용하여 시선벡터를 구할 수 있다.

도 4는 본 발명의 일 실시예에 따른 시선추적장치의 동공검출방법을 도시한 흐름도이다.

도 4에 도시된 바와 같이, 시선추적장치(100)는 카메라(110)를 통해 사용자의 눈 영상을 취득한다(S101).

시선추적장치(100)의 영상처리기(120)는 눈 영상에서 눈꺼풀 처짐 정도를 확인한다(S103). 즉, 영상처리기(120)는 눈 영상에서 눈꺼풀 상태, 동공 위치 및 동공 가림 정도에 근거하여 눈 상태를 판단한다.

영상처리기(120)는 동공이 노출된 상태인 경우, 타원 피팅 방식을 이용하여 눈 영상에서 동공을 검출한다(S105, S107). 영상처리기(120)는 눈꺼풀틈새 거리가 제1임계값 이상이면 눈 영상에서 외곽선을 검출하고 그 검출한 외곽선 중 타원 형상인 외곽선을 동공으로 검출한다.

영상처리기(120)는 눈꺼풀에 의해 동공의 일부만 노출된 경우, 눈 주변의 특징점을 추출한다(S109, S111). 즉, 영상처리기(120)는 눈꺼풀틈새 거리가 제1임계값 미만이며 제2임계값 이상이면 눈 영상에서 눈꺼풀에 의해 가려지지 않은 동공의 영역의 외곽점을 추출한다.

그리고, 영상처리기(120)는 추출한 특징점을 이용하여 눈 영상 내 동공을 복원한다(S113). 영상처리기(120)는 노출된 동공의 일부 영역의 외곽점을 이용하여 동공의 중심점 좌표를 산출한다. 그리고, 영상처리기(120)는 동공 중심점의 좌표를 기준으로 눈꺼풀에 의해 가려진 동공을 복원한다. 이때, 영상처리기(120)는 원 피팅 방식을 이용한다.

한편, 영상처리기(120)는 눈꺼풀에 의해 동공이 가려져 눈 영상 내 동공이 보이지 않는 경우 또는 원 피팅 방식을 이용하여 동공 복구가 불가능한 경우, 시선추적장치(100)의 동작을 중단시킨다(S115). 즉, 영상처리기(120)는 눈꺼풀틈새 거리가 제2임계값 미만이면 시선추적을 중단시킨다.

상기한 실시예에서 제안한 동공검출방법은 시선추적 중 눈 깜빡거림에 의해서 동공이 가려질 시 동공 중심점의 위치를 복구할 수 있게 한다. 따라서, 본 실시예는 눈깜빡거림에 의한 시선벡터의 오차를 감소시킬 수 있다.

또한, 본 실시예는 안경의 조명 반사 및 안경테에 의한 동공 가림으로 인한 오차 발생시 동공 복원을 통해 시선벡터 오류 감소시킬 수 있다.

또한, 본 실시예는 눈꺼풀에 의한 동공 가림으로 인하여 동공 복구가 불가능한 경우 시선추적 동작을 중단시키므로, 유효한 시선 벡터만 이용할 수 있도록 한다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.

본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 시선추적장치
110: 카메라
120: 영상처리기

Claims (11)

1. 카메라를 통해 눈 영상을 취득하는 단계와,
   상기 눈 영상에서 눈꺼풀 처짐 정도를 확인하는 단계와,
   상기 눈꺼풀 처짐 정도에 따라 동공 복원 알고리즘을 통해 동공을 검출하는 단계를 포함하는 것을 특징으로 하는 시선추적기의 동공검출방법.
2. 제1항에 있어서,
   상기 눈꺼풀 처짐 정도 확인 단계는,
   눈꺼풀 상태, 동공 위치, 동공 가림 정도에 따라 눈 상태를 결정하는 것을 특징으로 하는 시선추적기의 동공검출방법.
3. 제2항에 있어서,
   상기 눈 상태는,
   동공 노출 상태, 동공 일부 노출 상태, 동공 미노출 상태로 구분되는 것을 특징으로 하는 시선추적기의 동공검출방법.
4. 제3항에 있어서,
   상기 동공 검출 단계는,
   상기 눈꺼풀 처짐 정도가 동공 노출 상태이면 타원 피팅(fitting)을 통해 동공을 검출하는 것을 특징으로 하는 시선추적기의 동공검출방법.
5. 제3항에 있어서,
   상기 동공 검출 단계는,
   상기 눈꺼풀 처짐 정도가 동공 일부 노출 상태이면 눈 주변 특징점을 추출하는 단계와,
   상기 눈 주변 특징점을 이용하여 동공 중심점의 좌표를 산출하는 단계와,
   상기 동공 중심점의 좌표를 기준으로 눈꺼풀에 의해 가려진 동공을 복원하는 단계를 포함하는 것을 특징으로 하는 시선추적기의 동공검출방법.
6. 제5항에 있어서,
   상기 눈 주변 특징점을 추출하는 단계는,
   동공의 노출된 영역의 외곽점을 추출하는 것을 특징으로 하는 시선추적기의 동공검출방법.
7. 제3항에 있어서,
   상기 눈꺼풀 처짐 정도가 동공 미노출 상태이면, 시선추적을 중단하는 것을 특징으로 하는 시선추적기의 동공검출방법.
8. 사용자의 눈 영상을 취득하는 카메라와,
   상기 눈 영상에서 눈꺼풀 처짐 정도를 확인하고, 그 확인결과에 따라 동공 복원 알고리즘을 동공을 검출하는 영상처리기를 포함하는 것을 특징으로 하는 시선추적장치.
9. 제8항에 있어서,
   상기 영상처리기는,
   눈꺼풀이 동공의 일부를 가린 경우, 눈 주변의 특징점을 추출하고 그 추출한 특징점을 이용하여 동공의 중심점 좌표를 복원하는 것을 특징으로 하는 시선추적장치.
10. 제9항에 있어서,
    상기 영상처리기는,
    상기 눈꺼풀에 의해 가려지지 않은 동공의 외곽점으로부터 원 피팅을 통해 동공의 중심점 좌표를 복원하는 것을 특징으로 하는 시선추적장치.
11. 제9항에 있어서,
    상기 영상처리기는,
    동공 복원이 불가한 경우, 상기 시선추적장치의 동작을 중단시키는 것을 특징으로 하는 시선추적장치.

Images