KR101748563B1

KR101748563B1 - 양안기반 시선추적 방법

Info

Publication number: KR101748563B1
Application number: KR1020160123079A
Authority: KR
Inventors: 김대식; 곽노태
Original assignee: 유비씨엔(주)
Priority date: 2016-09-26
Filing date: 2016-09-26
Publication date: 2017-06-20

Abstract

본 발명은 양안기반 시선추적 방법에 관한 것으로, 그 목적은 적외선 카메라를 이용하여 촬영된 2개의 눈 영상으로부터 동공의 중심좌표를 정밀 추출하여 응시점의 좌표를 구해 시선을 매핑한 후, 거리에 따른 카메라 영상 시점과 양안 시점간의 매핑 오차를 보정하기 위해 다중 착용자 시선 보정을 통해 3차원 실 공간에서의 관심영역을 추출하는 양안기반 시선추적 방법을 제공하는 데 있다.
본 발명은 적외선 영상을 이용하여 양안의 시선 축을 찾는 양안 동공 검출 단계(S10); 양안 동공의 좌표로부터 응시점의 좌표를 구해 시선을 매핑하는 동공검출기반 시선 추정단계(S20); 다중 착용자 시선 보정을 통해 거리에 따른 응시점의 3차원 위치를 보정하는 양안시선기반 위치추정 단계(S30); 및 거리가 보정된 착용자의 응시점 영역을 관심영역으로 추출하는 관심영역 추출 단계(S40);로 이루어진 것을 특징으로 하는 양안기반 시선추적 방법을 발명의 특징으로 한다.

Description

양안기반 시선추적 방법{Eye tracking method based both eyes}

본 발명은 사용자에게 의미 있는 정보를 선택적으로 추출하기 위한 양안기반 시선추적 방법에 관한 것으로, 자세하게는 실 환경에서 시선의 응시점 추정을 하기 위해 응시점 추정 전에 착용자의 양안 기반 시선을 보정하고 전방영상에서 착용자의 응시점을 찾아 양안을 통한 시선을 추정함으로써 응시점의 거리에 따른 오차를 줄이고 좀 더 정확한 관심영역을 추출할 수 있도록 한 시선 추적 방법에 관한 것이다.

선택적 인식 시스템이란 사용자의 관심영역을 찾아 그 영역 안에서 인식된 결과를 출력하는 시스템을 말한다. 즉, 사용자가 원하는 인식 정보를 선택할 수 있는 시스템이다. 이는 인식 시스템을 사용하는 사용자에게 과도한 인식 정보가 제공되는 것을 차단하고, 인식 시스템이 처리하는 데이터의 양을 관심영역 내로 줄여 처리 속도를 향상 시킬 수 있는 시스템이다.

이러한 시스템을 구현하는 데 사용되는 시선 추적기는 그 목적에 따라 크게 리모티드(Remoted) 방식과 헤드 마운티드(Head Mounted) 방식 등 두 가지 방식으로 나눌 수 있다.

상기 리모티드 방식은 사용자에게 장착하지 않고 어떤 정해진 모니터나 스크린 내에서 사용자의 응시점을 찾는 방식이다. 이 방식은 사용자에게 장비를 장착하는 불편함은 없지만 사용 공간의 제약이 있어 실 환경에서 사용할 수 없다. 그리고 사용자의 움직임에 따라 응시점의 보정이 필요하다.

상기 헤드 마운티드 방식은 사용자의 머리에 착용해서 사용자의 시선을 추적하고 응시점을 찾아 전방영상에 매핑한다. 이 방식은 실 환경의 3차원 공간상에서 활용이 가능하다.

하지만 종래의 관심영역 추출방법은 대부분 단안 기반 시선 추적방법으로 이루어져 응시점의 거리에 따른 오차가 많아 정확한 관심영역 추출이 어렵다는 단점이 있다.

즉, 실환경에서 응시점의 추정을 위해서는 거리에 따르는 오차를 줄여야 하는데 이런 실 환경에서 사용할 수 있기 위해서는 시스템의 휴대성과 응시점의 거리가 고려되어야 한다. 그 이유는 응시점의 거리는 전방 영상의 시점과 사용자의 시점이 다르기 때문에 사용자가 같은 방향을 보더라도 응시점의 거리에 따라서 매핑되는 결과가 달라질 수 있기 때문이다. 매핑되는 응시점은 착용자 시선 보정을 할 때의 거리와 관련된다. 즉, 이 때의 거리에서 형성되는 2차원 평면공간에 시선이 매핑되는 것이다.

따라서 실환경에서 시선 추정을 하기 위해서는 착용자 시선 보정 시 거리와 관계없이 시선의 응시점을 매핑할 수 있어야 하는데 아직까지 이와 같은 문제를 해결한 관심영역 추출방법 및 시스템이 제공되고 있지 못하는 실정이다.

한국 등록특허공보 등록번호 10-1610496(2016.04.01.) 한국 등록특허공보 등록번호 10-0949743(2010.03.19.) 한국 등록특허공보 등록번호 10-1613091(2016.04.11.) 한국 등록특허공보 등록번호 10-0850357(2008.07.29.)

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 적외선 카메라를 이용하여 촬영된 2개의 눈 영상으로부터 동공의 중심좌표를 정밀 추출하여 응시점의 좌표를 구해 시선을 매핑한 후, 거리에 따른 카메라 영상 시점과 양안 시점간의 매핑 오차를 보정하기 위해 다중 착용자 시선 보정을 통해 3차원 실 공간에서의 관심영역을 추출하는 양안기반 시선추적 방법을 제공하는 데 있다.

상기한 바와 같은 목적을 달성하고 종래의 결점을 제거하기 위한 과제를 수행하는 본 발명은 적외선 영상을 이용하여 양안의 시선 축을 찾는 양안 동공 검출 단계;

양안 동공의 좌표로부터 응시점의 좌표를 구해 시선을 매핑하는 동공검출기반 시선 추정단계;

다중 착용자 시선 보정을 통해 거리에 따른 응시점의 3차원 위치를 보정하는 양안시선기반 위치추정 단계; 및

거리가 보정된 착용자의 응시점 영역을 관심영역으로 추출하는 관심영역 추출 단계;로 이루어진 것을 특징으로 하는 양안기반 시선추적 방법을 제공함으로써 달성된다.

바람직한 실시예로, 상기 양안 동공 검출 단계는, 적외선 카메라를 통해 양안 영상을 얻는 단계와; 적외선 눈 영상을 그레이 레벨로 영상을 변환하고 동공 영역을 검출하는 단계와; 어두운 픽셀 값들을 찾아 동공영역을 또렷하게 하기 위해 히스토그램 평활화를 실시하는 단계와; 평활화된 동공영역의 픽셀수를 정한 후 가장 높은 픽셀값을 경계 값으로 정하는 단계와; 이후 히스토그램 평활화한 영상에서 상기 경계 값을 빼고 재차 히스토그램 평활화를 실시하여 동공 후보영역을 흰색으로 나타내는 단계와; 흰색만 남기고 나머지는 제거한 이진영상을 만든 후 색상을 반전시키는 단계와; 동공영역과 노이즈영역을 구분하여 노이즈를 제거하기 위해 라벨링하는 단계와; 라벨링 단계를 통해서 노이즈를 제거한 이진 영상을 얻는 단계와; 얻어진 영상 중 소실된 동공 정보를 복원 후, 타원피팅으로 동공영역을 추출하는 단계와; 피팅된 타원을 동공으로 정의하고 그 중심좌표를 동공의 중심좌표로 정의하는 단계;로 이루어질 수 있다.

바람직한 실시예로, 상기 라벨링하는 단계는 각 라벨의 픽셀 수를 세고 동공의 크기와 다르면 제거하는 단계와; 이후 동공 내부의 흰색노이즈를 제거하기 위해 흰색 라벨링을 하고 동공영역의 크기보다 작은 영역을 검은색으로 바꾸어 주는 노이즈제거 단계와; 이후 다시 검은색 라벨링을 하여 동공영역보다 크거나 작은 영역을 흰색으로 바꾸어 주는 단계;로 이루어질 수 있다.

바람직한 실시예로, 상기 소실된 동공 정보 복원은 모폴로지 연산을 통해 잡음제거와, 부족한 부분을 채워 소실된 정보를 동공에 가깝게 복원하는 단계일 수 있다.

바람직한 실시예로, 상기 동공검출기반 시선 추정단계는 동공의 중심을 검출한 후 검출된 동공의 중심 좌표와 응시점과의 관계를 정의하는 단계로, 4지점의 응시점이 찍힌 시선 보정판을 사용하여 착용자가 4지점의 응시점을 차례로 응시하여 동공 중심의 사각형 평면공간이 만들어지도록 하고, 이렇게 만들어진 사각형 평면공간을 전방영상에 있는 보정판의 4응시점이 이루는 사각형 평면공간으로 기하학적 관계를 정의하여 각 동공의 위치에 따라 전방영상에 해당하는 응시점을 표시하는 단계일 수 있다.

바람직한 실시예로, 상기 시선 보정판은 착용자가 볼 수 있게 전방에 위치하게 되고 동시에 전방영상에도 보정판이 나타나도록 구성일 수 있다.

바람직한 실시예로, 상기 양안시선기반 위치추정 단계의 다중 착용자 시선 보정은 서로 거리가 다른 세 지점에 시선 보정판을 위치시키고 각각 착용자 보정을 하여 세 지점의 다른 매핑점 결과를 얻는 단계와; 이후 세 매핑점이 얻어지면 실제 착용자의 시선이 응시하는 위치에 가장 가까운 매핑점으로 매핑하는 단계일 수 있다.

바람직한 실시예로, 상기 관심영역 추출 단계는 착용자의 응시점을 관심영역으로 보고 응시점의 영역을 사각형의 박스로 잘라서 저장하는 단계와;

이후 다른 크기로 잘려져 추출된 관심영역 영상은 저장장치에 저장된 후 영상을 인식하는 관심영역 추출모듈에서 동일한 크기로 확대하여 객체 인식을 수행하는 단계일 수 있다.

바람직한 실시예로, 상기 영상 크기는 착용자 시선 보정을 3회 이상 실시하였을 때를 적용하여 각각 관심영역의 크기를 다르게 자른 영상일 수 있다.

바람직한 실시예로, 상기 적외선 영상을 이용하여 양안의 시선 축을 찾는 양안 동공 검출 단계는 각 눈의 시선 전방에 경사지게 설치된 2개의 핫미러와, 2개의 핫미러를 통해 양안의 적외선 영상을 촬영하는 적외선 카메라와, 시선의 전방 영상을 촬영하는 1개의 영상카메라가 고정구에 설치되어 헤드 마운티드 방식으로 구성된 장비를 구비하여 양안 동공을 검출하는 단계일 수 있다.

또한 본 발명은 다른 실시양태로,

좌우 눈으로부터 각각 적외선 눈 영상 정보를 획득하는 한쌍의 적외선 카메라와;

시선이 향하는 전방 영상을 촬영하는 영상 카메라와;

상기 적외선카메라에 의한 눈 영상 획득시 적외선은 반사하고 가시광선은 투과하여 착용자의 시선을 가리지 않도록 눈 앞에 경사진 형태로 설치된 핫미러와;

상기 적외선 카메라, 영상카메라 및 핫 미러가 설치되어 지지되는 고정구와;

상기 각 적외선 카메라 및 영상카메라가 획득한 영상을 처리하는 영상처리수단;으로 구성되고,

상기 영상처리수단은 적외선 영상을 이용하여 양안의 시선 축을 찾는 과정을 처리하는 동공 검출 모듈; 양안 동공의 좌표로부터 응시점의 좌표를 구해 시선을 매핑하는 과정을 처리하는 동공검출기반 시선 추정모듈; 다중 착용자 시선 보정을 통해 거리에 따른 응시점의 3차원 위치를 보정하는 과정을 처리하는 양안시선기반 위치추정 모듈 및 거리가 보정된 착용자의 응시점 영역을 관심영역으로 추출하는 과정을 처리하는 관심영역 추출 모듈로 구성된 것을 특징으로 하는 양안기반 시선추적 시스템을 제공함으로써 달성된다.

상기와 같은 특징을 갖는 본 발명의 선택적 인식 시스템을 위한 양안 시선기반 관심영역 추출 방법 및 시스템은 적외선 영상을 사용한 착용형 동공 검출 방법을 통해 정밀한 동공의 좌표를 추출하여 시선을 매핑하고, 양안 시선기반 다중 착용자 시선 보정을 통해 거리에 따른 오차를 줄임으로써 3차원 실 공간에서의 정밀한 관심영역 추출이 가능하다는 장점을 가진 유용한 발명으로 산업상 그 이용이 크게 기대되는 발명인 것이다.

도 1은 본 발명의 한 실시예에 따른 양안기반 시선추적 시스템 구성도이고,
도 2는 본 발명의 한 실시예에 따른 핫미러 및 적외선 카메라가 장치되는 고정구 구성도이고,
도 3은 본 발명의 한 실시예에 따른 양안기반 시선추적 방법의 단계를 보인 흐름도이고,
도 4는 본 발명의 한 실시예에 따라 그레이 레벨로 변환한 적외선 눈 영상이고,
도 5는 본 발명의 한 실시예에 따라 그레이 레벨의 원영상과 눈 영역의 히스토그램 평활화 후 영상 비교도이고,
도 6은 본 발명의 한 실시예에 따른 동공 후보영역의 검출과 이진화 영상이고,
도 7은 본 발명의 한 실시예에 따른 타원 피팅으로 동공 검출도이고,
도 8은 본 발명의 한 실시예에 따른 착용자 시선 보정을 위한 보정판이고,
도 9는 종래 단안에서의 매핑에 따른 거리에 따른 오차를 나타낸 예시도이고,
도 10은 본 발명의 한 실시예에 따른 양안에서의 매핑되는 점을 보인 예시도이고,
도 11은 본 발명의 한 실시예에 따른 양안 시선 추적 실험 결과 영상이고,
도 12는 본 발명의 한 실시예에 따른 다중 착용자 시선 보정 후 매핑점 선택을 보인 예시도이고,
도 13은 본 발명의 한 실시예에 따른 안경 착용자와 미착용자의 동공 검출도이고,
도 14는 본 발명의 한 실시예에 따른 조명의 영향 비교도이고,
도 15는 본 발명의 한 실시예에 따른 중심좌표 값의 전체 평균 오차 그래프이고,
도 16은 본 발명의 한 실시예에 따른 양안 시선기반 평균 오차 그래프이고,
도 17은 종래 단안 시선기반 평균 오차 그래프이고,
도 18은 본 발명의 한 실시예에 따른 x좌표 오차 비교 그래프이고,
도 19는 종래 단안 시선기반 실험 결과 사진이고,
도 20은 본 발명의 한 실시예에 따른 양안 시선기반 실험 결과 사진이고,
도 21은 본 발명의 한 실시예에 따른 3회 착용자 시선 보정 실험 결과 사진이고,
도 22는 본 발명의 한 실시예에 따른 3회 착용자 시선 보정 평균 오차 그래프이고,
도 23은 본 발명의 한 실시예에 따른 착용자 시선 보정의 횟수와 오차거리 비교 그래프이고,
도 24는 본 발명의 한 실시예에 따른 착용자 시선 보정의 횟수와 y좌표 오차 비교 그래프이고,
도 25는 본 발명의 한 실시예에 따른 관심영역을 박스 표시한 예시도이고,
도 26은 본 발명의 한 실시예에 따른 관심영역 추출과 확대도이다.

이하 본 발명의 실시 예인 구성과 그 작용을 첨부도면에 연계시켜 상세히 설명하면 다음과 같다. 또한 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

본 발명에 따른 양안기반 시선추적 방법 및 시스템은 사용자의 관심영역을 찾아 그 영역 안에서 인식된 결과를 출력하는 선택적 인식 시스템에 적용되는 것으로, 실 환경에서 시선의 응시점 추정을 하기 위해 양안의 시선을 추정하는 방법 및 시스템이다. 이러한 본 발명은 단안에서 시선을 추정할 때 발생하는 응시점의 거리에 따라 추정되는 시선 위치의 오차가 발생되지 않는다. 그 이유는 양안을 통한 시선 추정으로 응시점의 거리에 따른 오차를 줄이고 좀 더 정확한 관심영역을 추출할 수 있기 때문이다.

이로 인해 본 발명은 인식 시스템을 사용하는 사용자에게 과도한 인식 정보가 제공되는 것을 차단하고, 인식 시스템이 처리하는 데이터의 양을 관심영역 내로 줄여 처리 속도를 향상 시킬 수 있게 된다.

본 발명은 특히 헤드 마운티드 방식 양안기반 시선추적 방법 및 시스템에 관한 것인데, 이러한 헤드 마운티드 방식은 사용자의 머리에 착용해서 사용자의 시선을 추적하고 응시점을 찾아 전방영상에 매핑하게 된다. 이 방식은 실 환경의 3차원 공간상에서 활용이 가능하다.

실환경에서 응시점의 추정을 위해서는 거리에 따르는 오차를 줄여야 하는데, 실 환경에서 사용할 수 있기 위해서는 시스템의 휴대성과 응시점의 거리가 고려되어야 한다. 응시점의 거리는 전방 영상의 시점과 사용자의 시점이 다르기 때문에 사용자가 같은 방향을 보더라도 응시점의 거리에 따라서 매핑되는 결과가 달라질 수 있기 때문이다. 매핑되는 응시점은 착용자 시선 보정을 할 때의 거리와 관련된다. 즉, 이 때의 거리에서 형성되는 2차원 평면공간에 시선이 매핑되는 것이다. 따라서 실환경에서 시선 추정을 하기 위해서는 착용자 시선 보정 시 거리와 관계없이 시선의 응시점을 매핑할 수 있어야 한다.

본 발명에 따른 양안 시선기반은 두 눈이 가로로 배열되어 있기 때문에 x축 방향으로만 개선 할 수 있다. 그러나 전방 영상의 시점과 사용자의 시점은 세로 방향으로도 차이가 있기 때문에 y축 방향의 개선도 필요하다. y축 방향의 문제는 착용자 시선 보정의 횟수를 늘려 다른 거리에 대한 보정을 함으로써 개선할 수 있다.

도 1은 본 발명의 한 실시예에 따른 양안기반 시선추적 시스템 구성도이고, 도 2a 내지 도 2는 본 발명의 한 실시예에 따른 핫미러 및 적외선 카메라가 장치되는 고정구 구성도이다.

도시된 바와 같이 본 발명의 시스템은 적외선 눈 영상을 얻기 위해 2개의 적외선 카메라(1)를 이용하여 좌우 눈으로부터 각각 적외선 눈 영상 정보를 획득한다.

또한 시선이 향하는 전방 영상을 촬영하도록 영상 카메라(2)가 구비된다.

또한 2개의 적외선 카메라(1)로 적외선 눈 영상을 획득시 착용자의 시선을 가리지 않으면서 눈 전방의 영상을 얻기 위해 핫미러(3)가 설치된다. 핫미러는 적외선은 반사하고 가시광선은 투과하는 특징이 있어서 착용자의 시선은 방해하지 않고 적외선 눈 영상을 받을 수 있게 된다.

한 실시예에 따른 핫미러는 지름 4cm의 원형으로 각 눈 앞에 1개씩 위치할 수 있도록 2개를 사용했다.

상기 적외선 카메라, 영상카메라 및 핫 미러는 고정구(4)에 설치되어 지지된다. 이 고정구는 알루미늄 재질로 이루어지는데, 적외선이 반사되게 경사지게 설치된 핫미러를 통해 적외선 영상을 촬영하는 적외선 카메라가 핫미러에 대응하여 1개씩 총 2개가 설치된다. 핫미러는 고정구 프레임에 설치된 핫미러 지지구에 의해 고정되고, 핫미러 지지구는 고정구 프레임상에서 핫미러의 위치를 좌우 조절하고 및 조절된 위치에서 고정토록 가압수단이 구비된다.

상기 영상카메라의 위치는 고정구 프레임의 상부 또는 하부에 설치될 수 있다.

상기 고정구는 머리에 고정되는 헤드 마운티드 방식으로 구성되기 때문에 미도시되었으나 헤어 밴드 부착방식, 헬멧 부착방식, 고글 부착방식 등등과 같은 공지의 수단을 이용하여 머리에 고정하면 된다.

상기 각 적외선 카메라 및 영상카메라가 획득한 영상은 미도시된 유무선 송수신기를 통해 영상처리수단(5)에 전송되어 이미지가 처리되게 된다. 유무선 송수신기는 적외선 카메라 및 영상카메라에 각각 구비되거나 별도로 구비될 수 있다. 별도로 구비시 적외선 카메라 및 영상카메라와 공지의 유무선 방식으로 회로 연결 구성하면 된다.

또한 상기 적외선 카메라 및 영상카메라는 상용의 소형 적외선 카메라 및 영상카메라 모듈 중 어느 것을 사용해도 상관없다. 구체적인 구성은 상용의 것을 사용하면 되므로 이하 생략한다.

영상처리수단(5)은 컴퓨터 시스템에 구성되는 것으로, 영상처리수단에는 적외선 영상을 이용하여 양안의 시선 축을 찾는 과정을 처리하는 동공 검출 모듈(51); 양안 동공의 좌표로부터 응시점의 좌표를 구해 시선을 매핑하는 과정을 처리하는 동공검출기반 시선 추정모듈(52); 다중 착용자 시선 보정을 통해 거리에 따른 응시점의 3차원 위치를 보정하는 과정을 처리하는 양안시선기반 위치추정 모듈(53) 및 거리가 보정된 착용자의 응시점 영역을 관심영역으로 추출하는 과정을 처리하는 관심영역 추출 모듈(54)이 구비된다.

상기 영상처리수단(5)에 구비되는 송수신 장치, 아날로그디지털 컨버터, 영상 입출력장치, CPU, 저장장치 등과 같은 컴퓨터시스템은 공지의 기술이므로 구체족인 설명은 생략한다. 상기 각 모듈은 저장장치에 저장된 프로그램이 CPU에 로딩되어 실행되는 모듈로 구성하거나, 임베디드 방식의 하드웨어적인 모듈로 구성 할 수 있음은 물론이다.

상기 각 모듈에서 처리하는 과정은 이하 방법 설명으로 대신한다.

도 3은 본 발명의 한 실시예에 따른 양안기반 시선추적 방법의 단계를 보인 흐름도이고, 도 4는 본 발명의 한 실시예에 따라 그레이 레벨로 변환한 적외선 눈 영상이고, 도 5는 본 발명의 한 실시예에 따라 그레이 레벨의 원영상과 눈 영역의 히스토그램 평활화 후 영상 비교도이고, 도 6은 본 발명의 한 실시예에 따른 동공 후보영역의 검출과 이진화 영상이고, 도 7은 본 발명의 한 실시예에 따른 타원 피팅으로 동공 검출도이고, 도 8은 본 발명의 한 실시예에 따른 착용자 시선 보정을 위한 보정판이고, 도 9는 종래 단안에서의 매핑에 따른 거리에 따른 오차를 나타낸 예시도이고, 도 10은 본 발명의 한 실시예에 따른 양안에서의 매핑되는 점을 보인 예시도이고, 도 11은 본 발명의 한 실시예에 따른 양안 시선 추적 실험 결과 영상이고, 도 12는 본 발명의 한 실시예에 따른 다중 착용자 시선 보정 후 매핑점 선택을 보인 예시도이다.

도 3에 도시된 바와 같이 상기와 같은 본 발명의 한 실시예에 따른 양안기반 시선추적 시스템을 구비한 본 발명의 양안기반 시선추적 방법은 크게 적외선 영상을 이용하여 양안의 시선 축을 찾는 양안 동공 검출 단계(S10); 양안 동공의 좌표로부터 응시점의 좌표를 구해 시선을 매핑하는 동공검출기반 시선 추정단계(S20); 다중 착용자 시선 보정을 통해 거리에 따른 응시점의 3차원 위치를 보정하는 양안시선기반 위치추정 단계(S30); 거리가 보정된 착용자의 응시점 영역을 관심영역으로 추출하는 관심영역 추출 단계(S40);로 이루어진다.

상기 동공 검출 단계(S10)는 양안 시선 축을 찾기 위해서 양안 동공 중심의 정확한 검출이 필요하다. 양안 동공 검출은 디지털 영상처리를 통해서 동공의 특징을 추출한다. 동공을 뚜렷하게 구분하기 위해서 적외선 영상을 사용한다. 동공을 추출하는 알고리즘은 다음과 같다.

먼저 적외선 카메라를 통해 양안 영상을 얻는 단계를 가진다. 이렇게 얻어진 영상에서 도 4와 같이 그레이 레벨로 영상을 변환하고 동공 영역을 검출하는 단계를 가진다. 이를 위해 정면, 위, 아래, 좌, 우를 향한 눈 영상을 획득했다.

이후 동공 후보영역을 검출하기 위해 이진화를 하기에 앞서 노이즈를 제거하기 위해 적절한 경계값을 정해야 한다. 동공은 눈 영상에서 가장 어두운 영역중의 하나이기 때문에 이를 이용하여 동공의 후보영역을 추출하게 된다. 따라서 어두운 픽셀 값들을 찾아야 한다. 동공영역을 또렷하게 하기 위해서 도 5와 같이 히스토그램 평활화를 실시하는 단계를 가진다.

더욱 또렷해진 동공영상에서 적응적으로 적절한 경계 값을 추출하기 위해서 우선 동공영역의 픽셀수를 정해준다. 눈 영상만 잘라낸 샘플영상을 통해서 확인한 결과 대략 700개 정도인 것으로 알 수 있었다. 따라서 픽셀 값이 0인 픽셀부터 700개가 되는 픽셀까지 픽셀 값을 1씩 올리면서 센다. 그렇게 700번째 픽셀이 바로 적절한 경계 값을 정하는 단계와;

이후 히스토그램 평활화 한 영상에서 이렇게 찾아진 경계 값을 빼고 다시 한 번 히스토그램 평활화를 실시하는 단계를 가진다. 이러한 단계를 가지면 도 6의 위와 같이 동공 후보영역이 흰색으로 나타난다.

이렇게 나온 영상에 흰색만 남기는 이진영상을 만들고 반전시키는 단계를 가진다. 이와 같은 단계를 가지면 도 6의 아래와 같이 동공 후보영역의 이진영상을 만들게 된다.

이후 도 6의 결과에서 동공영역과 노이즈영역을 구분하여 노이즈를 제거하기 위해 라벨링 하는 단계를 가진다. 각 라벨의 픽셀 수를 세고 동공의 크기와 다르면 제거한다. 동공 내부의 흰색노이즈는 적외선 조명의 반사광으로 인해 발생된 노이즈이다. 이 부분을 제거하기 위해 먼저 흰색 라벨링을 하고 동공영역의 크기보다 작은 영역을 검은색으로 바꾸어 주는 노이즈제거 단계를 가진다. 이렇게 동공내의 반사광 노이즈를 제거할 수 있다.

그리고 다시 검은색 라벨링을 하고 이번에는 동공영역보다 크거나 작은 영역을 흰색으로 바꾸어 준다.

이렇게 라벨링 단계를 통해서 노이즈를 제거한 이진 영상을 얻을 수 있다.

하지만 이 영상은 동공의 형태가 약간 소실된 정보이다. 이 부분을 보완하기 위해 모폴로지 연산을 통해 잡음제거와, 부족한 부분을 채워 소실된 정보를 동공에 가깝게 복원한 다음 타원피팅으로 동공영역을 추출하는 단계를 가진다.

이는 카메라로 눈을 찍은 영상에서 동공이 완전한 원 모양이 아닌 경우가 많기 때문이다. 도 7은 타원 피팅을 한 영상을 보여준다.

이후 피팅된 타원을 동공으로 정의하고 그 중심좌표를 동공의 중심좌표로 정의하는 단계를 가진다.

상기 적외선 영상을 이용하여 양안의 시선 축을 찾는 양안 동공 검출 단계(S10)는 각 눈의 시선 전방에 경사지게 설치된 2개의 핫미러와, 2개의 핫미러를 통해 양안의 적외선 영상을 촬영하는 적외선 카메라와, 시선의 전방 영상을 촬영하는 1개의 영상카메라가 고정구에 설치되어 헤드 마운티드(Head Mounted) 방식으로 구성된 장비를 구비하여 양안 동공을 검출하는 단계를 수행한다.

또한 각 적외선 카메라 및 영상카메라의 영상은 유무선 송수신기를 통해 동공 검출 모듈; 동공검출기반 시선 추정모듈; 양안시선기반 위치추정 모듈 및 관심영역 추출 모듈로 이루어진 영상처리수단에 전송되어 이미지가 처리되게 된다.

상기 동공검출기반 시선 추정단계(S20)는 동공의 중심을 검출한 후 검출된 동공의 중심 좌표와 응시점과의 관계를 정의하는 단계이다.

두 관계가 정의되면 검출된 동공의 중심좌표에 해당하는 응시점의 좌표를 얻을 수 있다. 이렇게 동공의 좌표로부터 응시점의 좌표를 구하는 것이다.

이를 시선 매핑이라 하고, 착용자의 시선을 찾기 위해서 보정 작업을 먼저 실시하게 된다. 시선 보정이 되면 착용자의 동공 위치에 따라 응시점을 전방영상에 표시할 수 있다.

시선 매핑은 동공의 위치와 응시점의 위치 관계를 선형으로 정의 한 것이다.

시선 매핑은 도 8과 같은 4지점의 응시점이 찍힌 시선 보정판을 사용한다. 이 시선 보정판은 착용자가 볼 수 있게 전방에 위치하게 되고 동시에 전방영상에도 보정판이 나타나야 한다.

착용자가 이 4지점의 응시점을 차례로 응시하면 동공 중심의 사각형 평면공간이 만들어지는데, 이렇게 만들어진 사각형 평면공간을 전방영상에 있는 보정판의 4응시점이 이루는 사각형 평면공간으로 기하학적 관계를 정의한다.

이렇게 정의된 4지점을 통해서 각 동공의 위치에 따라 전방영상에 해당하는 응시점을 표시할 수 있다.

상기 양안시선기반 위치추정 단계(S30)는 실제환경에서 시선의 위치를 통해 실제 좌표를 추정할 때 같은 방향을 보더라도 응시점의 거리에 따라 매핑되는 결과가 달라진다. 따라서 실 환경에서 시선을 추적하기 위해서는 응시점의 3차원 위치를 고려해야한다.

실 환경 시선추적에서 거리에 따른 오차는 눈의 시점과 매핑되는 카메라 영상의 시점이 다르기 때문에 생긴다. 이는 최초 착용자 보정을 실시하는 거리로 매핑되었기 때문이다. 그래서 그 보정 거리보다 가깝거나 먼 곳의 시선은 동공 검출과 보정의 정확도에 관계없이 오차가 생기게 되는 것이다.

단안에서의 거리에 따른 오차를 나타내 보면 도 9와 같다. 도 9는 카메라의 시점과 눈의 시점을 표현하고 캘리브레이션을 한 2차원 평면을 직선으로 표시하였다. 그리고 기준거리보다 멀거나 가까운 시선이 2차원 평면상에 매핑되는 매핑점을 나타내었다. 도 9와 같이 2차원 평면상에 매핑이 되는 지점은 카메라 시점에서 사람의 시선이 실제로 향하는 곳과 다른 곳으로 매핑이 된다. 이처럼 기준거리에서 벗어나면 오차가 발생하게 된다.

하지만 본 발명에 따른 양안 기반에서는 도 10과 같이 두 눈을 동시에 매핑하기 때문에 기준거리의 평면상에 두 점이 매핑이 된다. 두 점은 각각 왼쪽과 오른쪽 시선이 매핑되는 점이다. 즉, 오차가 발생된 두 개의 좌표가 기준거리상에 나타나게 되는 것이다. 하지만 실제로 응시하고 있는 지점은 거리에 관계없이 두 점사이의 중점임을 도 10으로부터 알 수 있다. 이는 양안 기반으로 거리에 따른 오차의 개선이 가능하다는 것을 보여준다.

양안 시선추적의 실험은 도 11과 같이 약 30cm 떨어진 거리의 평면공간에서 캘리브레이션을 하고, 양안의 시선추적 결과를 왼쪽 눈은 사각형으로, 오른쪽 눈은 원으로 표시하였다. 그리고 두 점의 중점을 삼각형으로 나타내었다. 실험은 약 1m와 약 2.5m 거리에서 각각 열 번씩 실험하였다.

(평균 오차 거리)

표 1에서와 같이 평균 오차거리는 양안을 매핑한 결과에서 가장 좋은 결과로 나타났다. 이는 양안을 매핑한 시선 추적 결과가 단안인 왼쪽 눈 매핑점과 오른쪽 눈 매핑점에서 나타나는 오차를 개선한다는 것을 보여준다.

사람마다 동공의 크기 위치 그리고 카파각 등이 다르다. 따라서 시선추적에 앞서 착용자 보정이 필요하다. 착용자 보정은 전방영상의 좌표와 착용자의 동공 중심 좌표를 보정하기 위한 과정이다.

본 발명에서는 양안 기반 시선 추적 실험 결과를 토대로 응시점의 3차원 위치를 고려하기 위하여 착용자 보정시 3군데 거리에 따라 다중 착용자 시선 보정을 실시한다.

즉, 서로 거리가 다른 세 지점에 시선 보정판을 위치시키고 각각 착용자 보정을 하여 세 지점의 다른 매핑점 결과를 얻는 단계와; 세 매핑점이 얻어지면 실제 착용자의 시선이 응시하는 위치에 가장 가까운 매핑점으로 매핑하는 단계로 이루어진다.

이를 위해 착용자는 시스템을 착용하고 전방에 시선 보정판을 전방영상에 나타나도록 위치시킨다. 그리고 보정판의 네 점을 순서대로 응시함으로 동공의 좌표정보를 입력시킨다. 그러면 네 점의 동공좌표를 받은 양안시선기반 위치추정 모듈에서 전방영상에 나타난 해당 보정점의 좌표를 읽어서 보정을 하게 된다. 이 작업을 보정판의 위치가 서로 다른 세 지점에서 반복한다.

다중 착용자 시선 보정은 착용자 시선 보정을 다른 거리에서 반복하여 여러번 시행하는 것이다. 도 12와 같이 거리가 다른 두 지점을 착용자 보정을 하고 나면 매핑점 1과 매핑점 2 두 매핑결과를 얻는다. 이 두 지점 중에서 더 정확한 매핑점을 선택하기 위해서 각 매핑점에서 양안 매핑점의 거리를 계산한다. 계산된 양안 좌표간의 거리 중 가장 짧은 매핑점이 착용자 보정한 거리에 가깝다는 것을 의미한다. 보정한 거리가 가까운 점을 선택함으로 y축 방향의 오차를 줄일 수 있다.

상기 관심영역 추출 단계(S40)은 먼저, 착용자의 응시점을 관심영역으로 보고 응시점의 영역을 사각형의 박스로 잘라서 저장하는 단계를 가진다. 즉, 착용자는 전방에 있는 객체를 응시하고 응시점에 매핑이 되면 그 매핑점을 중심으로 거리에 따라 다른 크기의 사각형태 영상 사이즈로 잘라 저장한다.

영상 크기는 착용자 시선 보정을 3회 실시하였을 때를 적용하여 각각 관심영역의 크기를 다르게 자른다. 그 이유는 전방에 응시하는 객체는 거리가 멀어질수록 작아지기 때문이다. 참고로 3회보다 더 많은 시선 보정을 하면 더욱 좋다. 하지만 최소한 3회는 보정을 해야 본 발명이 목적으로 하는 효과를 나타낼 수 있으므로 이보다 적게 보정하는 것은 바람직하지 않다.

이후 이렇게 다른 크기로 잘려져 추출된 관심영역 영상은 저장장치에 저장된 후 영상을 인식하는 관심영역 추출모듈에서 동일한 크기로 확대하여 객체 인식을 수행하는 단계;로 이루어진다.

이하 본 발명의 바람직한 실시예이다.

(실시예 1) 동공 검출 실험

정확한 동공 중심 좌표 검출을 위해서 동공 검출 실험을 시행했다. 동공 검출 실험은 안경 착용자와 안경 미착용자로 구분하여 실시 결과를 분석 하였고, 모든 피험자의 결과 또한 종합ㅇ분석 하였다.

도 13과 같이 안경 착용자와 미착용자 모두 비교적 잘 검출 되었다. 실험은 실험용 PC 앞에서 모니터를 향하는 시선으로 시행했다. 응시점은 모니터의 각 모서리와 중앙을 기준으로 9개의 부분으로 각 응시점 마다 10회 반복하여 검출하고 그 중심 좌표를 받았다. 그 평균값을 정리하여 분석했다. 그리고 주변 조명에 대한 영향을 비교하기 위해 어두운 환경에서 동공 검출을 시행한 결과 적외선 조명을 사용한 이유로 주변 조명에 대한 영향은 거의 없었다. 도 14와 같이 어두운 조명일 경우 동공의 크기가 커지는 변화 정도로 확인할 수 있었다.

수동으로 눈 영상에서 동공중심 좌표값을 찾은 후에 동공검출 모듈에서 추출한 중심좌표 값을 비교하여 그 오차를 정리하였다. 분석결과 도 15와 같은 결과를 얻었다. x축의 숫자는 응시한 포인트의 번호를 나타낸다. 수동으로 찾은 중심좌표값에서 1~2픽셀정도의 오차가 나타날 수 있다. 1픽셀의 허용오차를 감안해 실험결과는 2픽셀 이내의 오차로 생각할 수 있다.

(실시예 2) 양안시선기반 위치추정 매핑 실험

시선 매핑 실험은 두 가지 실험으로 나누어 시행했다. 첫 번째는 단안 시선기반 실험과 양안 시선기반의 매핑 결과를 분석 정리했고, 두 번째로 양안 시선기반 실험을 1번 보정일 때의 결과와 3번 보정일 때의 결과를 비교ㅇ분석 하였다. 이번 실험에서도 응시점과 매핑점을 비교할 때 응시점은 수동으로 응시하는 타겟의 중심 좌표를 수동으로 찾았다. 즉, 1∼2픽셀 정도의 오차가 있을 수 있다.

첫 번째 단안 시선기반 실험과 양안 시선기반 실험의 결과는 매핑점의 위치가 비슷하게 나타났다. 그러나 오차 분석 결과는 단안의 경우보다 양안의 경우 오차가 작게 나타났다.

도 16과 17은 양안과 단안 시선기반의 평균 오차를 보여준다. 결과를 보면 x좌표에서는 양안의 경우 조금 더 좋은 결과를 보였고, y좌표의 경우 모두 큰 오차를 보였다. 따라서 양안 시선기반에서 x축 방향의 오차를 줄이는 것으로 확인할 수 있다.

도 18은 x축 방향에서 오차의 차이를 비교한 것이다. 양안 시선기반에서 전반적으로 오차가 작아지는 것을 알 수 있다.

도 19는 종래 단안 시선기반 실험의 결과, 도 20은 양안 시선기반 실험의 결과를 보여준다. x축 방향의 오차는 개선되지만, y축 방향의 오차는 여전하다.

착용자 시선 보정을 다양하게 함으로 응시점의 위치가 멀어지는 경우에 나타나는 오차를 줄일 수 있을 것이다. 카메라와 시선의 방향이 다르기 때문에 응시점이 멀어질수록 시선에서 멀어지는 방향과 카메라에서 멀어지는 방향이 달라진다. 따라서 거리의 차이를 두어 각각 70cm, 1m, 1.2m 거리에서 3회 착용자 시선 보정을 실시하고 1회 보정을 했을 때와의 결과를 비교 분석 했다.

실험 결과는 도 21 같이 나타났다. 전반적으로 단안 시선기반에서의 결과와 양안 시선기반 1회 착용자 보정에서의 결과 보다 좋은 결과를 확인 할 수 있었다. 앞선 실험에 비해서 x축 방향 오차와 y축 방향의 오차 모두 크게 줄었다.

도 22는 착용자 시선 보정을 3회 실시한 후 나타나는 평균 오차를 보여준다. 분석 결과 x좌표와 y좌표의 평균 오차 모두 6픽셀 이하로 나타났다. 오차거리도 8픽셀 이하로 나타나 앞서 실시한 실험에 비해 좋은 결과를 확인할 수 있었다. 착용자 시선 보정을 1회 실시한 도 20의 결과보다 y축 방향 오차와 오차거리에서 크게 개선된 것을 확인할 수 있었다.

도 23은 1회 보정 했을 때와 3회 보정 했을 때의 y좌표 오차를 비교한 것이다. 착용자 시선 보정을 여러 번 함으로 y축 방향의 오차를 크게 줄일 수 있다는 것을 확인 할 수 있다. 그로 인해 도 24에 나타난 것과 같이 오차거리 또한 개선되었다.

(실시예 3) 관심영역 추출 실험

선택적 얼굴 인식 실험을 위해서 관심영역을 추출하는 관심영역 추출모듈에서 착용자의 응시점을 관심영역으로 보고 응시점의 영역을 사각형의 박스로 잘라서 저장하였다. 즉, 착용자는 전방에 있는 사람의 얼굴을 응시하고 응시점에 매핑이 되면 그 매핑점을 중심으로 75 × 90mm, 60 × 70mm, 40 × 50mm의 크기로 잘라서 저장하도록 했다.

영상의 크기는 착용자 시선 보정을 3회 실시하였을 때를 적용하여 각각 관심영역의 크기를 다르게 자르도록 한 것이다. 그 이유는 전방에 응시하는 사람의 얼굴은 거리가 멀어질수록 작아지기 때문이다.

이렇게 관심영역의 얼굴이 저장이 되면 관심영역 추출모듈에서 얼굴 인식을 수행하도록 했다.

도 25는 착용자가 응시한 얼굴에 대해서 관심영역을 표시한 영상을 보여준다. 전방영상에서 관심영역이 표시된 영역은 그 크기대로 잘라서 도 26과 같이 저장이 된다.

본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

(1) : 적외선 카메라 (2) : 영상 카메라
(3) : 핫미러 (4) : 고정구
(5) : 영상처리수단 (51) : 동공 검출 모듈
(52) : 동공검출기반 시선 추정모듈 (53) : 양안시선기반 위치추정 모듈
(54) : 관심영역 추출 모듈

Claims

적외선 영상을 이용하여 양안의 시선 축을 찾는 양안 동공 검출 단계(S10);
양안 동공의 좌표로부터 응시점의 좌표를 구해 시선을 매핑하는 동공검출기반 시선 추정단계(S20);
다중 착용자 시선 보정을 통해 거리에 따른 응시점의 3차원 위치를 보정하는 양안시선기반 위치추정 단계(S30); 및
거리가 보정된 착용자의 응시점 영역을 관심영역으로 추출하는 관심영역 추출 단계(S40);로 이루어지되,
상기 양안 동공 검출 단계(S10)는, 적외선 카메라를 통해 양안 영상을 얻는 단계와; 적외선 눈 영상을 그레이 레벨로 영상을 변환하고 동공 영역을 검출하는 단계와; 어두운 픽셀 값들을 찾아 동공영역을 또렷하게 하기 위해 히스토그램 평활화를 실시하는 단계와; 평활화된 동공영역의 픽셀수를 정한 후 가장 높은 픽셀값을 경계 값으로 정하는 단계와; 이후 히스토그램 평활화한 영상에서 상기 경계 값을 빼고 재차 히스토그램 평활화를 실시하여 동공 후보영역을 흰색으로 나타내는 단계와; 흰색만 남기고 나머지는 제거한 이진영상을 만든 후 색상을 반전시키는 단계와; 동공영역과 노이즈영역을 구분하여 노이즈를 제거하기 위해 라벨링하는 단계와; 라벨링 단계를 통해서 노이즈를 제거한 이진 영상을 얻는 단계와; 얻어진 영상 중 소실된 동공 정보를 복원 후, 타원피팅으로 동공영역을 추출하는 단계와; 피팅된 타원을 동공으로 정의하고 그 중심좌표를 동공의 중심좌표로 정의하는 단계;로 이루어진 것을 특징으로 하는 양안기반 시선추적 방법.
삭제
청구항 1에 있어서,
상기 라벨링하는 단계는 각 라벨의 픽셀 수를 세고 동공의 크기와 다르면 제거하는 단계와;
이후 동공 내부의 흰색노이즈를 제거하기 위해 흰색 라벨링을 하고 동공영역의 크기보다 작은 영역을 검은색으로 바꾸어 주는 노이즈제거 단계와;
이후 다시 검은색 라벨링을 하여 동공영역보다 크거나 작은 영역을 흰색으로 바꾸어 주는 단계;로 이루어진 것을 특징으로 하는 양안기반 시선추적 방법.
청구항 1에 있어서,
상기 소실된 동공 정보 복원은 모폴로지 연산을 통해 잡음제거와, 부족한 부분을 채워 소실된 정보를 동공에 가깝게 복원하는 단계인 것을 특징으로 하는 양안기반 시선추적 방법.
청구항 1에 있어서,
상기 동공검출기반 시선 추정단계(S20)는 동공의 중심을 검출한 후 검출된 동공의 중심 좌표와 응시점과의 관계를 정의하는 단계로, 4지점의 응시점이 찍힌 시선 보정판을 사용하여 착용자가 4지점의 응시점을 차례로 응시하여 동공 중심의 사각형 평면공간이 만들어지도록 하고, 이렇게 만들어진 사각형 평면공간을 전방영상에 있는 보정판의 4응시점이 이루는 사각형 평면공간으로 기하학적 관계를 정의하여 각 동공의 위치에 따라 전방영상에 해당하는 응시점을 표시하는 단계인 것을 특징으로 하는 양안기반 시선추적 방법.
청구항 5에 있어서,
상기 시선 보정판은 착용자가 볼 수 있게 전방에 위치하게 되고 동시에 전방영상에도 보정판이 나타나도록 구성한 것을 특징으로 하는 양안기반 시선추적 방법.
청구항 1에 있어서,
상기 양안시선기반 위치추정 단계(S30)의 다중 착용자 시선 보정은 서로 거리가 다른 세 지점에 시선 보정판을 위치시키고 각각 착용자 보정을 하여 세 지점의 다른 매핑점 결과를 얻는 단계와;
이후 세 매핑점이 얻어지면 실제 착용자의 시선이 응시하는 위치에 가장 가까운 매핑점으로 매핑하는 단계;로 이루어진 것을 특징으로 하는 양안기반 시선추적 방법.
청구항 1에 있어서,
상기 관심영역 추출 단계(S40)는 착용자의 응시점을 관심영역으로 보고 응시점의 영역을 사각형의 박스로 잘라서 저장하는 단계와;
이후 다른 크기로 잘려져 추출된 관심영역 영상은 저장장치에 저장된 후 영상을 인식하는 관심영역 추출모듈에서 동일한 크기로 확대하여 객체 인식을 수행하는 단계로 이루어진 것을 특징으로 하는 양안기반 시선추적 방법.
청구항 8에 있어서,
상기 영상 크기는 착용자 시선 보정을 3회 이상 실시하였을 때를 적용하여 각각 관심영역의 크기를 다르게 자른 영상인 것을 특징으로 하는 양안기반 시선추적 방법.
청구항 1에 있어서,
상기 적외선 영상을 이용하여 양안의 시선 축을 찾는 양안 동공 검출 단계(S10)는 각 눈의 시선 전방에 경사지게 설치된 2개의 핫미러와, 2개의 핫미러를 통해 양안의 적외선 영상을 촬영하는 적외선 카메라와, 시선의 전방 영상을 촬영하는 1개의 영상카메라가 고정구에 설치되어 헤드 마운티드 방식으로 구성된 장비를 구비하여 양안 동공을 검출하는 단계인 것을 특징으로 하는 양안기반 시선추적 방법.
삭제