KR20130107981A - 시선 추적 장치 및 방법 - Google Patents

Abstract

본 발명은 시선 추적 장치 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 시선 추적 장치는 사용자가 주시하는 방향의 대상을 촬영하여 영상을 획득하는 제1 촬상부, 대상을 주시하는 사용자의 양안에 대한 양안 영상을 획득하는 제2 촬상부, 및 제2 촬상부에서 제공되는 양안 영상을 이용하여 양안의 동공 영역을 검출하고, 검출한 동공 영역과 제1 촬상부에서 제공되는 대상의 영상을 매핑시켜 사용자가 응시하는 대상의 관심영역을 추출하는 영상처리부를 포함하는 것을 특징으로 한다.

Description

시선 추적 장치 및 방법{Device and Method for Tracking Sight Line}

본 발명은 시선 추적 장치 및 방법에 관한 것으로서, 더 상세하게는 예컨대 로봇제어 시스템 등에 적용되도록 사용자의 양안 시선 기반으로 가로 방향의 오차를 줄이고, 다중 사용자 시선 보정으로 세로 방향의 오차를 줄여 3차원 공간에서 사용자의 관심영역을 추출할 수 있는 시선 추적 장치 및 방법에 관한 것이다.

인간은 오감으로 실 세계의 다양한 정보를 수집하여, 주변의 상황을 인지하고 상호작용함으로써 오감을 주변 환경에 대한 인터페이스로 활용한다. 현재 많이 사용되는 시각, 청각과 같은 단일 인공감각 인식 기술은 특징 추출, 특징 선택, 인식 기술의 한계에서 나타나는 정보의 불확실성으로 인해 그 한계를 드러내고 있어 그 해결 방안으로 인간의 오감을 모방, 컴퓨터 기술에 접목함으로써 다중감각추론 및 인지향상기술의 개발이 요구되고 있고, 그 일환으로서 선택적 인식 시스템이 개발되었다. 선택적 인식 시스템이란 사용자의 관심영역을 찾아 그 영역 안에서 인식된 결과를 출력하는 시스템을 말한다. 즉, 사용자가 원하는 인식 정보를 선택할 수 있는 시스템이다. 이는 인식 시스템을 사용하는 사용자에게 과도한 인식 정보가 제공되는 것을 차단하고, 인식 시스템이 처리하는 데이터의 양을 관심영역 내로 줄여 처리 속도를 향상시킬 수 있는 시스템이다.

사용자의 관심영역은 사용자의 시선을 통해 추출한다. 이에 따라 시선을 통해 사용자의 관심영역을 추출하려는 연구는 오래전부터 있어 왔다. 시선 추적 기술은 응시자의 관심 위치와 이에 따른 감성까지 파악할 수 있는 중요한 수단으로 인식되어 미국, 유럽 및 일본 등지에서 활발한 연구가 진행되고 있으며, 국내에서도 많은 연구가 이루어지고 있다. 그러나 눈의 위치를 정확히 파악하기 위해 고해상도의 카메라를 사용하거나, 적외선 카메라 또는 입체영상시스템 등의 고가의 장비를 사용해야 한다.

일반적으로 보급이 되어있는 웹 카메라를 사용할 경우에는 이미 설정한 위치에 눈의 위치를 맞추어 주어야 하는 등 실제 활용에 여러 가지 제약이 따른다. 시선 추적 기술은 UI/UX 구성 및 사용성에 대한 객관적인 고객반응 및 선호도 분석의 전략적 도구로써 IPTV, SoIP, 휴대폰 등의 서비스 사용성 분석에 활용하여 직관적이고 편리한 서비스를 제공하고, 광고 컨텐츠 구성에 활용시보다 가치있고 인상적인 내용을 전달할 수 있다. 또한, 차세대 인터페이스로서 기존 서비스 고도화 및 신규 서비스 발굴의 기회를 얻을 수 있다. 증강현실 서비스, 클리어 스킨(Clear-Skin) 등 객체기반 서비스에서 터치 및 마우스를 대신할 편리한 입력수단으로 활용되고 전자 책(e-Book), 라이프 로그(Life-Log), 교육, 게임 등의 분야에서 차별화된 신규 서비스 창출로 이어질 수 있다. 또한 타겟 대상별로 정교한 사용자 분석을 통해 정보 전달 효과가 높은 컨텐츠 개발이 가능하고, 시선의 방향대로 카메라를 구동하여 시선과 카메라의 영상을 일치시키는 시스템으로 현장의 상황을 착용자의 시점으로 신속하고 정확한 영상을 얻을 수 있다. 유아, 노약자, 장애인 등 사용자에 따른 맞춤형 컨텐츠를 개발하여 제공할 수 있다. 시선 추적 기술을 활용해서 시선의 방향대로 카메라를 구동하는 연구도 있었다.

예를 들어 시선 추적 기술이 활용된 시선 추적기는 그 목적에 따라 크게 리모티드(Remoted) 방식과 헤드 마운티드(Head Mounted) 방식 등 두 가지 방식으로 나눌 수 있다. 리모티드 방식은 사용자에게 장착하지 않고 어떤 정해진 모니터나 스크린 내에서 사용자의 응시점을 찾는 방식이다. 이 방식은 사용자에게 장비를 장착하는 불편함은 없지만 사용 공간의 제약이 있어 실 환경에서 사용할 수 없다. 그리고 사용자의 움직임에 따라 응시점의 보정이 필요하다. 헤드 마운티드 방식은 사용자의 머리에 착용해서 사용자의 시선을 추적하고 응시점을 찾아 전방 영상에 매핑한다. 이 방식은 실 환경의 3차원 공간상에서 활용이 가능하다.

실 환경에서 응시점의 추정을 위해서는 거리에 따르는 오차를 줄여야 한다. 실 환경에서 사용할 수 있기 위해서는 시스템의 휴대성과 응시점의 거리가 고려되어야 한다. 응시점의 거리는 전방 영상의 시점과 사용자의 시점이 다르기 때문에 사용자가 같은 방향을 보더라도 응시점의 거리에 따라서 매핑되는 결과가 달라질 수 있기 때문이다. 매핑되는 응시점은 착용자 시선 보정을 할 때의 거리와 관련된다. 즉, 이때의 거리에서 형성되는 2차원 평면공간에 시선이 매핑되는 것이다. 따라서 실 환경에서 시선 추정을 하기 위해서는 착용자 시선 보정 시 거리와 관계없이 시선의 응시점을 매핑할 수 있어야 한다.

도 1은 일반적인 단안 시선에 기반하여 3차원 공간에 나타나는 문제점을 설명하기 위한 도면이다.

실 환경 시선추적에서 거리에 따른 오차는 눈의 시점과 매핑되는 카메라 영상의 시점이 다르기 때문에 생긴다. 이는 최초 착용자 보정을 실시하는 거리로 매핑되었기 때문이다. 그래서 그 보정 거리보다 가깝거나 먼 곳의 시선은 동공 검출과 보정의 정확도에 관계없이 오차가 생기게 되는 것이다.

단안에서의 거리에 따른 오차를 그림으로 나타내 보면 도 1에서와 같다. 도 1은 카메라의 시점과 눈의 시점을 표현하고 캘리브레이션(calibration)을 수행한 2차원 평면을 직선으로 표시하였다. 그리고 기준거리보다 멀거나 가까운 시선이 2차원 평면상에 매핑되는 매핑점을 나타내었다. 도 1과 같이 2차원 평면상에 매핑이 되는 지점은 카메라 시점에서 사람의 시선이 실제로 향하는 곳과 다른 곳으로 매핑이 된다. 이처럼 기준거리에서 벗어나면 오차가 발생하게 된다.

그 결과 단안 시선 기반에서는 매핑되는 가상의 2차원 평면상에 나타나는 눈 시점과 카메라 시점에서 보는 객체의 위치가 달라진다.

도 2는 세로방향의 오차가 발생하는 이유를 설명하기 위한 도면이다.

도 2에서 보는 바와 같이, 전방 주시 카메라와 사용자의 시선 방향이 다르기 때문에 눈 시점과 카메라 시점에서 세로방향의 차이가 생긴다. 다시 말해, 카메라의 시점과 눈의 시점의 차이뿐만 아니라 도 2에서와 같이 카메라의 방향과 시선 방향의 차이로 인해서도 세로방향의 오차가 발생하는 것이다. 세로방향의 오차도 가로방향의 오차와 마찬가지로 착용자 시선 보정 거리에서는 크게 나타나지 않고 더 멀거나 가까운 거리에서 나타나게 된다. 두 눈은 세로방향으로 배열되어 있지 않기 때문에 가로방향의 오차 개선과는 다른 방법이 필요하게 되는 것이다.

본 발명의 실시예는 단안에 기반하여 3차원 공간에서 나타나는 오차를 개선하기 위하여 양안 시선 기반으로 가로 방향의 오차를 줄이고, 다중 사용자 시선 보정으로 세로 방향의 오차를 줄임으로써 3차원 공간에서 사용자의 관심영역을 추출할 수 있는 시선 추적 장치 및 방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 시선 추적 장치는 사용자가 주시하는 방향의 대상을 촬영하여 영상을 획득하는 제1 촬상부; 상기 대상을 주시하는 상기 사용자의 양안에 대한 양안 영상을 획득하는 제2 촬상부; 및 상기 제2 촬상부에서 제공되는 상기 양안 영상을 이용하여 상기 양안의 동공 영역을 검출하고, 상기 검출한 동공 영역과 상기 제1 촬상부에서 제공되는 상기 대상의 영상을 매핑시켜 상기 사용자가 응시하는 상기 대상의 관심영역을 추출하는 영상처리부를 포함하는 것을 특징으로 한다.

상기 제2 촬상부는 상기 사용자의 양안을 각각 촬영하는 복수의 카메라를 포함하는 것을 특징으로 한다.

상기 제2 촬상부는, 상기 사용자의 양안 이미지를 형성하는 반사부; 상기 반사부에서 반사된 적외선 영상의 상기 양안 이미지를 촬영하는 적외선 카메라를 포함하는 것을 특징으로 한다.

상기 반사부는 가시광선을 투과시키고 적외선을 반사시키는 핫미러(Hot Mirror)인 것을 특징으로 한다.

상기 제2 촬상부는 상기 양안 영상의 획득시 적외선 조명을 생성하는 조명부를 포함하는 것을 특징으로 한다.

상기 영상처리부는, 상기 양안 이미지를 이용하여 상기 사용자의 동공 영역을 검출하는 영역 추출부; 상기 대상의 영상에 상기 동공 영역을 매핑하는 매핑부; 및 상기 매핑의 결과를 이용하여 상기 관심영역을 추출하는 관심영역 추출부를 포함하는 것을 특징으로 한다.

상기 영상처리부는 사람마다 동공의 특징이 다른 것을 감안하여 상기 대상에 대한 영상의 좌표와 상기 사용자의 동공 중심 좌표를 보정하는 보정부를 더 포함하는 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 시선 추적 방법은 사용자가 주시하는 방향의 대상을 촬영하여 영상을 획득하는 단계; 상기 대상을 주시하는 상기 사용자의 양안에 대한 양안 영상을 획득하는 단계; 및 상기 양안 영상을 이용하여 상기 양안의 동공 영역을 검출하고, 상기 검출한 동공 영역과 상기 대상의 영상을 매핑시켜 상기 사용자가 응시하는 상기 대상의 관심영역을 추출하는 단계를 포함하는 것을 특징으로 한다.

상기 양안 영상을 획득하는 단계는, 상기 사용자의 양안 이미지를 반사부에 형성하는 단계; 및 상기 반사부에서 반사된 상기 양안 이미지를 촬영하는 단계를 포함하는 것을 특징으로 한다.

상기 시선 추적 방법은, 상기 양안 영상의 획득시 조명을 생성하는 단계를 더 포함하는 것을 특징으로 한다.

상기 시선 추적 방법은, 사람마다 동공의 특징이 다른 것을 감안하여 상기 대상에 대한 영상의 좌표와 상기 사용자의 동공 중심 좌표를 보정하는 단계를 더 포함하는 것을 특징으로 한다.

도 1은 일반적인 단안 시선에 기반하여 3차원 공간에서 나타나는 문제점을 설명하기 위한 도면,
도 2는 세로 방향의 오차가 발생하는 이유를 설명하기 위한 도면,
도 3은 본 발명의 실시예에 따른 시선 추적 장치의 구조를 나타내는 도면,
도 4는 시선 추적에 의한 사용자의 동공검출 과정을 나타내는 도면,
도 5는 양안 시선을 기반으로 한 가로방향 오차 개선을 설명하기 위한 도면,
도 6은 다중 착용자 시선 보정으로 세로방향 오차 개선을 설명하기 위한 도면,
도 7은 실험을 위해 제작한 시선 추적 장치를 나타내는 도면,
도 8은 본 발명의 실시예에 따른 시선 추적 방법을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 3은 본 발명의 실시예에 따른 시선 추적 장치의 구조를 나타내는 도면이고, 도 4는 시선 추적에 의한 사용자의 동공검출 과정을 나타내는 도면,

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 시선 추적 장치(300)는 제1 촬상부(310), 제2 촬상부(320) 및 반사부(330)의 일부 또는 전부를 포함하며, 영상처리부(미도시) 및 조명부(미도시)의 일부 또는 전부를 더 포함할 수 있다.

가령, 영상처리부는 제1 촬상부(310) 및 제2 촬상부(320)에 각각 구성되거나, 제1 촬상부(310) 및 제2 촬상부(320)는 서로 통합하여 구성될 수 있으며, 조명부는 제2 촬상부(320)에 구성될 수 있다. 이에 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

제1 촬상부(310)는 적어도 하나의 전방 주시 카메라를 포함할 수 있다. 이러한 카메라는 사용자가 주시하고 있는 방향으로 촬영 방향이 향하도록 설정하여 배치된다. 이를 통해 가령 사용자가 컴퓨터나 TV와 같은 디스플레이장치의 화면을 주시하고 있다고 가정할 때, 제1 촬상부(310)는 사용자가 주시하는 전방 영상을 획득하게 된다. 이후 획득한 영상은 가령 영상처리부에 제공할 수 있을 것이다.

제2 촬상부(320)는 복수의 적외선 카메라를 포함할 수 있으며, 사용자의 양안 영상을 획득하기 위하여 2개의 적외선 카메라를 포함하는 것이 바람직하다. 이러한 제2 촬상부(320)는 사용자가 주시하는 방향과 대략 수직한 방향을 향하도록 촬영 방향을 설정하여 배치되지만, 사용자의 양안 촬영이 가능하다면 어떠한 형태로 배치되어도 무관하다. 이러한 제2 촬상부(320)는 하단에 배치되는 반사부(330)에 의해 반사되는 적외선의 양안 영상을 획득하고, 이를 영상처리부에 제공해 줄 수 있을 것이다.

반사부(330)는 핫미러를 사용하는 것이 바람직하다. 여기서, 핫미러는 가시광선은 투과하고 적외선을 반사하는 성질을 갖는 것으로서, 사용자의 시선을 방해하지 않으면서 양안의 적외선 영상을 획득하기 위하여 유용할 수 있다. 이를 통해 반사부(330)는 제2 촬상부(320)에서 사용자의 양안 촬영이 가능하도록 한다.

조명부(미도시)는 가령 적외선 LED(IR-LED)를 포함할 수 있으며, 제2 촬상부(320)의 일부로 구성되거나, 그와 별개로 구성될 수도 있다. 조명부는 제2 촬상부(320)가 반사부(330)에 비친 사용자의 양안을 촬영할 때 적외선을 조사함으로써 적외선 영상이 획득될 수 있도록 한다. 이에 근거해 볼 때 조명부는 제2 촬상부(320)의 촬영시에 동기되어 동작하는 것이 바람직하다.

영상처리부(미도시)는 제2 촬상부(320)에서 촬영된 사용자의 양안 영상을 이용하여 동공의 중심을 검출하고, 검출된 동공의 중심 좌표값을 추출할 수 있다. 이때 양안 영상을 이용함으로써 영상처리부는 사용자의 응시점을 단안에 비해 좀더 정확히 검출할 수 있을 것이다. 또한 영상처리부는 검출된 동공의 중심 좌표값을 추출하면, 제1 촬상부(310)의 촬영 영상과 시선 매핑을 시켜 사용자의 응시점을 확인할 수 있고, 그 결과 사용자가 화면에 표시된 영상 중 어느 부분에 시선을 주시하였는지를 알 수 있게 된다. 즉 사용자의 관심영역을 판단할 수 있게 되는 것이다. 이후 영상처리부는 처리 결과를 출력해 줄 수 있다. 나아가 영상처리부는 사람마다 동공의 크기, 위치 및 카파각 등이 다른 것을 감안하여 착용자 시선을 보정하기 위한 시선 보정판을 디스플레이장치의 화면에 표시해 줄 수 있다. 이를 위하여 시선 보정판을 생성하기 위한 별도의 프로그램을 가동시킬 수 있을 것이다. 여기서, 카파각은 시선축과 광학축이 이루는 각을 의미하며, 착용자 시선 보정이란 전방 영상의 좌표와 착용자의 동공 중심 좌표를 보정하는 과정을 의미한다. 또한 시선 보정판은 각 모서리 영역에 응시 포인트를 가질 수 있는데, 가령 시선 보정판이 디스플레이장치의 화면에 표시되는 것이 아니라 별도로 제작된 경우라 하더라도 영상처리부는 제1 촬상부(310) 및 제2 촬상부(320)에서 제공한 영상을 이용하여 보정 과정을 수행할 수 있으므로 본 발명의 실시예는 시선 보정판이 어떠한 방식으로 형성되느냐에 특별히 한정하지는 않을 것이다.

위의 기능을 수행하기 위하여 영상처리부는 크게 양안 이미지를 이용하여 사용자의 동공 영역을 검출하는 영역 추출부, 촬영 영상에 동공 영역을 매핑하는 매핑부, 매핑 결과를 이용하여 관심영역을 추출하는 관심영역 추출부 및 시선 보정판에 의한 정보를 처리하는 보정부의 일부 또는 전부를 포함할 수 있다.

여기서 영역 추출부는 도 4에서와 같이 제2 촬상부(320)에서 제공되는 양안 영상을 이용해 동공의 중심을 검출하기 위하여 영상 수신부(400), 평활화부(410), 후보영역 검출부(420), 이진화부(430), 노이즈 제거부(440) 및 동공 검출부(450)의 일부 또는 전부를 포함할 수 있다. 동공 검출은 적외선 눈 영상을 사용한다. 영상 수신부(400)에서 획득한 눈 영상을 이용하여 평활화부(410)는 눈 영역 내에서 히스토그램 평활화를 통해 동공을 더 뚜렷하게 한다. 후보영역 검출부(420)는 픽셀값 0부터 대략적인 동공의 크기만큼 픽셀을 세어 동공 후보영역을 찾기 위한 경계값을 찾는다. 이 경계값으로 이진화부(430)는 이진 영상을 만들고 노이즈 제거부(440)는 라벨링으로 동공 크기가 아닌 영역을 제거한 후 동공 검출부(450)에서 타원 피팅(fitting)을 통해 동공을 검출한다.

좀더 구체적으로 살펴보면, 시선 축을 찾기 위해서는 동공 중심의 정확한 검출이 필요하다. 동공 검출은 디지털 영상처리를 통해서 동공의 특징을 추출한다. 동공을 뚜렷하게 구분하기 위해서 적외선 영상을 사용하는 것이다. 이어 동공을 추출하기 위하여 알고리즘을 실행할 수 있다. 먼저 적외선 카메라를 통해 눈 영상을 얻는다. 이렇게 얻어진 영상에서 그레이(gray) 레벨로 영상을 변환하고 동공영역을 검출하고 중심 좌표값을 찾아낸다.

동공은 항상 어두운 픽셀 값이 나타난다. 이를 이용하여 이진화를 하면 동공의 후보영역을 추출할 수 있다. 그러나 그림자, 속눈썹, 눈꺼풀, 적외선 조명의 반사광 등 많은 노이즈의 요소가 있다. 이를 해결하기 위해서는 적절한 경계 값(Threshold)을 정해야 한다. 하지만, 사람마다 혹은 환경, 시선의 방향에 따라 적절한 경계값은 달라진다. 따라서 적응적으로 적절한 경계값을 찾을 수 있어야 한다. 동공은 눈 영상에서 가장 어두운 영역 중의 하나이기 때문에 이를 이용하여 동공의 후보영역을 추출하게 된다. 따라서 어두운 픽셀 값들을 찾아야 한다. 동공영역을 또렷하게 하기 위해서 히스토그램 평활화를 실시한다.

히스토그램 평활화에 앞서 눈 영역만 따서 영상을 잘라낸다. 이는 원 영상에는 그림자나 눈썹 등 많은 노이즈를 포함하고 있기 때문에 포함된 노이즈를 최소화하기 위함이다. 히스토그램 평활화를 통해서 동공 영역의 픽셀 값들을 좀 더 어둡게 만들 수 있다.

더욱 또렷해진 동공 영상에서 적응적으로 적절한 경계값을 추출하기 위해서 우선 동공영역의 대략적인 픽셀 수를 정해준다. 눈 영상만 잘라낸 샘플 영상을 통해서 확인한 결과 대략 700개 정도인 것을 알 수 있다. 따라서 픽셀 값이 0인 픽셀부터 700개가 되는 픽셀까지 픽셀 값을 1씩 올리면서 센다. 그렇게 700번째 픽셀이 바로 적절한 경계값이 될 수 있다. 이는 가능한 동공영역 내에 있는 픽셀 값들을 찾아내기 위함이다. 히스토그램 평활화한 영상에서 이렇게 찾아진 경계값을 빼고 다시 한 번 히스토그램 평활화를 실시하면 동공 후보영역이 흰색으로 나타난다. 이렇게 나온 영상에 흰색만 남기는 이진 영상을 만들고 반전시키면 동공 후보영역의 이진 영상을 만들 수 있다.

동공 후보영역에는 동공영역과 함께 노이즈 영역도 포함되어 있다. 따라서 동공영역과 노이즈 영역을 구분하고 노이즈를 제거해야 한다. 이를 위해 이진 영상을 라벨링하여 각 부분으로 나눈다. 나누어진 각 부분의 픽셀수를 세고 동공의 크기와 다르다면 제거한다. 노이즈는 검은색의 노이즈와 흰색의 노이즈가 있다. 검은색의 노이즈는 눈꺼풀이나 그림자, 속 눈썹 등의 노이즈이고, 흰색의 노이즈는 적외선 조명의 반사광에 따른 노이즈이다. 반사광은 동공 내부에 나타난 부분을 제거하기 위해서 먼저 흰색 라벨링을 하고 동공영역의 크기보다 작은 영역을 검은색으로 바꾸어 준다. 이렇게 동공 내의 반사광 노이즈를 제거할 수 있다. 그리고 다시 검은색 라벨링을 하고 이번에는 동공영역보다 크거나 작은 영역을 흰색으로 바꾸어준다. 이렇게 라벨링을 통해서 노이즈를 제거한 이진 영상을 얻을 수 있다.

이렇게 동공영역을 추출한 영상이 온전한 동공영상은 아니다. 이 영상의 동공정보는 반사광이나 다양한 노이즈의 영향으로 동공의 형태가 소실된 정보이다. 따라서 이 소실된 부분을 보완하기 위해서 모폴로지 기법을 약 7회 반복한다. 모폴로지 연산은 팽창과 침식을 반복하는 기법이다. 이 연산을 통해 잡음제거를 할 수 있다. 즉 노이즈를 제거한 영상에서 부족한 부분을 채워서 소실된 동공의 정보를 원형에 가깝게 복원하는 과정이다. 모폴로지를 통해 약간의 복원이 되면 타원 피팅으로 동공 영역을 추출한다. 이는 카메라로 눈을 찍은 영상에서 동공이 완전한 원 모양이 아닌 경우가 많기 때문이다. 이렇게 피팅된 타원을 동공으로 정의하고 그 중심좌표를 동공의 중심좌표로 정의한다.

동공의 중심을 검출하면, 이어 영상처리부는 검출된 동공의 중심 좌표와 응시점과의 관계를 정의해야 한다. 두 관계가 정의되면 검출된 동공의 중심좌표에 해당하는 응시점의 좌표를 얻을 수 있다. 이렇게 동공의 좌표로부터 응시점의 좌표를 구하는 것이다. 이를 시선 매핑이라 하고, 사용자 혹은 착용자의 시선을 찾기 위해서 보정 작업을 먼저 실시할 수 있다. 시선 보정이 되면 사용자의 동공 위치에 따라 응시점을 도 3에서와 같이 표시해 줄 수 있을 것이다.

시선 매핑은 동공의 위치와 응시점의 위치 관계를 선형으로 정의한 것이다. 시선 매핑은 4지점의 응시점이 찍힌 시선 보정판을 사용한다. 이 시선 보정판은 착용자가 볼 수 있게 전방에 위치하게 되고 동시에 전방 영상에도 보정판이 나타나야 한다. 착용자가 이 4지점의 응시점을 차례로 응시하면 동공 중심의 사각형 평면공간이 만들어지는데, 이렇게 만들어진 사각형 평면공간을 전방 영상에 있는 보정판의 4응시점이 이루는 사각형 평면공간으로 기하학적 관계를 정의한다. 이렇게 정의된 4지점을 통해서 각 동공의 위치에 따라 전방영상에 해당하는 응시점을 표시할 수 있다.

이 두 사각형 평면공간의 기하학적 관계를 정의하기 위해서 두 평면공간의 꼭지점이 가지는 좌표값들을 활용한다. 각 좌표값들은 x좌표와 y좌표 각각 <수학식 1> 및 <수학식 2>와 같이 정의할 수 있다.

여기서, Fxn과 Fyn은 제1 촬상부(310), 즉 전방 카메라 영상의 사각형 평면의 꼭지점 위치이고, Pxn과 Pyn은 동공이 형성하는 사각형 평면공간의 꼭지점의 위치이다. n의 범위는 사각형의 꼭지점 수인 1~4이다.

동공 영역과 전방 카메라 영상을 매핑하려면 변수(a~h)를 구해야 한다. 이 변수들을 쉽게 구할 수 있도록 행렬로 나타내면 <수학식 3>과 같다.

F는 전방 카메라 영상의 4×2 행렬, P는 동공 영역의 4×4 행렬이고 V는 a~h 변수 4×2 행렬이다.

<수학식 4>와 같이 행렬 V를 구하면, 검출된 동공의 중심에 해당하는 시선의 위치로 매핑할 수 있다. 이와 같이 캘리브레이션이 되고 나면 사용자 시선 좌표 G는 <수학식 5>에 의해 구해질 수 있다.

이어 사용자, 즉 착용자 시선 보정이 추가로 이루어질 수 있다. 사람마다 동공의 크기, 위치 그리고 카파각 등이 다르다. 따라서 시선 추적에 앞서 착용자 시선 보정이 필요하다. 착용자 시선 보정은 전방 영상의 좌표와 착용자의 동공 중심 좌표를 보정하기 위한 과정이다. 사용자는 시스템, 즉 시선 추적 장치(300)를 착용하고 전방에 시선 보정판이 전방 영상에 나타나도록 위치시킨다. 그리고 보정판의 네 점을 순서대로 응시함으로 동공의 좌표 정보를 입력시킨다. 그러면 네 점의 동공 좌표를 받은 프로그램에서 전방영상에 나타난 해당 보정점의 좌표를 읽어서 보정을 하게 되는 것이다.

상기의 구성 결과, 본 발명의 실시예는 3차원 공간에서 사용자의 관심영역의 추출이 가능함으로써 각종 인식 시스템 및 로봇 제어 시스템으로 응용될 수 있을 것이다. 예컨대 스마트폰, 스마트 자동차 및 지능 로봇은 사용자의 시선 처리 결과에 따라 제어될 수 있는 것이다. 또한 디스플레이장치의 화면에 표시되는 영상에서 사용자의 관심영역은 기업의 광고 전략에 유용하게 사용될 수도 있을 것이다. 나아가 입력 영상에서 사용자 관심영역으로 선택된 정보는 고속 처리가 가능할 것이다.

또한 군사용으로도 활용할 수 있다. 무기의 조준 장치로 활용하거나 수색, 탐색용 로봇 등으로도 응용할 수 있을 것이다. 가상 현실에서 실제와 같은 몰입감을 위해서도 시선의 추적을 활용할 수 있을 것이며, 사람의 심리를 파악하는 데 활용하여 사람의 감성을 이해하는 로봇 등으로 적용할 수도 있을 것이다.

도 5는 양안 시선을 기반으로 한 가로방향 오차 개선을 설명하기 위한 도면이고, 도 6은 다중 착용자 시선 보정으로 세로방향 오차 개선을 설명하기 위한 도면이다.

대부분의 시선 추적기는 모니터나 스크린에서 즉 2차원 평면 공간에서 시선의 위치를 매핑하게 될 것이다. 그러나 실 환경에서는 3차원 공간에서 시선을 추적해야 한다. 실 환경에서는 같은 방향을 보더라도 응시점의 거리에 따라 매핑되는 결과가 달라진다. 따라서 실 환경에서 시선을 추적하기 위하여는 응시점의 3차원 위치를 고려해야 한다.

실 환경 시선추적에서 거리에 따른 오차는 눈의 시점과 매핑되는 카메라 영상의 시점이 다르기 때문에 생긴다. 이는 최초 착용자 보정을 실시하는 거리로 매핑되었기 때문이다. 그래서 그 보정 거리보다 가깝거나 먼 곳의 시선은 동공 검출과 보정의 정확도에 관계없이 오차가 생기게 되는 것이다.

본 발명은 이러한 문제를 양안의 시선을 추적하여 해결하였다. 도 5에 도시된 바와 같이 양안 기반에서는 두 눈을 동시에 매핑하기 때문에 기준거리의 평면상에 두 점이 매핑이 된다. 두 점은 각각 왼쪽과 오른쪽 시선이 매핑되는 점이다. 즉, 오차가 발생된 두 개의 좌표가 기준거리상에 나타나게 되는 것이다. 하지만 실제로 응시하고 있는 지점은 거리에 관계없이 두 점 사이의 중점임을 도 5로부터 알 수 있다. 이는 양안 기반으로 거리에 따른 오차의 개선이 가능함을 보여준다.

또한 사람마다 동공의 크기, 위치 그리고 카파각 등이 다르다. 따라서 시선추적에 앞서 착용자 보정이 필요하다. 본 발명의 실시예에서는 양안 기반 시선 추적 실험 결과를 토대로 응시점의 3차원 위치를 고려하기 위하여 착용자 보정시 3군데 거리에 따라 보정을 실시한다. 즉, 서로 거리가 다른 세 지점에 시선 보정판을 위치시키고 각각 착용자 보정을 하여 세 지점의 다른 매핑점 결과를 얻게 된다. 세 매핑점이 얻어지면 실제 착용자의 시선이 응시하는 위치에 가장 가까운 매핑점으로 매핑하게 된다.

착용자는 도 3의 시선 추적 장치(300)를 착용하고 전방에 시선 보정판을 전방 영상에 나타나도록 위치시킨다. 그리고 보정판의 네 점을 순서대로 응시함으로 동공의 좌표정보를 입력시킨다. 그러면 네 점의 동공좌표를 받은 프로그램에서 전방 영상에 나타난 해당 보정점의 좌표를 읽어서 보정을 하게 된다. 이 작업을 보정판의 위치가 서로 다른 세 지점에서 반복한다.

양안 기반 시선 추적을 통해서 x축 방향의 오차를 줄일 수 있지만 y축 방향의 오차는 여전히 나타난다. y축 방향의 오차 역시 눈의 시점과 카메라의 시점의 차이에 의해서 나타난다. 카메라의 시점과 눈의 시점의 차이뿐만 아니라 카메라의 방향과 시선의 방향의 차이로 인하여 y축 오차가 발생하는 것이다. y축 방향에 대한 오차도 x축 방향 오차와 마찬가지로 착용자 시선 보정 거리에서는 크게 나타나지 않고 더 멀거나 가까운 거리에서 나타나게 된다. 두 눈은 y축 방향으로 배열되어 있지 않기 때문에 x축 오차 개선과는 다른 방법이 필요하다. 본 발명의 실시예에서는 이를 다중 착용자 시선 보정으로 개선할 수 있다.

다중 착용자 시선 보정은 착용자 시선 보정을 다른 거리에서 반복하여 여러 번 시행하는 것이다. 도 6에 나타낸 바와 같이, 거리가 다른 두 지점을 착용자 보정을 하고 나면 매핑점 1과 매핑점 2의 두 매핑 결과를 얻는다. 이 두 지점 중에서 더 정확한 매핑점을 선택하기 위해서 각 매핑점에서 양안 매핑점의 거리를 계산한다. 거리는 <수학식 6>과 같이 구할 수 있다. 구해진 양안 좌표 간의 거리 중 가장 짧은 매핑점이 착용자 보정한 거리에 가깝다는 것을 의미한다. 보정한 거리가 가까운 점을 선택함으로 y축 방향의 오차를 줄일 수 있다. 본 발명의 실시예에서는 3회 보정으로 구현하였다.

도 7은 실험을 위해 제작한 시선 추적 장치를 보여주는 도면이다.

도 7의 (a)는 장치의 측면이고, 도 7의 (b)는 장치의 정면을 나타내는 것으로서, 장치 제작은 머리에 착용할 수 있도록 제작하였다. 착용하면 사용자의 움직임에 관계없이 시선을 추적할 수 있다. 사용자의 고개방향이 움직이더라도 전방영상 또한 사용자와 같은 방향을 유지하기 때문이다. 그리고 동공 검출을 위한 카메라 또한 항상 같은 위치에서 눈 영상을 제공받을 수 있다.

적외선 눈 영상을 제공받기 위해서는 적외선 카메라가 필요하다. 적외선 카메라는 일반 웹캠을 간단하게 개조할 수 있었다. 적외선 카메라로 적외선 영상을 얻기 위해서는 적외선 조명 또한 필요하다. 적외선 조명은 IR-LED를 사용하여 착용자의 눈 앞에 최대한 시선에 방해되지 않도록 구성했다.

적외선 눈 영상을 얻기 위해서는 눈 전방에 적외선 카메라를 설치해야 하는데 이는 착용자의 시선을 가리게 된다. 시선을 피해서 방향을 바꾸면 시선의 방향에 따라 동공의 일부가 가려지거나 크기나 모양이 달라져서 동공의 검출이 힘들어진다. 이는 눈이 구의 형태이기 때문이다. 따라서 사용자의 시선을 가리지 않으면서 눈 전방의 영상을 얻기 위해서 핫미러를 사용한다. 핫미러는 적외선은 반사하고 가시광선은 투과하는 특징이 있다. 따라서 핫미러를 사용하여 착용자의 시선은 방해하지 않고 적외선 눈 영상을 제공받을 수 있도록 했다.

핫미러는 지름 4cm의 원형으로 눈 앞에 1개씩 위치할 수 있도록 2개를 사용했다. 그리고 핫미러를 고정할 수 있는 치구를 설계하고, 도 7에서와 같이 알루미늄 치구를 제작했다. 핫미러를 장착한 장치의 개념은 도 3에서와 같다. 착용자는 핫미러를 투과하는 가시광선으로 전방을 응시하고 적외선 카메라는 핫미러에서 반사된 동공의 적외선 영상을 받게 된다. 제작된 치구로 핫미러를 고정하고 사용자의 머리에 착용할 수 있도록 공예용 철사로 제작한 틀에 장착했다.

장치는 공예용 철사로 기본적인 틀을 만들고 여기에 핫미러와 적외선 카메라를 장착한 치구, 전방 카메라를 설치했다. 그리고 IR-LED는 적외선 카메라의 뒷면에서 착용자의 안구쪽을 향하게 장착하고 공급할 전원과 연결했다. 세대의 카메라는 USB 케이블로 PC에 연결했다.

도 8은 본 발명의 실시예에 따른 시선 추적 방법을 나타내는 흐름도이다.

설명의 편의를 위해 도 8을 도 3과 함께 참조하면, 본 발명의 실시예에 따른 시선 추적 장치(300)는 제1 촬상부(310)를 통해 사용자가 주시하는 방향의 대상을 촬영하여 영상을 획득한다(S801). 이때 주시하는 방향의 대상이란 예를 들어 디스플레이장치를 의미하거나, 화면에 표시되는 영상의 특정 부분을 포함할 수 있다.

이의 과정에서 시선 추적 장치(300)는 사용자의 양안 이미지를 반사부(330)에 형성하게 된다(S803). 여기서, 반사부(330)는 핫미러를 포함할 수 있는데, 이는 가시광선은 투과시켜 사용자가 전방의 대상을 볼 수 있도록 하면서 적외선 광선은 제2 촬상부(320)의 방향으로 반사시키게 된다.

이때 시선 추적 장치(300)는 제2 촬상부(320)를 통해 반사부(330)에 형성된 양안을 촬영하여 양안 이미지를 획득하게 된다(S805). 이와 같은 양안 이미지를 획득하는 과정에서 시선 추적 장치(300)는 별도의 조명부(미도시)를 통해 적외선을 조사하는 과정을 추가로 수행할 수 있을 것이다.

또한 시선 추적 장치(300)는 제1 촬상부(310)를 통해 제공된 대상의 영상과 제2 촬상부(320)를 통해 제공된 양안 영상을 이용하여 사용자가 응시하는 대상의 일부에 대한 정보를 추출한다(S807). 다시 말해, 시선 추적 장치(300)는 제2 촬상부(320)의 양안 영상을 이용하여 동공 영역을 추출하며, 추출한 동공 영역의 좌표값을 제1 촬상부(310)에서 제공된 대상 영상에 시선 매핑을 시켜 사용자의 관심영역을 추출하게 되는 것이다. 이와 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략하도록 한다.

상기의 방법 결과, 본 발명의 실시예는 사용자의 관심영역에 대한 정보를 빠르게 처리할 수 있으며, 사용자의 관심영역에 대한 정보는 스마트폰, 스마트 자동차 및 지능로봇의 제어에도 유용하게 사용될 수 있을 것이다. 예컨대, 사용자가 표시판의 특정 부분을 주목한다고 가정할 때, 스마트 자동차는 사용자의 관심영역을 추출하고, 추출한 관심영역에 대한 부가 정보를 외부와의 통신을 통해 제공받아 출력해 줄 수도 있는 것이다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

300: 시선 추적 장치 310: 제1 촬상부
320: 제2 촬상부 330: 반사부
400: 영상 수신부 410: 평활화부
420: 후보영역 검출부 430: 이진화부
440: 노이즈 제거부 450: 동공 검출부

Claims (11)

1. 사용자가 주시하는 방향의 대상을 촬영하여 영상을 획득하는 제1 촬상부;
   상기 대상을 주시하는 상기 사용자의 양안에 대한 양안 영상을 획득하는 제2 촬상부; 및
   상기 제2 촬상부에서 제공되는 상기 양안 영상을 이용하여 상기 양안의 동공 영역을 검출하고, 상기 검출한 동공 영역과 상기 제1 촬상부에서 제공되는 상기 대상의 영상을 매핑시켜 상기 사용자가 응시하는 상기 대상의 관심영역을 추출하는 영상처리부를
   포함하는 것을 특징으로 하는 시선 추적 장치.
2. 제1항에 있어서,
   상기 제2 촬상부는 상기 사용자의 양안을 각각 촬영하는 복수의 카메라를 포함하는 것을 특징으로 하는 시선 추적 장치.
3. 제1항에 있어서,
   상기 제2 촬상부는,
   상기 사용자의 양안 이미지를 형성하는 반사부;
   상기 반사부에서 반사된 적외선 영상의 상기 양안 이미지를 촬영하는 적외선 카메라를
   포함하는 것을 특징으로 하는 시선 추적 장치.
4. 제3항에 있어서,
   상기 반사부는 가시광선을 투과시키고 적외선을 반사시키는 핫미러(Hot Mirror)인 것을 특징으로 하는 시선 추적 장치.
5. 제3항에 있어서,
   상기 제2 촬상부는 상기 양안 영상의 획득시 적외선 조명을 생성하는 조명부를 포함하는 것을 특징으로 하는 시선 추적 장치.
6. 제1항에 있어서,
   상기 영상처리부는,
   상기 양안 이미지를 이용하여 상기 사용자의 동공 영역을 검출하는 영역 추출부;
   상기 대상의 영상에 상기 동공 영역을 매핑하는 매핑부; 및
   상기 매핑의 결과를 이용하여 상기 관심영역을 추출하는 관심영역 추출부를
   포함하는 것을 특징으로 하는 시선 추적 장치.
7. 제1항에 있어서,
   상기 영상처리부는 사람마다 동공의 특징이 다른 것을 감안하여 상기 대상에 대한 영상의 좌표와 상기 사용자의 동공 중심 좌표를 보정하는 보정부를 더 포함하는 것을 특징으로 하는 시선 추적 장치.
8. 사용자가 주시하는 방향의 대상을 촬영하여 영상을 획득하는 단계;
   상기 대상을 주시하는 상기 사용자의 양안에 대한 양안 영상을 획득하는 단계; 및
   상기 양안 영상을 이용하여 상기 양안의 동공 영역을 검출하고, 상기 검출한 동공 영역과 상기 대상의 영상을 매핑시켜 상기 사용자가 응시하는 상기 대상의 관심영역을 추출하는 단계를
   포함하는 것을 특징으로 하는 시선 추적 방법.
9. 제8항에 있어서,
   상기 양안 영상을 획득하는 단계는,
   상기 사용자의 양안 이미지를 반사부에 형성하는 단계; 및
   상기 반사부에서 반사된 상기 양안 이미지를 촬영하는 단계를 포함하는 것을 특징으로 하는 시선 추적 방법.
10. 제8항에 있어서,
    상기 시선 추적 방법은, 상기 양안 영상의 획득시 조명을 생성하는 단계를 더 포함하는 것을 특징으로 하는 시선 추적 방법.
11. 제8항에 있어서,
    상기 시선 추적 방법은, 사람마다 동공의 특징이 다른 것을 감안하여 상기 대상에 대한 영상의 좌표와 상기 사용자의 동공 중심 좌표를 보정하는 단계를 더 포함하는 것을 특징으로 하는 시선 추적 방법.

Images