KR20120127790A

KR20120127790A - 시선추적 시스템 및 그 방법

Info

Publication number: KR20120127790A
Application number: KR1020110045498A
Authority: KR
Inventors: 김민영; 이연정; 손형민; 양승호; 김현우; 정경욱; 이민호
Original assignee: 경북대학교 산학협력단
Priority date: 2011-05-16
Filing date: 2011-05-16
Publication date: 2012-11-26

Abstract

본 발명은 인지도 향상에 관한 것으로서 더욱 상세하게는 사용자가 응시하는 사물을 인지한 후, 검색하여 정보를 제공하기 위한 시선추적 시스템 및 그 방법에 관한 것으로서, 이를 위해 본 발명은 전방의 촬영을 위한 제1 촬영부, 사용자의 동공 위치를 촬영하기 위한 제2 촬영부, 제1 촬영부와 제2 촬영부에서 획득한 영상들을 오버렙시켜 캘리브레이션함으로써 맵핑하는 맵핑부, 제1 촬영부로부터 전송된 영상에서 적어도 하나 이상의 관심영역을 추출하는 제1 추출부, 제2 촬영부로부터 전송된 영상에서 동공이 위치하는 영역을 추출하는 제2 추출부, 제1 추출부에서 추출된 적어도 하나 이상의 관심영역과 제2 추출부에서 추출된 동공의 위치와 최단거리의 관심영역을 인식하는 인식부, 인식부가 인식한 관심영역과 일치하는 정보를 검색하기 위한 검색부, 및 검색부가 검색한 정보를 출력하기 위한 출력부를 포함한다.

Description

시선추적 시스템 및 그 방법{EYE TRACKING SYSTEM AND METHOD THE SAME}

본 발명은 인지도 향상에 관한 것으로서 더욱 상세하게는 사용자가 응시하는 사물을 인지한 후, 검색하여 정보를 제공하기 위한 시선추적 시스템 및 그 방법에 관한 것이다.

최근 들어, 인지도를 향상시킬 수 있는 기술들의 개발이 활발히 진행되고 있다.

특히 시각은 사람의 5감 중 매우 중요한 감각이다. 그러나 약시나 난시 근시와 같은 이유로 안경을 착용하거나 콘택트 렌즈를 사용하는 경우가 대부분이다.

그러나 이런 경우, 시력이 어느 정도 교정되지만 완벽하게 교정하기 어렵기 때문에 원거리에 존재하는 사용자의 관심대상이 존재하는 경우 인지하지 못하는 경우가 빈번히 발생한다는 문제점이 있었다.

또한, 사용자는 원거리에 있는 사람 또는 사물을 자신의 관심대상이라고 착각하여 이동하는 경우, 그에 따르는 시간적 낭비도 발생한다는 문제점도 있었다.

마지막으로 현대인들이 날마다 접하는 방대한 정보와 사람들을 정확하게 기억하기 힘들다는 문제점도 있었다.

따라서, 사용자의 관심대상을 정확하게 파악하여 검색한 후, 그 정보를 사용자에게 용이하게 제공할 수 있는 시스템 및 방법이 요구되고 있다.

본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은, 특히 사용자의 정확한 관심대상을 정확하게 파악하여 사용자에게 용이하게 제공하기 위한 시선추적 시스템 및 방법을 제공하는 것이다.

이를 위해 본 발명에 따르는 시선추적 시스템은, 전방의 촬영을 위한 제1 촬영부, 사용자의 동공 위치를 촬영하기 위한 제2 촬영부, 상기 제1 촬영부와 상기 제2 촬영부에서 획득한 영상들을 오버랩시켜 캘리브레이션함으로써 맵핑하는 맵핑부, 상기 제2 촬영부로부터 전송된 영상에서 상기 동공이 위치하는 영역을 추출하는 추출부, 상기 제1 촬영부에서 촬영된 적어도 하나 이상의 관심영역과 상기 추출부에서 추출된 상기 동공의 위치와 관심영역을 인식하는 인식부, 상기 인식부가 인식한 관심영역과 일치하는 정보를 검색하기 위한 검색부, 및 상기 검색부가 검색한 상기 정보를 출력하기 위한 출력부를 포함한다.

상기 제2 촬영부는 상기 사용자의 동공의 위치를 반사시키기 위한 반사체를 포함한다.

상기 맵핑부는 캘리브레이션(Calibration)하기 위해 사용자가 응시하는 지점을 클릭할 수 있는 교정보드를 포함하며, 상기 캘리브레이션(Calibration)은 상기 교정보드 상에 표시되는 지점을 응시하면서 동공의 좌표를 도출한다.

상기 맵핑부는 상기 교정보드 상에 표시되는 대응되는 동공의 좌표를 T행렬 미지수 계산법에 적용하여 상기 제1 촬영부의 화면과 상기 동공의 좌표를 맵핑시킨다.

상기 검색부는 상기 정보를 검색하기 위한 내부 데이터베이스, 및 상기 내부 데이터베이스에서 상기 정보를 검색하지 못하는 경우, 외부 데이터베이스와 연결하기 위한 제1 무선통신 수단을 포함한다.

상기 출력부는 상기 사용자에게 검색된 정보를 제공하기 위한 무선 이어폰, 및 상기 무선 이어폰으로 상기 검색된 정보를 전송하기 위한 제2 무선통신 수단을 포함한다.

이를 위해 본 발명에 따르는 시선추적 시스템은 전방의 촬영을 위한 제1 촬영부, 사용자의 동공의 위치를 반사시키기 위한 거울, 상기 거울에 반사된 사용자의 동공 위치를 촬영하기 위한 제2 촬영부, 상기 제1 촬영부와 상기 제2 촬영부에서 획득한 영상들을 오버렙시켜 캘리브레이션함으로써 맵핑하고, 상기 제1 촬영부로부터 전송된 영상에서 적어도 하나 이상의 특징을 추출하며, 상기 제2 촬영부로부터 전송된 영상에서 동공이 위치하는 영역을 추출하며, 추출된 적어도 하나 이상의 특징과 추출된 동공의 위치와 최단거리의 관심영역을 인식하여 인식한 특징과 일치하는 정보를 검색하기 위한 임베디드 모듈, 및 상기 임베디드 모듈에서 검색된 정보를 출력하기 위한 적어도 하나 이상의 스피커를 포함하며, 상기 제1 촬영부, 상기 거울, 상기 제2 촬영부, 및 상기 스피커는 안경 프레임에 구성된다.

상기 시선추적 시스템은 상기 안경 프레임에 구성된 상기 제1 촬영부, 상기 제2 촬영부 및 상기 스피커에 상기 인베디드 모듈은 서로 통신하기 위한 무선통신 수단을 각각 구비한다.

이를 위해 본 발명에 따르는 시선추적 방법은 교정수단을 응시하면서 캘리브레이션을 수행하는 캘리브레이션 단계, 전방의 영상과 사용자의 동공의 이동범위를 맵핑하는 맵핑 단계, 상기 동공이 위치하는 영역을 추출하는 추출 단계, 상기 맵핑된 관심영역에서 검출된 객체를 인식하는 인식 단계, 상기 관심영역과 일치하는 정보를 검색하는 검색 단계, 및 검색된 상기 정보를 출력하는 출력 단계를 포함한다.

상기 관심영역은 사용자의 관심에 따라 임의로 기 설정한 대상이다.

본 발명의 다양한 실시 예에 따르면, 사용자의 관심대상을 정확하게 파악하여 그 정보를 제공함으로써 사용자에게 필요한 정보를 적시에 제공받을 수 있는 효과가 있다.

따라서 본 발명에 따르면, 궁극적으로 사용자의 시간적 손실을 저감시키고 명확하게 자신의 관심대상의 정보를 수집할 수 있기 때문에 사용자는 가치창조적인 활동을 수행할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따르는 시선추적 시스템을 예를 들어 보여주기 위한 예시도.
도 2는 본 발명의 일 실시 예에 따르는 시선추적 시스템의 맵핑부를 보여주는 블록도.
도 3은 본 발명의 일 실시 예에 따르는 맵핑부의 교정보드로 캘리브레이션을 수행하는 일 예를 보여주는 사진 예시도.
도 4는 본 발명의 일 실시 예에 따르는 맵핑부가 캘리브레이션을 수행한 후 N개의 동공 좌표와 제1 촬영부의 화면을 맵핑시키는 방법을 보여주는 예시도.
도 5는 본 발명의 일 실시 예에 따르는 맵핑이 완료된 시선추적 시스템에서 사용자가 응시하는 영역을 추출하고, 추출된 영역에서 관심영역을 추출하여 인식한 후, 검색한 결과를 사용자에게 제공하는 것을 보여주는 흐름도.
도 6은 본 발명의 일 실시 예에 따르는 시선추적 시스템의 검색부의 구성을 보여주는 블록도.
도 7은 본 발명의 일 실시 예에 따르는 시선추적 시스템의 출력부를 보여주는 블록도.
도 8은 본 발명의 다른 실시 예에 따르는 시선추적 시스템을 보여주는 분해도.
도 9는 본 발명의 또 다른 실시 예에 따르는 시선추적 시스템을 보여주는 사진.
도 10은 본 발명의 일 실시 예에 따르는 시선추적 방법을 보여주는 순서도.

이하에서는 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 시선추적 시스템 및 그 방법을 상세히 설명한다.

도 1 내지 도 7의 동일 부재에 대해서는 동일한 도면 번호를 기재하였다.

본 발명의 기본 원리는 전방의 화면과 사용자의 동공의 이동범위를 캘리브레이션 한 후 맵핑하여, 사용자가 주시하는 관심대상의 정보를 검색하여 제공하는 것이다.

먼저, 본 발명의 실시 예에서 사용하는 사용자의 눈동자와 동공은 유사한 의미로 사용된다.

아울러, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시 예에 따르는 시선추적 시스템을 예를 들어 보여주기 위한 예시도이다.

도 1을 참조하면 본 발명의 일 실시 예에 따르는 시선추적 시스템(100)은 전방의 촬영을 위한 제1 촬영부(110), 사용자의 동공 위치를 촬영하기 위한 제2 촬영부(120), 제1 촬영부(110)와 제2 촬영부(120)에서 획득한 영상들을 오버랩시켜 캘리브레이션함으로써 맵핑하는 맵핑부(130), 제2 촬영부(120)로부터 전송된 영상에서 동공이 위치하는 영역을 추출하는 추출부(150), 제1 촬영부(110)에서 촬영된 적어도 하나 이상의 관심영역에 대응하는 추출부(150)에서 추출된 동공의 위치의 관심영역을 인식하는 인식부(160), 인식부(160)에서 인식한 관심영역과 일치하는 정보를 검색하기 위한 검색부(170), 및 검색부(170)가 검색한 정보를 출력하기 위한 출력부(180)를 포함한다.

도 1과 같이 구성된 본 발명의 일 실시 예에 따르는 시선추적 시스템(100)의 동작을 설명하면 다음과 같다.

우선 제1 촬영부(110)는 전방의 사물들을 촬영한다. 그리고 제2 촬영부(120)는 사용자의 동공 위치를 촬영한다. 여기서 제1 촬영부(110)가 촬영하는 전방의 각은 사용자가 보는 범위가 전방영상의 범위 안에 든다.

맵핑부(130)는 제1 촬영부(110)의 화면과 제2 촬영부(120)에서 촬영한 동공의 좌표를 서로 캘리브레이션(Calibration)을 수행한 후 맵핑(Mapping)시킨다.

다음의 도 2는 본 발명의 일 실시 예에 따르는 시선추적 시스템(100)의 맵핑부(130)를 보여주는 블록도이다.

도 2를 참조하면 본 발명의 일 실시 예에 따르는 맵핑부(130)는 교정보드(131)를 포함한다.

여기서 교정보드(131)는 제1 촬영부(110)에서 촬영되는 영상과, 제2 촬영부(120)에서 촬영되는 동공의 위치를 캘리브레이션(Calibration)하기 위해 구비된다.

교정보드(131)는 캘리브레이션을 수행하는 경우, 사용자의 시선을 둘 위치를 표시해 주는 휴대할 수 있는 표지판이다.

여기서 캘리브레이션을 할 때는 동공의 좌표값과 전방영상의 좌표값 두 개가 필요하다.

즉 카메라의 화각 내에 9개의 포인트를 매핑한다면 동공과 전방영상의 좌표값이 각각 9개씩 필요하다. 여기서의 좌표값은 교정보드(131)에 표시되는 영상의 좌표값이다.

여기서 9개의 점은 캘리브레이션을 수행하는 경우, 사용자가 응시할 포인트이다. 이 포인트들의 범위는 전방 카메라의 화각 범위 안에 존재한다.

동공의 좌표값은 영상처리를 통해 동공의 좌표를 찾아내는 프로그램과 같은 수단을 사용한다. 전방영상의 좌표값은 캘리브레이션 하는 과정에서 구한다.

여기서 캘리브레이션을 수행하는 과정의 두 가지 예를 들어본다.

우선 첫 번째는 교정보드(131)를 사용해서 사용자가 교정보드(131)에 임의로 찍혀있는 포인트(약 9개의 정렬된 포인트)를 순서대로 보면서 캘리브레이션을 한다. 이 경우 포인트들은 전방영상에 보이도록 위치하기 때문에 교정보드(131)에 표시된 포인트를 사용해서 전방영상의 좌표를 알 수 있습니다.

두 번째는 교정보드(131) 없이 휴대가능한 임베디드 디스플레이 장치와 연결된 경우를 말합니다.

이 경우, 사용자는 전방을 향하고 임의의 전방의 편한 부분을 응시한 상태로 전방영상과 눈동자 영상을 동시에 촬영한다. N번 반복 한 후, 그 촬영한 결과가 디스플레이 장치에 표시되면 사용자는 순서대로 자신이 응시했었던 지점을 출력된 전방영상에 표시한다. 이로써 동공의 좌표와 전방영상의 좌표 모두 획득할 수 있다.

다음의 도 3은 본 발명의 일 실시 예에 따르는 맵핑부(130)의 교정보드(131)로 캘리브레이션을 수행하는 일 예를 보여주는 사진 예시도이다.

도 3을 참조하면, 우선 사용자는 교정보드(131)의 A지점을 응시하고 제2 촬영부(120)는 그 때의 동공의 위치를 촬영한다. 마찬가지로 사용자는 교정보드(131)의 B지점을 응시하면, 제2 촬영부는 그 때의 동공의 위치를 촬영한다. 이와 같은 방법으로 연속하여 교정보드의 N지점을 응시한 후, 교정보드의 N지점을 마킹한다.

여기서 N은 복수의 지점을 의미하며 그 수가 증가할수록 더 정확한 맵핑이 가능하게 된다. 즉 눈동자와 전방영상의 사진을 여러 장 찍어놓고 그 후 사용자가 특정 포인트를 응시한다. 이때 사진을 찍을 때는 전방영상이 최대한 움직이지 않도록 해야한다.

그러면, 맵핑부(130)는 제2 촬영부(120)에 의해 각 교정보드(131)의 위치에 대응되는 N개의 동공 좌표를 얻을 수 있다.

즉, 이와 같은 캘리브레이션 과정을 통해 N개의 동공 좌표와 이와 대응되는 교정보드(131)의 좌표를 얻을 수 있다.

그 후, 맵핑부(130)는 N개의 동공 좌표와 이에 대응되는 교정보드(131)의 좌표를 서로 맵핑시킨다.

여기서 교정보드(131)의 화면 좌표와 제1 촬영부(110)의 화면 좌표는 동일하다. 따라서 N개의 동공 좌표와 이에 대응되는 교정보드(131)의 좌표를 이용하여 N개의 동공 좌표와 제1 촬영부(110)의 화면 좌표를 맵핑시킬 수 있다.

도 4는 본 발명의 일 실시 예에 따르는 맵핑부(130)가 캘리브레이션을 수행한 후 N개의 동공 좌표와 제1 촬영부(110)의 화면을 맵핑시키는 방법을 보여주는 예시도이다.

도 4를 참조하면 우선, N개의 동공 좌표와 이에 대응하는 제1 촬영부(110)의 화면 좌표를 T행렬 미지수 계산 방법에 적용하여 동공 좌표와 제1 촬영부(110)의 화면 좌표에 1:1 맵핑시킬 수 있다.

도 4 (a)는 동공좌표를 T행렬 미지수 계산 방법을 적용하여 화면에 맵핑시키는 것을 보여주는 도면이고, 도 4(b)는 동공의 이동영역을 제1 촬영부의 화면과 1:1 맵핑시키는 것을 보여주는 도면이다.

여기서는 도 4(b)를 참조하여 맵핑을 수행하기 위해 T행렬 미지수 계산법 적용하는 방법을 설명하면 다음과 같다.

다음의 [수학시 1]은 화면과 동공과의 관계식이다.

여기서 m은 화면과 좌표, x1은 첫 번째 x좌표, y1은 첫 번째 y좌표이다.

C는 동공의 좌표이고, a ~ h는 변수이다.

다음의 행렬식을 통해서 변수들을 구할 수 있다.

다음의 [수학식 2]는 [수학식 1]을 행렬식으로 변환하기 위한 것이다.

여기서는 매칭할 포인트를 4개로 하였다. M행렬은 4개의 포인트 좌표, T행렬은 변환을 위한 변수, C행렬은 4개의 동공의 중심 좌표를 의미한다.

다음의 [수학식 3]은 역행렬을 사용해서 식을 변형하고 변수를 구하는 위한 것이다.

T행렬을 구하면 각 변수들이 구해진다. G는 응시 위치, T는 구해진 변환행렬, W는 동공 중심 위치를 의미한다.

[수학식 3]으로 캘리브레이션 한 결과 각 동공 중심 위치로 응시위치를 얻는 것이다.

이와 같이 맵핑부(130)는 캘리브레이션을 수행한 후, N개의 동공 좌표와 이에 대응되는 N개의 교정보드(131)의 좌표를 구하여, 이 좌표들에 T행렬 미지수 계산법을 적용함으로써 동공 좌표와 제1 촬영부(110)의 화면을 맵핑시킬 수 있다.

도 5는 본 발명의 일 실시 예에 따르는 맵핑이 완료된 시선추적 시스템(100)에서 사용자가 응시하는 영역을 추출하고, 추출된 영역에서 관심영역을 추출하여 인식한 후, 검색한 결과를 사용자에게 제공하는 것을 보여주는 흐름도이다.

도 5를 참조하면 우선, 맵핑부(130)는 추출된 얼굴 이미지들과 동공이 위치하는 영역에 맵핑을 적용한다.

그 후, 제1 촬영부(110)에서 수신된 영상(a)에서 피촬영자들의 관심영역인 얼굴 이미지들(c)을 추출된다.

여기서 관심영역은 얼굴 이미지에만 국한되지 않고, 간판의 문자나 숫자 등과 같이 여러 가지 사물들의 특징을 관심영역으로 설정할 수 있다.

그 후, 추출부(150)는 제2 촬영부(120)에서 수신된 사용자의 동공(b)이 위치하는 영역(d)을 추출한다.

그러면, 복수의 관심영역(안면 이미지)과 동공이 위치하는 영역을 매칭시킨다.

따라서, 인식부(160)는 추출부(150)에서 추출된 동공이 위치하는 영역과 가장 가까운 얼굴(f)을 인식할 수 있다.

그 후, 검색부(170)는 인식부(160)로부터 전송된 얼굴을 검색한다.

즉, 제1 촬영부(110)에서 촬영한 영상과 제2 촬영부(120)에서 촬영한 영상을 매핑하고 나면 매핑된 근방의 영상에서만 얼굴이 검출되고, 검출된 얼굴을 인식하게 된다.

여기서 제2 촬영부(120)는 눈동자를 촬영하고 추출부(150)에서 동공을 검출하여 좌표값을 알아낸다. 그리고 제1 촬영부(110)에서 촬영된 영상과 매핑을 수행하고 매핑이 수행되면 제1 촬영부(110)에서 촬영한 전방영상에서 사용자가 어디를 보고 있는지를 알게 된다. 사용자가 응시하는 부분의 근방에서 얼굴을 검출하고 인식한 후 결과를 출력한다.

즉, 사용자가 보고 있는 부분을 먼저 알고 그 근방에서만 검출을 하면 영상의 검출 범위가 작아져 좀 더 신속한 검출이 가능하다.

도 6은 본 발명의 일 실시 예에 따르는 시선추적 시스템(100)의 검색부(160)의 구성을 보여주는 블록도이다.

도 6을 참조하면 검색부(170)는 인식부(160)로부터 전송된 얼굴을 내부 데이터베이스(151)를 검색한다. 만약 내부 데이터베이스(152)에서 상기 정보를 검색하지 못하는 경우, 제1 무선통신 수단(152)을 통해 외부 데이터베이스와 연결하기 상기 정보를 검색한다.

여기서 내부 데이터베이스(152)는 저장매체로서 검색부(170) 내부에 장착된 메모리, 예를 들면 ROM, 플래시 메모리나 HDD일 수 있으며, 검색부(170)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, xD, SD 등)나 USB 메모리 등일 수도 있다.

이와 같이 검색부(170)는 검색을 완료하고 나면, 검색된 정보를 출력부(180)로 전송하고, 출력부(180)는 외부의 무선 이어폰을 통해 정보를 사용자에게 제공한다.

도 7은 본 발명의 일 실시 예에 따르는 시선추적 시스템(100)의 출력부(180)를 보여주는 블록도이다.

도 7을 참조하면, 출력부(180)는 외부의 무선 이어폰(181)으로 검색부(180)에서 검색된 정보를 무선전송하기 위한 블루투스와 같은 제2 무선통신 수단(182)을 구비한다.

즉, 출력부(180)는 검색부(170)에서 전송된 정보를 무선 이어폰(181)으로 제2 무선통신 수단(182)을 경유하여 사용자에게 음성으로 정보를 제공할 수 있다.

이와 같이 구성됨으로써 본 발명의 일 실시 예에 따르는 시선추적 시스템(100)은 인지능력을 향상을 사용자에게 제공할 수 있다.

도 8은 본 발명의 다른 실시 예에 따르는 시선추적 시스템을 보여주는 분해도이다.

도 8을 참조하면 본 발명의 다른 실시 예에 따르는 시선추적 시스템은 전방의 촬영을 위한 제1 촬영부(810), 사용자의 동공의 위치를 반사시키기 위한 거울(820), 거울(820)에 반사된 사용자의 동공 위치를 촬영하기 위한 제2 촬영부(830), 제1 촬영부(810)와 제2 촬영부(830)에서 획득한 영상들을 캘리브레이션함으로써 맵핑하고, 제2 촬영부(830)로부터 전송된 영상에서 동공이 위치하는 영역을 추출하며, 추출된 동공의 위치와 전방영상을 매핑한다. 매핑된 전방영상의 위치근방에서 관심있는 대상을 을 인식하여 인식한 특징과 일치하는 정보를 검색하기 위한 임베디드 모듈(840), 임베디드모듈(840)에서 검색된 정보를 출력하기 위한 스테레오 스피커(860)를 포함한다.

도 8과 같이 구성된 본 발명의 다른 실시 예에 따르는 시선추적 시스템(800)의 동작은 다음과 같다.

우선, 본 발명의 다른 실시 예에 따르는 시선추적 시스템(800)은 본 발명의 일 실시 예에 따르는 시선추적 시스템(800)과 유사하게 구성되고 동작되나 안경형태로 사용자가 용이하게 착용할 수 있다.

그러나 안경 형태이기 때문에 사용자의 동공을 촬영하기 위한 제2 촬영부(830)는 동공의 뒤쪽에 위치하기 때문에, 동공을 반사시킬 수 있는 거울(820)이 더 구비된다. 여기서 제2 촬영부(830)가 눈 앞에 위치하게 되면 사용자의 시선을 가릴 수 있고, 외관상 보기도 안 좋아 거울(820)을 사용하여 제2 촬영부(830)를 후방에 위치하게 하는 것이다.

또한, 안경 형태로 사용자가 용이하게 착용할 수 있도록 도 1의 맵핑부(130), 추출부(150), 인식부(160), 검색부(170)를 인베디드 모듈(840)에 취합하였다. 그리고 무선통신 수단(850)을 더 구비하여 인베디드 모듈(840)과 무선으로 데이터의 송수신을 수행할 수 있다.

그리고 인베디드 모듈(840)은 검색된 정보를 무선 이어폰(870)으로도 무선 전송하여 검색된 정보를 제공할 수 있다.

도 9는 본 발명의 또 다른 실시 예에 따르는 시선추적 시스템을 보여주는 사진이다.

도 9를 참조하면, 본 발명의 또 다른 실시 예에 따르는 시선추적 시스템(900)이 자동차에 적용되는 일 예를 보여준다.

도 9에 도시한 본 발명의 또 다른 실시 예에 따르는 시선추적 시스템(900)과 도 1에 도시한 본 발명의 일 실시 예에 따르는 시선추적 시스템(100)의 차이는 교정보드(131)가 자동차의 전방 윈도우에 마커를 부착하여 구현했다는 점이다.

전방 윈도우에 부착된 마커는 일정한 좌표값을 갖기 때문에 제1 촬영부(110)의 화면에 고정적으로 맵핑될 수 있다.

따라서 사용자가 마커를 일정시간 주시하면 제2 촬영부(110)는 교정보드(131)의 특정 지점을 주시하여 캘리브레이션 하는 것과 동일한 효과를 얻을 수 있다. 여기서 마커는 사용자 전방에 카메라 화각 안에 포함되는 범위로 제한된다.

따라서, 마커는 제1 촬영부(110)의 화각에 따라 결정될 수 있다.

도 10은 본 발명의 일 실시 예에 따르는 시선추적 방법을 보여주는 순서도이다.

도 10을 참조하면 본 발명의 일 실시 예에 따르는 시선추적 방법은 (a)교정수단을 응시하면서 캘리브레이션을 수행하는 단계, (b)전방의 영상과 사용자의 동공의 이동범위를 맵핑하는 단계, (c)동공이 위치하는 영역을 추출하는 단계, (d) 매핑된 관심영역에서 검출된 객체를 인식하는 단계, (e) 관심영역과 일치하는 정보를 검색하는 단계, 및 (f)검색된 정보를 출력하는 단계를 포함한다.

도 10과 같이 구성되는 본 발명의 일 실시 예에 따르는 시선추적 방법의 수행과정은 다음과 같다.

우선 캘리브레이션을 수행하는 단계는 전방의 영상 화면과 동일한 교정수단에서 제공하는 화면을 응시하면서 클릭하는 동작을 여러 차례 행함으로써 동공의 좌표와 교정수단의 좌표를 맵핑한다(a). 전방영상의 좌표값과 동공의 좌표값을 통해서 캘리브레이션을 수행한다.

그 후, 맵핑된 복수의 좌표를 T행렬 미지수 계산에 적용하여 전방의 영상 화면과 동공의 좌표를 맵핑한다(b). 여기서 T행렬 미지수 계산이 캘리브레이션을 하는 과정이고, 캘리브레이션이 매핑을 하는 것이다.

그리고 동공이 위치하는 영역을 추출한다(c). 여기서 좌표는 매핑된 화면에서 추출되는 좌표이다. 여기서 한 번 캘리브레이션이 되면 실시간으로 시선 추적이 된다.

그 후, 매핑된 관심영역에서 검출된 객체를 인식한다(d).

그러면, 인식된 관심영역은 검색된다(e). 이 경우, 네트워크를 이용하여 외부의 데이터베이스를 이용할 수 있다.

마지막으로 검색된 정보는 사용자에게 음성으로 제공된다(f).

이와 같이 수행됨으로써 본 발명의 다른 실시 예에 따르는 시각추적 방법은 사용자의 시각적인 인지능력을 향상시킬 수 있다.

이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등한 것들에 의해 정해져야 한다.

110: 제1 촬영부 120 제2 촬영부
130: 맵핑부 150: 제2 추출부
160: 인식부
170: 검색부 180: 출력부

Claims

전방의 촬영을 위한 제1 촬영부;
사용자의 동공 위치를 촬영하기 위한 제2 촬영부;
상기 제1 촬영부와 상기 제2 촬영부에서 획득한 영상들을 오버랩시켜 캘리브레이션함으로써 맵핑하는 맵핑부;
상기 제2 촬영부로부터 전송된 영상에서 상기 동공이 위치하는 영역을 추출하는 추출부;
제1 촬영부에서 촬영된 적어도 하나 이상의 관심영역에서 상기 추출부에서 추출된 상기 동공의 위치에 대응되는 관심영역을 인식하는 인식부;
상기 인식부가 인식한 관심영역과 일치하는 정보를 검색하기 위한 검색부;및
상기 검색부가 검색한 상기 정보를 출력하기 위한 출력부;를 포함하는 것을 특징으로 하는 시선추적 시스템.
제 1항에 있어서,
상기 사용자의 동공의 이미지를 상기 제2 촬영부로 반사시키기 위한 반사체를 더 포함하는 것을 특징으로 하는 시선추적 시스템.
제 1항에 있어서, 상기 맵핑부는
캘리브레이션(Calibration)하기 위해 사용자가 응시하는 지점을 클릭할 수 있는 교정보드를 포함하며,
상기 캘리브레이션(Calibration)은
상기 교정보드 상에 표시되는 지점을 응시하면서 동공의 좌표를 도출하는 것을 특징으로 하는 시선추적 시스템.
제 1항에 있어서, 상기 맵핑부는
상기 교정보드 상에 표시되는 대응되는 동공의 좌표를 T행렬 미지수 계산법에 적용하여 상기 제1 촬영부의 화면과 상기 동공의 좌표를 맵핑시키는 것을 특징으로 하는 시선추적 시스템.
제 1항에 있어서, 상기 검색부는
상기 정보를 검색하기 위한 내부 데이터베이스; 및
상기 내부 데이터베이스에서 상기 정보를 검색하지 못하는 경우, 외부 데이터베이스와 연결하기 위한 제1 무선통신 수단;을 포함하는 것을 특징으로 하는 시선추적 시스템.
제 1항에 있어서, 상기 출력부는
상기 사용자에게 검색된 정보를 제공하기 위한 무선 이어폰; 및
상기 무선 이어폰으로 상기 검색된 정보를 전송하기 위한 제2 무선통신 수단;을 포함하는 것을 특징으로 하는 시선추적 시스템.
전방의 촬영을 위한 제1 촬영부;
사용자의 동공의 위치를 반사시키기 위한 거울;
상기 거울에 반사된 사용자의 동공 위치를 촬영하기 위한 제2 촬영부;
상기 제1 촬영부와 상기 제2 촬영부에서 획득한 영상들을 오버렙시켜 캘리브레이션함으로써 맵핑하고, 상기 제1 촬영부로부터 전송된 영상에서 적어도 하나 이상의 특징을 추출하며, 상기 제2 촬영부로부터 전송된 영상에서 동공이 위치하는 영역을 추출하며, 추출된 적어도 하나 이상의 특징과 추출된 동공의 위치와 최단거리의 관심영역을 인식하여 인식한 특징과 일치하는 정보를 검색하기 위한 임베디드 모듈; 및
상기 임베디드 모듈에서 검색된 정보를 출력하기 위한 적어도 하나 이상의 스피커를 포함하며,
상기 제1 촬영부, 상기 거울, 상기 제2 촬영부, 및 상기 스피커는 안경 프레임에 구성되는 것을 특징으로 하는 시선추적 시스템.
제 7항에 있어서, 상기 시선추적 시스템은
상기 안경 프레임에 구성된 상기 제1 촬영부, 상기 제2 촬영부 및 상기 스피커에 상기 인베디드 모듈은 서로 통신하기 위한 무선통신 수단을 각각 구비하는 것을 특징으로 하는 시선추적 시스템.
교정수단을 응시하면서 캘리브레이션을 수행하는 캘리브레이션 단계;
전방의 영상과 사용자의 동공의 이동범위를 맵핑하는 맵핑 단계;
상기 동공이 위치하는 영역을 추출하는 추출 단계;
상기 맵핑된 관심영역에서 검출된 객체를 인식하는 인식 단계;
상기 관심영역과 일치하는 정보를 검색하는 검색 단계; 및
검색된 상기 정보를 출력하는 출력 단계;를 포함하는 것을 특징으로 하는 시선추적 방법.
제 9항에 있어서, 상기 관심영역은
사용자의 관심에 따라 임의로 기 설정한 대상임을 특징으로 하는 시선추적 방법.