KR101500085B1

KR101500085B1 - 벡터를 이용한 시선 추적 장치 및 방법

Info

Publication number: KR101500085B1
Application number: KR1020130067998A
Authority: KR
Inventors: 석동희; 이석범
Original assignee: 현대자동차주식회사
Priority date: 2013-06-13
Filing date: 2013-06-13
Publication date: 2015-03-18
Also published as: KR20140145488A; CN104228705A; US20140368644A1; CN104228705B

Abstract

본 발명은 벡터를 이용한 시선 추적 장치 및 방법에 관한 것으로, 운전자 시선을 감지하는 카메라, 카메라에 의해 감지된 운전자 시선의 움직임을 기반으로 운전자의 초기 시선영역을 설정하고, 운전자 시선의 변화에 따른 벡터값을 산출하여 운전자의 현재 시선에 변곡점을 생성하며, 변곡점을 기준으로 현재 시선영역을 설정하는 제어부를 포함한다.

Description

벡터를 이용한 시선 추적 장치 및 방법{Apparatus and Method for Tracing of Attention using Vector}

본 발명은 벡터를 이용한 시선 추적 장치 및 방법에 관한 것으로서, 보다 구체적으로 운전자의 시선을 기반으로 운전자의 초기 시선영역을 설정하고, 운전자 시선 변화에 따른 벡터값을 이용하여 운전자의 시선영역을 재설정하는 벡터를 이용한 시선 추적 장치 및 방법에 관한 것이다.

일반적으로 차량의 주행 보조수단으로 운전자의 시선 벡터를 이용하는 기술이 지속적으로 개발 중에 있다. 특히, 운전자의 좌우 안구 각각에 대해 시선 벡터를 검출하는 기술이 대체적으로 사용되고 있는 실정이다.

이러한 좌우 안구 각각에 대한 시선 벡터는 대상 물체상에서 좌우의 안구가 서로 수평한 위치에 존재하는 것으로 인식할 수 있기 때문에 시선 벡터의 수평 성분은 비교적 정확하게 확인할 수 있지만, 시선 벡터의 수직 성분은 정확하게 인식하기 어려운 문제점이 발생한다.

따라서, 운전자의 시선 위치를 확인하는데 정확도가 저하되고, 좌우 안구 각각에 대한 시선 벡터를 검출해야 하기 때문에 시선 위치 확인 시 시간의 소모가 많이 발생하는 문제점이 존재한다.

또한, 상기와 같은 운전자의 시선 위치를 확인하는 기술은 단순히 차량의 주행 보조수단으로만 사용되지 않고, 장애인을 위한 시선 인식 컴퓨터에도 적용될 수 있으므로, 사용자의 시선 위치를 확인하는 기술의 정확도 및 속도 향상에 대한 지속적인 기술의 발전이 필요한 실정이다.

이러한 종래의 문제점들을 해결하기 위한 본 발명의 목적은 운전자의 시선을 기반으로 운전자의 초기 시선영역을 설정하고, 운전자 시선의 변화에 따른 벡터값이 임계값을 초과하면, 벡터값을 이용하여 운전자의 시선영역을 재설정하는 벡터를 이용한 시선 추적 장치 및 방법을 제공하는 것이다.

이러한 목적들을 달성하기 위하여 본 발명에 따른 벡터를 이용한 시선 추적 장치는 운전자 시선을 감지하는 카메라, 상기 카메라에 의해 감지된 운전자 시선의 움직임을 기반으로 운전자의 초기 시선영역을 설정하고, 상기 운전자 시선의 변화에 따른 벡터값을 산출하여 운전자의 현재 시선영역을 설정하며, 상기 현재 시선영역을 기준으로 변곡점을 설정하는 제어부를 포함하는 것을 특징으로 한다.

또한, 상기 제어부는 상기 운전자 시선에 대한 특정 지점을 기준으로 벡터값이 임계치인 영역을 상기 초기 시선영역으로 설정하는 것을 특징으로 한다.

또한, 상기 제어부는 상기 운전자의 현재 시선의 벡터값과 이전 시선의 벡터값이 상기 임계치를 초과하면 상기 각각의 벡터값을 가산하여 상기 운전자의 현재 시선영역을 설정하는 것을 특징으로 한다.

또한, 상기 제어부는 상기 운전자의 현재 시선의 벡터값과 이전 시선의 벡터값이 상기 임계치를 초과하지 않으면 상기 각각의 벡터값의 평균값을 산출하여 상기 운전자의 현재 시선영역을 설정하는 것을 특징으로 한다.

또한, 상기 제어부는 상기 현재 시선영역을 설정한 이후에 운전자 시선의 움직임이 감지되면 상기 현재 시선영역을 기준으로 변곡점을 설정하는 것을 특징으로 한다.

아울러, 본 발명에 따른 벡터를 이용한 시선 추적 방법은 제어부가 카메라에서 감지된 운전자 시선에 대한 영상데이터를 실시간으로 수신하는 단계, 상기 영상데이터를 분석하여 운전자 시선의 움직임을 기반으로 운전자의 초기 시선영역을 설정하는 단계, 상기 운전자 시선의 변화에 따른 벡터값을 산출하는 단계, 상기 산출된 벡터값으로 운전자의 현재 시선영역을 설정하는 단계, 상기 설정된 현재 시선영역을 기준으로 변곡점을 설정하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 운전자의 초기 시선영역을 설정하는 단계는 상기 운전자의 시선에 대한 특정 지점을 기준으로 벡터값이 임계치인 영역을 상기 초기 시선영역으로 설정하는 단계인 것을 특징으로 한다.

또한, 상기 벡터값을 산출하는 단계는 상기 운전자의 현재 시선의 벡터값과 이전 시선의 벡터값을 확인하는 단계, 상기 각각의 벡터값과 상기 임계치를 비교하는 단계, 상기 각각의 벡터값이 상기 임계치를 초과하면 상기 각각의 벡터값을 가산하고, 상기 각각의 벡터값이 상기 임계치를 초과하지 않으면 상기 각각의 벡터값의 평균값을 산출하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 현재 시선영역을 기준으로 변곡점을 설정하는 단계는 상기 현재 시선영역을 설정한 이후에 운전자 시선의 움직임이 감지되면 상기 현재 시선영역을 기준으로 변곡점을 설정하는 단계인 것을 특징으로 한다.

이와 같이, 본 발명은 운전자의 시선을 기반으로 운전자의 초기 시선영역을 설정하고, 운전자 시선의 변화에 따른 벡터값이 임계값을 초과하면, 벡터값을 이용하여 운전자의 시선영역을 재설정함으로써, 시선 응시점 오류 및 시선 응시점 확인 시간을 최소화할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 벡터를 이용한 시선 추적 장치의 주요 구성을 나타내는 블록도
도 2는 본 발명의 실시예에 따른 벡터를 이용한 시선 추적 방법을 설명하기 위한 도면
도 3은 본 발명의 실시예에 따른 벡터를 이용한 시선 추적 방법을 설명하기 위한 순서도

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다.

도 1은 본 발명의 실시예에 따른 벡터를 이용한 시선 추적 장치의 주요 구성을 나타내는 블록도이다. 도 2는 본 발명의 실시예에 따른 벡터를 이용한 시선 추적 방법을 설명하기 위한 도면이다.

도 1 및 도 2를 참조하면, 본 발명에 따른 벡터를 이용한 시선 추적 장치(이하, 추적장치(100)라 함)는 카메라(10), 저장부(20), 제어부(30)를 포함한다.

카메라(10)는 운전자의 시선을 감지하는 카메라이다. 카메라(10)는 운전자의 얼굴 방향, 홍채, 동공 등의 움직임을 촬영하고, 획득된 영상데이터를 제어부(30)로 제공한다.

저장부(20)는 제어부(30)의 제어에 의해 카메라(10)에서 획득된 영상데이터, 운전자의 시선위치에 따른 벡터값을 계산하기 위한 프로그램을 저장하고, 추적장치(100)를 제어하기 위한 다양한 프로그램들을 저장한다.

제어부(30)는 카메라(10)에 의해 감지된 운전자 시선의 움직임을 기반으로 운전자의 초기 시선영역을 설정하고, 운전자 시선의 변화에 따른 벡터값을 산출하여 운전자의 현재 시선영역을 설정하며, 현재 시선영역을 기준으로 변곡점을 설정한다.

보다 구체적으로, 제어부(30)는 카메라(10)로부터 실시간으로 제공되는 영상데이터를 분석하여 영상데이터에 포함된 운전자 시선의 움직임을 기초로 하여 운전자의 초기 시선영역을 확인한다. 이때, 제어부(30)는 초기 시선을 원점(0)으로 설정하고, 원점을 기준으로 임계치의 벡터값에 해당하는 시선영역을 초기 시선영역으로 설정한다. 초기 시선영역은 도 2의 도면부호 A와 같이 나타낼 수 있다.

도 2에서 도면부호 0, P, F는 운전자 시선이 고정된 위치를 나타내고, A, B, C는 운전자 시선이 고정된 위치를 기준으로 임계치의 벡터값에 해당하는 시선영역을 나타낸다. 아울러, 도면부호 a, b는 운전자의 시선이 P에 고정되기 이전에 0에서 P로 이동할 때 스친 시선에 대한 벡터값이고, 도면부호 c 내지 f는 운전자의 시선이 F에 고정되기 이전에 P에서 F로 이동할 때 스친 시선에 대한 벡터값을 나타낸다.

도 2를 이용하여 설명하면, 제어부(30)는 원점(0)을 기준으로 벡터값이 임계치인 초기 시선영역(A)을 설정한다.

제어부(30)는 영상데이터의 지속적인 분석을 통해 운전자의 시선이 벡터값이 임계치로 설정된 초기 시선영역(A)을 이탈하고 특정 지점(P)에서 일정 시간이상 머무를 경우, 운전자의 응시점이 변화된 것으로 인지하여 임계치와 운전자의 시선에 대한 벡터값(a, b)을 임계치와 비교한다. 이때, 특정 지점(P)을 기준으로 b는 현재 시선에 대한 벡터값이고, a는 이전 시선에 대한 벡터값이 된다. 비교결과, a와 b가 모두 임계치보다 크면 제어부(30)는 a, b의 합으로 원점(0)에서 특정 지점(P)까지의 벡터값(V1)을 산출한다. 제어부(30)는 특정 지점(P)을 운전자의 응시점(P)으로 확정한다. 반대로, a, b가 모두 임계치보다 크지 않으면 제어부(30)는 a, b의 평균값으로 벡터값(V1)을 산출하여 특정 지점(P)을 운전자의 응시점(P)으로 확정한다. 그리고 제어부(30)는 응시점(P)을 기준으로 벡터값이 임계치인 제1 시선영역(B)을 설정한다.

계속해서, 제어부(30)는 운전자의 시선이 제1 시선영역(B)을 이탈하고 특정 지점(F)에서 일정 시간이상 머무를 경우, 운전자의 응시점이 변화된 것으로 인지하여 제1 시선영역(B)의 특정 지점(P)을 변곡점(P)으로 설정한다. 그리고 제어부(30)는 P에서 F까지의 벡터값(V2)을 산출하여 특정 지점(F)을 운전자의 현재 응시점(F)으로 확정하고 변곡점(P)은 이전 응시점으로 간주한다. 그리고 제어부(30)는 현재 응시점(F)을 기준으로 벡터값이 임계치인 제2 시선영역(C) 즉, 현재 시선영역을 설정한다. 물론, 이로 인해 제1 시선영역(B)은 이전 시선영역으로 재설정된다. c, d와의 합 벡터와 새로 입력되는 e와의 가산 연산, 상기 가산 연산을 통한 합 벡터와 새로 입력되는 f와의 가산 연산을 통해 제어부(30)는 벡터의 방향성을 지속적으로 유지할 수 있으며, 이로 인해 노이즈 시선을 필터링할 수 있다. 물론, 가산 연산 뿐 아니라, 평균값 연산을 통해 벡터의 방향성을 지속적으로 유지할 수 있다.

이와 같이, 본 발명은 운전자의 시선이 시선영역을 벗어나지 않으면 제어부(30)는 운전자의 응시점이 변경된 것으로 판단하지 않기 때문에, 영상데이터 분석 결과 운전자의 시선변화가 시선영역 내부에서 발생되면 운전자의 시선을 추적하지 않아 운전자 시선추적 시 불필요한 연산을 최소화할 수 있는 효과가 있다. 또한, 시선영역을 벗어난 시선의 변화가 지속적으로 발생할 때 변곡점 방식을 이용함으로 인해, 매우 빠르게 변화하는 운전자 즉, 사용자의 짧은 응시도 인식할 수 있어, 사용자의 시선을 보다 정확하고 빠르게 추적할 수 있다. 특히, 본 발명은 단순히 차량의 주행 보조 장치에만 국한되지 않고, 장애인을 위한 시선 인식 컴퓨터에도 적용되어, 사용자의 시선 위치를 보다 정확하고 빠르게 확인할 수 있는 현저한 효과가 발생한다.

도 3은 본 발명의 실시예에 따른 벡터를 이용한 시선 추적 방법을 설명하기 위한 순서도이다.

도 3을 참조하면, S11단계에서 제어부(30)는 카메라(10)로부터 획득된 영상데이터를 분석하여 운전자의 시선을 감지한다. S13단계에서 제어부(30)는 운전자의 시선이 일정한 위치에 일정 시간이상 고정되어 있으면 이를 초기 시선위치로 설정한다. 제어부(30)는 초기 시선위치를 기준으로 임계치의 벡터값을 갖는 영역을 초기 시선영역으로 설정한다.

S15단계에서 제어부(30)는 영상데이터의 지속적인 분석을 통해 운전자의 시선이 초기 시선영역을 이탈했는지 확인한다.

S15단계의 확인결과, 운전자의 시선이 초기 시선영역을 이탈하면 제어부(30)는 S17단계로 진행하고, 초기 시선영역 내에 존재하면 S15단계를 지속적으로 수행하여 초기 시선영역 이탈 여부를 확인한다.

S17단계에서 제어부(30)는 초기 시선영역을 이탈한 운전자의 시선이 위치한 특정 위치를 확인하고, 특정 위치로 시선을 이동할 때 스친 현재 시선에 대한 벡터값(v_{ t} )과 이전 시선에 대한 벡터값(v_{ t-1} )을 확인한다. 제어부(30)는 확인된 현재 시선에 대한 벡터값과 이전 시선에 대한 벡터값을 각각 임계치와 비교한다.

S19단계에서 제어부(30)는 비교결과 임계치보다 현재 시선에 대한 벡터값이 크고, 임계치보다 이전 시선에 대한 벡터값이 크면 S21단계로 진행하고, 임계치보다 현재 시선에 대한 벡터값이 크지 않고, 임계치보다 이전 시선에 대한 벡터값이 크지 않으면 S31단계로 진행한다.

S21단계에서 제어부(30)는 현재 시선에 대한 벡터값과 이전 시선에 대한 벡터값의 합 벡터를 산출하여 S23단계로 진행하고, S31단계에서 제어부(30)는 현재 시선에 대한 벡터값과 이전 시선에 대한 벡터값의 평균벡터를 산출하여 S23단계로 진행한다.

S23단계에서 제어부(30)는 S17단계에서 확인된 특정 위치를 운전자의 응시점으로 확인하고 S25단계로 진행하여 상기 응시점을 기반으로 임계치의 벡터값을 갖는 현재 시선영역을 설정한다.

S27단계에서 제어부(30)는 운전자 시선의 움직임이 감지되는 것으로 확인되면 S29단계로 진행한다. S29단계에서 제어부(30)는 S25단계에서 설정된 현재 시선영역을 이전 시선영역으로 설정하고, 응시점을 변곡점으로 설정한 후, S15단계로 회귀하여 상기의 단계를 재수행한다.

지금까지 실시예를 통하여 본 발명에 따른 벡터를 이용한 시선 추적 장치 및 방법에 대하여 설명하였다. 본 명세서와 도면에서는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 상기에 기재된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100: 추적 장치 10: 카메라
20: 저장부 30: 제어부

Claims

운전자 시선을 감지하는 카메라;
상기 카메라에 의해 감지된 상기 운전자 시선에 대한 특정 지점을 기준으로 벡터값이 임계치인 영역을 운전자의 초기 시선영역으로 설정하고, 상기 운전자 시선의 변화에 따른 벡터값을 산출하여 운전자의 현재 시선영역을 설정하며, 상기 현재 시선영역을 기준으로 변곡점을 설정하는 제어부;
를 포함하는 것을 특징으로 하는 벡터를 이용한 시선 추적 장치.
삭제
제1항에 있어서,
상기 제어부는
상기 운전자의 현재 시선의 벡터값과 이전 시선의 벡터값이 상기 임계치를 초과하면 상기 각각의 벡터값을 가산하여 상기 운전자의 현재 시선영역을 설정하는 것을 특징으로 하는 벡터를 이용한 시선 추적 장치.
제3항에 있어서,
상기 제어부는
상기 운전자의 현재 시선의 벡터값과 이전 시선의 벡터값이 상기 임계치를 초과하지 않으면 상기 각각의 벡터값의 평균값을 산출하여 상기 운전자의 현재 시선영역을 설정하는 것을 특징으로 하는 벡터를 이용한 시선 추적 장치.
제1항에 있어서,
상기 제어부는
상기 현재 시선영역을 설정한 이후에 운전자 시선의 움직임이 감지되면 상기 현재 시선영역을 기준으로 변곡점을 설정하는 것을 특징으로 하는 벡터를 이용한 시선 추적 장치.
제어부가 카메라에서 감지된 운전자 시선에 대한 영상데이터를 실시간으로 수신하는 단계;
상기 영상데이터를 분석하여 상기 운전자 시선에 대한 특정 지점을 기준으로 벡터값이 임계치인 영역을 운전자의 초기 시선영역으로 설정하는 단계;
상기 운전자 시선의 변화에 따른 벡터값을 산출하는 단계;
상기 산출된 벡터값으로 운전자의 현재 시선영역을 설정하는 단계;
상기 설정된 현재 시선영역을 기준으로 변곡점을 설정하는 단계;
를 포함하는 것을 특징으로 하는 벡터를 이용한 시선 추적 방법.
삭제
제6항에 있어서,
상기 벡터값을 산출하는 단계는
상기 운전자의 현재 시선의 벡터값과 이전 시선의 벡터값을 확인하는 단계;
상기 각각의 벡터값과 상기 임계치를 비교하는 단계;
상기 각각의 벡터값이 상기 임계치를 초과하면 상기 각각의 벡터값을 가산하고, 상기 각각의 벡터값이 상기 임계치를 초과하지 않으면 상기 각각의 벡터값의 평균값을 산출하는 단계;
를 포함하는 것을 특징으로 하는 벡터를 이용한 시선 추적 방법.
제6항에 있어서,
상기 현재 시선영역을 기준으로 변곡점을 설정하는 단계는
상기 현재 시선영역을 설정한 이후에 운전자 시선의 움직임이 감지되면 상기 현재 시선영역을 기준으로 변곡점을 설정하는 단계인 것을 특징으로 하는 벡터를 이용한 시선 추적 방법.