KR20170112885A

KR20170112885A - 차량 제어 장치 및 그 장치의 제어 방법

Info

Publication number: KR20170112885A
Application number: KR1020160093636A
Authority: KR
Inventors: 박형민; 김현; 이초일; 김중락; 박인준
Original assignee: 엘지전자 주식회사
Priority date: 2016-04-01
Filing date: 2016-07-22
Publication date: 2017-10-12
Also published as: EP3436326A1; EP3436326A4; KR101825450B1

Abstract

본 발명은 차량의 제어 장치 및 그 제어 방법에 관한 것으로, 상기 차량과 관련된 다양한 화상 정보를 표시하는 디스플레이부와, 상기 디스플레이부 상의 일 영역을 사용자가 응시할 때에, 상기 사용자의 동공 및 안구의 일 영역에 적어도 하나의 반사광이 형성되도록 빛을 발광하는 적어도 하나의 광원을 포함하는 광원부와, 차량 내부의 각 영역 및 상기 적어도 하나의 광원 각각에 대한 좌표 정보를 저장하는 메모리와, 상기 사용자의 동공 및 안구의 일 영역을 포함하는 영상을 센싱하는 카메라를 포함하는 카메라부 및, 상기 센싱된 영상에 근거하여, 상기 사용자의 동공 중심으로부터 제1 좌표를 산출 및 상기 영상에 포함된 적어도 하나의 반사광으로부터 제2 좌표를 산출하고, 상기 제1 좌표와 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우 상기 적어도 하나의 반사광을 형성한 적어도 하나의 광원 각각의 기 저장된 좌표 정보로부터 상기 차량 내부의 일 지점의 좌표를 기준 좌표로 산출하며, 상기 기준 좌표를 상기 사용자가 응시하는 방향에 대응되는 좌표로 교정(calibration)을 수행하는 제어부를 포함하는 것을 특징으로 한다.

Description

차량 제어 장치 및 그 장치의 제어 방법{VEHICLE CONTROL APPARATUS AND METHOD THEREOF}

본 발명은 운전자의 시선에 따라 차량을 제어하는 장치 및 그 제어 방법에 관한 것이다.

현재의 차량 제어 기술은 종래와 달리 다양한 기능을 차량이 운전자에게 제공할 수 있도록 한다. 이에 따라 현재의 차량에서는 다양한 기능들을 구동하기 위한 많은 수의 키나 버튼 등이 구비된다. 이에 따라 현재의 차량에서는 상기 다양한 기능들을 제어하기 위한 복잡한 컨트롤 환경이 형성되고, 운전자는 상기 기능들을 제어하는데 있어 어려움이 있다. 또한 이러한 복수의 키들을 간소화하는 경우, 하나의 키에 보다 많은 수의 기능들이 매칭됨에 따라 사용자에게 복작한 조작을 요구하게 된다.

따라서 운전자가 보다 편리하게 상기 다양한 기능들을 조작할 수 있도록 하기 위한 방법의 일환으로, 운전자가 응시하는 방향에 따른 기능이 구동되도록 하는 방안이 제안되었다. 이처럼 운전자의 시선에 따라 기능들이 제어될 수 있도록 함으로써, 복수의 키를 구비하거나 운전자에게 복잡한 조작을 하지 않아도 차량의 다양한 기능이 실행될 수 있다.

한편 이처럼 운전자의 시선을 이용하여 다양한 기능이 실행될 수 있도록 하기 위해서는, 운전자가 응시하는 방향의 좌표를 정확하게 검출하는 것이 중요하다. 이를 위해 현재의 차량은, 차량이 감지하는 운전자의 응시 방향에 따른 좌표와, 운전자가 실제 응시하는 방향에 대응되는 좌표 사이의 오차를 보정하기 위한 교정(Calibration)을 운전자에게 요구할 수 있다. 이러한 경우 현재의 차량은, 상기 교정을 위해 미리 인식된 특정 지점을 운전자가 응시하도록 요구하고, 운전자가 상기 특정 지점을 응시하고 있는지를 명시적으로 입력하도록 요구한다. 이는 운전자가 상기 특정 지점을 응시하고 있는지 여부를 차량 스스로가 판단할 수 없기 때문이다.

한편 이러한 교정은, 운전자가 차량을 사용하면서 수시로 요구될 수 있다. 이는 운전자가 취하는 자세 또는 운전자의 움직임이나 습관 등에 따라 수시로 운전자의 두부가 향하는 방향 및 위치가 변동될 수 있기 때문이다. 그러나 상술한 바와 같이 현재의 차량으로는 운전자에게 교정 자체를 요구하여야만 교정 과정이 수행될 수 있으며, 또한 교정 과정에서 운전자가 명시적인 입력을 인가하여야 교정이 이루어질 수 있기 때문이다.

뿐만 아니라 주변의 상황을 집중하여 살펴야 하는 운전자의 입장에서, 운전을 하는 중에 이처럼 교정 과정을 위해 시선을 분산시킨다는 것은 지극히 위험할 수 있다. 따라서 현재의 차량에서 운전자의 시선 방향에 따른 오차를 보정하기 위한 교정 과정을 수시로 수행하기에는 많은 제약 사항이 있는 것이 현실이다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.

본 발명의 다른 목적은, 운전자가 상기 교정을 위해 시선을 분산시키지 않더라도 운전자의 시선 방향을 보정할 수 있는 교정(calibration)이 이루어질 수 있도록 하는 차량 제어 장치 및 그 장치의 제어 방법을 제공하는 것이다.

본 발명의 다른 목적은, 운전자에게 별도로 교정에 따른 입력을 인가할 것을 요구하거나, 상기 교정을 위한 별도의 입력을 운전자로부터 인가 받을 필요 없이, 상기 교정이 이루어질 수 있도록 하는 차량 제어 장치 및 그 장치의 제어 방법을 제공하는 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은 사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치에 있어서, 상기 차량과 관련된 다양한 화상 정보를 표시하는 디스플레이부와, 상기 디스플레이부 상의 일 영역을 사용자가 응시할 때에, 상기 사용자의 동공 및 안구의 일 영역에 적어도 하나의 반사광이 형성되도록 빛을 발광하는 적어도 하나의 광원을 포함하는 광원부와, 차량 내부의 각 영역 및 상기 적어도 하나의 광원 각각에 대한 좌표 정보를 저장하는 메모리와, 상기 사용자의 동공 및 안구의 일 영역을 포함하는 영상을 센싱하는 카메라를 포함하는 카메라부 및, 상기 센싱된 영상에 근거하여, 상기 사용자의 동공 중심으로부터 제1 좌표를 산출 및 상기 영상에 포함된 적어도 하나의 반사광으로부터 제2 좌표를 산출하고, 상기 제1 좌표와 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우 상기 적어도 하나의 반사광을 형성한 적어도 하나의 광원 각각의 기 저장된 좌표 정보로부터 상기 차량 내부의 일 지점의 좌표를 기준 좌표로 산출하며, 상기 기준 좌표를 상기 사용자가 응시하는 방향에 대응되는 좌표로 교정(calibration)을 수행하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 디스플레이부 상의 일 영역은, 상기 차량의 주행과 관련된 주행 정보를 표시하는 영역이며, 상기 적어도 하나의 광원은, 상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 또는 상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 주변에 구비되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 기 설정된 거리는, 기 설정된 허용 오차 범위에 따라 결정되거나, 사용자의 카파각(Kappa angle) 특성을 고려하여 설정되는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 메모리는, 상기 차량을 운전하는 운전자를 식별한 결과에 대응되게 상기 교정 결과에 대한 정보를 저장하고, 상기 제어부는, 상기 차량의 구동이 시작되면 운전자를 식별 및, 식별된 운전자에 대응되는 기 저장된 교정 결과를 반영하여 상기 운전자의 시선 방향에 대응되는 좌표값들을 산출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 디스플레이부는, 복수개의 서로 다른 영역으로 구획되며, 상기 광원부는, 상기 디스플레이부 상의 복수개의 서로 다른 영역에 각각 구비되는 복수의 광원을 포함하며, 상기 제어부는, 상기 복수의 광원에 의해 형성된 복수의 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상이 센싱되면, 상기 복수의 반사광 각각으로부터 산출되는 반사광의 중심 좌표들 중 어느 하나와 상기 제1 좌표에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하고, 식별된 영역에 구비된 광원의 좌표 정보를 상기 기준 좌표로 설정하여 상기 교정을 수행하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 센싱된 영상에 포함된 복수의 반사광 각각으로부터 반사광 중심 좌표를 산출하고, 산출된 반사광 중심 좌표들 중 상기 제1 좌표와 기 설정된 거리 이내에 위치한 어느 하나에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 복수의 광원은, 각각 서로 구분되는 광원을 발광하는 광원들이며, 상기 카메라부는, 상기 복수의 광원 각각에 대응되며, 대응되는 광원에 의한 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상을 각각 센싱하는 복수의 카메라를 포함하고, 상기 제어부는, 상기 복수의 카메라로부터 센싱되는 영상들 중, 사용자의 동공 중심으로부터 산출되는 제1 좌표와 상기 반사광으로부터 산출되는 제2 좌표 사이의 거리가 기 설정된 거리 이하인 영상에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 기 설정된 조건에 따라 교정이 필요한지 여부를 판단하고, 교정이 필요한 경우 상기 디스플레이부 상의 일 영역이 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역을 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 교정이 필요하다고 판단되는 경우, 상기 차량의 현재 운행 상태, 상기 차량의 현재 위치, 및 상기 차량의 주변 상황에 대한 정보를 수집하고, 수집된 정보들 중 적어도 하나에 근거하여 상기 디스플레이부 상의 일 영역을, 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일 영역 내에 터치 입력이 인가되는 경우, 사용자가 현재 응시하고 있는 방향에 대응되는 좌표를 산출하고, 산출된 사용자의 시선 방향에 대응되는 좌표가 상기 디스플레이부 상의 일 영역 내의 일 지점인지 여부에 따라 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 산출된 사용자의 시선 방향에 대응되는 좌표가, 상기 디스플레이부 상의 일 영역 내의 일 지점이 아닌 경우 오차가 발생한 것으로 판단하며, 발생된 오차의 횟수를 누적 및, 누적된 오차 횟수가 기 설정된 횟수에 이르는 경우, 상기 디스플레이부 상의 일 영역을 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 터치 입력이 인가된 지점이, 상기 기준 좌표로부터 일정 거리 내에 위치하는 경우, 상기 산출된 사용자의 시선 방향에 대응되는 좌표에 근거하여 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일 영역의 광도 또는 색상을, 상기 디스플레이부 상의 다른 영역과 다르게 하거나, 또는 상기 디스플레이부 상의 일 영역에서 표시되는 그래픽 객체들 중 적어도 하나를, 상기 다른 영역에서 표시되는 그래픽 객체와 다르게 표시하여, 상기 일 영역이 상기 다른 영역과 구분되도록 하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일 영역이 다른 영역과 구분 및 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역에, 기 설정된 이벤트의 발생을 알리기 위한 알림 정보를 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 화상 정보는, 상기 차량의 윈드 쉴드 글래스의 적어도 일부 영역에 표시되며, 상기 광원부는, 상기 화상 정보가 표시되는 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며, 상기 제어부는, 상기 적어도 하나의 광원으로부터 출력되는 빛이, 상기 윈드 쉴드 글래스 및 상기 사용자의 동공 및 안구의 일 영역에 반사되어 형성되는 적어도 하나의 반사광으로부터 상기 제2 좌표를 산출하고, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표로부터 상기 기준 좌표를 산출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 메모리는, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표에 관련된 정보를 미리 저장하고 있는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 카메라부는, 상기 광원이 복수인 경우, 상기 사용자의 동공 및 안구의 일 영역에 복수의 반사광을 포함하는 영상을 센싱하며, 상기 제어부는, 상기 복수의 반사광을 포함하는 영상이 센싱되면, 상기 복수의 반사광 각각의 중심으로부터 산출되는 반사광 중심 좌표들로부터 가상의 직선 또는 다각형을 생성 및 생성된 가상의 직선 또는 다각형의 중심으로부터 상기 제2 좌표를 산출하며, 상기 복수의 반사광 각각에 대응되는 광원들의 기 저장된 좌표들로부터 가상의 직선 및 다각형을 생성하고, 생성된 가상의 직선 및 다각형의 중심으로부터 산출되는 상기 디스플레이부 상의 일 지점의 좌표를 상기 기준 좌표로 설정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 광원부 및 상기 카메라부를 비활성화 상태로 유지하며, 상기 차량 주변의 환경을 감지하고, 감지된 차량 주변의 환경에 근거하여 상기 광원부 및 상기 카메라부를 활성화 상태로 전환하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 광원부는, 상기 차량의 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며, 상기 카메라부는, 상기 차량의 윈드 쉴드 글래스의 일부 영역을 통해 비치는 상기 차량 전방에 위치한 장애물의 형상을 포함하는 영상을 센싱하는 서브 카메라를 더 포함하며, 상기 제어부는, 상기 서브 카메라를 통해 센싱되는 영상으로부터, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점에 근거하여 상기 장애물의 형상이 비치는 윈드 쉴드 글래스의 일부 영역을 좌표화 및, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 산출하고, 상기 사용자의 동공 및 안구의 일 영역이 포함된 영상으로부터, 상기 제1 좌표 및, 상기 사용자의 동공 및 안구의 일 영역에 비친 상기 장애물 형상의 중심 좌표를 상기 제2 좌표로 산출하며, 산출된 상기 제1 좌표와 상기 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 기준 좌표로, 사용자가 상기 윈드 쉴드 글래스 상에 비치는 장애물을 응시하는 방향에 대응되는 좌표를 교정하는 것을 특징으로 한다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은 사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치의 제어 방법에 있어서, 적어도 하나의 광원이 구비된 상기 차량의 디스플레이부 상의 일 영역을 응시하는 사용자의 눈 영상을 센싱하는 단계와, 상기 센싱된 영상으로부터, 사용자의 동공 영역 및 상기 광원에서 출력된 빛이 반사되어 형성되는 적어도 하나의 반사광 영역을 검출하는 단계와, 상기 동공 영역의 중심으로부터 제1 좌표를 산출 및, 상기 적어도 하나의 반사광 영역 각각의 중심으로부터 제2 좌표를 산출하는 단계와, 상기 산출된 제1 좌표와 제2 좌표 사이의 이격 거리에 근거하여, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는지 여부를 판단하는 단계 및, 상기 판단 결과, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는 것으로 판단되면, 상기 사용자의 동공 중심 및 기 저장된 인체 모델링 데이터에 의해 산출되는 사용자의 시선 방향 좌표를, 상기 적어도 하나의 광원의 좌표값을 기준으로 교정(calibration)하는 단계를 포함하며, 상기 디스플레이부 상의 일 영역은, 상기 차량의 주행과 관련된 정보를 표시하는 영역임을 특징으로 한다.

본 발명의 실시 예에 따른 차량 제어 장치 및 그 장치의 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 주행 정보가 표시되는 디스플레이부 상의 일 영역을 사용자가 응시할 때에 상기 교정이 수행될 수 있도록 하여 사용자가 상기 교정을 의식하지 않은 상태에서 상기 교정이 이루어질 수 있도록 함으로써, 상기 교정에 따른 시선 및 사용자의 주의를 분산시키지 않고서도 상기 교정이 수행되도록 한다는 장점이 있다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 사용자가 의식하지 않고 상기 교정이 이루어질 수 있도록 하여 상기 교정을 위한 사용자의 입력과 같은 제약 사항을 가지지 않음으로써, 상기 교정이 보다 자주 수행될 수 있도록 하며 이에 따라 보다 정확하게 사용자가 응시하는 방향의 좌표를 보다 정확하게 검출되도록 할 수 있다는 장점이 있다.

도 1은 본 발명의 실시 예에 따른 차량 제어 장치를 설명하기 위한 블록도이다.
도 2a 내지 도 2b는 본 발명의 실시 예에 따른 차량 제어 장치에서, 자동으로 교정이 수행되도록 하는 동작 과정을 도시한 흐름도 및 이를 설명하기 위한 개념도이다.
도 3a 내지 도 3b는 본 발명의 실시 예에 따른 차량 제어 장치에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 좌표 정보가 생성되는 동작 과정을 도시한 흐름도 및 이를 설명하기 위한 개념도이다.
도 4는 본 발명의 실시 예에 따른 차량 제어 장치에서, 복수의 광원 각각으로부터 형성되는 글린트들을, 복수의 카메라를 이용하여 구분하여 인식하는 것을 설명하기 위한 개념도이다.
도 5a 내지 도 5b는 본 발명의 실시 예에 따른 차량 제어 장치에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 사용자의 시선 방향에 따른 교정을 수행하는 흐름도 및 이를 설명하기 위한 개념도이다.
도 6은 본 발명의 실시 예에 따른 차량 제어 장치에서, 교정이 필요한지 여부를 판단하는 일 실시 예의 동작 과정을 도시한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 차량 제어 장치에서, 윈드쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 동작 과정을 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 차량 제어 장치에서, 사용자가 주행 정보가 표시되는 영역을 주시하는 경우의 예를 도시한 예시도이다.
도 9 내지 도 10은 본 발명의 실시 예에 따른 차량 제어 장치에서, 적어도 하나의 광원과 적어도 하나의 카메라가 디스플레이부 영역 주변에 형성된 예들을 보이고 있는 예시도이다.
도 11은 본 발명의 실시 예에 따른 차량 제어 장치에서, 교정이 필요한 경우 디스플레이부 상의 영역 중 특정 영역이 구분되게 표시되도록 하는 예를 도시한 예시도이다.
도 12는 본 발명의 실시 예에 따른 차량 제어 장치에서, 윈드쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 예를 도시한 예시도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 실시 예에 따른 차량 제어 장치(100)를 설명하기 위한 블록도이다.

우선 도 1에서 보이고 있는 바와 같이 본 발명의 실시 예에 따른 차량 제어 장치(100)는 제어부(110)와, 상기 제어부(110)에 연결될 수 있는 메모리(120), 감지부(140), 구동부(150) 및, 카메라부(160), 광원부(170), 디스플레이부(130)를 포함할 수 있다.

디스플레이부(130)는 상기 감지부(140)의 감지 결과 및, 차량의 운행에 관련된 정보, 그리고 차량 외부로부터 수신되는 다양한 정보들을 화상 정보의 형태로 표시할 수 있다. 상기 디스플레이부(130)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치스크린을 구현할 수 있다. 이러한 터치스크린은, 차량 제어 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 차량 제어 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

여기서 상기 디스플레이부(130)는, 차량의 다양한 부분에 구현될 수 있다. 예를 들어 상기 디스플레이부(130)는, 클러스터(cluster)에 형성되거나 또는 차량의 윈드 쉴드 글래스(Wind Shield Glass)의 전체나 일부에 형성될 수 있다. 또는 상기 디스플레이부(130)는 상기 운전석 옆면의 윈도우나 보조석 옆면의 윈도우 또는 차량 뒷좌석의 윈도우 등에 구현될 수도 있다.

메모리(120)는 차량 제어 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(120)는 차량 제어 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 차량 제어 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 그리고 메모리(120)는 제어부(110)의 동작을 위한 다양한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 차량 제어 장치(100)의 기본적인 기능(예를 들어, 시동 기능, 네비게이션 기능 등)을 위하여 출고 당시부터 차량 제어 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 차량 제어 장치(100) 상에 설치되어, 제어부(110)에 의하여 상기 차량 제어 장치의 동작(또는 기능)을 수행하도록 구동될 수 있다.

한편 메모리(120)는 사용자가 응시하는 방향에 따라 차량의 주행 및 차량이 제공할 수 있는 다양한 기능 중 적어도 하나의 기능이 실행될 수 있도록 하기 위한 다양한 정보들을 저장할 수 있다. 예를 들어 상기 메모리(120)는 사용자가 응시하는 방향의 대응되는 차량 내부의 각 영역을 인식할 수 있도록 차량 내부의 각 영역에 대응되는 좌표 정보를 저장할 수 있다.

뿐만 아니라 메모리(120)는 적어도 한 명이상의 사용자에 관련된 정보들을 저장할 수 있다. 여기서 사용자 관련 정보라는 것은, 특정 사용자를 인식한 정보 등이 될 수 있다. 예를 들어 제어부(110)는 사용자로부터 음성이 입력되는 경우, 입력된 음성의 특징을 이용하여 상기 음성을 발성한 사용자를 인식할 수 있다. 그리고 차량의 탑승자가 복수인 경우, 상기 인식된 결과를 이용하여 상기 복수의 탑승자들 각각을 구분할 수도 있다. 이러한 경우 상기 탑승자들 각각을 구분하기 위한 정보 등이 상기 메모리(120)에 저장될 수도 있다. 그리고 상기 메모리(120)에는 인식된 각 사용자에 대응되는 시선 설정 정보가 포함될 수 있다.

여기서 상기 시선 설정 정보는, 각 사용자가 차량의 운전석에 착석하였을 때에 사용자의 자세 및 머리의 높이 등에 따른 교정 정보를 포함할 수 있다. 즉, 사용자의 변경이 인식되는 경우, 본 발명의 실시 예에 따른 차량 제어 장치(100)는, 인식된 사용자에 대해 기 저장된 시선 설정 정보, 즉 교정 정보에 근거하여, 차량 내부에 기 설정된 적어도 하나의 기준 좌표에 대응되는 사용자의 시선에 대한 정보를 초기화할 수 있다. 이에 따라 사용자가 변경되는 경우에도, 그 사용자가 원하는 기능이, 사용자의 시선에 따라 선택되고 실행되도록 할 수 있다.

이러한 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광 디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 차량 제어 장치(100)는 인터넷(internet)상에서 상기 메모리(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.

한편 감지부(140)는 차량 제어 장치(100) 내 정보, 본 발명의 실시 예에 따른 차량 제어 장치(100)를 구비한 차량을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 감지부(140)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 차량 제어 장치(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.

또한 이러한 감지부(140)는 사용자의 입력을 감지할 수 있는 감지 영역을 적어도 하나 포함할 수 있으며, 이러한 감지 영역은 상기 차량의 외부 프레임과 내부 프레임을 포함하는 차량의 바디부에 형성될 수 있다. 이러한 감지 영역은, 터치 스크린 등의 형태로 구현될 수 있다.

이러한 감지 영역은 차량의 다양한 부분에 형성될 수 있다. 예를 들어 상기 감지 영역은, 차량의 윈드 쉴드 글래스(Wind Shield Glass)의 전체 또는 일부에 구현될 수 있으며, 운전석 옆면의 윈도우나 보조석 옆면의 윈도우 또는 차량 뒷좌석의 윈도우에 구현될 수도 있다.

또한 상기 감지부(140)는 사용자의 시선이 향하는 방향을 감지할 수 있는 시선 감지부(도시되지 않음)를 포함할 수 있다. 예를 들어 상기 시선 감지부는 차량 내부에 구비된 적어도 하나의 카메라를 포함할 수 있으며, 제어부(110)는 상기 시선 감지부에 구비된 카메라를 통해 사용자의 눈동자의 움직임을 감지할 수 있다. 그리고 상기 사용자의 눈동자가 향하는 방향에 근거하여 사용자가 응시하는 차량 내의 일 지점의 위치를 산출할 수 있다.

그리고 구동부(150)는 제어부(110)의 제어에 따라 차량 내부에 구비된 적어도 하나의 기능이 수행될 수 있도록 한다. 예를 들어 상기 구동부(150)는 차량의 시동 및 주행, 그리고 정지와 같은 차량의 운행에 관련된 다양한 기능들을 사용자의 입력에 따라 수행할 수 있다.

한편, 제어부(110)는 차량 제어 장치(100)의 전반적인 동작을 제어한다. 뿐만 아니라 차량의 주행 및 차량에서 제공가능한 다양한 기능들의 전반적인 동작을 제어할 수 있다. 예를 들어 제어부(110)는 상기 감지부(140) 또는 사용자로부터 입력되거나 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 차량의 구동을 제어할 수 있다. 또한, 제어부(110)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(110)는 상기 응용 프로그램의 구동을 위하여, 차량 제어 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

또한 제어부(110)는 상기 감지부(140)를 제어하여 사용자가 응시하는 방향을 감지할 수 있다. 그리고 상기 감지 결과에 따라 차량의 주행 및 상기 차량에서 제공가능한 적어도 하나의 기능에 관련된 동작들이 수행되도록 상기 구동부(150)를 제어할 수 있다. 이에 따라 사용자가 차량 내부의 특정 지점를 응시하는 경우, 제어부(110)는 이를 감지하고 감지된 지점에 대응되는 다양한 기능이 상기 구동부(150)를 통해 수행되도록 할 수 있다.

예를 들어 제어부(110)는 사용자가 운전석 사이드 윈도우를 바라보는 경우, 제어부(110)는 상기 운전석 사이드 윈도우를 오픈(open)하거나 클로즈(close)하는 기능을 수행할 수 있다. 또는 제어부(110)는 사용자가 상기 운전석 사이드 윈도우를 응시하고 있는 경우, 사용자의 시선에 근거하여 상기 운전석 사이드 윈도우가 사용자에 의해 선택된 것으로 판단하고, 이어서 인가되는 부가적인 입력에 근거하여 현재 선택된 구성 요소, 즉 상기 운전석 사이드 윈도우가 제어되도록 할 수도 있다. 여기서 상기 부가적인 입력은 사용자의 음성 명령일 수 있으며, 또는 기 설정된 키의 입력일 수 있다.

한편, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 사용자의 시선 방향에 따라 다양한 기능이 실행되도록 하는 상기 구성 요소들 외에, 사용자의 시선을 감지한 결과에 따른 차량 내부의 일 지점의 좌표와, 실제로 사용자가 응시하는 차량 내부의 특정 지점 사이의 오차를 줄이기 위한 교정을 수행하기 위한 카메라부(160), 광원부(170)를 더 포함할 수 있다.

상기 카메라부(160)는 사용자의 눈 영상을 센싱하기 위한 적어도 하나의 카메라를 포함할 수 있다. 상기 카메라부(160)에 포함된 적어도 하나의 카메라는 각각 사용자의 눈 영상을 센싱할 수 있으며, 상기 사용자의 눈 영상에는 사용자의 동공 및 글린트가 포함될 수 있다. 여기서 글린트(glint)란 사용자의 눈꺼풀 사이로 노출된 사용자의 안구 및 각막에 반사되는 반사광을 의미하는 것일 수 있다. 즉 상기 글린트는 사용자의 눈에 비친 특정 광원의 반사광이 될 수 있으며 또는 상기 사용자의 눈에 비친 차량 내부의 일부 영상일 수도 있다.

한편 상기 광원부(170)는 기 설정된 파장의 빛을 발광시킬 수 있는 적어도 하나의 광원을 포함할 수 있다. 그리고 상기 적어도 하나의 광원에서 발광되는 빛은, 상기 사용자의 눈꺼풀 사이로 노출된 사용자의 안구 및 각막에 반사되어 상기 글린트를 형성할 수도 있다. 즉 상기 광원부(170)에 포함된 적어도 하나의 광원에서 발광되는 빛이 상기 사용자의 눈에 반사되어 상기 글린트를 형성할 수 있으며, 상기 카메라부(160)에 포함된 적어도 하나의 카메라가 상기 글린트가 형성된 사용자의 눈 영상을 센싱할 수 있다. 여기서 상기 광원부(170)에 포함된 적어도 하나의 광원은, 사용자에게 눈부심 또는 눈 건강에 해로운 영향을 주지 않도록 기 설정된 길이 이상의 파장을 가지는 광을 발생시킬 수 있도록 형성될 수도 있음은 물론이다.

한편 제어부(110)는 상기 센싱된 눈 영상에 근거하여, 상기 교정이 이루어지도록 할 수 있다. 즉, 제어부(110)는 상기 센싱된 눈 영상으로부터 검출된 글린트로부터 중심 좌표를 산출할 수 있으며, 상기 눈 영상으로부터 검출된 사용자의 동공으로부터 중심 좌표를 산출할 수 있다. 그리고 상기 글린트의 중심 좌표와 상기 동공의 중심 좌표 사이의 거리가 기 설정된 거리 이하인 경우에, 현재 사용자가 상기 검출된 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 검출된 글린트에 대응되는 광원의 좌표를 기준으로 교정을 수행할 수 있다. 여기서 상기 글린트에 대응되는 광원의 좌표는 상기 메모리(120)에 미리 저장된 것일 수 있다. 이에 따라 제어부(110)는 사용자가 별도로 명시적인 입력을 인가하지 않는 경우에도, 상기 사용자가 기 설정된 기준 좌표 지점(상기 검출된 글린트에 대응되는 광원의 좌표)을 응시하는 것을 감지할 수 있다.

한편, 제어부(110)는 상기 센싱된 눈 영상으로부터 검출되는 동공 및, 사용자의 눈 높이, 그리고 사용자의 두부가 향하는 방향에 근거하여 사용자가 응시하는 방향에 대응되는 좌표를 산출할 수 있다. 예를 들어 제어부(110)는 기 저장된 인체의 안구 3D 모델에 근거하여, 현재 사용자의 눈 높이 및 두부가 향하는 방향에 대응되는 위치에 형성되는 안구의 중심 좌표를 산출할 수 있다. 그리고 산출된 안구 중심 좌표와 동공 중심 좌표를 연결하는 직선에 근거하여 사용자의 동공 중심 방향에 대응되는 차량 내부의 일 지점의 좌표를 산출할 수 있다. 그리고 산출된 좌표에 대응되는 차량 내부의 일 지점의 좌표는, 차량에 의해 산출된 사용자가 응시하는 방향의 일 지점의 좌표, 즉 산출된 시선 방향의 좌표일 수 있다.

한편, 상기 교정이 수행되는 경우, 제어부(110)는 상기 산출된 시선 바양의 좌표와 상기 글린트에 대응되는 광원의 좌표를 비교할 수 있다. 그리고 상기 글린트에 대응되는 광원의 좌표에 근거하여 상기 산출된 시선 방향의 좌표를 보정할 수 있다. 이에 따라 사용자가 응시하는 방향에 따라 산출된 일 지점의 좌표와 실제 사용자가 응시하는 방향에 대응되는 좌표 간의 오차가 작아지게 되고, 사용자가 응시하는 방향에 따른 보다 정확한 차량 내부의 일 지점의 좌표가 검출될 수 있다.

한편 상기 적어도 하나의 광원은 상기 디스플레이부(130) 상의 적어도 일 지점에 형성될 수 있다. 예를 들어 상기 적어도 하나의 광원은 사용자가 자주 응시하는 화상 정보가 표시되는 디스플레이부(130) 상의 일 영역 또는 상기 일 영역의 주변에 형성된 것일 수 있다. 그리고 상기 사용자가 자주 응시하는 화상 정보는, 주행 정보와 같이 차량의 운행에 관련된 정보일 수 있다. 즉, 상기 적어도 하나의 광원은 주행 정보가 표시되는 디스플레이부(130) 상의 일 영역에 형성될 수 있으며, 이러한 경우 제어부(110)는 사용자가 상기 주행 정보를 응시할 때마다 상기 교정 과정이 수행되도록 함으로써, 상기 교정 과정이 보다 자주 수행되도록 할 수도 있다.

한편, 상술한 바와 같이 본 발명의 실시 예에 따른 차량 제어 장치(100)는, 사용자로부터 명시적인 별도의 입력을 인가받지 않더라도, 사용자가 기 설정된 기준 좌표에 해당되는 지점(광원이 형성된 지점)을 응시하고 있는지 여부를 감지할 수 있다. 따라서 주행 정보가 표시되는 디스플레이부(130) 상의 일 영역에 상기 광원이 형성되는 경우, 제어부(110)는 사용자가 상기 표시되는 주행 정보를 응시할 때에, 상기 별도의 입력이 없더라도 사용자가 상기 주행 정보를 보고 있음을 감지하고 바로 교정 과정을 수행할 수 있다. 따라서 본 발명은 사용자가 주행 정보를 응시할 때에 상기 교정이 이루어지더라도 이를 사용자가 의식하지 못하도록 할 수 있다.

이하에서는 이와 같이 구성된 차량 제어 장치(100)에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

한편, 상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 차량 제어 장치(100)의 동작 제어, 또는 제어 방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 차량 제어 장치(100)의 동작 제어, 또는 제어 방법은 상기 메모리(120)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 차량 제어 장치(100) 상에서 구현될 수 있다.

우선 도 2a는 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 자동으로 교정이 수행되도록 하는 동작 과정을 도시한 흐름도다. 그리고 도 2b는 상기 본 발명의 실시 예에 따른 차량 제어 장치(100)에서 글린트의 중심 좌표 동공의 중심 좌표가 기 설정된 거리 이하인 경우를 설명하기 위한 개념도이다.

먼저 도 2a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 차량의 구동이 시작될 때에, 광원부(170)에 포함된 적어도 하나의 광원 및 카메라부(160)에 포함된 적어도 하나의 카메라를 활성화시킬 수 있다. 예를 들어 상기 차량의 구동은 상기 차량에 시동이 걸릴 때를 의미할 수 있다. 즉 상기 차량에 시동이 걸리면, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 전원이 오프(off)된 상태에서 전원이 온(on)된 상태로 전환될 수 있다. 그리고 카메라부(160)에 구비된 적어도 하나의 카메라를 통해 사용자의 눈 영상을 센싱할 수 있다(S200). 여기서 상기 사용자는, 운전석에 착석한 사람일 수 있으며, 따라서 상기 적어도 하나의 카메라는 상기 운전석에 착석한 사람의 눈 부분의 영상을 획득하기 위한 것일 수 있다.

한편 상기 S200 단계에서 사용자의 눈 영상이 획득되면, 제어부(110)는 센싱된 영상으로부터, 사용자의 동공에 해당되는 영역 및, 상기 광원부(170)의 광원에 의해 형성된 글린트에 해당되는 영역을 검출할 수 있다(S202). 그리고 상기 검출된 동공 영역 및 상기 글린트 영역으로부터, 상기 동공 영역의 중심 좌표인 제1 좌표를 산출하고, 상기 글린트 영역으로부터 상기 글린트 영역의 중심 좌표인 제2 좌표를 산출할 수 있다(S204).

한편 상기 S204 단계에서 상기 동공의 중심 좌표인 제1 좌표와, 상기 글린트의 중심 좌표인 제2 좌표가 산출되면, 제어부(110)는 상기 제1 좌표와 제2 좌표 사이의 거리를 산출할 수 있다. 그리고 산출된 거리와 기 설정된 거리를 비교하여, 상기 글린트의 중심 좌표(제2 좌표)가 동공의 중심(제1 좌표)으로부터 기 설정된 거리 이내에 있는지 여부를 판단할 수 있다(S206).

여기서 상기 기 설정된 거리는 다양한 방법에 따라 결정될 수 있다. 예를 들어 상기 기 설정된 거리는, 다양한 실험을 통해 결정된 허용 오차 범위에 따른 것일 수 있다. 따라서 사용자가 상기 광원이 형성된 영역을 바로 응시하지 않는 경우라고 할지라도, 상기 주행 정보와 같이 특정 화상 정보가 표시되는 디스플레이부(130) 상의 일 영역 내의 어느 지점을 응시하더라도 제어부(110)는 사용자가 미리 지정된 영역, 즉 상기 광원이 형성된 영역을 응시하는 것으로 판단할 수 있다.

반면 상기 기 설정된 거리는, 사용자의 카파각(kappa angle)을 고려하여 결정될 수 있다. 여기서 카파각이라는 것은 각막의 중심으로부터 주시 물체에 이르는 주시선과, 동공의 중심과 사용자의 안구 중심(예 : 안구의 회선점)을 잇는 광축이 각막의 정점에서 이루는 각을 의미한다. 이에 따라 카메라를 통해 감지되는 동공의 중심과 안구의 중심(회선점)으로부터 산출되는 광축에 따른 일 지점의 좌표와, 실제 사용자가 보고 있는 응시 방향, 즉 주시선이 향하는 방향에 따른 지점의 좌표는 서로 달라질 수 있다.

이에 따라 본 발명은, 상기 카파각을 고려하여 상기 동공의 중심(제1 좌표)으로부터 기 설정된 거리 내에 해당되는 영역을 형성할 수 있다. 예를 들어 본 발명은, 사용자로부터 카파각을 입력받을 수 있으며, 카파각이 입력되면 그에 따라 상기 기 설정된 거리 내에 해당되는 영역을 설정할 수 있다. 그리고 상기 형성된 영역에 상기 글린트의 중심(제2 좌표)이 위치하는 경우, 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다.

도 2b는 이처럼 글린트를 포함하는 사용자의 눈 영상이 센싱된 예들을 보이고 있는 도면이다.

먼저 도 2b의 (a)에서 보이고 있는 바와 같은 눈 영상이 센싱되는 경우, 제어부(110)는 센싱된 영상으로부터 동공의 중심 좌표(210)를 제1 좌표로 산출할 수 있다. 그리고 상기 센싱된 눈 영상에 포함된 글린트(230)로부터 글린트의 중심 좌표(220)를 제2 좌표로 산출할 수 있다. 또한 제어부(110)는 상기 제1 좌표로부터 이격된 거리가 기 설정된 거리 이내에 해당되는 영역인 임계 영역(250)을 결정할 수 있다.

이처럼 제1 좌표(210)와 제2 좌표(220)가 산출되고, 상기 임계 영역(250)이 결정되는 경우, 제어부(110)는 상기 제2 좌표(220)가 상기 임계 영역(250) 내에 위치하는지 여부를 검출할 수 있다. 그리고 도 2b의 (a)에서 보이고 있는 바와 같이, 상기 제2 좌표(220)가 상기 임계 영역(250) 내에 위치하지 않는 경우라면, 제어부(110)는 상기 S206 단계에서, 사용자가 상기 글린트(230)에 대응되는 광원을 응시하고 있지 않다고 판단할 수 있다.

한편 상기 S206 단계의 판단 결과에 따라, 사용자가 현재 광원이 형성된 영역을 응시하고 있지 않은 것으로 판단되면, 제어부(110)는 다시 S200 단계로 진행하여 사용자의 눈 영상을 센싱할 수 있다. 그리고 상기 S202 단계 내지 S206 단계를 반복하여, 사용자가 현재 광원이 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다.

한편, 상기 도 2b에서 보이고 있는 바와 같이, 상기 제2 좌표(220)가 상기 임계 영역(250) 내에 위치하는 경우라면, 이는 상기 글린트(230)가 사용자의 동공 중심(210)으로부터 기 설정된 거리 내에 형성된 것일 수 있다. 따라서 제어부(110)는 사용자가 상기 글린트(230)에 대응되는 광원이 형성된 영역을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 광원이 형성된 영역의 좌표 정보를 이용하여 교정(calibration)을 수행할 수 있다(S208).

상기 S208 단계에서는, 상기 광원이 형성된 영역의 좌표를, 상기 교정을 위한 기준 좌표로 이용할 수 있다. 여기서 상기 광원이 형성된 영역의 좌표 정보는 미리 산출되어 메모리(120)에 저장된 정보일 수 있다. 즉, 제어부(110)는 상기 S206 단계의 판단 결과 사용자가 글린트(230)의 중심 좌표(220)가 동공의 중심 좌표(210)으로부터 기 설정된 거리 이내에 있는 경우, 명시적인 별도의 입력이 없더라도, 사용자가 미리 지정된 특정 지점(상기 광원이 형성된 영역)을 바라보고 있는 것으로 감지할 수 있다. 따라서 상기 미리 지정된 특정 지점의 좌표를, 현재 사용자가 응시하는 방향을 산출한 결과에 따른 지점의 좌표로서 보정할 수 있다.

그리고 상기 S208 단계에서 교정이 완료되면 다시 S200 단계로 진행하여 사용자의 눈 영상을 센싱할 수 있다. 그리고 상기 S202 단계 내지 S206 단계를 반복하여, 사용자가 현재 광원이 형성된 영역을 응시하고 있는지 여부를 판단하고 그 결과에 따라 다시 S208 단계에서 재교정을 수행할 수 있다.

한편 본 발명은 사용자가 의식하지 않은 상태에서 상기 교정 과정이 진행될 수 있도록, 상기 광원이 사용자가 자주 응시하는 디스플레이부(130) 상의 일 영역에 형성될 수 있음을 언급한 바 있다. 그리고 상기 사용자가 자주 응시하는 디스플레이부(130) 상의 일 영역은, 주행 정보와 같이 차량의 운행에 관련된 중요 정보를 표시하는 영역일 수 있다. 또한 본 발명은 상술한 바와 같이 글린트의 중심 좌표와 동공의 중심 좌표 사이의 거리에 따라 사용자가 상기 글린트에 대응되는 광원이 구비된 영역을 응시하는 것으로 판단할 수 있으므로, 사용자에게 별도의 입력을 요구하지 않는다. 따라서 본 발명은 차량이 주행 중인 상태에서, 사용자가 주행 정보를 응시하는 경우에 상기 교정 과정을 수행할 수도 있다.

한편 상술한 도 2b에서는 단지 사용자의 한쪽 눈에 형성된 글린트로부터 산출되는 좌표 정보와 동공으로부터 산출되는 좌표 정보에 근거하여, 사용자가 글린트에 대응되는 광원을 응시하는 것으로 판단하는 것을 예로 들었으나, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 얼마든지 사용자의 양안 영상 모두를 이용하여 사용자가 상기 글린트에 대응되는 광원을 응시하는지 여부를 판단할 수도 있음은 물론이다.

예를 들어 상기 S200 단계에서 획득되는 사용자의 눈 영상은, 사용자의 양안 영상을 모두 일 수 있다. 이러한 경우 제어부(110)는 상기 획득된 양안의 영상으로부터, 상기 양안 각각에 형성된 글린트의 중심 좌표와 동공의 중심 좌표 사이의 이격 거리들을 산출할 수 있다. 그리고 상기 양안 각각으로부터 산출된 이격 거리들 중 적어도 하나에 따라 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다. 즉, 제어부(110)는 상기 산출된 이격 거리들 중 어느 하나만이 상기 기 설정된 거리보다 짧은 경우에도 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다.

그러나 이와는 달리, 제어부(110)는 양안 각각으로부터 산출된 이격 거리들이 모두 기 설정된 거리보다 짧은 경우에 한하여 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다. 이는 사용자의 자세(예를 들어 두부가 향하는 방향) 등에 따라 사용자의 양안에 비치는 글린트의 위치가 서로 조금씩 다를 수 있기 때문이다. 또는 사용자의 눈 특성에 따라 양안이 주시하는 방향이 서로 평행하지 않을 수도 있기 때문이다. 따라서 제어부(110)는 상기 양안의 각 동공 중심으로부터, 상기 양안에 비치는 각 글린트의 중심이 모두 기 설정된 거리 이내인 경우에 한하여, 사용자가 상기 글린트에 대응되는 광원을 응시하고 있는 것으로 판단할 수도 있다.

한편 상술한 설명에서는, 상기 주행 정보가 표시되는 디스플레이부(130) 상의 일 영역에 하나의 광원이 구비되고, 상기 광원으로부터 형성되는 글린트에 근거하여 사용자가 상기 주행 정보를 응시하고 있는지 여부를 판단하는 것을 설명하였으나, 이는 본 발명의 일 실시 예 일 뿐, 이에 본 발명이 한정되지 않음은 물론이다. 즉, 상기 주행 정보가 표시되는 디스플레이부(130) 상에 복수의 광원이 구비될 수도 있다. 그리고 이처럼 복수의 광원이 구비되는 경우, 제어부(110)는 상기 복수의 광원 각각으로부터 형성되는 복수의 글린트 각각의 위치 관계에 따라 상기 동공의 중심 좌표와 비교할 좌표 정보를 산출할 수도 있다.

도 3a는 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 상기 동공의 중심 좌표와 비교할 좌표 정보가 생성되는 동작 과정을 도시한 것이다. 또한 도 3b는 상기 도 3a에서 생성되는 좌표 정보와 동공의 중심 좌표에 근거하여 사용자가 주행 정보가 표시되는 영역을 응시하는지 여부를 판단하는 예를 설명하기 위한 개념도이다.

우선 도 3a를 참조하여 살펴보면, 제어부(110)는 상기 도 2a의 S200 단계 내지 S202 단계에서, 사용자의 눈 영상에 포함된 복수의 글린트를 검출할 수 있다. 그리고 사용자의 눈 영상에 포함된 동공 영역을 검출할 수 있다.

이러한 상태에서 제어부(110)는 상기 검출된 동공 영역의 중심 좌표를 산출할 수 있다(S300). 그리고 상기 복수의 글린트 각각으로부터 각 글린트의 중심 좌표들을 산출할 수 있다(S302).

한편 이처럼 복수의 글린트 각각으로부터 중심 좌표들이 산출되면, 제어부(110)는 산출된 글린트 중심 좌표들 사이의 위치 관계에 따라 상기 산출된 동공의 중심 좌표, 즉 제1 좌표와 비교할 좌표 정보, 즉 제2 좌표를 산출할 수 있다. 예를 들어 제어부(110)는 상기 글린트 중심 좌표들을 서로 잇는 직선을 생성하거나 또는 상기 글린트 중심 좌표들을 꼭지점으로 하는 다각형을 생성할 수 있다. 상기 생성된 직선 또는 다각형의 중심에 대응되는 좌표를 상기 제1 좌표와 비교할 상기 제2 좌표로 산출할 수 있다. 그리고 상기 제2 좌표가 산출되면, 제어부(110)는 도 2a의 S206 단계로 진행하여 상기 제1 좌표와 제2 좌표 사이의 거리에 따라 사용자가 상기 기 설정된 특정 지점, 즉 상기 복수의 광원이 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다.

도 3b는 이처럼 복수의 글린트 각각으로부터 형성된 글린트들과, 상기 글린트들의 중심 좌표들로부터 산출되는 제2 좌표의 예와, 상기 제2 좌표와 상기 제1 좌표 사이의 이격 거리에 따라 사용자가 상기 글린트들에 대응되는 영역을 응시하고 있는 것으로 판단하는 예를 설명하기 위한 것이다.

우선 도 3b의 (a)를 참조하여 살펴보면, 도 3b의 (a)는 두 개의 글린트로부터 산출된 글린트 중심 좌표들(300, 310)의 예를 보이고 있는 것이다. 도 3b의 (a)에서 보이고 있는 바와 같은 눈 영상이 센싱되는 경우, 제어부(110)는 상기 글린트 중심 좌표들(300, 310)을 잇는 가상의 직선을 생성할수 있으며, 생성된 직선의 중심 좌표를 상기 제2 좌표로 산출할 수 있다. 그리고 도 2의 S206 단계를 통해 동공의 중심 좌표인 제1 좌표(210)와, 상기 산출된 제2 좌표(320) 사이의 거리에 따라 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다. 그리고 도 3b의 (a)에서 보이고 있는 바와 같이 상기 제1 좌표(210)가 제2 좌표(320) 사이의 거리가 기 설정된 거리를 초과하는 경우 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있지 않은 것으로 판단할 수 있다. 그러면 제어부(110)는 다시 도 2의 S200 단계로 진행하여 사용자의 눈 영상을 다시 센싱할 수 있다.

한편 도 3b의 (b)는 다시 센싱된 눈 영상의 예를 보이고 있는 것으로, 도 3b의 (a)에서 보이고 있는 상태에서, 사용자가 조금 더 아래 방향을 바라보는 예를 도시한 것이다. 이러한 경우 역시 제어부(110)는 상기 도 3a에서 도시한 과정들 및 상기 도 2의 S206 단계를 거쳐, 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있는지 여부를 판단할 수 있다. 따라서 도 3b의 (b)에서 보이고 있는 바와 같이 상기 제1 좌표(210)가 제2 좌표(320) 사이의 거리가 기 설정된 거리를 초과하는 경우 사용자가 상기 두 개의 글린트가 형성된 영역을 응시하고 있지 않은 것으로 판단할 수 있다. 그러면 제어부(110)는 다시 도 2의 S200 단계로 진행하여 사용자의 눈 영상을 다시 센싱할 수 있다.

한편 도 3b의 (c)는 다시 센싱된 눈 영상의 예를 보이고 있는 것으로, 도 3b의 (b)에서 보이고 있는 상태에서, 사용자가 더 아래 방향을 응시하는 예를 도시한 것이다. 이처럼 사용자가 더 아래 방향을 응시하는 경우 그에 따라 도 3b의 (c)에서 보이고 있는 바와 같이, 동공의 중심(제1 좌표 : 210)은 보다 아래쪽으로 이동하게 된다. 그리고 도 3b의 (c)에서 보이고 있는 바와 같이, 상기 동공의 중심(제1 좌표 : 210)과 각 글린트의 중심 좌표들(300, 310)을 잇는 직선으로부터 산출되는 제2 좌표(320)가 기 설정된 거리 이내인 경우 제어부(110)는 상기 도 2의 S206 단계에서 사용자가 상기 글린트들이 형성된 영역을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 도 2의 S208 단계에서 상기 글린트들에 대응되는 광원들의 좌표들로부터 기준 좌표를 산출하고, 산출된 기준 좌표에 근거하여 교정(calibration)을 수행할 수 있다.

한편 이처럼 복수의 광원으로부터 복수의 글린트가 형성되는 경우, 상기 기준 좌표는 상기 복수의 광원의 위치 관계에 따라 산출되는 좌표일 수 있다. 즉, 제어부(110)는 상기 복수의 광원 각각의 좌표를 서로 잇는 직선을 생성하거나 또는 상기 복수의 광원 각각의 좌표를 꼭지점으로 하는 다각형을 생성할 수 있다. 그리고 상기 생성된 직선 또는 다각형의 중심에 대응되는 좌표를 기준 좌표로 산출할 수 있다. 여기서 상기 복수의 광원 각각의 좌표는, 미리 조사되거나 또는 산출된 것으로 상기 메모리(120)에 미리 저장되어 있을 수 있다.

그러므로 제어부(110)는 상기 도 3b의 (c)에서 보이고 있는 바와 같이, 두 개의 글린트로부터 생성되는 제2 좌표가, 상기 동공의 중심인 제1 좌표로부터 기 설정된 거리에 있는 것으로 검출되면, 사용자가 상기 두 개의 글린트 각각에 대응되는 광원의 좌표들을 잇는 직선의 중심을 바라보고 있는 것으로 판단할 수 있다. 따라서 제어부(110)는 메모리(120)로부터 상기 글린트 각각에 대응되는 광원들의 좌표 정보를 독출하고, 독출된 좌표 정보들을 잇는 가상의 직선의 중심 좌표를 산출할 수 있으며, 산출된 지점의 좌표를 기준 좌표로, 상기 교정(calibration)을 수행할 수 있다.

한편 상술한 도 2a 내지 도 3b의 설명에서는, 디스플레이부(130) 상의 일 영역에 적어도 하나의 광원이 구비되고, 상기 적어도 하나의 광원으로부터 형성되는 적어도 하나의 글린트에 근거하여, 사용자가 상기 일 영역을 응시하고 있는지 여부를 판단하는 것을 설명하였다. 그러나 상기 적어도 하나의 광원이 구비되는 디스플레이부(130) 상의 영역은 하나 뿐만 아니라 복수 개일 수도 있음은 물론이다. 이러한 경우 제어부(110)는 서로 다른 디스플레이부(130) 상의 각 영역을 사용자가 응시하면, 사용자가 응시하는 방향에 따라 산출된 좌표와, 해당 영역에 구비된 적어도 하나의 광원의 좌표를 비교하여 교정(calibration)을 수행할 수 있다. 이에 따라 본 발명에서는 특정 방향(예를 들어 정면) 뿐만 아니라, 다른 방향에 대해서도 사용자가 응시하는 방향에 따라 산출되는 좌표값의 보정, 즉 교정(calibration)을 수행할 수 있다. 따라서 복수의 서로 다른 방향 각각에 대한 교정이 수행될 수도 있음은 물론이다.

한편 이처럼 복수의 서로 다른 디스플레이부(130) 상의 영역에 각각 적어도 하나의 광원이 구비되는 경우, 카메라부(160)는 상기 디스플레이부(130) 상의 각 영역에 구비된 각각의 광원에 대응되는 복수의 카메라를 구비할 수 있다. 이러한 경우 각각의 카메라는, 특정 디스플레이부(130) 영역에 구비된 광원에 대응될 수 있으며, 센싱되는 눈 영상으로부터 형성된 글린트가 대응되는 광원으로부터 형성된 것인지 그렇지 않은지를 구분할 수도 있다.

즉, 각 디스플레이부(130) 상의 영역에 구비되는 광원들은 각각 서로 다른 파장을 가진 광을 발광하거나, 서로 다른 빈도로 점멸하는 광원일 수 있다. 그리고 각 광원에 대응되는 카메라는 특정 파장의 광원만을 검출하거나 또는 특정 빈도로 점멸하는 광원만을 검출할 수 있다. 이에 따라 각 카메라는 사용자의 눈 영상에 포함된 복수의 글린트로부터 대응되는 광원으로부터 형성되는 글린트만을 식별하여 검출할 수도 있다.

도 4는 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 복수의 광원 각각으로부터 형성되는 글린트들을, 복수의 카메라를 이용하여 구분하여 인식하는 것을 설명하기 위한 개념도이다.

우선 도 4의 (a)를 참조하여 살펴보면, 도 4의 (a)는 서로 다른 광원들로부터 형성되는 글린트들이 포함된 눈 영상의 예를 보이고 있는 것이다. 즉, 도 4의 (a)에서 제1 글린트(400)는 디스플레이부(130) 상의 제1 영역에 구비된 제1 광원으로부터 형성되는 글린트이며, 제2 글린트(410)는 디스플레이부(130) 상의 제2 영역에 구비된 제2 광원으로부터 형성되는 글린트일 수 있다. 그리고 상기 제1 광원 및 제2 광원은 서로 점멸되는 빈도가 다르거나, 서로 다른 파장을 가지는 광원일 수 있다.

한편, 상기 눈 영상은, 상기 제1 광원에 대응되는 제1 카메라 및, 상기 제2 광원에 대응되는 제2 카메라에 동시에 센싱될 수 있다. 예를 들어 상기 제1 카메라는 디스플레이부(130) 상의 제1 영역에 구비된 것일 수 있으며, 제2 카메라는 디스플레이부(130) 상의 제2 영역에 구비된 것일 수 있다.

이러한 상태에서, 상기 제1 카메라 및 제2 카메라는 센싱된 눈 영상으로부터 대응되는 광원으로부터 형성되는 글린트들만을 검출할 수 있다. 이는 상기 글린트가 광원으로부터 발광되는 빛이 사용자의 노출된 동공 및 안구 부분에 반사되어 형성되는 것이므로, 각 광원에서 발광되는 광의 특징을 그대로 가지고 있기 때문이다.

따라서 상기 제1 카메라는 제1 광원으로부터 형성되는 제1 글린트(400)만을 검출할 수 있다. 또한 상기 제2 카메라는 제2 광원으로부터 형성되는 제2 글린트(410)만을 검출할 수도 있다. 도 4의 (b) 및 도 4의 (c)는 이처럼 제1 글린트(400) 또는 제2 글린트(410) 만을 구분하여 검출하는 예를 도시한 것이다.

먼저 도 4의 (b)를 참조하여 살펴보면, 제1 카메라는 검출된 제1 글린트(400)로부터 제1 글린트 중심 좌표(402)를 산출할 수 있다. 그리고 산출된 제1 글린트 중심 좌표(402)가 동공 중심으로부터 산출되는 제1 좌표(210)로부터 기 설정된 거리 이내에 위치하는지 여부를 확인할 수 있다. 따라서 도 4의 (b)에서 보이고 있는 바와 같이, 제1 글린트 중심 좌표(402)의 위치가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하지 않는 경우라면, 제어부(110)는 사용자가 디스플레이부(130) 상의 제1 영역을 응시하고 있지 않은 것으로 판단할 수 있다.

반면 도 4의 (c)를 참조하여 살펴보면, 제2 카메라는 검출된 제2 글린트(410)로부터 제2 글린트 중심 좌표(412)를 산출할 수 있다. 그리고 산출된 제2 글린트 중심 좌표(412)가 동공 중심으로부터 산출되는 제1 좌표(210)로부터 기 설정된 거리 이내에 위치하는지 여부를 확인할 수 있다. 따라서 도 4의 (c)에서 보이고 있는 바와 같이, 제2 글린트 중심 좌표(412)의 위치가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하는 경우라면, 제어부(110)는 사용자가 디스플레이부(130) 상의 제2 영역을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 디스플레이부(130) 상의 제2 영역에 구비된 광원, 즉 제2 광원의 기 저장된 좌표 정보를 기준으로, 상기 제2 영역을 응시하는 사용자의 시선 방향에 대한 교정을 수행할 수 있다.

한편 상술한 도 4의 설명에서는, 디스플레이부(130) 상의 서로 다른 복수의 영역에 각각 서로 다른 광원이 구비되고, 상기 서로 다른 광원 각각에 대응되는 카메라를 이용하여, 상기 디스플레이부(130) 상의 복수의 영역 중 어느 하나의 영역을 응시하는 사용자의 시선을 감지하는 것을 예로 들어 설명하였다. 그러나 이와는 달리 하나의 카메라를 이용하여 상기 복수의 영역 중 어느 하나의 영역을 응시하는 사용자의 시선을 감지할 수도 있음은 물론이다.

도 5a는 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 복수의 광원으로부터 형성되는 글린트들에 근거하여 사용자의 시선 방향에 따른 교정을 수행하는 흐름도를 나타낸 것이다.

도 5a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 상술한 바와 같이 차량의 구동이 시작될 때에, 적어도 하나의 광원 및 카메라를 활성화시킬 수 있다. 예를 들어 상기 차량의 구동은 상기 차량에 시동이 걸릴 때를 의미할 수 있다. 그리고 활성화된 카메라를 통해 사용자의 눈 영상을 센싱할 수 있다(S500).

상기 S500 단계에서 사용자의 눈 영상이 획득되면, 제어부(110)는 센싱된 영상으로부터, 사용자의 동공에 해당되는 영역 및, 글린트들에 해당되는 영역을 검출할 수 있다. 여기서 상기 글린트들은 디스플레이부(130) 상의 서로 다른 영역에 구비된 복수의 광원으로부터 발광되는 빛들에 의하여 형성되는 것일 수 있다. 그러면 제어부(110)는 상기 검출된 동공 영역으로부터 중심 좌표인 제1 좌표를 산출하고, 상기 각 글린트들의 중심 좌표들을 제2 좌표들로 산출할 수 있다(S502).

한편 상기 S502 단계에서 제2 좌표들이 산출되면, 제어부(110)는 각 제2 좌표들과, 상기 제1 좌표 사이의 이격 거리들을 산출할 수 있다(S506). 그리고 상기 S506 단계에서 산출된 결과에 근거하여 상기 제1 좌표로부터 기 설정된 거리 내에 위치한 제2 좌표가 있는지 여부를 체크할 수 있다(S506). 그리고 상기 S506 단계의 체크 결과, 동공 중심, 즉 제1 좌표로부터 기 설정된 거리 내에 위치한 글린트의 중심 좌표(제2 좌표)가 없는 경우라면, 제어부(110)는 다시 S500 단계로 진행하여 사용자의 눈 영상을 센싱하고, S502 단계 내지 S506 단계로 진행하여 동공 중심(제1 좌표)으로부터 기 설정된 거리 내에 위치한 글린트의 중심 좌표가 있는지 여부를 다시 체크할 수 있다.

반면 상기 S506 단계의 체크 결과, 동공 중심, 즉 제1 좌표로부터 기 설정된 거리 내에 위치한 글린트의 중심 좌표(제2 좌표)가 적어도 하나라도 있는 경우라면, 제어부(110)는 상기 동공 중심으로부터 기 설정된 거리 내에 위치한 적어도 하나의 제2 좌표 중, 가장 가까운 글린트에 대응되는 광원의 좌표를 기준으로, 현재 사용자가 응시하는 방향에 대응되는 좌표의 교정을 수행할 수 있다(S508). 이는 동공 중심으로부터 기 설정된 거리 내에 형성된 글린트가 복수 개인 경우, 동공 중심으로부터 보다 가까운 위치에 형성된 글린트가 사용자가 응시하는 영역에 대응되는 디스플레이부(130) 상의 영역에 구비된 광원으로부터 형성된 글린트일 가능성이 보다 높기 때문이다.

도 5b는 상기 도 5a에서 설명한 과정에 따라, 상기 글린트들 중 어느 하나에 대응되는 디스플레이부(130) 상의 일 영역을 응시하는 사용자의 시선을 감지하는 예를 설명하기 위한 개념도이다.

먼저 도 5b의 (a)를 참조하여 살펴보면, 도 5b의 (a)는 디스플레이부(130) 상의 서로 다른 영역의 광원들로부터 형성된 글린트들을 포함하는 눈 영상의 예를 보이고 있는 것이다. 여기서 상기 글린트들 중 제1 글린트(502), 제2 글린트(512), 제3 글린트(522)는 각각 디스플레이부(130) 상의 서로 다른 영역인 제1 영역, 제2 영역, 제3 영역에 형성된 각 광원으로부터 형성되는 것일 수 있다. 그리고 상기 제2 영역은 사용자의 정면 방향에, 제1 영역 및 제3 영역은 각각 사용자를 기준으로 사용자의 우측 및 좌측에 형성된 디스플레이부(130) 상의 일 영역일 수 있다.

그러면 제어부(110)는 상기 글린트들(502, 512, 522) 각각으로부터 중심 좌표들을 산출할 수 있다. 즉, 제1 글린트(502)로부터 제1 글린트 중심 좌표(500)를 산출하고, 제2 글린트(512)로부터 제1 글린트 중심 좌표(510)를 산출 및, 제3 글린트(522)로부터 제3 글린트 중심 좌표(520)를 산출할 수 있다. 그리고 산출된 각 글린트 중심 좌표들과 동공 중심으로부터 산출되는 제1 좌표 사이의 이격 거리를 산출할 수 있다.

따라서 사용자가 정면을 응시함에 따라 센싱된 눈 영상이 도 5b의 (a)에서 보이고 있는 바와 같은 경우, 제어부(110)는 제2 글린트 중심 좌표(510)가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하고 있음을 검출할 수 있다. 그러면 제어부(110)는 상기 제2 글린트(510)에 대응되는 제2 광원을 포함하는 디스플레이부(130) 상의 영역, 즉 제2 영역을 사용자가 응시하고 있는 것으로 판단할 수 있다. 따라서 제어부(110)는 상기 제2 광원의 기 정의된 좌표 정보를 기준으로, 상기 제2 영역을 응시하는 사용자의 시선 방향, 즉 사용자 시선이 정면 방향인 경우에 대응되는 좌표를 교정할 수 있다.

반면 사용자가 좌측을 응시함에 따라 센싱된 눈 영상이 도 5b의 (b)에서 보이고 있는 바와 같은 경우라면, 제어부(110)는 제3 글린트 중심 좌표(520)가 상기 제1 좌표(210)로부터 기 설정된 거리 내에 위치하고 있음을 검출할 수 있다. 그러면 제어부(110)는 상기 제3 글린트(520)에 대응되는 제3 광원을 포함하는 디스플레이부(130) 상의 영역, 즉 제3 영역을 사용자가 응시하고 있는 것으로 판단할 수 있다. 따라서 제어부(110)는 상기 제3 광원의 기 정의된 좌표 정보를 기준으로, 상기 제3 영역을 응시하는 사용자의 시선 방향, 즉 사용자 시선이 좌측 방향인 경우에 대응되는 좌표를 교정할 수 있다. 이에 따라 본 발명의 차량 제어 장치(100)는 서로 다른 복수의 사용자 시선에 대응되는 좌표에 대한 교정을 수행할 수 있다.

한편 본 발명은 상술한 바와 같이 특정 조건(글린트의 중심 좌표가 동공 중심 좌표와 기 설정된 거리 내에 형성)이 만족하는 경우에 교정이 수행되도록 함으로써, 상기 교정의 시기나 특정 방향에 대한 교정이 임의적으로 수행될 수 있다. 이에 따라 본 발명에서는 교정이 필요한 경우에도 조건이 충족되지 않음에 따라 교정이 수행되지 않는 경우를 방지하기 위하여 교정이 필요한지 여부를 판단하고, 교정이 필요한 경우 상기 특정 조건이 충족될 수 있도록 사용자의 행동을 유도할 수도 있다.

예를 들어 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 기 설정된 시간 이상 교정이 수행되지 않는 경우 상기 교정이 필요하다고 판단할 수 있다. 이러한 경우 제어부(110)는 복수의 서로 다른 방향 각각에 대해 교정이 필요한지 여부를 판단할 수 있다. 여기서 상술한 바와 같이 가장 최근에 교정이 이루어진 후에 경과된 시간에 따라 교정이 필요한지 여부를 판단하는 경우, 제어부(110)는 상기 복수의 서로 다른 방향 각각에 대해 이전의 교정이 이루어진 시점 이후부터 경과된 시간을 측정할 수 있다. 그리고 측정된 경과 시간에 근거하여 특정 방향에 대한 교정이 필요한지 여부를 판단할 수 있다.

그리고 판단 결과 특정 방향에 대한 교정이 필요하다고 판단되는 경우라면, 제어부(110)는 교정이 필요하다고 판단되는 방향에 대응되는 디스플레이부(130) 상의 일 영역을 다른 영역과 구분되게 표시할 수 있다. 여기서 상기 디스플레이부(130) 상의 일 영역은, 글린트를 형성할 수 있는 적어도 하나의 광원을 포함하는 영역일 수 있다.

한편 제어부(110)가 상기 교정이 필요한 방향에 대응되는 디스플레이부(130) 상의 일 영역을 구분되게 표시하는 것은, 사용자의 주의를 환기시키기 위한 것일 수 있다. 즉, 제어부(110)는 상기 일 영역을, 디스플레이부(130) 상의 다른 영역보다 더 밝게 표시함으로써 해당 영역에 사용자가 주의를 기울이도록 유도할 수 있다. 이러한 경우 상기 일 영역의 광도와 상기 디스플레이부(130) 상의 다른 영역의 광도의 차이는 기 설정된 수준 이하일 수 있다. 또는 광도 뿐만 아니라 상기 일 영역의 색상을 다르게 표시할 수도 있음은 물론이다.

이 뿐만 아니라 제어부(110)는 다양한 방법을 이용하여 상기 교정이 필요한 특정 방향에 대응되는 디스플레이부(130) 상의 일 영역에 사용자가 주의를 기울이도록 유도할 수 있다. 예를 들어 제어부(110)는 상기 교정이 필요하다고 판단되는 일 영역에서 표시되는 특정 그래픽 객체를, 다른 영역에서 표시되는 것과 다르게 표시할 수 있다. 즉 제어부(110)는 상기 일 영역에서 표시되는 텍스트를, 다른 영역에서 표시되는 텍스트 보다 굵은 글씨체로 표시할 수 있다. 또는 제어부(110)는 기 설정된 중요 이벤트의 발생을 알리기 위한 알림 정보를, 상기 교정이 필요하다고 판단되는 디스플레이부(130) 상의 일 영역에 표시되도록 할 수도 있다. 이에 따라 사용자가 상기 구분되게 표시된 그래픽 객체 또는 상기 알림 정보가 표시되는 디스플레이부(130) 상의 일 영역을 응시하는 경우, 상기 일 영역에 구비된 광원으로부터 형성되는 글린트에 근거하여, 교정(calibration)을 수행할 수도 있다.

한편 상술한 설명에서는, 단지 이전에 교정이 이루어진 시점 이후의 경과 시간에 근거하여 교정이 필요한지 여부를 판단하였으나, 이와는 다른 방법으로 상기 교정이 필요한지 여부를 판단할 수도 있음은 물론이다. 예를 들어 제어부(110)는 현재 사용자가 응시하고 있는 방향에 대응되는 디스플레이부(130) 상의 좌표와, 사용자로부터 인가되는 터치 입력 지점의 좌표에 근거하여 현재 사용자가 응시하고 있는 방향에 대한 교정이 필요한지 여부를 판단할 수도 있다.

도 6은 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 교정이 필요한지 여부를 판단하는 일 실시 예의 동작 과정을 도시한 흐름도이다. 이하의 설명에서 상기 디스플레이부(130)는 복수의 서로 다른 영역으로 구분될 수 있으며, 상기 복수의 서로 다른 영역은 각각 대응되는 광원을 포함하고 있는 것을 예로 들어 설명하기로 한다.

먼저 제어부(110)는 디스플레이부(130) 상의 일 지점에 인가되는 사용자의 터치 입력을 감지할 수 있다. 그리고 상기 터치 입력이 인가된 지점이, 상기 터치 입력이 인가된 지점을 포함하는 디스플레이부(130) 상의 일 영역에 형성된 광원으로부터 기 설정된 거리 이내인지 여부를 확인할 수 있다. 그리고 상기 광원으로부터 기 설정된 거리 이내에 상기 터치 입력이 인가된 디스플레이부(130) 상의 영역과, 현재 사용자가 응시하고 있는 방향에 대응되는 좌표에 근거하여 교정이 필요한 상태인지 여부를 판단할 수 있다.

상술한 바와 같이, 터치 입력이 감지된 지점이 특정 디스플레이부(130) 상의 특정 영역에 구비된 광원으로부터 기 설정된 거리 내에 위치하는 경우, 제어부(110)는 사용자의 눈 영상을 센싱할 수 있다(S600). 그리고 센싱된 눈 영상으로부터 사용자가 현재 응시하는 방향에 대응되는 디스플레이부(130) 상의 일 영역을 검출할 수 있다(S602).

예를 들어 상기 S602 단계는, 상기 도 2a에서 설명한 과정과 유사한 과정일 수 있다. 즉, 제어부(110)는 상기 센싱된 눈 영상으로부터 동공 중심 좌표를 산출할 수 있으며, 상기 눈 영상에 포함된 각 글린트로부터 글린트 중심 좌표를 산출할 수 있다. 그리고 상기 산출된 글린트 중심 좌표들 중 적어도 하나가 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 경우 사용자가 상기 디스플레이부(130) 상의 복수의 영역 중 어느 하나를 응시하고 있는 것으로 판단할 수 있다. 여기서 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 위치한 글린트 중심 좌표가 복수인 경우, 제어부(110)는 상기 기 설정된 거리 이내에 위치한 글린트 중심 좌표들 중, 동공 중심 좌표로부터 가장 가까운 글린트 중심 좌표에 대응되는 디스플레이부(130) 상의 일 영역을 사용자가 응시하고 있는 것으로 판단할 수 있다.

한편 사용자가, 디스플레이부(130) 상의 어느 하나의 영역을 응시하고 있는 것으로 판단되면, 제어부(110)는 사용자가 응시하는 방향에 대응되는 디스플레이부(130) 상의 일 영역을 검출할 수 있다. 예를 들어 제어부(110)는 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 어느 하나의 글린트 중심 좌표(예를 들어 상기 동공 중심 좌표로부터 가장 가까운 글린트 중심 좌표)에 대응되는 광원을 포함하는 디스플레이부(130) 상의 일 영역을 사용자가 응시하고 있는 것으로 검출할 수 있다.

한편 상기 S602 단계에서, 사용자가 응시하고 있는 디스플레이부(130) 상의 일 영역이 검출되면, 제어부(110)는 상기 검출된 영역에 근거하여 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 사용자가 응시하고 있는지 여부를 판단할 수 있다(S604). 예를 들어 제어부(110)는 상기 S604 단계에서 상기 검출된 일 영역이 상기 터치 입력이 인가된 지점을 포함하는 디스플레이부(130) 상의 특정 영역과 동일한 경우, 사용자가 상기 특정 영역을 응시하고 있는 것으로 판단할 수 있으며, 상기 검출된 일 영역이 상기 특정 영역과 동일하지 않은 경우 사용자가 상기 특정 영역을 응시하고 있지 않은 것으로 판단할 수 있다.

상기 S604 단계의 판단 결과 제어부(110)는 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 동일한 영역인 경우, 상기 특정 영역에 대응되는 사용자의 시선 방향에 대해서는 교정을 수행할 필요가 없다고 판단할 수 있다. 이는 일반적으로 사용자가 디스플레이부(130) 상의 일 지점에 터치 입력을 인가할 때에는, 터치 입력의 정확도를 높이기 위해 상기 터치 입력을 인가할 특정 지점을 응시하는 상태에서 상기 터치 입력을 인가하기 때문이다. 따라서 사용자가 응시하는 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 인가된 지점에 대응되는 디스플레이부(130) 상의 특정 영역이 동일한 경우 제어부(110)는 상기 디스플레이부(130) 상의 일 영역에 대응되는 방향에 대한 교정을 수행할 필요가 없다고 판단할 수 있다.

반면 상기 S604 단계의 확인 결과, 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 서로 다른 영역이라면, 제어부(110)는 상기 디스플레이부(130) 상의 특정 영역에 대응되는 방향에 대해 오차가 있는 것으로 판단할 수 있다. 이러한 경우 제어부(110)는 교정이 필요한 것으로 판단할 수 있다. 그리고 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 다른 영역과 구분되게 표시할 수 있다.

그러나 비록 상기 S604 단계의 확인 결과에 따라 오차가 있는 것으로 판단되는 경우라도, 제어부(110)는 교정이 필요한지 여부의 판단을 유예할 수도 있음은 물론이다. 이는 사용자가 차량 내부의 환경에 익숙한 나머지 다른 곳을 응시하면서 터치 입력을 인가하거나, 또는 사용자가 터치 입력을 잘못 입력하는 경우가 있기 때문이다. 따라서 제어부(110)는 상기 S604 단계의 판단 결과, 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 서로 다른 영역인 경우, 현재까지 누적된 오차 발생 횟수가 기 설정된 횟수 이상인지 여부를 확인할 수 있다(S606).

한편 상기 S606 단계의 확인 결과, 현재까지 누적된 오차 횟수가 기 설정된 횟수에 도달하지 않은 경우라면, 제어부(110)는 오차 누적 횟수를 증가시킬 수 있다(S610). 그리고 교정 여부를 판단하는 과정을 종료할 수 있다.

그러나 상기 S606 단계의 확인 결과, 현재까지 누적된 오차 횟수가 기 설정된 횟수에 도달한 경우라면, 제어부(110)는 상기 디스플레이부(130) 상의 특정 영역에 대응되는 방향에 대한 교정이 필요한 것으로 판단할 수 있다. 따라서 제어부(110)는 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 다른 영역과 구분되게 표시할 수 있다(S608). 그리고 제어부(110)는 상기 구분되게 표시된 디스플레이부(130) 상의 특정 영역에 대해, 사용자의 시선 방향의 좌표에 대한 교정이 수행되면, 상기 오차 누적 횟수를 초기화할 수 있다.

한편 상기 도 6에서 도시된 교정 필요 여부 판단은, 디스플레이부(130) 상의 다른 영역에 대응되는 방향에 대한 교정과 동시에 이루어질 수 있다. 즉 제어부(110)는 상기 S604 단계의 확인 결과, 상기 S602 단계에서 검출된 디스플레이부(130) 상의 일 영역과, 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역이 서로 다른 영역인 경우, 사용자가 현재 응시하고 있는 것으로 검출된 상기 디스플레이부(130) 상의 일 영역에 구비된 광원의 좌표에 따른 교정이 이루어지도록 할 수 있다. 예를 들어 이러한 교정은 상기 도 2a 또는 도 5a에서 설명한 과정들과 유사한 동작 과정을 통해 이루어질 수 있다.

그리고 이러한 교정 과정과는 별개로 상기 도 6의 S604 단계 내지 S610 단계에 이르는 과정이 진행될 수 있다. 이에 따라 사용자는 상기 S608 단계에서 구분되게 표시된 디스플레이부(130) 상의 특정 영역(터치 입력이 감지된 지점을 포함하는 영역)을 응시할 수 있으며, 따라서 제어부(110)는 상기 특정 영역에 구비된 광원의 좌표를 기준으로 교정을 수행할 수 있다.

한편, 상기 S602 단계의 검출 결과, 사용자가 응시하고 있는 디스플레이부(130) 상의 영역이 검출되지 않을 수도 있음은 물론이다. 예를 들어 상기 검출 결과, 글린트들 각각으로부터 추출된 글린트 중심 좌표들 중, 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 글린트 중심 좌표가 하나도 없을 수 있다. 이러한 경우 제어부(110)는 사용자가 디스플레이부(130) 상의 복수의 영역 중 어느 하나의 영역도 응시하고 있지 않은 것으로 판단할 수 있다.

이처럼 사용자가 응시하고 있는 디스플레이부(130) 상의 영역이 없는 경우, 제어부(110)는 상기 S604 단계에서 상기 터치 입력이 감지된 디스플레이부(130) 상의 특정 영역을 사용자가 응시하지 않고 있는 것으로 판단할 수 있다. 이에 따라 제어부(110)는 상기 S606 단계의 판단 결과에 따라 S610 단계로 진행하여 오차 누적 횟수를 증가시키거나 또는 S608 단계로 진행하여 상기 터치 입력이 감지된 지점을 포함하는 디스플레이부(130) 상의 특정 영역을 다른 영역과 구분되게 표시할 수 있다.

한편 상술한 설명에서는, 교정이 필요하다고 판단되는 경우에 사용자의 주의를 돌리기 위한 출력으로서, 디스플레이부(130) 상의 특정 영역을 구분되게 표시하는 것을 설명한 바 있다. 그러나 이처럼 특정 영역을 구분되게 표시함에 따라 사용자의 주의를 돌리는 경우, 이는 사용자의 시선을 분산시킬 수도 있음은 물론이다. 이러한 경우 사용자가 운전 중이라면 위험한 상황이 발생할 수 있으므로, 제어부(110)는 상기 사용자의 주의를 환기시키기 위한 출력, 즉 상기 특정 영역을 구분되게 표시하기 전에 먼저 차량의 운행 상태 및 차량의 현재 위치, 그리고 차량의 주변 상황에 대한 정보를 수집할 수 있다. 그리고 수집된 정보에 근거하여 상기 특정 영역, 즉 교정이 필요한 방향에 대응되는 디스플레이부(130) 상의 영역을 구분되게 표시할 수도 있음은 물론이다.

예를 들어 제어부(110)는 차량의 속도에 근거하여 상기 특정 영역을 구분되게 표시할지 여부를 결정할 수 있다. 즉, 제어부(110)는 차량의 현재 속도가 기 설정된 속도 이하인 경우라면, 교정이 필요한 방향에 대응되는 상기 특정 영역을 구분되게 표시할 수 있다. 반면 차량의 현재 속도가 기 설정된 속도를 초과하는 경우라면, 교정이 필요한 방향에 대응되는 상기 특정 영역을 구분되게 표시하지 않을 수 있다.

한편 속도 뿐만 아니라, 제어부(110)는 차량 주변의 환경을 감지한 결과에 따라 상기 특정 영역을 구분되게 표시할지 여부를 결정할 수 있다. 예를 들어 제어부(110)는 비가 오거나 안개 등이 있는 악천우이거나, 상기 차량의 주변으로부터 일정 거리 이내에, 다른 차량과 같은 장애물이 있는 경우 상기 특정 영역을 구분되게 표시하지 않을 수 있다. 또는 제어부(110)는 현재 차량의 위치가 사고 다발 지역이거나, 또는 도로의 폭이 기 설정된 수준 이하이거나 또는 포장된 도로가 아닌 지역을 주행하는 경우, 상기 특정 영역을 구분되게 표시하지 않을 수 있다. 또는 현재 차량이 운행되고 있는 시간대가 출퇴근 시간대와 같이 교통이 혼잡한 시간대인 경우, 상기 특정 영역을 구분되게 표시하지 않을 수 있다. 이는 상기 교정을 수행하는 것보다 사용자가 안전하게 차량을 운행하는 것이 더 중요하기 때문이다.

한편 상술한 설명에서는, 디스플레이부(130) 영역의 일 영역 또는 상기 일 영역의 주변에 적어도 하나의 광원이 구비되는 예를 들어 설명하였으나, 상기 디스플레이부(130)는 차량 내부의 다양한 영역에 형성될 수도 있다. 예를 들어 상기 디스플레이부(130)는 HUD(Head Up Display)의 형태로, 차량의 윈드 쉴드 글래스(Wind Shield Glass) 상의 적어도 일 영역에 형성되는 것일 수 있다. 그리고 이처럼 윈드 쉴드 글래스에 디스플레이부(130)가 형성되는 경우라고 할지라도, 본 발명이 적용될 수 있음은 물론이다.

예를 들어 본 발명의 실시 예에 따른 차량 제어 장치(100)를 포함하는 차량의 윈드 쉴드 글래스는, 적어도 일부의 영역이 투과형 디스플레이부의 형태로 형성될 수 있다. 또는 본 발명의 실시 예에 따른 차량 제어 장치(100)를 포함하는 차량은 상기 윈드 쉴드 글래스의 내부면 중 적어도 일 영역에 화상 정보가 반사되어 표시될 수 있도록, 상기 윈드 쉴드 글래스에 화상 정보를 출력하는 출력부(도시되지 않음)를 구비할 수 있다. 이에 따라 상기 윈드 쉴드 글래스의 적어도 일부 영역은 화상 정보를 표시하는 디스플레이부(130)로서의 역할을 수행할 수 있다.

한편 이처럼 윈드 쉴드 글래스의 적어도 일부의 영역이 디스플레이부(130)의 기능을 수행하도록 형성되는 경우, 상기 광원부(170)는 상기 디스플레이부(130)의 기능을 수행하는 윈드 쉴드 글래스의 영역 중 적어도 일 지점에 기 설정된 광을 출력하는 적어도 하나의 광원을 포함할 수 있다. 이러한 경우 상기 광원에서 발광된 빛은 상기 윈드 실드 글래스의 일 지점에 반사될 수 있으며, 상기 윈드 쉴드 글래스의 일 지점에 반사된 반사광은 사용자의 눈에 입사되어 글린트를 형성할 수 있다. 이러한 경우 광원의 빛을 반사시키는 상기 윈드 쉴드 글래스의 일 지점의 좌표가 교정(calibration)을 수행하기 위한 기준 좌표가 될 수 있으며, 미리 산출 또는 정의되어 메모리(120)에 저장될 수 있다.

한편 상기 디스플레이부(130)의 기능을 수행하는 윈드 쉴드 글래스의 영역에 광을 출력하는 광원이 복수인 경우, 상기 복수의 광원으로부터 발광된 빛이 반사되는 윈드 쉴드 글래스의 복수의 지점에 근거하여 상기 기준 좌표가 산출될 수도 있음은 물론이다. 이에 따라 상기 윈드 쉴드 글래스의 적어도 일 영역을 통해 표시되는 화상 정보(예를 들어 주행 정보 등)를 사용자가 응시하는 경우, 상기 기준 좌표에 근거하여 사용자의 시선 방향에 따른 좌표를 교정할 수 있다.

한편 상술한 설명에서는 사용자가 디스플레이부(130) 상에 표시되는 화상 정보를 응시하는 것을 검출하여 교정이 수행되도록 하는 것을 설명하였으나, 본 발명이 이에 한정되지 않음은 물론이다. 즉 상기 윈드 쉴드 글래스를 통해 식별가능한 형상에 근거하여 상기 교정이 수행되도록 할 수도 있음은 물론이다.

예를 들어 상술한 바와 같이 적어도 하나의 광원이 윈드 쉴드 글래스에 출력되는 경우, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 윈드 쉴드 글래스 상의 적어도 하나의 반사점은 윈드 쉴드 글래스의 각 영역의 좌표를 산출할 수 있는 기준점의 역할을 수행할 수 있다. 이러한 경우 제어부(110)는 상기 적어도 하나의 반사점을 포함하는 윈드 쉴드 글래스의 영상을 센신하여, 상기 적어도 하나의 반사점을 기준으로 상기 센싱된 윈드 쉴드 글래스 영역을 기 설정된 간격으로 좌표화할 수 있다. 그러면 제어부(110)는 상기 윈드 쉴드 글래스를 통해 식별되는 다양한 형상들의 위치를 좌표로 산출할 수 있으며, 산출된 좌표를 이용하여 교정(calibration)이 이루어지도록 할 수도 있음은 물론이다.

도 7은 이러한 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 윈드 쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 동작 과정을 도시한 흐름도이다. 이하 도 7의 설명에서는, 본 발명의 실시 예에 따른 차량 제어 장치(100)가, 사용자의 눈 영상을 센싱할 수 있는 카메라(제1 카메라) 뿐만 아니라, 상기 윈드 쉴드 글래스를 통해 식별가능한 장애물의 영상을 센싱할 수 있는 카메라(제2 카메라)를 포함하는 것을 예로 들어 설명하기로 한다.

우선 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 제2 카메라를 제어하여 윈드 쉴드 글래스의 적어도 일 영역의 영상을 센싱할 수 있다. 여기서 센싱된 영상에는 적어도 하나의 반사점이 포함될 수 있다. 그리고 제어부(110)는 상기 적어도 하나의 반사점을 기준으로 상기 윈드 쉴드 글래스 상의 적어도 일 영역을 좌표화할 수 있다.

한편 상기 제2 카메라를 통해 센싱된 영상에는, 상기 윈드 쉴드 글래스를 통해 비치는 장애물, 예를 들어 전방에 위치한 차량의 형상이 포함될 수 있다. 그리고 제어부(110)는 상기 장애물의 형상이 검출된 영역으로부터 상기 장애물의 중심 좌표를 산출할 수 있다(S700).

한편 여기서 상기 장애물은 기 설정된 조건을 만족하는 것일 수 있다. 예를 들어 상기 장애물은, 상기 윈드 쉴드 글래스를 통해 표시되는 위치가 일정 시간 이상 동안 그 위치가 일정 수준 이상 변경되지 않은 것일 수 있다. 그리고 여기서 상기 위치 변경 여부를 판단하는 기준은 상기 산출된 장애물의 중심 좌표의 위치가 변경되었는지 여부일 수 있다. 즉, 일정 시간 이상 그 중심 좌표가 기 설정된 수준 이상 변경되지 않은 장애물의 형상의 경우 상기 기 설정된 조건을 만족할 수 있으며, 이처럼 기 설정된 조건을 만족하는 장애물이 검출되는 경우에 한해 상기 S700 단계 이하의 과정이 진행될 수도 있다.

한편 상기 S700 단계에서 장애물의 중심 좌표가 산출되면, 제어부(110)는 제1 카메라를 제어하여 사용자의 눈 영상을 센싱할 수 있다(S702). 그리고 제어부(110)는 상기 S702 단계에서 센싱된 영상으로부터 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상이 포함되어 있는지 여부를 검출할 수 있다. 즉, 상기 장애물의 형상으로부터 형성되는 글린트 영역이 있는지 여부를 검출할 수 있다. 그리고 상기 센싱된 사용자의 눈 영상에 장애물의 형상(글린트)이 포함되어 있는 경우, 상기 눈 영상에 포함된 사용자의 동공 영역으로부터 동공 중심 좌표를 산출하고, 상기 장애물의 영상, 즉 글린트로부터 중심 좌표를 산출할 수 있다(S704).

그리고 제어부(110)는 상기 검출된 좌표들 사이의 이격 거리를 산출하여, 상기 사용자의 눈에 비친 장애물의 영상, 즉 글린트의 중심 좌표가, 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는지 여부를 검출할 수 있다(S706). 그리고 상기 S706 단계의 검출 결과 상기 글린트의 중심 좌표가 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 위치하지 않는 경우라면, 제어부(110)는 상기 글린트에 대응되는 윈드 쉴드 글래스 상의 장애물 형상이, 기 설정된 조건을 만족하는지 여부를 다시 검출할 수 있다(S710). 그리고 상기 S710 단계의 검출 결과 상기 장애물의 형상이 기 설정된 조건을 만족하지 않는 경우라면 도 7의 동작 과정을 종료할 수 있다.

반면 상기 S710 단계의 검출 결과 상기 장애물의 형상이 기 설정된 조건을 만족하는 경우라면, 제어부(110)는 S702 단계 및 S704 단계로 진행하여 동공 중심 좌표 및 상기 글린트의 중심 좌표를 다시 산출할 수 있다. 그리고 상기 S706 단계의 검출 결과에 따라 다시 S710 단계로 진행할 수 있다.

한편 상기 S706 단계의 검출 결과, 상기 글린트의 중심 좌표가, 상기 동공 중심 좌표로부터 기 설정된 거리 이내에 있는 경우라면, 제어부(110)는 사용자가 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상을 응시하고 있는 것으로 판단할 수 있다. 그러면 제어부(110)는 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상에 근거하여 교정(calibration)을 수행할 수 있다(S708).

여기서 제어부(110)는 상기 교정을 위한 기준 좌표로서 상기 윈드 쉴드 글래스를 통해 비치는 장애물 형상의 중심 좌표를 이용할 수 있다. 즉, 제어부(110)는 상기 S700 단계에서 센싱된 영상으로부터 산출된 장애물 형상의 중심 좌표를, 현재 사용자가 응시하고 있는 방향에 대응되는 좌표로 교정을 수행할 수 있다. 이에 따라 본 발명의 실시 예에 따른 차량 제어 장치(100)는 사용자가 디스플레이부(130) 상에 표시되는 화상 정보를 응시할 때 뿐만 아니라, 사용자가 윈드 쉴드 글래스를 통해 표시되는 장애물을 응시하는 경우에도, 기 설정되거나 또는 산출되는 기준 좌표에 근거하여 사용자의 시선이 향하는 방향에 따른 좌표의 교정이 이루어질 수 있도록 한다.

한편 상술한 설명에서는, 주행 정보와 같이 사용자가 자주 응시하는 화상 정보가 표시되는 디스플레이부(130) 상의 일 영역 또는 상기 일 영역의 주변에, 기 설정된 좌표를 가지는 적어도 하나의 광원을 포함하는 것을 예로 들어 설명하였다. 이는 상기 교정이 보다 자주 이루어질 수 있도록 함으로써, 사용자의 시선 방향에 대응되는 지점의 좌표를 보다 정확하게 검출할 수 있도록 하기 위함이다.

그러나 이러한 교정이 기 설정된 수준 이상 과도하게 자주 수행될 필요가 없음은 물론이다. 예를 들어 사용자가 지속적으로 디스플레이부(130) 상의 일 지점을 응시하는 경우, 이에 따라 지속적으로 교정 과정을 계속 반복하여 수행할 필요가 없음은 물론이다. 따라서 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 상기 교정이 수행될 수 있는 조건을 미리 설정하고, 설정된 조건이 충족되는 경우에 한하여 상기 교정이 수행되도록 제어할 수도 있음은 물론이다.

예를 들어 상기 교정 수행 조건은 경과 시간일 수 있다. 즉, 제어부(110)는 카메라를 통해 센싱된 영상을 통해 동공 중심 좌표와 적어도 하나의 글린트로부터 산출되는 좌표가 기 설정된 조건을 만족하는 경우, 현재 사용자의 시선이 향하는 방향에 대응되는 교정이 수행된 이후 현재까지 경과된 시간을 측정할 수 있다. 그리고 측정된 시간이 기 설정된 시간 미만인 경우라면 제어부(110)는 현재 사용자의 시선이 항하는 방향에 대한 교정을 생략할 수도 있음은 물론이다.

또는 상기 교정 수행 조건은, 기 설정된 이벤트의 발생일 수 있다. 예를 들어 제어부(110)는 동공 중심 좌표와 적어도 하나의 글린트로부터 산출되는 좌표가 기 설정된 조건을 만족할 때에 자동으로 교정이 수행되도록 하는 자동 교정 기능을, 메시지의 수신 또는 알림 정보의 발생과 같은 이벤트가 발생되는 경우에 한해 활성화되도록 할 수도 있다.

이러한 경우 제어부(110)는 현재 발생된 이벤트를 알리기 위한 그래픽 객체를 디스플레이부(130) 상의 일 영역에 표시할 수 있으며, 그와 동시에 활성화된 카메라를 통해 상기 그래픽 객체가 표시되는 영역을 응시하는 사용자의 눈 영상을 센싱할 수 있다. 그리고 센싱된 영상을 분석한 결과에 따라 교정이 이루어지도록 할 수도 있다. 반면 상기 교정이 이루어진 후에는 상기 자동 교정 기능을 비활성 상태로 전환하고, 상기 자동 교정 기능이 비활성된 상태를 유지할 수도 있다. 이에 따라 카메라 또는 광원 등을 계속 활성화 상태로 유지하는데 소요되는 불필요한 전력을 절약할 수도 있다.

또는 제어부(110)는 차량에 구비된 다른 구성 요소, 예를 들어 ADAS(Advanced Driver Assistance Systems)와 같은 구성 요소로부터 감지되는 감지 결과에 따라 상기 자동 교정 기능이 비활성화 되도록 할 수도 있다. 예를 들어 제어부(110)는 상기 ADAS로부터 전방에 위치한 장애물을 감지할 수 있다. 그리고 감지된 장애물과 본 발명의 실시 예에 따른 차량 제어 장치(100)를 구비한 차량 사이의 거리에 따라 상기 자동 교정 기능의 활성화 여부가 결정되도록 할 수도 있다.

또는 제어부(110)는 상술한 바와 같이 윈드 쉴드 글래스를 통해 비치는 장애물의 형상에 근거하여 교정이 이루어지도록 하는 기능을 상기 ADAS의 감지 결과에 따라 활성화되도록 할 수도 있다. 예를 들어 제어부(110)는 상기 ADAS의 감지 결과, 전방으로부터 기 설정된 거리 이내에 장애물이 감지되지 않는 경우, 상기 윈드 쉴드 글래스를 통해 비치는 장애물의 형상에 근거하여 교정을 수행하는 기능을 비활성화 상태로 유지할 수 있다. 이에 따라 제어부(110)는 제2 카메라를 통해 장애물의 형상이 있는지 여부를 검출할 필요 없이, 상기 ADAS의 감지 결과에 따라 상기 제2 카메라의 활성화 여부를 결정할 수도 있다.

한편 이상의 설명에서는 본 발명이 실시 예에 따른 차량 제어 장치(100)에서 사용자가 응시하는 방향에 대응되는 좌표를 기 설정된 기준 좌표에 근거하여 교정하는 다양한 실시 예에 따른 동작 과정들을 복수의 흐름도 및 개념도를 이용하여 자세히 살펴보았다.

이처럼 디스플레이부(130) 상의 일 영역 또는 상기 일 영역의 주변에 구비된 적어도 하나의 광원 및 적어도 하나의 카메라가 형성되는 예들을 복수의 예시도를 참조하여 보다 자세히 살펴보기로 한다.

우선 도 8은 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 사용자가 주행 정보가 표시되는 영역을 주시하는 경우의 예를 도시한 예시도이다.

도 8을 참조하여 살펴보면, 도 8의 첫 번째 도면은 복수 개로 구분가능한 디스플레이부(130) 상의 영역들 중, 주행 정보가 표시되는 영역(850)의 예를 보이고 있는 것이다. 상기 도 8의 첫 번째 도면에서 보이고 있는 바와 같이 상기 디스플레이부(130) 상의 일 영역(850)에는 복수의 광원(810, 820)을 포함할 수 있으며, 카메라(800)가 구비될 수 있다.

한편 도 8의 두 번째 도면은, 사용자가 상기 주행 정보가 표시되는 디스플레이부(130) 상의 영역(850)을 응시하는 경우에, 상기 카메라(800)로부터 센싱된 사용자의 눈 영상의 예를 보이고 있는 것이다.

도 8의 두 번째 도면을 참조하여 살펴보면, 상기 복수의 광원(810, 820)으로부터 발광된 빛이 사용자의 안구 또는 각막 표면에 반사되어 글린트들(812, 822)을 형성하고 있음을 알 수 있다. 이러한 경우 제어부(110)는 도 8의 두 번째 도면에서 보이고 있는 영상으로부터 사용자의 동공 영역(870)을 검출할 수 있으며, 검출된 영역으로부터 동공 중심 좌표(880)를 산출할 수 있다. 한편 제어부(110)는 상기 글린트들(812, 822)이 형성된 영역들을 검출할 수 있으며, 각 글린트들(812, 822)의 영역으로부터 각각 중심 좌표를 산출할 수 있다.

한편 제어부(110)는 각 글린트들(812, 822)의 영역으로부터 각각 중심 좌표가 산출되면, 산출된 중심 좌표들을 서로 잇는 직선을 생성할 수 있다. 그리고 상기 생성된 직선의 중앙에 대응되는 좌표(830)와 상기 산출된 동공 중심 좌표(880) 사이의 이격 거리(890)를 산출할 수 있다. 그리고 상기 이격 거리(890)가 기 설정된 거리 이하인 경우라면, 사용자가 상기 도 8의 첫 번째 도면에서 보이고 있는 디스플레이부(130) 상의 영역(주행 정보가 표시되는 영역 : 850)을 응시하고 있는 것으로 판단할 수 있다.

한편 판단 결과 사용자가 상기 주행 정보 표시 영역(850)을 응시하는 것으로 판단되는 경우라면, 제어부(110)는 상기 복수의 광원(810, 820)으로부터 산출되는 일 지점의 좌표를 기준 좌표로 산출할 수 있다. 예를 들어 제어부(110)는 상기 복수의 광원(810, 820) 각각의 좌표 정보를 메모리(120)로부터 독출할 수 있으며, 독출된 좌표를 서로 잇는 가상의 직선을 생성 및, 생성된 직선의 중심에 대응되는 상기 주행 정보 표시 영역(850) 상의 일 지점의 좌표를 기준 좌표로 산출할 수 있다. 그리고 산출된 기준 좌표를 기준으로 교정(calibration)을 수행할 수 있다.

여기서 상기 교정은, 상기 도 8의 두 번째 도면에서 보이고 있는 동공 중심의 위치에 따라 산출되는 좌표를 상기 기준 좌표로 보정하는 과정일 수 있다. 예를 들어 제어부(110)는, 기 저장된 인간의 안구 모델링 데이터에 근거하여 사용자 안구의 중심(예를 들어 선회점)을 산출할 수 있으며, 산출된 안구 중심으로부터 상기 동공의 중심을 지나는 벡터를 형성할 수 있다. 그리고 상기 벡터가 진행하는 방향에 대응되는 차량 내부의 일 지점의 좌표를 현재 사용자가 응시하는 방향에 대응되는 지점의 좌표로 산출할 수 있다. 그리고 제어부(110)는 상기 산출된 좌표와 상기 기준 좌표의 차이에 따라 좌표 보정값을 생성하고, 생성된 좌표 보정값에 따라 상기 사용자의 안구 중심으로부터 상기 동공의 중심을 지나는 벡터로부터 산출되는 좌표값을 보정함으로써, 상기 교정이 이루어지도록 할 수 있다.

한편 도 9 내지 도 10은 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 적어도 하나의 광원과 적어도 하나의 카메라가 디스플레이부 영역 주변에 형성된 예들을 보이고 있는 예시도이다.

먼저 도 9를 참조하여 살펴보면, 도 9는 본 발명의 실시 예에 따라 디스플레이부(130) 상의 일 영역에 형성되는 적어도 하나의 카메라 및 적어도 하나의 광원이 서로 다른 형태로 구비되는 예들을 보이고 있는 것이다. 예를 들어 상기 적어도 하나의 광원 및 적어도 하나의 카메라는 디스플레이부(130)에서 화상 정보가 표시되는 액티브(active) 영역에 형성된 홈 또는 홀(hole)을 통해 빛을 발광시키거나(적어도 하나의 광원), 이미지 정보를 센싱하도록(적어도 하나의 카메라) 형성될 수 있다. 도 9의 (a)는 이러한 예를 보이고 있는 것이다.

도 9의 (a)를 참조하여 살펴보면, 본 발명의 실시 예에 따른 차량 제어 장치(100)의 디스플레이부(130)의 일 영역은, 도 9의 (a)에서 보이고 있는 바와 같이, 화상 정보가 표시되는 액티브 영역(930)의 상단에 상기 적어도 하나의 광원 및 적어도 하나의 카메라가 구비될 수 있는 홈이 형성될 수 있다. 이에 따라 광원들(910, 920)은 상기 액티브 영역(930)에 형성된 홈들을 통해 기 설정된 빛을 발광시킬 수 있다. 또한 카메라(900)는 상기 액티브 영역(930)에 형성된 홈을 통해 광원들(910, 920)에 의해 형성된 글린트를 포함하는 사용자의 눈 영상을 센싱할 수 있다.

한편 상기 광원들(910, 920) 및 카메라(900), 그리고 액티브 영역(930)은 도 9의 (a)에서 보이고 있는 바와 같이 기 설정된 색상의 글래스(940)로 커버될 수 있으며, 이에 따라 상기 액티브 영역(930)의 각 홈에 형성된 상기 광원들(910, 920) 및 카메라(900)는 상기 글래스(940)로 인해 그 형상이 드러나지 않을 수도 있다.

한편 상기 도 9의 (a)는 광원들(910, 920) 및 카메라(930)가 상기 액티브 영역(930)에 형성된 홈들을 통해 구비되는 예를 설명하였으나, 이와는 달리 별도로 설정된 영역에 상기 광원들(910, 920) 및 카메라(930)가 구비될 수도 있음은 물론이다. 도 9의 (b)는 이러한 별도의 영역 예로서, 액티브(930) 영역에 인접하여 형성되는 베젤(bezel) 영역에 상기 광원들(910, 920) 및 카메라(930)가 구비되는 예를 보이고 있는 것이다.

도 9의 (b)를 참조하여 살펴보면, 도 9의 (b)는 화상 정보가 표시되는 액티브 영역(930)의 상단에 별도로 베젤 영역(950)이 형성되는 예를 보이고 있다. 그리고 상기 베젤 영역(930)의 서로 다른 각 지점에 상기 광원들(910, 920) 및 카메라(930)가 구비될 수 있다.

한편 상기 도 9의 (a) 및 (b)는 디스플레이부(130) 상의 일 영역에 어느 하나의 카메라(900)가 구비되고, 복수의 광원(910, 920)이 형성되는 예를 설명하였으나, 이와는 달리 디스플레이부(130) 상의 일 영역에는 하나의 광원만이 구비될 수 있으며, 상기 디스플레이부(130) 상의 일 영역을 응시하는 사용자의 시선을 감지하기 위한 하나의 카메라가 구비될 수도 있음은 물론이다. 도 10의 (a)는 이러한 예를 보이고 있는 것이다.

도 10의 (a)를 참조하여 살펴보면, 도 10의 (a)는 특정 디스플레이부(130) 영역에 하나의 광원(1000)과 하나의 카메라(1002)가 구비되는 예를 보이고 있는 것이다. 이러한 경우 제어부(110)는 상기 카메라(1002)로부터 센싱되는 눈 영상으로부터 상기 광원(1000)에 의해 형성되는 글린트의 중심 좌표를 산출하고, 산출된 중심 좌표와 동공의 중심 좌표 사이의 거리에 근거하여 사용자가 상기 특정 디스플레이부(130) 영역을 응시하고 있는지 여부를 판단할 수 있다.

한편, 상술한 설명에 따르면 본 발명의 실시 예에 따른 차량 제어 장치(100)의 디스플레이부(130)는 서로 구분되는 복수의 영역으로 구획될 수 있음을 언급한 바 있다. 도 10의 (b)는 이처럼 복수개의 영역으로 구획된 디스플레이부와 디스플레이부(130)의 각 영역에 구비된 광원들 및 카메라들의 예를 보이고 있는 것이다.

도 10의 (b)를 참조하여 살펴보면, 도 10의 (b)는 디스플레이부(130)가 두 개의 영역(1070, 1080)으로 구획된 예를 보이고 있다. 예를 들어 상기 영역들(1070, 1080)은 각각 상기 도 10의 (a)에서 도시한 바와 같은 디스플레이부가 서로 인접한 형태로 형성될 수도 있다.

한편 상기 디스플레이부(130)의 영역들(1070, 1080)은 각각 카메라 및 광원을 포함할 수 있다. 즉 도 10의 (b)에서 보이고 있는 바와 같이 제1 영역(1070)에는 제1 광원(1050) 및 제1 카메라(1052)가 구비될 수 있으며, 제2 영역(1080)에는 제2 광원(1060) 및 제2 카메라(1062)가 구비될 수 있다.

한편 이러한 상태에서, 상기 제1 카메라(1052)는 상기 제1 광원(1050)에서 발광되는 빛만을 검출할 수도 있다. 반면 상기 제2 카메라(1062)는 상기 제2 광원(1060)에서 발광되는 빛만을 검출할 수도 있다. 이러한 경우 상기 도 4에서 설명한 바와 같이, 사용자의 눈에는 동시에 두 개의 광원(1050, 1060)에 의한 글린트들이 형성될 수 있으나, 상기 제1 카메라(1052)로부터 센싱되는 영상에는 상기 제1 광원(1050)에 의해 형성되는 글린트만이 검출될 수 있다. 반면에 상기 제2 카메라(1062)로부터 센싱되는 영상에는 상기 제2 광원(1060)에 의해 형성되는 글린트만이 검출될 수 있다. 이러한 경우 제어부(110)는 각 카메라에서 센싱되는 영상들로부터, 사용자의 동공 중심으로부터 일정 거리 이내에 생성된 글린트가 어느 디스플레이부(130) 영역에 구비된 광원에 의해 형성된 것인지 쉽게 구분할 수 있으며, 이에 따라 사용자가 응시하는 디스플레이부(130) 영역을 식별할 수도 있다.

한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 특정 시선 방향에 대해 교정이 필요하다고 판단할 수 있으며, 교정이 필요한 방향을 사용자가 응시하도록 사용자의 주의를 전환시킬 수 있음을 언급한 바 있다.

도 11은 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 교정이 필요한 경우 교정이 필요한 방향에 대응되는 디스플레이부 상의 일 영역을 구분되도록 표시하여 사용자의 주의를 끌도록 하는 예를 도시한 것이다.

먼저 도 11의 (a)를 참조하여 살펴보면, 도 11의 (a)는 본 발명의 실시 예에 따른 차량 제어 장치(100)의 디스플레이부(130) 예를 보이고 있는 것이다. 도 11의 (a)에서 보이고 있는 바와 같이, 상기 디스플레이부(130)는 서로 구분될 수 있는 복수의 서로 다른 영역으로 구획될 수 있으며, 각 영역은 각각 적어도 하나의 광원을 포함할 수 있다.

이러한 상태에서, 각 디스플레이부(130) 상의 영역들을 사용자의 서로 다른 시선 방향에 대응될 수 있다. 예를 들어 제1 영역(1110)은 사용자의 좌측 방향 시선에 대응될 수 있다. 그리고 제2 영역(1120)은 사용자의 정면 방향 시선에 대응될 수 있다. 그리고 제3 영역(1130)은 사용자의 우측 방향 시선에 대응될 수 있다. 이러한 상태에서, 제어부(110)는 센싱된 사용자의 눈 영상으로부터 사용자가 어느 하나의 영역을 응시하고 있는지 여부를 감지할 수 있다. 그리고 감지 결과에 따라 사용자가 응시하는 영역의 기준 좌표(광원의 좌표)에 따라, 현재 사용자가 응시하고 있는 영역에 대응되는 시선 방향의 교정이 이루어지도록 할 수 있다.

한편 이러한 상태에서, 제어부(110)는 교정이 필요한 시선 방향이 있는지 여부를 검출할 수 있다. 예를 들어 제어부(110)는 상기 제1 영역(1110), 제2 영역(1120), 제3 영역(1130)의 각 기준 좌표에 근거하여 대해 교정이 이루어진 시점들로부터 현재까지 경과된 시간들을 측정할 수 있다. 그리고 측정된 시간에 근거하여 기 설정된 시간 이상 교정이 이루어지지 않은 시선 방향을 검출할 수 있다.

예를 들어 제어부(110)는, 기 설정된 시간 이상 상기 제2 영역(1120)의 기준 좌표에 근거하여 교정이 이루어지지 않은 경우라면, 사용자의 정면 방향 시선의 교정이 필요한 것으로 판단할 수 있다. 그러면 제어부(110)는 사용자가 정면 방향에 대응되는 디스플레이부(130) 상의 영역, 즉 제2 영역(1120)을 응시하도록 사용자의 주의를 유도할 수 있다. 예를 들어 이러한 주의 유도는, 상기 제2 영역(1120)에 표시되는 그래픽 객체들 또는 상기 제2 영역(1120)의 광도나 색상 변경을 통해 이루어질 수 있다.

일 예로 제어부(110)는 도 11의 (b)에서 보이고 있는 바와 같이, 기 제2 영역(1120)에 표시되는 텍스트를 보다 크고 보다 두껍게 표시할 수 있다. 또는 도 11의 (c)에서 보이고 있는 바와 같이, 상기 제2 영역(1120)의 광도를 다른 영역들(1110, 1130)보다 일정 수준 밝게 함으로써 사용자의 주의를 유도할 수 있다. 여기서 제어부(110)는 차량 주변의 환경 또는 차량의 위치나 운행 상태 등에 근거하여 상기 제2 영역(1120)을 다른 영역들(1110, 1130)과 다르게 표시할 수도 있음은 물론이다.

한편 상기 제2 영역(1120)을 구분되게 표시함에 따라 사용자가 상기 제2 영역(1120)을 응시하는 경우, 제어부(110)는 제2 영역(1120)에 구비된 카메라(1150)를 통해, 상기 제2 영역(1120)의 광원(1150)에 의해 형성된 글린트를 포함하는 사용자의 눈 영상을 센싱할 수 있다. 그리고 상기 글린트의 중심 좌표 및 동공 중심 좌표 사이의 이격 거리에 근거하여, 상기 제2 영역(1120)의 광원(1150)의 좌표를 기준으로 사용자의 정면 방향 시선에 대응되는 좌표를 교정할 수 있다.

한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 차량 제어 장치(100)는 차량의 윈드 쉴드 글래스를 통해 비치는 전방의 장애물 형상에 근거하여 사용자의 시선에 대응되는 좌표를 교정할 수 있음을 언급한 바 있다.

도 12는 이러한 경우에 본 발명의 실시 예에 따른 차량 제어 장치(100)에서, 윈드 쉴드 글래스에 비치는 장애물의 형상에 근거하여 교정을 수행하는 예를 도시한 예시도이다.

우선 도 12의 첫 번째 도면을 참조하여 살펴보면, 도 12의 첫 번째 도면은 차량의 전방에 위치한 장애물이 있는 상태에서 운전석 측의 윈드 쉴드 글래스(1200) 일부를 도시한 것이다.

먼저 본 발명의 실시 예에 따른 차량 제어 장치(100)의 광원부(170)는 상기 윈드 쉴드 글래스(1200)의 서로 다른 지점에 각각 빛을 출력하는 적어도 하나의 광원을 포함할 수 있다. 이에 따라 상기 윈드 쉴드 글래스(1200)에는 복수의 반사점이 형성될 수 있다. 즉 상기 윈드 쉴드 글래스(1200)의 일 영역에 빛을 출력하는 광원이 4개인 경우, 도 12의 첫 번째 도면에서 보이고 있는 바와 같이 4개의 반사점(1202, 1204, 1206, 1208)이 형성될 수 있다.

한편 제어부(110)는 구비된 제2 카메라를 통해 상기 반사점들(1202, 1204, 1206, 1208)을 포함하는 윈드 쉴드 글래스(1200)의 영상을 센싱할 수 있다. 그리고 센싱된 영상에 포함된 반사점들(1202, 1204, 1206, 1208)을 기준점으로 상기 윈드 쉴드 글래스(1200)의 영역을 좌표화할 수 있다. 이에 따라 제어부(110)는 상기 윈드 쉴드 글래스(1200)의 영역의 각 지점의 좌표를 획득할 수 있다.

한편 상기 도 12의 첫 번째 도면을 참조하여 살펴보면, 윈드 쉴드 글래스(1200)를 통해 본 발명의 실시 예에 따른 차량 제어 장치(100)를 구비하는 차량의 전방에 위치한, 다른 차량, 즉 장애물의 형상(1210)이 비치는 것을 알 수 있다. 따라서 제어부(110)가 상기 윈드 쉴드 글래스(1200)의 영상을 센싱하는 경우, 센싱된 영상에는 상기 윈드 쉴드 글래스(1200)에 비치는 장애물의 형상(1210)이 포함될 수 있다.

따라서 제어부(110)는 상기 센싱된 영상으로부터, 상기 장애물의 형상(1210)이 검출된 영역의 중심 좌표를 산출할 수 있다. 여기서 상기 중심 좌표는 상기 반사점들(1202, 1204, 1206, 1208)을 기준점으로 상기 윈드 쉴드 글래스(1200)의 영역을 좌표화한 결과 산출될 수 있다. 예를 들어 상기 윈드 쉴드 글래스(1200)의 일부 영역은, 도 12의 첫 번째 도면에서 보이고 있는 바와 같이 상기 반사점들(1202, 1204, 1206, 1208)을 기준점으로 좌표화(1300)될 수 있으며, 이에 따라 윈드 쉴드 글래스(1200) 상에 비치는 장애물 형상(1210)의 중심 좌표(1212)가 산출될 수 있다.

한편, 도 12의 두 번째 도면은, 상기 윈드 쉴드 글래스(1200)의 영상이 센싱된 후에, 제어부(110)가 제1 카메라를 이용하여 사용자의 눈 영상(1250)을 센싱한 예를 보이고 있는 것이다. 상기 도 12의 첫 번째 도면에서 보이고 있는 바와 같이, 윈드 쉴드 글래스(1200)를 통해 장애물의 형상(1210)이 비치는 경우, 상기 센싱된 사용자의 눈 영상(1250)은, 도 12의 두 번째 도면에서 보이고 있는 바와 같이, 상기 장애물의 형상(1210)에 의해 형성된 글린트(1220)를 포함할 수 있다.

그러면 제어부(O)는 상기 눈 영상(1250)으로부터, 상기 글린트(1220)의 중심 좌표(1222)를 산출할 수 있다. 그리고 산출된 글린트(1220)의 중심 좌표(1222)가, 사용자의 동공 영역으로부터 산출된 동공 중심 좌표(1270)로부터 기 설정된 거리(1270) 이내에 위치하는지 여부를 검출할 수 있다. 그리고 도 12의 두 번째 도면에서 보이고 있는 바와 같이, 상기 글린트(1220)의 중심 좌표(1222)가, 상기 동공 중심 좌표(1270)로부터 기 설정된 거리(1270) 이내에 위치하는 경우 제어부(110)는 사용자가 상기 글린트(1220)에 대응되는 형상, 윈드 쉴드 글래스(1200)를 통해 비치는 전방의 장애물의 형상(1210)을 주시하고 있는 것으로 판단할 수 있다.

이러한 경우 제어부(110)는 사용자의 시선 방향에 따른 교정을 수행할 수 있다. 여기서 제어부(110)는 상기 윈드 쉴드 글래스(1200) 상에 비치는 장애물 형상(1210)의 중심 좌표(1212)를 기준 좌표로 이용할 수 있다. 즉, 제어부(110)는 상기 산출된 중심 좌표(1212)를 현재 사용자의 시선이 향하는 방향에 대응되는 좌표로 보정하고, 상기 중심 좌표(1212)와 사용자의 안구 중심과 동공 중심으로부터 산출되는 좌표의 차이값을 반영하여 교정이 이루어지도록 할 수도 있다.

한편 상술한 설명에 따르면, 상기 메모리부(120)는 적어도 하나의 사용자에 대한 시선 정보를 포함할 수 있다. 여기서 상기 시선 정보는, 상술한 본 발명의 실시 예에 따라 사용자의 시선에 대응되는 방향과 기준 좌표에 따라 가장 최근에 수행된 교정에 관련된 정보일 수 있다. 즉, 제어부(110)는 현재 차량을 운전하는 사용자를 인식하고, 그 사용자가 차량을 운전하는 경우에 수행된 교정 결과에 따른 정보를 상기 시선 정보로서 저장할 수 있다. 그리고 상기 시선 정보는 특정 사용자에 대응되도록 저장된 것일 수 있다. 즉, 제어부(110)는 현재 차량을 운전하는 사용자를 운전자를 인식하고, 운전자가 차량을 운전하는 동안 수행된 교정 결과에 따른 정보를, 현재의 운전자, 즉 특정 사용자에 대응되는 시선 정보로서 저장할 수 있다. 그리고 교정이 수행될 때마다 상기 시선 정보를 갱신할 수 있다.

한편 여기서 운전자를 인식하는 방법은 다양하게 있을 수 있다. 예를 들어 제어부(110)는 운전석에 착석한 사용자의 안면 영상을 통해 특정 사용자를 운전자로 인식할 수 있다. 또는 제어부(110)는 핸들의 기 설정된 영역을 통해 인가되는 지문에 근거하여 특정 사용자를 운전자로 인식할 수 있다. 또는 운전석에 착석한 사용자의 음성에 근거하여 운전자를 인식할 수도 있다. 이러한 운전자 인식 과정은, 차량의 구동이 시작되는 경우에 수행될 수 있다.

한편, 제어부(110)는 상기 차량의 운전자가 특정 사용자로 인식되면, 그 사용자에 대응되는 시선 정보에 근거하여 사용자의 시선 방향에 따라 산출되는 좌표값들을 초기화할 수도 있음은 물론이다. 즉, 제어부(110)는 특정 사용자가 운전자로 인식되면, 기 설정된 조건(예를 들어, 동공 중심 좌표와 기 설정된 광원으로부터 형성되는 글린트의 중심 좌표가 일정 거리 내인 경우)이 충족되지 않더라도, 사용자가 응시하는 방향에 대응되는 좌표 산출 결과가 상기 메모리(120)에 저장된 해당 사용자의 시선 정보, 즉 이전에 수행되었던 교정 결과에 따라 보정되도록 할 수 있다. 그리고 본 발명의 실시 예에 따른 차량 제어 장치(100)의 제어부(110)는 상기 기 설정된 조건에 따라 다시 교정을 수행하고, 수행된 교정 결과를 반영하여 현재 운전자에 대응되는 시선 정보를 갱신할 수 있다.

이에 따라 차량을 운전하는 운전자가 다른 사용자로 변경되거나, 또는 사용자가 차량의 구동을 종료하였다가 다시 시작하는 경우에도, 현재 차량을 운전하는 사용자의 시선 특성에 따른 좌표가 보다 정확하게 검출될 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치에 있어서,
상기 차량과 관련된 다양한 화상 정보를 표시하는 디스플레이부;
상기 디스플레이부 상의 일 영역을 사용자가 응시할 때에, 상기 사용자의 동공 및 안구의 일 영역에 적어도 하나의 반사광이 형성되도록 빛을 발광하는 적어도 하나의 광원을 포함하는 광원부;
차량 내부의 각 영역 및 상기 적어도 하나의 광원 각각에 대한 좌표 정보를 저장하는 메모리;
상기 사용자의 동공 및 안구의 일 영역을 포함하는 영상을 센싱하는 카메라를 포함하는 카메라부; 및,
상기 센싱된 영상에 근거하여, 상기 사용자의 동공 중심으로부터 제1 좌표를 산출 및 상기 영상에 포함된 적어도 하나의 반사광으로부터 제2 좌표를 산출하고, 상기 제1 좌표와 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우 상기 적어도 하나의 반사광을 형성한 적어도 하나의 광원 각각의 기 저장된 좌표 정보로부터 상기 차량 내부의 일 지점의 좌표를 기준 좌표로 산출하며, 상기 기준 좌표를 상기 사용자가 응시하는 방향에 대응되는 좌표로 교정(calibration)을 수행하는 제어부를 포함하는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서,
상기 디스플레이부 상의 일 영역은,
상기 차량의 주행과 관련된 주행 정보를 표시하는 영역이며,
상기 적어도 하나의 광원은,
상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 또는 상기 주행 정보가 표시되는 디스플레이부 상의 일 영역 주변에 구비되는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서, 상기 기 설정된 거리는,
기 설정된 허용 오차 범위에 따라 결정되거나, 사용자의 카파각(Kappa angle) 특성을 고려하여 설정되는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서,
상기 메모리는,
상기 차량을 운전하는 운전자를 식별한 결과에 대응되게 상기 교정 결과에 대한 정보를 저장하고,
상기 제어부는,
상기 차량의 구동이 시작되면 운전자를 식별 및, 식별된 운전자에 대응되는 기 저장된 교정 결과를 반영하여 상기 운전자의 시선 방향에 대응되는 좌표값들을 산출하는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서,
상기 디스플레이부는,
복수개의 서로 다른 영역으로 구획되며,
상기 광원부는,
상기 디스플레이부 상의 복수개의 서로 다른 영역에 각각 구비되는 복수의 광원을 포함하며,
상기 제어부는,
상기 복수의 광원에 의해 형성된 복수의 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상이 센싱되면, 상기 복수의 반사광 각각으로부터 산출되는 반사광의 중심 좌표들 중 어느 하나와 상기 제1 좌표에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하고, 식별된 영역에 구비된 광원의 좌표 정보를 상기 기준 좌표로 설정하여 상기 교정을 수행하는 것을 특징으로 하는 차량 제어 장치.
제5항에 있어서, 상기 제어부는,
상기 센싱된 영상에 포함된 복수의 반사광 각각으로부터 반사광 중심 좌표를 산출하고,
산출된 반사광 중심 좌표들 중 상기 제1 좌표와 기 설정된 거리 이내에 위치한 어느 하나에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 하는 차량 제어 장치.
제5항에 있어서,
상기 복수의 광원은,
각각 서로 구분되는 광원을 발광하는 광원들이며,
상기 카메라부는,
상기 복수의 광원 각각에 대응되며, 대응되는 광원에 의한 반사광을 포함하는 사용자의 동공 및 안구의 일 영역의 영상을 각각 센싱하는 복수의 카메라를 포함하고,
상기 제어부는,
상기 복수의 카메라로부터 센싱되는 영상들 중, 사용자의 동공 중심으로부터 산출되는 제1 좌표와 상기 반사광으로부터 산출되는 제2 좌표 사이의 거리가 기 설정된 거리 이하인 영상에 근거하여, 상기 디스플레이부 상의 복수개의 영역 중 현재 사용자가 응시하는 영역을 식별하는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서, 상기 제어부는,
기 설정된 조건에 따라 교정이 필요한지 여부를 판단하고,
교정이 필요한 경우 상기 디스플레이부 상의 일 영역이 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역을 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 하는 차량 제어 장치.
제8항에 있어서, 상기 제어부는,
상기 교정이 필요하다고 판단되는 경우, 상기 차량의 현재 운행 상태, 상기 차량의 현재 위치, 및 상기 차량의 주변 상황에 대한 정보를 수집하고, 수집된 정보들 중 적어도 하나에 근거하여 상기 디스플레이부 상의 일 영역을, 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 하는 차량 제어 장치.
제8항에 있어서, 상기 제어부는,
상기 디스플레이부 상의 일 영역 내에 터치 입력이 인가되는 경우, 사용자가 현재 응시하고 있는 방향에 대응되는 좌표를 산출하고, 산출된 사용자의 시선 방향에 대응되는 좌표가 상기 디스플레이부 상의 일 영역 내의 일 지점인지 여부에 따라 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 하는 차량 제어 장치.
제10항에 있어서, 상기 제어부는,
상기 산출된 사용자의 시선 방향에 대응되는 좌표가, 상기 디스플레이부 상의 일 영역 내의 일 지점이 아닌 경우 오차가 발생한 것으로 판단하며,
발생된 오차의 횟수를 누적 및, 누적된 오차 횟수가 기 설정된 횟수에 이르는 경우, 상기 디스플레이부 상의 일 영역을 상기 디스플레이부 상의 다른 영역과 구분되게 표시하는 것을 특징으로 하는 차량 제어 장치.
제10항에 있어서, 상기 제어부는,
상기 터치 입력이 인가된 지점이, 상기 기준 좌표로부터 일정 거리 내에 위치하는 경우, 상기 산출된 사용자의 시선 방향에 대응되는 좌표에 근거하여 상기 교정이 필요한지 여부를 판단하는 것을 특징으로 하는 차량 제어 장치.
제8항에 있어서, 상기 제어부는,
상기 디스플레이부 상의 일 영역의 광도 또는 색상을, 상기 디스플레이부 상의 다른 영역과 다르게 하거나, 또는 상기 디스플레이부 상의 일 영역에서 표시되는 그래픽 객체들 중 적어도 하나를, 상기 다른 영역에서 표시되는 그래픽 객체와 다르게 표시하여, 상기 일 영역이 상기 다른 영역과 구분되도록 하는 것을 특징으로 하는 차량 제어 장치.
제8항에 있어서, 상기 제어부는,
상기 디스플레이부 상의 일 영역이 다른 영역과 구분 및 사용자의 주의를 유도하도록, 상기 디스플레이부 상의 일 영역에, 기 설정된 이벤트의 발생을 알리기 위한 알림 정보를 표시하는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서,
상기 화상 정보는,
상기 차량의 윈드 쉴드 글래스의 적어도 일부 영역에 표시되며,
상기 광원부는,
상기 화상 정보가 표시되는 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며,
상기 제어부는,
상기 적어도 하나의 광원으로부터 출력되는 빛이, 상기 윈드 쉴드 글래스 및 상기 사용자의 동공 및 안구의 일 영역에 반사되어 형성되는 적어도 하나의 반사광으로부터 상기 제2 좌표를 산출하고, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표로부터 상기 기준 좌표를 산출하는 것을 특징으로 하는 차량 제어 장치.
제15항에 있어서, 상기 메모리는,
상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점의 좌표에 관련된 정보를 미리 저장하고 있는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서,
상기 카메라부는,
상기 광원이 복수인 경우, 상기 사용자의 동공 및 안구의 일 영역에 복수의 반사광을 포함하는 영상을 센싱하며,
상기 제어부는,
상기 복수의 반사광을 포함하는 영상이 센싱되면, 상기 복수의 반사광 각각의 중심으로부터 산출되는 반사광 중심 좌표들로부터 가상의 직선 또는 다각형을 생성 및 생성된 가상의 직선 또는 다각형의 중심으로부터 상기 제2 좌표를 산출하며,
상기 복수의 반사광 각각에 대응되는 광원들의 기 저장된 좌표들로부터 가상의 직선 및 다각형을 생성하고, 생성된 가상의 직선 및 다각형의 중심으로부터 산출되는 상기 디스플레이부 상의 일 지점의 좌표를 상기 기준 좌표로 설정하는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서, 상기 제어부는,
상기 광원부 및 상기 카메라부를 비활성화 상태로 유지하며,
상기 차량 주변의 환경을 감지하고, 감지된 차량 주변의 환경에 근거하여 상기 광원부 및 상기 카메라부를 활성화 상태로 전환하는 것을 특징으로 하는 차량 제어 장치.
제1항에 있어서,
상기 광원부는,
상기 차량의 윈드 쉴드 글래스의 적어도 하나의 지점에 빛을 출력하는 적어도 하나의 광원을 포함하며,
상기 카메라부는,
상기 차량의 윈드 쉴드 글래스의 일부 영역을 통해 비치는 상기 차량 전방에 위치한 장애물의 형상을 포함하는 영상을 센싱하는 서브 카메라를 더 포함하며,
상기 제어부는,
상기 서브 카메라를 통해 센싱되는 영상으로부터, 상기 적어도 하나의 광원에서 출력된 빛이 반사되는 상기 윈드 쉴드 글래스의 적어도 하나의 지점에 근거하여 상기 장애물의 형상이 비치는 윈드 쉴드 글래스의 일부 영역을 좌표화 및, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 산출하고,
상기 사용자의 동공 및 안구의 일 영역이 포함된 영상으로부터, 상기 제1 좌표 및, 상기 사용자의 동공 및 안구의 일 영역에 비친 상기 장애물 형상의 중심 좌표를 상기 제2 좌표로 산출하며,
산출된 상기 제1 좌표와 상기 제2 좌표 사이의 거리가 기 설정된 거리 이하인 경우, 상기 윈드 쉴드 글래스에 비치는 장애물 형상의 중심 좌표를 기준 좌표로, 사용자가 상기 윈드 쉴드 글래스 상에 비치는 장애물을 응시하는 방향에 대응되는 좌표를 교정하는 것을 특징으로 하는 차량 제어 장치.
사용자의 시선 방향에 따라 차량의 다양한 기능을 제어하는 차량 제어 장치의 제어 방법에 있어서,
적어도 하나의 광원이 구비된 상기 차량의 디스플레이부 상의 일 영역을 응시하는 사용자의 눈 영상을 센싱하는 단계;
상기 센싱된 영상으로부터, 사용자의 동공 영역 및 상기 광원에서 출력된 빛이 반사되어 형성되는 적어도 하나의 반사광 영역을 검출하는 단계;
상기 동공 영역의 중심으로부터 제1 좌표를 산출 및, 상기 적어도 하나의 반사광 영역 각각의 중심으로부터 제2 좌표를 산출하는 단계;
상기 산출된 제1 좌표와 제2 좌표 사이의 이격 거리에 근거하여, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는지 여부를 판단하는 단계; 및,
상기 판단 결과, 사용자가 상기 디스플레이부 상의 일 영역을 응시하고 있는 것으로 판단되면, 상기 사용자의 동공 중심 및 기 저장된 인체 모델링 데이터에 의해 산출되는 사용자의 시선 방향 좌표를, 상기 적어도 하나의 광원의 좌표값을 기준으로 교정(calibration)하는 단계를 포함하며,
상기 디스플레이부 상의 일 영역은,
상기 차량의 주행과 관련된 정보를 표시하는 영역임을 특징으로 하는 차량 제어 장치의 제어 방법.