KR20220075105A

KR20220075105A - 운전자 모니터링 장치 및 그 방법

Info

Publication number: KR20220075105A
Application number: KR1020200162701A
Authority: KR
Inventors: 최성태
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2020-11-27
Filing date: 2020-11-27
Publication date: 2022-06-07

Abstract

본 개시는 운전자 모니터링 장치 및 그 방법에 관한 것이다.
운전자 모니터링 장치는, 차량 내 운전석의 전면에 배치되어 운전자의 얼굴을 촬영한 전면 영상을 출력하는 전면 카메라, 상기 운전석의 측면에 배치되어 상기 운전자의 얼굴을 촬영한 측면 영상을 출력하는 적어도 하나의 측면 카메라, 상기 전면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제1 위치정보를 획득하고, 상기 측면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제2 위치정보를 획득하는 트래킹부, 그리고 상기 제1 위치정보 및 상기 제2 위치정보에 기초하여 상기 운전자의 상태를 감지하는 상태 감지부를 포함할 수 있다.

Description

운전자 모니터링 장치 및 그 방법{APPARATUS AND METHOD FOR MONITORING OF DRIVER}

본 발명은 운전자 모니터링 장치 및 그 방법에 관한 것이다.

종래에 차량 내에 설치된 카메라를 통해 운전자를 모니터링하는 장치는, 카메라가 운전자의 전면에 위치하고, 이를 통해 촬영된 영상으로부터 운전자의 눈을 인식하도록 동작한다.

이러한 종래의 시스템은, 운전자가 고개를 숙이거나 좌/우로 돌리는 경우, 운전자가 선글라스 등으로 눈을 가리는 경우 등에는 운전자의 상태를 인식하는 것이 불가능한 한계가 있다. 또한, 운전자가 전면을 향한 상태에서 운전자의 눈이 한 개만 인식되는 상황을, 운전자가 고개를 돌려 눈이 한 개만 인식되는 상황으로 오인식하는 문제가 있다.

본 발명의 실시 예를 통해 해결하려는 과제는 운전자의 자세나 선글라스 착용 여부 등과 상관 없이 운전자의 눈 위치를 트래킹하는 것이 가능한 운전자 모니터링 장치 및 그 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 운전자 모니터링 장치는, 차량 내 운전석의 전면에 배치되어 운전자의 얼굴을 촬영한 전면 영상을 출력하는 전면 카메라, 상기 운전석의 측면에 배치되어 상기 운전자의 얼굴을 촬영한 측면 영상을 출력하는 적어도 하나의 측면 카메라, 상기 전면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제1 위치정보를 획득하고, 상기 측면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제2 위치정보를 획득하는 트래킹부, 그리고 상기 제1 위치정보 및 상기 제2 위치정보에 기초하여 상기 운전자의 상태를 감지하는 상태 감지부를 포함할 수 있다.

상기 트래킹부는, 상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈의 위치가 검출되지 않으면, 상기 적어도 하나의 측면 카메라가 상기 측면 영상의 촬영을 개시하도록 상기 적어도 하나의 측면 카메라를 제어 할 수 있다.

상기 적어도 하나의 제2 카메라는 카메라 모니터링 시스템(CMS: camera monitoring system)의 일부일 수 있다.

상기 적어도 하나의 측면 카메라는 상기 차량의 측후방 촬영과 상기 측면 영상의 촬영이 가능하도록, 폴딩을 통해 촬영 변경이 가능할 수 있다.

상기 적어도 하나의 측면 카메라는, 상기 운전석의 좌측에 위치하는 좌측 카메라, 및 상기 운전석의 우측에 위치하는 우측 카메라를 포함할 수 있다.

상기 트래킹부는, 상기 전면 영상에서 상기 적어도 하나의 눈의 위치가 이동한 방향에 기초하여, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라 중 적어도 하나를 제어할 수 있다.

상기 트래킹부는, 상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 좌측이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라를 제어하고, 상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 우측이면, 상기 측면 영상을 촬영하도록 상기 우측 카메라를 제어하며, 상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 위 또는 아래 방향이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라를 제어할 수 있다.

상기 상태 감지부는, 상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈의 위치 식별에 실패하고, 상기 측면 영상 내에서 상기 운전자의 눈의 위치 변화량이 소정치 이상이면, 상기 운전자가 부주의한 상태인 것으로 판단할 수 있다.

상기 상태 감지부는, 상기 전면 영상 및 상기 측면 영상에서 상기 운전자의 두 눈의 위치가 소정 시간 이상 검출되지 않으면, 상기 운전자가 졸음 운전 상태인 것으로 판단할 수 있다.

상기 운전자의 상태가 졸음 운전 상태이면, 상기 차량을 자율주행 모드로 전환하는 제어부를 더 포함할 수 있다.

본 발명의 일 실시 예에 따른 차량의 운전자 모니터링 방법은, 차량 내 운전석의 전면에 배치된 전면 카메라를 통해 운전자의 얼굴을 촬영한 전면 영상을 획득하는 단계, 상기 전면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제1 위치정보를 획득하는 단계, 상기 전면 영상으로부터 상기 운전자의 적어도 하나의 눈에 대한 위치 식별에 실패하면, 상기 운전석의 측면에 배치된 적어도 하나의 측면 카메라를 통해 상기 운전자의 얼굴을 촬영한 측면 영상을 획득하는 단계, 상기 측면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제2 위치정보를 획득하는 단계, 그리고 상기 제1 위치정보 및 상기 제2 위치정보에 기초하여 상기 운전자의 상태를 감지하는 단계를 포함할 수 있다.

상기 측면 영상을 획득하는 단계는, 상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈에 대한 위치 식별에 실패하면, 상기 적어도 하나의 측면 카메라가 상기 측면 영상의 촬영을 개시하도록 상기 적어도 하나의 측면 카메라를 제어하는 단계를 포함할 수 있다.

상기 적어도 하나의 측면 카메라는, 상기 운전석의 좌측에 위치하는 좌측 카메라, 및 상기 운전석의 우측에 위치하는 우측 카메라를 포함할 수 있다. 상기 적어도 하나의 측면 카메라를 제어하는 단계는, 상기 전면 영상에서 상기 적어도 하나의 눈의 위치가 이동한 방향에 기초하여, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라 중 적어도 하나를 제어하는 단계를 포함할 수 있다.

상기 상기 좌측 카메라 및 상기 우측 카메라 중 적어도 하나를 제어하는 단계는, 상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 좌측이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라를 제어하는 단계, 상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 우측이면, 상기 측면 영상을 촬영하도록 상기 우측 카메라를 제어하는 단계, 또는 상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 위 또는 아래 방향이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라를 제어하는 단계를 포함할 수 있다.

상기 감지하는 단계는, 상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈의 위치 식별에 실패하고, 상기 측면 영상 내에서 상기 운전자의 눈의 위치 변화량이 소정치 이상이면, 상기 운전자가 부주의한 상태인 것으로 판단하는 단계를 포함할 수 있다.

상기 감지하는 단계는, 상기 전면 영상 및 상기 측면 영상에서 상기 운전자의 두 눈의 위치가 소정 시간 이상 검출되지 않으면, 상기 운전자가 졸음 운전 상태인 것으로 판단하는 단계를 포함할 수 있다.

상기 운전자 모니터링 방법은, 상기 운전자의 상태가 졸음 운전 상태이면, 상기 차량을 자율주행 모드로 전환하는 단계를 더 포함할 수 있다.

본 발명의 실시 예들에 따르면, 측면 카메라를 활용하여 운전자의 눈 위치를 트래킹함으로써, 운전자의 자세, 선글라스 착용, 빛 반사 등으로 인해 운전자의 눈 위치 인식이 어려운 문제를 해결할 수 있다. 따라서, 눈 위치 인식률을 크게 향상시킴으로써, 운전자 상태를 감지하는데 있어 정확도를 개선할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 운전자 모니터링 장치를 도시한다.
도 2a는 본 발명의 일 실시 예에 따른 운전자 모니터링 장치에서 전면 영상으로부터 운전자의 눈 위치를 검출하는 일 예를 도시한다.
도 2b는 본 발명의 일 실시 예에 따른 운전자 모니터링 장치에서 측면 영상으로부터 운전자의 눈 위치를 검출하는 일 예를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 운전자 모니터링 방법을 도시한다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.

본 발명의 실시 예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 필요한 도면들을 참조하여 본 발명의 일 실시 예에 따른 운전자 모니터링 장치 및 그 방법에 대하여 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 운전자 모니터링 장치를 개략적으로 도시한다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 운전자 모니터링 장치(10)는, 카메라 시스템(11), 트래킹부(12), 상태 감지부(13), 및 제어부(14)를 포함할 수 있다.

카메라 시스템(11)은 운전석의 전면과 측면(좌측 및 우측)에서 운전자의 머리 부분을 촬영하는 것이 가능하도록 차량 내에 배치된 복수의 카메라(111, 112, 113)를 포함할 수 있다. 예를 들어, 전면 카메라(111)는 차량 내 운전석의 전면에 배치되어 운전자의 얼굴 부분을 촬영하도록 차량 내에 배치될 수 있다. 또한, 예를 들어, 좌측 카메라(112), 및 우측 카메라(113)는 차량 내 운전석의 좌측 및 우측에 각각 배치되어, 운전자의 좌측 얼굴 및 우측 얼굴을 각각 촬영하도록 차량 내에 배치될 수 있다.

좌측 카메라(112) 및 우측 카메라(113)는 차량의 카메라 모니터링 시스템(CMS: camera monitoring system)의 일부일 수 있다. 이 경우, 좌측 카메라(112) 및 우측 카메라(113)는, 차량의 측후방 촬영과 운전자의 측면 촬영이 모두 가능하도록 하기 위해, 폴딩(folding)을 통해 촬영 방향을 변경할 수 있도록 설치될 수 있다.

트래킹부(12)는 적어도 하나의 카메라(111, 112, 113)를 통해 운전자를 촬영한 영상으로부터 운전자의 두 눈의 위치(예를 들어, 동공 위치)를 검출함으로써, 운전자의 눈의 위치를 트래킹(tracking)할 수 있다.

통상적으로 운전 중인 운전자는 전방을 주시한다. 따라서, 트래킹부(12)는 노멀 상태에서는 전면 카메라(111)를 통해 촬영된 운전자의 전면 영상으로부터 운전자의 눈의 위치를 검출할 수 있다.

도 2a는 트래킹부(12)가 운전자를 촬영한 전면 영상으로부터 운전자의 눈의 위치를 검출하는 일 예를 도시한다.

도 2a를 참조하면, 트래킹부(12)는 전면 카메라(111)에 의해 촬영된 운전자의 전면 영상(20a)을 지속적으로 수신하며, 이로부터 검출된 특징점들에 기초하여 눈의 위치(21a, 21b)(또는 동공 위치)를 트래킹할 수 있다. 트래킹부(12)는 전면 영상(20a)으로부터 눈의 위치(21a, 21b)를 검출하면, 이를 가상의 2차원 좌표계(x-z 좌표계)에서의 위치정보(예를 들어, (x, z) 좌표 정보)로 변환할 수 있다.

운전자가 좌측 또는 우측으로 고개를 움직일 경우, x-z 좌표계 상에서 운전자의 눈의 위치가 x축 방향으로 이동할 수 있다. 또한, 운전자가 위 또는 아래 방향으로 고개를 움직일 경우, x-z 좌표계 상에서 운전자의 눈의 위치가 z축 방향으로 이동할 수 있다.

운전자가 고개를 좌측/우측으로 돌리거나 위/아래 방향으로 움직이는 경우, 운전자의 두 개의 눈 중 적어도 하나의 위치가 검출 영역(23)을 벗어날 수 있다. 여기서, 검출 영역(23)은 트래킹부(12)가 전면 영상(20a)으로부터 눈동자의 위치를 식별 가능한 범위를 나타낸다.

또한, 운전자가 눈을 감은 상태에거나 선글라스를 착용한 경우, 운전자의 눈의 위치가 검출 영역(23) 내에 위치하더라도 트래킹부(12)가 운전자의 눈의 위치를 트래킹하는 것에 실패할 수 있다.

이와 같이, 전면 영상(20a)으로부터 눈의 위치를 검출하는 것에 실패할 경우, 트래킹부(12)는 운전자의 측면 영상을 촬영하도록 좌측 카메라(112) 또는 우측 카메라(113)를 제어할 수 있다. 즉, 트래킹부(12)는 전면 영상(20a)으로부터 운전자의 눈의 위치를 트래킹하는 중에 적어도 하나의 눈의 위치가 검출 영역(23)을 벗어나거나, 눈 위치의 단위 시간당 변화량이 소정치 이상인 것으로 식별되면, 눈의 위치가 이동한 방향에 따라 좌측 또는 우측 방향에서 운전자의 측면 영상을 촬영하도록 좌측 및 우측 카메라(112, 113) 중 적어도 하나를 제어할 수 있다. 예를 들어, 트래킹을 통해 눈의 위치가 운전자의 시점을 기준으로 좌측으로 이동(전면 카메라(111)의 시점에서는 우측으로 이동)한 것으로 판단되면, 트래킹부(12)는 운전자의 좌측 측면을 촬영하도록 좌측 카메라(112)를 제어할 수 있다. 또한, 예를 들어, 트래킹을 통해 눈의 위치가 운전자의 시점을 기준으로 우측으로 이동(전면 카메라(111)의 시점에서는 좌측으로 이동)한 것으로 판단되면, 트래킹부(12)는 운전자의 우측 측면을 촬영하도록 우측 카메라(113)를 제어할 수 있다. 또한, 예를 들어, 트래킹을 통해 운전자의 눈의 위치가 위 또는 아래 방향으로 이동한 것으로 식별되면, 트래킹부(12)는 운전자의 좌측 측면 및 우측 측면을 모두 촬영하도록 좌측 카메라(112) 및 우측 카메라(113)를 제어할 수도 있다.

트래킹부(12)는 운전자의 선글라스 착용, 졸음 운전, 빛 반사 등으로 인해 검출 영역(23) 내에서 눈의 위치 식별에 실패하는 경우에도, 좌측 및 우측 방향에서 운전자의 측면 영상을 촬영하도록 좌측 및 우측 카메라(112, 113)를 제어할 수도 있다.

좌측 카메라(112) 또는 우측 카메라(113)는 트래킹부(12)로부터 운전자의 측면 영상 촬영이 지시되면, 폴딩을 통해 촬영 방향이 운전자 얼굴의 측면을 향하도록 이동할 수 있다. 폴딩을 통해 촬영 방향을 이동한 좌측 카메라(112) 또는 우측 카메라(113)는 이후 운전자의 측면 영상을 촬영하여 트래킹부(12)로 전달할 수 있다. 이와 같이, 좌측 카메라(112) 및 우측 카메라(113)는 트래킹부(12)로부터 운전자의 측면 영상 촬영이 요청되는 경우에만, 운전자의 측면 영상을 촬영할 수 있다.

좌측 카메라(112) 또는 우측 카메라(113)에 의해 촬영된 운전자의 측면 영상은 트래킹부(12)로 전달되며, 트래킹부(12)는 수신된 측면 영상으로부터 운전자의 눈의 위치를 검출할 수 있다.

도 2b는 트래킹부(12)가 운전자를 촬영한 측면 영상으로부터 운전자의 눈의 위치를 검출하는 일 예를 도시한 것으로서, 우측에서 촬영된 측면 영상으로부터 운전자의 눈 위치를 검출하는 일 예를 도시한다.

도 2b를 참조하면, 트래킹부(12)는 우측 카메라(113)에 의해 촬영된 운전자의 측면 영상(20b)을 수신하며, 이로부터 검출된 특징점들에 기초하여 운전자의 눈의 위치(21c)(또는 동공 위치)를 트래킹할 수 있다. 트래킹부(12)는 측면 영상(20b)으로부터 눈의 위치(21c)를 검출 시마다, 이를 가상의 2차원 좌표계에서의 위치정보(예를 들어, (y, z) 좌표 정보)로 변환할 수 있다.

운전자가 좌측 또는 우측으로 고개를 움직일 경우, y-z 좌표계 상에서 운전자의 눈의 위치가 y축 방향으로 이동할 수 있다. 또한, 운전자가 위 또는 아래 방향으로 고개를 움직일 경우, y-z 좌표계 상에서 운전자의 눈의 위치가 z축 방향으로 이동할 수 있다.

전술한 바와 같이, 트래킹부(12)는 전면 카메라(111)를 통해 촬영된 전면 영상(20a)으로부터 운전자의 눈의 위치를 지속적으로 트래킹할 수 있다. 그리고, 운전자의 자세 변경이나 선글라스 착용 등으로 인해 전면 카메라(111)로 트래킹이 어려운 눈의 위치에 대해서는, 측면 카메라들(112, 113)을 이용하여 촬영된 측면 영상(20b)으로부터 트래킹할 수 있다.

트래킹부(12)는 적어도 하나의 카메라(111, 112, 113)를 통해 운전자의 두 눈의 위치에 대응하는 위치정보(이하, '눈 위치정보'라 칭함)가 검출되면, 각 카메라(111, 112, 113)를 통해 획득한 눈 위치정보를 시계열 데이터로 변환하여 상태 감지부(13)로 출력할 수 있다. 즉, 트래킹부(12)는 전면 카메라(111)를 통해 획득한 눈 위치정보, 좌측 카메라(112)를 통해 획득한 위치정보, 및 우측 카메라(113)를 통해 획득한 위치정보를 각각 시계열 데이터로 변환하여 상태 감지부(13)로 출력할 수 있다.

상태 감지부(13)는 트래킹부(12)로부터 운전자의 두 눈의 위치를 가리키는 눈 위치정보를 수신하며, 이를 토대로 운전자의 상태를 감지할 수 있다.

예를 들어, 상태 감지부(13)는 전면 카메라(111)를 통해 획득한 눈 위치정보로부터 왼쪽 눈과 오른쪽 눈에 대한 x 좌표 및 z좌표가 모두 식별되면, 운전자가 전면을 주시 중인 상태로 식별할 수 있다.

또한, 예를 들어, 상태 감지부(13)는 전면 카메라(111)를 통해 획득되는 눈 위치정보에서 적어도 하나의 눈의 x 좌표가 왼쪽 방향으로 소정치(예를 들어, 각 눈 위치의 평균 x 좌표 변화량) 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되면, 좌측 카메라(112)를 통해 획득되는 눈 위치정보를 분석할 수 있다. 그리고, 분석 결과, 좌측 카메라(112)를 통해 획득되는 눈 위치정보로부터, 눈의 y 좌표 변화량이 소정치(예를 들어, 각 눈 위치의 평균 y 좌표 변화량) 이상인 것으로 식별되면, 상태 감지부(13)는 운전자의 고개가 왼쪽으로 치우친 것으로 판단할 수 있다.

또한, 예를 들어, 상태 감지부(13)는 전면 카메라(111)를 통해 획득되는 눈 위치정보에서 적어도 하나의 눈의 x 좌표가 오른쪽 방향으로 소정치(예를 들어, 각 눈 위치의 평균 x 좌표 변화량) 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되면, 우측 카메라(113)를 통해 획득되는 눈 위치정보를 분석할 수 있다. 그리고, 분석 결과, 우측 카메라(113)를 통해 획득되는 눈 위치정보로부터, 눈의 y 좌표 변화량이 소정치(예를 들어, 각 눈 위치의 평균 y 좌표 변화량) 이상인 것으로 식별되면, 상태 감지부(13)는 운전자의 고개가 오른쪽으로 치우친 것으로 판단할 수 있다.

또한, 예를 들어, 상태 감지부(13)는 전면 카메라(111)를 통해 획득되는 눈 위치정보에서 적어도 하나의 눈의 z 좌표가 위 방향으로 소정치(예를 들어, 각 눈 위치의 평균 z 좌표 변화량) 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되면, 좌측 및 우측 카메라(112, 113) 중 적어도 하나를 통해 획득되는 눈 위치정보를 분석할 수 있다. 그리고, 분석 결과, 적어도 하나의 측면 카메라(112, 113)를 통해 획득되는 눈 위치정보로부터, 눈의 z 좌표 변화량이 소정치(예를 들어, 각 눈 위치의 평균 z 좌표 변화량) 이상인 것으로 식별되면, 상태 감지부(13)는 운전자의 고개가 위쪽으로 치우친 것으로 판단할 수 있다.

또한, 예를 들어, 상태 감지부(13)는 전면 카메라(111)를 통해 획득되는 눈 위치정보에서 적어도 하나의 눈의 z 좌표가 아래 방향으로 소정치(예를 들어, 각 눈 위치의 평균 z 좌표 변화량) 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되면, 좌측 및 우측 카메라(112, 113) 중 적어도 하나를 통해 획득되는 눈 위치정보를 분석할 수 있다. 그리고, 분석 결과, 적어도 하나의 측면 카메라(112, 113)를 통해 획득되는 눈 위치정보로부터, 눈의 z 좌표 변화량이 소정치(예를 들어, 각 눈 위치의 평균 z 좌표 변화량) 이상인 것으로 식별되면, 상태 감지부(13)는 운전자의 고개가 아래쪽으로 치우친 것으로 판단할 수 있다.

상태 감지부(13)는 전술한 바와 같이 운전자가 전면을 주시하지 않고 운전자의 고개가 좌/우/위/아래 방향 중 어느 한 방으로 이동한 것으로 식별되면, 운전자의 현재 상태가 부주의 상태인 것으로 판단할 수 있다.

또한, 상태 감지부(13)는 트래킹부(12)가 전면 카메라(111)를 통해 촬영된 전면 영상과 측면 카메라(112, 113)를 통해 촬영된 측면 영상 모두에서 소정 시간 이상 눈의 위치를 식별하는 것에 실패하면, 운전자의 현재 상태가 졸음 운전 상태인 것으로 판단할 수도 있다.

트래킹부(12)는 적어도 하나의 카메라(111, 112, 113)로부터 입력되는 운전자의 영상으로부터, 눈꺼풀의 변화 검출, 동공 검출 등을 통해 운전자의 눈 상태(예를 들어, 뜬 상태, 감은 상태 등)를 검출할 수도 있다. 이 경우, 트래킹부(12)에 의해 검출된 눈 상태 정보는 상태 감지부(13)로 전달되며, 상태 감지부(13)는 이를 토대로 운전자의 졸음 운전 여부를 판단할 수도 있다. 예를 들어, 상태 감지부(13)는 눈 상태 정보로부터 운전자의 눈 상태가 소정 시간 이상 감긴 상태를 유지하는 것으로 식별되면, 운전자가 현재 졸음 운전 중인 상태로 판단할 수 있다.

상태 감지부(13)는 전술한 바와 같이 운전자의 상태(전방 주시, 부주의, 졸음)가 판정되면, 판정 결과를 토대로 운전자의 상태 정보를 제어부(14)로 전달할 수 있다.

상태 감지부(13)로부터 운전자의 상태 정보를 수신한 제어부(14)는 이를 토대로 차량 장치(미도시)들을 제어할 수 있다. 예를 들어, 제어부(14)는 운전자가 현재 부주의한 상태로 판단되면, 운전자의 주의를 집중시키기 위한 경고 신호(경고음 등)를 출력하도록 차량 단말을 제어할 수 있다. 또한, 예를 들어, 제어부(14)는 운전자가 현재 졸음 운전 상태 즉 수면 중인 상태로 판단되면, 운전자의 잠을 깨우기 위한 경고음을 출력하거나, 차량의 주행 모드를 자율주행 모드로 변경하도록, 차량 단말을 제어할 수도 있다. 또한, 자율주행 모드로 변경 후에는, 운전자의 편한 수면을 위해 차량 시트의 각도를 조정하도록 차량 단말을 제어할 수도 있다.

한편, 트래킹부(12)는 눈의 위치에 따라서 전면 카메라(111)를 통해 획득한 눈 위치정보 및 측면 카메라(112, 113)를 통해 획득한 눈 위치정보에 대해 가중치(α, β)를 각각 부여하고, 이를 토대로 두 위치정보를 결합하여 가상의 3차원 좌표계에서의 각 눈의 위치정보(예를 들어, (x, y, z) 좌표) 획득할 수도 있다.

예를 들어, 트래킹부(12)는 전면 카메라(111)를 통해 촬영된 전면 영상 내 눈의 위치가 검출 영역(23) 내로 식별되면, 전면 영상으로부터 식별된 눈 위치정보의 가중치 α를 100%로 설정하고, 측면 영상으로부터 식별된 눈 위치정보의 가중치를 0%로 설정할 수 있다. 이에 따라, 트래킹부(12)는 전면 영상으로부터 획득된 눈 위치정보만을 사용하여 운전자의 눈 위치정보를 최종적으로 획득할 수 있다.

또한, 또한, 예를 들어, 트래킹부(12)는 전면 영상에서 적어도 하나의 눈의 위치가 검출 영역(23)의 경계에 가까워질수록 α를 감소시키고 β를 증가시키며, 전면 영상에서 적어도 하나의 눈의 위치가 검출 영역(23)을 벗어나면, β가 α보다 커지도록 α및 β를 각각 조절할 수도 있다. 이 경우, 트래킹부(12)는 전면 영상에서 적어도 하나의 눈의 위치가 검출 영역(23)의 경계에 도달하면, α및 β를 각각 50% 및 50%로 설정함으로써, 전면 영상으로부터 획득한 위치정보와 측면 영상으로부터 획득한 위치정보를 동일한 비율로 결합하여 운전자의 눈 위치정보를 획득할 수 있다.

트래킹부(12)는 이와 같이 전면 영상으로부터 획득한 눈 위치정보와 측면 영상으로부터 획득한 눈 위치정보를 통합할 경우, 통합된 3차원의 눈 위치정보를 상태 감지부(13)로 전달할 수 있다. 이 경우, 상태 감지부(13)는 트래킹부(12)로부터 수신되는 3차원의 눈 위치정보로부터 운전자의 상태를 검출할 수 있다.

전술한 구조의 운전자 모니터링 장치(10)에서, 트래킹부(12), 상태 감지부(13), 및 제어부(14)는 하나 이상의 중앙 처리 유닛(central processing unit, CPU)이나, DSP(Digital Signal Processing), ASIC(Application specific integrated circuit) 등의 기타 칩셋, 마이크로프로세서 등으로 구현되는 프로세서에 의해 구현될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 운전자 모니터링 방법을 도시한다. 도 3의 운전자 모니터링 방법은, 위에서 도 1을 참조하여 설명한 운전자 모니터링 장치(10)에 의해 수행될 수 있다.

도 1을 참조하면, 운전자 모니터링 장치(10)는 노멀 상태에서 전면 카메라(111)를 통해 운전자의 얼굴을 촬영한 전면 영상을 지속적으로 획득한다(S10). 또한, 운전자 모니터링 장치(10)는 영상 인식을 통해 전면 영상으로부터 운전자의 눈 위치 및 상태를 트래킹한다(S11).

상기 S11 단계에서, 운전자 모니터링 장치(10)는 전면 영상으로부터 특징점들을 추출하고, 이들에 기초하여 눈의 위치를 검출하여 가상의 2차원 x-z 좌표계에서의 눈 위치정보를 생성할 수 있다.

상기 S11 단계에서, 운전자 모니터링 장치(10)는 전면 영상으로부터 눈꺼풀의 변화 검출, 동공 검출 등을 통해 운전자의 눈 상태(예를 들어, 뜬 상태, 감은 상태 등)를 검출할 수 있다.

한편, 운전자 모니터링 장치(10)는 상기 S11 단계를 통해 운전자의 눈 위치를 트래킹하는 과정에서, 전면 영상의 검출 영역(도 2의 도면부호 23 참조) 내에서 두 눈의 위치가 모두 식별되는지 확인하고(S12), 전면 영상으로부터 적어도 하나의 눈 위치가 식별되지 않으면 운전자의 측면 영상을 촬영하도록 적어도 하나의 측면 카메라(112, 113)를 제어할 수 있다.

그리고, 적어도 하나의 카메라(112, 113)를 통해 운전자의 측면 영상이 획득되면(S13), 측면 영상으로부터 운전자의 눈 위치를 트래킹한다(S14).

상기 S11 단계에서, 운전자 모니터링 장치(10)는 측면 영상으로부터 특징점들을 추출하고, 이들에 기초하여 눈의 위치를 검출하여 가상의 2차원 y-z 좌표계에서의 눈 위치정보를 생성할 수 있다.

측면 영상으로부터 눈 위치정보를 획득한 운전자 모니터링 장치(10)는 상기 S11 단계를 통해 전면 영상으로부터 획득한 눈 위치정보 및 상태정보와, 상기 S14 단계를 통해 측면 영상으로부터 획득한 눈 위치정보에 기초하여 운전자의 상태를 판단한다(S15).

상기 S15 단계에서, 운전자 모니터링 장치(10)는 전면 영상으로부터 획득한 눈 위치정보에서 적어도 하나의 눈의 x 좌표가 왼쪽 방향으로 소정치 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되고, 좌측 카메라(112)를 통해 촬영된 측면 영상으로부터 획득된 눈 위치정보에서 눈의 y 좌표 변화량이 소정치 이상인 것으로 식별되면, 운전자의 고개가 왼쪽으로 치우친 것으로 판단할 수 있다.

상기 S15 단계에서, 운전자 모니터링 장치(10)는 전면 영상으로부터 획득한 눈 위치정보에서 적어도 하나의 눈의 x 좌표가 오른쪽 방향으로 소정치 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되고, 우측 카메라(113)를 통해 촬영된 측면 영상으로부터 획득된 눈 위치정보에서 눈의 y 좌표 변화량이 소정치 이상인 것으로 식별되면, 운전자의 고개가 오른쪽으로 치우친 것으로 판단할 수 있다.

상기 S15 단계에서, 운전자 모니터링 장치(10)는 전면 영상으로부터 획득한 눈 위치정보에서 적어도 하나의 눈의 z 좌표가 위 방향으로 소정치 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되고, 좌측 또는 우측 카메라(112, 113)를 통해 촬영된 측면 영상으로부터 획득된 눈 위치정보에서 눈의 z 좌표 변화량이 소정치 이상인 것으로 식별되면, 운전자의 고개가 위 방향으로 치우친 것으로 판단할 수 있다.

상기 S15 단계에서, 운전자 모니터링 장치(10)는 전면 영상으로부터 획득한 눈 위치정보에서 적어도 하나의 눈의 z 좌표가 아래 방향으로 소정치 이상 변화하여 검출 영역(23)을 벗어난 것으로 식별되고, 좌측 또는 우측 카메라(112, 113)를 통해 촬영된 측면 영상으로부터 획득된 눈 위치정보에서 눈의 z 좌표 변화량이 소정치 이상인 것으로 식별되면, 운전자의 고개가 아래 방향으로 치우친 것으로 판단할 수 있다.

상기 S15 단계에서, 운전자 모니터링 장치(10)는 전면 영상과 측면 영상 모두에서 소정 시간 이상 눈의 위치를 식별하는 것에 실패하거나, S11 단계를 통해 검출된 운전자의 눈 상태정보가, 두 눈 모두 감은 것으로 지시하면 운전자의 상태가 졸음 운전 상태인 것으로 판단할 수도 있다.

운전자 모니터링 장치(10)는 상기 S15 단계를 통해 감지한 운전자의 상태가 부주의 또는 졸음 운전 상태인 것으로 판단되면(S16), 운전자의 주의를 집중시키기 위한 경고 신호를 출력하도록 차량 장치를 제어한다(S17).

한편, 운전자 모니터링 장치(10)는 차량 내에 자율주행 시스템이 탑재된 경우, 상기 S16 단계에서 운전자가 부주의 또는 졸음 운전 상태인 것으로 판단되면, 차량의 주행 모드를 자율주행 모드로 전환하도록 자율주행 시스템을 제어할 수도 있다. 또한, 상기 S16 단계에서 운전자가 졸음 운전 상태인 것으로 판단되면, 운전자의 편한 수면을 위해 차량 시트의 각도를 조정할 수도 있다.

전술한 본 발명의 일 실시 예에 따르면 측면 카메라를 활용하여 운전자의 눈 위치를 트래킹함으로써, 운전자의 자세, 선글라스 착용, 빛 반사 등으로 인해 운전자의 눈 위치 인식이 어려운 문제를 해결할 수 있다. 따라서, 눈 위치 인식률을 크게 향상시킴으로써, 운전자 상태를 감지하는데 있어 정확도를 개선할 수 있다.

본 발명의 실시 예에 의한 운전자 모니터링 방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 기능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD_ROM, DVD_RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 뿐만 아니라, 당업자는 공정 환경이나 장비에 따라 본 명세서에서 설명한 방법 단계의 순서를 변경할 수도 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.

10: 운전자 모니터링 장치
11: 카메라 시스템
111: 전면 카메라
112: 좌측 카메라
113: 우측 카메라
12: 트래킹부
13: 상태 감지부
14: 제어부

Claims

차량 내 운전석의 전면에 배치되어 운전자의 얼굴을 촬영한 전면 영상을 출력하는 전면 카메라,
상기 운전석의 측면에 배치되어 상기 운전자의 얼굴을 촬영한 측면 영상을 출력하는 적어도 하나의 측면 카메라,
상기 전면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제1 위치정보를 획득하고, 상기 측면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제2 위치정보를 획득하는 트래킹부, 그리고
상기 제1 위치정보 및 상기 제2 위치정보에 기초하여 상기 운전자의 상태를 감지하는 상태 감지부를 포함하는 운전자 모니터링 장치.
제1항에 있어서,
상기 트래킹부는, 상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈의 위치가 검출되지 않으면, 상기 적어도 하나의 측면 카메라가 상기 측면 영상의 촬영을 개시하도록 상기 적어도 하나의 측면 카메라를 제어하는, 운전자 모니터링 장치.
제2항에 있어서,
상기 적어도 하나의 제2 카메라는 카메라 모니터링 시스템(CMS: camera monitoring system)의 일부인, 운전자 모니터링 장치.
제3항에 있어서,
상기 적어도 하나의 측면 카메라는 상기 차량의 측후방 촬영과 상기 측면 영상의 촬영이 가능하도록, 폴딩을 통해 촬영 변경이 가능한, 운전자 모니터링 장치.
제2항에 있어서,
상기 적어도 하나의 측면 카메라는,
상기 운전석의 좌측에 위치하는 좌측 카메라, 및 상기 운전석의 우측에 위치하는 우측 카메라를 포함하는, 운전자 모니터링 장치.
제5항에 있어서,
상기 트래킹부는, 상기 전면 영상에서 상기 적어도 하나의 눈의 위치가 이동한 방향에 기초하여, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라 중 적어도 하나를 제어하는, 운전자 모니터링 장치.
제6항에 있어서,
상기 트래킹부는,
상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 좌측이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라를 제어하고,
상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 우측이면, 상기 측면 영상을 촬영하도록 상기 우측 카메라를 제어하며,
상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 위 또는 아래 방향이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라를 제어하는, 운전자 모니터링 장치.
제2항에 있어서,
상기 상태 감지부는, 상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈의 위치 식별에 실패하고, 상기 측면 영상 내에서 상기 운전자의 눈의 위치 변화량이 소정치 이상이면, 상기 운전자가 부주의한 상태인 것으로 판단하는, 운전자 모니터링 장치.
제2항에 있어서,
상기 상태 감지부는, 상기 전면 영상 및 상기 측면 영상에서 상기 운전자의 두 눈의 위치가 소정 시간 이상 검출되지 않으면, 상기 운전자가 졸음 운전 상태인 것으로 판단하는, 운전자 모니터링 장치.
제9항에 있어서,
상기 운전자의 상태가 졸음 운전 상태이면, 상기 차량을 자율주행 모드로 전환하는 제어부를 더 포함하는, 운전자 모니터링 장치.
차량의 운전자 모니터링 방법으로서,
상기 차량 내 운전석의 전면에 배치된 전면 카메라를 통해 운전자의 얼굴을 촬영한 전면 영상을 획득하는 단계,
상기 전면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제1 위치정보를 획득하는 단계,
상기 전면 영상으로부터 상기 운전자의 적어도 하나의 눈에 대한 위치 식별에 실패하면, 상기 운전석의 측면에 배치된 적어도 하나의 측면 카메라를 통해 상기 운전자의 얼굴을 촬영한 측면 영상을 획득하는 단계,
상기 측면 영상으로부터 상기 운전자의 눈의 위치를 검출하여 제2 위치정보를 획득하는 단계, 그리고
상기 제1 위치정보 및 상기 제2 위치정보에 기초하여 상기 운전자의 상태를 감지하는 단계를 포함하는 운전자 모니터링 방법.
제11항에 있어서,
상기 측면 영상을 획득하는 단계는,
상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈에 대한 위치 식별에 실패하면, 상기 적어도 하나의 측면 카메라가 상기 측면 영상의 촬영을 개시하도록 상기 적어도 하나의 측면 카메라를 제어하는 단계를 포함하는, 운전자 모니터링 방법.
제12항에 있어서,
상기 적어도 하나의 측면 카메라는, 상기 운전석의 좌측에 위치하는 좌측 카메라, 및 상기 운전석의 우측에 위치하는 우측 카메라를 포함하며,
상기 적어도 하나의 측면 카메라를 제어하는 단계는,
상기 전면 영상에서 상기 적어도 하나의 눈의 위치가 이동한 방향에 기초하여, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라 중 적어도 하나를 제어하는 단계를 포함하는, 운전자 모니터링 방법.
제13항에 있어서,
상기 상기 좌측 카메라 및 상기 우측 카메라 중 적어도 하나를 제어하는 단계는,
상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 좌측이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라를 제어하는 단계,
상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 우측이면, 상기 측면 영상을 촬영하도록 상기 우측 카메라를 제어하는 단계, 또는
상기 적어도 하나의 눈의 위치가 이동한 방향이 상기 운전자의 시선을 기준으로 위 또는 아래 방향이면, 상기 측면 영상을 촬영하도록 상기 좌측 카메라 및 상기 우측 카메라를 제어하는 단계를 포함하는, 운전자 모니터링 방법.
제12항에 있어서,
상기 감지하는 단계는,
상기 전면 영상의 검출 영역 내에서 상기 운전자의 적어도 하나의 눈의 위치 식별에 실패하고, 상기 측면 영상 내에서 상기 운전자의 눈의 위치 변화량이 소정치 이상이면, 상기 운전자가 부주의한 상태인 것으로 판단하는 단계를 포함하는, 운전자 모니터링 방법.
제12항에 있어서,
상기 감지하는 단계는,
상기 전면 영상 및 상기 측면 영상에서 상기 운전자의 두 눈의 위치가 소정 시간 이상 검출되지 않으면, 상기 운전자가 졸음 운전 상태인 것으로 판단하는 단계를 포함하는, 운전자 모니터링 방법.
제16항에 있어서,
상기 운전자의 상태가 졸음 운전 상태이면, 상기 차량을 자율주행 모드로 전환하는 단계를 더 포함하는 운전자 모니터링 방법.