KR20190134909A

KR20190134909A - 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법

Info

Publication number: KR20190134909A
Application number: KR1020180053895A
Authority: KR
Inventors: 김진우; 김기태
Original assignee: 한국전자통신연구원
Priority date: 2018-05-10
Filing date: 2018-05-10
Publication date: 2019-12-05
Also published as: KR102479049B1; JP7154959B2; JP2019197522A

Abstract

본 발명은 주행상황 판단 정보 기반 운전자 상태 인식 장치에 관한 것으로, 영상 획득 장치로부터 운전자의 얼굴 상태 정보와 운전자의 주행 정보 획득 장치로부터 운전자의 주행 행위 정보를 획득하는 영상 획득부; 차량 외부 간섭 인식 장치로부터 주변 차량의 주행 상황 인식 정보를 획득하는 주행 상황 인식부; 상기 운전자의 얼굴 상태 정보, 주변 차량의 주행 상황 인식 정보 및 운전자의 주행 행위 정보 등의 획득 정보와 학습된 얼굴 벡터 정보를 비교하여 운전자 주행 집중도를 결정하는 주행 집중도 결정부; 및 상기 결정된 운전자 주행 집중도에 대응되도록 운전자 주행 지도를 결정하는 주행 지도 결정부;를 포함한다.

Description

주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법{The apparatus and method for Driver Status Recognition based on Driving Status Decision Information}

본 발명은 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 주행 보조 시스템 또는 자율주행 시스템에서 활용 가능한 융합 정보 기반으로 운전자의 상태를 인식하는 장치 및 방법에 관한 것이다.

최근 자율주행시스템의 완전한 성장 이전에는 안전운전을 위해 운전자의 상태인식 기술을 적용한 안전 운전 유도 기술이 적용되고 있다.

특히, 운전자의 졸음, 주의분산, 무반응에 대한 기술과 표정, 패턴 등으로 운전자의 심리를 예측하여 주행 상 경고나 피드백을 제공함으로써 안전운전을 유도하는 기술이 발전하고 있다.

또한, 자율주행시스템과 연계되어 차량이 주행하기 어려울 때나 운전자가 운전이 불가능한 상태를 파악하여 차량에 대한 행동을 판단하는 기술 또한 연구되고 있다.

다만, 시스템이 판단하여 자율로 구동하는 기술의 상용화를 위해서는 고도화된 인식률과 안전장치가 필요한데 현재 시점에서는 양산에 있어서는 비용 및 다양한 상황에 따른 문제 때문에 기술 적용이 어렵다.

그리고, 종래 상용화된 운전자 보조시스템은 운전자가 장시간 정차하지 않고 주행하는 경우 운전 부하로 판단하고, BSD(Blind Spot Detection)과 같이 측후방의 차량이 사각지대에 있는 상황에서 운전자가 방향 지시등을 켜지 않고 진입하려는 경우 경고음을 발생시키는 수준이다.

이와 같이, 종래 상용화된 운전자 보조시스템은 졸음인식, 표정인식, 주의 분산인식과 같은 운전자 상태인식에 대한 기능이 개발되었으나 어디까지나 보조수단으로 이용되고 있어서, 광범위한 신뢰도를 제공하기는 어려운 상황이다.

이와 같이, 완전 자율주행이 상용화되기 이전에 운전자 상태를 모니터링하는 방법은 안전 주행에 필요한 보조 시스템 수준에서 고도화될 것이 요구되고, 완전자율주행과 가까워지는 시점에서는 상호작용을 중심으로, 완전자율주행 있어서는 차량과 운전자, 콘텐츠가 능동적 커뮤니케이션이 이루어지는 시기가 될 전망이다.

기존의 운전자 상태 인식 방식은 눈을 감는 정도, 시선의 분산, 주행 중 브레이크, 가속, 방향 지시등, 조향 유무 정보를 기존에 정의한 범주 내에서 판단 가능하도록 한다.

이는 상황에 대해 사전에 정의된 몇 가지 경우 이외의 판단에 대한 인식률 혹은 판단하기 위한 범위의 한계성과 오류 발생에 대한 문제점을 포함하고 있다.

본 발명은 종래 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 운전자가 전방을 주시하지 않거나 눈의 감긴 상태만을 기반으로 판단되었던 운전자 상태인식 기술을 고도화한 것으로, 전방을 주시하고 있는 상태, 눈이 감겨지는 패턴, 차량의 정보, 주행환경에 대한 판단정보를 기반으로 운전자의 상태를 인식하고 판단하는 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법을 제공하고자 한다.

본 발명의 다른 목적은 운전자의 졸음, 주의 분산 정보를 차량 정보 및 주위 차량 정보와 융합하여 실시간으로 분석하고 이를 판단할 수 있는 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법을 제공하고자 한다.

그리고 본 발명의 또 다른 목적은 주행 중 운전자의 행동 및 얼굴에 대한 정보를 실시간 분석, 주변환경 및 외부 빛에 대한 영향, 주변 차량을 포함한 이동 혹은 정적 장애물 위치 및 움직임 패턴, 위험 요인들을 분석한 정보를 기반으로 현재 차량이 주행 시 운전자에게 요구하는 집중도를 분석하여 안전 운행 혹은 자율주행에 대한 운전자-차량 간 판단 정보를 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 주행상황 판단 정보 기반 운전자 상태 인식 장치는 영상 획득 장치로부터 운전자의 얼굴 상태 정보와 운전자의 주행 정보 획득 장치로부터 운전자의 주행 행위 정보를 획득하는 영상 획득부; 차량 외부 간섭 인식 장치로부터 주변 차량의 주행 상황 인식 정보를 획득하는 주행 상황 인식부; 상기 운전자의 얼굴 상태 정보, 주변 차량의 주행 상황 인식 정보 및 운전자의 주행 행위 정보 등의 획득 정보와 학습된 얼굴 벡터 정보를 비교하여 운전자 주행 집중도를 결정하는 주행 집중도 결정부; 및 상기 결정된 운전자 주행 집중도에 대응되도록 운전자 주행 지도를 결정하는 주행 지도 결정부;를 포함한다.

여기서, 상기 주행 집중도 결정부는, 상기 운전자의 얼굴 상태 정보를 통해 운전자가 졸음 및 정면 응시 여부를 판단하여 상기 운전자가 정면을 응시한다고 판단되면, 위험 정도와 조작레벨에 따른 상황을 판단하는 것이 바람직하다.

그리고 카메라를 통해 취득한 얼굴 이미지를 정규화하기 위해, 얼굴 이미지에서 기준 영역을 설정하기 위한 두 개의 기준 포인트를 선택하는 포인트 선택부; 및 상기 선택된 기준 포인트의 좌표와 두 기준 포인트 간의 거리와 비율을 이용하여 사각형의 기준 영역을 설정하는 정규화부를 포함한다.

또한, 상기 포인트 선택부는, 얼굴 이미지에서 동공 기준 영역을 선택하기 위해, 동공 중심에 동공 기준 포인트가 선택되었는지를 판단하여 기준 포인트가 동공 중심에 위치함을 확인하면, 상기 동공 기준 포인트로부터 크기가 조절되는 기준 가이드 원을 사용자에게 제공하고, 설정 선택이 완료되면 해당 상기 기준 가이드 원을 동공 기준 영역으로 설정한다.

그리고 상기 포인트 선택부는, 선택된 동공 기준 영역을 제외한 나머지 영역의 픽셀을 '0' 값으로 처리하는 것이 바람직하다.

한편, 본 발명의 일 실시예에 따르면, 설정된 사각형의 기준 영역간의 벡터 정보들을 이용하여 얼굴 방향 기준 시선 정보, 눈 감은 여부 및 시선 상태를 포함하는 운전자의 얼굴 벡터 정보를 획득하는 벡터 정보 획득부; 및 운전자의 부가 기능 조작 상태를 포함하는 운전자 연결 상태 정보를 획득하고 상기 획득한 운전자의 얼굴 벡터 정보를 기준으로 운전자 연결 상태 정보를 이용하여 운전자의 얼굴 상태 정보를 결정하는 얼굴 상태 정보 결정부를 포함한다.

본 발명의 일 실시예에 따른 주행상황 판단 정보 기반 운전자 상태 인식 방법은 영상 획득 장치로부터 운전자의 얼굴 상태 정보와 운전자의 주행 정보 획득 장치로부터 운전자의 주행 행위 정보를 획득하는 단계; 차량 외부 간섭 인식 장치로부터 주변 차량의 주행 상황 인식 정보를 획득하는 단계; 상기 운전자의 얼굴 상태 정보, 주변 차량의 주행 상황 인식 정보 및 운전자의 주행 행위 정보 등의 획득 정보와 학습된 얼굴 벡터 정보를 비교하여 운전자 주행 집중도를 결정하는 단계; 및 상기 결정된 운전자 주행 집중도에 대응되도록 운전자 주행 지도를 결정하는 단계;를 포함한다.

본 발명의 일 실시예에 채용된 상기 운전자 주행 집중도를 결정하는 단계는, 상기 운전자의 얼굴 상태 정보를 통해 운전자가 졸음 및 정면 응시 여부를 판단하는 단계; 및 상기 운전자가 정면을 응시한 것으로 판단하면, 위험 정도와 조작레벨에 따른 상황을 판단하는 단계;를 포함한다.

한편, 본 발명의 일 실시예에서는 카메라를 통해 취득한 얼굴 이미지를 정규화하기 위해, 얼굴 이미지에서 기준 영역을 설정하기 위한 두 개의 기준 포인트를 선택하는 기준 포인트 선택 단계; 및 상기 선택된 기준 포인트의 좌표와 두 기준 포인트 간의 거리와 비율을 이용하여 사각형의 기준 영역을 설정하는 워핑 및 정규화 단계;를 포함한다.

그리고, 상기 기준 포인트 선택 단계는, 얼굴 이미지에서 동공 기준 영역을 선택하기 위해, 동공 중심에 동공 기준 포인트가 선택되는 단계; 상기 동공 기준 포인트로부터 크기가 조절되는 기준 가이드 원이 제공되는 단계; 및 상기 기준 가이드 원을 통해 동공 기준 영역을 선택하여 정규화하는 단계;를 포함한다.

여기서, 상기 동공 기준 영역을 선택하여 정규화하는 단계는, 선택된 동공 기준 영역을 제외한 나머지 영역의 픽셀을 '0' 값으로 처리한다.

더하여, 본 발명의 일 실시예에서는 설정된 사각형의 기준 영역간의 벡터 정보들을 이용하여 얼굴 방향 기준 시선 정보, 눈 감은 여부 및 시선 상태를 포함하는 운전자의 얼굴 벡터 정보를 획득하는 단계; 운전자의 부가 기능 조작 상태를 포함하는 운전자 연결 상태 정보를 획득하는 단계; 및 상기 획득한 운전자의 얼굴 벡터 정보를 기준으로 운전자 연결 상태 정보를 이용하여 운전자의 얼굴 상태 정보를 결정하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 사용자가 단순히 얼굴 이미지에서 필요로하는 부분에 포인트를 찍는 것만으로 기준 영역의 자동 설정이 가능해 짐으로써, 추후 운전자의 정상/비정상 판단을 분석을 위한 데이터로 이용 시, 기준 영역이 정규화되어 수집될 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 주행상황 판단 정보 기반 운전자 상태 인식 장치를 설명하기 위한 기능블럭도.
도 2 내지 도 3는 본 발명의 일 실시예에서 얼굴 부분 영역을 검출하기 위해 기준 포인트를 선택하는 모습을 나타낸 참고도.
도 4는 본 발명의 일 실시예에서 동공 영역을 선택하기 위한 과정을 설명하기 위한 참고도.
도 5는 본 발명의 일 실시예에서 얼굴 부분의 영역을 선택하기 위한 과정을 설명하기 위한 참고도.
도 6a 내지 도 6d는 본 발명의 일 실시예에서 운전자의 정면 인식 기준을 설명하기 위한 참고도.
도 7a 내지 도 7d는 운전자의 눈 상태에 따른 인식 기준을 설명하기 위한 참고도.
도 8은 본 발명의 일 실시예에 따른 주행상황 판단 정보 기반 운전자 상태 인식을 위한 인식 데이터 제공 방법을 설명하기 위한 순서도.
도 9는 본 발명의 일 실시예에서 주행상황 판단 정보 기반 운전자 상태 인식 방법을 설명하기 위한 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 주행상황 판단 정보 기반 운전자 상태 인식 장치는 얼굴 벡터 데이터 정보를 등록할 수 있도록, 포인트 선택부(110), 정규화부(120), 벡터 정보 획득부(130), 얼굴 상태 정보 결정부(140) 및 학습 정보 저장부(150)를 포함한다.

포인트 선택부(110)는 카메라를 통해 취득한 얼굴 이미지를 정규화하기 위해, 얼굴 이미지에서 기준 영역(을 선택하기 위한 두 개의 기준 포인트가 사용자로부터 입력되면, 해당 위치를 기준 포인트로 선택한다. 예를 들면, 기준 포인트는 도 2에 도시된 바와 같이, 눈은 눈꼬리 양측, 입꼬리 양측 및 코방울 양측에 위치하는 것이 바람직하나 이를 한정하는 것은 아니다.

이어서, 정규화부(120)는 도 3에 도시된 바와 같이, 하기의 [수학식 1]을 통해, 상기 선택된 기준 포인트(SP)의 좌표와 두 기준 포인트 간의 거리(D)와 비율을 이용하여 사각형상으로 이루어진 얼굴의 각 부분에 대한 기준 영역(SA)을 설정한다.

이후, 정규화부(120)는 정규화된 눈, 눈꼬리, 동공, 감은 눈, 입, 입꼬리, 코의 정규화된 데이터에 대하여 학습하여 학습 정보 저장부(150)에 업데이트하는 과정을 거치게 된다.

예를 들어, 정규화부(120)는 얼굴 데이터, 눈 데이터, 감은 눈 데이터, 동공 데이터, 코 데이터, 입 데이터를 전방 9방향에서 정규화한 후 얼굴, 눈(좌, 우 구분), 코, 동공(좌, 우 구분), 감은 눈(좌, 우 구분), 양안 눈꼬리, 입꼬리를 학습하여 학습 정보 저장부(150)에 저장한다.

여기서, Imagenormailize는 기준 영역이고, D는 포인트와의 거리이고, x, y는 기준 포인트 좌표값이며, W는 기준 영역의 넓이값이고, H는 기준 영역의 높이값이다.

이러한 본 발명의 일 실시예에 따르면, 사용자가 단순히 얼굴 이미지에서 필요한 부분에 기준 포인트(SP)를 찍는 것만으로 기준 영역(SA)의 자동 설정이 가능해 짐으로써, 추후 운전자의 정상/비정상 판단을 분석을 위한 데이터로 이용 시, 기준 영역이 정규화되어 수집될 수 있는 장점이 있다.

한편, 본 발명의 일 실시예에 채용된 포인트 선택부(110)는 도 4에 도시된 바와 같이, 동공 중심에 동공 기준 포인트(CP)가 선택되었는지를 판단하고, 동공 중심에 동공 기준 포인트가 선택되면, 얼굴 이미지에서 동공 기준 영역을 선택하기 위한 것으로 판단하여 상기 동공 기준 포인트로부터 크기가 조절되는 기준 가이드 원(GC)을 사용자에게 제공한다. 여기서, 기준 가이드 원은 사용자가 마우스의 휠이나 방향 버튼 등으로 원의 크기를 조절하는 것이 바람직하다.

이후, 사용자가 선택을 완료하면, 포인트 선택부(110)는 상기 기준 가이드 원(GC)을 통해 동공 기준 영역(SA)을 선택하여 정규화한다. 여기서, 포인트 선택부(110)는 선택된 동공 기준 영역을 제외한 나머지 영역의 픽셀을 '0' 값으로 처리하는 것이 바람직하다.

따라서, 본 발명의 일 실시예에 채용된 포인트 선택부는 얼굴 이미지에서 동공을 용이하게 정규화할 수 있는 장점이 있다.

본 발명의 일 실시예에 채용된 포인트 선택부(110)는 얼굴 영역 내에서 눈, 코 입 관련 부위를 보다 정확하고 빠르게 검출하기 위해서, 도 5a에 도시된 바와 같이, 얼굴 이미지에서 눈 후보 영역, 코 후보 영역 및 입 후보 영역을 먼저 검출한 이후, 눈 영역을 검출한다. 이후, 도 5c에 도시된 바와 같이 눈은 홍채 검출 후보 영역을 지정하고, 도 5d에 도시된 바와 같이 감은 눈을 얼굴의 부분을 검출한다.

그리고, 얼굴 벡터 정보 획득부(130)는 얼굴 이미지에서 설정된 사각형의 기준 영역(SA)간의 벡터 정보들을 이용하여 얼굴 방향, 얼굴 방향 기준 시선 정보, 눈 감은 여부 및 시선 상태를 포함하는 운전자의 얼굴 벡터 정보를 획득한다.

예를 들어, 얼굴 벡터 정보 획득부(130)는 정면을 응시하는 운전자의 얼굴 벡터 정보가 학습 정보 저장부(150)에 저장된다. 이때, 저장되는 운전자의 얼굴 벡터 정보는 얼굴 부분 간의 관계성 기반 분포 및 확률에 의해 계산된다. 여기서 관계성이란 양쪽 눈, 코, 눈의 크기 및 상대위치에 대한 관계이다.

또한, 얼굴 벡터 정보 획득부(130)는 도 6a 내지 6d에 도시된 바와 같이, 양쪽 눈꼬리에 선택된 기준 포인트를 기준으로 동공의 위치, 눈, 코, 입이 이루는 상대 위치와 크기에 대한 정규화 정보를 바탕으로 한 확률분포를 계산하여 학습 정보 저장부(150)에 저장한다.

예를 들어, 얼굴 벡터 정보 획득부(130)는 도 6a에 도시된 바와 같이, 눈의 기준 영역들과 코 및 입의 기준 영역(SA)들을 통해 얼굴이 정면을 응시하고 있지 않음에 따라 정면을 응시하고 있다고 볼 수 없으나, 동공(CP)이 정면을 응시하고 있음에 따라 운전자가 정면을 응시하고 있다고 판단하여 저장하고, 도 6b과 도 6c는 눈, 코 및 입의 기준 포인트(SP)와 동공(CP)이 모두 정면을 응시하고 있지 않음에 따라 정면 미 응시 상태로 판단하여 저장하고, 도 6d는 눈, 코 및 입의 기준 포인트(SP)와 동공(CP)이 모두 정면을 응시하고 있음에 따라 정면 응시함을 기준으로 저장하고 학습한다.

그리고, 운전자가 눈을 감은 상태인지를 판단하는 방법은 얼굴 벡터 정보 획득부(130)가 도 7a 내지 도 7c에 도시된 바와 같이, 얼굴 이미지에서 기준 포인트(SP)는 나타나 있으나 동공(CP)을 검출할 수 없음에 따라 모두 눈을 감은 상태로 판단하고, 도 7d는 기준 포인트(SP)와 동공(CP)이 모두 검출됨에 따라 운전자가 눈을 뜨고 있는 상태로 판단하여 저장한다.

이에 더하여, 얼굴 벡터 정보 획득부(130)는 도 7a에 도시된 바와 같이 눈의 기준 영역(SA)들과 코 및 입의 기준 영역(SA)들을 통해 얼굴이 정면을 응시하고 있으나 동공(CP)을 검출할 수 없는 상태(Lv1), 눈의 기준 영역(SA)들과 코 및 입의 기준 영역(SA)들을 통해 고개가 약간 떨궈진 상태임을 확인한 상태에서 동공(CP)을 검출할 수 없는 상태(Lv2), 눈의 기준 영역(SA)들과 코 및 입의 기준 영역(SA)들을 통해 고개가 떨궈진 상태임을 확인한 상태에서 동공(CP)을 검출할 수 없는 상태(Lv3)를 기준으로 얼굴 상태 벡터를 학습 정보 저장부(150)에 저장하고 학습한다.

한편, 얼굴 벡터 정보 획득부(130)는 얼글 벡터 정보를 구성하는 졸음 상태 레벨과 주의 분산 상태 레벨을 분석하여 얼굴의 정보를 기반으로 얼굴의 상태를 [수학식 2]를 참조하여 인식할 수 있다.

여기서, Statusdefinition(S)는 눈 감은 상태 판단 함수이고, Statuseyeclosed(W)는 눈 감은 상태 정규화 파라미터 가중치(W)이며, fps(t)는 실행 속도에 따른 눈 감은 상태 시간 가중치 파라미터이다.

한편, 눈을 감은 상태 레벨 결정 함수(Fn(Lv))는 하기의 [수학식 3]을 통해 얻을 수 있다.

여기서, Fn(Lv)는 눈을 감은 상태 레벨 결정 함수이고,

는 얼굴 부분 정보의 절대 위치, 크기, 상대 위치 및 거리 정보를 정규화한 벡터 값이다.

한편, 얼굴 벡터 정보 획득부(130)는 운전자의 얼굴 벡터 정보를 획득하기 전에 초기 얼굴 정보를 보정하거나 정규화하는 작업을 먼저 수행할 수 있다. 그 예로, 동공(양면) 높이/너비 차이를 정규화하거나 코를 중심으로 정규화하거나, 정상상태의 눈 깜빡임 주기를 정규화하거나 안경 착용 유무를 판단하여 정규화할 수 있다.

그리고, 얼굴 벡터 정보 획득부(130)는 눈꼬리 너비 정규화 비율(A), 입꼬리 너비 정규화 비율(B) 및 코, A와 B간의 위치 비율을 정규화할 수도 있다.

한편, 얼굴 상태 정보 결정부(140)는 차량 외부 간섭 인식 장치(160)로부터 운전자의 부가 기능 조작조작 상태를 포함하는 주행 중 운전자 조작 정보와 주변 차량으로부터 제공되는 경고 정보인 주행 중 외부 간섭 상황 정보를 획득한다.

여기서, 주행 중 운전자 조작 정보는 스마트폰 작동 여부, 네비게이션 작동 여부, 차량 내부 디바이스 사용 여부 등을 판단할 수 있는 정보이고, 주행 중 외부 간섭 상황 정보는 주변 차량으로부터 제공되는 정보 예를 들어, 주위 차량의 방향 지시등 정보, 상향등 정보, 측면 차량의 주행 패턴 정보, 앞 차와의 거리 정보, 주변 차량의 차선 유지 정보, BSD(Blind Spot Detection) 정보, 신호 대기 및 진입 정보 및 차량 속도 정보이다.

이어서, 얼굴 상태 정보 결정부(140)는 상기 획득한 운전자의 얼굴 벡터 정보를 기준으로 운전자 연결 상태 정보를 이용하여 운전자의 얼굴 상태 정보를 결정하는 역할을 한다.

즉, 얼굴 상태 정보 결정부(140)는 운전자의 얼굴 상태 정보가 정상이더라도 운전자가 사용하고 있는 주행 중 운전자 조작 정보와 차량 외부 간섭 상황을 인식하는 주행 중 외부 간섭 상황 정보가 수신되는 경우에 대해 "운전자의 운행이 정상이거나 비정상"임을 라벨링하여 분류함으로써 운전자 패턴을 학습할 수 있는 장점이 있다.

한편, 차량 외부 간섭 인식 장치는 카메라가 이용되는 것이 바람직하나 이를 한정하지 않고, 주변 차량의 경적 소리를 인식할 수 있는 마이크 등이 추가로 이용될 수 있다.

이러한, 본 발명의 일 실시예에 따르면, 운전자의 주행 조작과 타 차량에서 전하는 경고 메시지를 인식하여 주행의 정상/비정상을 학습할 수 있는 효과가 있고, 주행 지도가 가능하고 실시간으로 업데이트하여 운전자의 정상/비정상으로 구분하여 자율주행 상황 판단 알고리즘으로 대처도 가능한 장점이 있다.

본 발명의 일 실시에에 따른 주행상황 판단 정보 기반 운전자 상태 인식 장치는 영상 획득부(210), 주행 상황 인식부(220), 주행 집중도 결정부(230) 및 주행 지도 결정부(240)를 포함하여 이루어진다.

영상 획득부(210)는 카메라와 같은 영상 획득 장치로부터 운전자의 얼굴 상태 정보와 운전자의 주행 정보 획득 장치로부터 운전자의 주행 행위 정보를 획득하는 역할을 한다.

그리고 주행 상황 인식부(220)는 차량 외부 간섭 인식 장치로부터 주변 차량의 주행 상황 인식 정보를 획득하는 역할을 한다.

또한 주행 집중도 결정부(230)는 상기 운전자의 얼굴 상태 정보, 주변 차량의 주행 상황 인식 정보 및 운전자의 주행 행위 정보 등의 획득 정보와 학습된 얼굴 벡터 정보를 비교하여 운전자 주행 집중도를 결정하는 역할을 한다.

그리고, 주행 지도 결정부(240)는 상기 결정된 운전자 주행 집중도에 대응되도록 운전자 주행 지도를 결정하는 역할을 한다.

본 발명의 일 실시예에 따르면, 단순히 운전자가 눈을 감고 있는지 아니면 시선이 분산되어 있는 상태인지만을 판단하여 안전 운전 방법을 제공하지 않고 주위 차량의 정보조작 상태를 포함하는 운전자 연결 상태 정보를 이용하여 운전자가 정면을 바라보고 있지 않은 상태 중 운전자가 정상적으로 운전 중인 상태를 검출할 수 있고, 운전자가 정면을 바라보고 있는 상태에서 운전자가 비정상적으로 운전중인 상태를 검출할 수 있는 효과가 있다.

한편, 본 발명의 일 실시예에 채용된 주행 집중도 결정부(230)는 상기 운전자의 얼굴 상태 정보를 통해 운전자가 졸음 및 정면 응시 여부를 판단한 후 상기 운전자가 정면을 응시한 것으로 판단되면, 위험 정도와 조작 레벨에 따른 상황을 판단한다.

이하, 하기에서는 본 발명의 주행상황 판단 정보 기반 운전자 상태 인식 방법에서 비교대상 데이터를 획득하여 학습하고 저장하는 방법에 대하여 도 8을 참조하여 설명하기로 한다.

먼저, 운전자 상태 인식 장치는 카메라를 통해 취득한 얼굴 이미지를 정규화하기 위해, 얼굴 이미지에서 기준 영역을 설정하기 위한 두 개의 기준 포인트를 선택한다(S110). 여기서, 눈은 눈 영역 좌/우 눈꼬리 끝부분을 기준으로 눈꼬리 영역 검출에 대한 후보를 지정하고, 코는 얼굴의 중심 부분에 후보 영역을 두며, 입은 얼굴 하단부에서 검출 후보 영역을 지정하여 검출하고, 입 꼬리 영역은 눈 꼬리 후보영역과 마찬가지로 검출된 입의 양쪽 가운데 끝을 기준으로 입 꼬리를 검출하는 것이 바람직하다.

이어서, 운전자 상태 인식 장치는 상기 선택된 기준 포인트의 좌표와 두 기준 포인트 간의 거리와 비율을 이용하여 사각형의 기준 영역을 설정하는 워핑 및 정규화한다(S120).

하기에서는 본 발명의 일 실시예에 채용된 데이터 가공 방법 중 동공 데이터를 가공하는 방법에 대하여 설명하기로 한다.

먼저, 운전자 상태 인식 장치는 얼굴 이미지에서 동공 기준 영역을 선택하기 위해, 동공 중심에 동공 기준 포인트가 선택되면, 상기 동공 기준 포인트로부터 크기가 조절되는 기준 가이드 원이 제공된다.

이후, 사용자가 선택을 완료하면, 운전자 상태 인식 장치는 상기 기준 가이드 원을 통해 동공 기준 영역을 선택하여 정규화한다. 여기서, 포인트 선택부(110)는 선택된 동공 기준 영역을 제외한 나머지 영역의 픽셀을 '0' 값으로 처리하는 것이 바람직하다.

이후, 운전자 상태 인식 장치는 설정된 사각형의 기준 영역간의 벡터 정보들을 이용하여 얼굴 방향 기준 시선 정보, 눈 감은 여부 및 시선 상태를 포함하는 운전자의 얼굴 벡터 정보를 획득한다(S130).

이어서, 운전자 상태 인식 장치는 운전자의 부가 기능 조작 상태를 포함하는 주행 중 운전자 조작 정보를 획득한다(S140).

그러면, 운전자 상태 인식 장치는 조작 상태를 포함하는 운전자 연결 상태 정보를 획득하고, 운전자 연결 상태 정보를 이용하여 운전자의 얼굴 상태 정보를 결정한다(S150).

한편, 얼굴 상태 정보를 결정하는 단계(S150)는 차량 외부 간섭 인식 장치(160)로부터 운전자의 부가 기능 조작조작 상태를 포함하는 주행 중 운전자 조작 정보와 주변 차량으로부터 제공되는 경고 정보인 주행 중 외부 간섭 상황 정보를 획득한다. 여기서, 주행 중 운전자 조작 정보는 스마트폰 작동 여부, 네비게이션 작동 여부, 차량 내부 디바이스 사용 여부 등을 판단할 수 있는 정보이고, 주행 중 외부 간섭 상황 정보는 주변 차량으로부터 제공되는 정보 예를 들어, 주위 차량의 방향 지시등 정보, 상향등 정보, 측면 차량의 주행 패턴 정보, 앞 차와의 거리 정보, 주변 차량의 차선 유지 정보, BSD(Blind Spot Detection) 정보, 신호 대기 및 진입 정보 및 차량 속도 정보이다.

이하, 하기에서는 본 발명의 일 실시예에 따른 주행상황 판단 정보 기반 운전자 상태 인식 방법에 대하여 도 9를 참조하여 설명하기로 한다.

먼저, 본 발명의 일 실시예에 따른 주행상황 판단 정보를 기반으로 하는 운전자 상태 인식 방법은 운전자 상태 인식 장치에 의해 수행하는 것이 바람직하다.

먼저, 운전자 상태 인식 장치는 영상 획득 장치로부터 운전자의 얼굴 상태 정보와 운전자의 주행 정보 획득 장치로부터 운전자의 주행 행위 정보를 획득한다(S210).

이어서, 운전자 상태 인식 장치는 차량 외부 간섭 인식 장치로부터 주변 차량의 주행 상황 인식 정보를 획득한다(S220).

이후, 운전자 상태 인식 장치는 상기 운전자의 얼굴 상태 정보, 주변 차량의 주행 상황 인식 정보 및 운전자의 주행 행위 정보 등의 획득 정보와 학습된 얼굴 벡터 정보를 비교하여 운전자 주행 집중도를 결정한다(S230).

이어서, 운전자 상태 인식 장치는 상기 결정된 운전자 주행 집중도에 대응되도록 운전자 주행 지도를 결정한다(S240).

한편, 상기 운전자 주행 집중도를 결정하는 단계(S230)는 상기 운전자의 얼굴 상태 정보를 통해 운전자가 졸음 및 정면 응시 여부를 판단한다(S231).

상기 판단단계(S231)에서 상기 운전자가 정면을 응시한 것으로 판단하면(YES), 운전자 상태 인식 장치는 위험 정도와 조작레벨에 따른 상황을 판단한다(S232).

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니 되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

110 : 포인트 선택부 120 : 정규화부
130 : 벡터 정보 획득부 140 : 얼굴 상태 정보 결정부
150 : 학습 정보 저장부
210 : 영상 획득부 220 : 주행 상황 인식부
230 : 주행 집중도 결정부 240 : 주행 지도 결정부

Claims

영상 획득 장치로부터 운전자의 얼굴 상태 정보와 운전자의 주행 정보 획득 장치로부터 운전자의 주행 행위 정보를 획득하는 영상 획득부;
차량 외부 간섭 인식 장치로부터 주변 차량의 주행 상황 인식 정보를 획득하는 주행 상황 인식부;
상기 운전자의 얼굴 상태 정보, 주변 차량의 주행 상황 인식 정보 및 운전자의 주행 행위 정보 등의 획득 정보와 학습된 얼굴 벡터 정보를 비교하여 운전자 주행 집중도를 결정하는 주행 집중도 결정부; 및
상기 결정된 운전자 주행 집중도에 대응되도록 운전자 주행 지도를 결정하는 주행 지도 결정부;를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 1항에 있어서,
상기 주행 집중도 결정부는,
상기 운전자의 얼굴 상태 정보를 통해 운전자가 졸음 및 정면 응시 여부를 판단하여 상기 운전자가 정면을 응시한 것으로 판단되면, 위험 정도와 조작레벨에 따른 상황을 판단하는 것인 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 1항에 있어서,
카메라를 통해 취득한 얼굴 이미지를 정규화하기 위해, 얼굴 이미지에서 기준 영역을 설정하기 위한 두 개의 기준 포인트를 선택하는 포인트 선택부; 및
상기 선택된 기준 포인트의 좌표와 두 기준 포인트 간의 거리와 비율을 이용하여 사각형의 기준 영역을 설정하는 정규화부;를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 3항에 있어서,
상기 포인트 선택부는,
얼굴 이미지에서 동공 기준 영역을 선택하기 위해, 동공 중심에 동공 기준 포인트가 선택되었는지를 판단하여 기준 포인트가 동공 중심에 위치함을 확인하면, 상기 동공 기준 포인트로부터 크기가 조절되는 기준 가이드 원을 사용자에게 제공하고, 설정 선택이 완료되면 해당 상기 기준 가이드 원을 동공 기준 영역으로 설정하는 것인 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 4항에 있어서,
상기 포인트 선택부는,
선택된 동공 기준 영역을 제외한 나머지 영역의 픽셀을 '0' 값으로 처리하는 것을 특징으로 하는 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 3항에 있어서,
설정된 사각형의 기준 영역간의 벡터 정보들을 이용하여 얼굴 방향 기준 시선 정보, 눈 감은 여부 및 시선 상태를 포함하는 운전자의 얼굴 벡터 정보를 획득하는 벡터 정보 획득부; 및
운전자의 부가 기능 조작 상태를 포함하는 주행 중 운전자 조작 정보를 획득하고 상기 획득한 운전자의 얼굴 벡터 정보를 기준으로 운전자 연결 상태 정보를 이용하여 운전자의 얼굴 상태 정보를 결정하는 얼굴 상태 정보 결정부를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 6항에 있어서,
상기 얼굴 벡터 정보는,
얼굴 부분 간의 관계성 기반 분포 및 확률에 의해 계산된 것인 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 7항에 있어서,
상기 관계성은
양쪽 눈, 코, 눈의 크기 및 상대위치에 대한 관계인 주행상황 판단 정보 기반 운전자 상태 인식 장치.
영상 획득 장치로부터 운전자의 얼굴 상태 정보와 운전자의 주행 정보 획득 장치로부터 운전자의 주행 행위 정보를 획득하는 단계;
차량 외부 간섭 인식 장치로부터 주변 차량의 주행 상황 인식 정보를 획득하는 단계;
상기 운전자의 얼굴 상태 정보, 주변 차량의 주행 상황 인식 정보 및 운전자의 주행 행위 정보 등의 획득 정보와 학습된 얼굴 벡터 정보를 비교하여 운전자 주행 집중도를 결정하는 단계; 및
상기 결정된 운전자 주행 집중도에 대응되도록 운전자 주행 지도를 결정하는 단계;를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 방법.
제 9항에 있어서,
상기 운전자 주행 집중도를 결정하는 단계는,
상기 운전자의 얼굴 상태 정보를 통해 운전자가 졸음 및 정면 응시 여부를 판단하는 단계; 및
상기 운전자가 정면을 응시한 것으로 판단하면, 위험 정도와 조작레벨에 따른 상황을 판단하는 단계;를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 방법.
제 9항에 있어서,
카메라를 통해 취득한 얼굴 이미지를 정규화하기 위해, 얼굴 이미지에서 기준 영역을 설정하기 위한 두 개의 기준 포인트를 선택하는 기준 포인트 선택 단계; 및
상기 선택된 기준 포인트의 좌표와 두 기준 포인트 간의 거리와 비율을 이용하여 사각형의 기준 영역을 설정하는 워핑 및 정규화 단계;를 포함하는 데이터 가공수단;를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 방법.
제 11항에 있어서,
얼굴 이미지에서 동공 기준 영역을 선택하기 위해, 동공 중심에 동공 기준 포인트가 선택되는 단계;
상기 동공 기준 포인트로부터 크기가 조절되는 기준 가이드 원이 제공되는 단계; 및
상기 기준 가이드 원을 통해 동공 기준 영역을 선택하여 정규화하는 단계;를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 방법.
제 12항에 있어서,
상기 동공 기준 영역을 선택하여 정규화하는 단계는,
선택된 동공 기준 영역을 제외한 나머지 영역의 픽셀을 '0' 값으로 처리하는 것을 특징으로 하는 주행상황 판단 정보 기반 운전자 상태 인식 방법.
제 11항에 있어서,
설정된 사각형의 기준 영역간의 벡터 정보들을 이용하여 얼굴 방향 기준 시선 정보, 눈 감은 여부 및 시선 상태를 포함하는 운전자의 얼굴 벡터 정보를 획득하는 단계;
운전자의 부가 기능 조작 상태를 포함하는 주행 중 운전자 조작 정보를 획득하는 단계; 및
상기 획득한 운전자의 얼굴 벡터 정보를 기준으로 운전자 연결 상태 정보를 이용하여 운전자의 얼굴 상태 정보를 결정하는 단계를 포함하는 주행상황 판단 정보 기반 운전자 상태 인식 방법.
제 14항에 있어서,
상기 얼굴 벡터 정보는,
얼굴 부분 간의 관계성 기반 분포 및 확률에 의해 계산된 것인 주행상황 판단 정보 기반 운전자 상태 인식 장치.
제 15항에 있어서,
상기 관계성은
양쪽 눈, 코, 눈의 크기 및 상대위치에 대한 관계인 주행상황 판단 정보 기반 운전자 상태 인식 장치