KR101914362B1

KR101914362B1 - 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법

Info

Publication number: KR101914362B1
Application number: KR1020170027211A
Authority: KR
Inventors: 이민호; 김지훈; 김성규
Original assignee: 경북대학교 산학협력단
Priority date: 2017-03-02
Filing date: 2017-03-02
Publication date: 2019-01-14
Also published as: KR20180100865A

Abstract

본 발명은 차량 내부에 위치하는 운전자의 응시영역과 차량 전방의 객체 영역을 통합적으로 분석하여 위험 상황을 판단하고, 이에 따른 경고 정보를 운전자에게 제공함으로써, 운전자의 부주의로 인해 발생되는 교통사고를 미연에 방지할 수 있도록 해 주는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법은 차량 내에 위치하는 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영하여 운전자 영상을 획득함과 더불어, 차량 외부의 전방 영역에 대한 차량 외부 영상을 각각 획득하고, 상기 운전자 영상으로부터 운전자 동공 중심부와 운전자의 눈꺼풀 랜드마크 포인트간 거리를 근거로 운전자의 시선 방향에 대응되는 시선 영역을 검출하며, 상기 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량과, 차선, 신호등 및, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성하고, 상기 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시 영역을 매핑하여 추출함과 더불어, 해당 운전자 응시영역과 객체가 위치하는 객체 영역간의 상호 정보량 측정을 근거로 위험 상황을 판단하며, 위험상황으로 판단 결과에 대응하여 위험상황에 대한 경고정보를 출력하도록 구성되는 것을 특징으로 한다.

Description

차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법{Warning system and method based on analysis integrating internal and external situation in vehicle}

본 발명은 차량 내부에 위치하는 운전자의 응시영역과 차량 전방의 객체 영역을 통합적으로 분석하여 위험 상황을 판단하고, 이에 따른 경고 정보를 운전자에게 제공함으로써, 운전자의 부주의로 인해 발생되는 교통사고를 미연에 방지할 수 있도록 해 주는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법에 관한 것이다.

사회가 발전함에 따라, 인구 수도 크게 증대되었으며, 각종 사건, 사고 등도 지속적으로 일어나고 있다. 그 중 하나로, 차량 사고가 있을 수 있다. 차량 수가 늘어나고, 사회가 복잡해지면서, 차량 사고로 인해 숨지는 사망자 수도 크게 늘어났다.

차량 사고의 원인으로는 과속, 신호 위반, 음주 운전, 졸음 운전, 운전자 부주의 등과 같이 다양하게 있을 수 있다.

따라서, 이러한 사고를 예방할 수 있는 기술에 대한 필요성이 대두되었으며, 차량의 운행 중 발생될 수 있는 위험상황에 대비하여 차체의 움직임을 자동적으로 제어하는 다양한 형태의 안전장치가 마련되고 있음은 물론, 잠재적 위험요소에 대한 운전자의 주의를 환기시키고 운전자에게 운행 중 위험상황을 알리기 위한 경보장치들이 마련되고 있는 실정이다.

대표적인 경보장치로서는 운전자의 눈동자 움직임과 눈 깜빡임 횟수, 눈 감은 상태 지속시간 등을 카메라 등으로 감지하여 졸음운전 및 전방주시

태만 여부를 알 수 있는 운전자상태 감지장치와, 카메라나 레이더 등을 통해 전방의 차량이나 보행자를 검출하여 운전자에게 경보하는 전방 추돌경고장치가 있다.

그러나, 상기한 경보장치들은 주변의 교통상황과 운전자의 상황을 동시에 반영하여 경보서비스가 제공되지 않기 때문에, 오히려 오경보로 인해 운전에 방해가 되는 요인으로 작용함은 물론, 실질적으로 경보시스템의 효용성이 저감되는 문제가 있다.

1. 한국공개특허 제2015-0066739호 (명칭: 경고 메시지를 제공하는 차량 제어시스템 및 그 방법) 2. 한국공개특허 제2013-0054830호 (명칭 : 운전자 시선 추적과 교통정보를 이용한 도로상황 경보시스템 및 그 방법)

본 발명은 상기한 사정을 감안하여 창출된 것으로, 차량 내부에 위치하는 운전자의 시선 방향에 해당하는 응시 영역과 외부 객체 영역간의 상호 정보량을 근거로 운전자가 객체를 주의하고 있는지를 판단하고, 이에 따른 위험 상황을 판단하여 경고처리를 수행함으로써, 운전자의 부주의로 인해 발생되는 교통사고를 미연에 방지할 수 있도록 해 주는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법을 제공함에 그 기술적 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 차량 내에 위치하는 운전자의 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영하는 운전자 촬영 카메라와, 차량 외부의 전방 영역을 촬영하기 위한 차량 외부 촬영 카메라, 상기 운전자 촬영 카메라로부터 제공되는 운전자 영상으로부터 운전자 동공 중심부와 운전자의 눈꺼풀 랜드마크 포인트간 거리를 근거로 운전자의 시선 방향에 대응되는 시선 영역을 검출하는 운전자 상태 분석부, 상기 차량 외부 촬영 카메라로부터 제공되는 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량과, 차선, 신호등 및, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성하는 차량 외부상황 분석부, 상기 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시 영역을 매핑하여 추출함과 더불어, 해당 운전자 응시영역과 객체가 위치하는 객체 영역간의 상호 정보량 측정을 근거로 위험 상황을 판단하도록 구성되는 위험상황판단부 및, 상기 위험상황판단부의 위험상황으로 판단 결과에 대응하여 위험상황에 대한 경고정보를 출력하는 경고 처리부를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템이 제공된다.

또한, 상기 운전자 상태 분석부는 운전자 얼굴 윤곽을 따라 다수의 페이스 랜드마크 포인트를 검출함으로써 운전자 얼굴영역을 결정하는 얼굴영역 검출모듈과, 페이스 랜드마크 포인트 중 좌측 랜드마크 포인트 및, 우측 랜드마크 포인트를 선택하고, 코 포인트와 선택된 좌측 랜드마크 포인트간 제1 거리와, 코 포인트와 선택된 우측 랜드마크 포인트간 제2 거리를 산출하며, 제1 거리와 제2 거리간 차이를 근거로 운전자의 얼굴이 향하는 방향에 대응되는 헤드 포즈를 추정하는 헤드포즈 추정모듈 및, 운전자의 동공의 중심 포인트와 각 눈꺼풀 랜드마크 포인트 사이의 유클리드 거리(Euclidean distance) 측정을 통해 좌측, 중앙, 우측의 수평 위치를 결정하고, 안구 영역의 넓이 또는 높이 비율을 근거로 상측, 하측의 수직 방향을 결정함으로써, 2×3 매트릭스 구조의 6개 영역중 운전자의 시선이 향하는 방향을 추정하는 시선 추정모듈을 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템이 제공된다.

또한, 상기 시선 추정모듈은 상기 헤드포즈 추정모듈로부터 제공되는 헤드 포즈정보를 고려하여 운전자의 시선 방향을 결정하는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템이 제공된다.

또한, 상기 시선 추정모듈은 얼굴영역 이미지에서 안구 이미지를 추출하고, 안구 이미지에서 6개의 눈꺼풀 랜드마크 포인트를 획득하되, 6개의 눈꺼풀 랜드마크 포인트는 안구 영역의 좌우 양단과, 안구 영역 중심점 주변의 좌상, 우상, 좌하, 우하 측의 4개 포인트로 설정되고, 안구 영역 중심점 주변의 4개 포인트는 양단 포인트를 기준으로 수평방향으로 3등분하기 위한 지점에 대해 수직하는 방향에 위치하는 상측 및 하측 눈꺼풀 포인트로 각각 설정되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템이 제공된다.

또한, 상기 차량 외부상황 분석부는 차량 외부영상에서 강도 특성값과 적색과 청색에 해당하는 컬러값을 근거로 픽셀별 교통정보 분포(TID)를 산출하고, 교통정보 분포(TID)를 이용하여 픽셀별 주변 픽셀값의 차이를 Gaussian pyramid 방법을 통해 획득함으로써 적색과 녹색 컬러에 기반한 정보량으로 이루어지는 교통 분포 지도(TIDM)를 생성하는 상향식 정보처리 기반의 교통 분포 지도를 생성하는 교통 분포지도 생성모듈과, 차량 외부 영상에서 차량과 차선, 보행자 및 신호등을 포함하는 객체를 하향식 정보처리 기반의 객체 인식처리를 수행하되, 상기 신호등에 대해서는 LAB 컬러 공간에서의 적색과 녹색 영역을 신호등 대상 영역으로 추출함과 더불어, 원형의 블랍(blob) 형상을 추출하여, 적색 및 녹색 기반 신호등 대상영역 중 원형의 블랍 형상을 갖는 객체를 신호등으로 결정하는 객체 인식모듈을 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템이 제공된다.

또한, 상기 위험상황 판단부는 차량 외부영상에 대한 교통 분포 지도를 2×3 매트릭스 구조의 6개 영역으로 분할 설정하고, 교통 분포 지도의 6개 분할 영역 중 상기 운전자 상태 분석부에서 운전자 시선방향에 대응되는 영역을 운전자 응시 영역으로 매핑처리하는 매핑 처리모듈과, 교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단하되, 상호 정보량이 기준값 미만인 경우 위험상황으로 판단하는 위험상황 판단모듈을 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템이 제공된다.

또한, 상기 제4 단계에서 교통 분포 지도의 영역별 상호정보량(Information_trans)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템이 제공된다.

여기서, 상기 A 는 교통 분포 지도 분할 영역이고, B 는 사용자 시선 방향별 영역이며, i,j는 영상 이미지의 분할 영역 개수임.

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 차량 내에 위치하는 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영하여 운전자 영상을 획득함과 더불어, 차량 외부의 전방 영역에 대한 차량 외부 영상을 각각 획득하는 제1 단계와, 상기 운전자 영상으로부터 운전자 동공 중심부와 운전자의 눈꺼풀 랜드마크 포인트간 거리를 근거로 운전자의 시선 방향에 대응되는 시선 영역을 검출하는 제2 단계, 상기 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량과, 차선, 신호등 및, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성하는 제3 단계, 상기 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시 영역을 매핑하여 추출함과 더불어, 해당 운전자 응시영역과 객체가 위치하는 객체 영역간의 상호 정보량 측정을 근거로 위험 상황을 판단하는 제4 단계 및, 위험상황으로 판단 결과에 대응하여 위험상황에 대한 경고정보를 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법이 제공된다.

또한, 상기 제2 단계는 운전자 얼굴 윤곽을 따라 다수의 페이스 랜드마크 포인트를 검출함으로써 운전자 얼굴영역을 결정하는 얼굴영역 검출단계와, 페이스 랜드마크 포인트 중 좌측 랜드마크 포인트 및, 우측 랜드마크 포인트를 선택하고, 코 포인트와 선택된 좌측 랜드마크 포인트간 제1 거리와, 코 포인트와 선택된 우측 랜드마크 포인트간 제2 거리를 산출하며, 제1 거리와 제2 거리간 차이를 근거로 운전자의 얼굴이 향하는 방향에 대응되는 헤드 포즈를 추정하는 헤드포즈 추정단계 및, 운전자의 동공의 중심 포인트와 각 눈꺼풀 랜드마크 포인트 사이의 유클리드 거리(Euclidean distance) 측정을 통해 좌측, 중앙, 우측의 수평 위치를 결정하고, 안구 영역의 넓이 또는 높이 비율을 근거로 상측, 하측의 수직 방향을 결정함으로써, 2×3 매트릭스 구조의 6개 영역중 운전자의 시선이 향하는 방향을 추정하는 시선 추정단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법이 제공된다.

또한, 상기 시선 추정단계는 상기 헤드포즈 추정단계에서 추정된 헤드 포즈정보를 고려하여 운전자의 시선 방향을 결정하는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법이 제공된다.

또한, 상기 시선 추정단계는 얼굴영역 이미지에서 안구 이미지를 추출하고, 안구 이미지에서 6개의 눈꺼풀 랜드마크 포인트를 획득하되, 6개의 눈꺼풀 랜드마크 포인트는 안구 영역의 좌우 양단과, 안구 영역 중심점 주변의 좌상, 우상, 좌하, 우하 측의 4개 포인트로 설정되고, 안구 영역 중심점 주변의 4개 포인트는 양단 포인트를 기준으로 수평방향으로 3등분하기 위한 지점에 대해 수직하는 방향에 위치하는 상측 및 하측 눈꺼풀 포인트로 각각 설정되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법이 제공된다.

또한, 상기 제3 단계는 차량 외부영상에서 강도 특성값과 적색과 청색에 해당하는 컬러값을 근거로 픽셀별 교통정보 분포(TID)를 산출하고, 교통정보 분포(TID)를 이용하여 픽셀별 주변 픽셀값의 차이를 Gaussian pyramid 방법을 통해 획득함으로써 적색과 청색 컬러에 기반한 정보량으로 이루어지는 교통 분포 지도(TIDM)를 생성하는 상향식 정보처리 기반의 교통 분포 지도를 생성하는 교통 분포지도 생성 단계와, 차량 외부 영상에서 차량과 차선, 보행자 및 신호등을 포함하는 객체를 하향식 정보처리 기반의 객체 인식처리를 수행하되, 상기 신호등에 대해서는 LAB 컬러 공간에서의 적색과 녹색 영역을 신호등 대상 영역으로 추출함과 더불어, 원형의 블랍(blob) 형상을 추출하여, 적색 및 녹색 기반 신호등 대상영역 중 원형의 블랍 형상을 갖는 객체를 신호등으로 결정하는 객체 인식단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법이 제공된다.

또한, 상기 제4 단계는 차량 외부영상에 대한 교통 분포 지도를 2×3 매트릭스 구조의 6개 영역으로 분할 설정하고, 교통 분포 지도의 6개 분할 영역 중 상기 운전자 상태 분석부에서 운전자 시선방향에 대응되는 영역을 운전자 응시 영역으로 매핑처리하는 매핑 처리단계와, 교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단하되, 객체 영역에서의 상호 정보량이 기준값 미만인 경우 위험상황으로 판단하는 위험상황 판단단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법이 제공된다.

또한, 상기 제4 단계에서 교통 분포 지도의 영역별 상호정보량(Information_trans)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법이 제공된다.

본 발명에 의하면 차량 내부에 위치하는 운전자의 응시영역과 차량 전방의 객체 영역을 통합적으로 분석하여 위험 상황을 판단하고, 이에 따른 경고 정보를 운전자에게 제공함으로써, 운전자의 부주의로 인해 발생되는 교통사고를 미연에 방지할 수 있게 된다.

특히, 종래 운전자의 졸음상태만 검출하는 것이 아니라, 운전자의 주의 상태를 분석하여 위험 상황을 판단함으로써, 보다 정확한 위험상황에 대한 경고 효과가 있게 된다.

도1은 본 발명의 일 실시예에 따른 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 운전자 상태 분석부(300)의 내부 구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 운전자 상태 분석부(300)에서의 이미지 처리과정을 예시한 도면.
도4는 도1에 도시된 차량 외부상황 분석부(400)의 내부 구성을 기능적으로 분리하여 나타낸 블록구성도.
도5 내지 도6은 도4에 도시된 차량 외부상황 분석부(300)에서의 이미지 처리과정을 설명하기 위한 도면.
도7은 도1에 도시된 위험상황 판단부(500)의 내부 구성을 기능적으로 분리하여 나타낸 블록구성도.
도8은 도7에 도시된 위험상황 판단부(500)에서의 운전자 응시영역 매핑 처리과정을 설명하기 위한 도면.
도9는 본 발명에 따른 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법을 설명하기 위한 흐름도.
도10은 영상별 본 발명에 따른 상호 정보량 비교 실험 결과를 나타낸 도면.

이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도1은 본 발명의 일 실시예에 따른 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템의 개략적인 구성을 도시한 도면이다.

도1에 도시된 바와 같이 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템은 운전자 촬영 카메라(100)와 차량 외부 촬영 카메라(200), 운전자 상태 분석부(300), 차량 외부상황 분석부(400), 위험상황 판단부(500) 및, 경고 처리부(600)를 포함하여 구성된다.

이때, 상기 운전자 상태 분석부(300), 차량 외부상황 분석부(400), 위험상황 판단부(500) 및, 경고 처리부(600)는 하나의 장치로서 차량 내부에 별도의 단말 형태로 설치되거나, 또는 차량내 ECU(미도시) 등을 포함하는 차량 시스템을 통해 실시될 수 있다.

운전자 촬영 카메라(100)는 차량 내에 위치하는 운전자의 시선을 감지하기 위한 장치로서, 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영한다. 상기 운전자 촬영 카메라(100)는 운전자의 얼굴부분을 촬영할 수 있는 위치에 설치되며, 예컨대 운전자의 안경이나 헬멧 등의 별도 수단에 설치되어 이용될 수 있다.

상기 차량 외부 촬영 카메라(200)는 차량 외부를 촬영하기 위한 장치로서, 보다 상세하게는 차량의 전방 영역을 촬영한다. 상기 차량 외부 촬영 카메라(200)는 차량내 백미러에 설치되거나 또는 차량 보닛(bonnet) 등과 같이 차량의 전방 영역을 촬영할 수 있는 적절한 위치에 설치된다.

운전자 상태 분석부(300)는 상기 운전자 촬영 카메라(100)로부터 제공되는 운전자 영상으로부터 운전자 시선 방향에 대응되는 운전자 시선 영역을 추출한다.이때, 상기 운전자 상태 분석부(300)는 운전자의 동공 중심부와 눈꺼풀 랜드마크 포인트간 거리를 유클리드 거리 측정방법을 이용하여 산출함으로써, 운전자의 시선 방향을 추출한다.

차량 외부상황 분석부(400)는 상기 차량 외부 촬영카메라(200)로부터 제공되는 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량이나 차선, 신호등, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성한다.

위험상황 판단부(500)는 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시영역을 매핑하여 추출함과 더불어, 해당 운전자 응시영역과 객체가 위치하는 객체 영역간의 상호 정보량 측정을 근거로 위험 상황을 판단한다.

경고 처리부(600)는 위험 상황 판단 결정에 따른 위험 상황에 대한 경고 상태를 운전자에게 알리기 위한 수단으로, 디스플레이 또는 스피커 등을 통해 위험 경고를 표시출력하거나 또는 음성 출력한다.

도2는 도1에 도시된 운전자 상태 분석부(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.

도2에 도시된 바와 같이 운전자 상태 분석부(300)는 얼굴영역 검출모듈(310)과, 헤드포즈(head pose) 추정모듈(320) 및, 시선 추정모듈(330)을 포함하여 구성된다.

얼굴영역 검출모듈(310)은 상기 운전자 촬영 카메라(100)로부터 제공되는 운전자 영상으로부터 운전자의 얼굴 영역을 검출한다.

상기 얼굴영역 검출모듈(310)은 HOG(Histogram Oriented of Gradint) 특징을 이용한 linear classifier 기반의 regreaaion tree 알고리즘을 이용하여 운전자의 페이스 랜드마크를 검출함으로써, 운전자 얼굴영역을 결정한다. 도3a에서 (a)는 HOG(Histogram Oriented of Gradint) 특징을 이용한 운전자의 얼굴영역을 검출예를 나타낸 도면으로 얼굴 윤곽을 따라 다수의 페이스 랜드마크 포인트가 검출되어 표시출력되어 있다. 이때, 얼굴영역 검출은 상기한 알고리즘 이외에도 다양한 공지의 객체 검출 알고리즘이 적용되어 실시될 수 있다.

헤드포즈 추정모듈(320)은 상기 얼굴영역 검출모듈(310)에서 검출된 다수의 페이스 랜드마크 포인트 중 좌측 랜드마크 포인트 및, 우측 랜드마크 포인트와 코 포인트 및 턱 포인트에 해당하는 4개의 헤드포즈 랜드마크를 선택하고, 코 포인트와 좌측 랜드마크 포인트간 제1 거리와, 코 포인트와 우측 랜드마크 포인트간 제2 거리를 산출하며, 제1 거리와 제2 거리간 차이를 근거로 운전자의 얼굴이 향하는 방향에 대응되는 헤드포즈를 추정한다. 즉, 헤드포즈 추정모듈(320)은 코 포인트와 보다 가까운 거리 방향을 운전자의 헤드 방향으로 추정하되, 기 설정된 기준 거리 미만의 차이에 대해서는 헤드가 중심부를 향하는 것으로 판단한다. 이때, 운전자의 헤드포즈를 추정하기 위하여 POSIT(POS with Interation)방법을 적용할 수 있다. POSIT 는 POS(Pose from Orthography)의 반복을 통해 에러율을 감소시킬 수 있는 방법이다. 도3a의 (b)에는 POSIT 방법을 이용하여 추정된 헤드포즈(코 포인트로부터 연장된 직선라인)가 예시되어 있다.

시선 추정모듈(330)은 얼굴영역 검출모듈(310)에서 검출된 얼굴영역 이미지에서 안구 이미지를 추출함과 더불어, 추출된 안구 이미지에서 6개의 눈꺼풀 랜드마크 포인트를 획득한다. 이때, 눈커풀 랜드마크 포인트는 도3a의 (c)에 도시된 바와 같이 6개 위치에 대응된다. 6개의 눈꺼풀 랜드마크는 안구 영역의 좌우 양단과, 안구 영역 중심점 주변의 좌상, 우상, 좌하, 우하 측의 4개 포인트로 각각 설정된다. 여기서, 중심점 주변의 4개 포인트는 양단 포인트를 기준으로 수평방향으로 3등분되는 지점과 수직방향에 위치하는 상측 및 하측 눈꺼풀 포인트로 각각 설정될 수 있다.

또한, 상기 시선 추정모듈(330)은 안구 이미지로부터 동공 중심을 검출한다. 이때, 시선 추정모듈(330)은 보다 정확한 동공 위치를 검출하기 위한 안구 이미지에 대해 도3b에 도시된 바와 같이 다양한 전처리 동작을 수행하고, 전처리 동작을 통한 이미지를 이용하여 동공 중심을 결정한다.

즉, 시선 추정모듈(330)는 눈꺼플 랜드마크 포인트에 기반한 안구 이미지(a)를 정규화화고(b), 평활화(smoothing)하며(c), 강도(intensity) 히스토그램 균등화(equlization) 처리(e)를 수행한다. 또한, 동공 영역을 강조하기 위하여 안구 이미지(a)를 SQI(Self quotient image) 처리(d)하고, 확장되고 약해지는 기능에 대응하여 모폴리지 처리(f)를 수행하며, 강도 기준으로 동공 영역을 경계화(g)한다. 마지막으로 동공의 중심포인트는 원 형상 검출에 기반한 허프만 변환에 의해 결정된다(h,i).

또한, 시선 추정모듈(330)은 운전자의 시선 영역 즉, 운전자 관심 영역을 동공의 중심 포인트와 각 눈꺼풀 랜드마크 포인트 사이의 유클리드 거리(Euclidean distance) 측정방법으로 산출하여 좌측, 중앙, 우측의 수평 위치를 결정한다. 즉, 동공의 중심 포인트와 눈 영역의 중심점 주변의 4개 랜드마크 포인트간의 유클리드 거리를 산출하되, 유클리드 거리를 근거로 동공의 중심 포인트가 4개 눈꺼풀 랜드마크 포인트 사이에 위치하는 경우, 시선 영역은 중앙 영역으로 결정하고, 좌측 랜드마크 포인트를 기준으로 좌측으로 벗어나는 경우, 시선 영역은 좌측 영역으로 결정하며, 우측 랜드마크 포인트를 기준으로 우측으로 벗어나는 경우, 시선 영역은 우측 영역으로 결정한다.

또한, 상기 시선 추정모듈(330)은 안구 영역의 넓이 또는 높이 비율을 근거로 운전자 시선의 수직 방향을 결정한다. 일반적으로 도3c에 도시된 바와 같이, 운전자의 시선이 상측 방향을 향하는 경우에는 안구 영역이 넓어지고, 운전자의 시선이 하측 방향을 향하는 경우에는 안구 영역이 축소되는 바, 이를 고려하여 안구 영역이 기준 넓이 비율 이상이거나 또는 기준 높이 비율 이상인 경우에는 시선 방향이 상측 방향으로 결정되고, 그 반대인 경우에는 시선 방향이 하측 방향으로 결정된다. 이때, 상기 운전자 시선의 수직 방향 판단은 안구 영역의 넓이 비율과 높이 비율을 동시에 고려하는 것도 가능하다. 또한, 안구 영역의 기준 넓이 비율 및 기준 높이 비율은 운전자가 정면을 응시하는 상태에서의 안구 영역을 기준으로 설정할 수 있다.

즉, 상기 시선 추정모듈(330)은 상기 운전자의 수평 위치와 수직 위치를 근거로 2×3 매트릭스 구조의 6개 영역중 운전자 시선이 향하는 시선 방향을 추정한다. 이때, 시선 방향의 결정은 상기 헤드포즈 추정모듈(320)로부터 제공되는 헤드 포즈 정보를 고려할 수 있다. 예컨대, 헤드포즈가 일정 각도 이상 우측 방향을 향하고 있는 경우, 시선 추정모듈(330)에서 추정된 시선 방향이 정면이더라도 최후 운전자의 시선 방향은 우측으로 결정될 수 있다.

또한, 상기 시선 추정모듈(330)은 운전자의 중심부 주변 눈꺼풀 랜드마크 포인트간 높이를 근거로 운전자의 눈깜박임을 검출할 수 있다.

도4는 도1에 도시된 차량 외부상황 분석부(400)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.

도4에 도시된 바와 같이 외부상황 분석부(400)는 교통 분포지도 생성모듈(410)과, 객체 인식모듈(420)을 포함하여 구성되며, 상기 교통 분포지도 생성모듈(410)은 상향식 정보처리 기반으로 도로 정보를 생성하고, 상기 객체 인식모듈(420)은 하향식 정보처리 기반으로 객체정보를 인식한다.

일반적으로 사람의 시각정보가 뇌로 전달되는 과정에는 도5에 도시된 바와 r같이 상향식(Bottom-up)과 하향식(Top-down) 과정이 있다. 상향식(Bottom-up) 과정은 정보가 아래서부터 위로 올라가는 과정으로, 시각정보에서 설명하면 가공되지 않는 입력 이미지가 순차적으로 진행하면서 뇌로 진행하는 과정의 의미한다. 즉, 실제 사람의 시각정보의 경로는 눈 -> 망막(Retina) -> 시신경 -> 외측슬상체(Lateral Geniculate Nucleus, LGN) -> 시각겉질(Visual Cortex) 로 진행된다. 예컨대, 배고플 때 저장된 음식기억이 실제 사람이 눈으로 볼 때 우선적으로 음식에 초점이 가도록 만드는게 Top-down의 영향이라고 볼 수 있다.

또한, 하향식(Top-down)은 반대로 위에서 아래로 가는 과정으로, 시각정보에서는 뇌에서 이미 기억된 이미지, 즉 객체가 실제 들어온 입력정보에 영향을 주는 과정을 의미한다. 하향식(Top-down)에서는 실제 시각정보가 dorsal stream과 ventral stream라는 2가지 정보처리 형태 즉, What path(ventral stream에 해당)와 Where path(dorsal stream에 해당)으로 구분될 수 있으며, Where path의 경우 물체의 움직임 관련 정보 처리를 수행하고, What path의 경우 물체의 인식을 수행하는 것이라 할 수 있다.

상가 교통 분포지도 생성모듈(410)은 도6a에 도시된 바와 같이 이미지(Image)에서 강도(I)와 컬러(Color) 정보를 각각 획득하고, 강도(I) 특성값을 근거로 에지(E) 특성을 획득함과 더불어, 이미지에서 획득한 컬러 정보 즉, r(red),g(green),b(blue)로부터 사람이 보았을 때 실제 적색과 녹색 즉, R(Real Red), G(Real Green)을 각각 추출하며, 상기 강도(I)와 R(Real Red), G(Real Green)값을 근거로 픽셀별 교통정보 분포(TID)를 산출하고, 상기 에지(E)특성과 교통정보 분포(TID)를 이용하여 중앙과 주변 픽셀값의 차이를 Gaussian pyramid 방법을 통해 획득함으로써, 교통 분포 지도(TIDM)를 생성한다. 즉, 상기 교통 분포지도 생성모듈(410)은 적색과 녹색 컬러에 기반한 정보량으로 이루어지는 교통 분포 지도를 생성한다.

이때, 상기 강도(I) 특성값 및 강도 임계특성값(

)은 하기 수학식 1을 통해 산출된다.

또한, 상기 R(Real Red), G(Real Green)는 하기 수학식2를 통해 산출된다.

또한, 상기 교통정보 분포(TID)는 하기 수학식 3을 통해 산출된다.

여기서,

는 연산자간의 합을 의미하고,

는 연산자간의 곱을 의미한다.

한편, 도3에서 객체정보 인식모듈(420)은 안전한 운전을 위해 이미지에서 타 차량과 차선, 보행자 및, 신호등을 포함하는 객체를 검출한다.

이때, 차량과 차선은 종래 차선 및 차량 검출 알고리즘을 통해 산출될 수 있으며, 보행자는 보행자는 HOG(Histogram of Oriented Gradients) 특징을 이용하여 미리 학습한 검출기를 사용하여 검출 할 수 있다.

또한, 신호등 검출에 있어서는 먼저 지평선과 차선 영역을 이용하여 신호등 관심 영역(TLR)을 설정하고, 신호등 관심영역(TLR))에서 LAB 컬러 처리를 통해 신호등을 검출한다.

도6b 는 신호등 관심영역(TLR) 설정화면을 예시한 도면이다. 즉, 이미지에서 신호등 관심영역(TLR)은 지평선 상측이면서 양 차선 내측에 해당하는 영역으로 설정된다.

또한, 도6c는 도6b에 도시된 신호등 관심영역(TLR)에 대한 LAB 컬러 처리 과정을 예시한 도면이다. 도6c에서 (a)는 신호등 관심영역(TLR) 이미지이고, (b)는 신호등 관심영역(TLR) 이미지에 대한 백색 트렌드 이미지이며, (c)는 신호등 관심영역(TLR) 이미지에 대한 흑색 트렌드 이미지이다. 즉, LAB 컬러 공간 처리 수행결과 신호등에서 녹색(G)은 백색 트렌드 이미지(b)에서 나타나고, 신호등의 적색(R)은 흑색 트렌드 이미지(c)에서 나타남을 알 수 있다.

수학식4는 신호등을 검출하기 위하여 녹색과 적색을 판단하기 위한 것이다.

여기서, "TL은 신호등 검출을 위한 이미지를 나타내고, "A"와 "B"는 각각 LAB 컬러 공간에서의 백색 트렌드와 흑색 트랜드를 나타내며,

는 차연산을 나타낸다.

즉, 객체정보 인식모듈(420)은 신호등 검출을 위해 LAB 컬러 공간에서의 적색과 녹색 영역을 신호등 대상 영역으로 추출한다.

또한, 객체정보 인식모듈(420)은 신호등 검출을 위해 블랍(blob) 형상이 원형인 것을 판단하는 바, 적색 및 녹색 기반 신호등 대상영역 중 원형의 블랍 형상을 갖는 영역 즉, 객체를 신호등으로 결정한다.

한편, 도7은 위험상황 판단부(500)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.

도7에 도시된 바와 같이 위험상황 판단부(500)는 매핑 처리모듈(510)과, 위험상황 판단모듈(520)을 포함하여 구성된다.

매핑 처리모듈(510)은 상기 차량 외부상황 분석부(400)로부터 제공되는 교통 분포 지도에 객체별 중요도를 적용함으로써, 객체 중요도(정보량)를 고려한 교통 분포 지도를 생성한다. 예컨대, 객체 부분 또는 객체가 존재하는 분할 영역에 대해서는 일정 비율의 정보량을 추가하여 교통 분포 지도를 생성할 수 있다. 이때, 교통 분포 지도는 정보량에 대응하여 명암이 다르게 표현되도록 구성된다.

그리고, 매핑 처리모듈(510)은 차량 외부영상에 대한 교통 분포 지도를 2×3 매트릭스 구조의 6개 영역으로 분할 설정하고, 교통 분포 지도의 6개 분할 영역 중 상기 운전자 상태 분석부에서 운전자 시선방향에 대응되는 영역을 운전자 응시 영역으로 매핑처리한다.

즉, 도8에 도시된 바와 같이 교통 분포 지도(TIDM)과 운전자의 응시 영역을 각각 A와 B로 설정하여, 운전자 시선방향에 대응되는 응시영역을 매핑할 수 있다. 도8에는 교통 분포 지도에서 운전자의 응시영역이 우상 방향(b3)인 경우가 예시되어 있다.

상기 위험상황 판단모듈(520)은 상기 교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단하되, 객체 영역에서의 상호 정보량이 기준값 미만인 경우 위험상황으로 판단한다.

이때, 정보이론에 기반한 영역별 상호 정보량(Information_trans)은 확률과 정보이론을 기반으로 만들어진 것으로, 하기 수학식 5에 의해 산출될 수 있다. 즉, 수학식5는 두 사건이 얼마만큼 밀접한 관련이 있는지를 수식적으로 정리한 것으로, 운전자의 시선과 외부 정보량이 각각 사건에 해당한다.

여기서, 상기 A 는 교통 분포 지도 분할 영역이고, B 는 사용자 시선 방향 영역이며, i,j는 영상 이미지의 분할 영역 개수로서, 본 실시예에서 영상 이미지는 2×3(종방향 × 횡방향) 매트릭스 형태의 6개 영역으로 균등 분할되도록 구성되므로, i,j는 각각 6으로 설정될 수 있다.

상기 수학식5를 살펴보면,

과

인 항이 서로 곱으로 존재하는데, 첫 번째 항은 사건

가 발생할 때 사건

가 일어날 확률이고, 두 번째 항은

두항의 공통된 확률의 log 값이다. 여기서 얻어지는 값의 결과는 사건 A과 B가 전혀 관계가 없으면 0, 완전히 동일하면 Information = I(A)=I(B) 로, A와 B의 동일한 정보량 값으로 나타난다. 이때, A는 시선에 대응되는 정보량은 6개 영역중 한 군데로 고정되기 때문에 실제로 결과값이 큰 값으로 나타난다는 것은 정보량이 큰쪽에 시선이 위치하고 있다는 의미로 해석될 수 있다.

따라서, 운전자의 시선방향에 대응되는 응시영역과 교통분포지도와의 상호정보량의 결과값이 큰 값으로 나타나면, 운전자의 시선과 교통분포 지도와의 정보의 유사점이 크다는 것을 의미하는 것으로, 운전자가 정보량이 많은 객체를 응시하고 있다고 판단할 수 있다. 다시말해, 상호 정보량값이 클수록 운전자의 시선이 외부 객체를 잘 보고 있는 것이고, 상호 정보량값이 작으면 운전자가 외부 객체를 제대로 안 보고 있다고 판단할 수 있게 된다.

즉, 위험상황 판단모듈(520)은 상호 정보량이 기준값 이상인지 토대로 운전자가 객체 영역을 응시하고 있는지의 여부를 판단한다.

이때, 객체 영역과 운전자 응시 영역의 일치 시간이 일정 시간 미만인 경우 운전자가 중요 객체를 인지하지 않는 위험 상황으로 판단할 수 있다.

이어, 도9에 도시된 흐름도를 참조하여 본 발명에 따른 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법을 설명한다.

먼저, 운전자 촬영 카메라(100)는 차량 내부에 위치하는 운전자의 얼굴 영역을 포함하도록 운전자를 촬영하여 운전자 상태 분석부(300)로 제공하고, 차량외부 촬영 카메라(200)는 차량 외부의 전방을 촬영하여 차량 외부상황 분석부(400)로 제공함으로써, 운전자 영상과 차량 외부영상을 각각 획득한다(ST100).

운전자 상태 분석부(300)는 상기 운전자 촬영 카메라(100)로부터 제공되는 운전자 영상으로부터 운전의 시선 방향을 분석한다(ST200).

즉, 운전자 상태 분석부(300)는 운전자 영상에서 운전자 얼굴 영역을 추출하고, 운전자 얼굴 영역에서 코 포인트를 기준으로 운전자의 헤드포즈를 분석한다.

또한, 운전자 상태 분석부(300)는 운전자 얼굴 영역에서 운전자 안구 이미지를 추출하고, 안구 이미지에서 동공의 중심 포인트와 기 설정된 눈꺼풀 랜드마크 포인트간 유클리드 거리 측정을 통해 운전자의 수평 시선 방향을 결정함과 더불어, 안구 영역의 넓이 비율 또는 안구 높이 비율을 근거로 운전자의 수직 시선 방향을 결정한다. 그리고, 운전자의 수평 시선 방향과 수직 시선 방향을 근거로 운전자의 시선 방향을 판단한다.

한편, 차량 외부상황 분석부(400)는 차량 외부영상에서 객체정보를 추출함과 더불어, 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성한다(ST300).

즉, 차량 외부상황 분석부(400)는 차량 외부 영상에서 차선과 차량, 보행자 및 신호등을 포함하는 객체 정보를 추출하여 인식하고, 차량 외부영상에서 녹색과 적색 컬러 기반의 정보량으로 이루어지는 교통 분포 지도를 생성한다. 이때, 교통 분포 지도에는 객체별 중요도가 추가적으로 적용될 수 있으며, 중요도 즉, 정보량에 대응되도록 명암이 다르게 표현되도록 생성된다.

또한, 차량 외부상황 분석부(400)는 차선 및 차량 객체를 근거로 차량간의 거리를 산출할 수 있다.

이어, 위험 상황 판단부(500)는 상기 운전자 상태 분석부(300)로부터 제공되는 운전자의 헤드 포즈와 시선 방향을 고려하여 기 설정된 이미지 분할 영역 중 운전자 시선 영역을 판단하고, 교통 분포 지도에서 이 운전자 시선 영역에 대응되는 운전자 응시 영역을 추출한다(ST400). 예컨대, 도8에 도시된 바와 같이 2×3 매트릭스 구조의 6개의 분할 영역 중 운전자의 시선 영역(b3)에 대응되는 교통 분포 지도의 운전자 응시 영역(a3)을 추출한다.

그리고, 위험 상황 판단부(500)는 ST300 단계에서 생성된 교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단한다(ST500). 객체 영역에서의 상호 정보량이 기준값 미만인 경우 위험상황으로 판단한다.

그리고, 위험 상황 판단부(500)는 객체 영역에서의 상호 정보량이 기준값 미만인 경우 위험상황으로 판단하고, 이를 경고 처리부(600)로 제공함으로써, 위험 상황에 대응되는 경고 정보를 표시출력하거나 또는 음성 출력하는 등의 경고 안내를 수행한다(ST600).

도10은 영상별 본 발명에 따른 상호 정보량 비교 실험 결과를 나타낸 도면이다.

도10에서 (a)는 1~4의 서로 다른 도로 이미지와 객체를 도시한 것이고, (b) 는 본 발명에 따른 통합 분석에 의한 상호정보량 측정 결과이다.

도10 (b)에 나타난 바와 같이, 1~4 이미지에 대해 운전자의 응시 영역과 객체 영역이 일치하는 주의 상태(attentive)인 경우에는 상호 정보량이 증가하고(청색 그래프), 운전자의 응시 영역과 객체 영역이 일치하지 않는 비 주의(in-attentive) 상태인 경우에는 상호 정보량이 감소하는 것을 알 수 있다(적색 그래프).

즉, 본 발명에 있어서는 운전자의 객체 영역 응시 상태에 따른 상호 정보량의 현격한 차이를 통해 보다 정확하게 위험상황을 판단하는 것이 가능하게 된다.

100 : 운전자 촬영 카메라, 200 : 차량외부 촬영 카메라,
300 : 운전자 상태 분석부, 400 : 차량 외부상황 분석부,
500 : 위험상황 판단부, 600 : 경고 처리부,
210 : 얼굴영역 검출모듈, 220 : 헤드포즈 추정모듈,
230 : 시선 추정모듈, 410 : 교통분포지도 생성모듈,
420 : 객체 인식모듈, 510 : 매핑처리모듈,
520 : 위험상황 판단모듈.

Claims

차량 내에 위치하는 운전자의 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영하는 운전자 촬영 카메라와,
차량 외부의 전방 영역을 촬영하기 위한 차량 외부 촬영 카메라,
상기 운전자 촬영 카메라로부터 제공되는 운전자 영상으로부터 운전자 동공 중심부와 운전자의 눈꺼풀 랜드마크 포인트간 거리를 근거로 운전자의 시선 방향에 대응되는 시선 영역을 검출하는 운전자 상태 분석부,
상기 차량 외부 촬영 카메라로부터 제공되는 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량과, 차선, 신호등 및, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성하는 차량 외부상황 분석부,
상기 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시 영역을 매핑하여 추출함과 더불어, 차량 외부영상에 대한 교통분포 지도를 2×3 매트릭스 구조의 6개 영역으로 분할 설정하고, 교통 분포 지도의 6개 분할 영역 중 상기 운전자 상태 분석부에서 운전자 시선방향에 대응되는 영역을 운전자 응시 영역으로 매핑처리하는 매핑 처리모듈과,
교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단하되, 상호 정보량이 기준값 미만인 경우 위험상황으로 판단하는 위험상황 판단모듈을 포함하여 구성되는 위험상황판단부 및,
상기 위험상황판단부의 위험상황으로 판단 결과에 대응하여 위험상황에 대한 경고정보를 출력하는 경고 처리부를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템.
제1항에 있어서,
상기 운전자 상태 분석부는 운전자 얼굴 윤곽을 따라 다수의 페이스 랜드마크 포인트를 검출함으로써 운전자 얼굴영역을 결정하는 얼굴영역 검출모듈과,
페이스 랜드마크 포인트 중 좌측 랜드마크 포인트 및, 우측 랜드마크 포인트를 선택하고, 코 포인트와 선택된 좌측 랜드마크 포인트간 제1 거리와, 코 포인트와 선택된 우측 랜드마크 포인트간 제2 거리를 산출하며, 제1 거리와 제2 거리간 차이를 근거로 운전자의 얼굴이 향하는 방향에 대응되는 헤드 포즈를 추정하는 헤드포즈 추정모듈 및,
운전자의 동공의 중심 포인트와 각 눈꺼풀 랜드마크 포인트 사이의 유클리드 거리(Euclidean distance) 측정을 통해 좌측, 중앙, 우측의 수평 위치를 결정하고, 안구 영역의 넓이 또는 높이 비율을 근거로 상측, 하측의 수직 방향을 결정함으로써, 2×3 매트릭스 구조의 6개 영역중 운전자의 시선이 향하는 방향을 추정하는 시선 추정모듈을 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템.
제2항에 있어서,
상기 시선 추정모듈은 상기 헤드포즈 추정모듈로부터 제공되는 헤드 포즈정보를 고려하여 운전자의 시선 방향을 결정하는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템.
제2항에 있어서,
상기 시선 추정모듈은 얼굴영역 이미지에서 안구 이미지를 추출하고, 안구 이미지에서 6개의 눈꺼풀 랜드마크 포인트를 획득하되,
6개의 눈꺼풀 랜드마크 포인트는 안구 영역의 좌우 양단과, 안구 영역 중심점 주변의 좌상, 우상, 좌하, 우하 측의 4개 포인트로 설정되고, 안구 영역 중심점 주변의 4개 포인트는 양단 포인트를 기준으로 수평방향으로 3등분하기 위한 지점에 대해 수직하는 방향에 위치하는 상측 및 하측 눈꺼풀 포인트로 각각 설정되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템.
제1항에 있어서,
상기 차량 외부상황 분석부는 차량 외부영상에서 강도 특성값과 적색과 청색에 해당하는 컬러값을 근거로 픽셀별 교통정보 분포(TID)를 산출하고, 교통정보 분포(TID)를 이용하여 픽셀별 주변 픽셀값의 차이를 Gaussian pyramid 방법을 통해 획득함으로써 적색과 녹색 컬러에 기반한 정보량으로 이루어지는 교통 분포 지도(TIDM)를 생성하는 상향식 정보처리 기반의 교통 분포 지도를 생성하는 교통 분포지도 생성모듈과,
차량 외부 영상에서 차량과 차선, 보행자 및 신호등을 포함하는 객체를 하향식 정보처리 기반의 객체 인식처리를 수행하되, 상기 신호등에 대해서는 LAB 컬러 공간에서의 적색과 녹색 영역을 신호등 대상 영역으로 추출함과 더불어, 원형의 블랍(blob) 형상을 추출하여, 적색 및 녹색 기반 신호등 대상영역 중 원형의 블랍 형상을 갖는 객체를 신호등으로 결정하는 객체 인식모듈을 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템.
삭제
제1항에 있어서,
상기 교통 분포 지도의 영역별 상호정보량(Information_trans)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템.

여기서, 상기 A 는 교통 분포 지도 분할 영역이고, B 는 사용자 시선 방향별 영역이며, i,j는 영상 이미지의 분할 영역 개수임.
차량 내에 위치하는 운전자의 눈 영역을 포함하는 얼굴 부분을 촬영하여 운전자 영상을 획득함과 더불어, 차량 외부의 전방 영역에 대한 차량 외부 영상을 각각 획득하는 제1 단계와,
상기 운전자 영상으로부터 운전자 동공 중심부와 운전자의 눈꺼풀 랜드마크 포인트간 거리를 근거로 운전자의 시선 방향에 대응되는 시선 영역을 검출하는 제2 단계,
상기 차량 외부 영상으로부터 차량 주변 영역에 존재하는 타 차량과, 차선, 신호등 및, 보행자를 포함하는 외부 객체를 추출함과 더불어, 차량 외부 영상에 대해 색상 기반의 정보량으로 이루어지는 교통 분포 지도를 생성하는 제3 단계,
상기 교통 분포 지도에서 운전자 시선 영역에 대응되는 응시 영역을 매핑하여 추출함과 더불어, 차량 외부영상에 대한 교통 분포 지도를 2×3 매트릭스 구조의 6개 영역으로 분할 설정하고, 교통 분포 지도의 6개 분할 영역 중 운전자 상태 분석부에서 운전자 시선방향에 대응되는 영역을 운전자 응시 영역으로 매핑처리하는 매핑 처리단계와,
교통 분포 지도에서 객체가 위치하는 객체 영역을 추출하고, 객체 영역과 운전자 응시 영역에 기반한 교통 분포 지도의 영역별 상호 정보량을 근거로 위험 상황을 판단하되, 상호 정보량이 기준값 미만인 경우 위험상황으로 판단하는 위험상황 판단단계를 포함하여 구성되는 제4 단계 및,
위험상황으로 판단 결과에 대응하여 위험상황에 대한 경고정보를 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법.
제8항에 있어서,
상기 제2 단계는 운전자 얼굴 윤곽을 따라 다수의 페이스 랜드마크 포인트를 검출함으로써 운전자 얼굴영역을 결정하는 얼굴영역 검출단계와,
페이스 랜드마크 포인트 중 좌측 랜드마크 포인트 및, 우측 랜드마크 포인트를 선택하고, 코 포인트와 선택된 좌측 랜드마크 포인트간 제1 거리와, 코 포인트와 선택된 우측 랜드마크 포인트간 제2 거리를 산출하며, 제1 거리와 제2 거리간 차이를 근거로 운전자의 얼굴이 향하는 방향에 대응되는 헤드 포즈를 추정하는 헤드포즈 추정단계 및,
운전자의 동공의 중심 포인트와 각 눈꺼풀 랜드마크 포인트 사이의 유클리드 거리(Euclidean distance) 측정을 통해 좌측, 중앙, 우측의 수평 위치를 결정하고, 안구 영역의 넓이 또는 높이 비율을 근거로 상측, 하측의 수직 방향을 결정함으로써, 2×3 매트릭스 구조의 6개 영역중 운전자의 시선이 향하는 방향을 추정하는 시선 추정단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법.
제9항에 있어서,
상기 시선 추정단계는 상기 헤드포즈 추정단계에서 추정된 헤드 포즈정보를 고려하여 운전자의 시선 방향을 결정하는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법.
제9항에 있어서,
상기 시선 추정단계는 얼굴영역 이미지에서 안구 이미지를 추출하고, 안구 이미지에서 6개의 눈꺼풀 랜드마크 포인트를 획득하되,
6개의 눈꺼풀 랜드마크 포인트는 안구 영역의 좌우 양단과, 안구 영역 중심점 주변의 좌상, 우상, 좌하, 우하 측의 4개 포인트로 설정되고, 안구 영역 중심점 주변의 4개 포인트는 양단 포인트를 기준으로 수평방향으로 3등분하기 위한 지점에 대해 수직하는 방향에 위치하는 상측 및 하측 눈꺼풀 포인트로 각각 설정되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법.
제8항에 있어서,
상기 제3 단계는 차량 외부영상에서 강도 특성값과 적색과 청색에 해당하는 컬러값을 근거로 픽셀별 교통정보 분포(TID)를 산출하고, 교통정보 분포(TID)를 이용하여 픽셀별 주변 픽셀값의 차이를 Gaussian pyramid 방법을 통해 획득함으로써 적색과 청색 컬러에 기반한 정보량으로 이루어지는 교통 분포 지도(TIDM)를 생성하는 상향식 정보처리 기반의 교통 분포 지도를 생성하는 교통 분포지도 생성 단계와,
차량 외부 영상에서 차량과 차선, 보행자 및 신호등을 포함하는 객체를 하향식 정보처리 기반의 객체 인식처리를 수행하되, 상기 신호등에 대해서는 LAB 컬러 공간에서의 적색과 녹색 영역을 신호등 대상 영역으로 추출함과 더불어, 원형의 블랍(blob) 형상을 추출하여, 적색 및 녹색 기반 신호등 대상영역 중 원형의 블랍 형상을 갖는 객체를 신호등으로 결정하는 객체 인식단계를 포함하여 구성되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법.
삭제
제8항에 있어서,
상기 제4 단계에서 교통 분포 지도의 영역별 상호정보량(Information_trans)은 하기 수학식에 의해 산출되는 것을 특징으로 하는 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 방법.

여기서, 상기 A 는 교통 분포 지도 분할 영역이고, B 는 사용자 시선 방향별 영역이며, i,j는 영상 이미지의 분할 영역 개수임.