KR20230141993A

KR20230141993A - 차량의 운전자 보조 제어 장치 및 운전자 보조 제어 방법

Info

Publication number: KR20230141993A
Application number: KR1020220039576A
Authority: KR
Inventors: 손수파
Original assignee: 주식회사 에이치엘클레무브
Priority date: 2022-03-30
Filing date: 2022-03-30
Publication date: 2023-10-11

Abstract

본 발명은 차량의 운전자 보조 제어 장치 및 운전자 보조 제어 방법에 관한 것으로, 차량을 운전하는 운전자의 주의 분산을 동적 베이지안 네트워크 기술을 이용하여 더욱 정확하게 검출하는데 그 목적이 있다. 이를 위해 본 발명에 따른 차량 제어 장치는, 운전자의 상태 및 차량의 상태를 검출하도록 마련되는 복수의 센서들과; 상기 복수의 센서들을 통해 획득한 운전자 상태 정보 및 차량 상태 정보에 기초하여 시각적 주의 분산 검출과 인지적 주의 분산 검출 가운데 적어도 하나를 수행하고, 상기 시각적 주의 분산 검출의 결과와 상기 인지적 주의 분산 검출의 결과 가운데 적어도 하나의 결과로부터 상기 운전자의 주의 분산 값을 산출하도록 마련되는 제어부를 포함하되, 상기 제어부는, 상기 시각적 주의 분산 검출과 상기 인지적 주의 분산 검출, 상기 운전자 주의 분산 값 산출을 위해 동적 베이지안 네트워크를 이용한다.

Description

차량의 운전자 보조 제어 장치 및 운전자 보조 제어 방법{DRIVING ASSISTANCE CONTROL APPARATUS AND DRIVER ASSISTANCE CONTROL METHOD OF VEHICLE}

본 발명은 차량의 운전자 보조 제어 장치 및 운전자 보조 제어 방법에 관한 것으로, 운전자의 주의 분산 정도를 검출하여 차량의 안전 운전 제어를 수행하는 차량의 운전자 보조 제어 장치 및 운전자 보조 제어 방법에 관한 것이다.

차량의 안전성 확보를 위해 근래의 차량들은 안전 운전을 위한 제어의 관점에서 차량의 주변 상황을 검출하여 위험 요소가 검출되면 제어 장치가 차량의 거동에 개입한다.

또한, 차량의 상태는 물론 운전자의 상태를 검출하여 운전자의 상태가 안전 운전에 적합하지 않은 경우 경보를 발생시키는 등의 대응을 통해 운전자의 주의를 환기시키기도 한다.

이를 위해 운전자의 상태를 검출하는 다양한 방법들이 사용되고 있으나, 그 신뢰도가 비교적 낮기 때문에, 좀 더 신뢰할 수 있는 개선된 운전자 상태 검출 방법이 요구된다.

본 발명의 일 측면에 따르면, 차량을 운전하는 운전자의 주의 분산을 동적 베이지안 네트워크 기술을 이용하여 더욱 정확하게 검출하는데 그 목적이 있다.

상술한 목적의 본 발명에 따른 차량의 운전자 보조 제어 장치는, 운전자의 상태 및 차량의 상태를 검출하도록 마련되는 복수의 센서들과; 상기 복수의 센서들을 통해 획득한 운전자 상태 정보 및 차량 상태 정보에 기초하여 시각적 주의 분산 검출과 인지적 주의 분산 검출 가운데 적어도 하나를 수행하고, 상기 시각적 주의 분산 검출의 결과와 상기 인지적 주의 분산 검출의 결과 가운데 적어도 하나의 결과로부터 상기 운전자의 주의 분산 값을 산출하도록 마련되는 제어부를 포함하되, 상기 제어부는, 상기 시각적 주의 분산 검출과 상기 인지적 주의 분산 검출, 상기 운전자 주의 분산 값 산출을 위해 동적 베이지안 네트워크를 이용한다.

상술한 차량의 운전자 보조 제어 장치에서, 상기 제어부는, 상기 운전자 상태 정보에 따른 운전자 상태 값이 미리 설정된 기준 값을 초과하면 상기 시각적 주의 분산 검출을 수행하고; 상기 운전자 상태 정보에 따른 상기 운전자 상태 값이 상기 미리 설정된 기준 값 이하이면 상기 인지적 주의 분산 검출을 수행한다.

상술한 차량의 운전자 보조 제어 장치에서, 상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 시선 이탈 비율이다.

상술한 차량의 운전자 보조 제어 장치에서, 상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 응시 시간이다.

상술한 차량의 운전자 보조 제어 장치에서, 상기 제어부는, 다음의 식 1을 통해 상기 동적 베이지안 네트워크를 이용한 상기 운전자 주의 분산 값 산출을 수행한다.

(식 1) P(X1,X2|Y1,Y2)=P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)/

P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)

P(X1=a)는, event X1 True 가능성 a (%)

P(X1=b)는, event X1 False 가능성 b (%)

P(Y1=s|X1=a)는, event X1 True일 때, event Y1 True 가능성 s (%)

P(Y1=s|X1=b)는, event X1 False일 때, event Y1 True 가능성 s (%)

P(Y1=r|X1=a)는, event X1 True일 때, event Y1 False 가능성 r (%)

P(Y1=r|X1=b)는, event X1 False일 때, event Y1 False 가능성 r (%)

t-1: 과거 시간, t: 현재 시간

P(X1=a|X2=A)는, 과거 event X1 True일 때, 현재 event X2 True 가능성 A (%)

P(X1=b|X2=A)는, 과거 event X1 false일 때, 현재 event X2 True 가능성 A (%)

P(X1=a|X2=B)는, 과거 event X1 True일 때, 현재 event X2 false 가능성 B (%)

P(X1=b|X2=B)는, 과거 event X1 false일 때, 현재 event X2 false 가능성 B (%)

상술한 목적의 본 발명에 따른 차량의 운전자 보조 제어 방법은, 복수의 센서들을 통해 운전자의 상태 및 차량의 상태를 검출하는 단계와; 상기 복수의 센서들을 통해 획득한 운전자 상태 정보 및 차량 상태 정보에 기초하여 시각적 주의 분산 검출과 인지적 주의 분산 검출 가운데 적어도 하나를 수행하는 단계와; 상기 시각적 주의 분산 검출의 결과와 상기 인지적 주의 분산 검출의 결과 가운데 적어도 하나의 결과로부터 상기 운전자의 주의 분산 값을 산출하는 단계를 포함하되, 상기 시각적 주의 분산 검출과 상기 인지적 주의 분산 검출, 상기 운전자 주의 분산 값 산출을 위해 동적 베이지안 네트워크를 이용한다.

상술한 차량의 운전자 보조 제어 방법에서, 상기 운전자 상태 정보에 따른 운전자 상태 값이 미리 설정된 기준 값을 초과하면 상기 시각적 주의 분산 검출을 수행하고; 상기 운전자 상태 정보에 따른 상기 운전자 상태 값이 상기 미리 설정된 기준 값 이하이면 상기 인지적 주의 분산 검출을 수행한다.

상술한 차량의 운전자 보조 제어 방법에서, 상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 시선 이탈 비율이다.

상술한 차량의 운전자 보조 제어 방법에서, 상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 응시 시간이다.

상술한 차량의 운전자 보조 제어 방법은, 다음의 식 1을 통해 상기 동적 베이지안 네트워크를 이용한 상기 운전자 주의 분산 값 산출을 수행한다.

P(X1=a)는, event X1 True 가능성 a (%)

P(X1=b)는, event X1 False 가능성 b (%)

P(Y1=s|X1=a)는, event X1 True일 때, event Y1 True 가능성 s (%)

P(Y1=s|X1=b)는, event X1 False일 때, event Y1 True 가능성 s (%)

P(Y1=r|X1=a)는, event X1 True일 때, event Y1 False 가능성 r (%)

P(Y1=r|X1=b)는, event X1 False일 때, event Y1 False 가능성 r (%)

t-1: 과거 시간, t: 현재 시간

상술한 목적의 본 발명에 따른 차량의 운전자 보조 제어 방법은, 복수의 센서들을 통해 운전자의 상태 및 차량의 상태를 검출하는 단계와; 상기 복수의 센서들을 통해 획득한 운전자 상태 정보 및 차량 상태 정보에 기초하여 시각적 주의 분산 검출과 인지적 주의 분산 검출 가운데 적어도 하나를 수행하는 단계와; 상기 시각적 주의 분산 검출의 결과와 상기 인지적 주의 분산 검출의 결과 가운데 적어도 하나의 결과로부터 상기 운전자의 주의 분산 값을 산출하는 단계와; 산출된 상기 운전자의 주의 분산 값에 기초하여 상기 차량의 주행과 제동, 조향을 보조하는 제어를 수행하는 단계를 포함하되, 상기 시각적 주의 분산 검출과 상기 인지적 주의 분산 검출, 상기 운전자 주의 분산 값 산출을 위해 동적 베이지안 네트워크를 이용한다.

P(X1=a)는, event X1 True 가능성 a (%)

P(X1=b)는, event X1 False 가능성 b (%)

P(Y1=s|X1=a)는, event X1 True일 때, event Y1 True 가능성 s (%)

P(Y1=s|X1=b)는, event X1 False일 때, event Y1 True 가능성 s (%)

P(Y1=r|X1=a)는, event X1 True일 때, event Y1 False 가능성 r (%)

P(Y1=r|X1=b)는, event X1 False일 때, event Y1 False 가능성 r (%)

t-1: 과거 시간, t: 현재 시간

본 발명의 일 측면에 따르면, 차량을 운전하는 운전자의 주의 분산을 동적 베이지안 네트워크 기술을 이용하여 더욱 정확하게 검출할 수 있도록 한다.

도 1은 본 발명의 일 실시 예에 따른 카메라 시스템을 개략적으로 나타내는 분해 사시도이다.
도 2는 본 발명에 따른 카메라 시스템이 자동차에 장착되는 것을 도시하는 도면이다.
도 3은 본 발명에 따른 카메라 시스템이 장착되는 자동차의 구성요소를 도시하는 도면이다.
도 4는 본 발명에 따른 카메라 시스템의 구성요소를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 차량의 제어 계통을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 차량의 운전자 보조 제어 방법을 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 차량의 머신 러닝을 이용한 운전자 주의 분산 값의 산출을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 차량의 머신 러닝을 이용한 운전자 주의 분산 값의 산출을 단순화하여 나타낸 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

도 1은 본 발명의 일 실시 예에 따른 카메라 시스템을 개략적으로 나타내는 분해 사시도이다.

도 1을 참조하면, 카메라 시스템(1)은 렌즈(10), 렌즈(10)가 설치되는 렌즈 홀더(20), 렌즈 홀더(20)에 결합되어 렌즈(10)에서 촬영한 피사체의 이미지를 센싱하는 이미지 센서(31)를 포함한다. 이미지 센서(31)는 이미지 PCB(30) 상에 배치되며, 픽셀로 구성된 이미지 어레이 센서를 포함한다. 예를 들면, 이미지 센서(31)는 CMOS 포토센서 어레이 또는 CCD 포토 센서 어레이를 포함한다. 이러한 이미지 센서(31)는 렌즈(10)와 평행하도록 배치된다. 또한, 렌즈(10)와 렌즈 홀더(20)는 Active Alignment 방식으로 서로 결합될 수 있다.

또한, 카메라 시스템(1)은 메인 PCB(40)을 포함하며 메인 PCB(40) 상에는 이미지 프로세서(41)와 카메라 MCU(micro control unit)(42)가 배치된다. 이미지 프로세서(41)는 이미지 센서(31)로부터 이미지 데이터를 수신하며 이를 위해 이미지 프로세서(41)와 이미지 센서(31)는 커넥터(미도시)를 통해 연결될 수 있다. 예를 들어 커넥터는 카메라 시스템의 내부 공간 활용을 극대화 시키기 위해 FPCB(flexible PCB)로 제작될 수 있다. 이러한 커넥터를 통해서는 전기적 신호, 전원, 제어 신호 등이 송수신될 수 있다. 이미지 프로세서(41)와 이미지 센서(31) 사이의 통신 방식은 예를 들어 I2C일 수 있다. 카메라 MCU(42)와 이미지 프로세서(41)는 서로 통신하며, 통신 방식은 예를 들어 UART(universal asynchronous receiver/transmitter) 또는 SPI(serial peripheral interface) 일 수 있다. 카메라 MCU(42)는 이미지 프로세서(41)가 프로세싱한 이미지 데이터를 수신하며, 그 이미지 데이터를 자동차 내의 ECU(electrical control unit)(미도시)에게 전달할 수 있다. 카메라 MCU(42) 및 자동차의 ECU 사이의 통신 방식은 예를 들어 Chassis CAN(controller area network)일 수 있다. 또한, 카메라 MCU(42)는 이미지 프로세서(41)가 프로세싱한 데이터를 수신하며 그 데이터는 예를 들어, 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 액티브 하이빔 컨트롤(AHBC)에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터, 교통 신호등에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터, VD at any angle, 로드 프로파일에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터, 어드밴스트 트래픽 사인(advanced traffic sign)에 대한 데이터, 오도메트리(odometry)(예컨대, 맵 매칭)에 대한 데이터 등을 포함한다.

또한, 카메라 시스템(1)은 하우징(50)을 포함하며 하우징(50)은 상부 하우징(52) 및 하부 하우징(54)를 포함한다. 구체적으로 상부 하우징(52)와 하부 하우징(54)이 결합된 하우징(50)의 내부에는 소정의 수용 공간이 형성되며, 이 수용 공간에 렌즈(10), 렌즈 홀더(20), 이미지 PCB(30) 및 메인 PCB(40)이 수용된다.

이러한 카메라 시스템(1)을 제조하는 경우에, 렌즈(10)를 렌즈 홀더(20)에 설치한 후 렌즈 홀더(20)를 이미지 PCB(30)에 결합시킬 수 있다. 예를 들어 렌즈 홀더(20) 및 이미지 PCB(30)는 스크류(23)를 통해 결합될 수 있다.

다음으로, 렌즈 홀더(20)와 이미지 PCB(30)가 결합된 상태에서 상부 하우징(52)이 결합될 수 있다. 이 때 상부 하우징(52) 및 렌즈 홀더(20)는 스크류(25)에 의해 결합될 수 있다.

한편, 사용되는 렌즈(10)의 개수는 카메라 시스템(10)의 종류, 이미지 센서의 픽셀 수, 또는 카메라 시스템(10)이 구현하는 기능의 요구사항에 따라서 변경될 수 있다. 예를 들어 1개의 렌즈(10)가 사용되는 경우 그 렌즈는 예컨대, 1.3 MP이 요구되는 경우 52deg이거나 예컨대, 1.7 MP이 요구되는 경우 100deg일 수 있다. 또는 2개의 렌즈(10)가 사용될 수도 있다. 또는 3개의 렌즈(10)가 사용되는 경우 3개의 이미저 센서(31)이 요구되며 그 렌즈는 각각 25 deg(**, 52, 150 deg 이거나 50, 100, 150 deg일 수 있다.

이와 같은 카메라 시스템(10)의 종류는 카메라 시스템(10)이 지원하는 기능의 개수 또는 종류에 따라서 결정된다. 예컨대, 기능 중 일부만 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 액티브 하이밉 컨트롤에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터, 교통 신호등에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터인 경우)에는 단일의 렌즈가 사용될 수 있고, 더 많은 기능을 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전술한 예에 추가적으로, VD at any angle, 로드 프로파일에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터, 어드밴스트 트래픽 사인(advanced traffic sign)에 대한 데이터, 오도메트리(odometry)(예컨대, 맵 매칭)에 대한 데이터인 경우)에는 3개의 렌즈가 사용될 수 있다.

도 2는 본 발명에 따른 카메라 시스템(1)이 자동차에 장착되는 것을 도시하는 도면이다.

도 2에 도시된 바와 같이, 카메라 시스템(1)은 차량 내에서 전면 유리(220) 아래의 차량 내부에 장착될 수 있고 룸미러(210)의 인근에 장착될 수 있다. 이에 따라서 카메라 시스템(1)의 자동차의 전방의 시야를 촬영하는데 이용되고, 전방의 시야 내에 존재하는 물체를 인식하는데 사용된다. 또한, 비가 오는 상황 또는 먼지가 존재하는 상황에 대비하여, 카메라 시스템(1)은 전면 유리(220)의 바깥에서 구동되는 와이퍼(wiper)에 의해 클리닝(cleaning)되는 영역에 대응하여 차량 내부에 장착되는 것이 바람직하다. 한편, 카메라 시스템(1)이 장착되는 위치는 이에 한정되는 것이 아니다. 카메라 시스템(1)은 차량의 전방, 측방, 후방을 촬영하기 위해 다른 위치에 설치될 수도 있다.

한편, 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 센서 장치인 Radar 장치(미도시)는 대표적으로 자동차의 전면 그릴에 위치하여 자동차의 전방 아래부분까지도 커버할 수 있도록 할 수 있다. Radar 장치를 전면 그릴에 두는 이유는, 즉 차량의 외부에 두는 이유는, 다시 말하면, 차량의 전면 유리(220)를 통과하여 송수신하지 않도록 하는 이유는 전자기파의 특성상 유리를 통과하는 경우의 감도 감소 때문이다. 본 발명에 따르면, Radar 장치는 차량의 내부에 위치하면서, 구체적으로는, 차량의 내부 공간에서 전면 유리(220)의 아래에 위치하면서도 전자기파가 전면 유리를 통과하지 않게 할 수 있다. 이를 위해 Radar 장치는 전면 유리(220)의 상단에 마련된 개구(opening)을 통해 전자기파를 송수신하도록 구성된다. 또한, Radar 장치를 위한 개구에 대응하는 위치에 커버가 배치된다. 이러한 커버는 개구로 인한 손실(예컨대, 공기의 유입 등)을 막기 위한 것이다. 또한, 커버는 Radar 장치가 사용하는 주파수의 전자기파에 대해서 관통이 용이한 재료로 제조되는 것이 바람직하다. 결과적으로 Radar 장치는 차량의 내부에 위치하지만 전면 유리(220)에 구비된 개구를 통해 전자기파를 송수신하고, 개구로 인한 손실을 막기 위해 개구에 대응하여 커버가 구비되며, 전자기파는 커버를 통해 송수신된다. 이러한 Radar 장치는 빔 에이밍(beam aiming), 빔 셀렉션(beam selection), 디지털 빔 포밍(beam forming), 디지털 빔 스티어링(beam steering)을 이용할 수 있다. 또한, Radar 장치는 어레이 안테나 또는 위상 정렬 어레이 안테나를 포함할 수 있다.

전술한 카메라 시스템(1) 및 Radar 장치(미도시)는 전방의 물체를 감지하는 성능을 개선하기 위해서 서로 연동할 수 있다. 예를 들어 이미지 프로세서(41)와 Radar 프로세서(미도시)는 서로 연동하여 전방의 관심있는 물체를 확대하거나 초점을 포커싱할 수 있다. 이와 같이 Radar 및 전방 카메라가 서로 연동하는 경우라면, 이미지 센서(31) 및 Radar 장치는 동일한 기판(예를 들면, 이미지 PCB(30)) 상에 배치될 수 있다.

또한, 카메라 시스템(1)이나 Radar 장치(미도시)와 같이 전방의 시야에 있는 물체를 감지하기 위한 장치 또는 시스템은, 적응형 크루즈 컨트롤(ACC)와 같은 ADAS 기술을 위해 사용될 수 있다. 또한, 전방의 잠재적인 위험 상황을 인지하기 위해서 사용될 수도 있고 예를 들어, 전방의 다른 자동차, 전방의 사람, 전방의 동물을 인지하는데 사용될 수 있다. 또한, 카메라 시스템(1)이나 Radar 장치(미도시)와 같이 전방의 시야에 있는 물체를 감지하기 위한 장치 또는 시스템은, 차선 이탈 경고 시스템(lane departure warning system), 물체 감지 시스템(object detection system), 교통 표지판 인식 시스템(traffic sign recognition system), 차선 유지 보조 시스템(lane keeping assistance system), 차선 변경 보조 시스템(lane change assistance system), 사각지대 경보 시스템(blind spot warning system), 자동 헤드램프 제어 시스템(automatic headlamp control system), 충돌 회피 시스템(collision avoidance system) 등에 사용될 수 있다.

도 3은 본 발명에 따른 카메라 시스템(1)이 장착되는 자동차의 구성요소를 도시하는 도면이다.

자동차의 구성요소는 MCU 레벨, ECU 레벨, 컨트롤러 레벨로 구별할 수 있다.

MCU 레벨에는 카메라 MCU(42)를 포함하여 Lidar MCU, Radar MCU, GPS MCU, 네비게이션 MCU, V2X MCU 등이 있다. MCU 레벨에 속하는 MCU들은 자신과 연결된 센싱 장치 또는 센싱 장치에 연결된 장치(예컨대, 프로세서)를 제어하고, 이들 센싱 장치 또는 센싱 장치에 연결된 장치로부터 데이터를 수신한다.

카메라 MCU(42)에 대하여 예를 들면, 렌즈(10)을 통해 촬영한 피사체의 이미지를 이미지 센서(31)가 센싱하고, 이미지 프로세서(41)가 이미지 센서(31)로부터 그 데이터를 수신하여 프로세싱하며, 카메라 MCU(42)는 이미지 프로세서(41)로부터 그 데이터를 수신한다. 카메라 MCU(42)는 이미지 센서(31), 이미지 프로세서(41)을 제어하고 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 전원 제어, 메모리 제어 등을 포함한다. 한편, 이미지 프로세서(41)는 이미지 센서(31)가 센싱하여 출력한 데이터를 프로세싱할 수 있고, 이러한 프로세싱은 센싱한 전방의 물체를 확대하거나 전체 시야 영역 중에서 물체의 영역에 포커스를 맞추는 것을 포함한다.

Lidar MCU(311)에 대하여 예를 들면, Lidar MCU(311)는 센서인 Lidar 장치와 연결된다. Lidar 장치는 레이저 송신 모듈, 레이저 검출 모듈, 신호 수집 및 처리 모듈, 데이터 송수신 모듈로 구성될 수 있고, 레이저의 광원은 250 nm 내지 11 μm 의 파장 영역에서 파장을 가지거나 파장 가변이 가능한 레이저 광원들이 사용된다. 또한 Lidar 장치는 신호의 변조 방식에 따라서, TOF(time of flight) 방식과 phase shift 방식으로 구분된다. Lidar MCU(311)는 Lidar 장치 및 Lidar 장치에 연결된 다른 장치(예컨대, Lidar 센싱 출력을 프로세싱하는 Lidar프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다. 한편, Lidar 장치는 자동차의 전방 영역을 센싱하기 위해 사용된다. 이러한 Lidar 장치는 자동차의 내부 전면, 구체적으로는 전면 유리(220) 아래에 위치하여 전면 유리를 통해서 laser 광원을 송수신한다.

Radar MCU(312)에 대하여 예를 들면, Radar MCU(312)는 센서인 Radar 장치와 연결된다. Radar 장치는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 센서 장치이다. Radar 장치를 이용하면 주파수 변조 반송파(FMCW, Frequency Modulation Carrier Wave) 또는 펄스 반송파(Pulse Carrier) 방식을 이용하여 수평각도 30도 범위에서 150m 전방까지의 물체를 감지할 수 있다. Radar MCU(312)는 Radar 장치 및 Radar 장치에 연결된 다른 장치(예컨대, Radar 센싱 출력을 프로세싱하는 Radar 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다. 한편, Radar 장치는 대표적으로 77GHz 대역 레이더 또는 적합한 다른 대역을 사용하며, 자동차의 전방 영역을 센싱한다. Radar 장치로부터 획득한 정보는 적응형 크루즈 컨트롤(ACC)과 같은 ADAS 기술을 위해 사용될 수 있다. 한편, Radar 프로세서는 Radar 장치가 센싱하여 출력한 데이터를 프로세싱할 수 있고, 이러한 프로세싱은 센싱한 전방의 물체를 확대하거나 전체 시야 영역 중에서 물체의 영역에 포커스를 맞추는 것을 포함한다.

GPS MCU(313)에 대하여 예를 들면, GPS MCU(313)는 센서인 GPS 장치와 연결된다. GPS 장치는 위성과의 통신을 이용해 자동차의 위치, 속도 및 시간 측정을 할 수 있는 장치이다. 구체적으로 GPS 장치는 위성으로부터 발사되는 전파의 지연시간을 계측하고 궤도로부터의 거리에서 현재의 위치를 구하는 장치이다. GPS MCU(313)는 GPS 장치 및 GPS 장치에 연결된 다른 장치(예컨대, GPS 센싱 출력을 프로세싱하는 GPS 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다.

네비게이션 MCU(314)에 대하여 예를 들면, 네비게이션 MCU(314)는 센서인 네비게이션 장치와 연결된다. 네비게이션 장치는 자동차 실내의 전면부에 설치되는 디스플레이 장치를 통해 맵(map) 정보를 표시하는 장치이다. 구체적으로 map 정보는 메모리 장치에 저장되며 GPS 장치를 통해 계측한 자동차의 현재 위치를 map 데이터에 표시한다. 네비게이션 MCU(314)는 네비게이션 장치 및 네비게이션 장치에 연결된 다른 장치(예컨대, 네비게이션 센싱 출력을 프로세싱하는 네비게이션 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다.

V2X MCU(315)에 대하여 예를 들면, V2X MCU(315)는 센서인 V2X 장치와 연결된다. 구체적으로 V2X 장치는 자동차 간 통신(V2V), 자동차 대 인프라 통신(V2I), 자동차 대 모바일 통신(V2N)을 수행하는 장치이다. V2X MCU(315)는 V2X 장치 및 V2X 장치에 연결된 다른 장치(예컨대, V2X 센싱 출력을 프로세싱하는 V2X 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다.

ECU 레벨에 속하는 ECU(electrical control unit)(320)는 자동차에서 사용되는 다수의 전자 장치들을 통합적으로 제어하는 장치이다. 예를 들어, ECU(320)는 MCU 레벨에 속하는 MCU들 및 컨트롤러 레벨에 속하는 컨트롤러들 모두를 제어할 수 있다. ECU(320)는 MCU들로부터 센싱 데이터를 수신하여 상황에 맞도록 컨트롤러를 제어하는 제어 명령을 생성하여 컨트롤러들에게 제어 명령을 전송한다. 한편, 본 명세서에서는 설명의 편의를 위해 MCU 레벨 보다 상위의 레벨로서 ECU 레벨을 설명하고 있으나, MCU 레벨에 속하는 MCU들 중의 하나의 MCU가 ECU로서 역할을 수행할 수도 있고, 두 개의 MCU가 결합하여 ECU로서 역할을 수행할 수도 있다.

컨트롤러 레벨에는 운전자 경고 컨트롤로(331), 헤드 램프 컨트롤러(332), 차량 자세 제어 컨트롤러(333), 조향 컨트롤러(334), 엔진 제어 컨트롤러(335), 서스펜션 컨트롤러(336), 브레이크 컨트롤러(337) 등이 있다. 컨트롤러는 ECU(320)로부터 수신한 제어 명령에 기초하여 자동차의 구성 부품들을 제어한다.

운전자 경고 컨트롤러(331)에 대하여 예를 들면, 운전자 경고 컨트롤러(331)는 운전자에게 특정한 위험 상황을 경고하기 위해 오디오 방식, 비디오 방식 또는 햅틱 방식의 경고 신호를 발생시킨다. 예를 들어, 경고음을 출력하기 위해 운전자 경고 컨트롤러(331)는 자동차의 사운드 시스템을 이용해 경고음을 출력할 수 있다. 또는, 경고 메시지를 디스플레이 하기 위해 운전자 경고 컨트롤러(331)는 HUD 디스플레이 또는 사이드 미러 디스플레이를 통해 경고 메시지를 출력할 수 있다. 또는, 경고 진동을 발생시키기 위해 운전자 경고 컨트롤러(331)는 핸들에 장착된 진동모터를 동작시킬 수 있다.

헤드 램프 컨트롤러(332)에 대하여 예를 들면, 헤드 램프 컨트롤러(332)는 자동차의 전방에 위치하여 야간에 자동차의 전방에 대해 운전자의 시야를 확보해주는 헤드 램프를 제어한다. 예를 들면, 헤드 램프 컨트롤러(332)는 상향등 제어, 하향등 제어, 좌우 보조등 제어, 적응형 헤드 램프 제어 등을 수행한다.

차량 자세 제어 컨트롤러(333)에 대하여 예를 들면, 차량 자세 제어 컨트롤러(333)는 VDC(vehicle dynamic control) 또는 ESP(electrical stability control) 등으로 지칭되며, 운전자의 긴급한 핸들 조작이나 노면의 상태 등으로 인해서 자동차의 거동이 급격히 불안정해지는 경우에 전자적 장비가 개입이 자동차의 거동을 바로잡는 제어를 수행한다. 예를 들어, 휠 스피드 센서, 조향각 센서, 요 레이트(yaw rate) 센서, 실린더 압력 센서 등의 센서들이 스티어링 휠 조작을 센싱해 스티어링 휠과 바퀴의 진행방향이 어긋나는 경우에, 차량 자세 제어 컨트롤러(333)는 브레이크 잠김 방지 기능(ABS) 등을 이용해 각 바퀴의 제동력을 분산하는 제어를 수행한다.

조향 컨트롤러(334)에 대하여 예를 들면, 조향 컨트롤러(334)는 스티어링 휠을 구동시키는 전동식 파워스티어링 시스템(MPDS)에 대한 제어를 수행한다. 예를 들어, 자동차가 충돌이 예상되는 경우에 조향 컨트롤러(334)는 충돌을 회피하거나 피해를 최소화할 수 있는 방향으로 자동차의 조향을 제어한다.

엔진 제어 컨트롤러(335)에 대하여 예를 들면, 엔진 제어 컨트롤러(335)는 산소 센서, 공기량 센서, 매니폴드 절대압 센서로부터의 데이터를 ECU(32)가 수신하면, 그 제어 명령에 따라서 인젝터, 스로틀, 스파크 플러그 등의 구성을 제어하는 역할을 수행한다.

서스펜션 컨트롤러(336)에 대하여 예를 들면, 서스펜션 컨트롤러(336)은 모터 기반의 능동 서스펜션 제어를 수행하는 장치이다. 구체적으로 서스펜션 컨트롤러(336)는 쇽업 쇼버의 감쇠력을 가변적으로 제어해 일반 주행시는 부드러운 승차감을 주도록 하고, 고속 주행 및 자세 변화시에는 딱딱한 승차감을 주도록 하여 승차감 및 주행 안정성을 확보하게 한다. 또한, 서스펜션 컨트롤러(336)는 감쇠력 제어 외에도, 차고 제어, 자세 제어 등을 수행할 수도 있다.

브레이크 컨트롤러(337)에 대하여 예를 들면, 브레이크 컨트롤러(337)는 자동차의 브레이크의 동작 여부를 제어하고 브레이크의 답력을 제어한다. 예를 들어, 전방 충돌이 예상되는 경우에 운전자가 브레이크를 동작시켰는지 여부와 무관하게 브레이크 컨트롤러(337)는 ECU(320)의 제어 명령에 따라서 자동적으로 긴급 브레이크를 작동시키도록 제어한다.

한편, 본 도면을 이용하여 상술한 바에 따르면 MCU, ECU 및 컨트롤러가 각각 독립적인 구성요소로 설명하였으나, 반드시 이에 한정되는 것이 아님을 이해하여야 한다. 2개 이상의 MCU들은 1개의 MCU로 통합될 수 있고, 2개 이상의 MCU들은 서로 연동할 수 있고, 2개 이상의 MCU들 및 ECU는 하나의 장치로 통합될 수 있고, 2개 이상의 컨트롤러들은 1개의 컨트롤러로 통합될 수 있고, 2개 이상의 컨트롤러들은 서로 연동할 수 있고, 2개 이상의 컨트롤러들 및 ECU는 하나의 장치로 통합될 수 있다.

예를 들면, Radar 프로세서는 Radar 장치의 출력을 프로세싱하고, 이미지 프로세서(41)는 이미지 센서(31)의 출력을 프로세싱하는데, Radar 장치의 출력 및 이미지 센서(31)의 출력은 하나의 프로세서(Radar 프로세서, 이미지 프로세서(41), 통합된 프로세서, 또는 ECU(320))에 의해 연동될 수 있다. 예를 들면, Radar 장치가 센싱하여 출력한 데이터를 Radar 프로세서가 프로세싱하고, 그 프로세싱 결과로 도출된 전방의 물체에 대한 정보에 기초하여, 이미지 프로세서(41)는 이미지 센서(31)가 센싱하여 출력한 데이터를 확대하거나 포커스를 맞추는 프로세싱을 수행할 수 있다. 반대로, 이미지 센서(31)가 센싱하여 출력한 데이터를 이미지 프로세서(41)가 프로세싱하고, 그 프로세싱 결과로 도출된 전방의 물체에 대한 정보에 기초하여, Radar 프로세서는 Radar 장치가 센싱하여 출력한 데이터를 확대하거나 포커스를 맞추는 프로세싱을 수행할 수 있다. 이를 위해 Radar MCU는 Radar 장치에 대해 빔 에이밍(beam aiming) 또는 빔 셀렉션(beam selection)을 수행하도록 제어할 수 있다. 또는 Radar 프로세서는 배열 안테나 또는 위상 배열 안테나 시스템에서의 디지털 빔 포밍(beam forming)을 수행하거나 디지털 빔 스티어링(beam steering)을 수행할 수 있다. 이와 같이 Radar 및 전방 카메라가 서로 연동하는 경우라면, 이미지 센서(31) 및 Radar 장치는 동일한 기판(예를 들면, 이미지 PCB(30)) 상에 배치될 수 있다.

도 4는 본 발명에 따른 카메라 시스템(1)의 구성요소를 나타내는 도면이다.

도 4를 참조하면, 카메라 시스템(1)은 렌즈(10), 이미지 센서(31), 이미지 프로세서(41) 및 카메라 MCU(42)를 포함한다.

또한, 카메라 시스템(1)은 이그니션 전압(410)을 수신하여 제1전압(411), 제2전압(412) 및 제3전압(413)으로 변환하는 제1컨버터(421), 제3전압(413)을 수신하여 2개의 제4전압(414)으로 변환하는 제2컨버터(422), 제1전압(411)을 수신하여 제5전압(415) 및 제6전압(416)으로 변환하는 제3컨버터(423)를 포함한다. 제1컨버터(421)는 3ch DC-DC 컨버터 일 수 있고, 제3컨버터(레귤레이리터)(423)는 2ch LDO(Low Drop Out)일 수 있다. 제3컨버터(423)을 LDO로 구현하는 이유는 이미지 센서(31)에서 요구되는 전류 레벨이 크지 않기 때문이다.

이그니션 전압(410)은 드라이버가 수동으로 키를 돌려 차량의 시동을 걸거나 버튼식으로 차량의 시동을 걸 때 발생하는 전압으로서 일반적으로 14V일 수 있다. 제 1 전압(411)은 제1컨버터(421)가 이그니션 전압(410)을 수신하여 변환하는 전압으로서 3.3V일 수 있다. 제1전압(411)은 카메라 MCU(42)에 입력되어 카메라 MCU(42)의 동작 전원으로 이용될 수 있다. 또한, 제1전압(411)은 감시 모듈(441) 및 제1메모리(431)의 동작 전원으로 이용될 수 있다. 또한, 제1전압(411)은 이미지 프로세서(41)의 동작 전원으로 이용될 수 있다. 카메라 MCU(42) 및 이미지 프로세서(41)에 동일한 동작 전원인 제1전압(411)이 인가되는 이유는 두 개의 통신 컴포넌트 간의 통신 레벨(IO 전압)을 맞추기 위해서이다. 제2전압(412)은 제1컨버터(421)가 이그니션 전압(410)을 수신하여 변환하는 전압으로서 1.8V일 수 있다. 한편, 후술하는 바와 같이 이미지 센서(31)에는 제5전압(예컨대, 1.8V)가 인가되는데, 이 전압은 제2전압과 동일하다. 이미지 프로세서(41)에 인가되는 제2전압(412) 및 이미지 센서(31)에 인가되는 제5전압(215)가 서로 동일한 이유는 이미지 프로세서(41) 및 이미지 센서(31) 사이의 통신 레벨(IO 전압)을 맞추기 위해서이다. 제3전압(413)은 제1컨버터(421)가 이그니션 전압(410)을 수신하여 변환하는 전압으로서 5V일 수 있다. 제3전압(413)은 제2컨버터(422)로 인가되고 제2컨버터(422)는 제4전압(414)을 출력할 수 있다. 제4전압(414)는 이미지 프로세서(41)에 인가되어 이미지 프로세서(41)의 코어 전원로서 동작한다. 한편, 제1컨버터(421)가 제4전압(414)를 직접 출력하는 것이 가능함에도 불구하고, 제1컨버터(421)가 제3전압(413)을 출력하고 그 제3전압(413)을 수신한 제2컨버터(422)가 제4전압(414)를 출력하는 이유는, 이미지 프로세서(41)가 요구하는 허용 전류를 만족시키기 위해서이다. 이에 더하여, 그 이유는 제3전압(413)은 다른 컴포넌트(예컨대, HS-CAN TRx 등)에서 동작 전원으로 사용하게 하기 위해서이다.

한편, 제1전압(411)은 제3컨버터(423)로 인가되고 제3컨버터(423)은 제5전압(415) 및 제6전압(416)을 출력한다. 제5전압(415)은 1.8V일 수 있고, 제6전압(416)은 2.8V일 수 있다. 제5전압(415)은 이미지 센서(31)로 인가되어 이미지 프로세서(41)와의 통신 레벨을 맞추기 위한 용도로 동작한다. 제6전압(416)은 이미지 센서(31)로 인가되어 이미지 센서(31)의 코어 전원으로서 동작한다. 결국 ??42와 41은 3.3V로 통신 레벨 맞추고, 41과 31은 1.8로 통신 레멜 맞추는 의미 부여

또한, 카메라 시스템(1)은 제1전압(411)을 수신하고 카메라 MCU(42)에 연결되는 제1메모리(431), 이미지 프로세서(41)에 연결되는 제2메모리(432), 이미지 프로세서(41)에 연결되는 제3메모리(433), 이미지 프로세서(41)에 연결되는 제4메모리(434)를 포함한다. 제1메모리(431)는 EEPROM일 수 있고, 제2메모리(432)는 LPDDR2일 수 있고, 제3메모리(433)는 LPDDR2일 수 있고, 제4메모리(434)는 Flash 메모리일 수 있다. 제1메모리(431)는 카메라 MCU(42)에 연결되고 MCU 로직 데이터(컨트롤러를 제어하는 알고리즘), MCU 베이직 소프트웨어(이미지 프로세서(41), 이미지 센서(31) 등을 구동시키기 위한 스타트업 알고리즘 등)를 저장한다. 제2메모리(432)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(41)의 명령에 따라서, 제4메모리(434)에 저장되는 기능 구현 알고리즘을 실행하는 역할을 수행한다. 제3메모리(433)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(41)의 명령에 따라서, 제4메모리(434)에 저장되는 기능 구현 알고리즘을 실행하는 역할을 수행한다. 제4메모리(434)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(31)에서 기능을 구현하는 알고리즘 데이터(예컨대, LD, PD, VD, TSR 등)를 저장한다. 한편, 제2메모리(432) 및 제3메모리(433)는 카메라 시스템(1)이 지원하는 기능의 개수에 따라서 그 용량이 결정될 수 있다. 예컨대, 기능 중 일부만 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터, 교통 신호등에 대한 데이터, 액티브 하이밉 컨트롤에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터인 경우)에는 제2메모리(432) 및 제3메모리(433)는 각각 128MB일 수 있으며, 더 많은 기능을 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전술한 예에 추가적으로, VD at any angle, 로드 프로파일에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터, 어드밴스트 트래픽 사인(advanced traffic sign)에 대한 데이터, 오도메트리(odometry)(예컨대, 맵 매칭)에 대한 데이터인 경우)에는 제2메모리(432) 및 제3메모리(433)은 각각 256MB일 수 있다. 또한, 제2메모리(432) 및 제3메모리(33)는 렌즈(10)의 개수에 따라서 1개의 메모리로 통합될 수도 있다. 1개의 렌즈(10)만을 사용하는 경우에는 제2메모리(432) 및 제3메모리(433)의 총 2개의 메모리(예컨대, 2 X 218MB)가 사용될 수 있고, 2개의 렌즈(10)를 사용하는 경우에는 2개의 메모리를 사용하는 경우보다 용량이 더 큰 1개의 메모리(예컨대, 1 X 512MB)가 사용될 수 있다. 또한, 3개의 렌즈(10)가 사용되는 경우에는 용량이 큰 2개의 메모리(예컨대, 2 X 512MB)가 사용될 수 있다. 즉, 제2메모리(432) 및 제3메모리(433)는 렌즈의 개수에 따라서 그 개수 및 용량이 변경될 수 있다.

또한, 카메라 시스템(1)은 카메라 MCU(42)에 연결되는 감시 모듈(441), 카메라 MCU(42)에 연결되어 샤시 CAN 통신을 수행하는 고속-캔 송수신기(HS-CAN_TRx)(442), 카메라 MCU(42)에 연결되어 로컬 CAN 통신을 수행하는 고속-캔 송수신기(443), 카메라 MCU(42)에 연결되어 와이퍼 동작 입력을 수신하는 외부 입력기(444), 카메라 MCU(42)에 연결되어 온오프 스위칭 입력을 수신하는 외부 입력기(445), 카메라 MCU(42)에 연결되어 LED 신호를 출력하는 외부 출력기(446)를 포함한다. 카메라 MCU(42)가 와이퍼 동작 입력을 수신하는 이유는, 와이퍼 ON 신호가 수신되는 경우는 비가 오는 상황으로써 카메라 시스템(1)을 통한 전방의 인식이 열화되기 때문에 카메라 MCU(42)의 동작을 Off 시키거나 또는 카메라 MCU(42)의 특정 기능을 Off 시킬 필요가 있기 때문이다. 또한, 카메라 MCU(42)** 야갼 상황시 (스위치의 작은 LED ON 기능인데, 굳이 카메라 MCU d에서 할 필요는 없는데..)

전술한 카메라 시스템(1)은 RBDPS(Road Boundary Departure Prevention Systems), CACC(Cooperative Adaptive Cruise Control Systems), Vehicle/roadway warning systems, PAPS(Partially Automated Parking Systems), PALS(Partially Automated Lane Change Systems), C-FVBWS(Cooperative Forward Vehicle Emergency Brake Warning Systems), LDWS(Lane Departure Warning Systems), PDCMS(Pedestrian Detection and Collision Mitigation Systems), CSWS(Curve Speed Warning Systems), LKAS(Lane Keeping Assistance Systems), ACC(Adaptive Cruise Control systems), FVCWS(Forward Vehicle Collision Warning Systems), MALSO(Manoeuvring Aids for Low Speed Operation systems), LCDAS(Lane Change Decision Aid Systems), LSF(Low Speed Following systems), FSRA(Full Speed Range Adaptive cruise control systems), FVCMS(Forward Vehicle Collision Mitigation Systems), ERBA(Extended Range Backing Aids systems), CIWS(Cooperative Intersection Signal Information and Violation Warning Systems), TIWS(Traffic Impediment Warning Systems) 중 적어도 하나의 기능을 구현하기 위해서 사용될 수 있다.

카메라 MCU(42)는, 이미지 프로세서(41)의 이미지 데이터 또는 Lidar MCU (311)의 라이다 데이터 Radar MCU (312)의 레이더 데이터에 기초하여, 차량의 주변 객체들(예를 들어, 다른 차량, 보행자, 사이클리스트 등), 차로의 차선 및 자유 공간을 식별할 수 있다.

카메라 MCU(42)는 영상 데이터에 기초하여 차량의 전방 객체들의 상대 위치(차량으로부터 거리 및 주행 방향에 대한 각도) 및 분류(예를 들어, 객체가 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지 등)를 식별할 수 있다. 프로세서(161)는 레이더 데이터 및 라이다 데이터에 기초하여 차량의 전방 객체들의 상대 위치 및 상대 속도를 식별할 수 있다. 또한, 카메라 MCU(42)는 레이더 데이터에 기초하여 식별된 객체들을 영상 데이터에 기초하여 식별된 객체들 및 라이더 데이터에 기초하여 식별된 객체들과 매칭하고, 객체들의 매칭에 기초하여 차량의 주변 객체들의 분류, 상대 위치 및 상대 속도를 획득할 수 있다.

카메라 MCU(42)는 메모리(에 저장된 고정밀 지도(high-definition map, HD map), 이미지 데이터, 레이더 데이터 및 라이다 데이터를 이용하여 차량의 위치를 추정할 수 있다. 예를 들어, 카메라 MCU(42)는 라이다 데이터에 기초하여 고정밀 지도의 복수의 랜드 마크들까지의 거리를 식별하고, 복수의 랜드 마크들까지의 거리에 기초하여 차량의 절대 위치를 식별할 수 있다.

카메라 MCU(42)는 또한 이미지 데이터, 레이더 데이터 및 라이다 데이터에 기초하여 차량의 주변 객체들을 고정밀 지도 상에 투영시킬 수 있다. 카메라 MCU(42)는 차량의 절대 위치 및 객체들의 상대 위치에 기초하여 차량의 주변 객체들을 고정밀 지도 상에 투영시킬 수 있다.

카메라 MCU(42)는 차량의 주변 객체들의 상대 위치와 상대 속도에 기초하여 차량과 주변 객체들 사이의 충돌 위험을 평가할 수 있다. 예를 들어, 카메라 MCU(42)는 차량의 주변 객체의 위치(거리)와 상대 속도에 기초하여 차량과 주변 객체 사이의 충돌까지 시간(Time to Collision, TTC) (또는 충돌까지의 거리, TTD)를 산출하고, 충돌까지의 시간에 기초하여 차량(1)과 주변 객체 사이의 충돌 위험을 평가할 수 있다. 카메라 MCU(42)는, 충돌까지의 시간이 작을수록 충돌 위험이 높은 것을 판단할 수 있다.

카메라 MCU(42)는, 충돌 위험에 기초하여, 차량의 주변 객체들 중에 타겟 객체를 선택할 수 있다. 예를 들어, 카메라 MCU(42)는, 차량과 주변 객체들 사이의 충돌까지의 시간에 기초하여 중에 타겟 객체를 선택할 수 있다.

카메라 MCU(42)는 타겟 객체와의 충돌 위험에 기초하여 구동 신호와 제동 신호와 조향 신호를 생성할 수 있다. 예를 들어, 카메라 MCU(42)는 차량과 타겟 객체들 사이의 충돌까지 시간(TTC)과 기준 시간 사이의 비교에 기초하여 운전자에게 충돌을 경고하거나 제동 신호를 브레이크 컨트롤러(337)로 전송할 수 있다. 또한, 카메라 MCU(42)는, 차량과 타겟 객체들 사이의 충돌까지 시간(TTC)과 기준 시간 사이의 비교에 기초하여 타겟 객체와의 충돌을 회피하기 위하여 조향 신호를 조향 컨트롤러(334)로 전송할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 차량의 제어 계통을 나타낸 도면이다. 도 5에 나타낸 제어부(502)는 차량에 마련되는 복수의 ECU들 중 하나로서, 차량의 운전자 지원 시스템(Advanced Driver Assistance System, ADAS)을 담당하는 ECU일 수 있다. 이와 같은 제어부(502)는, 운전자의 상태 정보 및 차량의 상태 정보에 기초하여 운전자의 주의 분산을 검출하고, 검출된 주의 분산의 정도를 나타내는 운전자 주의 분산 값을 산출하여 연관된 ECU들에 제공함으로써, 운전자의 주의 분산 정도에 따른 차량의 안전 운전 제어가 이루어질 수 있도록 한다.

도 5에 나타낸 바와 같이, 제어부(502)의 입력 측에는 눈 동공 직경 검출 센서(562)와 시선 각도 검출 센서(564), 펄스 간격 검출 센서(566), 갈바닉 피부 반응 검출 센서(568), 스티어링 휠 센서(570), 차로 검출 센서(572), 횡방향 위치 검출 센서(574)를 포함하는 다수의 센서들이 통신 가능하도록 연결된다.

눈 동공 직경 검출 센서(562)는 운전자의 눈 동공의 크기를 검출하도록 마련된다. 눈 동공 직경 검출 센서(562)는 운전자의 얼굴을 촬영하는 카메라일 수 있다. 동공의 크기는 운전자의 신체적 상태 또는 심리적 상태에 따라 달라질 수 있다. 따라서 눈 동공 직경의 크기를 통해 운전자의 신체적 상태 또는 심리적 상태를 추정할 수 있다.

시선 각도 검출 센서(564)는 운전자의 시선이 미리 설정된 각도 범위를 벗어나는지를 검출하도록 마련된다. 시선 각도 검출 센서(564)는 운전자의 얼굴을 촬영하는 카메라일 수 있다. 운전자가 졸음 운전을 하는 경우, 운전자는 고개를 숙이게 되고 이로 인해 운전자의 시선이 아래쪽을 향하게 된다. 시선 각도 검출 센서(564)는 운전자의 시선이 아래쪽 일정 각도 이하로 낮아지는 것을 검출함으로써 운전자의 졸음 운전 여부를 추정할 수 있도록 한다.

펄스 간격 검출 센서(566)는 운전자의 심박 간격을 검출하도록 마련된다. 펄스 간격 검출 센서(566)는 생체 인식 센서일 수 있다. 운전자의 심리적 상태(흥분 또는 차분)에 따라 운전자의 심박 수(즉 심박 간격)이 달라지므로, 운전자의 심박 간격을 통해 운전자의 심리적 상태를 추정할 수 있다.

갈바닉 피부 반응 검출 센서(568)는 운전자의 피부 반응을 검출하도록 마련된다. 운전자의 심리 상태 또는 신체적 상태에 따라 운전자의 피부가 서로 다르게 반응할 수 있다. 예를 들면 운전자가 긴장한 상태일 때 운전자의 피부를 통해 다량의 땀이 배출될 수 있다.

스티어링 휠 센서(570)는 운전자에 의해 발생하는 스티어링 휠의 조작량(회전 각도)을 검출하도록 마련된다. 차량이 주행하는 동안 스티어링 휠의 일정 수준 이상의 조작이 필요한 상황에서 스티어링 휠의 조작이 발생하지 않으면 운전자가 스티어링 휠의 조작에 집중하지 않은 상태인 것으로 추정할 수 있다. 반대로, 차량이 주행하는 동안 스티어링 휠의 조작이 필요치 않은 상황에서 스티어링 휠의 조작이 발생하는 경우에도 운전자가 스티어링 휠의 조작에 집중하지 않은 상태인 것으로 추정할 수 있다.

차로 검출 센서(572)는 차량이 주행 중인 차로를 검출하도록 마련된다. 이를 위해 차로를 구분하는 양쪽 차선을 검출할 수 있다. 제어부(502)는 차로 검출 센서(572)의 검출 결과로부터 차량이 차로를 벗어나는지를 확인할 수 있다. 차량이 양쪽 차선 중 어느 한쪽 차선을 벗어나는 것으로부터 운전자가 차량의 조향 제어에 집중하고 있지 않은 것을 추정할 수 있다.

횡방향 위치 검출 센서(574)는 차량이 현재 주행 중인 차로의 횡방향(폭)에서 어느 위치에 있는지를 검출하도록 마련된다. 제어부(502)는 횡방향 위치 검출 센서(574)의 검출 결과로부터 차량이 현재 주행 중인 차로의 어느 한 쪽으로 치우쳐 주행하는지를 확인할 수 있다. 차량이 차로의 어느 한 쪽으로 치우쳐 주행하는 것으로부터 운전자가 차량의 조향 제어에 집중하고 있지 않은 것을 추정할 수 있다.

이상 열거한 센서들 외에, 운전자의 상태 또는 차량의 상태를 검출하기 위한 다양한 유형의 센서들이 더 사용될 수 있다.

제어부(502)는, 이와 같은 다수의 센서들을 통해 획득한 정보에 기초하여 운전자의 주의 분산 값을 산출한다. 제어부(502)가 산출한 운전자 주의 분산 값은 연관된 ECU들(582)로 전송된다. 연관된 ECU들(582)은, 제어부(502)로부터 수신한 운전자 주의 분산 값에 기초하여 운전자 주의 분산 정도를 고려한 차량의 안전 운전이 이루어지도록 필요한 차량 제어를 수행한다.

도 2는 본 발명의 실시 예에 따른 차량의 운전자 보조 제어 방법을 나타낸 도면이다. 도 2의 제어 방법은, 앞서 설명한 도 1에 나타낸 제어 계통을 기반으로 하여 이루어진다.

도 2에 나타낸 바와 같이, 차량이 주행을 시작하면, 제어부(502)는 도 1에 나타낸 것과 같은 센서들을 통해 운전자의 상태 정보 및 차량의 상태 정보를 획득한다(602).

제어부(502)는 센서들의 검출 값으로부터 운전자의 시선 이탈 비율 또는 응시 시간(duration)을 확인한다(604).

만약, 운전자의 시선 이탈 비율이 미리 설정된 제 1 기준 값보다 큰 경우, 또는 응시 시간이 미리 설정된 제 2 기준 값보다 큰 경우에는(604의 '예') 시각적 주의 분산 검출(Visual Distraction Detection)을 실시한다(606). 시각적 주의 분산 검출은, 예를 들면, 시선 각도 검출 센서(564)를 통해 검출한 운전자의 동공의 크기 정보를 기초로 수행될 수 있다. 제어부(502)는 시각적 주의 분산 검출을 위해 머신 러닝 기술을 이용할 수 있다. 특히, 본 발명의 실시 예에서는, 시각적 주의 분산 검출을 위해 동적 베이지안 네트워크 기술(Dynamic Bayesian Network)이나, Deep Neural Networks(DNN) 기술, 또는 Convolution Neural Networks(CNN) 기술이 사용될 수 있다.

이와 다르게, 만약 시선 이탈 비율이 미리 설정된 제 1 기준 값보다 작거나 같은 경우, 또는 응시 시간이 미리 설정된 제 2 기준 값보다 작거나 같은 경우에는(604의 '아니오') 인지적 주의 분산 검출(Cognitive Distraction Detection)을 실시한다(608). 인지적 주의 분산 검출은, 예를 들면, 눈 동공 직경 검출 센서(562)와 시선 각도 검출 센서(564), 펄스 간격 검출 센서(566), 갈바닉 피부 반응 검출 센서(568), 스티어링 휠 센서(570), 차로 검출 센서(572), 횡방향 위치 검출 센서(574)를 포함하는 다수의 센서들을 통해 검출한 결과를 기초로 수행될 수 있다. 제어부(502)는 인지적 주의 분산 검출을 위해 머신 러닝 기술을 이용할 수 있다. 특히, 본 발명의 실시 예에서는, 인지적 주의 분산 검출을 하기 위해 동적 베이지안 네트워크 기술(Dynamic Bayesian Network)이나, Deep Neural Networks(DNN) 기술, 또는 Convolution Neural Networks(CNN) 기술이 사용될 수 있다.

시각적 주의 분산 검출 또는 인지적 주의 분산 검출이 완료되면, 제어부(502)는 시각적 주의 분산 검출 결과 또는 인지적 주의 분산 검출 결과로부터 운전자 주의 분산 값을 산출한다(610). 제어부(502)는 운전자 주의 분산 값의 산출을 위해 머신 러닝 기술을 이용할 수 있다. 특히, 본 발명의 실시 예에서는, 운전자 주의 분산 값을 산출하기 위해 동적 베이지안 네트워크 기술(Dynamic Bayesian Network)이나, Deep Neural Networks(DNN) 기술, 또는 Convolution Neural Networks(CNN) 기술이 사용될 수 있다.

운전자 주의 분산 값이 산출되면, 제어부(502)는 산출된 운전자 주의 분산 값을 연관된 ECU들에 제공함으로써, ECU들로 하여금 운전자의 주의 분산 정도에 따른 차량의 안전 운전 제어를 수행할 수 있도록 한다(612).

도 3은 본 발명의 실시 예에 따른 차량의 머신 러닝을 이용한 운전자 주의 분산 값의 산출을 나타낸 도면이다. 특히, 도 3은에는 동적 베이지안 네트워크 기술(Dynamic Bayesian Network)을 이용한 운전자 주의 분산 값의 산출을 나타내었다.

도 3에 나타낸 바와 같이, 제어부(502)는 센서들을 통해 획득한 운전자의 상태 정보 및 차량의 상태 정보를 조건부 확률로 정의된 동적 베이지안 네트워크를 적용하여 운전자의 주의 분산이 발생할 확률을 계산하여 운전자의 통합된 주의 분산 검출 값을 산출한다.

본 발명의 실시 예에 따른 차량의 동적 베이지안 네트워크를 적용한 운전자의 주의 분산 값의 산출은 다음의 식 1을 통해 산출될 수 있다. 도 4는 본 발명의 실시 예에 따른 차량의 머신 러닝을 이용한 운전자 주의 분산 값의 산출을 단순화하여 나타낸 도면이다.

P(X1=a)는, event X1 True 가능성 a (%)

P(X1=b)는, event X1 False 가능성 b (%)

P(Y1=s|X1=a)는, event X1 True일 때, event Y1 True 가능성 s (%)

P(Y1=s|X1=b)는, event X1 False일 때, event Y1 True 가능성 s (%)

P(Y1=r|X1=a)는, event X1 True일 때, event Y1 False 가능성 r (%)

P(Y1=r|X1=b)는, event X1 False일 때, event Y1 False 가능성 r (%)

t-1: 과거 시간, t: 현재 시간

하나 이상의 예시적인 실시 예에서, 설명한 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현된다면, 이 기능들은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령 또는 코드로서 저장 또는 전송될 수 있다. 컴퓨터 판독 가능 매체는 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체 및 컴퓨터 저장 매체를 모두 포함한다. 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 한정이 아닌 예시로, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 명령이나 데이터 구조의 형태로 원하는 프로그램코드를 전달 또는 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스 가능한 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독 가능 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 꼬임 쌍선, 디지털 가입자 회선(DSL), 또는 적외선, 라디오 및 초고주파와 같은 무선 기술을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송된다면, 동축 케이블, 광섬유 케이블, 꼬임 쌍선, DSL, 또는 적외선, 라디오 및 초고주파와 같은 무선 기술들이 매체의 정의에 포함된다. 여기서 사용된 것과 같은 디스크(disk 및 disc)는 콤팩트 디스크(CD), 레이저 디스크, 광 디스크, 디지털 다목적 디스크(DVD), 플로피디스크 및 블루레이 디스크를 포함하며, 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 반면, 디스크(disc)들은 데이터를 레이저에 의해 광학적으로 재생한다. 상기의 조합들 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

실시 예들이 프로그램 코드나 코드 세그먼트들로 구현될 때, 코드 세그먼트는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 것으로 인식해야 한다. 코드 세그먼트는 정보, 데이터, 인수(argument), 파라미터 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수 있다. 정보, 인수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적당한 수단을 이용하여 전달, 발송 또는 전송될 수 있다. 추가로, 어떤 측면들에서 방법 또는 알고리즘의 단계들 및/또는 동작들은 컴퓨터 프로그램 물건으로 통합될 수 있는 기계 판독 가능 매체 및/또는 컴퓨터 판독 가능 매체 상에 코드들 및/또는 명령들 중 하나 또는 이들의 임의의 조합이나 세트로서 상주할 수 있다.

소프트웨어에서 구현에서, 여기서 설명한 기술들은 여기서 설명한 기능들을 수행하는 모듈들(예를 들어, 프로시저, 함수 등)로 구현될 수 있다. 소프트웨어 코드들은 메모리 유닛들에 저장될 수 있으며 프로세서들에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내에 구현될 수도 있고 프로세서 외부에 구현될 수 있으며, 이 경우 메모리 유닛은 공지된 바와 같이 다양한 수단에 의해 프로세서에 통신 가능하게 연결될 수 있다.

하드웨어 구현에서, 처리 유닛들은 하나 이상의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래밍 가능 로직 디바이스(PLD), 현장 프로그래밍 가능 게이트 어레이(FPGA), 프로세서, 제어기, 마이크로컨트롤러, 마이크로프로세서, 여기서 설명한 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에 구현될 수 있다.

상술한 것은 하나 이상의 실시 예의 실례를 포함한다. 물론, 상술한 실시 예들을 설명할 목적으로 컴포넌트들 또는 방법들의 가능한 모든 조합을 기술할 수 있는 것이 아니라, 당업자들은 다양한 실시 예의 많은 추가 조합 및 치환이 가능함을 인식할 수 있다. 따라서 설명한 실시 예들은 첨부된 청구 범위의 진의 및 범위 내에 있는 모든 대안, 변형 및 개조를 포함하는 것이다. 더욱이, 상세한 설명 또는 청구 범위에서 "포함한다"라는 용어가 사용되는 범위에 대해, 이러한 용어는 "구성되는"이라는 용어가 청구 범위에서 과도적인 단어로 사용될 때 해석되는 것과 같이 "구성되는"과 비슷한 식으로 포함되는 것이다.

여기서 사용된 바와 같이, "추론하다" 또는 "추론"이라는 용어는 일반적으로 이벤트 및/또는 데이터에 의해 포착되는 한 세트의 관측으로부터 시스템, 환경 및/또는 사용자의 상태에 관해 판단하거나 추론하는 프로세스를 말한다. 추론은 특정 상황이나 동작을 식별하는데 이용될 수 있고, 또는 예를 들어 상태들에 대한 확률 분포를 생성할 수 있다. 추론은 확률적일 수 있는데, 즉 데이터 및 이벤트들의 고찰에 기초한 해당 상태들에 대한 확률 분포의 계산일 수 있다. 추론은 또한 한 세트의 이벤트들 및/또는 데이터로부터 상위 레벨 이벤트들을 구성하는데 이용되는 기술들을 말할 수도 있다. 이러한 추론은 한 세트의 관측된 이벤트들 및/또는 저장된 이벤트 데이터로부터의 새로운 이벤트들 또는 동작들, 이벤트들이 시간상 밀접하게 상관되는지 여부, 그리고 이벤트들과 데이터가 하나 또는 여러 이벤트 및 데이터 소스들로부터 나오는지를 추정하게 한다.

더욱이, 본 출원에서 사용된 바와 같이, "컴포넌트", "모듈", "시스템" 등의 용어는 이에 한정되는 것은 아니지만, 하드웨어, 펌웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어와 같은 컴퓨터 관련 엔티티를 포함하는 것이다. 예를 들어, 컴포넌트는 이에 한정되는 것은 아니지만, 프로세서상에서 실행하는 프로세스, 프로세서, 객체, 실행 가능한 실행 스레드, 프로그램 및/또는 컴퓨터일 수도 있다. 예시로, 연산 디바이스 상에서 구동하는 애플리케이션과 연산 디바이스 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며, 컴포넌트가 하나의 컴퓨터에 집중될 수도 있고 그리고/또는 2개 이상의 컴퓨터 사이에 분산될 수도 있다. 또한, 이들 컴포넌트는 각종 데이터 구조를 저장한 각종 컴퓨터 판독 가능 매체로부터 실행될 수 있다. 컴포넌트들은 하나 이상의 데이터 패킷(예를 들어, 로컬 시스템, 분산 시스템의 다른 컴포넌트와 그리고/또는 신호에 의해 다른 시스템들과 인터넷과 같은 네트워크를 거쳐 상호 작용하는 어떤 컴포넌트로부터의 데이터)을 갖는 신호에 따르는 등 로컬 및/또는 원격 프로세스에 의해 통신할 수 있다.

502 : 제어부
562 : 눈 동공 직경 검출 센서
564 : 시선 각도 검출 센서
566 : 펄스 간격 검출 센서
568 : 갈바닉 피부 반응 검출 센서
570 : 스티어링 휠 센서
572 : 차로 검출 센서
574 : 횡방향 위치 검출 센서
582 : ECU

Claims

운전자의 상태 및 차량의 상태를 검출하도록 마련되는 복수의 센서들과;
상기 복수의 센서들을 통해 획득한 운전자 상태 정보 및 차량 상태 정보에 기초하여 시각적 주의 분산 검출과 인지적 주의 분산 검출 가운데 적어도 하나를 수행하고, 상기 시각적 주의 분산 검출의 결과와 상기 인지적 주의 분산 검출의 결과 가운데 적어도 하나의 결과로부터 상기 운전자의 주의 분산 값을 산출하도록 마련되는 제어부를 포함하되,
상기 제어부는, 상기 시각적 주의 분산 검출과 상기 인지적 주의 분산 검출, 상기 운전자 주의 분산 값 산출을 위해 동적 베이지안 네트워크를 이용하는 차량의 운전자 보조 제어 장치.
제 1 항에 있어서, 상기 제어부는,
상기 운전자 상태 정보에 따른 운전자 상태 값이 미리 설정된 기준 값을 초과하면 상기 시각적 주의 분산 검출을 수행하고;
상기 운전자 상태 정보에 따른 상기 운전자 상태 값이 상기 미리 설정된 기준 값 이하이면 상기 인지적 주의 분산 검출을 수행하는 차량의 운전자 보조 제어 장치.
제 2 항에 있어서,
상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 시선 이탈 비율인 차량의 운전자 보조 제어 장치.
제 2 항에 있어서,
상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 응시 시간인 차량의 운전자 보조 제어 장치.
제 1 항에 있어서, 상기 제어부는,
다음의 식 1을 통해 상기 동적 베이지안 네트워크를 이용한 상기 운전자 주의 분산 값 산출을 수행하는 차량의 운전자 보조 제어 장치.
(식 1) P(X1,X2|Y1,Y2)=P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)/P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)
P(X1=a)는, event X1 True 가능성 a (%)
P(X1=b)는, event X1 False 가능성 b (%)
P(Y1=s|X1=a)는, event X1 True일 때, event Y1 True 가능성 s (%)
P(Y1=s|X1=b)는, event X1 False일 때, event Y1 True 가능성 s (%)
P(Y1=r|X1=a)는, event X1 True일 때, event Y1 False 가능성 r (%)
P(Y1=r|X1=b)는, event X1 False일 때, event Y1 False 가능성 r (%)
t-1: 과거 시간, t: 현재 시간
P(X1=a|X2=A)는, 과거 event X1 True일 때, 현재 event X2 True 가능성 A (%)
P(X1=b|X2=A)는, 과거 event X1 false일 때, 현재 event X2 True 가능성 A (%)
P(X1=a|X2=B)는, 과거 event X1 True일 때, 현재 event X2 false 가능성 B (%)
P(X1=b|X2=B)는, 과거 event X1 false일 때, 현재 event X2 false 가능성 B (%)
복수의 센서들을 통해 운전자의 상태 및 차량의 상태를 검출하는 단계와;
상기 복수의 센서들을 통해 획득한 운전자 상태 정보 및 차량 상태 정보에 기초하여 시각적 주의 분산 검출과 인지적 주의 분산 검출 가운데 적어도 하나를 수행하는 단계와;
상기 시각적 주의 분산 검출의 결과와 상기 인지적 주의 분산 검출의 결과 가운데 적어도 하나의 결과로부터 상기 운전자의 주의 분산 값을 산출하는 단계를 포함하되,
상기 시각적 주의 분산 검출과 상기 인지적 주의 분산 검출, 상기 운전자 주의 분산 값 산출을 위해 동적 베이지안 네트워크를 이용하는 차량의 운전자 보조 제어 방법.
제 6 항에 있어서,
상기 운전자 상태 정보에 따른 운전자 상태 값이 미리 설정된 기준 값을 초과하면 상기 시각적 주의 분산 검출을 수행하고;
상기 운전자 상태 정보에 따른 상기 운전자 상태 값이 상기 미리 설정된 기준 값 이하이면 상기 인지적 주의 분산 검출을 수행하는 차량의 운전자 보조 제어 방법.
제 7 항에 있어서,
상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 시선 이탈 비율인 차량의 운전자 보조 제어 방법.
제 7 항에 있어서,
상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 응시 시간인 차량의 운전자 보조 제어 방법.
제 6 항에 있어서,
다음의 식 1을 통해 상기 동적 베이지안 네트워크를 이용한 상기 운전자 주의 분산 값 산출을 수행하는 차량의 운전자 보조 제어 방법.
(식 1) P(X1,X2|Y1,Y2)=P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)/P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)
P(X1=a)는, event X1 True 가능성 a (%)
P(X1=b)는, event X1 False 가능성 b (%)
P(Y1=s|X1=a)는, event X1 True일 때, event Y1 True 가능성 s (%)
P(Y1=s|X1=b)는, event X1 False일 때, event Y1 True 가능성 s (%)
P(Y1=r|X1=a)는, event X1 True일 때, event Y1 False 가능성 r (%)
P(Y1=r|X1=b)는, event X1 False일 때, event Y1 False 가능성 r (%)
t-1: 과거 시간, t: 현재 시간
P(X1=a|X2=A)는, 과거 event X1 True일 때, 현재 event X2 True 가능성 A (%)
P(X1=b|X2=A)는, 과거 event X1 false일 때, 현재 event X2 True 가능성 A (%)
P(X1=a|X2=B)는, 과거 event X1 True일 때, 현재 event X2 false 가능성 B (%)
P(X1=b|X2=B)는, 과거 event X1 false일 때, 현재 event X2 false 가능성 B (%)
복수의 센서들을 통해 운전자의 상태 및 차량의 상태를 검출하는 단계와;
상기 복수의 센서들을 통해 획득한 운전자 상태 정보 및 차량 상태 정보에 기초하여 시각적 주의 분산 검출과 인지적 주의 분산 검출 가운데 적어도 하나를 수행하는 단계와;
상기 시각적 주의 분산 검출의 결과와 상기 인지적 주의 분산 검출의 결과 가운데 적어도 하나의 결과로부터 상기 운전자의 주의 분산 값을 산출하는 단계와;
산출된 상기 운전자의 주의 분산 값에 기초하여 상기 차량의 주행과 제동, 조향을 보조하는 제어를 수행하는 단계를 포함하되,
상기 시각적 주의 분산 검출과 상기 인지적 주의 분산 검출, 상기 운전자 주의 분산 값 산출을 위해 동적 베이지안 네트워크를 이용하는 차량의 운전자 보조 제어 방법.
제 11 항에 있어서,
상기 운전자 상태 정보에 따른 운전자 상태 값이 미리 설정된 기준 값을 초과하면 상기 시각적 주의 분산 검출을 수행하고;
상기 운전자 상태 정보에 따른 상기 운전자 상태 값이 상기 미리 설정된 기준 값 이하이면 상기 인지적 주의 분산 검출을 수행하는 차량의 운전자 보조 제어 방법.
제 12 항에 있어서,
상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 시선 이탈 비율인 차량의 운전자 보조 제어 방법.
제 12 항에 있어서,
상기 운전자 상태 정보에 따른 상기 운전자 상태 값은, 상기 운전자의 응시 시간인 차량의 운전자 보조 제어 방법.
제 11 항에 있어서,
다음의 식 1을 통해 상기 동적 베이지안 네트워크를 이용한 상기 운전자 주의 분산 값 산출을 수행하는 차량의 운전자 보조 제어 방법.
(식 1) P(X1,X2|Y1,Y2)=P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)/P(Y1,Y2|X1,X2)*P(X2|X1)*P(X1)
P(X1=a)는, event X1 True 가능성 a (%)
P(X1=b)는, event X1 False 가능성 b (%)
P(Y1=s|X1=a)는, event X1 True일 때, event Y1 True 가능성 s (%)
P(Y1=s|X1=b)는, event X1 False일 때, event Y1 True 가능성 s (%)
P(Y1=r|X1=a)는, event X1 True일 때, event Y1 False 가능성 r (%)
P(Y1=r|X1=b)는, event X1 False일 때, event Y1 False 가능성 r (%)
t-1: 과거 시간, t: 현재 시간
P(X1=a|X2=A)는, 과거 event X1 True일 때, 현재 event X2 True 가능성 A (%)
P(X1=b|X2=A)는, 과거 event X1 false일 때, 현재 event X2 True 가능성 A (%)
P(X1=a|X2=B)는, 과거 event X1 True일 때, 현재 event X2 false 가능성 B (%)
P(X1=b|X2=B)는, 과거 event X1 false일 때, 현재 event X2 false 가능성 B (%)