KR20190051145A

KR20190051145A - 차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치

Info

Publication number: KR20190051145A
Application number: KR1020170146478A
Authority: KR
Inventors: 정무경
Original assignee: 현대자동차주식회사; 기아자동차주식회사
Priority date: 2017-11-06
Filing date: 2017-11-06
Publication date: 2019-05-15

Abstract

본 발명은 전방 차량 위험도 감지 방법 및 장치에 관한 것으로서, 본 발명의 일 실시 예에 따른 차량의 외부 영상에 기반하여 차량 위험을 경고하는 방법은 조향 의도가 있는지 여부를 확인하는 단계와 상기 확인 결과, 상기 조향 의도가 있는 경우, 조향 시 위험이 있는지를 판단하는 단계와 상기 판단 결과, 상기 조향 시 위험이 있다고 판단되면, 차선 변경 위험도를 결정하는 단계와 상기 결정된 차선 변경 위험도에 상응하는 경고 알람 출력 수단을 선택하는 단계와 상기 선택된 경고 알람 출력 수단을 통해 소정 경고 알람을 출력하는 단계를 포함할 수 있다. 따라서, 본 발명은 차선 변경 시 운전자에게 효과적으로 경고 알람을 제공할 수 있는 장점이 있다.

Description

차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치{Adaptive vehicle risk warning method and apparatus using external image of vehicle}

본 발명은 차량 위험 감지 시스템에 관한 것으로서, 상세하게, 차량 외부 영상에 기반하여 판단된 위험도에 기반하여 적응적으로 경고 알람을 출력하는 것이 가능한 차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치에 관한 것이다.

자동차 등의 차량에는, 이동 수단으로서의 기능을 넘어서 사용자로 하여금 보다 안정적이면서도 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단으로서의 기능이 요구되고 있다.

최근에는, 주행 안전을 위한 다양한 운전자 주행 안전 보조 시스템이 차량에 탑재되고 있는 실정이다.

주행중인 도로상에서는 자차 운전자의 부주의뿐만 아니라 다른 차량 운전자의 부주의한 운전에 기인한 위험 상황이 발생될 수 있으며, 그에 따라, 대형 사고가 발생될 수 있다.

따라서, 타 차량 운전자의 부주의 운전 상태 등을 판별하여 위험 대상인 차량이나 주행 위험 요인을 미리 감지하고, 이를 자차 운전자에 통보함으로써, 사고 발생 위험성을 감소시킬 수 있는 운전 보조 시스템이 요구되고 있다.

종래 차량에 탑재된 주의 운전 보조 시스템은 카메라 촬영된 영상 내 식별 가능한 차선을 기준으로 자기 차량의 횡 위치 변화량, 비의도적 차선 침범 등을 판단하여 운전자의 피로도 및 부주의 상태를 판단하는 기술이 개시된 바 있다.

또한, 한국 공개 특허 번호 10-2012-008657(카메라를 이용한 측면 차량 검출 장치 및 방법)은 단순히 차량 외부 영상에 기반하여 주변 차량을 검출하고, 검출 결과를 운전자에게 경고하는 기술이 개시되어 있다. 하지만, 해당 기술은 운전자의 의도와 상관 없이, 불필요하거나 귀찮은 경고가 출력될 수 있는 문제점이 있었다.

또한, 한국 공개 특허 번호 10-2017-0049252(차량의 카메라 영상 제공 방법)은 사각 지대 영상 확보를 위해 전방 차량에 의해 촬영된 영상을 획득하고, 차량 내 구비된 작은 내비게이션/클러스터에 단순히 획득된 영상을 표시함으로써, 주변 장애물 등을 운전자가 파악할 수 있는 기술이 개시되어 있으나, 디스플레이의 어느 부분에 어느 밝기로 영상을 표출할지 결정할 수 없어서, 실내 대화면 통합모니터를 사용하게 되는 차세대 차량에는 적합하지 않은 단점이 있었다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위해 고안된 것으로, 본 발명의 목적은 차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치를 제공하는 것이다.

또한, 본 발명은 운전자의 의도에 따라 적절한 시점에 위험 요소를 판단하고 운전자가 직관적으로 인지할 수 있는 위치와 밝기를 선정하여 차세대 차량에 적용될 차량 내부 대화면 통합모니터에 위험도에 따라 적응적으로 경고 종류를 결정하여 출력하는 것이 가능한 차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치를 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명은 전방 차량 위험도 감지 방법 및 장치를 제공한다.

본 발명의 일 실시 예에 따른 차량의 외부 영상에 기반하여 차량 위험을 경고하는 방법은 조향 의도가 있는지 여부를 확인하는 단계와 상기 확인 결과, 상기 조향 의도가 있는 경우, 조향 시 위험이 있는지를 판단하는 단계와 상기 판단 결과, 상기 조향 시 위험이 있다고 판단되면, 차선 변경 위험도를 결정하는 단계와 상기 결정된 차선 변경 위험도에 상응하는 경고 알람 출력 수단을 선택하는 단계와 상기 선택된 경고 출력 수단을 통해 소정 경고를 출력하는 단계를 포함할 수 있다.

여기서, 상기 조향 의도가 있는지 여부를 확인하는 단계는 운전자 시선 모니터링 정보를 획득하는 단계와 조향 정보를 획득하는 단계 중 적어도 하나를 포함하고, 상기 운전자 시선 모니터링 정보 및 상기 조향 정보 중 적어도 하나에 기반하여, 상기 조향 의도가 있는지 여부가 판단되는 것을 특징으로 한다.

또한, 상기 조향 의도가 있는지 여부를 확인하는 단계는 상기 운전자 시선 모니터링 정보 및 상기 조향 정보에 대응하는 조향 이력 통계 정보를 구비된 데이터베이스로부터 추출하는 단계와 상기 추출된 조향 이력 통계 정보와 소정 기준치를 비교하여 상기 조향 의도가 있는지 여부를 판단하는 단계를 포함할 수 있다.

여기서, 상기 조향 정보는 조향 방향을 식별 하기 위한 방향 지시 등 조작 정보, 스티어링휠 조작 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 차량 내 상기 경고가 출력되는 위치는 확인된 상기 조향 방향에 대응하여 결정될 수 있다.

또한, 상기 운전자 시선 모니터링 정보는 시선 방향에 관한 정보, 단위 시간 동안 상기 시선 방향을 주시한 회수 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 조향 시 위험이 있는지를 판단하는 단계는 카메라 영상을 획득하는 단계와 물체 감지 정보를 획득하는 단계와 상기 카메라 영상 및 상기 물체 감지 정보에 기반하여 주변 차량 위험도를 분석하는 단계를 포함할 수 있다.

또한, 상기 결정된 차선 변경 위험도에 비례하여 상기 카메라 영상의 출력 밝기가 증가할 수 있다.

또한, 상기 차량에 구비된 통합 모니터의 현재 출력 밝기를 최저 밝기로 설정하여 상기 카메라 영상의 출력 밝기가 조절될 수 있다.

또한, 상기 경고 출력 수단은 영상 출력 수단, 음성 출력 수단, 진동 출력 수단 중 적어도 하나를 포함할 수 있다.

또한, 상기 경고 출력 수단을 통해 출력되는 상기 경고의 세기 및(또는) 강도는 상기 결정된 차선 변경 위험도에 비례하게 결정될 수 있다.

본 발명의 다른 일 실시 예에 따른 차량의 외부 영상에 기반하여 차량 위험을 경고하는 장치는 조향 의도가 있는지 확인하고, 상기 조향 의도가 있으면, 조향 시 위험이 있는지를 판단하여 차선 변경 위험도를 결정하며, 상기 결정된 차선 변경 위험도에 상응하는 경고 출력 수단을 선택하는 판단부와 상기 선택된 경고 출력 수단을 통해 출력할 경고를 생성하는 생성부와 상기 생성된 경고를 상기 선택된 경고 출력 수단을 통해 출력하는 출력부를 포함할 수 있다.

본 발명의 또 다른 일 실시예는 상기한 차량 위험 경고 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.

본 발명에 따른 방법 및 장치에 대한 효과에 대해 설명하면 다음과 같다.

본 발명은 차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치를 제공하는 장점이 있다.

또한, 본 발명은 운전자의 의도에 따라 적절한 시점에 위험 요소를 판단하고 운전자가 직관적으로 인지할 수 있는 위치와 밝기를 선정하여 차세대 차량에 적용될 차량 내부 대화면 통합모니터에 위험도에 따른 경고 타입을 동적으로 결정하여 출력하는 것이 가능한 차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치를 제공하는 장점이 있다.

본 발명에서 얻을 수 있는 장점 및 효과는 이상에서 언급한 장점 및 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량 위험 경고 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 차량 위험 경고 장치에서 차량 외부 영상 출력 방법과 위험도를 표출하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 차량 위험 경고 장치에서 차선 변경 위험도와 출력할 카메라 영상의 밝기의 상관 관계를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차량에서의 차량 위험 경고 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 차량에서의 차량 위험 경고 출력 시나리오를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 일 실시 예에 따른 차량에서의 차량 위험 경고 출력 시나리오를 설명하기 위한 도면이다.
도 7은 본 발명의 또 다른 일 실시 예에 따른 차량에서의 차량 위험 경고 출력 시나리오를 설명하기 위한 도면이다.

이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 차량 위험 경고 장치를 설명하기 위한 블록도이다.

도 1을 참조하면, 차량 위험 경고 장치(100)는 운전자 모니터링부(10), 조향부(11), 영상획득부(12), 센싱부(13), 판단부(14), 영상생성부(15), 사운드 및 진동 생성부(16), 영상출력부(17), 사운드출력부(18) 및 진동출력부(19)를 포함하여 구성될 수 있다.

운전자모니터링부(10)는 운전자 시선 모니터링 시스템과 연동하여 운전자 시선 모니터링 정보를 획득하고, 획득된 운전자 시선 모니터링 정보를 판단부(14)에 제공할 수 있다.

조향부(11)는 방향 지시 등과 연결된 방향 지시 시스템 및 스티어링 휠과 연결된 조향 시스템과 연동하여 방향 지시 등 상태 정보 및 스티어링 휠 조작 정보를 판단부(14)에 제공할 수 있다. 이하, 설명의 편의를 위해 방향 지시 등 조작 정보 및 스티어링 휠 조작 정보를 간단히 조향 정보라 명하기로 한다.

영상획득부(12)는 카메라와 같은 외부 영상 획득 시스템과 연동하여 좌/우측방 영상, 후방 영상, 전방 영상 등을 획득하고, 획득된 카메라 영상을 판단부(14)에 제공할 수 있다.

센싱부(13)는 블라인드 스폿 감지 시스템과 연동하여 차량의 전방, 좌/우측방, 후방에 배치된 물체의 존재 여부를 감지하고, 감지 결과를 판단부(14)에 제공할 수 있다.

판단부(14)는 운전자 시선 및 조향 이력 데이터베이스(14-1), 차선 변경 의도 판단 모듈(14-2), 차선 변경 위험도 판단 모듈(14-3) 및 알람 출력 수단 매칭 모듈(14-4)을 포함하여 구성될 수 있다.

판단부(14)는 운전자 시선 모니터링 정보, 운전자의 방향 지시 등 조작 정보, 스티어링 휠 조작 정보 등이 수신되면, 해당 정보를 정렬 및 통계 처리하여 운전자 시선 및 조향 이력 데이터베이스(14-1)에 저장할 수 있다.

차선 변경 의도 판단 모듈(14-2)은 조향 정보가 수신되면, 운전자 시선 및 조향 이력 데이터베이스(14-1)를 참조하여 운전자가 차선 변경 의도가 있는지를 판단할 수 있다.

차선 변경 위험도 판단 모듈(14-3)은 차선 변경 의도 판단 모듈(14-2)에 의해 차선 변경 의도가 있는 것으로 판단되면, 영상획득부(12)로부터 수집된 카메라 영상과 센싱부(13)로부터 수신된 물체 감지 정보 등에 기반하여 위험 유무 및 정도를 판단할 수 있다. 즉, 차선 변경 위험도 판단 모듈(14-3)은 카메라 영상 및 물체 감지 여부에 기반하여 차선 변경 위험도를 판단할 수 있다.

알람 출력 수단 매칭 모듈(14-4)은 차선 변경 위험도 판단 모듈(14-3)에 의해 판단된 차선 변경 위험도에 따라 적응적으로 알람 출력 수단을 결정할 수 있다.

여기서, 알람 출력 수단은 디스플레이를 포함하는 영상 출력 수단, 스피커를 포함하는 사운드 출력 수단, 진동 모터를 포함하는 진동 출력 수단 중 적어도 하나를 포함할 수 있다. 물론, 알람 출력 수단 매칭 모듈(14-4)은 차선 변경 위험도에 따라 복수의 알람 출력 수단을 통해 알람 메시지가 출력되도록 알람 출력 수단을 결정할 수도 있다.

영상생성부(15)는 카메라 영상 및 센싱부(13)의 감지 결과에 기반하여 영상 출력부(17)를 통해 출력된 알람 영상을 생성할 수 있다.

일 실시 예에 따른 영상생성부(15)는 물체 표시 모듈(15-1), 알람 표시 모듈(15-2), 영상 합성 모듈(15-3) 및 출력 위치 및 밝기 판단 모듈(15-4)를 포함하여 구성될 수 있다.

물체 표시 모듈(15-1)은 센싱부(13)의 감지 결과에 기반하여 카메라 영상 내 위험 물체를 검출하여 표시하는 기능을 제공할 수 있다.

알람 표시 모듈(15-2)은 카메라 영상에 경고 알람 메시지를 표시하는 기능을 제공할 수 있다.

영상 합성 모듈(15-3)은 카메라 영상에 경고 아이콘, 화살표, 위험 물체 윤곽선 등을 합성하여 표시하는 기능을 제공할 수 있다.

출력 위치 및 밝기 판단 모듈(15-4)은 통합 모니터 내 경고 알람의 출력 위치 및 카메라 영상의 출력 밝기를 판단할 수 있다.

사운드 및 진동 생성부(16)는 경고 알람의 출력 타입이 사운드인 경우. 해당 경고 알람이 출력될 스피커의 위치 및 볼률 레벨을 판단하는 스피커 출력 위치 및 볼륨 판단 모듈(16-1)과 경고 알람의 출력 타입이 사운드인 경우. 해당 경고 알람이 출력될 진동 모터의 위치 및 강도를 판단하는 진동 출력 위치 및 강도 판단 모듈(16-2)를 포함하여 구성될 수 있다.

영상출력부(17)는 영상생성부(15)에 의해 생성된 합성 영상을 구비된 영상 출력 시스템을 통해 출력할 수 있다.

사운드출력부(18)는 사운드 및 진동 생성부(16)에 의해 결정된 스피커 출력 위치 및 볼륨 레벨에 따라 구비된 사운드 출력 시스템을 이용하여 경고 알람을 출력할 수 있다.

진동출력부(19)는 사운드 및 진동 생성부(16)에 의해 결정된 진동 출력 위치 및 강도에 따라 구비된 진동 출력 시스템을 이용하여 경고 알람을 출력할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 경고 알람의 출력 형태는 영상, 사운드, 진동 중 적어도 하나를 포함하여 구성될 수 있다.

일 예로, 스피커 출력 위치 및 진동 출력 위치는 위험 물체가 감지된 방향으로 결정될 수 있다. 또한, 스피커 출력 볼륨 레벨 및 진동 출력 강도는 차선 변경 위험도에 기반하여 결정될 수 있다. 일 예로, 차선 변경 위험도가 높아질수록 스피커 출력 볼륨 레벨 및 진동 출력 강도도 높아질 수 있다.

본 발명은 방향 지시 등 조작 혹은 운전자의 시선을 모니터링하여 운전자의 차선 변경 의도를 감지하고 이에 따라 차량 내부 모니터에 해당 방향의 카메라 영상을 위험표시와 함께 합성하여 표출함으로써 차선변경 위험을 운전자에게 명확히 알릴 수 있는 장점이 있다.

또한, 본 발명은 차선 변경 위험도에 따라 카메라 영상에 경고 아이콘/위험 물체 윤관선을 표시하거나 블링킹 효과를 주어 직관적으로 위험 정도를 운전자에게 알릴 수 있는 장점이 있다.

또한, 본 발명은 차선 변경 전/후 운전자의 시선 모니터링 정보 및 방향 지시 등 조작 정보를 DB에 누적 및 통계 처리하여 보관하고, DB에 정보가 누적된 후에는 방향 지시 등을 켜지 않아도 운전자 시선 모니터링 결과만으로 자동으로 내부 모니터에 해당 조향 방향의 카메라 영상이 표시할 수도 있다.

또한, 본 발명은 차선 변경 의도가 있으나, 측방 영상으로 감지된 위험 물체를 표시하는 것이 불가한 경우, 통합 모니터의 중앙 디스플레이에 후방 영상이 출력되도록 제어할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 차량 위험 경고 장치에서 차량 외부 영상 출력 방법과 위험도를 표출하는 방법을 설명하기 위한 도면이다.

도 2의 도면 번호 210을 참조하면, 차량 위험 경고 장치는 운전자의 차선 변경 의도가 있는 것으로 판단된 경우에만 카메라 영상을 출력할 수 있다. 출력되는 카메라 영상의 밝기는 대조군인 통합 모니터의 밝기보다 밝게 출력될 수 있다. 여기서, 대조군은 복수의 디스플레이가 통합된 통합 모니터에서 차량 센터페시아 중앙에 배치된 디스플레이를 의미할 수 있으나, 이에 한정되지는 않으며, 경고 알람 영상의 출력 밝기를 결정하기 위한 기준 디스플레이이면 족하다.

일 예로, 출력되는 카메라 영상의 밝기는 위험 물체가 감지된 상황에서만 대조군에 비해 밝게 조정될 수 있으며, 위험 물체가 사라지면, 대조군의 밝기로 원복될 수 있다.

다른 일 예로, 카메라 영상의 출력 밝기는 차선 변경에 따른 위험도를 실시간 반영하여 가변적으로 증감시킬 수도 있다. 즉, 차선 변경에 따른 위험도가 증가할수록 카메라 영상은 대조군에 비해 점증적으로 밝게 조정될 수 있다. 반면, 차선 변경에 따른 위험도가 낮아질수록 카메라 영상은 대조군의 밝기에 가깝게 점증적으로 조정될 수 있다.

이하에서는 도면 번호 220을 참조하여 차선 변경 위험도를 실시간 반영하여 카메라 영상의 출력 밝기를 조절하는 방법을 상세히 설명하기로 한다.

도면 번호 220에 도시된 바와 같이, 대조군인 통합 모니터 밝기(221)는 카메라 영상 밝기(222)의 하한 기준치로 설정될 수 있다.

차량 위험 경고 장치는 방향 지시 등이 점등되면 차선 변경 위험도(223) 판단을 시작할 수 있다. 이때, 판단된 차선 변경 위험도(223)에 비례하여 카메라 영상 밝기(222)는 적응적으로 조절될 수 있다. 차선 변경 위험도(223)가 최저치일 때, 카메라 영상 밝기(222)는 통합 모니터 밝기(221)와 동일하게 조정될 수 있다.

도 2를 참조하면, A구간(224)은 차선 변경 위험도와 무관하게 운전자의 차선 변경 의도가 없으므로 카메라 영상이 출력되지 않을 수 있다.

B구간(225)은 방향 지시 등의 점등에 따라 차선 변경 의도가 감지되었으므로, 카메라 영상 출력이 시작될 수 있다. 이때, 실시간 판단된 차선 변경 위험도에 기반하여 카메라 영상의 밝기가 동적으로 조절될 수 있다.

C구간(226)은 차선 변경 의도는 있지만, 방향 지시 등이 소등된 경우, 차선 변경 위험이 해소된 것으로 판단되어, 카메라 영상이 통합 모니터 밝기와 동일하게 조절될 수 있음을 보여준다.

D구간(227)은 차선 변경 의도가 해소되어 카메라 영상 출력이 종료됨을 보여준다.

일 실시 예는, 상기 도 2의 운전자의 차선 변경 의도 및 차선 변경 위험도에 따라 적응적으로 카메라 영상의 출력 밝기를 조절하는 기능은 상기한 도 1의 영상 생성부(15)에 탑재될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 차량 위험 경고 장치에서 차선 변경 위험도와 출력할 카메라 영상의 밝기의 상관 관계를 설명하기 위한 도면이다.

도 3을 참조하면, 차선 변경 의도가 있는 상태에서, 통합 모니터의 현재 밝기 51인 상황이고 차선 변경 위험도가 최상인 경우(상황 A), 상기 도 2의 영상생성부(15)는 해당 모니터의 출력 밝기를 최대(밝기 94)로 증대시킬 수 있다.

차선 변경 의도가 있는 상태에서, 만약, 통합 모니터의 현재 밝기 43이고 차선 변경 위험도가 보통인 경우(상황 B), 상기 도 2의 영상생성부(15)는 해당 모니터의 출력 밝기를 보통 밝기(밝기 62)로 증대시킬 수 있다.

반면, 차선 변경 의도가 있는 상태에서, 통합 모니터의 현재 밝기 36이고 차선 변경 위험도가 없는 경우(상황 C), 상기 도 2의 영상생성부(15)는 해당 모니터의 출력 밝기를 현재 통합 모니터의 밝기 레벨(밝기 36)로 유지시킬 수 있다.

도 4는 본 발명의 일 실시 예에 따른 차량에서의 차량 위험 경고 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 판단부(14)는 운전자 시선 모니터링 정보, 조향 정보, 운전자 시선 및 조향 이력 데이터베이스(14-1)를 참조하여 운전자의 조향 의도를 모니터링할 수 있다(S401).

모니터링 결과, 조향 의도가 있음이 확인되면(S402), 판단부(14)는 카메라 영상 및 물체 감지 정보에 기반하여 주변 차량 위험도를 분석할 수 있다(S403).

분석 결과, 조향 시 위험이 없음을 확인하면(S404), 영상생성부(15)는 판단부(14)의 소정 제어 신호에 따라 모니터링된 조향 방향에 상응하는 카메라 영상을 준비할 수 있다(S405).

이 후, 영상생성부(15)는 준비된 카메라 영상의 모니터상에서의 출력 위치 및 출력 밝기를 결정할 수 있다(S406). 이때, 조향 시 위험이 없으므로, 출력 밝기는 대조군인 통합 모니터의 현재 밝기와 동일하게 결정될 수 있다.

영상출력부(15)는 영상생성부(15)에 의해 결정된 출력 위치 및 밝기로 해당 준비된 카메라 영상을 출력시킬 수 있다(S407).

상기한 404 단계의 분석 결과, 조향 시 위험이 있음이 확인되면, 판단부(14)는 긴급도-예를 들면, 차선 변경 위험도- 및 해당 긴급도에 따른 경고 알람 전달 수단을 결정할 수 있다(S408).

결정 결과, 긴급도가 높으면(S409), 사운드 및 진동 생성부(16)는 모니터링된 조향 방향 및 결정된 긴급도에 따라 스피커 출력 위치 및 볼륨 레벨을 결정한 후(S410), 해당 경고 알람이 결정된 위치의 스피커를 통해 결정된 볼륨 레벨로 출력되도록 제어할 수 있다(S411).

또한, 상기한 408 단계의 결정 결과, 긴급도가 높으면(S409), 사운드 및 진동 생성부(16)는 모니터링된 조향 방향 및 결정된 긴급도에 따라 진동 출력 위치 및 강도를 결정한 후(S412), 특정 진동 패턴이 결정된 위치의 진동기를 통해 결정된 강도로 출력되도록 제어할 수 있다(S413).

또한, 상기한 408 단계의 결정 결과, 긴급도가 높으면(S409), 영상생성부(15)는 센서 신호에 기반하여 조향 시 위험한 물체의 배치 영역을 카메라 영상 내에서 검출할 수도 있다(S414).

이 후, 영상생성부(15)는 검출된 위험 물체의 육곽선을 해당 카메라 영상에 합성하거나 또는(및) 해당 육관석이 해당 카메라 영상 내에서 블링킹되도록 합성 영상을 생성할 수 있다(S415).

또한, 영상생성부(15)는 소정 경고 아이콘을 해당 카메라 영상에 합성하거나 또는(및) 해당 경고 아이콘이 해당 카메라 영상 내에서 블링킹되도록 합성 영상을 더 생성할 수도 있다(S416).

이 후, 영상생성부(15)는 준비된 합성 영상의 출력 위치 및 밝기를 결정한 후(S406), 상기 결정된 출력 위치에서 상기 결정된 밝기로 합성 영상이 출력될 수 있도록 영상 출력부(17)을 제어할 수 있다(S407).

이상에서 설명한 바와 같이, 본 발명의 일 실시 예에 따른 차량 위험 경고 장치(100)는 조향 시 위험 여부 및 긴급도에 다양한 출력 수단을 통해 적응적으로 활용하여 다양한 경고 알람을 출력시킬 수 있는 장점이 있다.

도 5는 본 발명의 일 실시 예에 따른 차량에서의 차량 위험 경고 출력 시나리오를 설명하기 위한 도면이다.

상세하게, 도 5는 운전자가 좌측 방향 지시 등이 켜지도록 조작한 경우, 차량 위험 경고를 출력하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 판단부(14)는 운전자의 조향 의도를 모니터링할 수 있다. 만약, 운전자가 좌측 방향 지시 등이 켜지도록 조작함에 따라 조향부(11)로부터 좌측 방향 지시 등이 조작되었음을 지시하는 소정 제어 신호가 수신되면, 판단부(14)는 조향 의도가 있는 것으로 판단하고, 차량 외부가 촬영된 카메라 영상 및 센싱부(13)의 물체 센싱 정보에 기반하여 주변 차량 위험도를 분석할 수 있다.

분석 결과, 조향 시 위험이 있으면, 판단부(14)는 해당 위험도에 따른 적어도 하나의 경고 알람 출력 수단을 결정하고, 해당 적어도 하나의 경고 알람 출력 수단을 통해 적어도 하나의 경고 알람을 출력할 수 있다.

일 예로, 상기 도 5의 실시 예에서, 판단부(14)는 조향 시 위험도가 높으면, 좌측방 영상 내 위험 물체의 윤곽선이 합성되어 블링킹되도록 제어하고, 좌측방 영상 내 소정 경고 아이콘이 합성되어 블링킹되도록 제어하고, 차량 내 좌측에 구비된 스피커를 통해 소정 경고음이 높게 출력되도록 제어하고, 차량 운전석 시트 좌측 또는(및) 스티어링휠 좌측에 구비된 진동기를 통해 강한 진동이 출력되도록 제어할 수 있다. 이때, 차량 중앙에 배치된 스피커의 출력 레벨은 낮게 조절될 수 있다. 또한, 영상생성부(15)는 합성한 영상이 통합 모니터의 가장 좌측에 최대 밝기로 출력되도록 제어할 수도 있다.

도 6은 본 발명의 다른 일 실시 예에 따른 차량에서의 차량 위험 경고 출력 시나리오를 설명하기 위한 도면이다.

상세하게, 도 6는 운전자의 시선 모니터링 결과에 기반하여 차량 위험 경고를 출력하는 방법을 설명하기 위한 도면이다.

판단부(14)는 운전자모니터링부(10)로부터 수신되는 운전자 시선 모니터링 정보와 기 수집된 운전자 시선 및 조향 이력 데이터베이스(14-1)를 참조하여, 해당 상황에서 차선 변경 확률을 결정하고, 결정된 차선 변경 확률에 기반하여 조향 의도가 있는지 여부를 판단할 수 있다.

일 예로, 판단부(14)는 운전자모니터링부(10)로부터 운전자가 좌측 사이드 미러를 1초 간격으로 2회 연속 주시하였다는 내용의 운전자 시선 모니터링 정보를 수신할 수 있다.

판단부(14)는 운전자 시선 및 조향 이력 데이터베이스(14-1)에 기록된 통계 정보에 기반하여 해당 상황에서의 차선 변경 확률을 산출할 수 있다.

판단부(14)는 산출된 차선 변경 확률이 소정 기준치를 초과하면, 판단부(14)는 해당 상황을 조향 의도가 있는 것으로 판단할 수 있다.

이후, 판단부(14)는 영상획득부(12)로부터 획득된 차량 외부 영상 및 센싱부(13)로부터 획득한 물체 감지 정보에 기반하여 주변 차량 위험도를 분석할 수 있다.

분석 결과, 조향 시 위험이 없는 것으로 판단되면, 판단부(14)는 좌측방 영상만이 통합 모니터의 가장 좌측에 밝기 보통으로 출력되도록 제어할 수 있다.

도 7은 본 발명의 또 다른 일 실시 예에 따른 차량에서의 차량 위험 경고 출력 시나리오를 설명하기 위한 도면이다.

상세하게, 도 7은 운전자의 시선 모니터링 결과에 기반하여 차량 위험 경고를 출력하는 방법을 설명하기 위한 도면이다.

일 예로, 판단부(14)에 의해 산출된 차선 변경 확률이 70%이고, 기준치가 60%이면, 판단부(14)는 해당 상황이 조향 의도가 있는 것으로 판단할 수 있다.

이후, 판단부(14)는 영상획득부(12)로부터 획득된 차량 외부 영상 및 센싱부(13)로부터 획득한 물체 감지 정보에 기반하여 주변 차량 위험도-즉, 차선 변경 위험도-를 분석할 수 있다.

분석 결과, 조향 시 매우 위험한 상황인 것으로 분석되면, 판단부(14)는 합성 영상의 출력 밝기를 대조군인 통합 모니터의 현재 밝기 레벨인 45에서 최대로 조정 가능한 밝기 레벨인 86으로 결정할 수 있다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

차량의 외부 영상에 기반하여 차량 위험을 경고하는 방법에 있어서,
조향 의도가 있는지 여부를 확인하는 단계;
상기 확인 결과, 상기 조향 의도가 있는 경우, 조향 시 위험이 있는지를 판단하는 단계;
상기 판단 결과, 상기 조향 시 위험이 있다고 판단되면, 차선 변경 위험도를 결정하는 단계;
상기 결정된 차선 변경 위험도에 상응하는 경고 출력 수단을 선택하는 단계;
상기 선택된 경고 출력 수단을 통해 소정 경고를 출력하는 단계
를 포함하는, 차량 위험 경고 방법.
제1항에 있어서,
상기 조향 의도가 있는지 여부를 확인하는 단계는
운전자 시선 모니터링 정보를 획득하는 단계; 및
조향 정보를 획득하는 단계
중 적어도 하나를 포함하고, 상기 운전자 시선 모니터링 정보 및 상기 조향 정보 중 적어도 하나에 기반하여, 상기 조향 의도가 있는지 여부가 판단되는 것을 특징으로 하는, 차량 위험 경고 방법.
제2항에 있어서,
상기 조향 의도가 있는지 여부를 확인하는 단계는,
상기 운전자 시선 모니터링 정보 및 상기 조향 정보에 대응하는 조향 이력 통계 정보를 구비된 데이터베이스로부터 추출하는 단계; 및
상기 추출된 조향 이력 통계 정보와 소정 기준치를 비교하여 상기 조향 의도가 있는지 여부를 판단하는 단계
를 포함하는, 차량 위험 경고 방법.
제2항에 있어서,
상기 조향 정보는 조향 방향을 식별 하기 위한 방향 지시 등 조작 정보, 스티어링휠 조작 정보 중 적어도 하나를 포함하는, 차량 위험 경고 방법.
제4항에 있어서,
상기 차량 내 상기 경고가 출력되는 위치는 확인된 상기 조향 방향에 대응하여 결정되는, 차량 위험 경고 방법.
제2항에 있어서,
상기 운전자 시선 모니터링 정보는 시선 방향에 관한 정보, 단위 시간 동안 상기 시선 방향을 주시한 회수 정보 중 적어도 하나를 포함하는, 차량 위험 경고 방법.
제1항에 있어서,
상기 조향 시 위험이 있는지를 판단하는 단계는
카메라 영상을 획득하는 단계;
물체 감지 정보를 획득하는 단계; 및
상기 카메라 영상 및 상기 물체 감지 정보에 기반하여 주변 차량 위험도를 분석하는 단계
를 포함하는, 차량 위험 경고 방법.
제7항에 있어서,
상기 결정된 차선 변경 위험도에 비례하여 상기 카메라 영상의 출력 밝기가 증가하는, 차량 위험 경고 방법.
제8항에 있어서,
상기 차량에 구비된 통합 모니터의 현재 출력 밝기를 최저 밝기로 설정하여 상기 카메라 영상의 출력 밝기가 조절되는 것을 특징으로 하는, 차량 위험 경고 방법.
제1항에 있어서,
상기 경고 출력 수단은 영상 출력 수단, 음성 출력 수단, 진동 출력 수단 중 적어도 하나를 포함하는, 차량 위험 경고 방법.
제10항에 있어서,
상기 경고 출력 수단을 통해 출력되는 상기 경고의 세기 및(또는) 강도는 상기 결정된 차선 변경 위험도에 비례하게 결정되는, 차량 위험 경고 방법.
제1항 내지 제11항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
차량의 외부 영상에 기반하여 차량 위험을 경고하는 장치에 있어서,
조향 의도가 있는지 확인하고, 상기 조향 의도가 있으면, 조향 시 위험이 있는지를 판단하여 차선 변경 위험도를 결정하며, 상기 결정된 차선 변경 위험도에 상응하는 경고 출력 수단을 선택하는 판단부;
상기 선택된 경고 출력 수단을 통해 출력할 경고를 생성하는 생성부; 및
상기 생성된 경고를 상기 선택된 경고 출력 수단을 통해 출력하는 출력부
를 포함하는, 차량 위험 경고 장치.
제13항에 있어서,
상기 판단부에 운전자 시선 모니터링 정보를 제공하는 운전자모니터링부; 및
상기 판단부에 조향 정보를 제공하는 조향부
를 더 포함하고,
상기 판단부가
상기 운전자 시선 모니터링 정보 및 상기 조향 정보 중 적어도 하나에 기반하여, 상기 조향 의도가 있는지 여부가 판단되는 것을 특징으로 하는, 차량 위험 경고 장치.
제14항에 있어서,
상기 운전자 시선 모니터링 정보 및 상기 조향 정보에 대응하는 조향 이력 통계 정보를 유지하는 데이터베이스를 더 포함하고,
상기 판단부가
상기 추출된 조향 이력 통계 정보와 소정 기준치를 비교하여 상기 조향 의도가 있는지 여부를 판단하는, 차량 위험 경고 장치.
제14항에 있어서,
상기 조향 정보는 조향 방향을 식별 하기 위한 방향 지시 등 조작 정보, 스티어링휠 조작 정보 중 적어도 하나를 포함하는, 차량 위험 경고 장치.
제16항에 있어서,
상기 차량 내 상기 경고가 출력되는 위치는 확인된 상기 조향 방향에 대응하여 결정되는, 차량 위험 경고 장치.
제14항에 있어서,
상기 운전자 시선 모니터링 정보는 시선 방향에 관한 정보, 단위 시간 동안 상기 시선 방향을 주시한 회수 정보 중 적어도 하나를 포함하는, 차량 위험 경고 장치.
제13항에 있어서,
카메라 영상을 획득하여 상기 판단부에 전송하는 영상획득부; 및
구비된 블라인드 스폿 감지 시스템을 통해 회득된 물체 감지 정보를 상기 판단부에 전송하는 센싱부
를 더 포함하고, 상기 판단부가 상기 카메라 영상 및 상기 물체 감지 정보에 기반하여 주변 차량 위험도를 분석하는 것을 특징으로 하는, 차량 위험 경고 장치.
제19항에 있어서,
상기 판단부가
상기 결정된 차선 변경 위험도에 비례하게 상기 카메라 영상의 출력 밝기를 결정하는, 차량 위험 경고 장치.
제20항에 있어서,
상기 차량에 구비된 통합 모니터의 현재 출력 밝기를 최저 레벨로 설정하여 상기 카메라 영상의 출력 밝기가 결정되는 것을 특징으로 하는, 차량 위험 경고 장치.
제13항에 있어서,
상기 경고 출력 수단은 영상 출력 수단, 음성 출력 수단, 진동 출력 수단 중 적어도 하나를 포함하는, 차량 위험 경고 장치.
제22항에 있어서,
상기 경고 출력 수단을 통해 출력되는 상기 경고의 세기 및(또는) 강도는 상기 결정된 차선 변경 위험도에 비례하게 결정되는, 차량 위험 경고 장치.