KR102669237B1 - 네비게이션 시스템과 연동된 후방 디스플레이 장치 - Google Patents

네비게이션 시스템과 연동된 후방 디스플레이 장치 Download PDF

Info

Publication number
KR102669237B1
KR102669237B1 KR1020230186970A KR20230186970A KR102669237B1 KR 102669237 B1 KR102669237 B1 KR 102669237B1 KR 1020230186970 A KR1020230186970 A KR 1020230186970A KR 20230186970 A KR20230186970 A KR 20230186970A KR 102669237 B1 KR102669237 B1 KR 102669237B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
unit
display device
image
Prior art date
Application number
KR1020230186970A
Other languages
English (en)
Inventor
이상천
Original Assignee
주식회사 티그랩
Filing date
Publication date
Application filed by 주식회사 티그랩 filed Critical 주식회사 티그랩
Application granted granted Critical
Publication of KR102669237B1 publication Critical patent/KR102669237B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B60Q1/5037—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2661—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions
    • B60Q1/268—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions on windscreens or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Abstract

후방 영상을 촬영하는 카메라 모듈, 차량 내부의 음성을 인식하거나 텍스트 입력을 수신하는 입력 인터페이스, 및 화상이 표시되는 표시 영역을 갖고 상기 음성 또는 텍스트 입력을 상기 표시 영역을 통해 표시하는 표시 패널을 포함하는 후방 디스플레이 장치가 개시된다. 상기 후방 디스플레이 장치는, 현재 차량의 네비게이션 시스템으로부터 차량의 위치 정보 및 경로 정보를 수신하는 네비게이션 연동부; 상기 현재 차량의 ECU(Engine Control Unit)로부터 차량 제어 정보와 복수의 센싱 정보들을 수신하는 차량제어 연동부; 상기 현재 차량의 위치 정보와 경로 정보를 기반으로 상기 현재 차량의 후방에 위치한 후방 차량의 경로를 가이드하는 후방경로 가이드부; 상기 차량 제어 정보와 상기 복수의 센싱 정보들을 기반으로 상기 후방 차량의 충돌사고를 예측하는 후방추돌 주의상황 결정부; 상기 현재 차량의 전방 영상을 기반으로 전방 상황을 식별하는 전방상황 식별부; 및 상기 후방 차량에게 표시할 메시지를 결정하는 운전자 메시지 표시부를 포함한다.

Description

네비게이션 시스템과 연동된 후방 디스플레이 장치{REAR DISPLAY DEVICE LINKED TO NAVIGATION SYSTEM}
본 발명은 차량 후방에 설치되는 후방 디스플레이 장치에 관한 것으로, 더욱 상세하게는 네비게이션 시스템과 연동된 후방 디스플레이 장치에 관한 것이다.
차량 시스템이 점차 고도화됨에 따라 현재 차량 내 운전자는 필요한 정보를 원하는 위치에서 편리하게 제공받을 수 있다. 예를 들어, 과거 프리미엄 차량에만 탑재되던 헤드업디스플레이(Head Up Desplay)가 일반화되어 대부분의 차량에 탑재되고 있어 손쉽게 운전자가 원하는 정보를 원하는 위치에서 볼 수 있다.
한편, 자율주행기술의 발전과 맞물려 차량과 차량 통신 즉 이른바 V2V(Vehicle to Vehicle) 또는 이를 포괄하는 V2X(Vehicle to Everything)의 보급을 위한 연구가 진행되고 있어 무선통신을 이용한 차량 정보 공유가 가능해질 전망이다.
그런데, 현재 주류로 이루어지는 이러한 차량 정보 표시 방식은 해당 차량을 운전하는 운전자에게만 집중되어 있으며, 다른 차량에게 해당 차량의 각종 정보를 전달하는 무선통신은 도입 시기가 불분명하다.
또한, 무선통신은 타 차량 운전자의 직관적인 인식보다는 간접적인 데이터 전달에 의하기 때문에 사람이 눈으로 보고 해당 차량이 어떻게 운행할지를 직관적으로 식별할 수 없어 전달력이 떨어지는 문제점이 있다.
근래에는 후방에 디스플레이를 비치하고 단순 문자나 메시지를 표시하는 표시장치가 연구되고 있지만, 단순 텍스트 표시 수준에 그치기 때문에 후방에 위치한 다른 차량의 운전자가 유의미한 정보를 얻거나 안전운전을 통한 사고 예방에 활용하는 데에는 미치지 못하고 있는 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 네비게이션 시스템과 연동된 후방 디스플레이 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 후방 영상을 촬영하는 카메라 모듈, 차량 내부의 음성을 인식하거나 텍스트 입력을 수신하는 입력 인터페이스, 및 화상이 표시되는 표시 영역을 갖고 상기 음성 또는 텍스트 입력을 상기 표시 영역을 통해 표시하는 표시 패널을 포함하는 후방 디스플레이 장치을 제공한다.
상기 후방 디스플레이 장치는, 현재 차량의 네비게이션 시스템으로부터 차량의 위치 정보 및 경로 정보를 수신하는 네비게이션 연동부; 상기 현재 차량의 ECU(Engine Control Unit)로부터 차량 제어 정보와 복수의 센싱 정보들을 수신하는 차량제어 연동부; 상기 현재 차량의 위치 정보와 경로 정보를 기반으로 상기 현재 차량의 후방에 위치한 후방 차량의 경로를 가이드하는 후방경로 가이드부; 상기 차량 제어 정보와 상기 복수의 센싱 정보들을 기반으로 상기 후방 차량의 충돌사고를 예측하는 후방추돌 주의상황 결정부; 상기 현재 차량의 전방 영상을 기반으로 전방 상황을 식별하는 전방상황 식별부; 및 상기 후방 차량에게 표시할 메시지를 결정하는 운전자 메시지 표시부를 포함한다.
복수의 센싱 정보들은 차량의 조향각 신호를 나타내는 제1 센싱 정보, 차량의 속도 신호를 나타내는 제2 센싱 정보, 차량의 횡가속도 신호를 나타내는 제3 센싱 정보, 차량의 회전 각속도 신호를 나타내는 제4 센싱 정보, 차선 이탈 여부를 나타내는 제5 센싱 신호, 차량의 전방 또는 후방에 위치한 차량과의 거리를 나타내는 제6 센싱 신호, 전방을 촬영한 영상을 나타내는 전방 영상을 포함한다.
상기 후방경로 가이드부는, 현재 차량의 경로 정보를 통해 현재 차량의 주행 방향을 결정하고, 결정된 현재 차량의 주행 방향과 동일한 방향을 후방 차량의 주행 방향으로 결정하고, 후방 차량의 위치 정보로부터 후방 차량의 주행 방향으로 기준 거리 내에 있는 지도 정보를 결정한다.
상기 지도 정보는 지도(map) 상에서 주의 또는 경고를 운전자에게 제공할 도로 지형이나 도로 표지판으로서, 전방 급경사로, 전방 급좌회전로, 전방 급회전구간, 및 사고가 많은 곳을 포함한다.
상기 후방경로 가이드부는, 상기 현재 차량의 상기 후방 영상을 기반으로 수집된 차량 번호들 각각에 대응하는 식별 유지 시간들을 측정하여 상기 차량 번호들 각각에 매칭시키고, 현재 시점에서 상기 후방 영상을 통해 식별된 후방 차량의 차량 번호를 확인하고, 확인된 차량 번호와 매칭된 식별 유지 시간을 확인하되, 상기 후방 차량의 차량 번호와 매칭된 식별 유지 시간이 없는 경우, 상기 후방경로 가이드부는, 기준 거리를 제1 기준 거리로 설정할 수 있다.
상기 후방추돌 주의상황 결정부는, 상기 복수의 센싱 정보를 이용하여 상기 후방 차량과의 거리를 획득하고, 획득된 상기 후방 차량과의 거리를 반지름으로 하고, 상기 후방 차량의 위치를 중심으로 하는 주의 반경을 결정한다.
상기와 같은 본 발명에 따른 네비게이션 시스템과 연동된 후방 디스플레이 장치를 이용할 경우에는 주행중인 차량의 후방에 위치한 차량의 운전자에게 전방 차량의 각종 정보를 제공함으로써 안전운전을 유도하고, 사고를 미연에 예방할 수 있다.
특히, 후방 운전자에게 제공하는 경로 가이드를 통해 후방 운전자가 고속 운전중에 발생하는 급격한 상황 변화를 미리 대비할 수 있다.
또한, 후방 운전자에게 제공하는 각종 정보들로 인하여, 전방과 후방 운전자 사이에 차량 주행중에 발생하는 상호간 위협 운전이나 분쟁 발생을 예방함으로써 최근 급증하는 주행중 감정적 폭행 또는 상해를 방지할 수 있다.
도 1은 일 실시예에 따른 네비게이션 시스템과 연동된 후방 디스플레이 장치에 대한 개념도이다.
도 2는 일 실시예에 따른 네비게이션 시스템과 연동된 후방 디스플레이 장치의 기능적 구성부들을 나타낸 블록도이다.
도 3은 도 2에 따른 네비게이션 연동부의 동작을 설명하기 위한 개념도이다.
도 4는 도 2에 따른 후방주의상황 결정부의 동작을 설명하기 위한 개념도이다.
도 5는 도 2에 따른 전방상황 식별부의 동작을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 CNN 기반의 전방 식별 모델(10)의 구조를 설명하기 위한 개념도이다.
도 7은 일 실시예에 따른 후방 디스플레이 장치의 하드웨어 구성을 예시적으로 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 네비게이션 시스템과 연동된 후방 디스플레이 장치에 대한 개념도이다.
도 1을 참조하면, 일 실시예에 따른 네비게이션 시스템과 연동된 후방 디스플레이 장치(100, 이하, 후방 디스플레이 장치로 지칭될 수 있음)는, 차량 내에 설치된 네비게이션 시스템(200)과 연동하여 동작할 수 있다.
네비게이션 시스템(200)은, 차량에 설치된 GPS 모듈과 연동하여 차량의 위치 정보를 획득하고, 획득한 위치 정보를 기반으로 차량에 대한 경로 정보를 생성할 수 있다. GPS 모듈은 글로벌 측위 시스템(GPS, Global Positioning System)에 속하는 복수의 GPS 위성들과 통신하여 차량의 위치 정보를 결정할 수 있고, 결정된 차량의 위치 정보를 네비게이션 시스템(200)에 제공할 수 있다.
일 예시에서, 네비게이션 시스템(200)은, 차량 내부 전방측에 설치될 수 있으며 차량의 운전자가 육안으로 식별 가능한 디스플레이를 포함할 수 있다. 네비게이션 시스템(200)은 포함된 디스플레이를 통해 경로 정보를 차량의 운전자에게 표시할 수 있다.
후방 디스플레이 장치(100)는, 표시 패널 및 표시 패널을 제어하는 제어부를 포함할 수 있다. 표시 패널은 화상이 표시되는 표시 영역(A/A: Active Area)과 화상이 표시되지 않는 비표시 영역(N/A: Non-Active Area)으로 구성될 수 있다.
표시장치(100)는 액정표시장치(Liquid Crystal Display Device), 유기발광표시장치(Organic Light Emitting Display Device), 플라즈마 표시장치(Plasma Display Device) 등의 다양한 타입의 장치로서 기능할 수 있다.
일 실시예에서, 후방 디스플레이 장치(100)는, 표시 패널의 표시 영역 또는 비표시 영역에 배치된 카메라 모듈을 더 포함할 수 있다. 예를 들어, 카메라 모듈은 비표시 영역에 배치될 수도 있고, 이 경우 카메라 모듈은 비표시 영역에서 표시 패널의 전면에 노출되도록 배치됨으로써 표시 패널의 전면을 촬영할 수 있다. 한편, 카메라 모듈은 표시 영역에 배치될 수도 있다. 이 경우 카메라 모듈은 표시 영역에서 표시 패널의 전면에 노출되지 않고, 표시 패널의 표시 영역에 위치한 투명 영역과 중첩하여 배치될 수도 있다. 투명 영역은 투명도가 조절되는 영역으로서 카메라 모듈이 동작할 때, 투명 영역이 빛을 수용하도록 조절됨으로써 카메라 모듈이 투명영역의 외부 전면을 촬영할 수 있다.
후방 디스플레이 장치(100)는 차량의 후석에서 후방 유리와 인접하도록 배치됨으로써 후방 유리를 통해 표시 패널이 차량의 후방 측을 향해 표시되도록 설치될 수 있다. 또한, 카메라 모듈은 차량의 후방 측을 촬영할 수 있다. 카메라 모듈은 차량의 후방 측을 촬영하여 후방 영상을 생성할 수 있다.
또한, 후방 디스플레이 장치(100)는, 차량 내부의 음성을 인식하는 마이크(MIC) 모듈(본 명세서 전체에서 입력 인터페이스 장치(140)의 하나로서 지칭될 수 있음)을 더 포함할 수 있다. 후방 디스플레이 장치(100)는, 마이크 모듈을 이용하여 차량 내부의 음성을 인식하고, 인식된 음성을 텍스트 변환하여 표시 패널을 통해 표시할 수 있다.
또한, 후방 디스플레이 장치(100)는, 유선 또는 무선 네트워크를 이용하여 연결된 입력 인터페이스 장치(140, 예를 들어 키보드나 기타 스위치 등)를 더 포함할 수 있고, 입력 인터페이스를 통해 텍스트 입력을 수신하고, 수신된 텍스트 입력을 표시 패널을 통해 텍스트로 표시할 수 있다.
후방 디스플레이 장치(100)는, 네비게이션 시스템(200)과 유선 또는 무선 네트워크를 통해 연결됨으로써 네비게이션 시스템(200)으로부터 차량의 위치 정보 및 경로 정보를 수신할 수 있다.
대안적인 실시예로서, 후방 디스플레이 장치(100)는 네비게이션 시스템(200) 대신에 현재 차량 내부에 비치된 운전자(또는 동승자)의 모바일 단말과 무선 네트워크를 통해 연결됨으로써 차량의 위치 정보 및 경로 정보를 수신할 수도 있다.
모바일 단말의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
후방 디스플레이 장치(100)는, 위치 정보와 경로 정보를 이용하여 표시 패널을 통해 표시할 영상 데이터를 결정하고, 결정된 영상 데이터를 표시 패널을 통해 후방 측을 향해 표시할 수 있다.
또한, 후방 디스플레이 장치(100)는, 차량 내부에 설치된 엔진 제어 유닛(Engine Control Unit, 이하 ECU로 지칭될 수 있음)과 유선 또는 무선 네트워크를 통해 연결됨으로써 ECU로부터 차량 제어 정보를 수신할 수 있다.
ECU는 차량 내부에 설치된 복수의 센서들로부터 수신된 복수의 센싱 정보들을 이용하여 차량 제어 정보를 생성할 수 있다. 복수의 센서들은 스티어링 휠의 조작에 따른 차량의 조향각을 감지하는 조향각 센서, 차량의 속도를 감지하는 차속 감지 센서, 차량의 횡가속도를 감지하는 횡가속도 센서, 차량의 회전 각속도를 감지하는 회전각속도 센서, 차량 하부에서 차선을 식별하는 차선 식별 센서(예를 들어 카메라 센서 등), 차량 전방을 촬영하는 카메라 센서, 차량 전방 또는 후방에 위치한 차량과의 거리를 감지하는 초음파 센서 등을 포함할 수 있다. 복수의 센싱 정보들은 차량의 조향각 신호를 나타내는 제1 센싱 정보, 차량의 속도 신호를 나타내는 제2 센싱 정보, 차량의 횡가속도 신호를 나타내는 제3 센싱 정보, 차량의 회전 각속도 신호를 나타내는 제4 센싱 정보, 차선 이탈 여부를 나타내는 제5 센싱 신호, 차량의 전방 또는 후방에 위치한 차량과의 거리를 나타내는 제6 센싱 신호, 전방을 촬영한 영상을 나타내는 전방 영상을 포함할 수 있다.
ECU는 수신된 복수의 센싱 정보들을 이용하여 차량 제어 정보를 생성할 수 있다. 예를 들어, ECU는 복수의 센싱 정보들을 이용하여 해당 차량의 차선 이탈, 긴급조향, 급가속, 급감속, 고속 주행, 전방 영상 등을 지시하는 차량 제어 정보를 생성하고, 생성된 차량 제어 정보와 복수의 센싱 정보들을 후방 디스플레이 장치(100)에 전송할 수 있다.
ECU는 복수의 센서들과 SPI(serial peripheral interface) 통신 또는 CAN 통신을 수행함으로써 센싱 정보들을 수신할 수 있다.
후방 디스플레이 장치(100)는, 수신된 차량 제어 정보와 복수의 센싱 정보들을 기반으로 표시 패널을 통해 표시할 영상 데이터를 결정하고, 결정된 영상 데이터를 표시 패널을 통해 후방 측을 향해 표시할 수 있다.
도 2는 일 실시예에 따른 네비게이션 시스템과 연동된 후방 디스플레이 장치의 기능적 구성부들을 나타낸 블록도이다. 도 3은 도 2에 따른 후방경로 가이드부의 동작을 설명하기 위한 개념도이다. 도 4는 도 2에 따른 후방주의상황 결정부의 동작을 설명하기 위한 개념도이다.
도 2를 참조하면, 후방 디스플레이 장치(100)는, 네비게이션 시스템(200)으로부터 차량의 위치 정보 및 경로 정보를 수신하는 네비게이션 연동부(101), ECU로부터 차량 제어 정보와 복수의 센싱 정보들을 수신하는 차량제어 연동부(102), 차량의 위치 정보와 경로 정보를 기반으로 후방 차량의 경로를 가이드하는 후방경로 가이드부(103), 차량 제어 정보와 센싱 정보들을 기반으로 후방 차량의 충돌사고를 예측하는 후방추돌 주의상황 결정부(104), 차량의 전방 영상을 기반으로 전방 상황을 식별하는 전방상황 식별부(105), 및 후방 차량에게 표시할 메시지를 결정하는 운전자 메시지 표시부(106)를 포함할 수 있다.
운전자 메시지 표시부(106)는, 모바일 단말과 무선 네트워크를 통해 통신함으로써 모바일 단말의 사용자(예를 들어, 운전자 또는 동승자)의 음성을 수신하고, 수신된 음성을 STT(speak to Text) 변환을 통해 텍스트로 변환하여 표시 패널을 통해 표시할 수 있다.
운전자 메시지 표시부(106)는, 마이크 모듈을 이용하여 차량 내부의 음성을 인식하고, 인식된 음성을 텍스트 변환하여 표시 패널을 통해 표시할 수 있다.
운전자 메시지 표시부(106)는, 입력 인터페이스를 통해 텍스트 입력을 수신하고, 수신된 텍스트 입력을 표시 패널을 통해 텍스트로 표시할 수 있다.
후방경로 가이드부(103)는, 네비게이션 기반으로 현재 차량의 위치 정보와 경로 정보를 이용하여 후방 차량의 주행 방향에 영향을 주는 지도 정보를 결정하고, 결정된 지도 정보를 기반으로 경로 주의 메시지를 표시패널을 통해 표시할 수 있다.
일 실시예에서, 후방경로 가이드부(103)는, 후방 차량과 현재 차량 사이의 주행 간격을 결정하고, 결정된 주행 간격을 기반으로 현재 차량의 위치 정보를 보정하여 후방 차량의 위치 정보를 결정하고, 결정된 후방 차량의 위치 정보를 기반으로, 후방 차량의 주행 방향에 영향을 주는 지도 정보를 결정할 수 있다.
예를 들어, 후방경로 가이드부(103)는, 현재 차량의 경로 정보를 통해 현재 차량의 주행 방향을 결정하고, 결정된 현재 차량의 주행 방향과 동일한 방향을 후방 차량의 주행 방향으로 결정하고, 후방 차량의 위치 정보로부터 후방 차량의 주행 방향으로 기준 거리 내에 있는 지도 정보를 결정할 수 있다. 여기서, 지도 정보는 지도(map) 상에서 주의 또는 경고를 운전자에게 제공할 도로 지형이나 도로 표지판 등을 의미할 수 있다. 일 예시로, 도로 지형이나 도로 표지판은 통상적인 네비게이션 애플리케이션에서 운전자 주의 구간으로 설정한 장소로서, 전방 급경사로, 전방 급좌회전로, 전방 급회전구간, 사고가 많은 곳 등일 수 있다.
한편, 후방 차량이 상당히 지속적으로 현재 차량의 후방에 위치한 차량이라면 주행 방향이 현재 차량과 동일한 방향일 가능성이 높기 때문에 비교적 먼 거리에 있는 지도 정보까지 표시하는 것이 유리하지만, 일시적으로 후방에 진입한 차량이라면 주행 방향이 현재 차량과 동일한 방향으로 보기 어렵기 때문에 전술한 지도 정보를 결정하여 경로 주의 메시지를 제공하는 것이 바람직하지 않을 수 있다.
따라서, 후방경로 가이드부(103)는, 후방 차량이 미리 설정된 조건을 만족한 경우에 기준 거리를 증가시키도록 조정시킬 수 있다.
예를 들어, 후방경로 가이드부(103)는, 내장된 카메라 모듈을 통해 촬영된 후방 영상을 이용하여 후방 영상 내에 미리 설정된 시간 구간동안 촬영된 후방 차량들의 차량 번호들을 수집할 수 있다.
후방경로 가이드부(103)는, 후방 영상을 기반으로 수집된 차량 번호들 각각에 대응하는 식별 유지 시간들을 측정하여 차량 번호들 각각에 매칭시킬 수 있다. 예를 들어, 차량 번호 1111이 후방 영상의 미리 설정된 시간 구간(예를 들어 10분 ~ 1시간 이내) 내에서 15분 가량 촬영되어 있는 경우, 차량 번호 1111에 대해 식별 유지 시간 15분이 매칭될 수 있다.
후방경로 가이드부(103)는, 현재 시점에서 후방 영상을 통해 식별된 후방 차량의 차량 번호를 확인하고, 확인된 차량 번호와 매칭된 식별 유지 시간을 확인할 수 있다. 이때, 후방 차량의 차량 번호와 매칭된 식별 유지 시간이 없는 경우 후방 차량이 일시적으로 후방에 진입한 차량인 것으로 보고, 후방경로 가이드부(103)는, 기준 거리를 제1 기준 거리로 설정할 수 있다. 예를 들어, 제1 기준 거리는 앞뒤 차량간 최소 이격 거리로서 10m 내지 50m일 수 있다.
후방경로 가이드부(103)는, 후방 차량의 차량 번호와 매칭된 식별 유지 시간이 있는 경우, 후방 차량의 차량 번호와 매칭되어 있는 식별 유지 시간에 비례하여 기준 거리를 결정할 수 있다. 예를 들어, 후방경로 가이드부(103)는, 하기 수학식 1에 따라 기준 거리를 결정할 수 있다.
수학식 1에서, DoR1은 제1 기준 거리(단위: m)이고, ToR은 후방 차량의 차량 번호와 매칭된 식별 유지 시간(단위 : sec)일 수 있다. 여기서, 30 초는 기준 거리를 늘리거나 줄이도록 설정하는 기준시간으로서, 식별 유지 시간이 30초보다 작을 수록, 기준거리가 제1 기준거리보다 점차 짧아지도록 설정하여 잘못된 경로 주의 메시지를 주지 않도록 방지하되, 식별 유지 시간이 30초보다 클 수록, 경로가 현재 차량과 후방 차량이 서로 같은 가능성이 높으므로 기준거리가 제1 기준거리보다 점차 증가하도록 설정하여 더욱 많은 경로 주의 메시지가 전달되도록 설정할 수 있다.
추가적인 실시예에서, 후방경로 가이드부(103)는, 현재 차량의 경로 정보를 표시 패널을 통해 후방 측에 표시함으로써, 현재 차량의 경로 정보를 후방 차량의 운전자가 예상하여 방어운전을 유도하도록 보조할 수도 있다.
후방추돌 주의상황 결정부(104)는, 현재 차량의 차량 제어 정보와 센싱 정보들을 기반으로 후방 차량의 충돌사고를 예측할 수 있다.
일 실시예에서, 후방추돌 주의상황 결정부(104)는, 복수의 센싱 정보를 이용하여 후방 차량과의 거리를 획득하고, 획득된 후방 차량과의 거리를 반지름으로 하고, 후방 차량의 위치를 중심으로 하는 주의 반경을 결정할 수 있다.
또한, 후방추돌 주의상황 결정부(104)는, 복수의 센싱 정보를 이용하여 미리 설정된 단위 시간(예를 들어 5초 내지 10초 이하) 동안 후방 차량과의 거리를 획득하고, 획득된 후방 차량과의 거리를 기반으로 후방 차량에 대비한 현재 차량의 상대속도를 결정할 수 있다.
후방추돌 주의상황 결정부(104)는, 결정된 상대속도가 단위 시간동안 증가하는 경우, 현재 차량이 주의 반경 밖으로 이탈하는 것으로 보고, 측방 이탈면적을 산출할 수 있다. 여기서 전방으로 이탈한다면 후방 차량으로부터 멀어짐에 따라 사고 가능성이 줄어들기 때문에 주의상황이 아니지만 측방으로 이탈할 경우 현재 차량의 앞차와의 추돌 가능성이 발생하므로 사고 가능성이 높아질 수 있다. 따라서, 후방추돌 주의상황 결정부(104)는, 측방 이탈면적을 산출하여 충돌사고를 예측할 수 있다.
후방추돌 주의상황 결정부(104)는, 차량 제어 정보와 센싱 정보들을 이용하여 조향각(θ)을 결정하고, 결정된 조향각(θ)을 예각으로 하고, 단위 시간 동안 상대속도(m/s)의 크기를 빗변의 길이로 하는 가상의 직각 삼각형의 면적을 측방 이탈면적으로 산출할 수 있다.
구체적으로, 후방추돌 주의상황 결정부(104)는, 하기 수학식 2에 따라 측방 이탈면적을 산출할 수 있다.
수학식 2에서, θ는 조향각이고, L은 상대속도의 크기이고, SS는 측방 이탈면적이다.
후방추돌 주의상황 결정부(104)는, 산출된 측방 이탈면적의 크기가 미리 설정된 제1 임계면적보다 크고, 조향각(θ)이 미리 설정된 임계조향각을 초과하면, 현재 차량이 전방에서 빠르게 사라짐에 따라 후방 추돌사고 가능성이 높아지는 것으로 보고 후방 차량의 충돌사고가 있는 것으로 예측할 수 있다.
한편, 후방추돌 주의상황 결정부(104)는, 결정된 상대속도가 단위 시간동안 감소하는 경우, 현재 차량이 주의 반경 안쪽으로 진입하는 것으로 보고, 후방 차량의 주의 반경이 감소하는 면적을 나타내는 주의반경 감소면적을 결정할 수 있다.
예를 들어, 후방추돌 주의상황 결정부(104)는, 하기 수학식 3에 따라 주의반경 감소면적을 산출할 수 있다.
수학식 3에서, θ는 조향각이고, L은 상대속도의 크기이고, r은 주의반경의 반경 길이(m)이고, DS는 주의반경 감소면적이다.
후방추돌 주의상황 결정부(104)는, 산출된 주의반경 감소면적이 미리 설정된 제2 임계면적보다 큰 경우, 현재 차량이 전방에서 빠르게 가까워짐에 따라 후방 추돌사고 가능성이 높아지는 것으로 보고 후방 차량의 충돌사고가 있는 것으로 예측할 수 있다.
후방추돌 주의상황 결정부(104)는, 후방 차량의 충돌사고가 있는 것으로 예측되는 경우, 추돌 주의를 나타내는 메시지를 표시 패널을 통해 표시할 수 있다.
도 5는 도 2에 따른 전방상황 식별부의 동작을 설명하기 위한 개념도이다.
도 5를 참조하면, 전방상황 식별부(105)는, 전방 영상을 기반으로 전방 상황을 식별하고, 식별된 전방 상황을 나타내는 메시지를 표시 패널을 ??해 표시할 수 있다.
예를 들어, 전방상황 식별부(105)는, 미리 지도학습된 CNN 기반의 전방 식별 모델(10)을 이용하여 전방 상황을 식별할 수 있다.
구체적인 구현례에서 CNN 기반의 전방 식별 모델(10)은 전방에서의 추돌사고발생, 옆차선 차량 끼어듬, 낙하물, 사고표지판, 차선 줄어듬 등과 같은 순간적인 전방의 급정거 예상 상황들을 표지(라벨링)한 복수의 훈련 이미지들을 이용하여 미리 지도학습될 수 있다.
이에 따라, CNN 기반의 전방 식별 모델(10)은 전방 영상을 입력받으면, 입력ㅂ다은 전방 영상을 지도학습된 복수의 클래스들(추돌사고발생, 옆차선 차량 끼어듬, 낙하물, 사고표지판, 차선 줄어듬) 중 하나로 분류하고, 분류된 클래스에 대응하는 확률을 소정의 기준확률과 비교하여 전방 상황을 식별할 수 있다.
예를 들어, 전방상황 식별부(105)는, 분류된 클래스에 대응하는 확률이 소정의 기준확률보다 큰 경우 해당 분류된 클래스에 대응하는 전방 상황이 발생한 것으로 식별할 수 있다.
전방상황 식별부(105)는, 식별된 전방 상황의 클래스(종류)를 지시하는 메시지를 표시 패널을 통해 표시할 수 있다.
도 6은 본 발명의 일 실시예에 따른 CNN 기반의 전방 식별 모델(10)의 구조를 설명하기 위한 개념도이다.
일 실시예에 따른 CNN 기반의 전방 식별 모델(10)은, 미리 설정된 크기의 이미지(최종 행렬을 변환한 이미지)를 입력 이미지로 입력받아, 특징 맵을 추출하는 컨볼루셔널 계층(11), 추출된 특징에 대해 활성화 함수를 이용해 출력을 활성화할지 여부를 결정하는 활성화 계층(12), 활성화 계층(12)에 따른 출력에 대해 샘플링을 수행하는 풀링 계층(13), 클래스에 따른 분류를 수행하는 완전 연결 계층(14), 완전 연결 계층(14)에 따른 출력을 최종적으로 출력하는 출력 계층(15)을 포함할 수 있다.
컨볼루셔널 계층(11)은 입력 영상과 필터를 서로 합성곱함으로써 입력 데이터의 특징을 추출하는 계층일 수 있다. 여기서 필터는 입력 영상의 특징적 부분을 검출하는 함수로서, 일반적으로 행렬로 표현되며 학습 데이터에 의해 지속적으로 학습됨에 따라 결정되는 함수일 수 있다. 컨볼루셔널 계층(11)에 의해 추출된 특징은 특징 맵(feature map)으로 지칭될 수도 있다. 또한, 합성곱을 수행하는 간격 값을 스트라이드(stride)라고 지칭할 수 있는데, 스트라이드 값에 따라 다른 크기의 특징 맵이 추출될 수 있다. 이때, 특징 맵은 필터의 크기가 입력 영상보다 작으면, 기존의 입력 영상보다 더 작은 크기를 갖게 되는데, 여러 단계를 거쳐 특징이 소실되는 것을 방지하기 위하여 패딩 과정이 추가로 수행될 수 있다. 이때, 패딩 과정은 생성된 특징 맵의 외곽에 미리 설정된 값(예를 들면 0이나 1)을 추가함으로써 입력 영상의 크기와 특징 맵의 크기를 동일하게 유지하는 과정일 수 있다.
여기서 본 발명의 일 실시예에 따른 컨볼루셔널 계층(11)은, 1×1 컨볼루셔널 계층과 3×3 컨볼루셔널 계층을 순차로 반복 연결한 구조를 사용할 수 있다.
활성화 계층(12)는 어떠한 값(또는 행렬)으로 추출된 특징을 활성화 함수에 따라 비선형 값으로 바꾸어 활성화 여부를 결정하는 계층으로, 활성화 함수로는 시그모이드(sigmoid) 함수, ReLU 함수, 소프트맥스(softmax) 함수 등이 사용될 수 있다. 예를 들어, 소프트맥스 함수는 입력된 값을 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수일 수 있다.
풀링 계층(13)은 활성화 계층(12)의 출력에 대하여 서브 샘플링(subsampling) 또는 풀링(pooling)을 수행하여 특징맵을 대표하는 특징을 선정하는 계층으로서, 특징맵의 일정 영역에 대하여 가장 큰 값을 추출하는 맥스 풀링(max pooling), 평균값을 추출하는 애버리지 풀링(average pooling) 등이 수행될 수 있다. 이때, 풀링 계층은 활성화 함수 이후에 반드시 수행되는 것이 아니라 선택적으로 수행될 수 있다.
또한, 여기서 CNN 기반의 전방 식별 모델(10)은, 컨볼루셔널 계층(11), 활성화 계층(12), 풀링 계층(13)의 연결 구조가 복수개 포함될 수도 있다.
도 7은 일 실시예에 따른 후방 디스플레이 장치의 하드웨어 구성을 예시적으로 나타낸 도면이다.
도 7을 참조하면, 후방 디스플레이 장치(100)는, 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(120)를 포함할 수 있다.
상기 적어도 하나의 동작은 전술한 후방 디스플레이 장치(100)의 기능부들 또는 그 동작 중 적어도 일부를 포함하는 것으로 해석될 수 있으며 중복 설명을 방지하기 위하여 구체적인 설명은 생략한다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있다.
후방 디스플레이 장치(100)는, 상기 적어도 하나의 동작을 수행하기 위한 임시 데이터, 입력 데이터, 중간처리 데이터, 출력 데이터 등을 저장하는 저장 장치(160)를 더 포함할 수 있다. 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
또한, 후방 디스플레이 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 후방 디스플레이 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150) 등을 더 포함할 수 있다. 후방 디스플레이 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 후방 디스플레이 장치
101: 네비게이션 연동부
102: 차량제어 연동부
103: 후방경로 가이드부
104: 후방추돌 주의상황 결정부
105: 전방상황 식별부
106: 운전자 메시지 표시부
200: 네비게이션 시스템
300: ECU

Claims (5)

  1. 후방 영상을 촬영하는 카메라 모듈, 차량 내부의 음성을 인식하거나 텍스트 입력을 수신하는 입력 인터페이스, 및 화상이 표시되는 표시 영역을 갖고 상기 음성 또는 텍스트 입력을 상기 표시 영역을 통해 표시하는 표시 패널을 포함하는 후방 디스플레이 장치로서,
    현재 차량의 네비게이션 시스템으로부터 차량의 위치 정보 및 경로 정보를 수신하는 네비게이션 연동부;
    상기 현재 차량의 ECU(Engine Control Unit)로부터 차량 제어 정보와 복수의 센싱 정보들을 수신하는 차량제어 연동부;
    상기 현재 차량의 위치 정보와 경로 정보를 기반으로 상기 현재 차량의 후방에 위치한 후방 차량의 경로를 가이드하는 후방경로 가이드부;
    상기 차량 제어 정보와 상기 복수의 센싱 정보들을 기반으로 상기 후방 차량의 충돌사고를 예측하는 후방추돌 주의상황 결정부;
    상기 현재 차량의 전방 영상을 기반으로 전방 상황을 식별하는 전방상황 식별부; 및
    상기 후방 차량에게 표시할 메시지를 결정하는 운전자 메시지 표시부를 포함하고,
    복수의 센싱 정보들은 차량의 조향각 신호를 나타내는 제1 센싱 정보, 차량의 속도 신호를 나타내는 제2 센싱 정보, 차량의 횡가속도 신호를 나타내는 제3 센싱 정보, 차량의 회전 각속도 신호를 나타내는 제4 센싱 정보, 차선 이탈 여부를 나타내는 제5 센싱 신호, 차량의 전방 또는 후방에 위치한 차량과의 거리를 나타내는 제6 센싱 신호, 전방을 촬영한 영상을 나타내는 전방 영상을 포함하고,
    상기 후방경로 가이드부는, 현재 차량의 경로 정보를 통해 현재 차량의 주행 방향을 결정하고, 결정된 현재 차량의 주행 방향과 동일한 방향을 후방 차량의 주행 방향으로 결정하고, 후방 차량의 위치 정보로부터 후방 차량의 주행 방향으로 기준 거리 내에 있는 지도 정보를 결정하되,
    상기 지도 정보는 지도(map) 상에서 주의 또는 경고를 운전자에게 제공할 도로 지형이나 도로 표지판으로서, 전방 급경사로, 전방 급좌회전로, 전방 급회전구간, 및 사고가 많은 곳을 포함하는,
    네비게이션 시스템과 연동된 후방 디스플레이 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에서,
    상기 후방경로 가이드부는,
    상기 현재 차량의 상기 후방 영상을 기반으로 수집된 차량 번호들 각각에 대응하는 식별 유지 시간들을 측정하여 상기 차량 번호들 각각에 매칭시키고,
    현재 시점에서 상기 후방 영상을 통해 식별된 후방 차량의 차량 번호를 확인하고, 확인된 차량 번호와 매칭된 식별 유지 시간을 확인하되,
    상기 후방 차량의 차량 번호와 매칭된 식별 유지 시간이 없는 경우, 상기 후방경로 가이드부는, 기준 거리를 제1 기준 거리로 설정하는,
    네비게이션 시스템과 연동된 후방 디스플레이 장치.
  5. 청구항 1에서,
    상기 후방추돌 주의상황 결정부는,
    상기 복수의 센싱 정보를 이용하여 상기 후방 차량과의 거리를 획득하고, 획득된 상기 후방 차량과의 거리를 반지름으로 하고, 상기 후방 차량의 위치를 중심으로 하는 주의 반경을 결정하는,
    네비게이션 시스템과 연동된 후방 디스플레이 장치.
KR1020230186970A 2023-12-20 네비게이션 시스템과 연동된 후방 디스플레이 장치 KR102669237B1 (ko)

Publications (1)

Publication Number Publication Date
KR102669237B1 true KR102669237B1 (ko) 2024-06-05

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101646104B1 (ko) * 2015-08-05 2016-08-08 강인식 운송수단 상황에 따른 운송수단 외관 자동 제어 시스템
KR200481107Y1 (ko) * 2016-04-12 2016-08-12 이훈규 음성 인식을 통한 차량 운전자 의사 표시 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101646104B1 (ko) * 2015-08-05 2016-08-08 강인식 운송수단 상황에 따른 운송수단 외관 자동 제어 시스템
KR200481107Y1 (ko) * 2016-04-12 2016-08-12 이훈규 음성 인식을 통한 차량 운전자 의사 표시 장치

Similar Documents

Publication Publication Date Title
JP7399075B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6684346B2 (ja) 車両の周囲の状況に基づいて車両の一つ又は複数の軌跡を予測する方法とシステム
US11055544B2 (en) Electronic device and control method thereof
US10922970B2 (en) Methods and systems for facilitating driving-assistance to drivers of vehicles
US11315026B2 (en) Systems and methods for classifying driver behavior
US10336252B2 (en) Long term driving danger prediction system
US20200286183A1 (en) Information processing apparatus, and information processing method, and program
US9875583B2 (en) Vehicle operational data acquisition responsive to vehicle occupant voice inputs
CN104853972A (zh) 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
CN110741424B (zh) 危险信息收集装置
JP2021093162A (ja) 走行関連案内サービスを提供する車両用端末装置、サービス提供サーバ、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
KR102534960B1 (ko) 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
US11745745B2 (en) Systems and methods for improving driver attention awareness
JP2014238654A (ja) 運転支援装置、及びプログラム
CN107117099A (zh) 一种车辆碰撞提示方法及车辆
CN111278708B (zh) 用于辅助驾驶的方法和装置
US10373500B1 (en) Technology for using image data to assess vehicular risks and communicate notifications
KR102669237B1 (ko) 네비게이션 시스템과 연동된 후방 디스플레이 장치
EP3827297A1 (en) Apparatus and method for use with vehicle
KR102356573B1 (ko) 비정형화 정보인식기술 및 교통 빅데이터를 활용한 교통사고 정보 오차 개선 및 경찰의 교통사고 정보 수집 업무 간소화 장치
Li et al. Rear-end collision prevention using mobile devices
US11887386B1 (en) Utilizing an intelligent in-cabin media capture device in conjunction with a transportation matching system
EP3957532A1 (en) Predictive turning assistant
JP7325262B2 (ja) 運転支援装置、運転支援システムおよび運転支援方法
US20230391366A1 (en) System and method for detecting a perceived level of driver discomfort in an automated vehicle