KR20230166361A - 차량 주행 보조 장치 및 그 제어 방법 - Google Patents

차량 주행 보조 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20230166361A
KR20230166361A KR1020220066252A KR20220066252A KR20230166361A KR 20230166361 A KR20230166361 A KR 20230166361A KR 1020220066252 A KR1020220066252 A KR 1020220066252A KR 20220066252 A KR20220066252 A KR 20220066252A KR 20230166361 A KR20230166361 A KR 20230166361A
Authority
KR
South Korea
Prior art keywords
vehicle
information
camera
driving assistance
assistance device
Prior art date
Application number
KR1020220066252A
Other languages
English (en)
Inventor
구본일
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020220066252A priority Critical patent/KR20230166361A/ko
Publication of KR20230166361A publication Critical patent/KR20230166361A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 의한 차량 주행 보조 장치는, 차량에 마련된 카메라, 외부 객체와 무선으로 통신하는 통신부 및 상기 카메라가 획득한 제1정보 및 상기 통신부가 수신한 제2정보에 기초하여 상기 차량을 제어하는 제어부를 포함하는 차량에 있어서, 상기 제어부는, 상기 카메라에 인식 장애 상황이 발생했는지 여부에 기초하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 차량 주행 보조 장치를 개시한다.

Description

차량 주행 보조 장치 및 그 제어 방법 {apparatus for assisting driving of a host vehicle and METHOD THEROF}
개시된 발명은 차량 주변 환경에 따라 카메라가 획득한 정보와 V2X(Vehicle To Everything)에 의해 획득한 정보를 결합하여 차량을 제어하는 방법에 관한 것이다.
최근 운전자의 부담을 경감하고 편의를 증진하기 위하여 차량 상태, 운전자 상태, 및 주변 환경에 대한 정보에 따라 차량을 능동적으로 제어하는 운전자 보조 시스템(Advanced Driver Assist System; ADAS)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
이와 관련하여, 차량에 카메라를 구비하여 차량의 차선 유지가 가능한 차선 유지 보조(Lane Keeping Assist, LKA) 및 차로 유지 보조(Lane Following Assist, LFA)가 가능한 차량이 개발되고 있다.
카메라의 타겟 정보만을 사용하는 종래의 운전자 보조 시스템은 한계 상황에서 불안정한 수행능력을 보여주어 운전자의 위험도를 증가시키고 다른 운전자 및 보행자와의 사고를 유발할 수 있다는 문제점이 있다.
개시된 발명의 일 측면은 차량 주변 환경에 따라 카메라로부터 획득한 타겟 정보의 신뢰도를 판단하고, 판단된 신뢰도에 따라 카메라로부터 획득한 타겟 정보와 V2X(Vehicle To Everything)통신에 따라 획득한 타겟 정보의 비중을 조절하여 차량을 제어 할 수 있는 차량 주행 보조 장치 및 차량 주행 보조 장치의 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면에 따른 차량 주행 보조 장치는, 차량에 마련된 카메라, 외부 객체와 무선으로 통신하는 통신부 및 상기 카메라가 획득한 제1정보 및 상기 통신부가 수신한 제2정보에 기초하여 상기 차량을 제어하는 프로세서를 포함하는 차량에 있어서, 상기 프로세서는, 상기 카메라에 인식 장애 상황이 발생했는지 여부에 기초하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절할 수 있다.
상기 프로세서는, 상기 카메라에 인식 장애 상황이 발생하면 상기 제1정보의 신뢰도를 판단하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절할 수 있다.
상기 프로세서는, 상기 판단된 제1정보의 신뢰도가 감소하면 상기 카메라가 획득한 제1정보의 비율을 감소시키고, 상기 제2정보의 비율을 증가시켜 상기 차량을 제어할 수 있다.
상기 프로세서는, 상기 카메라의 인식 장애 상황에서 상기 제1정보의 신뢰도가 기준값 미만인 인식 한계 상황으로 변경된 것에 기초하여, 상기 카메라가 획득한 제1정보를 배제하고, 상기 제2정보에 기초하여 상기 차량을 제어할 수 있다.상기 프로세서는, 상기 제2정보의 신뢰도가 기준값 미만인 것에 기초하여 운전자 보조 시스템의 동작을 해제할 수 있다.
상기 제2정보는, 상기 차량이 상기 통신부를 통하여 타차량과의 통신(Vehicle To Vehicle)으로 획득한 타겟 정보, 교통 인프라와의 통신(Vehicle To Infrastructure)으로 획득한 타겟 정보 또는 보행자와의 통신(Vehicle To Pedestrian)으로 획득한 타겟 정보 중 어느 하나를 포함할 수 있다.
상기 인식 장애 상황은, 상기 카메라에서 획득한 제1정보에서 기준 밝기 이상의 광원이 존재하는 것을 포함할 수 있다.
상기 인식 장애 상황은, 상기 카메라의 오염도가 기준 오염도보다 큰 것을 포함할 수 있다.
상기 프로세서는, 상기 카메라의 영상 출력값 및 기준 영상 출력값에 기초하여 상기 카메라의 오염도를 결정할 수 있다.
상기 인식 장애 상황은, 상기 카메라에서 획득한 제1정보에서 기준 밝기 미만의 광원이 존재하는 것을 포함할 수 있다.
상기 인식 장애 상황은, 상기 카메라의 오염도가 기준 오염도보다 큰 것을 포함할 수 있다.
상기 프로세서는, 상기 카메라의 영상 출력값 및 기준 영상 출력값에 기초하여 상기 카메라의 오염도를 결정할 수 있다.
상기 인식 장애 상황은, 상기 카메라에서 획득한 제1정보에서 기준 밝기 미만의 광원이 존재하는 것을 포함할 수 있다.
개시된 발명의 일 측면에 따른 차량 주행 보조 장치의 제어 방법은, 카메라가 획득한 제1정보 및 통신부가 수신한 제2정보에 기초하여 상기 차량을 제어하고, 상기 카메라에 인식 장애 상황이 발생했는지 여부에 기초하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 것을 포함할 수 있다.
상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 것은, 상기 카메라에 인식 장애 상황이 발생하면 상기 제1정보의 신뢰도를 판단하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절할 수 있다.
상기 차량을 제어하는 것은, 상기 판단된 제1정보의 신뢰도가 감소하면 상기 카메라가 획득한 제1정보의 비율을 감소시키고, 상기 제2정보의 비율을 증가시킬 수 있다.
상기 차량을 제어하는 것은, 상기 카메라의 인식 장애 상황에서 상기 제1정보의 신뢰도가 기준값 미만인 인식 한계 상황으로 변경된 것에 기초하여, 상기 카메라가 획득한 제1정보를 배제하고, 상기 제2정보에 기초하여 상기 차량을 제어할 수 있다.
상기 차량을 제어하는 것은, 상기 제2정보의 신뢰도가 기준값 미만인 것에 기초하여 운전자 보조 시스템의 동작을 해제할 수 있다.
상기 제2정보는, 상기 차량이 상기 통신부를 통하여 타차량과의 통신(Vehicle To Vehicle)으로 획득한 타겟 정보, 교통 인프라와의 통신(Vehicle To Infrastructure)으로 획득한 타겟 정보 또는 보행자와의 통신(Vehicle To Pedestrian)으로 획득한 타겟 정보 중 어느 하나를 포함할 수 있다.
상기 인식 장애 상황은, 상기 카메라에서 획득한 제1정보에서 기준 밝기 이상의 광원이 존재하는 것을 포함할 수 있다.
상기 인식 장애 상황은, 상기 카메라의 오염도가 기준 오염도보다 큰 것을 포함할 수 있다.
상기 카메라의 오염도는, 상기 카메라의 영상 출력값 및 기준 영상 출력값에 기초하여 결정할 수 있다.
상기 인식 장애 상황은, 상기 카메라에서 획득한 제1정보에서 기준 밝기 미만의 광원이 존재하는 것을 포함할 수 있다.
개시된 발명의 일 측면에 따르면, 카메라의 한계 상황에 따라 V2X의 타겟 정보를 결합할 수 있으므로, 안정적인 운전자 보조 시스템의 동작이 가능한 효과가 있다.
구체적으로, V2X 통신은 날씨, 햇빛으로 인한 한계 상황에서 카메라 인식 성능보다 높은 신뢰도로 차선 및 타겟과의 거리를 확인할 수 있으므로, 카메라가 구분하기 어려운 물체 및 상황에서도 운전자 보조 시스템을 동작 시킬 수 있는 효과가 있다.
도 1은 일 실시예에 의한 차량의 구성을 도시한다.
도 2은 일 실시예에 의한 운전자 보조 시스템의 구성을 도시한다.
도 3은 일 실시예에 의한 운전자 보조 시스템이 포함된 카메라 및 센서를 도시한다.
도 4는 일 실시예에 의한 차량 주행 보조 장치의 제어 블록도를 나타낸 도면이다.
도 5는 일 실시예에 의한 차량 주행 보조 장치에서 카메라가 전방 객체 및 차선을 감지하는 것을 나타낸 도면이다.
도 6은 일 실시예에 의한 차량 주행 보조 장치에서 차량과 타차량이 V2V(Vehicle To Vehicle) 통신하는 것을 나타낸 도면이다.
도 7은 일 실시예에 의한 차량 주행 보조 장치에서 차량과 외부 서버가 V2I(Vehicle To Infrastructure) 통신하는 것을 나타낸 도면이다.
도 8은 일 실시예에 의한 차량 주행 보조 장치에서 차량과 외부 서버가 V2P(Vehicle To Pedestrian) 통신하는 것을 나타낸 도면이다.
도9는 일 실시예에 의한 차량 주행 보조 장치의 제어 방법에 관한 흐름도를 나타낸 도면이다.
도10은 일 실시예에 의한 차량 주행 보조 장치의 제어 방법에 관한 흐름도를 계속 나타낸 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 의한 차량 주행 보조 장치의 구성을 도시한다.
도 1에 도시된 바와 같이, 차량 주행 보조 장치는 자율 주행 차량에 포함될 수 있으며, 엔진(10)과, 변속기(20)와, 제동 장치(30)와, 조향 장치(40)를 제어할 수 있다. 엔진(10)은 실린더와 피스톤을 포함하며, 차량이 주행하기 위한 동력을 생성할 수 있다. 변속기(20)는 복수의 기어들을 포함하며, 엔진(10)에 의하여 생성된 동력을 차륜까지 전달할 수 있다. 제동 장치(30)는 차륜과의 마찰을 통하여 차량을 감속시키거나 차량을 정지시킬 수 있다. 조향 장치(40)는 차량의 주행 방향을 변경시킬 수 있다.
차량은 복수의 전장 부품들을 포함할 수 있다. 예를 들어, 차량은 엔진 관리 시스템(Engine Management System, EMS) (11)과, 변속기 제어 유닛(Transmission Control Unit, TCU) (21)과, 전자식 제동 제어 모듈(Electronic Brake Control Module) (31)과, 전자식 조향 장치(Electronic Power Steering, EPS) (41)과, 바디 컨트롤 모듈(Body Control Module, BCM)과, 운전자 보조 시스템(100)(Driver Assistance System, DAS)과, 사용자 인터페이스(200)를 포함할 수 있다.
엔진 관리 시스템(11)은 가속 페달을 통한 운전자의 가속 의지 또는 운전자 보조 시스템(100)의 요청에 응답하여 엔진(10)을 제어할 수 있다. 예를 들어, 엔진 관리 시스템(11)은 엔진(10)의 토크를 제어할 수 있다.
엔진 관리 시스템(11)은 연료분사 제어, 연비 피드백 제어, 희박 연소 제어, 점화 시기 제어 및 공회전수 제어 등을 수행한다. 이러한 엔진 관리 시스템(11)은 단일의 장치일 수 있을 뿐만 아니라, 통신을 통하여 연결된 복수의 장치들일 수도 있다.
변속기 제어 유닛(21)은 변속 레버를 통한 운전자의 변속 명령 및/또는 차량의 주행 속도에 응답하여 변속기(20)를 제어할 수 있다. 예를 들어, 변속기 제어 유닛(21)은 엔진(10)으로부터 차륜까지의 변속 비율을 조절할 수 있다.
전자식 제동 제어 모듈(31)은 제동 페달을 통한 운전자의 제동 의지 및/또는 차륜들의 슬립(slip)에 응답하여 제동 장치(30)를 제어할 수 있다. 예를 들어, 전자식 제동 제어 모듈(31)은 차량의 제동 시에 감지되는 차륜의 슬립에 응답하여 차륜의 제동을 일시적으로 해제할 수 있다(Anti-lock Braking Systems, ABS). 전자식 제동 제어 모듈(31)은 차량의 조향 시에 감지되는 오버스티어링(oversteering) 및/또는 언더스티어링(understeering)에 응답하여 차륜의 제동을 선택적으로 해제할 수 있다(Electronic stability control, ESC). 또한, 전자식 제동 제어 모듈(31)은 차량의 구동 시에 감지되는 차륜의 슬립에 응답하여 차륜을 일시적으로 제동할 수 있다(Traction Control System, TCS).
전자식 조향 장치(41)는 스티어링 휠을 통한 운전자의 조향 의지에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다. 예를 들어, 전자식 조향 장치(41)는 저속 주행 또는 주차 시에는 조향력을 감소시키고 고속 주행 시에는 조향력을 증가시키도록 조향 장치(40)의 동작을 보조할 수 있다.
바디 컨트롤 모듈(51)은 운전자에게 편의를 제공하거나 운전자의 안전을 보장하는 전장 부품들의 동작을 제어할 수 있다. 예를 들어, 바디 컨트롤 모듈(51)은 헤드 램프, 와이퍼, 클러스터, 다기능 스위치 및 방향 지시 램프 등을 제어할 수 있다.
운전자 보조 시스템(100)은 운전자가 차량을 조작(구동, 제동, 조향)하는 것을 보조할 수 있고, 자율 주행 차량의 경우 운전자의 개입 업이 차량 자체를 제어할 수도 있다.
예를 들어, 운전자 보조 시스템(100)은 차량이 주행 중인 도로의 환경(예를 들어, 다른 차량, 보행자, 사이클리스트(cyclist), 차선, 도로 표지판, 신호등 등)을 감지하고, 감지된 환경에 응답하여 차량의 구동 및/또는 제동 및/또는 조향을 제어할 수 있다.
운전자 보조 시스템(100)은 운전자에게 다양한 기능을 제공할 수 있다. 예를 들어, 운전자 보조 시스템(100)은 차선 이탈 경고(Lane Departure Warning, LDW)와, 차선 유지 보조(Lane Keeping Assist, LKA)와, 상향등 보조(High Beam Assist, HBA)와, 자동 긴급 제동(Autonomous Emergency Braking, AEB)과, 교통 표지판 인식(Traffic Sign Recognition, TSR)과, 스마트 크루즈 컨트롤(Smart Cruise Control, SCC)과, 사각지대 감지(Blind Spot Detection, BSD) 등을 제공할 수 있다.
운전자 보조 시스템(100)은 차량 주변의 영상 데이터를 획득하는 카메라 모듈(101)과, 차량 주변의 객체 데이터를 획득하는 레이더 모듈(102)을 포함한다. 카메라 모듈(101)은 카메라(101a)와 제어기(Electronic Control Unit, ECU) (101b)를 포함하며, 차량의 전방을 촬영하고 다른 차량, 보행자, 사이클리스트, 차선, 도로 표지판, 신호등 등을 인식할 수 있다. 레이더 모듈(102)은 레이더(102a)와 제어기(102b)를 포함하며, 차량 주변의 객체(예를 들어, 다른 차량, 보행자, 사이클리스트 등)의 상대 위치, 상대 속도 등을 획득할 수 있다.
즉, 운전자 보조 시스템(100)은 카메라 모듈(101)에서 획득한 영상 데이터와 레이더 모듈(102)에서 획득한 감지 데이터(레이더 데이터)를 처리하고, 영상 데이터와 레이더 데이터를 처리한 것에 응답하여 차량이 주행 중인 도로의 환경, 차량의 전방에 위치하는 전방 객체 및 차량의 측방에 위치하는 측방 객체를 감지할 수 있다.
운전자 보조 시스템(100)은 도 1에 도시된 바에 한정되지 아니하며, 차량 주변을 스캔하며 객체를 감지하는 라이다(lidar)를 더 포함할 수 있다.
이상의 전자 부품들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 전장 부품들은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다. 예를 들어, 운전자 보조 시스템(100)은 엔진 관리 시스템(11), 전자식 제동 제어 모듈(31) 및 전자식 조향 장치(41)에 각각 차량용 통신 네트워크(NT)를 통하여 구동 제어 신호, 제동 신호 및 조향 신호를 전송할 수 있다.
도 2는 일 실시예에 의한 운전자 보조 시스템의 구성을 도시하고, 도 3은 일 실시예에 의한 운전자 보조 시스템에 포함된 카메라 및 레이더를 도시한다.
도 2에 도시된 바와 같이, 차량 주행 보조 장치는 가속 시스템(12)과, 제동 시스템(32)과, 스피커(60), 디스플레이(70)와, 운전자 보조 시스템(100)을 포함할 수 있다.
가속 시스템(12)은 도 1과 함께 설명된 엔진 관리 시스템(11, 도 1 참조)과 엔진(10, 도 1 참조)을 포함하며, 제동 시스템(32)은 전자식 제동 제어 모듈(31, 도 1 참조)과 제동 장치(30, 도 1 참조)를 포함할 수 있다. 스피커(60) 및 디스플레이(70)는 음성 및 영상의 형태로 운전자에게 알림을 제공할 수 있다.
운전자 보조 시스템(100)은 전방 카메라(110)와, 제1 센서(120) 및 제2 센서(130)를 포함할 수 있다.
전방 카메라(110)는 도 3에 도시된 바와 같이 차량의 전방을 향하는 시야(field of view) (110a)를 가질 수 있다. 전방 카메라(110)는 예를 들어 차량의 프론트 윈드 쉴드에 설치될 수 있다.
전방 카메라(110)는 차량의 전방을 촬영하고, 차량 전방의 영상 데이터를 획득할 수 있다.
전방 카메라(110)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
전방 카메라(110)는 제어부(140)와 전기적으로 연결될 수 있다. 예를 들어, 전방 카메라(110)는 차량용 통신 네트워크(NT)를 통하여 제어부(140)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(140)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(140)와 연결될 수 있다.
이에 따라, 전방 카메라(110)는 차량 전방의 영상 데이터를 제어부(140)로 전달할 수 있다.
제1 센서(120)는 도 3에 도시된 바와 같이 차량의 전방을 향하는 감지 시야(field of sensing) (120a)을 가질 수 있다. 제1 센서(120)는 예를 들어 차량의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있다. 제1 센서(120)는 레이더의 형태로 제공될 수 있다.
제1 센서(120)는 차량의 전방을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 객체에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다. 제1 센서(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 제1 센서 데이터를 획득할 수 있다. 제1 센서 데이터는 차량 전방에 위치하는 다른 차량 또는 보행자 또는 사이클리스트에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 속도 정보는 횡방향 속도 정보와 종방향 속도 정보를 모두 포함할 수 있다. 제1 센서(120)는 송신 전파와 반사 전파 사이의 위상 차이(또는 시간 차이)에 기초하여 객체까지의 상태 거리를 산출하고, 송신 전파와 반사 전파 사이의 주파수 차이에 기초하여 객체의 상대 속도를 산출할 수 있다.
제1 센서(120)는 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있다. 이에 따라, 제1 센서(120)는 제1 센서 데이터를 제어부(140)로 전달할 수 있다.
또한, 운전자 보조 시스템(100)은 제2 센서(130)를 더 포함할 수 있으며, 제2 센서(20)는 복수의 코너 레이더의 형태로 제공될 수 있다.
제2 센서(130)는 차량의 전방 우측에 설치되는 제1 코너 레이더(131)와, 차량의 전방 좌측에 설치되는 제2 코너 레이더(132)와, 차량의 후방 우측에 설치되는 제3 코너 레이더(133)와, 차량의 후방 좌측에 설치되는 제4 코너 레이더(134)를 포함할 수 있다.
제1 코너 레이더(131)는 도 3에 도시된 바와 같이 차량의 전방 우측을 향하는 감지 시야(131a)를 가질 수 있다. 제1 센서(120)는 예를 들어 차량의 전방 범퍼의 우측에 설치될 수 있다. 제2 코너 레이더(132)는 차량의 전방 좌측을 향하는 감지 시야(132a)를 가질 수 있으며, 예를 들어 차량의 전방 범퍼의 좌측에 설치될 수 있다. 제3 코너 레이더(133)는 차량의 후방 우측을 향하는 감지 시야(133a)를 가질 수 있으며, 예를 들어 차량의 후방 범퍼의 우측에 설치될 수 있다. 제4 코너 레이더(134)는 차량의 후방 좌측을 향하는 감지 시야(134a)를 가질 수 있으며, 예를 들어 차량의 후방 범퍼의 좌측에 설치될 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134) 각각은 송신 안테나와 수신 안테나를 포함할 수 있다. 제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134)은 각각 제1 코너 레이더 데이터와 제2 코너 레이더 데이터와 제3 코너 레이더 데이터와 제4 코너 레이더 데이터를 획득할 수 있다. 제1 코너 레이더 데이터는 차량 전방 우측에 위치하는 다른 차량 또는 보행자 또는 사이클리스트(이하 "객체"라 한다)에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 제2 코너 레이더 데이터는 차량 전방 좌측에 위치하는 객체의 거리 정보 및 속도 정도를 포함할 수 있다. 제3 및 제4 코너 레이더 데이터는 차량 후방 우측 및 차량 후방 좌측에 위치하는 객체의 거리 정보 및 상대 속도를 포함할 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134) 각각은 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있다. 제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134)은 각각 제1, 제2, 제3 및 제4 코너 레이더 데이터를 제어부(140)로 전달할 수 있다.
네비게이션(165)은 도로 정보를 수신할 수 있다. 예를 들어, 차량의 전방에 신호등이 존재하는지 여부에 관한 정보를 수신할 수 있다.
제어부(140)는 카메라 모듈(101, 도 1 참조)의 제어기(101b, 도 1 참조) 및/또는 레이더 모듈(102, 도 1 참조)의 제어기(102b, 도 1 참조) 및/또는 별도의 통합 제어기를 포함할 수 있다.
제어부(140)는 프로세서(141)와 메모리(142)를 포함할 수 있다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 제1 센서(120)의 제1 센서 데이터 및 제2 센서(130)의 제2 센서 테이터를 처리하고, 가속 시스템(12), 제동 시스템(32), 스피커(60) 및 디스플레이(70)를 제어하기 위한 신호를 생성할 수 있다.
예를 들어, 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터를 처리하는 이미지 프로세서 및/또는 제1 센서(120) 및 제2 센서(130)의 레이더 데이터를 처리하는 디지털 시그널 프로세서 및/또는 구동 신호와 제동 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)을 포함할 수 있다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 제1 센서(120)의 제1 센서 데이터에 기초하여 차량 전방의 객체들(예를 들어, 전방 차량)을 인식할 수 있다.
구체적으로, 전방 카메라(110)의 전방 영상 데이터에 기초하여 차량 전방의 객체들의 위치(방향) 및/또는 유형 정보 및/또는 차로 정보를 획득할 수 있다.
또한, 프로세서(141)는 전방 영상 데이터에 의하여 감지된 객체들을 제1 센서 데이터에 의한 감지된 객체에 매칭하고, 매칭 결과에 기초하여 차량의 전방 객체들의 유형 정보와 위치와 상대 속도를 획득할 수 있다.
프로세서(141)는 전방 영상 데이터 및/또는 제1 센서 데이터에서 전방 차량이 인식되면 인식된 전방 차량을 타겟 차량으로 선정할 수 있다.
이 때, 프로세서(141)는 전방 영상 데이터에서 인식된 전방 차량과 제1 센서 데이터에서 인식된 전방 차량이 일치할 때 전방 차량을 타겟 차량으로 선정할 수도 있다.
이후, 프로세서(141)는 가속 시스템(12), 제동 시스템(32), 및 조향 시스템(42)을 제어하여 차량과 타겟 차량 사이의 거리를 유지시킬 수 있다.
예를 들어, 프로세서(141)는 차량과 타겟 차량 사이의 거리를 유지시키기 위해 차량과 타겟 차량 사이의 거리가 미리 설정된 거리보다 크면 차량이 가속되도록 가속 시스템(12)을 제어할 수 있다.
즉, 프로세서(141)는 타겟 차량을 추종하도록 차량의 속도를 제어할 수 있으며, 이 때, 타겟 차량을 추종하기 위한 요구 가속도를 결정하고 가속 시스템(12) 및/또는 제동 시스템(32)을 제어하여 차량의 가속도를 요구 가속도로 가속시킬 수 있다.
또한, 프로세서(141)는 제2 센서(130)의 제2 센서 데이터에 기초하여 차량 양측의 객체들에 관한 정보를 획득할 수 있다. 예를 들어, 제2 센서 데이터에 기초하여 차량의 양측에 차량의 존부와 정지 여부를 판단할 수 있다.
메모리(142)는 프로세서(141)가 영상 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 레이더 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 프로세서(141)가 구동 신호 및/또는 제동 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리(142)는 전방 카메라(110)로부터 수신된 영상 데이터 및/또는 제1 센서(120) 및 제2 센서(130)로부터 수신된 레이더 데이터를 임시로 기억하고, 프로세서(141)의 영상 데이터 및/또는 레이더 데이터의 처리 결과를 임시로 기억할 수 있다.
메모리(142)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
운전자 보조 시스템(100)은 도 2에 도시된 바에 한정되지 아니하며, 차량 주변을 스캔하며 객체를 감지하는 라이다(lidar)를 더 포함할 수 있다.
이하에서는, 전술한 구성요소를 제어하기 위한 제어부(140)의 동작과 제어기를 이중화 하기 위한 구성에 관하여 구체적으로 설명한다.
도 4는 일 실시예에 의한 차량 주행 보조 장치의 제어 블록도를 나타낸 도면이다.
도4를 참조하면, 일 실시예에 의한 차량 주행 보조 장치(1)는 전술한 메모리(142), 운전자 보조 시스템(100), 통신부(150)를 포함하며, 전술한 구성 요소를 제어하는 프로세서(141)를 포함한다.
통신부(150)는 무선 통신 기지국을 통하거나 다이렉트 통신으로 외부 객체와 통신할 수 있으며, 다양한 통신 방식이 적용될 수 있다. 이때, 외부 객체에는 통신부(150)가 구비된 타차량(1-1, 1-2, 1-3) 또는 외부 서버(2)가 포함될 수 있으며, 타차량(1-1, 1-2, 1-3)에는 자율 주행 차량이 포함될 수 있다.
통신 방식의 예를 들면, 통신부(150)는 시간 분할 다중 접속(Time Division Multiple Access: TDMA)과 부호 분할 다중 접속(Code Division Multiple Access: CDMA) 등의 제2 세대(2G) 통신 방식, 광대역 부호 분할 다중 접속(Wide Code Division Multiple Access: WCDMA)과 CDMA2000(Code Division Multiple Access 2000)과 와이브로(Wireless Broadband: Wibro)와 와이맥스(World Interoperability for Microwave Access: WiMAX) 등의 3세대(3G) 통신 방식, 엘티이(Long Term Evolution: LTE)와 와이브로 에볼류션(Wireless Broadband Evolution) 등 4세대(4G) 통신 방식을 채용할 수 있다. 통신부(150)는 5세대(5G) 통신 방식을 채용할 수도 있다.
통신부(150)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신부(152) 및 무선 통신부(151) 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 지그비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신부(152)는 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신부(152)뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신부(151)는 라디오 데이터 시스템 교통 메시지 채널(Radio Data System-Traffic Message Channel, RDS-TMC), DMB(Digital Multimedia Broadcasting), 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신부(151)를 포함할 수 있다.
무선 통신부(151)는 차량으로부터 사용자의 입력을 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신부(151)는 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 신호 변환 모듈을 더 포함할 수 있다.
통신부(150)는 타차량(1-1, 1-2, 1-3)과 V2V(Vehicle To Vehicle) 통신을 수행하거나, 서버(2)와 V2I(Vehicle To Infrastructure) 통신을 수행하거나, 보행자의 사용자 단말(3)과 V2P(Vehicle To Pedestrian) 통신을 수행할 수 있다.
이에 관하여는 도6이하 자세히 후술한다.
프로세서(141)는 카메라(110)가 획득한 제1정보 및 통신부(150)가 수신한 제2정보에 기초하여 차량을 제어할 수 있다.
구체적으로 프로세서(141)는 카메라(110)에 인식 장애 상황이 발생했는지 여부에 기초하여, 제1정보 및 제2정보간의 비중(ratio)을 조절할 수 있다.
이때, 제1정보는 전방 카메라(110)로부터 획득한 타겟 정보를 포함하며, 타겟 정보는 타차량(1-1, 1-2, 1-3)의 위치, 타차량(1-1, 1-2, 1-3)까지의 거리 등의 타차량(1-1, 1-2, 1-3)과 관련된 정보와 차선의 종류 및 차선까지의 거리 등의 차선에 관련된 정보를 포함할 수 있다.
즉, 제1정보는 카메라(110)로부터 획득한 운전자 보조 시스템(100)에 활용되는 모든 정보를 포함할 수 있다.
제2정보는 차량의 통신부(150)가 V2X(Vehicle To Everything) 통신으로 외부 객체로부터 획득한 타겟 정보를 포함하며, 타겟 정보는 제1정보와 마찬가지로 타차량(1-1, 1-2, 1-3)의 위치, 타차량(1-1, 1-2, 1-3)까지의 거리 등의 타차량(1-1, 1-2, 1-3)과 관련된 정보와 차선의 종류 및 차선까지의 거리 등의 차선에 관련된 정보를 포함할 수 있다.
즉, 제2정보는 V2X(Vehicle To Everything) 통신을 통해 획득한 운전자 보조 시스템(100)에 활용되는 모든 정보를 포함할 수 있다.
프로세서(141)는 제1정보와 제2정보를 획득하고, 카메라(110)에 인식 장애 상황이 발생하였는지 판단할 수 있다.
여기에서 카메라(110)의 인식 장애 상황은, 카메라(110)에서 획득한 제1정보에서 기준 밝기 이상의 광원이 존재하는 경우, 카메라(110)의 오염도가 기준 오염도보다 큰 경우 및 카메라(110)에서 획득한 제1정보에서 기준 밝기 미만의 광원이 존재하는 경우를 포함할 수 있으며 이에 제한되지 않는다.
예를 들어, 카메라(110)에서 획득한 제1정보에서 기준 밝기 이상의 광원이 존재하는 경우는 터널 입출입로, 도로 구조물에 의한 빛 반사와 같은 햇빛 역광 상황과 도로 주행 중 해가 차량의 진행 방향에 위치함으로써 발생하는 햇빛 역광 상황을 포함할 수 있다.
이때, 프로세서(141)는 역광이 없는 경우 카메라(110)에 의한 제1정보 이용률과 V2X통신에 의한 제2정보의 이용률을 9 : 1로 설정할 수 있고, 역광이 심한 경우 제1정보 이용률과 V2X통신에 의한 제2정보의 이용률을 5 : 5로 설정할 수 있다.
다른 예를 들어, 카메라(110)의 오염도가 기준 오염도보다 큰 경우는 안개, 눈 비와 같은 날씨 한계 상황이나, 이물질에 의한 렌즈 오염을 포함할 수 있다.
프로세서(141)는 비, 눈, 안개가 많은 날씨에는 굴절률로 인해 카메라(110) 정보의 신뢰도가 하락하므로, V2X 통신에 의한 제2정보 비중을 증가시키고 카메라(110)에 의한 제1정보의 비중 감소시킬 수 있다.
구체적으로, 프로세서(141)는 카메라(110)의 오염도가 기준 오염도보다 큰지 여부를 판단하기 위해 카메라(110)의 영상 출력값 및 기준 영상 출력값에 기초하여 상기 카메라(110)의 오염도를 결정할 수 있다.
기준 오염도는 카메라(110)가 획득한 제1정보를 배제할지 여부를 결정하기 위한 기준이 되는 오염도일 수 있다. 기준 오염도는 사용자가 미리 설정할 수 있으며, 기준 오염도의 값은 10%가 적당할 수 있으나, 이는 예시에 불과하다.
기준 영상 출력값은 카메라(110) 표면이 오염되지 않은 경우 카메라(110)가 출력하는 영상 출력값일 수 있으며, 기준 영상 출력값은 미리 정해진 일정한 값일 수 있다.
다만, 차량이 주행하는 경우 오염되지 않은 카메라(110)가 출력하는 영상 출력값 또한 계속 변할 수 있으므로 기준 영상 출력값은 차량 주행 상황에 따라 변하는 값일 수도 있다.
카메라(110)가 현재 출력하고 있는 영상 출력값 및 기준 영상 출력값을 비교했을 때 일정한 크기 이상의 차이가 있으면 카메라(110) 자체가 손상되었거나 카메라(110) 표면이 오염된 경우일 수 있다.
이때, 카메라(110)는 자체적으로 카메라(110) 자체가 손상된 것인지 여부를 판단할 수 있다. 프로세서(141)는 카메라(110) 자체가 손상된 것이 아니라고 판단되면 카메라(110)의 영상 출력값과 기준 영상 출력값에 기초하여 카메라(110)의 오염도를 결정할 수 있다.
구체적으로, 카메라(110)의 표면이 가려져 오염된 경우 카메라(110)의 가려지지 않은 부분은 계속 외부 정보를 획득하지만, 가려진 부분은 외부 정보를 획득하지 못할 수 있다.
이때, 카메라(110)의 영상 출력값은 기준 영상 출력값보다 작은 값을 나타낼 수 있으므로, 이에 기초하여 제1정보의 신뢰도를 판단할 수 있다.
즉, 프로세서(141)가 판단하는 카메라(110)의 인식 장애 상황은 차량 외부의 환경에 의해 카메라(110)가 블록(Block)되는 경우를 의미할 수 있다.
카메라(110) 블록(Block)은 카메라(110) 렌즈가 이물질이나 광원에 의해 작동 자체를 하지 못하는 완전 블록(Full Blockage)과 카메라(110) 렌즈의 일부분만 가려져 작동은 가능하나 획득된 제1정보의 신뢰도가 하락하는 부분 블록(Partial blockage)을 포함할 수 있다.
또 다른 예를 들어, 카메라(110)에서 획득한 제1정보에서 기준 밝기 미만의 광원이 존재하는 경우에는 야간에 광량이 부족하여 타겟 인식 성능이 하락하는 경우를 포함할 수 있다.
이때 프로세서(141)는, 주간 및 야간을 알려주는 파라미터 값에 따라 제1정보와 제2정보의 비중을 변화할 수 있으며, 파라미터 값은 조도센서에 의해 획득될 수 있다.
이와 같이 프로세서(141)는 카메라(110)에 인식 장애 상황이 발생하면 제1정보의 신뢰도를 판단하여, 제1정보와 제2정보 간의 비중(Ratio)을 조절하여 차량을 제어할 수 있다.
구체적으로, 프로세서(141)는 제1정보의 신뢰도를 실시간으로 판단하고, 판단된 제1정보의 신뢰도가 감소하면 카메라(110)가 획득한 제1정보의 비율을 감소시키고, 제2정보의 비율을 증가시켜 차량을 제어할 수 있다.
즉, 프로세서(141)는 카메라(110)에 인식 장애 상황이 발생하여 타차량(1-1, 1-2, 1-3) 혹은 차선의 인식에 영향이 있다고 판단되면, 제1정보와 제2정보에서 획득한 동일 종류의 타겟 정보에 차이가 발생할 경우, 제2정보에 높은 가중치를 두어 타겟 정보를 획득할 수 있다.
예를 들어, 프로세서(141)는 제1정보와 제2정보에서 획득한 전방의 타차량(1-1, 1-2, 1-3)과의 거리가 각각 3m와 6m일 경우, 카메라(110)에 인식 장애 상황이 발생하여 제1정보의 신뢰도가 감소하면, 제2정보에 높은 가중치를 두어 전방의 타차량(1-1, 1-2, 1-3)과의 거리를 6m에 가깝게 판단할 수 있다.
프로세서(141)는 제1정보와 제2정보의 구체적인 비중을 차량 외부의 상황에 따른 시험 결과값으로 조절할 수 있다.
또한 프로세서(141)는 카메라(110)의 인식 장애 상황에서 인식 한계 상황으로 변경된 것에 기초하여, 카메라(110)가 획득한 제1정보를 배제하고, 제2정보에 기초하여 차량을 제어할 수 있다.
이때, 인식 한계 상황은 제1정보의 신뢰도가 기준값 미만인 경우를 포함할 수 있다.
즉, 프로세서(141)는 제1정보의 신뢰도가 운전자 보조 시스템(100)을 활용하지 못할 정도로 낮아진 경우, 제1정보 자체를 배제하고 제2정보로만 운전자 보조 시스템(100)을 제어할 수 있다.
예를 들어, 프로세서(141)는 카메라(110)가 완전 블록(Full Blockage)된 경우, 카메라(110)의 기능을 상실하게 되므로 카메라(110)로부터 획득한 타겟 정보는 무시하고 V2X 통신에 의해 획득한 제2정보에 의해서만 운전자 보조 시스템(100)을 제어할 수 있다.
이에 따라, 일 실시예에 의한 차량 주행 보조 장치(1)는 카메라(110)의 기능을 구현할 수 없는 상황에서도 카메라(110)의 기능이 구현되는 경우와 동일한 정보를 획득하여 운전자 보조 시스템(100)을 제어할 수 있으므로, 운전자 및 차량의 안전을 보호할 수 있는 효과가 있다.
도 5는 일 실시예에 의한 차량 주행 보조 장치에서 카메라가 전방 객체 및 차선을 감지하는 것을 나타낸 도면이다.
전술한 바와 같이, 전방 카메라(110)는 차량 전방의 영상 데이터를 촬영할 수 있다.
여기에서 차량 전방의 영상 데이터에는 타차량(1-1, 1-2, 1-3)의 위치, 타차량(1-1, 1-2, 1-3)까지의 거리 등의 타차량(1-1, 1-2, 1-3)과 관련된 정보와 차선의 종류 및 차선까지의 거리 등의 차선에 관련된 정보를 포함할 수 있다.
일 실시예에 의한 차량 주행 보조 장치(1)는 카메라(110)에 인식 장애 상황이 발생하지 않은 경우, 제1정보에 포함되는 차량 전방의 영상 데이터에 의해 운전자 보조 시스템(100)을 제어할 수 있고, 필요에 따라 제2정보를 결합하여 운전자 보조 시스템(100)을 제어할 수 있다.
도 6은 일 실시예에 의한 차량 주행 보조 장치에서 차량과 타차량이 V2V(Vehicle To Vehicle) 통신하는 것을 나타낸 도면이다.
V2V(Vehicle To Vehicle)통신은 차량 간 통신을 의미하며, 각 자동차마다 고유의 무선 통신으로 데이터를 송신 및 수신 할 수 있다. V2V(Vehicle To Vehicle)통신은 차량이 서로 통신할 수 있도록 모든 형태의 무선 구성 요소를 활용하고 VANET(Vehicle Ad Hoc Network)을 형성할 수 있다.
차량은 무선 통신 장치가 구비된 타차량(1-1, 1-2, 1-3)과의 무선 통신으로 차량 전방의 영상 데이터를 획득할 수 있다.
즉, 차량은 타차량(1-1, 1-2, 1-3)에 구비된 전방 카메라(110)에서 획득한 정보를 활용할 수 있으므로, 타차량(1-1, 1-2, 1-3)의 카메라(110)를 차량의 카메라(110)와 같이 활용할 수 있다.
프로세서(141)는, 카메라(110) 인식 장애 상황이 발생하면 V2V 통신에 의해 획득한 제2정보의 비중을 증가시킬 수 있으며, 이에 따라 햇빛 역광, 터널 진출입로, 날씨로 인한 한계 상황, 새로 개발된 차종에 대한 카메라(110) 인식 저하 문제를 보완하여 운전자 보조 시스템(100)을 제어할 수 있다.
도 7은 일 실시예에 의한 차량 주행 보조 장치에서 차량과 외부 서버가 V2I(Vehicle To Infrastructure) 통신하는 것을 나타낸 도면이다.
V2I(Vehicle To Infrastructure) 통신은 차량과 도로 인프라 간의 무선 데이터 교환을 의미할 수 있다.
V2I 통신은 하드웨어, 소프트웨어 및 펌웨어 시스템에 의해 활성화되며, 일반적으로 무선의 양방향 통신일 수 있다. 차선, 표지판 및 신호등과 같은 도로 인프라 구성 요소는 무선으로 차량에 정보를 제공할 수 있으며 반대로 차량에서 인프라로 정보를 제공하는 것도 가능하다.
V2I 통신은 차량과 도로 인프라 구성 요소가 직접 통신할 수도 있지만, 도7에서와 같이 서버(2)를 통해 제2정보를 송수신할 수 있다.
예를 들어, 프로세서(141)는 V2I 통신을 활용하여 공사 구간임을 차량에 알려, 카메라(110)의 인식 장애 상황을 보완하거나, 내비게이션 정보를 활용하는 적응형 순향 제어 장치에 V2I 정보를 결합함으로써 더욱 안정적으로 운전자 보조 시스템(100)을 제어할 수 있다.
또 다른 예를 들어, 프로세서(141)는 카메라(110) 인식 성능 한계로 발생하는 주차장 진출입로의 차단기를 물체로 오인식 하여 AEB(autonomous emergency braking)시스템이 동작하는 경우, V2I통신을 활용하여 오인식으로 판단시 AEB 시스템이 동작하지 않도록 제어할 수도 있다.
이와 같이 프로세서(141)는 카메라(110) 인식 성능 한계 상황에서 V2I 통신에 의한 제2정보를 활용할 수 있고, 이에 따라 안정적인 운전자 보조 시스템(100)의 제어가 가능한 효과가 있다.
도 8은 일 실시예에 의한 차량 주행 보조 장치에서 차량과 사용자 단말이 V2P(Vehicle To Pedestrian) 통신하는 것을 나타낸 도면이다.
V2P(Vehicle To Pedestrian) 통신은 차량과 보행자나 자전거 탑승자가 소지한　사용자 단말(3) 사이의 무선 통신을 의미할 수 있다. 예를 들어, 차량이 길을 건너는 보행자의　스마트폰을 인지해 운전자에게 보행자 접근 경보를 보내 사고를 예방하기 위한 통신 방법일 수 있다.
프로세서(141)는 통신부(150)의 무선 통신부(151)를 통해 사용자 단말(3)과 통신할 수 있으며, 도7에서와 같이 서버(2)를 통하여 사용자 단말(3)과 통신할 수도 있다.
즉, 프로세서(141)는 카메라(110)의 기능을 활용할 수 없는 카메라(110) 인식 한계 상황에서 보행자가 차량 전방에서 보행하더라도, 카메라(110)에 의한 제1정보로는 차량을 제동시킬 수 없지만 V2P통신에 의해 제2정보로 보행자의 정보를 수신하여 제동시킬 수 있다.
이에 따라 일 실시예에 의한 차량 주행 보조 장치(1)는 V2P통신에 의해 카메라(110)의 인식 한계 상황을 보완하여 운전자 보조 시스템(100)을 동작시키므로, 차량 및 보행자를 보호할 수 있는 효과가 있다.
도9는 일 실시예에 의한 차량 주행 보조 장치의 제어 방법에 관한 흐름도를 나타낸 도면이다.
일 실시예에 의한 차량 주행 보조 장치(1)가 포함된 차량이 주행을 시작하면(900), 프로세서(141)는 카메라(110)가 정상 상태인지 여부를 확인할 수 있는 카메라(110) 정상 작동 신호를 수신하였는지 판단(910)할 수 있다.
프로세서(141)는, 카메라(110)의 정상 작동 신호를 수신하면(910의 예), V2X 통신이 정상 상태인지 여부를 확인할 수 있는 V2X통신 정상 작동 신호를 수신하였는지 판단(920)할 수 있다.
프로세서(141)는 V2X 통신이 정상 작동하는 V2X 통신 정상 작동 신호를 수신하면(920의 예), 카메라(110)로부터 획득한 제1정보를 기준으로 V2X 통신에 의해 획득한 제2정보를 결합하여 운전자 보조 시스템(100)을 제어할 수 있다(930).
프로세서(141)는 V2X 통신이 정상 작동하는 V2X 통신 정상 작동 신호를 수신하지 못하면(920의 아니오), V2X 통신이 불가능한 것으로 판단하고 제1정보로 운전자 보조 시스템(100)을 제어할 수 있다(940).
도10은 일 실시예에 의한 차량 주행 보조 장치의 제어 방법에 관한 흐름도를 계속 나타낸 도면이다.
프로세서(141)는 카메라(110)가 정상 작동하는 카메라(110) 정상 작동 신호를 수신하지 못하면(도9의 910의 아니오), V2X통신 정상 작동 신호를 수신하였는지 판단할 수 있다(1000).
프로세서(141)는 V2X 통신이 정상 작동하는 V2X 통신 정상 작동 신호를 수신하면(1000의 예), 카메라(110)로부터 획득한 제1정보를 배제하고, V2X 통신에 의해 획득된 제2정보에 의해 운전자 보조 시스템(100)을 제어할 수 있다(1010).
프로세서(141)는 V2X 통신이 정상 작동하는 V2X 통신 정상 작동 신호를 수신하지 못하면(1000의 아니오), 카메라(110)의 작동 불능 및 V2X 통신 불가능 상태로 판단하고 안전을 위해 운전자 보조 시스템(100) 자체의 작동을 수행하지 않을 수 있다. 즉, 프로세서(141)는 제2정보의 신뢰도가 기준값 미만으로 판단되면, 운전자 보조 시스템(100)의 동작을 해제하여 운전자에 의한 주행이 수행되도록 할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 차량 주행 보조 장치
1-1, 1-2, 1-3 : 타차량
2 : 서버
3 : 사용자 단말
100 : 운전자 보조 시스템
110 : 전방 카메라
140 : 제어부
141 : 프로세서
142 : 메모리
150 : 통신부, 151 : 무선 통신부, 152 : 유선 통신부

Claims (20)

  1. 차량 주행 보조 장치에 있어서,
    상기 차량에 마련된 카메라;
    외부 객체와 무선으로 통신하는 통신부; 및
    상기 카메라가 획득한 제1정보 및 상기 통신부가 수신한 제2정보에 기초하여 상기 차량을 제어하는 프로세서;를 포함하는 차량에 있어서,
    상기 프로세서는,
    상기 카메라에 인식 장애 상황이 발생했는지 여부에 기초하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 차량 주행 보조 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라에 인식 장애 상황이 발생하면 상기 제1정보의 신뢰도를 판단하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 차량 주행 보조 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 판단된 제1정보의 신뢰도가 감소하면 상기 카메라가 획득한 제1정보의 비율을 감소시키고, 상기 제2정보의 비율을 증가시켜 상기 차량을 제어하는 차량 주행 보조 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 카메라의 인식 장애 상황에서 상기 제1정보의 신뢰도가 기준값 미만인 인식 한계 상황으로 변경된 것에 기초하여, 상기 카메라가 획득한 제1정보를 배제하고, 상기 제2정보에 기초하여 상기 차량을 제어하는 차량 주행 보조 장치.
  5. 제 4항에 있어서,
    상기 프로세서는.
    상기 제2정보의 신뢰도가 기준값 미만인 것에 기초하여 운전자 보조 시스템의 동작을 해제하는 차량 주행 보조 장치.
  6. 제1항에 있어서,
    상기 제2정보는,
    상기 차량이 상기 통신부를 통하여 타차량과의 통신(Vehicle To Vehicle)으로 획득한 타겟 정보, 교통 인프라와의 통신(Vehicle To Infrastructure)으로 획득한 타겟 정보 또는 보행자와의 통신(Vehicle To Pedestrian)으로 획득한 타겟 정보 중 어느 하나를 포함하는 차량 주행 보조 장치.
  7. 제1항에 있어서,
    상기 인식 장애 상황은,
    상기 카메라에서 획득한 제1정보에서 기준 밝기 이상의 광원이 존재하는 것을 포함하는 차량 주행 보조 장치.
  8. 제1항에 있어서,
    상기 인식 장애 상황은,
    상기 카메라의 오염도가 기준 오염도보다 큰 것을 포함하는 차량 주행 보조 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 카메라의 영상 출력값 및 기준 영상 출력값에 기초하여 상기 카메라의 오염도를 결정하는 장치.
  10. 제1항에 있어서,
    상기 인식 장애 상황은,
    상기 카메라에서 획득한 제1정보에서 기준 밝기 미만의 광원이 존재하는 것을 포함하는 차량 주행 보조 장치.
  11. 차량 주행 보조 장치의 제어 방법에 있어서,
    카메라가 획득한 제1정보 및 통신부가 수신한 제2정보에 기초하여 상기 차량을 제어하고;
    상기 카메라에 인식 장애 상황이 발생했는지 여부에 기초하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 것;을 포함하는 차량 주행 보조 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 것은,
    상기 카메라에 인식 장애 상황이 발생하면 상기 제1정보의 신뢰도를 판단하여, 상기 제1정보 및 상기 제2정보 간의 비중(Ratio)을 조절하는 차량 주행 보조 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 차량을 제어하는 것은,
    상기 판단된 제1정보의 신뢰도가 감소하면 상기 카메라가 획득한 제1정보의 비율을 감소시키고, 상기 제2정보의 비율을 증가시켜 상기 차량을 제어하는 차량 주행 보조 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 차량을 제어하는 것은,
    상기 카메라의 인식 장애 상황에서 상기 제1정보의 신뢰도가 기준값 미만인 인식 한계 상황으로 변경된 것에 기초하여, 상기 카메라가 획득한 제1정보를 배제하고, 상기 제2정보에 기초하여 상기 차량을 제어하는 차량 주행 보조 장치의 제어 방법.
  15. 제 14항에 있어서,
    상기 차량을 제어하는 것은,
    상기 제2정보의 신뢰도가 기준값 미만인 것에 기초하여 운전자 보조 시스템의 동작을 해제하는 차량 주행 보조 장치의 제어 방법.
  16. 제11항에 있어서,
    상기 제2정보는,
    상기 차량이 상기 통신부를 통하여 타차량과의 통신(Vehicle To Vehicle)으로 획득한 타겟 정보, 교통 인프라와의 통신(Vehicle To Infrastructure)으로 획득한 타겟 정보 또는 보행자와의 통신(Vehicle To Pedestrian)으로 획득한 타겟 정보 중 어느 하나를 포함하는 차량 주행 보조 장치의 제어 방법.
  17. 제11항에 있어서,
    상기 인식 장애 상황은,
    상기 카메라에서 획득한 제1정보에서 기준 밝기 이상의 광원이 존재하는 것을 포함하는 차량 주행 보조 장치의 제어 방법.
  18. 제11항에 있어서,
    상기 인식 장애 상황은,
    상기 카메라의 오염도가 기준 오염도보다 큰 것을 포함하는 차량 주행 보조 장치.
  19. 제18항에 있어서,
    상기 카메라의 오염도는,
    상기 카메라의 영상 출력값 및 기준 영상 출력값에 기초하여 결정되는 차량 주행 보조 장치의 제어 방법.
  20. 제11항에 있어서,
    상기 인식 장애 상황은,
    상기 카메라에서 획득한 제1정보에서 기준 밝기 미만의 광원이 존재하는 것을 포함하는 차량 주행 보조 장치의 제어 방법.
KR1020220066252A 2022-05-30 2022-05-30 차량 주행 보조 장치 및 그 제어 방법 KR20230166361A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220066252A KR20230166361A (ko) 2022-05-30 2022-05-30 차량 주행 보조 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220066252A KR20230166361A (ko) 2022-05-30 2022-05-30 차량 주행 보조 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20230166361A true KR20230166361A (ko) 2023-12-07

Family

ID=89163526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220066252A KR20230166361A (ko) 2022-05-30 2022-05-30 차량 주행 보조 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20230166361A (ko)

Similar Documents

Publication Publication Date Title
US11513531B2 (en) Apparatus for providing map
US10133280B2 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
US10304340B2 (en) Control device mounted on vehicle and method for controlling the same
KR102201290B1 (ko) 차량용 디스플레이 장치 및 차량
KR102588920B1 (ko) 운전자 보조 시스템, 그를 가지는 차량 및 그 제어 방법
US10745016B2 (en) Driving system for vehicle and vehicle
US11472433B2 (en) Advanced driver assistance system, vehicle having the same and method for controlling the vehicle
US11702076B2 (en) Cargo trailer sensor assembly
US20210206389A1 (en) Providing device and path providing method thereof
KR102649709B1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US11675355B2 (en) Path providing device and path providing method thereof
US11693418B2 (en) Path providing device and control method thereof
US20210207969A1 (en) Path providing device and path providing method thereof
US11634120B2 (en) Driver assistance system and driver assistance method
KR102589617B1 (ko) 운전자 보조 시스템
US11679781B2 (en) Path providing device and path providing method thereof
KR20210152602A (ko) 운전자 보조 장치 및 운전자 보조 방법
KR20230166361A (ko) 차량 주행 보조 장치 및 그 제어 방법
KR102618041B1 (ko) 운전자 보조 시스템 및 그 방법
US20230095772A1 (en) Route providing device and route providing method therefor
US20230368543A1 (en) System and vehicle including the same
US20230294682A1 (en) Driver assistance system and vehicle including the same
KR20230158161A (ko) 자율 주행 차량의 제어기 이중화 시스템 및 방법
KR102614820B1 (ko) 운전자 보조 시스템 및 그 제어 방법
KR20230153557A (ko) 운전자 보조 시스템 및 그를 가지는 차량