KR102367952B1 - 비전 시스템, 그를 가지는 차량 및 그 제어 방법 - Google Patents

비전 시스템, 그를 가지는 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR102367952B1
KR102367952B1 KR1020200033694A KR20200033694A KR102367952B1 KR 102367952 B1 KR102367952 B1 KR 102367952B1 KR 1020200033694 A KR1020200033694 A KR 1020200033694A KR 20200033694 A KR20200033694 A KR 20200033694A KR 102367952 B1 KR102367952 B1 KR 102367952B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
determined
intention
departure
Prior art date
Application number
KR1020200033694A
Other languages
English (en)
Other versions
KR20210118270A (ko
Inventor
조한신
Original Assignee
주식회사 만도모빌리티솔루션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도모빌리티솔루션즈 filed Critical 주식회사 만도모빌리티솔루션즈
Priority to KR1020200033694A priority Critical patent/KR102367952B1/ko
Priority to CN202110280007.3A priority patent/CN113428150A/zh
Priority to US17/205,260 priority patent/US20210291836A1/en
Publication of KR20210118270A publication Critical patent/KR20210118270A/ko
Application granted granted Critical
Publication of KR102367952B1 publication Critical patent/KR102367952B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184—Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18027—Drive off, accelerating from standstill
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18054—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/1805—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18158—Approaching intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 비전 시스템, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
본 발명의 비전 시스템은, 차량에 마련되고 차량의 외부의 전방 시야를 가지고, 영상 데이터를 캡쳐하는 카메라; 및 카메라에 의해 캡쳐된 영상 데이터를 프로세싱하는 프로세서를 포함하는 제어부를 포함하고, 제어부는, 프로세싱된 영상 데이터에 기초하여 전방 시야에 존재하는 오브젝트를 인식하고, 인식된 오브젝트에 대한 정보에 기초하여 차량의 출발 가능 여부를 판단하고 판단된 출발 가능 여부에 대응하는 출발 가능 알림 정보 또는 정지 알림 정보의 출력을 제어한다.

Description

비전 시스템, 그를 가지는 차량 및 그 제어 방법 {Vision System, Vehicle having the same and method for controlling the vehicle}
본 발명은 교차로에서의 주행을 안내하기 위한 비전 시스템, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
최근 운전자 부주의로 발생하는 사고를 방지하기 위하여 운전자에게 차량의 주행 정보를 전달해주고 또한 운전자의 편의를 위한 자율 주행을 위해 다양한 운전자 보조 시스템(ADAS: Advanced Driver Assistance Systems)이 개발되고 있다.
일 예로, 차량에 거리감지센서를 장착하여 차량 주변의 장애물을 검출하고, 이를 운전자에게 경고하는 기술이 있다.
다른 예로, 차량의 범퍼에 장착된 전자석을 통해 타 차량과의 거리를 획득하고 획득된 타 차량과의 거리가 일정 거리 이내이면 충돌 상황으로 판단하여 전자석에 전원을 공급함으로써 자력이 발생되도록 하고 이로 인해 차량이 충돌 상황 시에 자동으로 제동되도록 하는 기술이 있다.
또 다른 예로, 차량에 마련되어 차량 주변의 영상을 획득하고 획득된 영상을 기반으로 차량의 주행을 제어하는 비전 기술이 있다.
운전자의 안전 및 편의를 위한 운전자 보조 시스템이 차량에 마련되어 있음에도 불구하고, 운전자가 차량을 운전할 때, 도로의 넓이나, 회전 여부, 교통량, 자전거나 보행자의 수 등 주위 상황의 변화에 따라 운전자가 주의해야 할 포인트도 변화되어야 한다.
이에 따라 주위 상황에 따른 운전자 보조 기술의 변화가 필요하다. 특히 교차로나 횡단보도 주행 중 타 차량과의 관계나 보행자 등과의 관계에 대응하여 운전자를 보조하는 운전자 보조 기술의 변화가 필요하다.
일 측면은 운전자의 의도 정보와 획득된 영상 정보에 기초하여 교차로나 횡단보도에서의 주행 가능성에 대한 정보를 출력하는 비전 시스템, 그를 가지는 차량 및 그 제어 방법을 제공한다.
일 측면에 따른 비전 시스템은, 차량에 마련되고 차량의 외부의 전방 시야를 가지고, 영상 데이터를 캡쳐하는 카메라; 및 카메라에 의해 캡쳐된 영상 데이터를 프로세싱하는 프로세서를 포함하는 제어부를 포함하고, 제어부는, 프로세싱된 영상 데이터에 기초하여 전방 시야에 존재하는 오브젝트를 인식하고, 인식된 오브젝트에 대한 정보에 기초하여 차량의 출발 가능 여부를 판단하고 판단된 출발 가능 여부에 대응하는 출발 가능 알림 정보 또는 정지 알림 정보의 출력을 제어한다.
비전 시스템은 액셀러레이터 페달에 인가된 압력에 대한 제1압력 정보와, 브레이크 페달에 인가된 압력에 대한 제2압력 정보를 수신하는 통신부를 더 포함하고, 제어부는 출발 가능 알림 정보의 출력을 제어한 후, 제1압력 정보 또는 제2압렵 정보에 기초하여 차량의 출발 의도를 판단하고, 차량의 출발 의도가 존재한다고 판단되면 프로세싱된 영상 데이터에 기초하여 오브젝트를 재인식하고 재인식된 오브젝트에 대한 정보에 기초하여 정지 알림 정보의 출력을 제어한다.
비전 시스템은 방향 지시 레버의 레버 신호를 수신하는 통신부를 더 포함하고, 제어부는, 수신된 레버 신호에 기초하여 차량의 주행 방향을 판단하고 판단된 차량의 주행 방향에 기초하여 오브젝트를 인식한다.
비전 시스템은 인식된 오브젝트에 대한 정보는, 타 차량, 보행자, 신호등 및 교통 표지판 중 적어도 하나에 대한 정보를 포함하고, 제어부는 영상 데이터에서 타 차량과 보행자의 존재를 인식하고, 영상 데이터에서 신호등에 대한 정보를 인식하고 인식된 신호등에 대한 정보에서 교통 신호를 판단한다.
비전 시스템의 제어부는, 인식된 오브젝트에 대한 정보에 기초하여 전방에 타 차량이 존재하는지 판단하고, 전방에 타 차량이 존재한다고 판단되면 전방의 타 차량의 위치 변화에 기초하여 전방의 타 차량의 출발 여부를 판단하고, 전방의 타 차량이 출발 상태라고 판단되면 출발 가능 알림 정보의 출력을 제어한다.
비전 시스템의 통신부는 타 차량과의 거리 정보 및 타 차량의 속도 정보 중 적어도 하나의 정보를 수신하고, 제어부는 수신된 적어도 하나의 정보에 기초하여 타 차량의 출발 여부를 판단한다.
비전 시스템의 제어부는, 판단된 차량의 주행 방향이 직진 방향이라고 판단되면 신호등의 교통 신호 및 보행자 중 적어도 하나의 정보에 기초하여 출발 가능 알림 정보의 출력을 제어한다.
비전 시스템의 제어부는, 판단된 차량의 주행 방향이 좌측 방향 또는 유턴 방향이라고 판단되면 신호등의 교통 신호, 타 차량 및 교통 표지판 중 적어도 하나의 정보에 기초하여 출발 가능 알림 정보의 출력을 제어한다.
비전 시스템의 제어부는, 영상 데이터에서 교통 표지판에 대한 정보를 인식하고 인식된 교통 표지판에 대한 정보에서 좌 회전의 시기 및 유턴의 시기를 판단한다.
비전 시스템의 제어부는, 판단된 차량의 주행 방향이 우측 방향이라고 판단되면 타 차량 및 보행자 중 적어도 하나의 정보에 기초하여 출발 가능 알림 정보 또는 주의 알림 정보의 출력을 제어한다.
다른 측면에 따른 차량은 도로의 영상을 획득하는 카메라; 카메라에 의해 획득된 도로의 영상을 프로세싱하는 프로세서를 포함하는 제어부; 및 프로세서의 제어 명령에 대응하여 정보를 출력하는 출력부를 포함하고, 제어부는, 정지 상태일 때 프로세싱된 영상에 대한 영상 데이터에 기초하여 오브젝트를 인식하고, 인식된 오브젝트에 대한 정보에 기초하여 출발 가능 여부를 판단하고 출발 가능 여부에 대응하는 정보가 출력되도록 출력부를 제어한다.
차량의 제어부는, 정지 상태를 판단할 때, 내비게이션 정보 및 영상 데이터 중 적어도 하나에 기초하여 교차로나 횡단 보도에서의 정지 상태를 판단한다.
차량은 액셀러레이터 페달에 인가된 압력을 검출하여 제1압력 정보를 출력하는 제1압력 검출부; 및 브레이크 페달에 인가된 압력을 검출하여 제2압력 정보를 출력하는 제2압력 검출부;를 더 포함하고, 제어부는 출발 가능 알림 정보의 출력을 제어한 후, 제1압력 정보와 제2압력 정보 중 어느 하나에 기초하여 출발 의도를 판단하고, 출발 의도가 존재한다고 판단되면 영상 데이터에 기초하여 오브젝트를 인식하고 오브젝트의 인식 여부에 기초하여 정지 알림 정보의 출력을 제어한다.
차량은 방향 지시 레버의 레버 신호를 수신하는 레버 신호 수신부를 더 포함하고, 제어부는 수신된 레버 신호에 기초하여 차량의 주행 방향을 판단하고, 판단된 주행 방향에 대한 정보에 기초하여 오브젝트를 인식한다.
오브젝트는, 타 차량, 보행자, 신호등 및 교통 표지판 중 적어도 하나를 포함한다.
차량의 출력부는, 출발 가능 여부에 대응하는 정보를 영상으로 표시하는 표시부와, 출발 가능 여부에 대응하는 정보를 사운드로 출력하는 사운드 출력부 중 적어도 하나를 포함한다.
또 다른 측면에 따른 차량의 제어 방법은, 차량이 정지 상태일 때 카메라에 의해 캡쳐된 영상 데이터에 기초하여 오브젝트를 인식하고, 인식된 오브젝트에 대한 정보에 기초하여 출발 가능 여부를 판단하고, 출발 가능 여부에 대응하는 정보를 출력하고, 액셀러레이터 페달에 인가된 압력에 대한 제1압력 정보와 브레이크 페달에 인가된 압력에 대한 제2압력 정보 중 어느 하나에 기초하여 출발 여부를 판단하고, 출발 의도가 존재한다고 판단되면 영상 데이터에 기초하여 오브젝트를 인식하고, 오브젝트의 인식 여부에 기초하여 정지 알림 정보를 출력한다.
출발 가능 여부에 대응하는 정보를 출력하는 것은, 인식된 오브젝트에 대한 정보에 기초하여 전방에 타 차량이 존재하는지 판단하고, 전방에 타 차량이 존재한다고 판단되면 전방의 타 차량과의 거리 정보 및 전방의 타 차량의 속도 정보 중 적어도 하나의 정보에 기초하여 전방의 타 차량의 출발 여부를 판단하고, 전방의 타 차량이 출발 상태라고 판단되면 출발 가능 알림 정보의 출력을 제어하는 것을 포함한다.
출발 가능 여부에 대응하는 정보를 출력하는 것은, 방향 지시 레버의 조작 신호에 기초하여 차량의 주행 방향을 판단하고, 판단된 차량의 주행 방향이 좌측 방향 또는 유턴 방향이라고 판단되면 인식된 오브젝트에 대한 정보 중 신호등의 교통 신호, 타 차량 및 교통 표지판에 대한 정보에 기초하여 출발 가능 알림 정보의 출력을 제어하고, 판단된 차량의 주행 방향이 우측 방향이라고 판단되면 인식된 오브젝트에 대한 정보 중 타 차량 및 보행자에 대한 정보에 기초하여 출발 가능 알림 정보 또는 주의 알림 정보의 출력을 제어하는 것을 포함한다.
차량의 정지 상태를 판단하는 것은, 내비게이션 정보 및 영상 데이터 중 적어도 하나에 기초하여 교차로나 횡단 보도에서의 정지 상태를 판단하는 것을 포함한다.
본 발명은 교차로나 횡단보도의 주행 가능성에 대한 정보 또는 타 차량이나 보행자와의 충돌 가능성에 대한 정보를 출력함으로써 교차로나 횡단보도를 보행하는 보행자와의 충돌을 방지하고 전방에서 주행 중인 타 차량과의 충돌을 방지하도록 할 수 있다. 이에 따라 본 발명은 차량의 안전도를 높일 수 있고, 교통 사고의 위험도를 낮출 수 있다.
본 발명은 하드웨어적인 구성이 추가되지 않은 상태에서 카메라와 검출부만을 이용하여 교차로나 횡단 보도의 주행 가능성 및 타 차량이나 보행자와의 충돌 가능성을 판단할 수 있어 교차로나 횡단 보도의 주행 가능성 및 타 차량이나 보행자와의 충돌 가능성의 판단에 대한 정확도를 향상시킬 수 있고, 차량의 원가 상승을 방지하면서 차량의 안정성을 향상시킬 수 있다.
본 발명은 교차로나 횡단보도 앞에서 정차 중 운전자가 전방 상황에 주의를 기울이지 못하더라도 출발 타이밍을 알려 주행 편의성을 높일 수 있다.
본 발명은 차로 유지 보조(LFA: Lane Follow Assist), 긴급제동보조(AEB: Autonomous Emergency Braking System) 등 편의 및 안전과 관련된 운전자 보조 시스템(ADAS)과 연계함으로써 제어 영역을 확장할 수 있다.
이와 같이 본 발명은 운전자 보조 시스템 및 운전자 보조 시스템을 가지는 차량의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 제품의 경쟁력을 확보할 수 있다.
도 1은 실시 예에 의한 차량의 구성도이다.
도 2은 실시 예에 의한 차량에 마련된 운전자 보조 시스템의 구성도이다.
도 3은 실시 예에 의한 차량의 운전자 보조 시스템에 포함된 카메라 및 레이더의 검출 영역의 예시도이다.
도 4는 실시 예에 따른 차량에 마련된 운전자 보조 시스템 중 알림 장치의 구성도이다.
도 5 실시 예에 따른 차량의 제어 순서도이다.
도 6a, 도 6b, 도 7, 도 8 및 도 9는 실시 예에 따른 차량의 알림 정보의 출력 제어 예시도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다.
명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥 상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시 예들에 대해 설명한다.
도 1은 실시 예에 의한 차량의 구성도이다.
실시 예에 따른 차량은 운전자의 운전 의도에 대응하여 주행하는 수동 주행 모드와, 목적지까지 자율적으로 주행하는 자율 주행 모드를 수행하는 차량일 수 있다.
본 실시 예에 따른 차량은, 수동 주행 모드로 주행을 수행할 때 교차로나 횡단보도에서의 출발 가능성에 대한 정보를 출력하거나, 자율 주행 모드로 주행을 수행할 때 교차로나 횡단보도에서의 출발 가능성에 기초하여 주행을 제어하는 운전자 보조 시스템을 가진 차량일 수 있다.
도 1에 도시된 바와 같이, 차량(1)은 엔진(10)과, 변속기(20)와, 제동 장치(30)와, 조향 장치(40)를 포함한다.
엔진(10)은 실린더와 피스톤을 포함하며, 차량(1)이 주행하기 위한 동력을 생성할 수 있다.
변속기(20)는 복수 개의 기어들을 포함하며, 엔진(10)에 의하여 생성된 동력을 차륜까지 전달할 수 있다.
제동 장치(30)는 차륜과의 마찰을 통하여 차량(1)을 감속시키거나 차량(1)을 정지시킬 수 있다.
조향 장치(40)는 차량(1)의 주행 방향을 변경시킬 수 있다.
차량(1)은 복수 개의 전장 부품들을 포함할 수 있다.
예를 들어, 차량(1)은 엔진 관리 시스템(Engine Management System, EMS) (11)과, 변속기 제어 유닛(Transmission Control Unit, TCU) (21)과, 전자식 제동 제어 모듈(Electronic Brake Control Module) (31)과, 전자식 조향 장치(Electronic Power Steering, EPS) (41)과, 바디 컨트롤 모듈(Body Control Module, BCM)과, 운전자 보조 시스템(Driver Assistance System, DAS)을 더 포함한다.
엔진 관리 시스템(11)은 가속 페달을 통한 운전자의 가속 의도 또는 운전자 보조 시스템(100)의 요청에 응답하여 엔진(10)을 제어할 수 있다. 예를 들어, 엔진 관리 시스템(11)은 엔진(10)의 토크를 제어할 수 있다.
변속기 제어 유닛(21)은 변속 레버를 통한 운전자의 변속 명령 및/또는 차량(1)의 주행 속도에 응답하여 변속기(20)를 제어할 수 있다. 예를 들어, 변속기 제어 유닛(21)은 엔진(10)으로부터 차륜까지의 변속 비율을 조절할 수 있다.
전자식 제동 제어 모듈(31)은 제동 페달을 통한 운전자의 제동 의도 및/또는 차륜들의 슬립(slip)에 응답하여 제동 장치(30)를 제어할 수 있다. 예를 들어, 전자식 제동 제어 모듈(31)은 차량(1)의 제동 시에 감지되는 차륜의 슬립에 응답하여 차륜의 제동을 일시적으로 해제할 수 있다(Anti-lock Braking Systems, ABS).
전자식 제동 제어 모듈(31)은 차량(1)의 조향 시에 감지되는 오버스티어링(oversteering) 및/또는 언더스티어링(understeering)에 응답하여 차륜의 제동을 선택적으로 해제할 수 있다(Electronic stability control, ESC).
또한, 전자식 제동 제어 모듈(31)은 차량(1)의 구동 시에 감지되는 차륜의 슬립에 응답하여 차륜을 일시적으로 제동할 수 있다(Traction Control System, TCS).
전자식 조향 제어 장치(41)는 스티어링 휠을 통한 운전자의 조향 의도에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다.예를 들어, 전자식 조향 제어 장치(41)는 저속 주행 또는 주차 시에는 조향력을 감소시키고 고속 주행 시에는 조향력을 증가시키도록 조향 장치(40)의 동작을 보조할 수 있다.
바디 컨트롤 모듈(51)은 운전자에게 편의를 제공하거나 운전자의 안전을 보장하는 전장 부품들의 동작을 제어할 수 있다. 예를 들어, 바디 컨트롤 모듈(51)은 헤드 램프, 와이퍼, 클러스터, 다기능 스위치 및 방향 지시 램프 등을 제어할 수 있다.
운전자 보조 시스템(100)은 운전자가 차량(1)을 조작(구동, 제동, 조향)하는 것을 보조할 수 있다. 예를 들어, 운전자 보조 시스템(100)은 차량(1) 주변의 환경(예를 들어, 다른 차량, 보행자, 사이클리스트(cyclist), 차선, 도로 표지판 등)을 감지하고, 감지된 환경에 응답하여 차량(1)의 구동 및/또는 제동 및/또는 조향을 제어할 수 있다.
운전자 보조 시스템(100)은 운전자에게 다양한 기능을 제공할 수 있다. 예를 들어, 운전자 보조 시스템(100)은 차선 이탈 경고(Lane Departure Warning, LDW)와, 차선 유지 보조(Lane Keeping Assist: LKA 또는 Lane Follow Assist: LFA)와, 상향등 보조(High Beam Assist, HBA)와, 자동 긴급 제동(Autonomous Emergency Braking, AEB)과, 교통 표지판 인식(Traffic Sign Recognition, TSR)과, 스마트 크루즈 컨트롤(Smart Cruise Control, SCC)과, 사각지대 감지(Blind Spot Detection, BSD), 비전 시스템 등을 제공할 수 있다.
운전자 보조 시스템(100)은 장애물과의 충돌을 방지하기 위해 장애물과의 충돌에 대한 알림 정보를 출력하거나, 장애물을 회피하도록 하는 충돌 방지 장치(Collision Avoidance device)를 포함할 수 있다.
운전자 보조 시스템(100)은 차량 스스로 도로 환경을 인식하고, 장애물과 주행 상황을 판단하며, 장애물을 회피하면서 계획된 주행 경로에 따라 차량의 주행을 제어함으로써 자동으로 목적지까지 주행하도록 하는 자율 주행 제어 장치를 포함할 수 있다.
운전자 보조 시스템(100)은 교차로나 횡단보도에서 정차 시 출발 가능성을 판단하고, 판단된 출발 가능성에 대한 정보를 출력하는 전방 차량 출발 경고 장치(Lead Vehicle Departure Alert: LVDA)를 포함할 수 있다.
운전자 보조 시스템(100)은 차량(1) 주변의 영상 데이터를 획득하는 카메라 모듈(101)과, 차량(1) 주변의 장애물 데이터를 획득하는 레이더 모듈(102)을 포함한다.
카메라 모듈(101)은 카메라(101a)와 제어기(Electronic Control Unit, ECU) (101b)를 포함하며, 차량(1)의 전방을 촬영하고 다른 차량, 보행자, 사이클리스트, 차선, 도로 표지판 등을 인식할 수 있다.
레이더 모듈(102)은 레이더(102a)와 제어기(102b)를 포함하며, 차량(1) 주변의 장애물(예를 들어, 다른 차량, 보행자, 사이클리스트 등)의 상대 위치, 상대 속도 등을 획득할 수 있다.
이상의 전자 부품들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 전장 부품들은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다.
운전자 보조 시스템(100)은 엔진 관리 시스템(11), 전자식 제동 제어 모듈(31) 및 전자식 조향 제어 장치(41)에 각각 차량용 통신 네트워크(NT)를 통하여 구동 제어 신호, 제동 제어 신호 및 조향 제어 신호를 전송할 수 있다.
도 2은 실시 예에 의한 차량에 마련된 운전자 보조 시스템의 구성도이고, 도 3은 실시 예에 의한 차량의 운전자 보조 시스템에 포함된 카메라 및 레이더의 검출 영역의 예시도이다.
본 실시 예의 운전자 보조 시스템은, 교차로나 횡단보도에서 정차 시 출발 가능 시점 또는 출발 가능성을 판단하고, 판단된 출발 가능 시점 및 출발 가능성에 대한 정보를 출력하는 전방 차량 출발 경고 장치(Lead Vehicle Departure Alert: LVDA)를 포함할 수 있다.
도 2에 도시된 바와 같이, 차량(1)은 제동 시스템(32)과, 조향 시스템(42)과, 운전자 보조 시스템(100)을 포함할 수 있다.
제동 시스템(32)은 도 1과 함께 설명된 전자식 제동 제어 모듈(31, 도 1 참조)과 제동 장치(30, 도 1 참조)를 포함하며, 조향 시스템(42)은 전자식 조향 장치(41, 도 1 참조)와 조향 장치(40, 도 1 참조)를 포함할 수 있다.
본 실시 예의 운전자 보조 시스템(100)은 카메라 모듈(101)의 카메라로써 전방 카메라(110)를 포함할 수 있고, 레이더 모듈(102)의 레이더로써 전방 레이더(120)와 복수 개의 코너 레이더(130: 131, 132, 133, 134)를 포함할 수 있다.
도 3에 도시된 바와 같이, 운전자 보조 시스템(100)은 차량(1)의 전방을 향하는 시야(field of view) (110a)를 확보하기 위한 전방 카메라(110)와, 전방 레이더(120)와, 복수 개의 코너 레이더(130)를 포함할 수 있다.
전방 카메라(110)는 차량(1)의 프론트 윈드 쉴드에 설치될 수 있다.
전방 카메라(110)는 차량(1)의 전방을 촬영하고, 차량(1) 전방의 영상 데이터를 획득할 수 있다. 차량(1) 전방의 영상 데이터는 차량(1) 전방에 위치하는 다른 차량, 보행자, 사이클리스트, 차선, 연석, 가드레일, 가로수 및 가로등 중 적어도 하나에 관한 위치 정보를 포함할 수 있다.
전방 카메라(110)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
전방 카메라(110)는 제1제어부(140)와 전기적으로 연결될 수 있다. 예를 들어, 전방 카메라(110)는 차량용 통신 네트워크(NT)를 통하여 제1제어부(140)와 연결되거나, 하드 와이어(hard wire)를 통하여 제1제어부(140)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제1제어부(140)와 연결될 수 있다.
전방 카메라(110)는 차량(1) 전방의 영상 데이터를 제1제어부(140)로 전달할 수 있다.
전방 레이더(120)는 차량(1)의 전방을 향하는 감지 시야(field of sensing) (120a)을 가질 수 있다. 전방 레이더(120)는 예를 들어 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있다.
전방 레이더(120)는 차량(1)의 전방을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 장애물에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다.
전방 레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 전방 레이더 데이터를 획득할 수 있다.
전방 레이더 데이터는 차량(1) 전방에 위치하는 다른 차량 또는 보행자 또는 사이클리스트에 관한 위치 정보 및 속도 정도를 포함할 수 있다.
전방 레이더(120)는 송신 전파와 반사 전파 사이의 위상 차이(또는 시간 차이)에 기초하여 장애물까지의 상대 거리를 산출하고, 송신 전파와 반사 전파 사이의 주파수 차이에 기초하여 장애물의 상대 속도를 산출할 수 있다.
전방 레이더(120)는 예를 들어 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제1제어부(140)와 연결될 수 있다. 전방 레이더(120)는 전방 레이더 데이터를 제1제어부(140)로 전달할 수 있다.
복수 개의 코너 레이더(130)는 차량(1)의 전방 우측에 설치되는 제1 코너 레이더(131)와, 차량(1)의 전방 좌측에 설치되는 제2 코너 레이더(132)와, 차량(1)의 후방 우측에 설치되는 제3 코너 레이더(133)와, 차량(1)의 후방 좌측에 설치되는 제4 코너 레이더(134)를 포함한다.
제1 코너 레이더(131)는 차량(1)의 전방 우측을 향하는 감지 시야(131a)를 가질 수 있다. 제1 코너 레이더(131)는 차량(1)의 전방 범퍼의 우측에 설치될 수 있다.
제2 코너 레이더(132)는 차량(1)의 전방 좌측을 향하는 감지 시야(132a)를 가질 수 있으며, 차량(1)의 전방 범퍼의 좌측에 설치될 수 있다.
제3 코너 레이더(133)는 차량(1)의 후방 우측을 향하는 감지 시야(133a)를 가질 수 있으며, 차량(1)의 후방 범퍼의 우측에 설치될 수 있다.
제4 코너 레이더(134)는 차량(1)의 후방 좌측을 향하는 감지 시야(134a)를 가질 수 있으며, 차량(1)의 후방 범퍼의 좌측에 설치될 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134) 각각은 송신 안테나와 수신 안테나를 포함할 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134)은 각각 제1 코너 레이더 데이터와 제2 코너 레이더 데이터와 제3 코너 레이더 데이터와 제4 코너 레이더 데이터를 획득할 수 있다.
제1 코너 레이더 데이터는 차량(1) 전방 우측에 위치하는 다른 차량, 보행자 또는 사이클리스트(이하 "장애물"이라 한다)에 관한 거리 정보 및 속도 정도를 포함할 수 있다.
제2 코너 레이더 데이터는 차량(1) 전방 좌측에 위치하는 장애물의 거리 정보 및 속도 정도를 포함할 수 있다.
제3 및 제4 코너 레이더 데이터는 차량(1) 후방 우측 및 차량(1) 후방 좌측에 위치하는 장애물의 거리 정보 및 속도 정보를 포함할 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134) 각각은 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제1제어부(140)와 연결될 수 있다. 제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134)은 각각 제1, 제2, 제3 및 제4 코너 레이더 데이터를 제1제어부(140)로 전달할 수 있다.
제1제어부(140)는 카메라 모듈(101, 도 1 참조)의 제어기(101b, 도 1 참조) 및/또는 레이더 모듈(102, 도 1 참조)의 제어기(102b, 도 1 참조) 및/또는 별도의 통합 제어기를 포함할 수 있다.
제1제어부(140)는 프로세서(141)와 메모리(142)를 포함한다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 레이더 데이터와 복수의 코너 레이더들(130)의 코너 레이더 데이터를 처리하고, 제동 시스템(32) 및 조향 시스템(42)을 제어하기 위한 제동 신호 및 조향 신호를 생성할 수 있다.
예를 들어, 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터를 처리하는 이미지 시그널 프로세서 및/또는 레이더들(120, 130)의 레이더 데이터를 처리하는 디지털 시그널 프로세서 및/또는 제동 신호와 조향 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)를 포함할 수 있다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 레이더 데이터에 기초하여 차량(1) 전방의 장애물들(예를 들어, 다른 차량, 보행자, 사이클리스트, 연석, 가드레일, 가로수, 가로등 등)을 감지할 수 있다.
구체적으로, 프로세서(141)는 전방 레이더(120)의 전방 레이더 데이터에 기초하여 차량(1) 전방의 장애물들의 위치 정보(거리 및 방향) 및 속도 정보(상대 속도)를 획득할 수 있다. 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터에 기초하여 차량(1) 전방의 장애물들의 위치 정보(방향) 및 유형 정보(예를 들어, 장애물이 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지, 또는 연석인지, 또는 가드레일인지, 또는 가로수인지, 또는 가로등인지 등)를 획득할 수 있다.
또한, 프로세서(141)는 전방 영상 데이터에 의하여 감지된 장애물들을 전방 레이더 데이터에 의한 감지된 장애물에 매칭하고, 매칭 결과에 기초하여 차량(1)의 전방 장애물들의 유형 정보와 위치 정보와 속도 정보를 획득할 수 있다.
프로세서(141)는 전방 장애물들의 유형 정보와 위치 정보와 속도 정보에 기초하여 제동 신호와 조향 신호를 생성할 수 있다.
예를 들어, 프로세서(141)는 전방 장애물들의 위치 정보(상대 거리)와 속도 정보(상대 속도)에 기초하여 차량(1)과 전방 장애물 사이의 충돌까지의 시간(Time to Collision, TTC)를 산출하고, 충돌까지의 시간과 미리 정해진 기준 시간 사이의 비교 결과에 기초하여 운전자에게 충돌을 경고하거나 제동 신호를 제동 시스템(32)으로 전송하거나, 조향 신호를 조향 시스템(42)에 전송할 수 있다.
미리 정해진 제1 기준 시간보다 작은 충돌까지의 시간에 응답하여, 프로세서(141)는 오디오 및/또는 디스플레이를 통한 경고를 출력하도록 할 수 있다.
미리 정해진 제2 기준 시간보다 작은 충돌까지의 시간에 응답하여, 프로세서(141)는 사전 제동 신호를 제동 시스템(32)으로 전송할 수 있다.
미리 정해진 제3 기준 시간보다 작은 충돌까지의 시간에 응답하여, 프로세서(141)는 긴급 제동 신호를 제동 시스템(32)으로 전송할 수 있다.이때, 제2 기준 시간은 제1 기준 시간보다 작고, 제3 기준 시간은 제2 기준 시간보다 작다.
프로세서(141)는 전방 장애물들의 위치 정보 중 방향 정보에 기초하여 조향 신호를 조향 시스템(42)에 전송할 수 있다.
다른 예로, 프로세서(141)는 전방 장애물들의 속도 정보(즉 상대 속도)에 기초하여 충돌까지의 거리(Distance to Collision, DTC)를 산출하고, 충돌까지의 거리와 전방 장애물들까지의 거리 사이의 비교 결과에 기초하여 운전자에게 충돌을 경고하거나 제동 신호를 제동 시스템(32)으로 전송할 수 있다.
프로세서(141)는 복수의 코너 레이더들(130)의 코너 레이더 데이터에 기초하여 차량(1) 측방(전방 우측, 전방 좌측, 후방 우측, 후방 좌측)의 장애물들의 위치 정보(거리 및 방향) 및 속도 정보(상대 속도)를 획득할 수 있다.
메모리(142)는 프로세서(141)가 영상 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 레이더 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 프로세서(141)가 제동 신호 및/또는 조향 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리(142)는 전방 카메라(110)로부터 수신된 영상 데이터 및/또는 레이더들(120, 130)로부터 수신된 레이더 데이터를 임시로 기억하고, 프로세서(141)의 영상 데이터 및/또는 레이더 데이터의 처리 결과를 임시로 기억할 수 있다.
메모리(142)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
도 4는 실시 예에 따른 차량에 마련된 운전자 보조 시스템(100) 중 비전 시스템(210)과, 비전 시스템(210)과 통신을 수행하는 알림 장치(200)의 제어 구성도이다.
비전 시스템(210)은 영상 획득부(211)와 프로세서(212)를 포함한다.
영상 획득부(211)는 차량(1)의 전방을 촬영하고, 차량(1) 전방의 영상 데이터를 획득할 수 있다. 차량(1) 전방의 영상 데이터는 차량(1) 전방에 위치하는 다른 차량, 보행자, 사이클리스트, 신호등 및 교통 표지판 중 적어도 하나의 오브젝트에 대한 영상 정보와, 인식된 오브젝트에 관한 위치 정보를 포함할 수 있다.
영상 획득부(211)는 카메라를 포함할 수 있고, 카메라는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
프로세서(212)는 영상 획득부(211)에서 획득된 영상 데이터를 프로세싱한다.
프로세서(212)는 영상 데이터를 제2제어부(260)에 전송할 수 있다.
또한 프로세서(212)는 차량(1) 전방의 영상 데이터로부터 차량(1) 전방에 위치하는 다른 차량, 보행자, 사이클리스트, 신호등 및 교통 표지판 중 적어도 하나의 오브젝트를 인식하고 인식된 오브젝트에 대한 정보를 제2제어부(260)에 전송하는 것도 가능하다.
또한 프로세서(212)는 차량(1) 전방의 영상 데이터로부터 차량(1) 전방에 위치하는 다른 차량, 보행자, 사이클리스트, 신호등 및 교통 표지판 중 적어도 하나의 오브젝트를 인식하고 인식된 오브젝트에 대한 정보에 기초하여 차량의 주행 가능 알림 정보, 정지 알림 정보 및 주의 알림 정보 중 어느 하나의 출력을 제어할 수 있다.
프로세서(212)는 운전자의 운전 의도에 대한 정보를 수신하고 수신된 운전 의도에 대한 정보와 인식된 오브젝트에 대한 정보에 기초하여 차량의 주행 가능 알림 정보, 정지 알림 정보 및 주의 알림 정보 중 어느 하나의 출력을 제어하는 것도 가능하다.
제2제어부(260)에서 영상 데이터에 기초하여 오브젝트를 인식하도록 하거나, 운전 의도에 대한 정보와 인식된 오브젝트에 대한 정보에 기초하여 알림 정보의 출력을 제어하는 프로세서(212)의 기능을 수행하도록 하는 것도 가능하다.
프로세서(212)는 제2제어부(260)와 전기적으로 연결될 수 있다. 예를 들어, 프로세서(212)는 차량용 통신 네트워크(NT)를 통하여 제2제어부(260)와 연결되거나, 하드 와이어(hard wire)를 통하여 제2제어부(260)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제2제어부(260)와 연결될 수 있다.
이와 같이 프로세서(212)는 제2제어부(260)와 별도로 마련될 수도 있다.
아울러 프로세서(212)는 제2제어부(260)와 일체로 마련될 수도 있다.
운전자 보조 시스템(100) 중 알림 장치(200)는 레버 신호 수신부(220), 제1압력 검출부(230), 제2압력 검출부(240), 입력부(250), 제2제어부(260), 저장부(261), 출력부(270) 및 통신부(280)를 포함한다.
레버 신호 수신부(220)는 방향 지시 레버에 연결되고, 방향 지시 레버의 조작 신호를 수신한다.
방향 지시 레버는 스티어링 휠의 주변에 마련되고 운전자의 운전 의도에 대응하여 운전자에 의해 조작될 수 있으며, 조작에 대응하는 신호를 출력한다.
방향 지시 레버는 좌회전의 운전 의도에 대응하여 제1측 방향으로 조작되거나, 우회전의 운전 의도에 대응하여 제2측 방향으로 조작될 수 있다.
이러한 방향 지시 레버의 움직임에 의해 좌회전 지시 램프가 점등되거나 우회전 지시 램프가 점등될 수 있고, 방향 지시 레버가 원 위치에 위치하는 것에 의해 좌회전 지시 램프와 우회전 지시 램프가 모두 소등될 수 있다.
아울러 알림 장치는 운전자의 운전 의도에 대응하는 신호로, 좌회전 지시 램프의 점등 신호 및 소등 신호와, 우회전 지시 램프의 점등 신호 및 소등 신호를 수신하는 것도 가능하다.
제1압력 검출부(230)는 액셀러레이터 페달에 가해진 압력을 검출하고 검출된 압력에 대응하는 정보(즉, 제1압력 정보)를 출력한다. 여기서 액셀러레이터 페달은 운전자의 운전 의도에 대응하여 가압되거나, 가압이 해제될 수 있다.
제2압력 검출부(240)는 브레이크 페달에 가해진 압력을 검출하고 검출된 압력에 대응하는 정보(즉, 제2압력 정보)를 출력한다. 여기서 브레이크 페달은 운전자의 운전 의도에 대응하여 가압되거나, 가압이 해제될 수 있다.
여기서 제1압력 검출부(230)와 제2압력 검출부(240)는 알림 장치(200) 내에 마련될 수도 있다.
아울러 제1압력 검출부(230)와 제2압력 검출부(240)는 차량에 마련되되 알림 장치와 분리되어 마련되고, 통신을 통해 알림 장치(200)와 통신을 수행하는 것도 가능하다. 이 경우, 알림 장치는 제1, 2 압력정보를 수신할 수 있다.
입력부(250)는 사용자 입력을 수신한다.
입력부(250)는 알림 장치에서 수행되는 알림 기능의 온오프 명령을 수신할 수 있다.
입력부(250)는 자율 주행 모드 또는 내비게이션 모드의 수행 중 목적지 정보를 입력받고, 복수 개의 경로 중 적어도 하나에 대한 경로의 정보를 입력받을 수 있다.
입력부(250)는 차량에서 수행 가능한 기능 중 어느 하나의 기능에 대한 동작 명령을 수신하는 것도 가능하다. 예를 들어, 입력부(240)는 라디오 기능, 오디오 기능, 비디오 기능, 맵 표시 기능, 내비게이션 기능, DMB 기능, 컨텐츠 재생 기능, 인터넷 검색 기능 중 적어도 하나의 동작 명령을 입력받을 수 있다.
입력부(250)는 알림 장치(200)에 마련될 수 있고, 차량의 내장의 헤드유닛 또는 센터페시아에 마련될 수 있으며, 차량용 단말기에 마련될 수도 있다. 입력부(250)는 버튼, 키, 스위치, 조작 레버, 조그 다이얼 등으로 마련될 수 있고, 터치 패드로 마련될 수도 있다.
제2제어부(260)는 영상 획득부(211)에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 전방 시야에 존재하는 오브젝트를 인식하고, 인식된 오브젝트에 대한 정보에 기초하여 차량의 출발 가능 여부를 판단하고 판단된 출발 가능 여부에 대응하는 출발 가능 알림 정보, 정지 유지 알림 정보, 정지 알림 정보 및 주의 알림 정보의 출력을 제어한다.
제2제어부(260)는 카메라에 의해 촬영된 영상 데이터로부터 오브젝트의 위치 정보 및 속도 정보를 획득하는 것도 가능하다. 여기서 오브젝트는 타 차량, 보행자, 교통 표지판 및 신호등을 포함할 수 있고, 보행자는, 도로를 횡단하는 보행자일 수 있고, 사이클 리스트일 수도 있으며, 퍼스널모빌리티 사용자일 수도 있다.
제2제어부(260)는 영상 데이터에 의해 인식된 오브젝트 정보에 기초하여 영상 내에 타 차량, 보행자가 존재하는지 판단하고, 교통 표지판의 표지 정보를 인식하며, 신호등의 교통 신호를 인식한다.
제2제어부(260)는 출발 가능 알림 정보의 출력을 제어한 후, 제1압력 정보 또는 제2압렵 정보에 기초하여 차량의 출발 의도가 존재하는지 판단하고, 차량의 출발 의도가 존재한다고 판단되면 영상 데이터에 기초하여 오브젝트를 재인식하고 재인식된 오브젝트에 대한 정보에 기초하여 정지 알림 정보의 출력을 제어한다.
제2제어부(260)는 제1압력 검출부에 의해 검출된 제1압력 정보에 기초하여 운전자의 가속 의도 여부를 판단하고 운전자의 가속 의도가 존재한다고 판단되면 출발 의도가 존재한다고 판단할 수 있다.
제2제어부(260)는 제2압력 검출부에 의해 검출된 압력 정보에 기초하여 운전자의 제동 해제 의도 여부를 판단하고 운전자의 제동 해제 의도가 존재한다고 판단되면 출발 의도가 존재한다고 판단한다.
제2제어부(260)는 수신된 레버 신호에 기초하여 운전 의도에 대응하는 주행 방향을 판단하고 판단된 차량의 주행 방향에 기초하여 오브젝트를 인식한다.
제2제어부는 레버 신호 수신부에 수신된 레버 신호에 기초하여 좌회전, 우회전, 직진의 운전 의도를 판단할 수 있다. 아울러 제2제어부는 좌측 방향 지시 등과 우측 방향 지시 등의 점등 여부에 기초하여 좌회전, 우회전, 직진의 운전 의도를 판단할 수 있다.
제2제어부(260)는 인식된 오브젝트에 대한 정보에 기초하여 전방에 타 차량이 존재하는지 판단하고, 전방에 타 차량이 존재한다고 판단되면 영상 내 오브젝트의 위치 변화에 기초하여 전방의 타 차량의 출발 여부를 판단하고, 전방의 타 차량이 출발한 상태라고 판단되면 출발 가능 알림 정보의 출력을 제어한다.
알림 장치는 보행자나 타 차량과의 거리를 검출하기 위한 장애물 검출부(미도시)를 더 포함할 수 있다. 이 경우 제2제어부(260)는 장애물 검출부에서 검출된 장애물과의 거리 정보에 기초하여 전방의 타 차량의 출발 여부를 판단하는 것도 가능하다.
제2제어부(260)는 장애물 검출부에서 검출된 장애물과의 거리 정보의 변화에 기초하여 전방의 타 차량의 속도 정보를 획득하고 획득된 전방의 타 차량의 속도 정보에 기초하여 전방의 타 차량의 출발 여부를 판단하는 것도 가능하다.
여기서 장애물 검출부는 자 차량의 전방 및 좌우 측방의 장애물을 검출하고, 검출된 장애물에 대한 장애물 정보를 제2제어부(260)에 전송한다. 여기서 장애물 정보는 장애물의 위치 정보를 포함할 수 있고, 장애물의 위치 정보는 장애물과의 거리 및 장애물의 방향을 포함할 수 있다.
이러한 장애물 검출부는 전방 레이더(120), 제1, 2 코너 레이더(131, 132)를 포함할 수 있다. 아울러 장애물 검출부는 라이더 센서를 포함하는 것도 가능하다. 라이다(LiDAR: Light Detection And Ranging) 센서는 레이저 레이다(Laser Radar) 원리를 이용한 비접촉식 거리 검출 센서이다. 라이다 센서는 레이저를 송신하는 송신부와, 센서 범위 내에 존재하는 물체의 표면에 반사되어 돌아오는 레이저를 수신하는 수신부를 포함할 수 있다. 장애물 검출부는 초음파 센서를 포함할 수도 있다.
제2제어부(260)는 인식된 오브젝트에 대한 정보에 기초하여 전방에 타 차량이 존재하는지 판단하고, 전방에 타 차량이 존재한다고 판단되면 타 차량의 출발 여부를 판단하고 타 차량이 출발한 상태라고 판단되면 영상 내 신호등의 교통 신호와 운전 의도에 대응하는 차량의 주행 방향을 확인하고 확인된 차량의 주행 방향과 교통 신호에 기초하여 출발 가능 알림 정보의 출력을 제어하는 것도 가능하다.
제2제어부(260)는 출발 가능한 상태라고 판단되면 주행하고자 하는 방향에 보행자 또는 타 차량이 존재하는지 확인하고, 보행자 또는 타 차량이 존재한다고 판단되면 정지 알림 정보의 출력을 제어하고 보행자 또는 타 차량이 존재하지 않는다고 판단되면 출발 가능 알림 정보의 출력을 제어한다.
제2제어부(260)는 수신된 레버 신호에 기초하여 운전 의도에 대응하는 차량의 주행 방향을 판단하고, 차량의 주행 방향이 직진 방향이라고 판단되면 인식된 오브젝트의 정보에 기초하여 영상 내 신호등의 교통 신호 및 보행자의 존재를 확인하고, 확인된 교통 신호가 직진 신호(그린 램프 점등)이고 보행자가 존재하지 않으면 출발 가능 알림 정보의 출력을 제어하고, 확인된 교통 신호가 직진 신호(그린 램프 점등)가 아니거나 보행자가 존재하면 정지 알림 정보의 출력을 제어한다.
제2제어부(260)는 운전 의도에 대응하는 차량의 주행 방향이 좌측 방향 또는 유턴 방향이라고 판단되면 영상 내 신호등의 교통 신호, 타 차량의 존재 및 교통 표지판의 표지(mark) 정보를 인식하고, 인식된 신호등의 교통 신호, 타 차량의 존재 및 교통 표지판의 표지(mark) 정보에 기초하여 출발 가능 알림 정보의 출력을 제어한다.
제2제어부(260)는 영상 데이터에서 교통 표지판에 대한 정보를 인식하고 인식된 교통 표지판에 대한 표지 정보에서 좌 회전의 시기 및 유턴의 시기를 판단하는 것도 가능하다.
제2제어부(260)는 운전 의도에 대응하는 차량의 주행 방향이 우측 방향이라고 판단되면 영상 내 보행자와 타 차량의 존재를 인식하고, 인식된 보행자와 타 차량의 존재 여부에 기초하여 출발 가능 알림 정보 또는 주의 알림 정보의 출력을 제어한다.
제2제어부(260)는 영상 획득부에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 보행자에 대한 영상이 존재하는지 판단하고 획득된 영상 내에 보행자에 대한 영상이 존재한다고 판단되면 보행자에 대한 보행자 정보를 인식한다.
제2제어부(260)는 영상 획득부에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 교통 표지판에 대한 영상이 존재하는지 판단하고 획득된 영상 내에 교통 표지판에 대한 영상이 존재한다고 판단되면 교통 표지판에 대한 표지 정보를 인식한다.
여기서 교통 표지판의 표지 정보는 비보호 좌회전 마크, 좌회전 마크, 유턴 마크, 피턴 마크에 대한 정보를 포함하고, 좌회전 시기와 유턴 시기에 대한 시기 정보를 포함할 수 있다.
제2제어부(260)는 영상 획득부에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 신호등에 대한 영상이 존재하는지 판단하고 획득된 영상 내에 신호등에 대한 영상이 존재한다고 판단되면 교통 신호에 대한 교통 신호 정보를 인식한다.
여기서 교통 신호는 적색, 녹색, 황색 신호, 좌회전 신호, 유턴 신호, 점멸 신호를 포함한다.
제2제어부(260)는 내비게이션 모드 또는 자율 주행 모드 시 위치 수신부에 의해 수신된 현재 위치 정보와 목적지 정보에 기초하여 현재 위치에서 목적지까지 경로를 생성하고 생성된 경로로 주행을 제어한다.
복수 개의 경로들을 생성된 경우, 제2제어부(260)는 복수 개의 경로들 중 입력부(240)에 의해 선택된 경로에 대한 정보에 기초하여 주행을 제어하는 것도 가능하다.
제2제어부(260)는 생성된 경로에 대한 정보와 현재 위치 정보를 지도 정보에 매치시켜 내비게이션 정보를 생성하고 생성된 내비게이션 정보를 표시하도록 표시부(270)를 제어할 수 있다.
차량은 제동 시스템(32) 및 조향 시스템(42)을 더 포함한다. 이 경우 제2제어부(260)는 제동 시스템(32) 및 조향 시스템(42)과 통신을 수행하는 것도 가능하다.
제동 시스템(32)은 타 차량이나 보행자와의 충돌을 방지하기 위해 제2제어부(260)의 제동 신호에 대응하여 제동을 수행할 수 있다.
제동 시스템(32)은 제2제어부(260)의 제동 신호에 기초하여 긴급 제동을 수행하는 것도 가능하다.
조향 시스템(42)은 제2제어부(260)의 조향 신호에 대응하여 주행 경로의 조정을 위해 조향을 수행할 수 있다.
저장부(261)는 오브젝트를 인식하기 위한 오브젝트의 영상 정보를 저장한다. 여기서 오브젝트는 신호등, 교통 표지판, 보행자, 사이클리스트 및 차량에 대한 영상 정보를 포함할 수 있다.
저장부(261)는 출발 가능 알림 정보, 정지 알림 정보 및 주의 알림 정보에 각각 대응하는 영상 정보와 알림음 정보를 저장한다.
저장부(261)는 지도 정보를 저장할 수 있다.
이러한 저장부(261)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래시 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
저장부(261)는 제2제어부(260)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
출력부(270)는 출발 가능 여부에 대한 정보를 영상으로 표시하는 표시부(271) 및 출발 가능 여부에 대한 정보를 사운드로 출력하는 사운드 출력부(272)를 포함할 수 있다.
표시부(271)는 알림 장치(200)에서 수행 중인 기능에 대한 동작 정보를 표시한다.
표시부(271)는 제2제어부(260)의 제어 명령에 대응하여 배경 색을 변경하는 것도 가능하다. 표시부(271)는 제2제어부(260)의 제어 명령에 대응하여 출발 가능 알림 정보, 정지 알림 정보 및 주의 알림 정보 중 어느 하나에 대한 영상을 표시한다. 여기서 배경색은 출발 가능 알림 정보, 정지 알림 정보 및 주의 알림 정보에 대응하여 서로 상이할 수 있다.
표시부(271)는 차량의 내장에 마련될 수 있으며, 이 경우 표시부(271)는 차량에서 수행 중인 기능에 대한 동작 정보를 표시한다. 예를 들어, 표시부(271)는 전화 통화와 관련된 정보를 표시하거나, 단말기를 통해 출력되는 콘텐츠의 정보를 표시하거나, 음악 재생과 관련된 정보를 표시하는 것도 가능하고 외부의 방송 정보를 표시한다.
표시부(271)는 지도 정보를 표시하고, 목적지까지의 경로가 매칭된 지도 정보와 길 안내 정보를 표시하는 것도 가능하다.
목적지까지의 경로가 복수 개이면, 표시부(271)는 사용자의 선택이 용이하도록, 각 경로에 대응하는 주행 시간, 주행 거리를 표시할 수 있다.
표시부(271)는 도로의 영상을 표시하거나, 보행자의 위치 정보를 표시하는 것도 가능하다.
표시부(271)는 LED 등과 같은 램프나 LCD등과 같은 평판 디스플레이 장치일 수 있다.
표시부(271)는 차량용 단말기에 마련될 디스플레이 패널일 수도 있다.
표시부(271)는 입력부(250)와 일체로 마련될 수 있다. 이 경우 표시부(271)는 평판의 디스플레이 패널을 포함할 수 있고, 입력부(250)는 평판의 디스플레이 패널과 일체로 마련된 터치 패널을 포함할 수 있다.
사운드 출력부(272)는 알림 장치(200)에서 수행 중인 기능에 대한 동작 정보를 사운드로 출력한다.
사운드 출력부(272)는 제2제어부(260)의 제어 명령에 대응하여 알림음을 변경하는 것도 가능하다.
사운드 출력부(272)는 제2제어부(260)의 제어 명령에 대응하여 출발 가능 알림 정보, 정지 알림 정보 및 주의 알림 정보 중 어느 하나에 대한 알림을 출력하거나 알림 음성을 출력한다.
이러한 사운드 출력부(272)는 스피커일 수 있다.
사운드 출력부(272)는 차량에서 수행 중인 기능에 대한 정보를 사운드로 출력하는 것도 가능하다. 예를 들어, 사운드 출력부(272)는 차량에서 내비게이션 기능이 수행될 때 내비게이션 정보를 사운드로 출력할 수 있다.
사운드 출력부(272)는 알림 장치(200)에 마련될 수 있고, 차량의 내장의 헤드유닛 또는 센터페시아에 마련될 수 있으며, 차량용 단말기에 마련될 수도 있다.
차량은 엔진의 회전수를 검출하는 회전수 검출부(미도시)와 마스터 실린더의 압력을 검출하는 압력 검출부를 더 포함할 수 있다.
이 경우, 알림 장치는 통신부를 통해 회전수 검출부에서 검출된 회전수에 대한 정보(회전수 정보)와, 마스터 실린더의 압력 정보를 수신하는 것도 가능하고, 수신된 회전수 정보에 기초하여 가속과 관련된 운전 의도를 판단하고, 마스터 실린더의 압력 정보에 기초하여 제동이나 감속과 관련된 운전 의도를 판단할 수 있다.
알림 장치는 출발 가능 알림 정보를 출력하는 상태에서 회전수 정보와 마스터 실린더의 압력 정보에 기초하여 운전자의 출발 의도를 판단할 수 있다.
통신부(280)는 영상 획득부와 제2제어부 간의 통신, 레버 신호 수신부, 제1압력 검출부 및 제2압력 검출부 중 적어도 하나와 제2제어부 간의 통신을 수행한다.
통신부(280)는 입력부와 제2제어부 간의 통신과, 출력부와 제2제어부 간의 통신을 수행한다.
통신부(280)는 위치 수신부를 포함할 수 있다. 여기서 위치 수신부는 자 차량의 위치 정보를 수신하고 수신된 위치 정보를 제2제어부(260)에 전송할 수 있다. 위치 수신부는 복수 개의 위성과 통신을 수행하여 자 차량의 위치를 계산하는 GPS(Global Positioning System) 수신기를 포함할 수 있다.
도 5는 실시 예에 따른 차량의 제어 순서도로, 도 6a, 도 6b, 도 7, 도 8 및 도 9를 참조하여 설명한다. 여기서 도 6a, 도 6b, 도 7, 도 8 및 도 9는 실시 예에 따른 차량의 알림 정보의 출력 제어 예시도이다.
차량은 교차로나 횡단보도에서 정지 상태인지 판단(301)한다.
교차로나 횡단보도에서 정지 상태인지 판단하는 것은, 속도 검출부에 의해 검출된 속도 정보에 기초하여 차량의 주행속도가 영인지 판단하는 것을 포함하거나 변속 레버의 위치가 중립 단인지 판단하고, 차량의 주행속도가 영이거나 변속 레버의 위치가 중립 단이라고 판단되면 내비게이션 정보와 현재 위치 정보에 기초하여 현재 정자 상태로 정차된 지점이 교차로 지점인지, 횡단 보도 지점인지를 판단하는 것을 포함할 수 있다.
교차로나 횡단보도에서 정지 상태인지 판단하는 것은, 차량의 주행속도가 영이거나 변속 레버의 위치가 중립 단이라고 판단되면 영상 획득부에 의해 획득된 영상 데이터를 프로세싱하고 프로세싱된 영상 데이터에 기초하여 영상 내에 교차로 영상 또는 횡단 보도 영상이 존재하는지 판단하고 영상 내에 교차로 영상 또는 횡단 보도 영상이 존재하는지 판단하는 것을 포함할 수 있다.
교차로나 횡단보도에서 정지 상태인지 판단하는 것은, 차량의 주행속도가 영이거나 변속 레버의 위치가 중립 단이라고 판단되면 레버의 조작 신호를 확인하고 확인된 레버의 조작 신호가 좌측 또는 우측 방향으로 조작된 신호이면 정차된 지점이 교차로 지점인지, 횡단 보도 지점인지를 판단하는 것을 포함할 수 있다.
다음 차량은 현재 상태가 정지 상태라고 판단되면 영상 획득부(211)에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 전방 시야에 존재하는 오브젝트를 인식한다.
여기서 오브젝트는 타 차량, 보행자, 교통 표지판 및 신호등을 포함할 수 있고, 보행자는, 도로를 횡단하는 보행자일 수 있고, 사이클 리스트일 수도 있으며, 퍼스널모빌리티 사용자일 수도 있다.
차량은 영상 데이터에 의해 인식된 오브젝트 정보에 기초하여 영상 내에 타 차량, 보행자가 존재하는지 판단하고, 교통 표지판의 표지 정보를 인식하며, 신호등의 교통 신호를 인식한다.
차량은 오브젝트가 보행자거나 타 차량이면 영상 데이터로부터 오브젝트의 위치 정보 및 속도 정보를 획득하는 것도 가능하다.
좀 더 구체적으로, 차량은 영상 획득부(211)에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 보행자에 대한 영상이 존재하는지 판단하고 획득된 영상 내에 보행자에 대한 영상이 존재한다고 판단되면 보행자에 대한 보행자의 위치 정보 및 속도 정보를 인식한다.
차량은 영상 획득부(211)에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 교통 표지판의 영상이 존재하는지 판단하고 획득된 영상 내에 교통 표지판의 영상이 존재한다고 판단되면 교통 표지판에 대한 표지 정보를 인식한다.
여기서 교통 표지판의 표지 정보는 비보호 좌회전 마크, 좌회전 마크, 유턴 마크, 피턴 마크, 좌회전 불가 마크, 유턴 불가 마크에 대한 정보를 포함하고, 좌회전 시기와 유턴 시기에 대한 시기 정보를 포함할 수 있다.
차량은 영상 획득부(211)에서 획득된 영상 데이터에 기초하여 획득된 영상 내에 신호등의 영상이 존재하는지 판단하고 획득된 영상 내에 신호등의 영상이 존재한다고 판단되면 교통 신호에 대한 교통 신호 정보를 인식한다.
여기서 교통 신호는 적색 신호(정지 교통 신호), 녹색 신호(직진 교통 신호), 황색 신호(정지 준비 교통 신호), 좌회전 신호(좌회전 교통 신호), 유턴 신호(사선 화살표, 유턴 교통 신호), 점멸 신호(주의 교통 신호)를 포함한다.
차량은 영상 내 인식된 오브젝트에 대한 정보에 기초하여 전방에 타 차량이 존재하는지 판단(302)하고, 전방에 타 차량이 존재한다고 판단되면 영상 내 인식된 오브젝트의 위치 정보의 변화에 기초하여 전방의 타 차량의 출발 여부를 판단(303)하며, 전방의 타 차량이 정지 상태라고 판단되면 정지 유지 알림 정보를 출력(304)한다.
타 차량의 출발 여부를 판단할 때, 차량은 장애물 검출부에서 검출된 장애물과의 거리 정보에 기초하여 전방의 타 차량의 출발 여부를 판단하는 것도 가능하다.
또한 타 차량의 출발 여부를 판단할 때, 차량은 장애물 검출부에서 검출된 장애물과의 거리 정보의 변화에 기초하여 전방의 타 차량의 속도 정보를 획득하고 획득된 전방의 타 차량의 속도 정보에 기초하여 전방의 타 차량의 출발 여부를 판단하는 것도 가능하다.
그리고 차량은 전방의 타 차량이 출발한 상태라고 판단되면 출발 가능 알림 정보를 출력한다.
차량은 전방의 타 차량에 존재하지 않는다고 판단되면 운전 의도가 직진 의도인지를 판단(305)하고, 운전 의도가 직진 의도라고 판단되면 영상 내 인식된 오브젝트에 대한 정보에 기초하여 신호등의 교통 신호가 직진 교통 신호인지를 판단(306)한다.
직진 의도인지를 판단하는 것은, 영상 내 인식된 오브젝트에 대한 정보에 기초하여 차선을 인식하고 차량이 정차하고 이는 차선이 직진 차선인지를 판단하는 것을 포함하고, 또한 방향 지시 레버의 위치가 원위치인지를 판단하는 것을 포함한다.
차량은 영상 내 인식된 오브젝트에 대한 정보에 기초하여 신호등의 교통 신호가 직진 교통 신호가 아니라고 판단되면 정지 유지 알림 정보를 출력(304)하고, 영상 내 인식된 오브젝트에 대한 정보에 기초하여 신호등의 교통 신호가 직진 교통 신호라고 판단되면 출발 가능 알림 정보를 출력하는 것도 가능하다.
차량은 전방의 타 차량의 출발 여부에 대응하여 출발 가능 알림 정보를 출력하기 전에, 영상 내 인식된 오브젝트의 정보에 기초하여 영상 내 신호등 및 보행자에 대한 영상이 존재하는지 판단하고, 신호등의 영상이 존재한다고 판단되면 신호등의 교통신호를 확인하고 확인된 교통 신호가 정지 교통 신호라고 판단되면 정지 유지 알림 정보를 출력하고, 확인된 교통 신호가 직진 교통 신호라고 판단되면 출발 가능 알림 정보를 출력한다.
또한 차량은 영상 내에 차량과 인접한 영역 내에 보행자의 영상이 존재한다고 판단되면 전방의 타 차량이 출발한 상태이고 교통신호가 직진 교통 신호라도 정지 유지 알림 정보를 출력하고, 보행자의 영상이 존재하지 않는다고 판단되면 출발 가능 알림 정보를 출력한다.
동작 301-306을 도 6a 및 도 6b를 참조하여 설명한다.
도 6a에 도시된 바와 같이, 차량은 횡단 보도에서 정지한 상태에서 직진 의도에 대응하여 차량의 주행 방향이 직진 방향이라고 판단되면, 영상 내 인식된 오브젝트의 정보에 기초하여 영상 내 전방의 타 차량(2a)에 대한 영상이 존재하는지 판단하고, 타 차량(2a)의 영상이 존재한다고 판단되면 전방의 타 차량의 출발 여부를 판단하며, 전방의 타 차량이 정지 상태라고 판단되면 정지 유지 알림 정보를 출력하고, 전방의 타 차량이 출발한 상태라고 판단되면 출발 가능 알림 정보를 출력한다.
차량은 전방의 타 차량의 출발 여부에 대응하여 출발 가능 알림 정보를 출력하기 전에, 영상 내 인식된 오브젝트의 정보에 기초하여 영상 내 신호등 및 보행자에 대한 영상이 존재하는지 판단하고, 신호등의 영상이 존재한다고 판단되면 신호등의 교통신호를 확인하고 확인된 교통 신호가 정지 교통 신호라고 판단되면 정지 유지 알림 정보를 출력하고, 확인된 교통 신호가 직진 교통 신호라고 판단되면 출발 가능 알림 정보를 출력한다.
또한 차량은 영상 내에 차량과 인접한 영역 내에 보행자의 영상이 존재한다고 판단되면 전방의 타 차량이 출발한 상태이고 교통신호가 직진 교통 신호라도 정지 유지 알림 정보를 출력하고, 보행자의 영상이 존재하지 않는다고 판단되면 출발 가능 알림 정보를 출력한다.
차량은 전방의 타 차량이 출발한 상태에서, 출발 가능 알림 정보를 출력할 때 영상 내 인식된 오브젝트의 정보에 기초하여 영상 내 신호등의 교통 신호를 확인하고 확인된 교통 신호가 직진 교통 신호에서 정지 교통 신호 또는 정지 준비 교통 신호로 변경되었다고 판단되면 정지 알림 정보를 출력하는 것도 가능하다.
도 6b에 도시된 바와 같이, 차량은 교차로에서 정지한 상태에서 직진 의도에 대응하여 차량의 주행 방향이 직진 방향이라고 판단되면, 영상 내 인식된 오브젝트의 정보에 기초하여 신호등의 교통 신호를 확인하고, 확인된 교통 신호가 직진 교통 신호라고 판단되면 인식된 오브젝트의 정보에 기초하여 영상 내 전방의 대향 차량(2b)에 대한 영상이 존재하는지 판단하고, 대향 차량(2b)의 영상이 존재한다고 판단되면 인식된 오브젝트의 정보에 기초하여 대향 차량(2b)의 운전 의도 및 교통 표지판의 표지 정보를 확인하며 확인된 표지 정보가 비보호 좌회전이고, 대향 차량(2b)의 운전 의도가 좌회전 의도라고 판단되면 주의 알림 정보 또는 정지 알림 정보를 출력한다.
차량은 전방의 대향 차량(2b)의 출발 여부를 판단하며, 전방의 대향 차량(2b)이 정지 상태라고 판단되면 주의 알림 정보를 출력하고, 전방의 대향 차량(2b) 이 출발한 상태라고 판단되면 정지 알림 정보를 출력할 수 있다.
차량은 확인된 표지 정보가 비보호 좌회전이고 대향 차량(2b)의 운전 의도가 직진 의도라고 판단되면 출발 가능 알림 정보를 출력하고, 확인된 표지 정보가 좌회전이고 대향 차량(2b)의 운전 의도가 좌회전 의도라고 판단되면 출발 가능 알림 정보를 출력한다.
차량은 운전 의도가 직진 의도가 아니라고 판단되면 운전 의도가 좌회전 의도인지를 판단(307)하고, 운전 의도가 좌회전 의도라고 판단되면 영상 내 인식된 오브젝트에 대한 정보에 기초하여 신호등의 교통 신호가 좌회전 교통 신호인지를 판단(308)한다.
좌회전 의도인지를 판단하는 것은, 영상 내 인식된 오브젝트에 대한 정보에 기초하여 차선을 인식하고 차량이 정차하고 이는 차선이 좌회전 차선인지를 판단하는 것을 포함하고, 또한 방향 지시 레버의 위치가 좌회전 방향에 대응하는 위치인지를 판단하는 것을 포함한다.
차량은 영상 내 인식된 오브젝트에 대한 정보에 기초하여 신호등의 교통 신호가 좌회전 교통 신호가 아니라고 판단되면 정지 유지 알림 정보를 출력(304)하고, 영상 내 인식된 오브젝트에 대한 정보에 기초하여 신호등의 교통 신호가 좌회전 교통 신호라고 판단되면 출발 가능 알림 정보를 출력하는 것도 가능하다.
동작 307-308을 도 7 및 도 8을 참조하여 설명한다.
차량은 운전 의도에 대응하는 차량의 주행 방향이 좌측 방향 또는 유턴 방향이라고 판단되면 영상 내 신호등의 교통 신호, 타 차량의 존재 및 교통 표지판의 표지(mark) 정보를 인식하고, 인식된 신호등의 교통 신호, 타 차량의 존재 및 교통 표지판의 표지(mark) 정보에 기초하여 출발 가능 알림 정보의 출력을 제어한다.
도 7에 도시된 바와 같이, 차량은 영상 데이터에서 교통 표지판에 대한 정보를 인식하고 인식된 교통 표지판에 대한 표지 정보에서 좌 회전 또는 유턴이 가능한지 판단하고, 좌회전 또는 유턴이 가능하다고 판단되면 인식된 오브젝트의 정보에 기초하여 신호등의 교통 신호를 확인하고, 확인된 교통 신호가 좌회전 교통 신호라고 판단되면 출발 가능 알림 정보를 출력한다.
차량은 출발 가능 알림 정보를 출력하기 전에, 인식된 오브젝트의 정보에 기초하여 영상 내 전방의 대향 차량(2b)의 영상이 존재하는지 판단하고, 대향 차량(2b)의 영상이 존재한다고 판단되면 인식된 오브젝트의 정보에 기초하여 대향 차량(2b)의 운전 의도를 확인하며 확인된 표지 정보가 우회전이라고 판단되면 주의 알림 정보를 출력한다.
도 8에 도시된 바와 같이, 차량은 운전 의도가 좌회전 의도이면 인식된 오브젝트의 정보에서 교통 표지판의 정보를 인식하고 인식된 교통 표지판의 표지 정보가 비보호 좌 회전이면 인식된 오브젝트의 정보에 기초하여 신호등의 교통 신호를 확인하고, 확인된 교통 신호가 직진 교통 신호(즉 그린 램프 점등)라고 판단되면 출발 가능 알림 정보를 출력한다.
차량은 직진 교통 신호에 대응하여 출발 가능 알림 정보를 출력하기 전에, 인식된 오브젝트의 정보에 기초하여 영상 내 전방의 대향 차량(2b)에 대한 영상이 존재하는지 판단하고, 대향 차량(2b)의 영상이 존재한다고 판단되면 인식된 오브젝트의 정보에 기초하여 대향 차량(2b)의 운전 의도를 확인하며 확인된 대향 차량(2b)의 운전 의도가 우회전 의도라고 판단되면 주의 알림 정보를 출력하고, 확인된 대향 차량(2b)의 운전 의도가 직진 의도라고 판단되면 정지 알림 정보를 출력한다.
차량은 직진 교통 신호에 대응하여 출발 가능 알림 정보를 출력하기 전에, 대향 차량(2b)이 정지한 상태이거나 대향 차량(2b)이 존재하지 않는다고 판단되면 출발 가능 알림 정보를 출력할 수 있다.
차량은 직진 교통 신호에 대응하여 출발 가능 알림 정보를 출력하기 전에, 인식된 오브젝트의 정보에 기초하여 영상 내 전방의 타 차량(2a)의 영상이 존재하는지 판단하고 전방의 타 차량(2a)의 영상이 존재한다고 판단되면 전방의 타 차량(2a)의 출발 여부를 판단하고, 전방의 타 차량(2a)이 출발하였다고 판단되면 출발 알림 정보를 출력하는 것도 가능하다.
차량은 운전 의도가 직진 의도 및 좌회전 의도가 아니라고 판단되면 우회전 의도라고 판단하고, 영상 내 인식된 오브젝트에 대한 정보에 기초하여 우회전하는 방향에 보행자가 존재하는지 판단(309)하고, 보행자가 존재한다고 판단되면 정지 유지 알림 정보를 출력(304)하고, 보행자가 존재하지 않는다고 판단되면 주의 알림 정보를 출력하거나, 출발 가능 알림 정보를 출력한다.
우회전 의도를 판단하는 것은, 영상 내 인식된 오브젝트에 대한 정보에 기초하여 차선을 인식하고 차량이 정차하고 이는 차선이 최 외곽의 우회전 차선인지를 판단하는 것을 포함하고, 또한 방향 지시 레버의 위치가 우회전 방향에 대응하는 위치인지를 판단하는 것을 포함한다.
아울러 차량은 영상 내 인식된 오브젝트에 대한 정보에 기초하여 우회전하는 방향으로 진입하는 타 차량이 존재하는지 판단하고 타 차량이 존재한다고 판단되면 정지 유지 알림 정보를 출력하고, 타 차량이 존재하지 않는다고 판단되면 주의 알림 정보를 출력하거나, 출발 가능 알림 정보를 출력하는 것도 가능하다.
이러한 차량은 출발 가능 알림 정보를 출력하기 전에, 주행하고자 하는 방향 또는 전방에 보행자가 존재하는지 판단(309)하고, 보행자가 존재한다고 판단되면 정지 알림 정보를 출력(310)하고, 보행자가 존재하지 않는다고 판단되면 출발 가능 알림 정보를 출력(311)하는 것도 가능하다. 이를 도 9를 참조하여 설명한다.
도 9에 도시된 바와 같이, 차량은 운전 의도에 대응하는 차량의 주행 방향이 우측 방향이라고 판단되면 인식된 오브젝트의 정보에 기초하여 영상 내 보행자와 적어도 하나의 타 차량(2b, 2c)의 영상이 존재하는지 판단하고, 보행자 또는 적어도 하나의 타 차량이 존재한다고 판단되면 정지 알림 정보 또는 주의 알림 정보를 출력하고, 보행자 또는 적어도 하나의 타 차량이 존재하지 않는다고 판단되면 출발 가능 알림 정보를 출력한다.
여기서 적어도 하나의 타 차량은 자 차량과 주행 방향이 동일해지는 타 차량일 수 있다. 이 중 하나의 타 차량은 대향 차량(2b)으로 운전 의도가 좌회전 의도인 차량일 수 있고, 다른 하나의 타 차량은 교차 차량(2c)으로 운전 의도가 직진 의도인 차량일 수 있다.
차량은 영상 데이터 및 장애물 검출부에 의해 검출된 검출 정보 중 적어도 하나에 기초하여 타 차량(2b, 2c)의 위치 정보와 속도 정보를 획득하고 획득된 타 차량(2b, 2c)의 위치 정보와 속도 정보에 기초하여 출발 가능 알림 정보 또는 주의 알림 정보를 출력할 수 있다.
차량은 인식된 오브젝트의 정보에 기초하여 신호등의 영상이 존재한다고 판단되면 신호등의 교통 신호를 확인하고 확인된 신호등의 교통 신호가 주의 교통 신호(레드 램프 점멸 또는 옐로우 램프 점멸)라고 판단되면 주의 알림 정보를 출력하는 것도 가능하다.
차량은 출발 가능 알림 정보가 출력된 후, 출발 의도가 존재하는지를 판단(312)한다.
출발 의도가 존재하는지를 판단하는 것은, 제1압력 정보 또는 제2압렵 정보에 기초하여 차량의 출발 의도가 존재하는지 판단하는 것을 포함한다.
좀 더 구체적으로, 차량은 제1압력 검출부에 의해 검출된 제1압력 정보에 기초하여 운전자의 가속 의도 여부를 판단하고 운전자의 가속 의도가 존재한다고 판단되면 출발 의도가 존재한다고 판단할 수 있다.
차량은 제2압력 검출부에 의해 검출된 압력 정보에 기초하여 운전자의 제동 해제 의도 여부를 판단하고 운전자의 제동 해제 의도가 존재한다고 판단되면 출발 의도가 존재한다고 판단할 수 있다.
차량은 차량의 출발 의도가 존재한다고 판단되면 영상 데이터에 기초하여 오브젝트를 재인식하고 재인식된 오브젝트에 대한 정보에 기초하여 신호등의 교통 신호가 변경되었는지 판단(313)하고 교통 신호가 변경되었다고 판단되면 정지 알림 정보를 출력(310)하고, 교통 신호가 변경되지 않았다고 판단되면 교차로 또는 횡단 보도의 통과 완료를 판단(314)한다.
여기서 통과 완료를 판단하는 것은, 영상 데이터에 기초하여 오브젝트를 재인식하고 재인식된 오브젝트에 대한 정보에 기초하여 교차로 또는 횡단 보도를 통과하였는지 판단하는 것을 포함한다.
통과 완료를 판단하는 것은, 내비게이션 정보 및 현재 위치 정보에 기초하여 정차하였던 교차로 또는 횡단 보도를 통과하였는지 판단하는 것을 포함한다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량
100: 운전자 보조 시스템
110: 전방 카메라
120: 전방 레이더
130: 코너 레이더
131: 제1 코너 레이더
132: 제2 코너 레이더
133: 제3 코너 레이더
134: 제4 코너 레이더
140: 제1제어부
200: 알림 장치
210: 비전 시스템
260: 제2제어부
261: 저장부

Claims (20)

  1. 통신부;
    차량에 마련되고 차량의 외부의 전방 시야를 가지고, 영상 데이터를 캡쳐하는 카메라; 및
    카메라에 의해 캡쳐된 영상 데이터를 프로세싱하는 프로세서를 포함하는 제어부를 포함하고,
    상기 제어부는, 상기 영상 데이터 및 상기 통신부에 수신된 방향 지시 레버의 위치 정보 중 적어도 하나에 기초하여 사용자의 운전 의도가 우회전 의도인지를 판단하고, 상기 사용자의 운전 의도가 우회전 의도라고 판단되면 상기 영상 데이터에 기초하여 우회전하는 방향에 보행자 및 타 차량 중 적어도 하나가 존재하는지 판단하고 상기 우회전하는 방향에 보행자 및 타 차량 중 적어도 하나가 존재한다고 판단되면 정지 유지 알림 정보를 출력하도록 제어하고, 상기 우회전하는 방향에 보행자 및 타 차량이 존재하지 않는다고 판단되면 주의 알림 정보의 출력을 제어하고, 상기 영상 데이터에 기초하여 상기 차량이 우회전 하는 방향으로 진입하는 대향 차량 및 교차 차량 중 적어도 하나가 존재하는지 판단하고, 상기 대향 차량 및 교차 차량 중 적어도 하나가 존재한다고 판단되면 정지 유지 알림 정보의 출력을 제어하고, 상기 영상 데이터에 기초하여 신호등의 교통 신호를 확인하고 상기 확인한 신호등의 교통 신호가 점멸 신호이면 주의 알림 정보의 출력을 제어하고,
    상기 제어부는 상기 우회전 의도를 판단할 때, 상기 영상 데이터에 기초하여 차선을 인식하고 상기 인식한 차선의 정보에 기초하여 상기 차량의 차선이 우측의 최외곽 차선인지를 판단하고, 상기 차량의 차선이 우측의 최외곽 차선이라고 판단되면 상기 사용자의 운전 의도를 우회전 의도로 판단하고, 상기 방향 지시 레버의 위치가 우회전 방향에 대응하는 위치이면 상기 사용자의 운전 의도를 우회전 의도로 판단하는 비전 시스템.
  2. 제 1 항에 있어서,
    상기 통신부는 액셀러레이터 페달에 인가된 압력에 대한 제1압력 정보와, 브레이크 페달에 인가된 압력에 대한 제2압력 정보를 수신하고,
    상기 제어부는, 출발 가능 알림 정보의 출력을 제어한 후, 상기 제1압력 정보 또는 상기 제2압력 정보에 기초하여 상기 차량의 출발 의도를 판단하고, 상기 차량의 출발 의도가 존재한다고 판단되면 상기 프로세싱된 영상 데이터에 기초하여 오브젝트를 재인식하고 상기 재인식된 오브젝트에 대한 정보에 기초하여 정지 알림 정보의 출력을 제어하는 비전 시스템.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 제어부는,
    상기 인식된 오브젝트에 대한 정보에 기초하여 전방에 타 차량이 존재하는지 판단하고, 상기 전방에 타 차량이 존재한다고 판단되면 전방의 타 차량의 위치 변화에 기초하여 상기 전방의 타 차량의 출발 여부를 판단하고, 상기 전방의 타 차량이 출발 상태라고 판단되면 출발 가능 알림 정보의 출력을 제어하는 비전 시스템.
  6. 제 5 항에 있어서,
    상기 통신부는, 상기 타 차량과의 거리 정보 및 상기 타 차량의 속도 정보 중 적어도 하나의 정보를 수신하고,
    상기 제어부는, 상기 수신된 적어도 하나의 정보에 기초하여 상기 타 차량의 출발 여부를 판단하는 비전 시스템.
  7. 제 1 항에 있어서, 상기 제어부는,
    상기 판단된 차량의 주행 방향이 직진 방향이라고 판단되면 상기 신호등의 교통 신호 및 보행자 중 적어도 하나의 정보에 기초하여 출발 가능 알림 정보의 출력을 제어하는 비전 시스템.
  8. 제 1 항에 있어서, 상기 제어부는,
    상기 판단된 차량의 주행 방향이 좌측 방향 또는 유턴 방향이라고 판단되면 상기 신호등의 교통 신호, 타 차량 및 교통 표지판 중 적어도 하나의 정보에 기초하여 출발 가능 알림 정보의 출력을 제어하는 비전 시스템.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 영상 데이터에서 교통 표지판에 대한 정보를 인식하고 상기 인식된 교통 표지판에 대한 정보에서 좌 회전의 시기 및 유턴의 시기를 판단하는 비전 시스템.
  10. 삭제
  11. 방향 지시 레버의 레버 신호를 수신하는 레버 신호 수신부;
    도로의 영상을 획득하는 카메라;
    상기 카메라에 의해 획득된 도로의 영상을 프로세싱하는 프로세서를 포함하는 제어부; 및
    상기 프로세서의 제어 명령에 대응하여 정보를 출력하는 출력부를 포함하고,
    상기 제어부는, 정지 상태일 때 상기 프로세싱된 영상에 대한 영상 데이터에 기초하여 오브젝트를 인식하고, 상기 인식된 오브젝트에 대한 정보에 기초하여 출발 가능 여부를 판단하고 상기 출발 가능 여부에 대응하는 정보가 출력되도록 상기 출력부를 제어하고,
    상기 인식된 오브젝트에 대한 정보는, 타 차량, 보행자, 신호등 및 교통 표지판 중 적어도 하나에 대한 정보를 포함하고,
    상기 제어부는, 상기 영상 데이터 및 상기 레버 신호 수신부에 수신된 레버 신호 중 적어도 하나에 기초하여 사용자의 운전 의도가 우회전 의도인지를 판단하고, 상기 사용자의 운전 의도가 우회전 의도라고 판단되면 상기 영상 데이터에 기초하여 우회전하는 방향에 보행자 및 타 차량 중 적어도 하나가 존재하는지 판단하고 상기 우회전하는 방향에 보행자 및 타 차량 중 적어도 하나가 존재한다고 판단되면 정지 유지 알림 정보를 출력하도록 제어하고, 상기 우회전하는 방향에 보행자 및 타 차량이 존재하지 않는다고 판단되면 주의 알림 정보의 출력을 제어하고, 상기 영상 데이터에 기초하여 상기 차량이 우회전 하는 방향으로 진입하는 대향 차량 및 교차 차량 중 적어도 하나가 존재하는지 판단하고, 상기 대향 차량 및 교차 차량 중 적어도 하나가 존재한다고 판단되면 정지 유지 알림 정보의 출력을 제어하고, 상기 영상 데이터에 기초하여 신호등의 교통 신호를 확인하고, 상기 확인한 신호등의 교통 신호가 점멸 신호이면 주의 알림 정보의 출력을 제어하고,
    상기 제어부는 상기 우회전 의도를 판단할 때, 상기 영상 데이터에 기초하여 차선을 인식하고 상기 인식한 차선의 정보에 기초하여 상기 차량의 차선이 우측의 최외곽 차선인지를 판단하고, 상기 차량의 차선이 우측의 최외곽 차선이라고 판단되면 상기 사용자의 운전 의도를 우회전 의도로 판단하고, 상기 수신된 레버 신호가 우회전 방향에 대응하는 신호이면 상기 사용자의 운전 의도를 우회전 의도로 판단하는 차량.
  12. 제 11항에 있어서, 상기 제어부는,
    상기 정지 상태를 판단할 때, 내비게이션 정보 및 영상 데이터 중 적어도 하나에 기초하여 교차로나 횡단 보도에서의 정지 상태를 판단하는 차량.
  13. 제 11 항에 있어서,
    액셀러레이터 페달에 인가된 압력을 검출하여 제1압력 정보를 출력하는 제1압력 검출부; 및
    브레이크 페달에 인가된 압력을 검출하여 제2압력 정보를 출력하는 제2압력 검출부;를 더 포함하고,
    상기 제어부는, 출발 가능 알림 정보의 출력을 제어한 후, 상기 제1압력 정보와 상기 제2압력 정보 중 어느 하나에 기초하여 출발 의도를 판단하고, 출발 의도가 존재한다고 판단되면 상기 영상 데이터에 기초하여 오브젝트를 인식하고 상기 오브젝트의 인식 여부에 기초하여 정지 알림 정보의 출력을 제어하는 차량.
  14. 삭제
  15. 삭제
  16. 제 11 항에 있어서, 상기 출력부는,
    상기 출발 가능 여부에 대응하는 정보를 영상으로 표시하는 표시부와, 상기 출발 가능 여부에 대응하는 정보를 사운드로 출력하는 사운드 출력부 중 적어도 하나를 포함하는 차량.
  17. 차량이 정지 상태일 때 카메라에 의해 캡쳐된 영상 데이터에 기초하여 오브젝트를 인식하고,
    상기 인식된 오브젝트에 대한 정보에 기초하여 출발 가능 여부를 판단하고,
    상기 출발 가능 여부에 대응하는 정보를 출력하고,
    액셀러레이터 페달에 인가된 압력에 대한 제1압력 정보와 브레이크 페달에 인가된 압력에 대한 제2압력 정보 중 어느 하나에 기초하여 출발 여부를 판단하고,
    출발 의도가 존재한다고 판단되면 상기 영상 데이터에 기초하여 오브젝트를 인식하고,
    상기 오브젝트의 인식 여부에 기초하여 정지 알림 정보를 출력하고,
    상기 영상 데이터 및 방향 지시 레버의 레버 신호 중 적어도 하나에 기초하여 사용자의 운전 의도가 우회전 의도인지를 판단하고, 상기 사용자의 운전 의도가 우회전 의도라고 판단되면 상기 영상 데이터에 기초하여 우회전하는 방향에 보행자 및 타 차량 중 적어도 하나가 존재하는지 판단하고,
    상기 우회전하는 방향에 보행자 및 타 차량 중 적어도 하나가 존재한다고 판단되면 정지 유지 알림 정보를 출력하도록 제어하고,
    상기 우회전하는 방향에 보행자 및 타 차량이 존재하지 않는다고 판단되면 주의 알림 정보의 출력을 제어하고,
    상기 영상 데이터에 기초하여 상기 차량이 우회전하는 방향으로 진입하는 대향 차량 및 교차 차량 중 적어도 하나가 존재하는지 판단하고, 상기 대향 차량 및 교차 차량 중 적어도 하나가 존재한다고 판단되면 정지 유지 알림 정보의 출력을 제어하고,
    상기 영상 데이터에 기초하여 신호등의 교통 신호를 확인하고, 상기 확인한 신호등의 교통 신호가 점멸 신호이면 주의 알림 정보의 출력을 제어하고,
    상기 우회전 의도를 판단하는 것은, 상기 영상 데이터에 기초하여 차선을 인식하고 상기 인식한 차선의 정보에 기초하여 상기 차량의 차선이 우측의 최외곽 차선인지를 판단하고, 상기 차량의 차선이 우측의 최외곽 차선이라고 판단되면 상기 사용자의 운전 의도를 우회전 의도로 판단하는 것을 포함하고,
    상기 우회전 의도를 판단하는 것은, 상기 방향 지시 레버의 레버 신호가 우회전 방향에 대응하는 신호이면 상기 사용자의 운전 의도를 우회전 의도로 판단하는 것을 더 포함하는 차량의 제어 방법.
  18. 제 17 항에 있어서, 상기 출발 가능 여부에 대응하는 정보를 출력하는 것은,
    상기 인식된 오브젝트에 대한 정보에 기초하여 전방에 타 차량이 존재하는지 판단하고,
    상기 전방에 타 차량이 존재한다고 판단되면 전방의 타 차량과의 거리 정보 및 상기 전방의 타 차량의 속도 정보 중 적어도 하나의 정보에 기초하여 상기 전방의 타 차량의 출발 여부를 판단하고,
    상기 전방의 타 차량이 출발 상태라고 판단되면 출발 가능 알림 정보의 출력을 제어하는 것을 포함하는 차량의 제어 방법.
  19. 제 17 항에 있어서, 상기 출발 가능 여부에 대응하는 정보를 출력하는 것은,
    상기 판단된 차량의 주행 방향이 좌측 방향 또는 유턴 방향이라고 판단되면 상기 인식된 오브젝트에 대한 정보 중 신호등의 교통 신호, 타 차량 및 교통 표지판에 대한 정보에 기초하여 출발 가능 알림 정보의 출력을 제어하는 것을 포함하는 차량의 제어 방법.
  20. 제 17항에 있어서, 상기 차량의 정지 상태를 판단하는 것은,
    내비게이션 정보 및 영상 데이터 중 적어도 하나에 기초하여 교차로나 횡단 보도에서의 정지 상태를 판단하는 것을 포함하는 차량의 제어 방법.





KR1020200033694A 2020-03-19 2020-03-19 비전 시스템, 그를 가지는 차량 및 그 제어 방법 KR102367952B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200033694A KR102367952B1 (ko) 2020-03-19 2020-03-19 비전 시스템, 그를 가지는 차량 및 그 제어 방법
CN202110280007.3A CN113428150A (zh) 2020-03-19 2021-03-16 视觉系统、具有该视觉系统的车辆以及控制该车辆的方法
US17/205,260 US20210291836A1 (en) 2020-03-19 2021-03-18 Vision system, vehicle having the same and method for controlling the vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200033694A KR102367952B1 (ko) 2020-03-19 2020-03-19 비전 시스템, 그를 가지는 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20210118270A KR20210118270A (ko) 2021-09-30
KR102367952B1 true KR102367952B1 (ko) 2022-03-03

Family

ID=77747463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200033694A KR102367952B1 (ko) 2020-03-19 2020-03-19 비전 시스템, 그를 가지는 차량 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20210291836A1 (ko)
KR (1) KR102367952B1 (ko)
CN (1) CN113428150A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2749901C1 (ru) * 2020-08-20 2021-06-18 Кириллов Александр Викторович Способ оповещения водителей о наличии пешехода на пешеходном переходе
JP2022104397A (ja) * 2020-12-28 2022-07-08 株式会社Subaru 車両の運転制御システム、及び、車両の管制装置
KR20230041411A (ko) * 2021-09-17 2023-03-24 주식회사 에이치엘클레무브 차량의 주행을 보조하는 장치 및 그 방법
CN114148332B (zh) * 2021-12-17 2023-05-05 上汽大众汽车有限公司 一种车辆驾驶启动提示方法、车辆驾驶启动提示系统及计算机可读存储介质
DE102022104932A1 (de) * 2022-03-02 2023-09-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum situationsbedingten vermeiden eines anfahrens eines automatisierten kraftfahrzeugs

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3499817B2 (ja) * 2000-10-11 2004-02-23 公一郎 児玉 右折運転支援装置
US20140063196A1 (en) * 2011-04-22 2014-03-06 Isaac S. Daniel Comprehensive and intelligent system for managing traffic and emergency services
US9069653B2 (en) * 2012-05-04 2015-06-30 Ford Global Technologies, Llc Methods for utilizing stop sign and traffic light detections to enhance fuel economy and safety
MX345733B (es) * 2013-07-19 2017-02-14 Nissan Motor Dispositivo de asistencia a la conduccion para vehiculo y metodo de asistencia a la conduccion para vehiculo.
KR20150049116A (ko) * 2013-10-29 2015-05-08 르노삼성자동차 주식회사 차량의 운행 제어 방법
US9740945B2 (en) * 2015-01-14 2017-08-22 Magna Electronics Inc. Driver assistance system for vehicle
JP6500734B2 (ja) * 2015-10-08 2019-04-17 株式会社デンソー 運転支援装置
KR20170099188A (ko) * 2016-02-23 2017-08-31 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR101826408B1 (ko) * 2016-03-03 2018-03-22 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
JP6436116B2 (ja) * 2016-03-08 2018-12-12 トヨタ自動車株式会社 運転支援装置
US20170279904A1 (en) * 2016-03-25 2017-09-28 Panasonic Intellectual Property Management Co., Ltd. Terminal device
KR101843774B1 (ko) * 2016-05-18 2018-03-30 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR101976425B1 (ko) * 2016-09-22 2019-05-09 엘지전자 주식회사 차량 운전 보조 장치
KR102163317B1 (ko) * 2016-09-22 2020-10-08 엘지전자 주식회사 차량의 제어 방법
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
KR101973627B1 (ko) * 2017-07-11 2019-04-29 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR102109126B1 (ko) * 2017-12-08 2020-05-12 현대자동차주식회사 차량의 선행차 출발 알림 장치 및 그 방법
JP6900438B2 (ja) * 2019-09-24 2021-07-07 コイト電工株式会社 警報器および信号灯器
JP2021103408A (ja) * 2019-12-25 2021-07-15 パナソニックＩｐマネジメント株式会社 制御装置、車両、プログラムおよび制御方法。

Also Published As

Publication number Publication date
US20210291836A1 (en) 2021-09-23
CN113428150A (zh) 2021-09-24
KR20210118270A (ko) 2021-09-30

Similar Documents

Publication Publication Date Title
US10919525B2 (en) Advanced driver assistance system, vehicle having the same, and method of controlling the vehicle
US11772655B2 (en) Advanced driver assistance system, vehicle having the same, and method of controlling vehicle
US11745735B2 (en) Advanced driver assistance system, vehicle having the same, and method of controlling vehicle
KR102367952B1 (ko) 비전 시스템, 그를 가지는 차량 및 그 제어 방법
US10926764B2 (en) Lane keeping assistance apparatus, vehicle having the same and method for controlling the same
US11718289B2 (en) Collision avoidance device, vehicle having the same and method of controlling the vehicle
US20210197824A1 (en) Advanced driver assistance system, vehicle having the same and method for controlling the vehicle
JP4983564B2 (ja) 車両用追従装置
US11951996B2 (en) Driver assistance system and vehicle including the same
KR20220144003A (ko) 운전자 보조 시스템 및 그를 가지는 차량
US12017647B2 (en) Advanced driver assistance system and vehicle having the same
KR20210030529A (ko) 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
JP2005145282A (ja) 車両走行支援装置
KR20200058642A (ko) 차량 및 그 제어 방법
JP2017151704A (ja) 自動運転装置
KR102356612B1 (ko) 충돌 방지 장치, 그를 가지는 차량 및 그 제어 방법
US11607996B2 (en) Apparatus for assisting driving, vehicle having the same, and method of controlling the same
US12030486B2 (en) Apparatus for assisting driving, vehicle having the same, and method of controlling the same
KR20230130202A (ko) 운전자 보조 시스템 및 그를 가지는 차량
KR20230158694A (ko) 운전자 보조 시스템 및 그를 가지는 차량

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant