KR102644324B1 - Autonomous driving apparatus and method - Google Patents

Autonomous driving apparatus and method Download PDF

Info

Publication number
KR102644324B1
KR102644324B1 KR1020190058597A KR20190058597A KR102644324B1 KR 102644324 B1 KR102644324 B1 KR 102644324B1 KR 1020190058597 A KR1020190058597 A KR 1020190058597A KR 20190058597 A KR20190058597 A KR 20190058597A KR 102644324 B1 KR102644324 B1 KR 102644324B1
Authority
KR
South Korea
Prior art keywords
vehicle
driving
trajectory
autonomous driving
processor
Prior art date
Application number
KR1020190058597A
Other languages
Korean (ko)
Other versions
KR20200133848A (en
Inventor
이일규
조무열
이준한
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020190058597A priority Critical patent/KR102644324B1/en
Publication of KR20200133848A publication Critical patent/KR20200133848A/en
Priority to KR1020240030296A priority patent/KR20240035960A/en
Application granted granted Critical
Publication of KR102644324B1 publication Critical patent/KR102644324B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/021Means for detecting failure or malfunction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps

Abstract

본 발명은 자율 주행 장치 및 방법에 관한 것으로서, 자율 주행 중인 자차량의 주변 차량을 검출하는 센서부, 지도 정보를 저장하는 메모리, 및 메모리에 저장된 지도 정보에 기초하여 자차량의 자율 주행을 제어하는 프로세서를 포함하고, 프로세서는, 센서부에 의해 검출된 주변 차량의 주행 정보에 기초하여 주변 차량의 실제 주행 궤적을 생성하고, 메모리에 저장된 지도 정보에 기초하여 주변 차량의 예상 주행 궤적을 생성하며, 생성된 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 궤적 오차의 누적 가산량에 기초하여 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행하고, 신뢰도 진단의 수행 결과 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 자율 주행 제어의 신뢰도가 확보될 수 있도록 센서부 및 지도 정보 중 하나 이상에 대하여 보정 처리를 수행하는 것을 특징으로 한다.The present invention relates to an autonomous driving device and method, which includes a sensor unit that detects vehicles around a self-driving vehicle, a memory that stores map information, and a device that controls autonomous driving of the self-vehicle based on the map information stored in the memory. It includes a processor, wherein the processor generates an actual driving trajectory of the surrounding vehicle based on driving information of the surrounding vehicle detected by the sensor unit, and generates an expected driving trajectory of the surrounding vehicle based on map information stored in the memory, A reliability diagnosis of autonomous driving control for the own vehicle is performed based on the size of the trajectory error between the generated actual driving trajectory and the expected driving trajectory, or the cumulative addition amount of the trajectory error, and as a result of performing the reliability diagnosis, the autonomous driving for the own vehicle is performed. If control is determined to be unreliable, correction processing is performed on one or more of the sensor unit and map information to ensure reliability of autonomous driving control.

Description

자율 주행 장치 및 방법{AUTONOMOUS DRIVING APPARATUS AND METHOD}Autonomous driving device and method {AUTONOMOUS DRIVING APPARATUS AND METHOD}

본 발명은 자율 주행 차량에 적용되는 자율 주행 장치 및 방법에 관한 것이다.The present invention relates to an autonomous driving device and method applied to an autonomous vehicle.

오늘날의 자동차 산업은 차량 주행에 운전자의 개입을 최소화하는 자율 주행을 구현하기 위한 방향으로 나아가고 있다. 자율 주행 차량이란 주행 시 외부정보 감지 및 처리기능을 통해 주변의 환경을 인식하여 주행 경로를 자체적으로 결정하고, 자체 동력을 이용하여 독립적으로 주행하는 차량을 말한다.Today's automobile industry is moving toward implementing autonomous driving that minimizes driver intervention in vehicle driving. An autonomous vehicle refers to a vehicle that recognizes the surrounding environment through external information detection and processing functions when driving, determines its own driving path, and drives independently using its own power.

자율 주행 차량은 운전자가 조향휠, 가속페달 또는 브레이크 등을 조작하지 않아도, 주행 경로 상에 존재하는 장애물과의 충돌을 방지하고 도로의 형상에 따라 차속과 주행 방향을 조절하면서 스스로 목적지까지 주행할 수 있다. 예를 들어, 직선 도로에서는 가속을 수행하고, 곡선 도로에서는 도로의 곡률에 대응하여 주행 방향을 변경하면서 감속을 수행할 수 있다.Self-driving vehicles can drive to their destination on their own, preventing collisions with obstacles in the driving path and adjusting vehicle speed and driving direction according to the shape of the road, without the driver having to operate the steering wheel, accelerator pedal, or brakes. there is. For example, acceleration can be performed on a straight road, and deceleration can be performed on a curved road by changing the driving direction in response to the curvature of the road.

자율 주행 차량의 안정적인 주행을 보장하기 위해서는 차량에 장착된 각 센서를 통해 주행 환경을 정확하게 계측해야 하고, 차량의 주행 상태를 지속적으로 모니터링하여 계측된 주행 환경에 맞추어 주행을 제어해야 한다. 이를 위해, 자율 주행 차량에는 주변 차량, 보행자, 고정 시설물 등의 주변 객체를 검출하기 위한 센서로서 라이다(Lidar) 센서, 레이더(Radar) 센서, 초음파 센서 및 카메라 센서 등 다양한 센서들이 적용되고 있으며, 이러한 센서로부터 출력되는 데이터는 주행 환경에 대한 정보, 이를테면 주변 객체의 위치, 형상, 이동 방향 및 이동 속도와 같은 상태 정보를 결정하는데 활용된다.In order to ensure stable driving of an autonomous vehicle, the driving environment must be accurately measured through each sensor mounted on the vehicle, and the driving status of the vehicle must be continuously monitored to control driving according to the measured driving environment. To this end, various sensors such as Lidar sensors, radar sensors, ultrasonic sensors, and camera sensors are applied to autonomous vehicles to detect surrounding objects such as surrounding vehicles, pedestrians, and fixed facilities. Data output from these sensors is used to determine information about the driving environment, such as status information such as the location, shape, direction of movement, and speed of surrounding objects.

나아가, 자율 주행 차량은 미리 저장된 지도 데이터를 이용하여 차량의 위치를 결정하고 보정함으로써 주행 경로 및 주행 차선을 최적으로 결정하고, 결정된 경로 및 차선을 벗어나지 않도록 차량의 주행을 제어하며, 주변에서 갑작스럽게 진입하는 차량 또는 주행 경로 상에 존재하는 위험 요소에 대한 방어 및 회피 운행을 수행하는 기능도 제공하고 있다.Furthermore, autonomous vehicles use pre-stored map data to determine and correct the vehicle's position to optimally determine the driving path and driving lane, control the vehicle's driving so that it does not deviate from the determined path and lane, and control the vehicle's driving to prevent sudden changes in the surrounding area. It also provides functions to perform defense and avoidance operations against incoming vehicles or hazards present on the driving path.

본 발명의 배경기술은 대한민국 공개특허공보 제10-1998-0068399호(1998.10.15 공개)에 개시되어 있다.The background technology of the present invention is disclosed in Republic of Korea Patent Publication No. 10-1998-0068399 (published on October 15, 1998).

본 발명의 일 측면에 따른 목적은 자율 주행 차량에 대하여 수행되는 자율 주행 제어의 신뢰도를 정밀하게 진단하여 자율 주행 차량의 주행 안정성 및 주행 정확성을 향상시키기 위한 자율 주행 장치 및 방법을 제공하는 것이다.The purpose of one aspect of the present invention is to provide an autonomous driving device and method for improving the driving stability and driving accuracy of an autonomous vehicle by precisely diagnosing the reliability of autonomous driving control performed on an autonomous vehicle.

본 발명의 일 측면에 따른 자율 주행 장치는 자율 주행 중인 자차량의 주변 차량을 검출하는 센서부, 지도 정보를 저장하는 메모리, 및 상기 메모리에 저장된 지도 정보에 기초하여 상기 자차량의 자율 주행을 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 센서부에 의해 검출된 주변 차량의 주행 정보에 기초하여 상기 주변 차량의 실제 주행 궤적을 생성하고, 상기 메모리에 저장된 지도 정보에 기초하여 상기 주변 차량의 예상 주행 궤적을 생성하며, 상기 생성된 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 상기 궤적 오차의 누적 가산량에 기초하여 상기 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행하고, 상기 신뢰도 진단의 수행 결과 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 자율 주행 제어의 신뢰도가 확보될 수 있도록 상기 센서부 및 상기 지도 정보 중 하나 이상에 대하여 보정 처리를 수행하는 것을 특징으로 한다.An autonomous driving device according to an aspect of the present invention includes a sensor unit that detects vehicles around a self-driving host vehicle, a memory that stores map information, and controls autonomous driving of the host vehicle based on the map information stored in the memory. and a processor, wherein the processor generates an actual driving trajectory of the surrounding vehicle based on the driving information of the surrounding vehicle detected by the sensor unit and predicts the surrounding vehicle based on the map information stored in the memory. Generates a driving trajectory, performs a reliability diagnosis of autonomous driving control for the own vehicle based on the size of the trajectory error between the generated actual driving trajectory and the expected driving trajectory, or a cumulative addition amount of the trajectory error, and determines the reliability If the autonomous driving control of the own vehicle is determined to be unreliable as a result of the diagnosis, correction processing is performed on one or more of the sensor unit and the map information to ensure reliability of the autonomous driving control. It is characterized by

본 발명에 있어 상기 프로세서는, 미리 설정된 제1 임계시간 이내에 상기 궤적 오차의 크기가 미리 설정된 제1 임계값 이상인 상태가 발생하면 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단하는 것을 특징으로 한다.In the present invention, the processor determines that autonomous driving control for the host vehicle is unreliable if a state occurs in which the size of the trajectory error is greater than a preset first threshold within a first preset threshold time. do.

본 발명에 있어 상기 프로세서는, 상기 제1 임계시간 동안 상기 궤적 오차의 크기가 상기 제1 임계값 미만으로 유지된 상태에서 상기 궤적 오차의 누적 가산량을 이용하여 상기 신뢰도 진단을 추가적으로 수행하는 것을 특징으로 한다.In the present invention, the processor additionally performs the reliability diagnosis using the accumulated amount of the trajectory error while the size of the trajectory error is maintained below the first threshold during the first threshold time. Do it as

본 발명에 있어 상기 프로세서는, 상기 제1 임계시간 동안 상기 궤적 오차의 크기가 상기 제1 임계값 미만으로 유지된 상태에서, 상기 제1 임계시간보다 큰 값으로 미리 설정된 제2 임계시간 이내에, 상기 궤적 오차가 누적되어 적산된 상기 누적 가산량이 미리 설정된 제2 임계값 이상인 상태가 발생하면 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단하는 것을 특징으로 한다.In the present invention, the processor, within a second threshold time preset to a value greater than the first threshold time, while the size of the trajectory error is maintained below the first threshold during the first threshold time, When a state occurs in which the accumulated trajectory error is accumulated and the accumulated addition amount is greater than or equal to a preset second threshold, autonomous driving control of the own vehicle is determined to be unreliable.

본 발명에 있어 상기 센서부는 상기 주변 차량을 검출하기 위한 복수의 센서를 포함하고, 상기 프로세서는, 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 센서부에 포함된 복수의 센서를 정합하는 방식을 통해 상기 센서부에 대한 보정 처리를 수행하는 것을 특징으로 한다.In the present invention, the sensor unit includes a plurality of sensors for detecting the surrounding vehicles, and when the processor determines that autonomous driving control for the own vehicle is unreliable, the sensor unit includes a plurality of sensors included in the sensor unit. It is characterized by performing correction processing on the sensor unit through a method of matching sensors.

본 발명에 있어 상기 프로세서는, 외부로부터 전송받은 신규 지도 정보를 이용하여 상기 메모리에 저장된 지도 정보를 업데이트함으로써 상기 메모리에 저장된 지도 정보에 대한 보정 처리를 수행하는 것을 특징으로 한다.In the present invention, the processor is characterized in that it performs correction processing on the map information stored in the memory by updating the map information stored in the memory using new map information received from the outside.

본 발명에 있어 상기 프로세서는, 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 주변 차량의 실제 주행 궤적을 상기 메모리에 저장하고, 상기 메모리에 저장된 상기 주변 차량의 실제 주행 궤적을 이용하여 상기 신규 지도 정보로 업데이트된 지도 정보를 검증하는 것을 특징으로 한다.In the present invention, when it is determined that the autonomous driving control of the own vehicle is unreliable, the processor stores the actual driving trajectory of the surrounding vehicle in the memory, and the actual driving trajectory of the surrounding vehicle stored in the memory. It is characterized by verifying the updated map information with the new map information using .

본 발명의 일 측면에 따른 자율 주행 방법은 프로세서가, 메모리에 저장된 지도 정보에 기초하여 자차량의 자율 주행을 제어하는 단계, 상기 프로세서가, 센서부에 의해 검출된 상기 자차량의 주변 차량의 주행 정보에 기초하여 상기 주변 차량의 실제 주행 궤적을 생성하는 단계, 상기 프로세서가, 상기 메모리에 저장된 지도 정보에 기초하여 상기 주변 차량의 예상 주행 궤적을 생성하는 단계, 상기 프로세서가, 상기 생성된 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 상기 궤적 오차의 누적 가산량에 기초하여 상기 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행하는 단계, 및 상기 신뢰도 진단의 수행 결과 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 프로세서가, 상기 자율 주행 제어의 신뢰도가 확보될 수 있도록 상기 센서부 및 상기 메모리에 저장된 지도 정보 중 하나 이상에 대하여 보정 처리를 수행하는 단계를 포함하는 것을 특징으로 한다.An autonomous driving method according to an aspect of the present invention includes the steps of a processor controlling autonomous driving of a host vehicle based on map information stored in a memory, the processor controlling the driving of vehicles around the host vehicle detected by a sensor unit. generating an actual driving trajectory of the surrounding vehicle based on information, the processor generating an expected driving trajectory of the surrounding vehicle based on map information stored in the memory, the processor generating the generated actual driving trajectory Performing a reliability diagnosis of autonomous driving control for the host vehicle based on the size of the trajectory error between the trajectory and the expected driving trajectory, or a cumulative addition amount of the trajectory error, and a result of the reliability diagnosis for the host vehicle When the autonomous driving control is determined to be unreliable, the processor performs correction processing on one or more of the sensor unit and map information stored in the memory to ensure reliability of the autonomous driving control. It is characterized by:

본 발명에 있어 상기 신뢰도 진단을 수행하는 단계는, 상기 프로세서가, 미리 설정된 제1 임계시간 이내에 상기 궤적 오차의 크기가 미리 설정된 제1 임계값 이상인 상태가 발생하는지 여부를 판단하는 단계, 및 상기 제1 임계시간 동안 상기 궤적 오차의 크기가 상기 제1 임계값 미만으로 유지된 경우, 상기 프로세서가 상기 제1 임계시간보다 큰 값으로 미리 설정된 제2 임계시간 이내에, 상기 궤적 오차가 누적되어 적산된 상기 누적 가산량이 미리 설정된 제2 임계값 이상인 상태가 발생하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.In the present invention, performing the reliability diagnosis includes determining, by the processor, whether a state in which the size of the trajectory error is greater than or equal to a preset first threshold occurs within a first preset threshold time, and 1 If the size of the trajectory error is maintained below the first threshold for a critical time, the processor accumulates the trajectory error within a second threshold time preset to a value greater than the first threshold time. It is characterized by including the step of determining whether a state in which the cumulative addition amount is more than a preset second threshold occurs.

본 발명에 있어 상기 센서부는 상기 주변 차량을 검출하기 위한 복수의 센서를 포함하고, 상기 보정 처리를 수행하는 단계는, 상기 프로세서가, 상기 센서부에 포함된 복수의 센서를 정합하는 방식을 통해 상기 센서부에 대한 보정 처리를 수행하는 단계, 및 상기 프로세서가, 외부로부터 전송받은 신규 지도 정보를 이용하여 상기 메모리에 저장된 지도 정보를 업데이트함으로써 상기 메모리에 저장된 지도 정보에 대한 보정 처리를 수행하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the sensor unit includes a plurality of sensors for detecting the surrounding vehicles, and the step of performing the correction process involves the processor matching the plurality of sensors included in the sensor unit. Performing correction processing on the sensor unit, and performing correction processing on the map information stored in the memory by the processor updating the map information stored in the memory using new map information received from the outside. It is characterized by including.

본 발명에 있어 상기 보정 처리를 수행하는 단계는, 상기 프로세서가, 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 시점에 상기 메모리에 저장된 상기 주변 차량의 실제 주행 궤적을 이용하여 상기 신규 지도 정보로 업데이트된 지도 정보를 검증하는 단계를 더 포함하는 것을 특징으로 한다.In the present invention, the step of performing the correction process involves the processor using the actual driving trajectory of the surrounding vehicle stored in the memory at the time when autonomous driving control for the own vehicle is determined to be unreliable. It is characterized in that it further includes the step of verifying the updated map information with map information.

본 발명의 일 측면에 따르면, 본 발명은 자율 주행 차량의 주변 차량에 대하여 결정되는 실제 주행 궤적 및 예상 주행 궤적 간의 오차를 이용하여 자율 주행 제어의 신뢰도를 우선적으로 진단하고, 그 진단 결과에 따라 자율 주행 차량에 적용된 센서 또는 메모리에 저장된 지도 정보에 대하여 보정 처리를 수행하여 자율 주행 제어의 신뢰도를 확보하도록 함으로써 자율 주행 차량의 주행 안정성 및 주행 정확성을 향상시킬 수 있다.According to one aspect of the present invention, the present invention preferentially diagnoses the reliability of autonomous driving control using the error between the actual driving trajectory and the expected driving trajectory determined for the surrounding vehicles of the autonomous driving vehicle, and according to the diagnosis result, The driving stability and driving accuracy of an autonomous vehicle can be improved by performing correction processing on the map information stored in the sensor or memory applied to the driving vehicle to ensure the reliability of autonomous driving control.

도 1은 본 발명의 일 실시예에 따른 자율 주행 장치가 적용될 수 있는 자율 주행 제어 시스템의 전체 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 장치에서 자율 주행 통합 제어부의 구체적 구성을 보인 블록구성도이다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 장치가 차량에 적용되는 예시를 보인 예시도이다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 장치가 적용되는 차량의 내부 구조의 예시를 보인 예시도이다.
도 5는 본 발명의 일 실시예에 따른 자율 주행 장치에서 라이다 센서, 레이더 센서 및 카메라 센서가 주변 객체를 검출할 수 있는 설정 거리 및 수평 화각의 예시를 보인 예시도이다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 장치에서 센서부가 주변 차량을 검출하는 예시를 보인 예시도이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 자율 주행 방법을 설명하기 위한 흐름도이다.
1 is an overall block diagram of an autonomous driving control system to which an autonomous driving device according to an embodiment of the present invention can be applied.
Figure 2 is a block diagram showing the specific configuration of the autonomous driving integrated control unit in the autonomous driving device according to an embodiment of the present invention.
Figure 3 is an exemplary diagram showing an example of an autonomous driving device being applied to a vehicle according to an embodiment of the present invention.
Figure 4 is an exemplary diagram showing an example of the internal structure of a vehicle to which an autonomous driving device according to an embodiment of the present invention is applied.
Figure 5 is an exemplary diagram showing an example of a set distance and horizontal angle of view at which a lidar sensor, a radar sensor, and a camera sensor can detect surrounding objects in an autonomous driving device according to an embodiment of the present invention.
Figure 6 is an exemplary diagram showing an example of a sensor unit detecting surrounding vehicles in an autonomous driving device according to an embodiment of the present invention.
7 and 8 are flowcharts for explaining an autonomous driving method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 자율 주행 장치 및 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of the autonomous driving device and method according to the present invention will be described with reference to the attached drawings. In this process, the thickness of lines or sizes of components shown in the drawing may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 자율 주행 장치가 적용될 수 있는 자율 주행 제어 시스템의 전체 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 자율 주행 장치에서 자율 주행 통합 제어부의 구체적 구성을 보인 블록구성도이며, 도 3은 본 발명의 일 실시예에 따른 자율 주행 장치가 차량에 적용되는 예시를 보인 예시도이고, 도 4는 본 발명의 일 실시예에 따른 자율 주행 장치가 적용되는 차량의 내부 구조의 예시를 보인 예시도이며, 도 5는 본 발명의 일 실시예에 따른 자율 주행 장치에서 라이다 센서, 레이더 센서 및 카메라 센서가 주변 객체를 검출할 수 있는 설정 거리 및 수평 화각의 예시를 보인 예시도이고, 도 6은 본 발명의 일 실시예에 따른 자율 주행 장치에서 센서부가 주변 차량을 검출하는 예시를 보인 예시도이다.Figure 1 is an overall block diagram of an autonomous driving control system to which an autonomous driving device according to an embodiment of the present invention can be applied, and Figure 2 is a detailed view of the autonomous driving integrated control unit in an autonomous driving device according to an embodiment of the present invention. It is a block diagram showing the configuration, Figure 3 is an example diagram showing an example of the self-driving device according to an embodiment of the present invention being applied to a vehicle, and Figure 4 is an example of the self-driving device being applied to a vehicle according to an embodiment of the present invention. It is an exemplary diagram showing an example of the internal structure of a vehicle, and Figure 5 shows the set distance and horizontal angle of view at which the lidar sensor, radar sensor, and camera sensor can detect surrounding objects in the autonomous driving device according to an embodiment of the present invention. This is an exemplary diagram showing an example, and Figure 6 is an exemplary diagram showing an example of a sensor unit detecting surrounding vehicles in an autonomous driving device according to an embodiment of the present invention.

먼저, 도 1 및 도 3을 참조하여 본 실시예에 따른 자율 주행 장치가 적용될 수 있는 자율 주행 제어 시스템의 구조 및 기능에 대하여 설명한다. 도 1에 도시된 것과 같이 자율 주행 제어 시스템은 운전 정보 입력 인터페이스(101), 주행 정보 입력 인터페이스(201), 탑승자 출력 인터페이스(301) 및 차량 제어 출력 인터페이스(401)를 통해 차량의 자율 주행 제어에 필요한 데이터를 송수신하는 자율 주행 통합 제어부(600)를 중심으로 구현될 수 있다.First, the structure and function of the autonomous driving control system to which the autonomous driving device according to this embodiment can be applied will be described with reference to FIGS. 1 and 3. As shown in FIG. 1, the autonomous driving control system controls the autonomous driving of the vehicle through the driving information input interface 101, the driving information input interface 201, the passenger output interface 301, and the vehicle control output interface 401. It can be implemented centered on the autonomous driving integrated control unit 600 that transmits and receives necessary data.

자율 주행 통합 제어부(600)는 차량의 자율 주행 모드 또는 수동 주행 모드에서 사용자 입력부(100)에 대한 탑승자의 조작에 따른 운전 정보를 운전 정보 입력 인터페이스(101)를 통해 획득할 수 있다. 사용자 입력부(100)는 도 1에 예시로서 도시된 것과 같이 주행 모드 스위치(110) 및 사용자 단말(120, 예: 차량에 장착된 내비게이션 단말, 탑승자가 소지한 스마트폰 또는 태플릿 PC 등)을 포함할 수 있으며, 이에 따라 운전 정보는 차량의 주행 모드 정보 및 항법 정보를 포함할 수 있다. 예를 들어, 주행 모드 스위치(110)에 대한 탑승자의 조작에 따라 결정되는 차량의 주행 모드(즉, 자율 주행 모드/수동 주행 모드, 또는 스포츠 모드(Sport Mode)/에코 모드(Eco Mode)/안전 모드(Safe Mode)/일반 모드(Normal Mode))가 상기한 운전 정보로서 운전 정보 입력 인터페이스(101)를 통해 자율 주행 통합 제어부(600)로 전달될 수 있다. 또한, 탑승자가 사용자 단말(120)을 통해 입력하는 탑승자의 목적지, 목적지까지의 경로(목적지까지의 후보 경로 중 탑승자가 선택한 최단 경로 또는 선호 경로 등)와 같은 항법 정보가 상기한 운전 정보로서 운전 정보 입력 인터페이스(101)를 통해 자율 주행 통합 제어부(600)로 전달될 수 있다. 한편, 사용자 단말(120)은 차량의 자율 주행 제어를 위한 정보를 운전자가 입력하거나 수정하기 위한 UI(User Interface)를 제공하는 제어 패널(Control Panel)(예: 터치 스크린 패널)로 구현될 수도 있으며, 이 경우 전술한 주행 모드 스위치(110)는 사용자 단말(120) 상의 터치 버튼으로 구현될 수도 있다.The autonomous driving integrated control unit 600 may obtain driving information according to the passenger's manipulation of the user input unit 100 in the vehicle's autonomous driving mode or manual driving mode through the driving information input interface 101. The user input unit 100 includes a driving mode switch 110 and a user terminal 120 (e.g., a navigation terminal mounted on a vehicle, a smartphone or tablet PC carried by a passenger, etc.) as shown as an example in FIG. 1. Accordingly, the driving information may include driving mode information and navigation information of the vehicle. For example, the driving mode of the vehicle determined according to the occupant's operation of the driving mode switch 110 (i.e., autonomous driving mode/manual driving mode, or Sport Mode/Eco Mode/Safety) Mode (Safe Mode/Normal Mode) can be transmitted to the autonomous driving integrated control unit 600 through the driving information input interface 101 as the above-described driving information. In addition, navigation information such as the passenger's destination and the route to the destination (such as the shortest route or preferred route selected by the passenger among candidate routes to the destination) that the passenger inputs through the user terminal 120 is the driving information. It may be transmitted to the autonomous driving integrated control unit 600 through the input interface 101. Meanwhile, the user terminal 120 may be implemented as a control panel (e.g., a touch screen panel) that provides a UI (User Interface) for the driver to input or modify information for autonomous driving control of the vehicle. , In this case, the aforementioned driving mode switch 110 may be implemented as a touch button on the user terminal 120.

또한, 자율 주행 통합 제어부(600)는 차량의 주행 상태를 나타내는 주행 정보를 주행 정보 입력 인터페이스(201)를 통해 획득할 수 있다. 주행 정보는 탑승자가 조향휠을 조작함에 따라 형성되는 조향각과, 가속 페달 또는 브레이크 페달을 답입함에 따라 형성되는 가속 페달 스트로크 또는 브레이크 페달의 스트로크와, 차량에 형성되는 거동으로서 차속, 가속도, 요, 피치 및 롤 등 차량의 주행 상태 및 거동을 나타내는 다양한 정보를 포함할 수 있으며, 상기 각 주행 정보는 도 1에 도시된 것과 같이 조향각 센서(210), APS(Accel Position Sensor)/PTS(Pedal Travel Sensor)(220), 차속 센서(230), 가속도 센서(240), 요/피치/롤 센서(250)를 포함하는 주행 정보 검출부(200)에 의해 검출될 수 있다. 나아가, 차량의 주행 정보는 차량의 위치 정보를 포함할 수도 있으며, 차량의 위치 정보는 차량에 적용된 GPS(Global Positioning Sysetm) 수신기(260)를 통해 획득될 수 있다. 이러한 주행 정보는 주행 정보 입력 인터페이스(201)를 통해 자율 주행 통합 제어부(600)로 전달되어 차량의 자율 주행 모드 또는 수동 주행 모드에서 차량의 주행을 제어하기 위해 활용될 수 있다.Additionally, the autonomous driving integrated control unit 600 may obtain driving information indicating the driving state of the vehicle through the driving information input interface 201. Driving information includes the steering angle formed as the passenger operates the steering wheel, the accelerator pedal stroke or brake pedal stroke formed as the passenger presses the accelerator or brake pedal, and vehicle speed, acceleration, yaw, and pitch as the behavior formed in the vehicle. and roll, etc. may include various information indicating the driving state and behavior of the vehicle, and each driving information includes a steering angle sensor 210, an Accel Position Sensor (APS)/Pedal Travel Sensor (PTS), as shown in FIG. (220), it may be detected by the driving information detection unit 200 including a vehicle speed sensor 230, an acceleration sensor 240, and a yaw/pitch/roll sensor 250. Furthermore, the vehicle's driving information may include the vehicle's location information, and the vehicle's location information may be obtained through a Global Positioning System (GPS) receiver 260 applied to the vehicle. This driving information can be transmitted to the autonomous driving integrated control unit 600 through the driving information input interface 201 and used to control the driving of the vehicle in the vehicle's autonomous driving mode or manual driving mode.

또한, 자율 주행 통합 제어부(600)는 차량의 자율 주행 모드 또는 수동 주행 모드에서 탑승자에게 제공되는 주행 상태 정보를 탑승자 출력 인터페이스(301)를 통해 출력부(300)로 전달할 수 있다. 즉, 자율 주행 통합 제어부(600)는 차량의 주행 상태 정보를 출력부(300)로 전달함으로써, 출력부(300)를 통해 출력되는 주행 상태 정보를 기반으로 탑승자가 차량의 자율 주행 상태 또는 수동 주행 상태를 확인하도록 할 수 있으며, 상기 주행 상태 정보는 이를테면 현재 차량의 주행 모드, 변속 레인지, 차속 등 차량의 주행 상태를 나타내는 다양한 정보를 포함할 수 있다. 또한, 자율 주행 통합 제어부(600)는 상기한 주행 상태 정보와 함께 차량의 자율 주행 모드 또는 수동 주행 모드에서 운전자에게 경고가 필요한 것으로 판단된 경우, 탑승자 출력 인터페이스(301)를 통해 경고 정보를 출력부(300)로 전달하여 출력부(300)가 운전자에게 경고를 출력하도록 할 수 있다. 이러한 주행 상태 정보 및 경고 정보를 청각적 및 시각적으로 출력하기 위해 출력부(300)는 도 1에 도시된 것과 같이 스피커(310) 및 디스플레이 장치(320)를 포함할 수 있다. 이때, 디스플레이 장치(320)는 전술한 사용자 단말(120)과 동일한 장치로 구현될 수도 있고, 분리된 독립적인 장치로 구현될 수도 있다.Additionally, the autonomous driving integrated control unit 600 may transmit driving status information provided to the passenger in the vehicle's autonomous driving mode or manual driving mode to the output unit 300 through the passenger output interface 301. That is, the autonomous driving integrated control unit 600 transmits the vehicle's driving status information to the output unit 300, so that the occupants can select the vehicle's autonomous driving status or manual driving status based on the driving status information output through the output unit 300. The status can be checked, and the driving status information may include various information indicating the driving status of the vehicle, such as the current vehicle driving mode, shift range, and vehicle speed. In addition, when the autonomous driving integrated control unit 600 determines that a warning is required to the driver in the vehicle's autonomous driving mode or manual driving mode along with the driving status information, the autonomous driving integrated control unit 600 outputs warning information through the passenger output interface 301. It can be transmitted to 300 so that the output unit 300 outputs a warning to the driver. In order to output such driving status information and warning information audibly and visually, the output unit 300 may include a speaker 310 and a display device 320 as shown in FIG. 1 . At this time, the display device 320 may be implemented as the same device as the user terminal 120 described above, or may be implemented as a separate and independent device.

또한, 자율 주행 통합 제어부(600)는 차량의 자율 주행 모드 또는 수동 주행 모드에서 차량의 주행 제어를 위한 제어 정보를 차량 제어 출력 인터페이스(401)를 통해 차량에 적용된 하위 제어 시스템(400)으로 전달할 수 있다. 차량의 주행 제어를 위한 하위 제어 시스템(400)은 도 1에 도시된 것과 같이 엔진 제어 시스템(410), 제동 제어 시스템(420) 및 조향 제어 시스템(430)을 포함할 수 있으며, 자율 주행 통합 제어부(600)는 상기 제어 정보로서 엔진 제어 정보, 제동 제어 정보 및 조향 제어 정보를 차량 제어 출력 인터페이스(401)를 통해 각 하위 제어 시스템(410, 420, 430)으로 전달할 수 있다. 이에 따라, 엔진 제어 시스템(410)은 엔진에 공급되는 연료를 증가 또는 감소시켜 차량의 차속 및 가속도를 제어할 수 있고, 제동 제어 시스템(420)은 차량의 제동력을 조절하여 차량의 제동을 제어할 수 있으며, 조향 제어 시스템(430)은 차량에 적용된 조향 장치(예: MDPS(Motor Driven Power Steering) 시스템)를 통해 차량의 조향을 제어할 수 있다.In addition, the autonomous driving integrated control unit 600 can transmit control information for driving control of the vehicle in the vehicle's autonomous driving mode or manual driving mode to the lower control system 400 applied to the vehicle through the vehicle control output interface 401. there is. The sub-control system 400 for driving control of the vehicle may include an engine control system 410, a braking control system 420, and a steering control system 430, as shown in FIG. 1, and an autonomous driving integrated control unit. 600 can transmit engine control information, braking control information, and steering control information as the control information to each lower control system 410, 420, and 430 through the vehicle control output interface 401. Accordingly, the engine control system 410 can control the vehicle speed and acceleration of the vehicle by increasing or decreasing the fuel supplied to the engine, and the braking control system 420 can control the braking of the vehicle by adjusting the braking force of the vehicle. The steering control system 430 may control the steering of the vehicle through a steering device applied to the vehicle (e.g., Motor Driven Power Steering (MDPS) system).

상기한 것과 같이 본 실시예의 자율 주행 통합 제어부(600)는 운전 정보 입력 인터페이스(101) 및 주행 정보 입력 인터페이스(201)를 통해 운전자의 조작에 따른 운전 정보 및 차량의 주행 상태를 나타내는 주행 정보를 각각 획득하고, 내부의 프로세서(610)에 의해 처리되는 자율 주행 알고리즘에 따라 생성되는 주행 상태 정보 및 경고 정보를 탑승자 출력 인터페이스(301)를 통해 출력부(300)로 전달할 수 있으며, 또한 내부의 프로세서(610)에 의해 처리되는 자율 주행 알고리즘에 따라 생성되는 제어 정보를 차량 제어 출력 인터페이스(401)를 통해 하위 제어 시스템(400)으로 전달하여 차량의 주행 제어가 이루어지도록 동작할 수 있다.As described above, the autonomous driving integrated control unit 600 of this embodiment provides driving information according to the driver's operation and driving information indicating the driving state of the vehicle through the driving information input interface 101 and the driving information input interface 201, respectively. The driving status information and warning information generated according to the autonomous driving algorithm obtained and processed by the internal processor 610 can be transmitted to the output unit 300 through the occupant output interface 301, and the internal processor ( The control information generated according to the autonomous driving algorithm processed by 610) may be transmitted to the lower control system 400 through the vehicle control output interface 401 to control driving of the vehicle.

한편, 차량의 안정적인 자율 주행을 보장하기 위해서는 차량의 주행 환경을 정확하게 계측함으로써 주행 상태를 지속적으로 모니터링하고 계측된 주행 환경에 맞추어 주행을 제어해야 할 필요가 있으며, 이를 위해 본 실시예의 자율 주행 장치는 도 1에 도시된 것과 같이 주변 차량, 보행자, 도로 또는 고정 시설물(예: 신호등, 이정표, 교통 표지판, 공사 펜스 등) 등 차량의 주변 객체를 검출하기 위한 센서부(500)를 포함할 수 있다. 센서부(500)는 도 1에 도시된 것과 같이 차량 외부의 주변 객체를 검출하기 위해 라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530) 중 하나 이상을 포함할 수 있다.Meanwhile, in order to ensure stable autonomous driving of the vehicle, it is necessary to continuously monitor the driving state by accurately measuring the driving environment of the vehicle and control driving according to the measured driving environment. To this end, the autonomous driving device of this embodiment is As shown in FIG. 1, it may include a sensor unit 500 for detecting objects around the vehicle, such as surrounding vehicles, pedestrians, roads, or fixed facilities (e.g., traffic lights, signposts, traffic signs, construction fences, etc.). As shown in FIG. 1, the sensor unit 500 may include one or more of a lidar sensor 510, a radar sensor 520, and a camera sensor 530 to detect surrounding objects outside the vehicle.

라이다 센서(510)는 차량 주변으로 레이저 신호를 송신하고 해당 객체에 반사되어 되돌아오는 신호를 수신하여 차량 외부의 주변 객체를 검출할 수 있으며, 그 사양에 따라 미리 정의되어 있는 설정 거리, 설정 수직 화각(Vertical Field Of View) 및 설정 수평 화각 범위(Vertical Field Of View) 이내에 위치한 주변 객체를 검출할 수 있다. 라이다 센서(510)는 차량의 전면, 상부 및 후면에 각각 설치되는 전방 라이다 센서(511), 상부 라이다 센서(512) 및 후방 라이다 센서(513)를 포함할 수 있으나, 그 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다. 해당 객체에 반사되어 되돌아오는 레이저 신호의 유효성을 판단하기 위한 임계값은 자율 주행 통합 제어부(600)의 메모리(620)에 미리 저장되어 있을 수 있으며, 자율 주행 통합 제어부(600)의 프로세서(610)는 라이다 센서(510)를 통해 송신된 레이저 신호가 해당 객체에 반사되어 되돌아오는 시간을 측정하는 방식을 통해 해당 객체의 위치(해당 객체까지의 거리를 포함한다), 속도 및 이동 방향을 판단할 수 있다.The LiDAR sensor 510 can detect surrounding objects outside the vehicle by transmitting a laser signal to the surroundings of the vehicle and receiving a signal that is reflected and returned by the object, and has a predefined set distance and set vertical according to its specifications. It is possible to detect surrounding objects located within the vertical field of view and setting horizontal field of view. The LiDAR sensor 510 may include a front LiDAR sensor 511, an upper LiDAR sensor 512, and a rear LiDAR sensor 513, which are installed at the front, top, and rear of the vehicle, respectively, but their installation locations and number of installations are not limited to specific embodiments. The threshold for determining the validity of the laser signal reflected by the object and returned may be pre-stored in the memory 620 of the autonomous driving integrated control unit 600, and the processor 610 of the autonomous driving integrated control unit 600 Determines the location (including the distance to the object), speed, and direction of movement of the object by measuring the time when the laser signal transmitted through the lidar sensor 510 is reflected by the object and returns. You can.

레이더 센서(520)는 차량 주변으로 전자파를 방사하고 해당 객체에 반사되어 되돌아오는 신호를 수신하여 차량 외부의 주변 객체를 검출할 수 있으며, 그 사양에 따라 미리 정의되어 있는 설정 거리, 설정 수직 화각 및 설정 수평 화각 범위 이내에 위치한 주변 객체를 검출할 수 있다. 레이더 센서(520)는 차량의 전면, 좌측면, 우측면 및 후면에 각각 설치되는 전방 레이더 센서(521), 좌측 레이더 센서(521), 우측 레이더 센서(522) 및 후방 레이더 센서(523)를 포함할 수 있으나, 그 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다. 자율 주행 통합 제어부(600)의 프로세서(610)는 레이더 센서(520)를 통해 송수신된 전자파의 파워(Power)를 분석하는 방식을 통해 해당 객체의 위치(해당 객체까지의 거리를 포함한다), 속도 및 이동 방향을 판단할 수 있다.The radar sensor 520 can detect surrounding objects outside the vehicle by radiating electromagnetic waves around the vehicle and receiving signals that are reflected and returned by the object, and can detect a predefined distance, a vertical angle of view, and a predefined distance according to its specifications. Surrounding objects located within the set horizontal angle of view can be detected. The radar sensor 520 may include a front radar sensor 521, a left radar sensor 521, a right radar sensor 522, and a rear radar sensor 523, which are installed on the front, left side, right side, and rear of the vehicle, respectively. However, the installation location and number of installations are not limited to specific embodiments. The processor 610 of the autonomous driving integrated control unit 600 analyzes the power of electromagnetic waves transmitted and received through the radar sensor 520 to determine the location (including the distance to the object) and speed of the object. and direction of movement can be determined.

카메라 센서(530)는 차량 주변을 촬상하여 차량 외부의 주변 객체를 검출할 수 있으며, 그 사양에 따라 미리 정의되어 있는 설정 거리, 설정 수직 화각 및 설정 수평 화각 범위 이내에 위치한 주변 객체를 검출할 수 있다. 카메라 센서(530)는 차량의 전면, 좌측면, 우측면 및 후면에 각각 설치되는 전방 카메라 센서(531), 좌측 카메라 센서(532), 우측 카메라 센서(533) 및 후방 카메라 센서(534)를 포함할 수 있으나, 그 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다. 자율 주행 통합 제어부(600)의 프로세서(610)는 카메라 센서(530)를 통해 촬상된 이미지에 대하여 미리 정의된 영상 처리 프로세싱을 적용함으로써 해당 객체의 위치(해당 객체까지의 거리를 포함한다), 속도 및 이동 방향을 판단할 수 있다. 또한, 차량 내부를 촬상하기 위한 내부 카메라 센서(535)가 차량의 내부의 소정 위치(예: 리어뷰 미러)에 장착되어 있을 수 있으며, 자율 주행 통합 제어부(600)의 프로세서(610)는 내부 카메라 센서(535)를 통해 획득된 이미지를 기반으로 탑승자의 거동 및 상태를 모니터링하여 전술한 출력부(300)를 통해 탑승자에게 안내 또는 경고를 출력할 수도 있다.The camera sensor 530 can detect surrounding objects outside the vehicle by capturing images around the vehicle, and can detect surrounding objects located within a predefined range of a set distance, a set vertical angle of view, and a set horizontal angle of view according to its specifications. . The camera sensor 530 may include a front camera sensor 531, a left camera sensor 532, a right camera sensor 533, and a rear camera sensor 534 installed on the front, left side, right side, and rear of the vehicle, respectively. However, the installation location and number of installations are not limited to specific embodiments. The processor 610 of the autonomous driving integrated control unit 600 applies predefined image processing to the image captured through the camera sensor 530 to determine the location (including the distance to the object) and speed of the object. and direction of movement can be determined. Additionally, an internal camera sensor 535 for capturing images of the inside of the vehicle may be mounted at a predetermined location inside the vehicle (e.g., a rearview mirror), and the processor 610 of the autonomous driving integrated control unit 600 may use the internal camera. Based on the image acquired through the sensor 535, the occupant's behavior and status may be monitored and guidance or warnings may be output to the occupant through the above-described output unit 300.

라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530)뿐만 아니라, 센서부(500)는 도 1에 도시된 것과 같이 초음파 센서(540)를 더 포함할 수도 있으며, 이와 함께 차량의 주변 객체를 검출하기 위한 다양한 형태의 센서가 센서부(500)에 더 채용될 수도 있다. 도 3은 본 실시예의 이해를 돕기 위해 전방 라이다 센서(511) 또는 전방 레이더 센서(521)가 차량의 전면에 설치되고, 후방 라이다 센서(513) 또는 후방 레이더 센서(524)가 차량의 후면에 설치되며, 전방 카메라 센서(531), 좌측 카메라 센서(532), 우측 카메라 센서(533) 및 후방 카메라 센서(534)가 각각 차량의 전면, 좌측면, 우측면 및 후면에 설치된 예시를 도시하고 있으나, 전술한 것과 같이 각 센서의 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다. 도 5는 라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530)가 전방의 주변 객체를 검출할 수 있는 설정 거리 및 수평 화각의 예시를 도시하고 있으며, 도 6은 각 센서가 주변 객체를 검출하는 예시를 도시하고 있다. 도 6은 주변 객체 검출의 일 예시일 뿐, 주변 객체 검출 방식은 센서의 설치 위치 및 설치 수에 의존하여 결정된다. 전술한 센서부(500)의 구성에 따라 자차량의 전방위 영역의 주변 차량 및 주변 객체가 검출될 수 있다.In addition to the lidar sensor 510, radar sensor 520, and camera sensor 530, the sensor unit 500 may further include an ultrasonic sensor 540 as shown in FIG. 1, along with the vehicle's Various types of sensors for detecting surrounding objects may be further employed in the sensor unit 500. 3 shows that the front lidar sensor 511 or the front radar sensor 521 is installed at the front of the vehicle, and the rear lidar sensor 513 or rear radar sensor 524 is installed at the rear of the vehicle to help understand this embodiment. It is installed in, and shows an example where the front camera sensor 531, left camera sensor 532, right camera sensor 533, and rear camera sensor 534 are installed on the front, left side, right side, and rear of the vehicle, respectively. , As described above, the installation location and number of each sensor are not limited to a specific embodiment. Figure 5 shows an example of the set distance and horizontal angle of view at which the lidar sensor 510, radar sensor 520, and camera sensor 530 can detect surrounding objects in front, and Figure 6 shows each sensor's surrounding objects. An example of detecting an object is shown. Figure 6 is only an example of surrounding object detection, and the surrounding object detection method is determined depending on the installation location and number of sensors. According to the configuration of the sensor unit 500 described above, surrounding vehicles and surrounding objects in the omnidirectional area of the host vehicle can be detected.

나아가, 센서부(500)는 차량에 탑승한 탑승자의 상태 판단을 위해, 탑승자의 음성 및 생체 신호(예: 심박수, 심전도, 호흡, 혈압, 체온, 뇌파, 혈류(맥파) 및 혈당 등)를 검출하기 위한 마이크 및 생체 센서를 더 포함할 수도 있으며, 생체 센서로는 심박수 센서, 심전도(Electrocardiogram) 센서, 호흡 센서, 혈압 센서, 체온 센서, 뇌파(Electroencephalogram) 센서, 혈류(Photoplethysmography) 센서 및 혈당 센서 등이 있을 수 있다.Furthermore, the sensor unit 500 detects the occupant's voice and biosignals (e.g., heart rate, electrocardiogram, respiration, blood pressure, body temperature, brain wave, blood flow (pulse wave), and blood sugar, etc.) to determine the condition of the occupant in the vehicle. It may further include a microphone and a biometric sensor, and the biometric sensors include a heart rate sensor, electrocardiogram sensor, respiration sensor, blood pressure sensor, body temperature sensor, electroencephalogram sensor, blood flow sensor, and blood sugar sensor. This can be.

도 4는 차량의 내부 구조의 예시를 도시하고 있으며, 차량의 내부에는 차량의 운전자 또는 동승자와 같은 탑승자의 조작에 의해 그 상태가 제어되어 탑승자의 운전 또는 편의(예: 휴식, 엔터테인먼트 활동 등)를 지원하기 위한 내부 장치가 설치되어 있을 수 있다. 이러한 내부 장치에는 탑승자가 안착하는 차량 시트(S), 내부 라이트 및 무드등과 같은 조명 장치(L), 전술한 사용자 단말(120) 및 디스플레이 장치(320), 내부 테이블 등이 포함될 수 있으며, 이러한 내부 장치는 프로세서(610)에 의해 그 상태가 제어될 수 있다.Figure 4 shows an example of the internal structure of a vehicle, and the state of the interior of the vehicle is controlled by the operation of the vehicle's occupants, such as the driver or passenger, to facilitate the occupant's driving or convenience (e.g., rest, entertainment activities, etc.). Internal devices may be installed to support it. These internal devices may include the vehicle seat (S) on which the occupants sit, lighting devices (L) such as interior lights and mood lights, the user terminal 120 and display device 320 described above, internal tables, etc. The state of the internal device may be controlled by the processor 610.

차량 시트(S)의 경우, 그 각도가 프로세서(610)에 의해(또는 탑승자의 수동 조작에 의해) 조절될 수 있으며, 차량 시트(S)가 앞 열 시트(S1) 및 뒷 열 시트(S2)로 구성되어 있는 경우 앞 열 시트(S1)의 각도만 조절될 수 있다. 뒷 열 시트(S2)가 구비되어 있지 않은 경우로서 앞 열 시트(S1)가 시트 구조 및 발받침 구조로 구분되어 있는 경우에는 앞 열 시트(S1)의 시트 구조가 발받침 구조와 물리적으로 분리되고 그 각도가 조절되도록 구현될 수 있다. 또한, 차량 시트(S)의 각도를 조절하기 위한 액추에이터(예: 모터)가 마련되어 있을 수 있다. 조명 장치(L)의 경우, 그 온오프가 프로세서(610)에 의해(또는 탑승자의 수동 조작에 의해) 제어될 수 있으며, 조명 장치(L)가 내부 라이트 및 무드등과 같이 복수의 조명 유닛을 포함할 경우 각각의 조명 유닛은 그 온오프가 독립적으로 제어될 수 있다. 사용자 단말(120) 또는 디스플레이 장치(320)는 탑승자의 시야각에 따라 그 각도가 프로세서(610)에 의해(또는 탑승자의 수동 조작에 의해) 조절될 수 있으며, 예를 들어 탑승자의 시선 방향에 그 화면이 존재하도록 각도가 조절될 수 있다. 이 경우, 사용자 단말(120) 및 디스플레이 장치(320)의 각도를 조절하기 위한 액추에이터(예: 모터)가 마련되어 있을 수 있다.In the case of the vehicle seat (S), the angle can be adjusted by the processor 610 (or by manual operation of the passenger), and the vehicle seat (S) is divided into the front row seat (S1) and the rear row seat (S2). If configured, only the angle of the front row seat (S1) can be adjusted. In the case where the rear row seat (S2) is not provided and the front row seat (S1) is divided into a seat structure and a footrest structure, the seat structure of the front row seat (S1) is physically separated from the footrest structure. The angle may be implemented to be adjusted. Additionally, an actuator (eg, motor) may be provided to adjust the angle of the vehicle seat (S). In the case of the lighting device (L), its on/off may be controlled by the processor 610 (or by manual operation of the passenger), and the lighting device (L) may operate a plurality of lighting units, such as an interior light and a mood light. When included, each lighting unit can be independently controlled on and off. The angle of the user terminal 120 or the display device 320 may be adjusted by the processor 610 (or by the passenger's manual operation) according to the passenger's viewing angle, for example, the screen may be adjusted in the passenger's gaze direction. The angle can be adjusted so that there is. In this case, an actuator (eg, motor) may be provided to adjust the angle of the user terminal 120 and the display device 320.

자율 주행 통합 제어부(600)는 도 1에 도시된 것과 같이 네트워크를 통해 서버(700)와 통신할 수 있다. 자율 주행 통합 제어부(600) 및 서버(700) 간의 네트워크 방식으로는 WAN(Wide Area Network), LAN(Local Area Network), 또는 PAN(Personal Area Network) 등 다양한 통신 방식이 채용될 수 있다. 또한, 넓은 네트워크 커버리지를 확보하기 위해, LPWAN(Low Power Wide Area Network, 사물 인터넷 중 커버리지가 매우 넓은 네트워크로서, LoRa, Sigfox, Ingenu, LTE-M, NB-IOT 등의 상용화된 기술을 포함) 통신 방식이 채용될 수 있다. 예를 들어, LoRa(저전력의 통신이 가능하면서도 최대 20Km 정도로 넓은 커버리지를 가짐), 또는 Sigfox(환경에 따라 10Km(도심) 내지 30Km(도심을 벗어난 외곽 지역)의 커버리지를 가짐)의 통신 방식이 채용될 수 있으며, 나아가 전력 절약 모드(PSM: Power Saving Mode)를 갖는 LTE-MTC(Machine-type Communications)(또는, LTE-M), NB(Narrowband) LTE-M, NB IoT와 같은 3GPP(3rd Generation Partnership Project) 릴리즈 12, 13 기반의 LTE 네트워크 기술이 채용될 수도 있다. 서버(700)는 최신성이 유지되는 지도 정보(2차원 항법 지도 데이터, 3차원 격지 지도 데이터, 또는 3차원 고정밀 전자지도 데이터 등 다양한 지도 정보가 해당될 수 있다)를 제공할 수 있으며, 나아가 도로의 사고 정보, 도로 통제 정보, 교통량 정보 및 기상 정보 등 다양한 정보를 제공할 수도 있다. 자율 주행 통합 제어부(600)는 서버(700)로부터 최신의 지도 정보를 전달받아 메모리(620)에 저장된 지도 정보를 갱신할 수 있고, 사고 정보, 도로 통제 정보, 교통량 정보 및 기상 정보를 제공받아 차량의 자율 주행 제어에 활용할 수도 있다.The autonomous driving integrated control unit 600 may communicate with the server 700 through a network as shown in FIG. 1. As a network method between the autonomous driving integrated control unit 600 and the server 700, various communication methods such as WAN (Wide Area Network), LAN (Local Area Network), or PAN (Personal Area Network) may be adopted. In addition, in order to secure wide network coverage, LPWAN (Low Power Wide Area Network, a network with very wide coverage among the Internet of Things, including commercialized technologies such as LoRa, Sigfox, Ingenu, LTE-M, and NB-IOT) communication method can be adopted. For example, communication methods such as LoRa (which enables low-power communication and has a wide coverage of up to 20 km) or Sigfox (which has a coverage of 10 km (in the city center) to 30 km (outside the city center) depending on the environment) are adopted. 3GPP (3rd Generation) such as LTE-MTC (Machine-type Communications) (or LTE-M) with Power Saving Mode (PSM), NB (Narrowband) LTE-M, and NB IoT. Partnership Project) Release 12 and 13-based LTE network technology may be adopted. The server 700 can provide map information that maintains up-to-dateness (various map information may apply, such as 2D navigation map data, 3D remote area map data, or 3D high-precision electronic map data), and further provides road It can also provide various information such as accident information, road control information, traffic information, and weather information. The self-driving integrated control unit 600 receives the latest map information from the server 700 and can update the map information stored in the memory 620, and receives accident information, road control information, traffic volume information, and weather information to It can also be used for autonomous driving control.

다음으로, 도 2를 참조하여 본 실시예의 자율 주행 통합 제어부(600)의 구조 및 기능에 대하여 설명한다. 도 2에 도시된 것과 같이 자율 주행 통합 제어부(600)는 프로세서(610) 및 메모리(620)를 포함할 수 있다.Next, the structure and function of the autonomous driving integrated control unit 600 of this embodiment will be described with reference to FIG. 2. As shown in FIG. 2, the autonomous driving integrated control unit 600 may include a processor 610 and a memory 620.

메모리(620)는 차량의 자율 주행 제어를 위해 필요한 기본 정보를 저장하거나, 프로세서(610)에 의해 차량의 자율 주행이 제어되는 과정에서 생성되는 정보를 저장할 수 있으며, 프로세서(610)는 메모리(620)에 저장된 정보에 접근(read, access)하여 차량의 자율 주행을 제어할 수 있다. 메모리(620)는 컴퓨터로 판독 가능한 기록 매체로 구현되어 프로세서(610)가 접근 가능하도록 동작할 수 있다. 구체적으로, 메모리(620)는 하드 드라이브(Hard Drive), 자기 테이프, 메모리 카드(Memory Card), ROM(Read-Only Memory), RAM(Random-Access Memory), DVD(Digital Video Disc) 또는 광학 디스크와 같은 광 데이터 저장장치로 구현될 수 있다.The memory 620 may store basic information necessary for autonomous driving control of the vehicle, or may store information generated in the process of controlling the autonomous driving of the vehicle by the processor 610, and the processor 610 may store the memory 620. You can control the autonomous driving of the vehicle by accessing (read, accessing) the information stored in ). The memory 620 may be implemented as a computer-readable recording medium so that the processor 610 can access it. Specifically, the memory 620 is a hard drive, magnetic tape, memory card, read-only memory (ROM), random-access memory (RAM), digital video disc (DVD), or optical disc. It can be implemented as an optical data storage device such as .

메모리(620)에는 프로세서(610)에 의한 자율 주행 제어에 요구되는 지도 정보가 저장되어 있을 수 있다. 메모리(620)에 저장된 지도 정보는 도로 단위의 정보를 제공하는 항법 지도(수치지형도)일 수도 있으나, 자율 주행 제어의 정밀도를 향상하기 위해 차선(Lane) 단위의 도로 정보를 제공하는 정밀 도로 지도, 즉 3차원 고정밀 전자지도 데이터로 구현됨이 바람직할 수 있다. 이에 따라, 메모리(620)에 저장된 지도 정보는 차선, 차로 중심선, 규제선, 도로 경계, 도로 중심선, 교통 표지, 노면 표지, 도로의 형상 및 높이, 차선 너비 등 차량의 자율 주행 제어에 필요한 동적 및 정적 정보를 제공할 수 있다.The memory 620 may store map information required for autonomous driving control by the processor 610. The map information stored in the memory 620 may be a navigation map (digital topographic map) that provides road-level information, but in order to improve the precision of autonomous driving control, a precision road map that provides lane-level road information, In other words, it may be desirable to implement it as 3D high-precision electronic map data. Accordingly, the map information stored in the memory 620 includes dynamic and Static information can be provided.

또한, 메모리(620)에는 차량의 자율 주행 제어를 위한 자율 주행 알고리즘이 저장되어 있을 수 있다. 자율 주행 알고리즘은 자율 주행 차량 주변을 인식하고 그 상태를 판단하여 그 판단 결과에 따라 차량의 주행을 제어하는 알고리즘(인식, 판단 및 제어 알고리즘)으로서, 프로세서(610)는 메모리(620)에 저장된 자율 주행 알고리즘을 실행하여 차량의 주변 환경에 능동적인 자율 주행 제어를 수행할 수 있다.Additionally, the memory 620 may store an autonomous driving algorithm for controlling the autonomous driving of a vehicle. The autonomous driving algorithm is an algorithm (recognition, judgment and control algorithm) that recognizes the surroundings of the autonomous vehicle, determines its status, and controls the driving of the vehicle according to the judgment result. The processor 610 uses the autonomous driving algorithm stored in the memory 620. By executing driving algorithms, active autonomous driving control can be performed based on the vehicle's surrounding environment.

프로세서(610)는 전술한 운전 정보 입력 인터페이스(101) 및 주행 정보 입력 인터페이스(201)로부터 각각 입력되는 운전 정보 및 주행 정보와, 센서부(500)를 통해 검출된 주변 객체에 대한 정보와, 메모리(620)에 저장된 지도 정보 및 자율 주행 알고리즘을 기반으로 차량의 자율 주행을 제어할 수 있다. 프로세서(610)는 CISC(Complex Instruction Set Computer) 또는 RISC(Reduced Instruction Set Computer)와 같은 임베디드 프로세서(Embedded Processor), 또는 주문형 반도체(ASIC: Application Specific Integrated Circuit)와 같은 전용 반도체 회로로 구현될 수도 있다.The processor 610 includes driving information and driving information input from the driving information input interface 101 and the driving information input interface 201, information on surrounding objects detected through the sensor unit 500, and a memory. The autonomous driving of the vehicle can be controlled based on the map information and autonomous driving algorithm stored in 620. The processor 610 may be implemented as an embedded processor such as a Complex Instruction Set Computer (CISC) or Reduced Instruction Set Computer (RISC), or a dedicated semiconductor circuit such as an Application Specific Integrated Circuit (ASIC). .

본 실시예에서 프로세서(610)는 자차량 및 주변 차량의 각 주행 궤적을 분석하여 자차량의 자율 주행을 제어할 수 있으며, 이를 위해 도 2에 도시된 것과 같이 프로세서(610)는 센서 처리 모듈(611), 주행 궤적 생성 모듈(612), 주행 궤적 분석 모듈(613), 주행 제어 모듈(614), 궤적 학습 모듈(615) 및 탑승자 상태 판단 모듈(616)을 포함할 수 있다. 도 2는 기능에 따라 각 모듈을 독립적인 블록으로 도시하고 있으나, 각 모듈이 하나의 모듈로 통합되어 각각의 기능을 통합적으로 수행하는 구성으로 구현될 수도 있다.In this embodiment, the processor 610 can control the autonomous driving of the own vehicle by analyzing each driving trajectory of the own vehicle and surrounding vehicles. To this end, as shown in FIG. 2, the processor 610 includes a sensor processing module ( 611), a driving trajectory generation module 612, a driving trajectory analysis module 613, a driving control module 614, a trajectory learning module 615, and an occupant status determination module 616. Figure 2 shows each module as an independent block according to its function, but each module may be integrated into one module and implemented in a configuration that performs each function in an integrated manner.

센서 처리 모듈(611)은 센서부(500)를 통해 자차량의 주변 차량이 검출된 결과를 기반으로 주변 차량의 주행 정보(즉, 주변 차량의 위치를 포함하며, 위치와 함께 주변 차량의 속도 및 이동 방향을 더 포함할 수도 있다)를 판단할 수 있다. 즉, 라이다 센서(510)를 통해 수신된 신호를 기반으로 주변 차량의 위치를 판단하거나, 레이더 센서(520)를 통해 수신된 신호를 기반으로 주변 차량의 위치를 판단하거나, 카메라 센서(530)를 통해 촬상된 이미지를 기반으로 주변 차량의 위치를 판단하거나, 초음파 센서(540)를 통해 수신된 신호를 기반으로 주변 차량의 위치를 판단할 수 있다. 이를 위해, 도 1에 도시된 것과 같이 센서 처리 모듈(611)은 라이다 신호 처리 모듈(611a), 레이더 신호 처리 모듈(611b) 및 카메라 신호 처리 모듈(611c)을 포함할 수 있다(초음파 신호 처리 모듈이 센서 처리 모듈(611)에 더 부가될 수도 있다). 라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530)를 활용하여 주변 차량의 위치를 결정하는 방법은 특정의 실시예로 그 구현 방식이 한정되지 않는다. 또한, 센서 처리 모듈(611)은 주변 차량의 위치, 속도 및 이동 방향뿐만 아니라 주변 차량의 크기 및 종류 등의 속성 정보를 판단할 수도 있으며, 상기와 같은 주변 차량의 위치, 속도, 이동 방향, 크기 및 종류와 같은 정보를 판단하기 위한 알고리즘이 미리 정의되어 있을 수 있다.The sensor processing module 611 includes driving information (i.e., the location of the surrounding vehicle) of the surrounding vehicle based on the result of detecting the vehicle surrounding the own vehicle through the sensor unit 500, and includes the location, speed and (may also include the direction of movement) can be determined. That is, the location of surrounding vehicles is determined based on the signal received through the lidar sensor 510, the location of the surrounding vehicle is determined based on the signal received through the radar sensor 520, or the camera sensor 530 The location of surrounding vehicles can be determined based on images captured through, or the location of surrounding vehicles can be determined based on signals received through the ultrasonic sensor 540. To this end, as shown in FIG. 1, the sensor processing module 611 may include a lidar signal processing module 611a, a radar signal processing module 611b, and a camera signal processing module 611c (ultrasonic signal processing Additional modules may be added to the sensor processing module 611). The method of determining the location of surrounding vehicles using the lidar sensor 510, radar sensor 520, and camera sensor 530 is not limited in implementation to a specific embodiment. In addition, the sensor processing module 611 may determine attribute information such as the size and type of surrounding vehicles as well as the location, speed, and direction of movement of surrounding vehicles. An algorithm for determining information such as and type may be predefined.

주행 궤적 생성 모듈(612)은 주변 차량의 실제 주행 궤적 및 예상 주행 궤적과, 자차량의 실제 주행 궤적을 생성할 수 있으며, 이를 위해 도 2에 도시된 것과 같이 주변 차량 주행 궤적 생성 모듈(612a) 및 자차량 주행 궤적 생성 모듈(612b)을 포함할 수 있다.The driving trajectory generation module 612 can generate the actual driving trajectory and expected driving trajectory of surrounding vehicles, and the actual driving trajectory of the own vehicle, and for this purpose, the surrounding vehicle driving trajectory generation module 612a is used as shown in FIG. 2. and a self-vehicle driving trajectory generation module 612b.

먼저, 주변 차량 주행 궤적 생성 모듈(612a)은 주변 차량의 실제 주행 궤적을 생성할 수 있다.First, the surrounding vehicle driving trajectory generation module 612a can generate the actual driving trajectory of surrounding vehicles.

구체적으로, 주변 차량 주행 궤적 생성 모듈(612a)은 센서부(500)에 의해 검출된 주변 차량의 주행 정보(즉, 센서 처리 모듈(611)에 의해 결정된 주변 차량의 위치)에 기초하여 주변 차량의 실제 주행 궤적을 생성할 수 있다. 이 경우, 주변 차량의 실제 주행 궤적을 생성하기 위해 주변 차량 주행 궤적 생성 모듈(612a)은 메모리(620)에 저장된 지도 정보를 참조할 수 있으며, 센서부(500)에 의해 검출된 주변 차량의 위치와 메모리(620)에 저장된 지도 정보 상의 임의의 위치를 교차 참조(Cross Reference)하여 주변 차량의 실제 주행 궤적을 생성할 수 있다. 예를 들어, 주변 차량 주행 궤적 생성 모듈(612a)은 센서부(500)에 의해 특정 지점에서 주변 차량이 검출된 경우, 검출된 주변 차량의 위치와 메모리(620)에 저장된 지도 정보 상의 임의의 위치를 교차 참조함으로써 지도 정보 상에서 현재 검출된 주변 차량의 위치를 특정할 수 있으며, 상기와 같이 주변 차량의 위치를 지속적으로 모니터링함으로써 주변 차량의 실제 주행 궤적을 생성할 수 있다. 즉, 주변 차량 주행 궤적 생성 모듈(612a)은 상기의 교차 참조를 기반으로, 센서부(500)에 의해 검출된 주변 차량의 위치를 메모리(620)에 저장된 지도 정보 상의 위치로 매핑하고 누적함으로써 주변 차량의 실제 주행 궤적을 생성할 수 있다.Specifically, the surrounding vehicle driving trajectory generation module 612a determines the surrounding vehicle driving information (i.e., the location of the surrounding vehicle determined by the sensor processing module 611) of the surrounding vehicle detected by the sensor unit 500. Actual driving trajectories can be created. In this case, in order to generate the actual driving trajectory of the surrounding vehicle, the surrounding vehicle driving trajectory generation module 612a may refer to the map information stored in the memory 620, and the location of the surrounding vehicle detected by the sensor unit 500. The actual driving trajectory of surrounding vehicles can be generated by cross-referencing arbitrary locations on the map information stored in the memory 620. For example, when a surrounding vehicle is detected at a specific point by the sensor unit 500, the surrounding vehicle driving trace generation module 612a selects the location of the detected surrounding vehicle and a random location on the map information stored in the memory 620. By cross-referencing, the location of the surrounding vehicle currently detected on the map information can be specified, and the actual driving trajectory of the surrounding vehicle can be generated by continuously monitoring the location of the surrounding vehicle as described above. That is, the surrounding vehicle driving trace generation module 612a maps and accumulates the locations of surrounding vehicles detected by the sensor unit 500 to the locations on the map information stored in the memory 620, based on the above cross-reference. The actual driving trajectory of the vehicle can be generated.

한편, 주변 차량의 실제 주행 궤적은 후술하는 주변 차량의 예상 주행 궤적과 비교되어 메모리(620)에 저장된 지도 정보의 부정확 여부를 판단하기 위해 활용될 수 있다. 이 경우, 어느 특정한 주변 차량의 실제 주행 궤적을 예상 주행 궤적과 비교할 경우 지도 정보가 정확함에도 불구하고 부정확한 것으로 오판단하는 문제가 발생할 수 있다. 예를 들어, 다수의 주변 차량의 실제 주행 궤적과 예상 주행 궤적이 일치하고, 어느 특정 주변 차량의 실제 주행 궤적과 예상 주행 궤적이 상이할 경우, 상기 특정 주변 차량의 실제 주행 궤적만을 예상 주행 궤적과 비교하면 지도 정보가 정확함에도 불구하고 부정확한 것으로 오판단하게 될 수 있다. 따라서, 복수의 주변 차량의 실제 주행 궤적의 경향성이 예상 주행 궤적을 벗어나는지 여부를 판단할 필요성이 있으며, 이를 위해 주변 차량 주행 궤적 생성 모듈(612a)은 복수의 주변 차량의 실제 주행 궤적을 각각 생성할 수도 있다. 나아가, 주변 차량의 운전자가 직선 경로 주행을 위해 주행 과정에서 조향휠을 좌우측으로 다소 움직이는 경향이 있음을 고려하면 주변 차량의 실제 주행 궤적은 직선이 아닌 굴곡이 있는 형태로 생성될 수도 있으며, 후술하는 예상 주행 궤적 간의 오차 산출을 위해 주변 차량 주행 궤적 생성 모듈(612a)은 굴곡이 있는 형태로 생성되는 원시의 실제 주행 궤적에 소정의 평활화 기법을 적용하여 직선 형태의 실제 주행 궤적을 생성할 수도 있다. 평활화 기법으로는 주변 차량의 각 위치에 대한 보간(interpolation) 등 다양한 기법이 채용될 수 있다.Meanwhile, the actual driving trajectories of surrounding vehicles can be compared with the expected driving trajectories of surrounding vehicles, which will be described later, and used to determine whether the map information stored in the memory 620 is inaccurate. In this case, when comparing the actual driving trajectory of a specific nearby vehicle with the expected driving trajectory, a problem may arise where the map information is misjudged as inaccurate even though it is accurate. For example, if the actual and expected driving trajectories of a number of surrounding vehicles are identical, and the actual and expected driving trajectories of a specific surrounding vehicle are different, only the actual driving trajectory of the specific surrounding vehicle is the expected driving trajectory and Comparison may lead to misjudgment that the map information is inaccurate even though it is accurate. Therefore, there is a need to determine whether the tendency of the actual driving trajectories of a plurality of surrounding vehicles deviates from the expected driving trajectory, and for this purpose, the surrounding vehicle driving trajectory generation module 612a generates the actual driving trajectories of a plurality of surrounding vehicles, respectively. You may. Furthermore, considering that drivers of surrounding vehicles tend to move the steering wheel somewhat to the left and right during the driving process to drive on a straight path, the actual driving trajectory of surrounding vehicles may be generated in a curved form rather than a straight line, which will be described later. In order to calculate the error between the expected driving trajectories, the surrounding vehicle driving trajectory generation module 612a may apply a predetermined smoothing technique to the original actual driving trajectory generated in a curved shape to generate an actual driving trajectory in a straight shape. As a smoothing technique, various techniques such as interpolation for each position of surrounding vehicles can be employed.

또한, 주변 차량 주행 궤적 생성 모듈(612a)은 메모리(620)에 저장된 지도 정보에 기초하여 주변 차량의 예상 주행 궤적을 생성할 수 있다.Additionally, the surrounding vehicle driving trajectory generation module 612a may generate an expected driving trajectory of surrounding vehicles based on map information stored in the memory 620.

전술한 것과 같이 메모리(620)에 저장된 지도 정보는 3차원 고정밀 전자지도 데이터일 수 있으며, 따라서 지도 정보는 차선, 차로 중심선, 규제선, 도로 경계, 도로 중심선, 교통 표지, 노면 표지, 도로의 형상 및 높이, 차선 너비 등 차량의 자율 주행 제어에 필요한 동적 및 정적 정보를 제공할 수 있다. 일반적으로 차량은 차로의 중앙에서 주행하는 점을 고려하면, 자차량의 주변에서 주행하고 있는 주변 차량 또한 차로의 중앙에서 주행할 것으로 예상될 수 있으며, 따라서 주변 차량 주행 궤적 생성 모듈(612a)은 주변 차량의 예상 주행 궤적을 지도 정보에 반영되어 있는 차로 중심선으로서 생성할 수 있다.As described above, the map information stored in the memory 620 may be 3D high-precision electronic map data, and therefore the map information includes lanes, lane center lines, regulation lines, road boundaries, road center lines, traffic signs, road surface signs, and road shapes. It can provide dynamic and static information necessary for autonomous vehicle driving control, such as height and lane width. Considering that vehicles generally drive in the center of the lane, surrounding vehicles driving around the own vehicle can also be expected to drive in the center of the lane, and therefore the surrounding vehicle driving trajectory generation module 612a The vehicle's expected driving trajectory can be generated as the lane center line reflected in map information.

자차량 주행 궤적 생성 모듈(612b)은 전술한 주행 정보 입력 인터페이스(201)를 통해 획득되는 자차량의 주행 정보에 기초하여 자차량이 현재까지 주행한 실제 주행 궤적을 생성할 수 있다.The host vehicle driving trajectory generation module 612b may generate the actual driving trajectory that the host vehicle has driven to date based on the driving information of the host vehicle obtained through the driving information input interface 201 described above.

구체적으로, 자차량 주행 궤적 생성 모듈(612b)은 주행 정보 입력 인터페이스(201)를 통해 획득되는 자차량의 위치(즉, GPS 수신기(260)를 통해 획득된 자차량의 위치 정보)와 메모리(620)에 저장된 지도 정보 상의 임의의 위치를 교차 참조(Cross Reference)하여 자차량의 실제 주행 궤적을 생성할 수 있다. 예를 들어, 주행 정보 입력 인터페이스(201)를 통해 획득되는 자차량의 위치와 메모리(620)에 저장된 지도 정보 상의 임의의 위치를 교차 참조함으로써 지도 정보 상에서 현재 자차량의 위치를 특정할 수 있으며, 상기와 같이 자차량의 위치를 지속적으로 모니터링함으로써 자차량의 실제 주행 궤적을 생성할 수 있다. 즉, 자차량 주행 궤적 생성 모듈(612b)은 상기의 교차 참조를 기반으로, 주행 정보 입력 인터페이스(201)를 통해 획득되는 자차량의 위치를 메모리(620)에 저장된 지도 정보 상의 위치로 매핑하고 누적함으로써 자차량의 실제 주행 궤적을 생성할 수 있다.Specifically, the host vehicle driving trajectory generation module 612b includes the location of the host vehicle acquired through the driving information input interface 201 (i.e., the location information of the host vehicle acquired through the GPS receiver 260) and the memory 620. You can create the actual driving trajectory of your vehicle by cross-referencing an arbitrary location on the map information stored in ). For example, the current location of the host vehicle on the map information can be specified by cross-referencing the position of the host vehicle obtained through the driving information input interface 201 and an arbitrary location on the map information stored in the memory 620, As described above, the actual driving trajectory of the own vehicle can be generated by continuously monitoring the location of the own vehicle. That is, the host vehicle driving trajectory generation module 612b maps the position of the host vehicle obtained through the driving information input interface 201 to the position on the map information stored in the memory 620 and accumulates the position of the host vehicle based on the above cross-reference. By doing so, the actual driving trajectory of the own vehicle can be generated.

또한, 자차량 주행 궤적 생성 모듈(612b)은 메모리에 저장된 지도 정보에 기초하여 자차량이 목적지까지 주행해야 할 예상 주행 궤적을 생성할 수 있다.Additionally, the host vehicle driving trajectory generation module 612b may generate an expected driving trajectory along which the host vehicle should drive to the destination based on map information stored in the memory.

즉, 자차량 주행 궤적 생성 모듈(612b)은 주행 정보 입력 인터페이스(201)를 통해 획득되는 자차량의 현재 위치(즉, GPS 수신기(260)를 통해 획득된 자차량의 현재 위치 정보)와 메모리에 저장된 지도 정보를 이용하여 목적지까지의 예상 주행 궤적을 생성할 수 있으며, 자차량의 예상 주행 궤적은 주변 차량의 예상 주행 궤적과 마찬가지로 메모리(620)에 저장된 지도 정보에 반영되어 있는 차로 중심선으로서 생성될 수 있다.That is, the host vehicle driving trajectory generation module 612b stores the current location of the host vehicle acquired through the driving information input interface 201 (i.e., the current location information of the host vehicle acquired through the GPS receiver 260) and the memory. The expected driving trajectory to the destination can be generated using the stored map information, and the expected driving trajectory of the own vehicle can be generated as the lane center line reflected in the map information stored in the memory 620, like the expected driving trajectory of surrounding vehicles. You can.

주변 차량 주행 궤적 생성 모듈(612a) 및 자차량 주행 궤적 생성 모듈(612b)에 의해 생성된 주행 궤적은 메모리(620)에 저장될 수 있으며, 프로세서(610)에 의해 자차량의 자율 주행이 제어되는 과정에서 다양한 목적으로 활용될 수 있다.The driving trajectory generated by the surrounding vehicle driving trajectory generation module 612a and the own vehicle driving trajectory generating module 612b may be stored in the memory 620, and the autonomous driving of the own vehicle is controlled by the processor 610. It can be used for various purposes during the process.

주행 궤적 분석 모듈(613)은 주행 궤적 생성 모듈(612)에 의해 생성되어 메모리(620)에 저장된 각 주행 궤적(즉, 주변 차량의 실제 주행 궤적 및 예상 주행 궤적, 자차량의 실제 주행 궤적)을 분석하여 현재 자차량에 대한 자율 주행 제어의 신뢰도를 진단할 수 있다. 자율 주행 제어의 신뢰도 진단은 주변 차량의 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차를 분석하는 과정으로 진행될 수 있다.The driving trajectory analysis module 613 analyzes each driving trajectory generated by the driving trajectory generation module 612 and stored in the memory 620 (i.e., the actual driving trajectory and expected driving trajectory of surrounding vehicles, and the actual driving trajectory of the own vehicle). Through analysis, the reliability of autonomous driving control for the current vehicle can be diagnosed. Reliability diagnosis of autonomous driving control can be carried out through the process of analyzing trajectory errors between the actual driving trajectories of surrounding vehicles and the expected driving trajectories.

주행 제어 모듈(614)은 자차량의 자율 주행을 제어하는 기능을 수행할 수 있으며, 구체적으로 전술한 운전 정보 입력 인터페이스(101) 및 주행 정보 입력 인터페이스(201)로부터 각각 입력되는 운전 정보 및 주행 정보와, 센서부(500)를 통해 검출된 주변 객체에 대한 정보와, 메모리(620)에 저장된 지도 정보를 종합적으로 이용하여 자율 주행 알고리즘을 처리하며, 차량 제어 출력 인터페이스(401)를 통해 제어 정보를 전달하여 하위 제어 시스템(400)으로 하여금 자차량의 자율 주행을 제어하도록 할 수 있고, 또한 탑승자 출력 인터페이스(301)를 통해 자차량의 주행 상태 정보 및 경고 정보를 출력부(300)로 전달하여 운전자가 인지하도록 할 수 있다. 또한, 주행 제어 모듈(614)은 상기와 같은 자율 주행을 통합적으로 제어할 때 전술한 센서 처리 모듈(611), 주행 궤적 생성 모듈(612) 및 주행 궤적 분석 모듈(613)에 의해 분석된 자차량 및 주변 차량의 주행 궤적을 고려하여 자율 주행을 제어함으로써 자율 주행 제어의 정밀도를 향상시키고 자율 주행 제어 안정성을 개선할 수 있다.The driving control module 614 can perform the function of controlling the autonomous driving of the own vehicle, and specifically, the driving information and driving information input from the driving information input interface 101 and the driving information input interface 201, respectively. The autonomous driving algorithm is processed by comprehensively using information about surrounding objects detected through the sensor unit 500 and map information stored in the memory 620, and control information is provided through the vehicle control output interface 401. This can be transmitted to the lower control system 400 to control the autonomous driving of the own vehicle, and the driving status information and warning information of the own vehicle can be transmitted to the output unit 300 through the occupant output interface 301 to the driver. can be recognized. In addition, when the driving control module 614 comprehensively controls autonomous driving as described above, the host vehicle analyzed by the above-described sensor processing module 611, driving trajectory generation module 612, and driving trajectory analysis module 613 And by controlling autonomous driving by considering the driving trajectories of surrounding vehicles, the precision of autonomous driving control can be improved and autonomous driving control stability can be improved.

궤적 학습 모듈(615)은 자차량 주행 궤적 생성 모듈(612b)에 의해 생성된 자차량의 실제 주행 궤적에 대한 학습 또는 보정을 수행할 수 있다. 예를 들어, 주변 차량의 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차가 미리 설정된 임계값 이상인 경우 메모리(620)에 저장된 지도 정보의 부정확한 것으로 판단하여 자차량의 실제 주행 궤적의 보정이 필요한 것으로 판단할 수 있으며, 이에 따라 자차량의 실제 주행 궤적을 보정하기 위한 횡방향 시프트값을 결정하여 자차량의 주행 궤적을 보정할 수 있다.The trajectory learning module 615 may learn or correct the actual driving trajectory of the host vehicle generated by the host vehicle driving trajectory creation module 612b. For example, if the trajectory error between the actual driving trajectory and the expected driving trajectory of surrounding vehicles is greater than a preset threshold, the map information stored in the memory 620 is judged to be inaccurate and correction of the actual driving trajectory of the own vehicle is determined to be necessary. Accordingly, the driving trajectory of the own vehicle can be corrected by determining the lateral shift value for correcting the actual driving trajectory of the own vehicle.

탑승자 상태 판단 모듈(616)은 전술한 내부 카메라 센서(535) 및 생체 센서에 의해 검출된 탑승자의 상태 및 생체 신호를 토대로 탑승자의 상태 및 거동을 판단할 수 있다. 탑승자 상태 판단 모듈(616)에 의해 판단된 탑승자의 상태는 자차량의 자율 주행 제어 또는 탑승자에 대한 경고를 출력하는 과정에서 활용될 수 있다.The occupant status determination module 616 may determine the occupant's status and behavior based on the occupant's status and biometric signals detected by the internal camera sensor 535 and the biometric sensor described above. The occupant's status determined by the occupant status determination module 616 may be utilized in the process of controlling autonomous driving of the own vehicle or outputting a warning to the occupant.

전술한 내용에 기초하여, 이하에서는 자율 주행 중인 자차량에 대한 자율 주행 제어의 신뢰도를 진단하는 실시예에 대하여 설명한다.Based on the above, an embodiment of diagnosing the reliability of autonomous driving control for an autonomous vehicle will be described below.

전술한 것과 같이, 본 실시예의 프로세서(610)(의 주행 궤적 생성 모듈(612))는 센서부(500)에 의해 검출된 주변 차량의 주행 정보에 기초하여 주변 차량의 실제 주행 궤적을 생성할 수 있다. 즉, 프로세서(610)는 센서부(500)에 의해 특정 지점에서 주변 차량이 검출된 경우, 검출된 주변 차량의 위치와 메모리(620)에 저장된 지도 정보 상의 위치를 교차 참조함으로써 지도 정보 상에서 현재 검출된 주변 차량의 위치를 특정할 수 있으며, 상기와 같이 주변 차량의 위치를 지속적으로 모니터링함으로써 주변 차량의 실제 주행 궤적을 생성할 수 있다.As described above, the processor 610 (driving trajectory generation module 612) of this embodiment can generate the actual driving trajectory of the surrounding vehicle based on the driving information of the surrounding vehicle detected by the sensor unit 500. there is. That is, when a surrounding vehicle is detected at a specific point by the sensor unit 500, the processor 610 cross-references the location of the detected surrounding vehicle with the location on the map information stored in the memory 620 to detect the current location on the map information. The location of surrounding vehicles can be specified, and the actual driving trajectory of surrounding vehicles can be generated by continuously monitoring the locations of surrounding vehicles as described above.

그리고, 프로세서(610)(의 주행 궤적 생성 모듈(612))는 메모리(620)에 저장된 지도 정보에 기초하여 주변 차량의 예상 주행 궤적을 생성할 수 있으며, 이 경우 프로세서(610)는 주변 차량의 예상 주행 궤적을 지도 정보에 반영되어 있는 차로 중심선으로서 생성할 수 있다.In addition, the processor 610 (driving trajectory generation module 612) may generate an expected driving trajectory of a surrounding vehicle based on the map information stored in the memory 620. In this case, the processor 610 may generate an expected driving trajectory of the surrounding vehicle. The expected driving trajectory can be created as the lane center line reflected in map information.

주변 차량의 실제 주행 궤적 및 예상 주행 궤적이 생성되면, 프로세서(610)(의 주행 궤적 분석 모듈(613))는 주변 차량의 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 궤적 오차의 누적 가산량에 기초하여 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행할 수 있다.When the actual driving trajectory and the expected driving trajectory of the surrounding vehicle are generated, the processor 610 (the driving trajectory analysis module 613) determines the size of the trajectory error between the actual driving trajectory and the expected driving trajectory of the surrounding vehicle, or the accumulation of the trajectory error. Based on the added amount, a reliability diagnosis of autonomous driving control for the own vehicle can be performed.

구체적으로, 주변 차량의 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차가 존재하는 상태는, 자차량에 대하여 이루어지고 있는 자율 주행 제어를 신뢰할 수 없게 된 상태에 해당할 수 있다. 즉, 센서부(500)에 의해 검출된 주변 차량의 주행 정보에 기초하여 생성된 실제 주행 궤적과, 메모리(620)에 저장된 지도 정보에 기초하여 생성된 예상 주행 궤적 간의 오차가 존재한다는 것은, 주변 차량이 지도 정보 상에서 주행할 것으로 예상되는 차로 중심선을 따라 주행하고 있지 않은 상태임을 의미하며, 이는 센서부(500)에 의해 주변 차량이 오검출되었을 가능성, 또는 메모리(620)에 저장된 지도 정보가 부정확할 가능성이 존재함을 의미한다. 즉, 주변 차량이 실제로는 예상 주행 궤적을 따라 주행함에도 불구하고 센서부(500)의 이상으로 인해 주변 차량의 실제 주행 궤적에 오류가 있을 가능성과, 메모리에 저장된 지도 정보와 현재 주행 중인 도로의 상태가 불일치할 가능성(예: 현재 주행 중인 도로의 공사 또는 도로 재정비 등으로 인해 차선이 메모리에 저장된 지도 정보 대비 좌측 또는 우측으로 시프트(shift)되어 주변 차량들이 시프트된 차선을 따라 주행하고 있는 경우)의 두 가지 가능성이 존재할 수 있다. 이에 따라, 프로세서(610)는 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 궤적 오차의 누적 가산량에 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행할 수 있다. 또한, 전술한 것과 같이 주변 차량의 전체적인 주행 경향을 고려하기 위해 어느 특정한 주변 차량의 실제 주행 궤적이 아닌, 복수의 주변 차량의 실제 주행 궤적과 예상 궤적 간의 궤적 오차가 고려될 수 있다.Specifically, a state in which there is a trajectory error between the actual driving trajectory and the expected driving trajectory of a surrounding vehicle may correspond to a state in which the autonomous driving control being performed on the own vehicle is unreliable. That is, the existence of an error between the actual driving trajectory generated based on the driving information of surrounding vehicles detected by the sensor unit 500 and the expected driving trajectory generated based on the map information stored in the memory 620 means that the surrounding This means that the vehicle is not driving along the center line of the lane expected to drive on the map information, which may indicate that surrounding vehicles have been incorrectly detected by the sensor unit 500, or that the map information stored in the memory 620 is inaccurate. It means that there is a possibility of doing so. That is, even though the surrounding vehicles are actually driving along the expected driving trajectory, there is a possibility that there is an error in the actual driving trajectory of the surrounding vehicle due to an abnormality in the sensor unit 500, and the map information stored in the memory and the status of the road currently being driven are possible. There is a possibility of discrepancy (e.g., when the lane is shifted to the left or right compared to the map information stored in memory due to construction or road redevelopment of the road currently being driven, and surrounding vehicles are driving along the shifted lane). Two possibilities may exist. Accordingly, the processor 610 may perform a reliability diagnosis of autonomous driving control for the own vehicle based on the size of the trajectory error between the actual driving trajectory and the expected driving trajectory, or the cumulative addition amount of the trajectory error. Additionally, as described above, in order to consider the overall driving tendency of surrounding vehicles, the trajectory error between the actual driving trajectories and the expected trajectories of a plurality of surrounding vehicles may be considered, rather than the actual driving trajectory of any specific surrounding vehicle.

프로세서(610)가 주변 차량의 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차에 기초하여 신뢰도 진단을 수행하는 과정에 대하여 구체적으로 설명하면, 우선 프로세서(610)는 미리 설정된 제1 임계시간 이내에 궤적 오차의 크기가 미리 설정된 제1 임계값 이상인 상태가 발생하면 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단할 수 있다.To describe in detail the process by which the processor 610 performs a reliability diagnosis based on the trajectory error between the actual driving trajectory and the expected driving trajectory of the surrounding vehicle, first, the processor 610 determines the trajectory error within a first preset threshold time. If a state in which the size is greater than or equal to a preset first threshold occurs, autonomous driving control for the own vehicle may be determined to be unreliable.

여기서, 제1 임계시간은 자율 주행 제어의 신뢰도를 진단하기 위해 미리 설정된 시간을 의미하며, 그 기준이 되는 시점은 프로세서(610)에 의한 주변 차량의 실제 주행 궤적 및 예상 주행 궤적 간의 비교가 개시된 시점이 될 수 있다. 구체적으로, 프로세서(610)가 주변 차량의 실제 주행 궤적 및 예상 주행 궤적을 생성하고 그 궤적 오차를 산출하여 자율 주행 제어의 신뢰도를 진단하는 과정은 메모리(620)의 리소스 및 프로세서(610)의 연산 부하 저감을 위해 미리 설정된 판단 주기에 따라 주기적으로 실행될 수 있다(이에 따라 메모리(620)에 저장되는 주변 차량의 실제 주행 궤적 및 예상 주행 궤적은 판단 주기에 따라 주기적으로 삭제될 수 있다). 이 경우, 어느 한 주기가 개시된 시점으로부터 제1 임계시간이 경과하기 전 궤적 오차의 크기가 제1 임계값 이상인 상태가 발생하면 프로세서(610)는 자율 주행 제어를 신뢰할 수 없는 것으로 판단할 수 있다. 제1 임계시간의 크기는 상기한 판단 주기의 시구간 크기보다 작은 값으로서 설계자의 의도에 따라 다양하게 설계되어 메모리(620)에 저장되어 있을 수 있으며, 제1 임계값 또한 설계자의 의도에 따라 다양하게 설계되어 메모리(620)에 저장되어 있을 수 있다.Here, the first critical time refers to a preset time to diagnose the reliability of autonomous driving control, and the reference point is when the comparison between the actual driving trajectory and the expected driving trajectory of surrounding vehicles by the processor 610 is initiated. This can be. Specifically, the process in which the processor 610 generates the actual and expected driving trajectories of surrounding vehicles and calculates the trajectory error to diagnose the reliability of autonomous driving control involves the resources of the memory 620 and the calculation of the processor 610. It may be executed periodically according to a preset judgment cycle to reduce load (thereby, the actual driving trajectory and expected driving trajectory of surrounding vehicles stored in the memory 620 may be periodically deleted according to the judgment cycle). In this case, if a state occurs in which the size of the trajectory error is greater than the first threshold before the first threshold time elapses from the start of one cycle, the processor 610 may determine that autonomous driving control is unreliable. The size of the first threshold time is a value smaller than the time section size of the above-mentioned judgment cycle, and may be designed in various ways according to the designer's intention and stored in the memory 620, and the first threshold value may also vary depending on the designer's intention. It may be designed and stored in the memory 620.

또한, 프로세서(610)는 제1 임계시간 동안 궤적 오차의 크기가 제1 임계값 미만으로 유지된 상태에서 궤적 오차의 누적 가산량을 이용하여 신뢰도 진단을 추가적으로 수행할 수 있다. 즉, 제1 임계시간 동안 궤적 오차의 크기가 제1 임계값 미만으로 유지되더라도, 제1 임계값 미만으로 유지되는 궤적 오차를 누적 적산한 값이 일정값 이상이면, 주변 차량이 그 오차 정도는 작지만 예상 주행 궤적으로부터 벗어난 상태로 일정 시간 주행한 상태에 해당하므로, 프로세서(610)는 궤적 오차의 누적 가산량을 이용하여 신뢰도 진단을 추가적으로 수행함으로써 자차량에 대한 자율 주행 제어를 신뢰할 수 있는지 여부를 보다 정밀하게 판단할 수 있다.Additionally, the processor 610 may additionally perform reliability diagnosis using the accumulated amount of the trajectory error while the magnitude of the trajectory error is maintained below the first threshold during the first critical time. That is, even if the size of the trajectory error remains below the first threshold during the first threshold time, if the cumulative value of the trajectory error maintained below the first threshold is more than a certain value, the surrounding vehicle Since it corresponds to a state of driving for a certain period of time while deviating from the expected driving trajectory, the processor 610 additionally performs a reliability diagnosis using the cumulative amount of trajectory error to check whether autonomous driving control of the own vehicle can be trusted. It can be judged precisely.

이 경우, 프로세서(610)는 제1 임계시간 동안 궤적 오차의 크기가 제1 임계값 미만으로 유지된 상태에서, 제1 임계시간보다 큰 값으로 미리 설정된 제2 임계시간 이내에, 궤적 오차가 누적되어 적산된 누적 가산량(즉, 한 주기 내에서 궤적 오차가 누적 적산된 값)이 미리 설정된 제2 임계값 이상인 상태가 발생하면 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단할 수 있다. 여기서, 제2 임계시간은 제1 임계시간보다 크고 상기한 판단 주기의 시구간 크기보다 작은 값으로 메모리(620)에 미리 저장되어 있을 수 있으며, 제2 임계값 또한 설계자의 의도에 따라 다양하게 설계되어 메모리(620)에 저장되어 있을 수 있다.In this case, the processor 610 accumulates the trajectory error within a second threshold time preset to a value greater than the first threshold time while the size of the trajectory error is maintained below the first threshold during the first threshold time. If a state occurs in which the accumulated addition amount (i.e., the accumulated value of trajectory errors within one cycle) is greater than or equal to a preset second threshold, autonomous driving control for the own vehicle may be determined to be unreliable. Here, the second threshold time may be pre-stored in the memory 620 as a value greater than the first threshold time and smaller than the time section size of the above-mentioned judgment cycle, and the second threshold value may also be designed in various ways according to the designer's intention. and may be stored in the memory 620.

전술한 과정을 통해 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 프로세서(610)는 센서부(500) 또는 지도 정보에 대한 보정 처리를 위해 자차량이 인근의 정차 가능 지점(예: 갓길, 휴게소 등)으로 이동하도록 하위 제어 시스템(400)을 제어할 수 있으며, 이후 프로세서(610)는 자율 주행 제어의 신뢰도가 확보될 수 있도록 센서부(500) 및 메모리(620)에 저장된 지도 정보 중 하나 이상에 대하여 보정 처리를 수행할 수 있다.If it is determined that the autonomous driving control of the own vehicle is unreliable through the above-mentioned process, the processor 610 detects a point where the own vehicle can stop nearby (e.g. : The lower control system 400 can be controlled to move to the shoulder, rest area, etc.), and then the processor 610 stores the map stored in the sensor unit 500 and the memory 620 to ensure the reliability of autonomous driving control. Correction processing may be performed on one or more of the information.

이 경우, 프로세서(610)는 센서부(500)에 포함된 복수의 센서를 정합하는 방식을 통해 센서부(500)에 대한 보정 처리를 수행할 수 있다. 즉, 제1 임계시간 이내에 궤적 오차의 크기가 제1 임계값 이상인 상태가 발생한 경우, 또는 제2 임계시간 이내에 궤적 오차의 누적 가산량이 제2 임계값 이상인 상태가 발생한 경우에 해당하면, 센서부(500)에 의해 주변 차량이 오검출되었을 가능성이 존재하는 것이므로(그에 따라 센서 처리 모듈(611에 의해 주변 차량의 위치가 오결정되었을 가능성이 존재하는 것이므로), 프로세서(610)는 센서부(500)의 정상 동작을 확보하기 위해 센서부(500)에 포함된 복수의 센서를 정합하는 방식을 통해 센서부(500)에 대한 보정 처리를 수행할 수 있다. 복수의 센서를 정합하는 방식으로서, 복수의 센서를 초기화한 후 이종의 센서(즉, 라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530))간의 캘리브레이션(Calibration)을 수행하는 방식이 채용될 수 있으며, 캘리브레이션은 이를테면 각 센서(510, 520, 530)가 동일 객체를 검출한 결과를 토대로 결정되는 해당 객체의 위치가 상호 간 동일해지도록 각 센서(510, 520, 530)의 내부 파라미터를 조정하는 과정을 통해 수행될 수 있다. 나아가, 센서부(500)에 대하여 진행된 캘리브레이션을 통해 복수의 센서가 정합되었는지 여부를 검증하는 후속 과정이 이루어질 수 있으며, 예를 들어 캘리브레이션 수행 후 동일 객체를 검출한 라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530)로부터의 각 출력값에 따라 결정되는 주변 차량의 위치가 정합되지 않으면(예를 들어 각 센서(510, 520, 530)를 기반으로 결정된 주변 차량의 위치 간의 산포도가 임계치 이상이면 복수의 센서가 정합되지 않은 것으로 판단할 수 있다), 센서부(500)에 대한 보정이 불가능한 상태로 판단하여(예: 센서부(500) 자체의 고장) 프로세서(610)는 자차량에 대한 자율 주행 모드를 OFF 시킬 수 있다.In this case, the processor 610 may perform correction processing on the sensor unit 500 by matching a plurality of sensors included in the sensor unit 500. That is, if a state occurs in which the size of the trajectory error is greater than the first threshold within the first threshold time, or a state occurs in which the accumulated amount of the trajectory error is greater than the second threshold within the second threshold time, the sensor unit ( Since there is a possibility that the surrounding vehicle was incorrectly detected by the sensor processing module 611 (there is a possibility that the location of the surrounding vehicle was incorrectly determined by the sensor processing module 611), the processor 610 operates the sensor unit 500 In order to ensure normal operation, correction processing for the sensor unit 500 can be performed by matching a plurality of sensors included in the sensor unit 500. As a method of matching a plurality of sensors, a plurality of After initializing the sensor, a method of performing calibration between heterogeneous sensors (i.e., lidar sensor 510, radar sensor 520, and camera sensor 530) may be adopted, and calibration is performed, for example, between each sensor. This can be performed through a process of adjusting the internal parameters of each sensor (510, 520, and 530) so that the positions of the objects determined based on the results of detecting the same object by (510, 520, and 530) are the same. Furthermore, a follow-up process can be performed to verify whether a plurality of sensors are matched through the calibration performed on the sensor unit 500. For example, the lidar sensor 510 and radar that detected the same object after performing calibration If the positions of surrounding vehicles determined according to each output value from the sensor 520 and the camera sensor 530 do not match (for example, the scatter diagram between the positions of surrounding vehicles determined based on each sensor 510, 520, and 530 If it is above the threshold, it can be determined that the plurality of sensors are not aligned), and it is determined that correction for the sensor unit 500 is impossible (e.g., failure of the sensor unit 500 itself), and the processor 610 You can turn off the autonomous driving mode for .

또한, 프로세서(610)는 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 주변 차량의 실제 주행 궤적을 메모리(620)에 저장하고, 외부로부터 전송받은 신규 지도 정보(즉, 서버(700)로부터 전송받은 신규 지도 정보)를 이용하여 메모리(620)에 저장된 지도 정보를 업데이트함으로써 메모리(620)에 저장된 지도 정보에 대한 보정 처리를 수행하며, 메모리(620)에 저장된 주변 차량의 실제 주행 궤적을 이용하여 신규 지도 정보로 업데이트된 지도 정보를 검증할 수 있다.In addition, if the processor 610 determines that the autonomous driving control of the own vehicle is unreliable, the processor 610 stores the actual driving trajectory of the surrounding vehicle in the memory 620 and new map information received from the outside (i.e., the server ( Correction processing is performed on the map information stored in the memory 620 by updating the map information stored in the memory 620 using new map information transmitted from 700, and the actual driving of surrounding vehicles stored in the memory 620 is performed. You can use the trajectory to verify updated map information with new map information.

구체적으로, 프로세서(610)는 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 시점에 주변 차량의 실제 주행 궤적을 메모리(620)에 저장한 후, 메모리(620)에 저장된 지도 정보를 서버(700)로부터 전송받은 신규 지도 정보로 업데이트할 수 있다. 이때, 프로세서(610)는 업데이트된 지도 정보(즉, 서버(700)로부터 전송받은 신규 지도 정보)를 자율 주행 제어에 활용하기 전, 메모리(620)에 저장된 주변 차량의 실제 주행 궤적을 이용하여 신규 지도 정보로 업데이트된 지도 정보를 검증할 수 있으며, 이 경우 메모리(620)에 저장된 주변 차량의 실제 주행 궤적과, 업데이트된 지도 정보에 기초하여 생성되는 예상 주행 궤적(즉, 업데이트된 지도 정보에 반영되어 있는 차로 중심선)을 비교하는 방식을 통해 업데이트된 지도 정보를 검증할 수 있다(예를 들어, 메모리(620)에 저장된 주변 차량의 실제 주행 궤적과, 업데이트된 지도 정보에 기초하여 생성되는 예상 주행 궤적 간의 궤적 오차가 미리 설정된 임계치 미만이면 업데이트된 지도 정보를 신뢰할 수 있는 것으로 판단할 수 있다). 상기의 과정은 업데이트된 지도 정보가 현재 주행 중인 도로의 상태를 정확하게 반영하고 있는지 여부를 검증하는 과정으로서의 의미를 갖는다.Specifically, the processor 610 stores the actual driving trajectory of surrounding vehicles in the memory 620 at the time when autonomous driving control for the own vehicle is determined to be unreliable, and then sends the map information stored in the memory 620 to the server. It can be updated with new map information received from (700). At this time, before using the updated map information (i.e., new map information transmitted from the server 700) for autonomous driving control, the processor 610 uses the actual driving trajectory of surrounding vehicles stored in the memory 620 to create a new map information. The updated map information can be verified with map information. In this case, the actual driving trajectory of surrounding vehicles stored in the memory 620 and the expected driving trajectory generated based on the updated map information (i.e., reflected in the updated map information) The updated map information can be verified by comparing the lane center line (e.g., the actual driving trajectory of the surrounding vehicle stored in the memory 620 and the expected driving generated based on the updated map information). If the trajectory error between trajectories is less than a preset threshold, the updated map information can be judged to be reliable). The above process is meaningful as a process of verifying whether the updated map information accurately reflects the condition of the road currently being driven.

상기한 보정 처리 과정을 통해 센서부(500) 및 업데이트된 지도 정보가 검증되면, 프로세서(610)는 정상적인 자율 주행 제어를 수행하고, 센서부(500) 또는 업데이트된 지도 정보가 검증되지 않은 경우 프로세서(610)는 자차량의 자율 주행 모드를 오프시키고 출력부(300)를 통해 수동 주행 모드에 따른 주행이 필요하다는 안내 및 경고를 탑승자에게 출력할 수 있다.If the sensor unit 500 and the updated map information are verified through the above correction process, the processor 610 performs normal autonomous driving control, and if the sensor unit 500 or the updated map information is not verified, the processor 610 610 turns off the autonomous driving mode of the vehicle and outputs guidance and warnings to the occupants that driving in the manual driving mode is necessary through the output unit 300.

도 7 및 도 8은 본 발명의 일 실시예에 따른 자율 주행 방법을 설명하기 위한 흐름도이다.7 and 8 are flowcharts for explaining an autonomous driving method according to an embodiment of the present invention.

도 7을 참조하여 본 발명의 일 실시예에 따른 자율 주행 방법을 설명하면, 먼저 프로세서(610)는 메모리(620)에 저장된 지도 정보에 기초하여 자차량의 자율 주행을 제어한다(S100).When explaining the autonomous driving method according to an embodiment of the present invention with reference to FIG. 7, first, the processor 610 controls autonomous driving of the host vehicle based on map information stored in the memory 620 (S100).

이후, 프로세서(610)는 자차량의 자율 주행이 이루어지는 과정에서 센서부(500)에 의해 검출되는 주변 차량의 주행 정보에 기초하여 주변 차량의 실제 주행 궤적을 생성한다(S200).Thereafter, the processor 610 generates the actual driving trajectory of the surrounding vehicle based on the driving information of the surrounding vehicle detected by the sensor unit 500 during the autonomous driving process of the own vehicle (S200).

이어서, 프로세서(610)는 메모리(620)에 저장된 지도 정보에 기초하여 주변 차량의 예상 주행 궤적을 생성한다(S300).Next, the processor 610 generates an expected driving trajectory of surrounding vehicles based on the map information stored in the memory 620 (S300).

이어서, 프로세서(610)는 S200 단계 및 S300 단계에서 생성된 주변 차량의 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 궤적 오차의 누적 가산량에 기초하여 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행한다(S400).Subsequently, the processor 610 determines the reliability of autonomous driving control for the own vehicle based on the size of the trajectory error between the actual driving trajectory and the expected driving trajectory of the surrounding vehicle generated in steps S200 and S300, or the cumulative addition amount of the trajectory error. Perform diagnosis (S400).

S400 단계에서 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 프로세서(610)는 자율 주행 제어의 신뢰도가 확보될 수 있도록 주변 차량을 검출하는 센서부 및 메모리에 저장된 지도 정보 중 하나 이상에 대하여 보정 처리를 수행한다(S500).If the autonomous driving control of the own vehicle is determined to be unreliable in step S400, the processor 610 uses at least one of the map information stored in the sensor unit and memory to detect surrounding vehicles to ensure the reliability of the autonomous driving control. Perform correction processing for (S500).

한편, 도 8에 도시된 것과 같이 S400 단계에서 프로세서(610)는 미리 설정된 제1 임계시간 이내에 궤적 오차의 크기가 미리 설정된 제1 임계값 이상인 상태가 발생하는지 여부를 판단한다(S410).Meanwhile, as shown in FIG. 8, in step S400, the processor 610 determines whether a state in which the size of the trajectory error is greater than or equal to a preset first threshold occurs within a preset first threshold time (S410).

만약, 제1 임계시간 동안 궤적 오차의 크기가 제1 임계값 미만으로 유지된 경우, 프로세서(610)는 제1 임계시간보다 큰 값으로 미리 설정된 제2 임계시간 이내에, 궤적 오차가 누적되어 적산된 누적 가산량이 미리 설정된 제2 임계값 이상인 상태가 발생하는지 여부를 판단한다(S420).If the size of the trajectory error remains below the first threshold during the first threshold time, the processor 610 accumulates the trajectory error within a second threshold time preset to a value greater than the first threshold time. It is determined whether a state in which the cumulative addition amount is greater than or equal to a preset second threshold occurs (S420).

S410 단계에서 제1 임계시간 이내에 궤적 오차의 크기가 제1 임계값 이상인 상태가 발생하거나, S420 단계에서 제2 임계시간 이내에 궤적 오차의 누적 가산량이 제2 임계값 이상인 상태가 발생하면, 프로세서(610)는 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단하여 S500 단계를 수행하며, S410 단계에서 제1 임계시간 동안 궤적 오차의 크기가 제1 임계값 미만으로 유지되고 S420 단계에서 제2 임계시간 이내에 궤적 오차의 누적 가산량이 제2 임계값 이상인 상태가 발생하지 않으면 프로세서(610)는 정상적인 자율 주행 제어를 수행한다(S600).If a state occurs in step S410 in which the size of the trajectory error is greater than or equal to the first threshold within the first threshold time, or a state occurs in step S420 in which the accumulated amount of the trajectory error is greater than or equal to the second threshold within the second threshold time, the processor 610 ) determines that the autonomous driving control of the own vehicle is unreliable and performs step S500. In step S410, the size of the trajectory error is maintained below the first threshold during the first critical time, and in step S420, the size of the trajectory error is maintained for the second critical time. If a state in which the cumulative amount of trajectory error is greater than or equal to the second threshold does not occur, the processor 610 performs normal autonomous driving control (S600).

한편, 도 8에 도시된 것과 같이 S500 단계에서 프로세서(610)는 센서부(500)에 포함된 복수의 센서를 정합하는 방식을 통해 센서부(500)에 대한 보정 처리를 수행한다(S510).Meanwhile, as shown in FIG. 8, in step S500, the processor 610 performs correction processing on the sensor unit 500 by matching a plurality of sensors included in the sensor unit 500 (S510).

S510 단계에서 센서부(500)가 검증된 경우(즉, 복수의 센서 간 정합이 이루어진 경우), 프로세서(610)는 외부(서버(700))로부터 전송받은 신규 지도 정보를 이용하여 메모리(620)에 저장된 지도 정보를 업데이트한다(S520).If the sensor unit 500 is verified in step S510 (i.e., matching between a plurality of sensors is achieved), the processor 610 uses the new map information received from the outside (server 700) to store the memory 620. Update the map information stored in (S520).

그리고, 프로세서(610)는 S400 단계에서 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 시점에 메모리(620)에 저장된 주변 차량의 실제 주행 궤적을 이용하여 S520 단계에서 업데이트된 지도 정보를 검증한다(S530).Then, the processor 610 verifies the updated map information in step S520 using the actual driving trajectories of surrounding vehicles stored in the memory 620 at the time when autonomous driving control is determined to be unreliable in step S400 (S530) .

S510 단계에서 센서부(500)가 검증되고 S530 단계에서 업데이트된 지도 정보가 검증된 경우 프로세서(610)는 정상적인 자율 주행 제어를 수행한다(S600). 반면, S510 단계에서 센서부(500)가 검증되지 않거나, S530 단계에서 업데이트된 지도 정보가 검증되지 않은 경우, 프로세서(610)는 자차량의 자율 주행 모드를 오프시킨다(S700). S700 단계에서 프로세서(610)는 출력부(300)를 통해 수동 주행 모드에 따른 주행이 필요하다는 안내 및 경고를 탑승자에게 출력할 수 있다.If the sensor unit 500 is verified in step S510 and the updated map information is verified in step S530, the processor 610 performs normal autonomous driving control (S600). On the other hand, if the sensor unit 500 is not verified in step S510 or the updated map information is not verified in step S530, the processor 610 turns off the autonomous driving mode of the own vehicle (S700). In step S700, the processor 610 may output guidance and a warning to the passenger that driving in a manual driving mode is necessary through the output unit 300.

이와 같이 본 실시예는 자율 주행 차량의 주변 차량에 대하여 결정되는 실제 주행 궤적 및 예상 주행 궤적 간의 오차를 이용하여 자율 주행 제어의 신뢰도를 우선적으로 진단하고, 그 진단 결과에 따라 자율 주행 차량에 적용된 센서 또는 메모리에 저장된 지도 정보에 대하여 보정 처리를 수행하여 자율 주행 제어의 신뢰도를 확보하도록 함으로써 자율 주행 차량의 주행 안정성 및 주행 정확성을 향상시킬 수 있다.In this way, in this embodiment, the reliability of autonomous driving control is first diagnosed using the error between the actual driving trajectory and the expected driving trajectory determined for the surrounding vehicles of the autonomous vehicle, and the sensors applied to the autonomous vehicle according to the diagnosis result. Alternatively, the driving stability and driving accuracy of the autonomous vehicle can be improved by performing correction processing on the map information stored in the memory to ensure reliability of autonomous driving control.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will recognize that various modifications and other equivalent embodiments can be made therefrom. You will understand. Therefore, the true technical protection scope of the present invention should be determined by the scope of the patent claims below.

100: 사용자 입력부 101: 운전 정보 입력 인터페이스
110: 주행 모드 스위치 120: 사용자 단말
200: 주행 정보 검출부 201: 주행 정보 입력 인터페이스
210: 조향각 센서 220: APS/PTS
230: 차속 센서 240: 가속도 센서
250: 요/피치/롤 센서 260: GPS 수신기
300: 출력부 301: 탑승자 출력 인터페이스
310: 스피커 320: 디스플레이 장치
400: 하위 제어 시스템 401: 차량 제어 출력 인터페이스
410: 엔진 제어 시스템 420: 제동 제어 시스템
430: 조향 제어 시스템 500: 센서부
510: 라이다 센서 511: 전방 라이다 센서
512: 상부 라이다 센서 513: 후방 라이다 센서
520: 레이더 센서 521: 전방 레이더 센서
522: 좌측 레이더 센서 523: 우측 레이더 센서
524: 후방 레이더 센서 530: 카메라 센서
531: 전방 카메라 센서 532: 좌측 카메라 센서
533: 우측 카메라 센서 534: 후방 카메라 센서
535: 내부 카메라 센서 540: 초음파 센서
600: 자율 주행 통합 제어부 610: 프로세서
611: 센서 처리 모듈 611a: 라이더 신호 처리 모듈
611b: 레이더 신호 처리 모듈 611c: 카메라 신호 처리 모듈
612: 주행 궤적 생성 모듈 612a: 주변 차량 주행 궤적 생성 모듈
612b: 자차량 주행 궤적 생성 모듈 613: 주행 궤적 분석 모듈
614: 주행 제어 모듈 615: 궤적 학습 모듈
616: 탑승자 상태 판단 모듈 620: 메모리
700: 서버
100: User input unit 101: Driving information input interface
110: Driving mode switch 120: User terminal
200: Driving information detection unit 201: Driving information input interface
210: Steering angle sensor 220: APS/PTS
230: vehicle speed sensor 240: acceleration sensor
250: Yaw/Pitch/Roll Sensor 260: GPS Receiver
300: output unit 301: passenger output interface
310: Speaker 320: Display device
400: Sub-control system 401: Vehicle control output interface
410: Engine control system 420: Braking control system
430: Steering control system 500: Sensor unit
510: LiDAR sensor 511: Front LiDAR sensor
512: Upper LiDAR sensor 513: Rear LiDAR sensor
520: Radar sensor 521: Front radar sensor
522: Left radar sensor 523: Right radar sensor
524: Rear radar sensor 530: Camera sensor
531: Front camera sensor 532: Left camera sensor
533: Right camera sensor 534: Rear camera sensor
535: Internal camera sensor 540: Ultrasonic sensor
600: Autonomous driving integrated control unit 610: Processor
611: sensor processing module 611a: lidar signal processing module
611b: Radar signal processing module 611c: Camera signal processing module
612: Driving trajectory generation module 612a: Surrounding vehicle driving trajectory generation module
612b: Own vehicle driving trajectory generation module 613: Driving trajectory analysis module
614: Driving control module 615: Trajectory learning module
616: Occupant status determination module 620: Memory
700: Server

Claims (11)

자율 주행 중인 자차량의 주변 차량을 검출하는 센서부;
지도 정보를 저장하는 메모리; 및
상기 메모리에 저장된 지도 정보에 기초하여 상기 자차량의 자율 주행을 제어하는 프로세서;를 포함하고,
상기 프로세서는,
상기 센서부에 의해 검출된 주변 차량의 주행 정보에 기초하여 상기 주변 차량의 실제 주행 궤적을 생성하고,
상기 메모리에 저장된 지도 정보에 기초하여 상기 주변 차량의 예상 주행 궤적을 생성하며,
상기 생성된 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 상기 궤적 오차의 누적 가산량에 기초하여 상기 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행하고,
상기 신뢰도 진단의 수행 결과 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 자율 주행 제어의 신뢰도가 확보될 수 있도록 상기 센서부 및 상기 지도 정보 중 하나 이상에 대하여 보정 처리를 수행하고,
상기 프로세서는,
미리 설정된 제1 임계시간 이내에 상기 궤적 오차의 크기가 미리 설정된 제1 임계값 이상인 상태가 발생하면 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단하고,
상기 프로세서는,
상기 제1 임계시간 동안 상기 궤적 오차의 크기가 상기 제1 임계값 미만으로 유지된 상태에서 상기 궤적 오차의 누적 가산량을 이용하여 상기 신뢰도 진단을 추가적으로 수행하는 것을 특징으로 하는 자율 주행 장치.
A sensor unit that detects vehicles around the self-driving vehicle;
Memory to store map information; and
A processor that controls autonomous driving of the own vehicle based on map information stored in the memory,
The processor,
Generating an actual driving trajectory of the surrounding vehicle based on the driving information of the surrounding vehicle detected by the sensor unit,
Generates an expected driving trajectory of the surrounding vehicle based on map information stored in the memory,
Performing a reliability diagnosis of autonomous driving control for the host vehicle based on the size of a trajectory error between the generated actual driving trajectory and the expected driving trajectory, or a cumulative addition amount of the trajectory error,
If, as a result of performing the reliability diagnosis, it is determined that autonomous driving control for the own vehicle is unreliable, correction processing is performed on one or more of the sensor unit and the map information to ensure reliability of the autonomous driving control. do,
The processor,
If a state in which the size of the trajectory error is greater than or equal to a preset first threshold occurs within a preset first threshold time, autonomous driving control for the own vehicle is determined to be unreliable,
The processor,
An autonomous driving device, characterized in that the reliability diagnosis is additionally performed using the accumulated amount of the trajectory error while the magnitude of the trajectory error is maintained below the first threshold during the first threshold time.
삭제delete 삭제delete 제1항에 있어서,
상기 프로세서는,
상기 제1 임계시간 동안 상기 궤적 오차의 크기가 상기 제1 임계값 미만으로 유지된 상태에서, 상기 제1 임계시간보다 큰 값으로 미리 설정된 제2 임계시간 이내에, 상기 궤적 오차가 누적되어 적산된 상기 누적 가산량이 미리 설정된 제2 임계값 이상인 상태가 발생하면 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단하는 것을 특징으로 하는 자율 주행 장치.
According to paragraph 1,
The processor,
In a state where the size of the trajectory error is maintained below the first threshold during the first threshold time, the trajectory error is accumulated and integrated within a second threshold time preset to a value greater than the first threshold time. An autonomous driving device characterized in that when a state occurs in which the cumulative addition amount is greater than a preset second threshold, autonomous driving control for the own vehicle is determined to be unreliable.
제1항에 있어서,
상기 센서부는 상기 주변 차량을 검출하기 위한 복수의 센서를 포함하고,
상기 프로세서는,
상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 센서부에 포함된 복수의 센서를 정합하는 방식을 통해 상기 센서부에 대한 보정 처리를 수행하는 것을 특징으로 하는 자율 주행 장치.
According to paragraph 1,
The sensor unit includes a plurality of sensors for detecting the surrounding vehicles,
The processor,
An autonomous driving device characterized in that, when autonomous driving control of the own vehicle is determined to be unreliable, correction processing for the sensor unit is performed by matching a plurality of sensors included in the sensor unit.
제1항에 있어서,
상기 프로세서는,
외부로부터 전송받은 신규 지도 정보를 이용하여 상기 메모리에 저장된 지도 정보를 업데이트함으로써 상기 메모리에 저장된 지도 정보에 대한 보정 처리를 수행하는 것을 특징으로 하는 자율 주행 장치.
According to paragraph 1,
The processor,
An autonomous driving device characterized in that it performs correction processing on the map information stored in the memory by updating the map information stored in the memory using new map information transmitted from the outside.
제6항에 있어서,
상기 프로세서는,
상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 주변 차량의 실제 주행 궤적을 상기 메모리에 저장하고, 상기 메모리에 저장된 상기 주변 차량의 실제 주행 궤적을 이용하여 상기 신규 지도 정보로 업데이트된 지도 정보를 검증하는 것을 특징으로 하는 자율 주행 장치.
According to clause 6,
The processor,
If the autonomous driving control of the own vehicle is determined to be unreliable, the actual driving trajectory of the surrounding vehicle is stored in the memory, and the actual driving trajectory of the surrounding vehicle stored in the memory is used to provide the new map information. An autonomous driving device characterized by verifying updated map information.
프로세서가, 메모리에 저장된 지도 정보에 기초하여 자차량의 자율 주행을 제어하는 단계;
상기 프로세서가, 센서부에 의해 검출된 상기 자차량의 주변 차량의 주행 정보에 기초하여 상기 주변 차량의 실제 주행 궤적을 생성하는 단계;
상기 프로세서가, 상기 메모리에 저장된 지도 정보에 기초하여 상기 주변 차량의 예상 주행 궤적을 생성하는 단계;
상기 프로세서가, 상기 생성된 실제 주행 궤적 및 예상 주행 궤적 간의 궤적 오차의 크기, 또는 상기 궤적 오차의 누적 가산량에 기초하여 상기 자차량에 대한 자율 주행 제어의 신뢰도 진단을 수행하는 단계; 및
상기 신뢰도 진단의 수행 결과 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 경우, 상기 프로세서가, 상기 자율 주행 제어의 신뢰도가 확보될 수 있도록 상기 센서부 및 상기 메모리에 저장된 지도 정보 중 하나 이상에 대하여 보정 처리를 수행하는 단계;
를 포함하고,
상기 신뢰도 진단을 수행하는 단계는,
상기 프로세서가, 미리 설정된 제1 임계시간 이내에 상기 궤적 오차의 크기가 미리 설정된 제1 임계값 이상인 상태가 발생하는지 여부를 판단하는 단계; 및
상기 제1 임계시간 동안 상기 궤적 오차의 크기가 상기 제1 임계값 미만으로 유지된 경우, 상기 프로세서가 상기 제1 임계시간보다 큰 값으로 미리 설정된 제2 임계시간 이내에, 상기 궤적 오차가 누적되어 적산된 상기 누적 가산량이 미리 설정된 제2 임계값 이상인 상태가 발생하는지 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 방법.
A processor controlling autonomous driving of the own vehicle based on map information stored in a memory;
generating, by the processor, an actual driving trajectory of the surrounding vehicle based on driving information of the vehicle surrounding the own vehicle detected by a sensor unit;
generating, by the processor, an expected driving trajectory of the surrounding vehicle based on map information stored in the memory;
performing, by the processor, a reliability diagnosis of autonomous driving control for the own vehicle based on the size of a trajectory error between the generated actual driving trajectory and the expected driving trajectory, or a cumulative addition amount of the trajectory error; and
When it is determined that autonomous driving control for the own vehicle is unreliable as a result of performing the reliability diagnosis, the processor selects one of the sensor unit and map information stored in the memory to ensure reliability of the autonomous driving control. performing correction processing for abnormalities;
Including,
The step of performing the reliability diagnosis is,
determining, by the processor, whether a state in which the size of the trajectory error is greater than or equal to a preset first threshold occurs within a preset first threshold time; and
If the size of the trajectory error is maintained below the first threshold during the first threshold time, the trajectory error is accumulated and integrated by the processor within a second threshold time preset to a value greater than the first threshold time. An autonomous driving method comprising: determining whether a state in which the cumulative addition amount is greater than or equal to a preset second threshold occurs.
삭제delete 제8항에 있어서,
상기 센서부는 상기 주변 차량을 검출하기 위한 복수의 센서를 포함하고,
상기 보정 처리를 수행하는 단계는,
상기 프로세서가, 상기 센서부에 포함된 복수의 센서를 정합하는 방식을 통해 상기 센서부에 대한 보정 처리를 수행하는 단계; 및
상기 프로세서가, 외부로부터 전송받은 신규 지도 정보를 이용하여 상기 메모리에 저장된 지도 정보를 업데이트함으로써 상기 메모리에 저장된 지도 정보에 대한 보정 처리를 수행하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 방법.
According to clause 8,
The sensor unit includes a plurality of sensors for detecting the surrounding vehicles,
The step of performing the correction process is,
performing, by the processor, correction processing on the sensor unit by matching a plurality of sensors included in the sensor unit; and
An autonomous driving method comprising: performing correction processing on the map information stored in the memory by the processor updating the map information stored in the memory using new map information received from an external source.
제10항에 있어서,
상기 보정 처리를 수행하는 단계는,
상기 프로세서가, 상기 자차량에 대한 자율 주행 제어를 신뢰할 수 없는 것으로 판단된 시점에 상기 메모리에 저장된 상기 주변 차량의 실제 주행 궤적을 이용하여 상기 신규 지도 정보로 업데이트된 지도 정보를 검증하는 단계;를 더 포함하는 것을 특징으로 하는 자율 주행 방법.
According to clause 10,
The step of performing the correction process is,
Verifying, by the processor, map information updated with the new map information using the actual driving trajectory of the surrounding vehicle stored in the memory at the time when autonomous driving control of the own vehicle is determined to be unreliable; An autonomous driving method comprising:
KR1020190058597A 2019-05-20 2019-05-20 Autonomous driving apparatus and method KR102644324B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190058597A KR102644324B1 (en) 2019-05-20 2019-05-20 Autonomous driving apparatus and method
KR1020240030296A KR20240035960A (en) 2019-05-20 2024-02-29 Autonomous driving apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190058597A KR102644324B1 (en) 2019-05-20 2019-05-20 Autonomous driving apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020240030296A Division KR20240035960A (en) 2019-05-20 2024-02-29 Autonomous driving apparatus and method

Publications (2)

Publication Number Publication Date
KR20200133848A KR20200133848A (en) 2020-12-01
KR102644324B1 true KR102644324B1 (en) 2024-03-07

Family

ID=73790638

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190058597A KR102644324B1 (en) 2019-05-20 2019-05-20 Autonomous driving apparatus and method
KR1020240030296A KR20240035960A (en) 2019-05-20 2024-02-29 Autonomous driving apparatus and method

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020240030296A KR20240035960A (en) 2019-05-20 2024-02-29 Autonomous driving apparatus and method

Country Status (1)

Country Link
KR (2) KR102644324B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114397115A (en) * 2022-01-10 2022-04-26 招商局检测车辆技术研究院有限公司 Method and system for testing positioning performance of port automatic driving vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101916506B1 (en) * 2012-09-27 2018-11-07 웨이모 엘엘씨 Determining changes in a driving environment based on vehicle behavior
JP2018206024A (en) 2017-06-02 2018-12-27 本田技研工業株式会社 Automatic travel control system and server device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610502B1 (en) * 2014-09-02 2016-04-07 현대자동차주식회사 Apparatus and method for recognizing driving enviroment for autonomous vehicle
KR102274502B1 (en) * 2015-08-13 2021-07-08 현대자동차주식회사 Method for updating Navigation Map
KR102316314B1 (en) * 2017-07-28 2021-10-22 현대모비스 주식회사 Apparatus, system and method for supporting parking of vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101916506B1 (en) * 2012-09-27 2018-11-07 웨이모 엘엘씨 Determining changes in a driving environment based on vehicle behavior
JP2018206024A (en) 2017-06-02 2018-12-27 本田技研工業株式会社 Automatic travel control system and server device

Also Published As

Publication number Publication date
KR20200133848A (en) 2020-12-01
KR20240035960A (en) 2024-03-19

Similar Documents

Publication Publication Date Title
CN112046501B (en) Automatic driving device and method
CN112046500B (en) Automatic driving device and method
US11685402B2 (en) Autonomous driving apparatus and method
US11654939B2 (en) Autonomous driving apparatus and method that outputs different warnings based on driving risk
KR20210037790A (en) Autonomous driving apparatus and method
KR20240035960A (en) Autonomous driving apparatus and method
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
CN112046481B (en) Automatic driving device and method
KR20240038680A (en) Autonomous driving apparatus and method
KR102539286B1 (en) Autonomous driving apparatus and method
KR20200133854A (en) Autonomous driving apparatus and method
US20200369296A1 (en) Autonomous driving apparatus and method
KR20200133855A (en) Autonomous driving apparatus and method
KR102530702B1 (en) Autonomous driving apparatus and method
KR102648470B1 (en) Autonomous driving apparatus and method
KR102644325B1 (en) Autonomous driving apparatus and method
KR20200133859A (en) Autonomous driving apparatus and method
KR102616971B1 (en) Autonomous driving apparatus and method
KR20200133857A (en) Autonomous driving apparatus and method
KR20200133860A (en) Autonomous driving apparatus and method
KR20200133445A (en) Autonomous driving apparatus and method
KR102648603B1 (en) Autonomous driving apparatus and method
KR20200133444A (en) Autonomous driving apparatus and method
KR20200133851A (en) Autonomous driving apparatus and method
KR20200133443A (en) Autonomous driving apparatus and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right