KR102681738B1 - 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법 - Google Patents

다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법 Download PDF

Info

Publication number
KR102681738B1
KR102681738B1 KR1020210190740A KR20210190740A KR102681738B1 KR 102681738 B1 KR102681738 B1 KR 102681738B1 KR 1020210190740 A KR1020210190740 A KR 1020210190740A KR 20210190740 A KR20210190740 A KR 20210190740A KR 102681738 B1 KR102681738 B1 KR 102681738B1
Authority
KR
South Korea
Prior art keywords
object recognition
sensor
path
driving
safety
Prior art date
Application number
KR1020210190740A
Other languages
English (en)
Other versions
KR20230101004A (ko
Inventor
손현
Original Assignee
주식회사 소네트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소네트 filed Critical 주식회사 소네트
Priority to KR1020210190740A priority Critical patent/KR102681738B1/ko
Publication of KR20230101004A publication Critical patent/KR20230101004A/ko
Application granted granted Critical
Publication of KR102681738B1 publication Critical patent/KR102681738B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

다중 센서 객체 인식을 이용한 자율 주행 시스템은 자율 주행 차량(10)이 진행하여야 하는 주행 경로와 안전 속성을 제공하는 경로 생성부(100), 적어도 하나 이상의 센서를 이용하여 탐지된 객체의 위치 정보 및 이동 정보를 제공하는 객체 인식부(200), 객체 인식부(200)에서 제공되는 안전 속성을 바탕으로 탐지된 객체가 자율 주행 차량(10)이 충돌할 가능성이 있는지를 판단하는 센서 퓨전 판단부(300) 및 센서 퓨전 판단부(300)에서 충돌 가능성이 인지되는 경우 자율 주행 차량(10)의 주행을 제어하는 주행 제어부(400)를 포함한다.

Description

다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법 {AUTONOMOUS DRIVING SYSTEM USING MULTI-SENSOR OBJECT RECOGNITION AND AUTONOMOUS DRIVING METHOD USING SAME}
본 발명은 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법에 관한 것이다.
최근 자동차 기술의 발달과 더불어 운전자의 조작없이 스스로 운행할 수 있는 자율 주행 자동차의 보급이 확대되고 있다. 도심 자율주행을 위해서는 무신호 횡단보도를 건너고 있는 보행자를 미리 인지하여 정지선에 안전하게 정차하여 보행자가 지나갈 때까지 기다린 후 안전하게 출발할 필요가 있다.
종래 기술에서는 보행자나 차량이 경로 내에 진입할 경우, 해당 객체를 인식하여 제동 또는 회피 제어를 실시하고 있다. 이 경우, 반대편 차로에서 횡단을 시작한 보행자를 미리 판단하지 못하고 보행자 앞을 지나치는 위험한 상황을 초래할 수 있다.
횡단 보도와 같이 특별히 주의가 필요한 구간에서는 관심 영역을 확대하고 수초내에 주행 경로 내로 진입할 가능성이 있는 객체를 탐지하여 선제적으로 대응할 수 있는 접근 객체 인식 방법이 필요하다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로, 경로 생성부에서 제공되는 안전속성을 이용하여 차량을 제어하는 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법을 제공하는데 그 목적이 있다.
본 발명의 일 실시예에 따른 다중 센서 객체 인식을 이용한 자율 주행 시스템은 자율 주행 차량(10)이 진행하여야 하는 주행 경로와 안전 속성을 제공하는 경로 생성부(100), 적어도 하나 이상의 센서를 이용하여 탐지된 객체의 위치 정보 및 이동 정보를 제공하는 객체 인식부(200), 객체 인식부(200)에서 제공되는 안전 속성을 바탕으로 탐지된 객체가 자율 주행 차량(10)이 충돌할 가능성이 있는지를 판단하는 센서 퓨전 판단부(300) 및 센서 퓨전 판단부(300)에서 충돌 가능성이 인지되는 경우 자율 주행 차량(10)의 주행을 제어하는 주행 제어부(400)를 포함한다.
일 실시예에 있어서, 안전 속성은, 도심 지역 내에서 대상물을 주의하여야 할 지대인 안전 지대, 일부 센서의 센서가 작동되지 않아, 센싱 결과의 필터링이 필요한 지역인 센서 필터 지대, 및 정상적인 차량의 이동이 가능한 정상 지대를 포함하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 객체 인식부(200)는, 카메라 객체 인식부(210), 레이더 객체 인식부(220), 라이다 객체 인식부(230)를 포함하며, 객체의 위치 정보 및 이동 정보는 각각의 객체 인식부에서 개별적으로 측정하여 제공되는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 센서 퓨전 판단부(300)는 객체 인식부(200)에서 제공하는 위치 정보 및 이동 정보를 이용하여 객체의 이동 경로를 예측하고,
자율주행 챠랑의 속도 및 경로 생성부(100)에서 제공하는 자율주행차량의 주행경로를 이용하여, 주행 경로상 웨이포인트 지점에 객체의 이동 경로를 계산하여,
객체와 자율주행차량이 웨이포인트 지점에서 만나는 경우, 탐지된 객체가 자율 주행 차량(10)이 충돌할 가능성이 있는 것으로 판단하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 센서 퓨전 판단부(300)는, 객체와 자율주행차량이 웨이포인트 지점에서 만나는 경우, 만나는 예상 시간이 유효 시간(T1) 내에 있는 경우에 탐지된 객체가 자율 주행 차량(10)이 충돌할 가능성이 있는 것으로 판단하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 센서 퓨전 판단부(300)는 객체 인식부(200)에서 여러 개의 센서를 이용하여 복수개의 객체 인식부가 존재하는 경우, 적어도 2개 이상의 객체 인식부에서 제공하는 위치 정보 및 이동 정보를 이용한 객체의 이동 경로가 접근하는 객체로 판단되는 경우, 유효한 접근으로 분류하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 센서 퓨전 판단부(300)는 객체 인식부(200)에서 여러 개의 센서를 이용하여 복수개의 객체 인식부가 존재하는 경우에, 경로 생성부(100)가 제공하는 안전 속성 값이, 안전 지대인 경우에는, 최소 1개의 객체 인식부에서 제공하는 위치 정보 및 이동 정보를 이용한 객체의 이동 경로가 접근하는 객체로 판단되는 경우, 충돌 가능성이 있는 유효한 접근으로 분류하고, 주행 제어부(400)에서는 안전 지역 내에서 정차 또는 저속 운전을 실시하도록 제어하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 센서 퓨전 판단부(300)는, 경로 생성부(100)에서 제공되는 안전 속성이 센서 필터 지대인 경우, 객체 인식부(200)의 특정 객체 인식부의 결과를 무시하는 것을 특징으로 할 수 있다.
본 발명에서 제공하는 자율 주행 방법은 주행 경로와 안전 속성을 제공하는 경로 생성부(100)를 이용하여 자율 주행 차량(10)이 진행하여야 하는 경로 및 안전 속성을 계산 하는 경로 계산 단계(S100), 객체 인식부(200)의 적어도 하나 이상의 센서를 이용하여 탐지된 객체의 위치 정보 및 이동 정보를 제공하는 객체 인식 단계(S200), 센서 퓨전 판단부(300)에 의해 객체 인식부(200)에서 안전 속성에 따라 탐지된 객체가 자율 주행 차량(10)이 충돌할 가능성이 있는지를 판단하는 충돌 가능성 판단 단계(S300) 및 주행 제어부(400)에 의해 센서 퓨전 판단부(300)에서 충돌 가능성이 인지되는 경우 자율 주행 차량(10)의 주행을 제어하는 차량 제어 단계(S400)를 포함한다.
일 실시예에 있어서, 안전 속성은, 도심 지역 내에서 대상물의 이동이 잦아 주의하여야 할 지대인 안전 지대, 일부 센서의 센서가 작동되지 않아, 센싱 결과의 필터링이 필요한 지역인 센서 필터 지대, 및 정상적인 차량의 이동이 가능한 정상 지대를 포함하는 것을 특징으로 할 수 있다.
따라서 본 발명에 따르면, 경로 생성부에서 제공되는 안전 속성에 따라 특정한 상황에 따라 각 센서에 대한 객체 인식에 대한 대응 방법을 다양하게 적용함으로써, 자율 주행에 대한 안전성을 더욱 확보할 수 있다.
특히, 안전 속성이 안전 지대인 경우에는 낮은 감지율에 대해서도 반응을 실시하고, 제공되는 정지선과 같은 안전 속성에 따른 종속 지점에서 정차하도록 함으로써, 안전 사고를 미리 방지할 수 있다.
또한, 안전 속성 값에 따라 센서 필터 조건을 설정함으로써, 필터가 오작동 되는 현상을 미연에 방지하는 효과를 가진다.
도 1 은 본 발명의 자율 주행 시스템을 설명하기 위한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 자율 주행 시스템의 구성도이다.
도 3 은 도 2의 실시예에 따른 자율 주행 방법의 순서도이다.
도 4 는 본 발명의 다른 실시예에 따른 자율 주행 방법의 확인 단계를 나타내는 순서도이다.
도 5 는 본 발명의 다른 실시예에 따른 자율 주행 시스템을 설명하기 위한 도면이다.
도 6 은 본 발명의 다른 실시예에 따른 자율 주행 시스템을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
또한, 하기 실시예는 본 발명의 권리범위를 한정하는 것이 아니라 단지 예시로 제시하는 것이며, 본 기술 사상을 통해 구현되는 다양한 실시예가 있을 수 있다.
본 발명의 자율 주행 시스템
도 1은 본 발명의 자율 주행 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 자율 주행 시스템은 카메라, 레이더, 라이다와 같은 다중 센서를 이용하여 차량 주행 경로로 접근하는 객체를 인식하는 방법에 관한 것으로, 자율 주행 자동차(10)가 주행 경로(30)를 따라 자율 주행 하는 경우, 주행 경로(30) 상의 웨이포인트(W1, W2, W3)들에 객체(20)와 자율 주행 자동차(10)가 충돌할 것을 예측하여, 이에 대응하는 방법에 관한 것이다.
자율 주행 자동차(10)에는 다중 센서가 내장되어 있으므로, 탐지된 객체(20)에 대해 상대적인 이동 경로를 예측할 수 있고, 이에 따라 조건에 부합되는 경우 자율 주행 자동차(10)의 주행 제어부를 통해 이를 제어한다. 이에 대한 상세한 설명을 다음에서 진행한다.
도 2 는 본 발명의 일 실시예에 따른 자율 주행 시스템의 구성도이다. 도 3 은 도 2의 실시예에 따른 자율 주행 방법의 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 시스템은 경로 생성부(100), 객체 인식부(200), 센서 퓨전 판단부(300) 및 주행 제어부(400)를 포함한다.
경로 생성부(100)는 자율 주행 차량(10)이 진행하여야 하는 주행 경로와 안전 속성을 제공한다. 특히, 주행 경로 뿐 아니라, 현재 주행 되는 지역의 안전 속성을 제공함으로써, 주위 환경 요소에 대해 대응하는 단계를 설정할 수 있다.
본 실시예에서 제공되는 안전 속성은 먼저 안전 지대를 포함할 수 있다. 안전 지대는 도심 지역 내에서 차량이나 사람 등과 같은 대상물을 주의하여야 할 지대이다.
또한, 센서 필터 지대를 포함할 수 있다. 센서 필터 지대는 일부 센서의 센서가 작동되지 않아, 센싱 결과의 필터링이 필요한 지역이다. 예를 들어, 암영 지역이 발생하여 카메라 센서가 잘 대응되지 않는 경우를 들 수 있다.
그 외에는 정상적인 차량의 이동이 가능한 정상 지대를 포함하여 정상 지대에서의 자율주행을 결정할 수 있다.
객체 인식부(200)는 하나 이상의 센서를 이용하여 탐지된 객체의 위치 정보 및 이동 정보를 제공한다. 객체 인식부는 카메라 객체 인식부(210), 레이더 객체 인식부(220), 라이다 객체 인식부(230)를 포함할 수 있다.
카메라 객체 인식부(210)는 카메라를 통하여 입력된 영상을 처리하여 차량이나 보행자와 같은 객체를 인식하여, 객체의 상대 위치 좌표, 크기, 종류, 상대속도 등을 출력한다. 레이더 객체 인식부(220)는 레이더 센서로부터 취득한 객체의 상대 위치 좌표, 크기, 종류, 상대속도 등을 출력한다. 마찬가지로, 라이다 객체 인식부(230)는 라이다 센서로부터 취득한 객체의 상대 위치 좌표, 크기, 종류, 상대속도 등을 출력한다.
각 객체 인식부(210, 220, 230)은 객체의 탐지에 적용되는 센서만 다르게 적용되는 것일 뿐 대상 객체의 위치 정보 및 이동 정보를 제공하는 점에서 동일하고, 각 인식부마다 다른 센서를 사용하므로, 그러한 결과 값이 다르게 제공될 가능성이 있다. 본 발명에서는 이처럼 여러 개의 센서를 활용하여 이를 기반으로 의사 결정할 수 있기 때문에, 일부 센서에서 잘못된 측정을 하는 경우라도, 다른 센서들이 이를 감지하는 경우를 활용하여 비교적 안전하게 대상 객체를 인지할 수 있는 장점이 있다.
또한, 각 객체 인식부(210, 220, 230)에 의해 측정되는 객체의 위치와 속도 값은 일정 회수 이상의 반복적인 측정으로 인해 위치 및 속도 값을 이동 평균값으로 계산하여 이를 제공할 수 있다. 이것은 객체의 위치 또는 상대 속도의 노이즈로 인한 오류를 방지하기 위함이다.
센서 퓨전 판단부(300)는 객체 인식부(200)에서 제공되는 안전 속성에 따라 탐지된 객체가 상기 자율 주행 차량(10)이 충돌할 가능성이 있는지를 판단한다. 특히, 단일 센서만으로 완전한 의사결정이 어렵기 때문에, 복수개의 객체 인식부(210, 220, 230)를 사용하여 이러한 결과값을 종합적으로 판단한다.
특히, 센서 퓨전 판단부(300)에서는 객체 인식부(200)에서 제공하는 상기 위치 정보 및 이동 정보를 이용하여 상기 객체의 이동 경로를 예측하고, 자율주행 챠랑의 속도 및 경로 생성부(100)에서 제공하는 자율주행차량의 주행경로를 이용하여, 주행 경로상 웨이포인트 지점에 상기 객체의 이동 경로를 계산한다.
객체(20)와 자율주행차량(10)이 웨이포인트 지점(W1, W2, W3)에서 만나는 경우, 탐지된 객체가 상기 자율 주행 차량(10)이 충돌할 가능성이 있는 것으로 판단한다.
끝으로, 주행 제어부(400)는 센서 퓨전 판단부(300)에서 충돌 가능성이 인지되는 경우 상기 자율 주행 차량(10)의 주행을 제어한다.
본 발명의 자율 주행 방법
도 3을 참조하면, 본 발명의 다른 실시예에 따른 자율 주행 방법은 경로 계산 단계(S100), 객체 인식 단계(S200), 충돌 가능성 판단 단계(S300) 및 차량 제어 단계(S400)를 포함한다.
경로 계산 단계(S100)는 주행 경로와 안전 속성을 제공하는 경로 생성부(100)를 이용하여 자율 주행 차량(10)이 진행하여야 하는 경로 및 안전 속성을 계산 한다.
객체 인식 단계(S200)는 객체 인식부(200)의 적어도 하나 이상의 센서를 이용하여 탐지된 객체의 위치 정보 및 이동 정보를 제공한다.
충돌 가능성 판단 단계(S300)는 센서 퓨전 판단부(300)에 의해 상기 객체 인식부(200)에서 상기 안전 속성에 따라 상기 탐지된 객체가 상기 자율 주행 차량(10)이 충돌할 가능성이 있는지를 판단한다.
차량 제어 단계(S400)는 주행 제어부(400)에 의해 상기 센서 퓨전 판단부(300)에서 충돌 가능성이 인지되는 경우 상기 자율 주행 차량(10)의 주행을 제어한다.
특히, 경로 계산 단계(S100) 및 객체 인식 단계(S200)은 순서의 전후가 있는 것이 아니라, 경로 계산 단계(S100) 및 객체 인식 단계(S200)가 상시 구동되며 데이터를 전송하고, 충돌 가능성 판단 단계(S300)에서 충돌 위험이 감지되는 경우 차량 제어 단계(S400)을 실시하도록 작동될 수 있다.
충돌 가능성 확인 단계
도 4 는 본 발명의 다른 실시예에 따른 자율 주행 방법의 확인 단계를 나타내는 순서도이다.
도 4를 참조하면, 본 실시예에 따른 자율 주행 방법은 충돌 가능성 확인 단계(S300)에서, 먼저 충돌 가능성의 존재를 확인하고(S310), 이것이 유효 시간 내에 이루어지는 지를 확인하고(S320), 안전 속성이 어떤 값을 가지는지를 확인하고(S330), 이에 따라 각 센서에서 제공되는 값 별로 충돌 가능성 여부를 판단한다(S340, S350).
우선 충돌 가능성 존재의 확인 단계(S310)에서는, 센서 퓨전 판단부(300)에서 객체 인식부(200)에서 제공하는 상기 위치 정보 및 이동 정보를 이용하여 상기 객체의 이동 경로를 예측하고, 자율주행 챠랑의 속도 및 경로 생성부(100)에서 제공하는 자율주행차량의 주행경로를 이용하여, 주행 경로상 웨이포인트 지점에 상기 객체의 이동 경로를 계산한다. 이후 각 웨이포인트(W1, W2, W3)에서의 충돌 예상 여부를 판단한다.
유효 시간 내 발생 판단 단계(S320)에서는 이러한 객체와 자율주행차량이 웨이포인트 지점에서 만나는 경우, 만나는 예상 시간이 유효 시간(T1) 내에 있는 지를 판단한다. 이러한 충돌이 대응이 필요한 유효 시간(T1) 내에 있는 경우 자율 주행 차량(10)이 객체(20)와 충돌할 가능성이 있는 것으로 판단한다.
예를 들어, 이러한 유효 시간(T1)은 3초 이내의 시간인 것으로 지정할 수 있다. 유효 시간(T1) 이상의 지점에서 충돌이 예상되는 경우는 추가 이동에 따른 변수가 생길 수 있으므로, 당장 조치를 취해야 하는 상황에서는 배제한다.
또한, 대상 객체(20)가 자율주행차량(10)의 웨이포인트(W1, W2, W3) 멀어지는 방향으로 이동하는 경우에는, 해당 객체의 상황은 무시될 수 있다.
또한, 안전 속성 판단 단계(S330)에서는 안전 속성이 안전 지대인 것을 파악한다. 만일 안전 지대가 아닌 정상 지대인 경우에는, 객체 인식부(200)에서 여러 개의 센서를 이용하여 복수개의 객체 인식부가 존재하는 경우, 적어도 2개 이상의 객체 인식부에서 제공하는 상기 위치 정보 및 상기 이동 정보를 이용한 상기 객체의 이동 경로가 접근하는 객체로 판단되는 경우, 유효한 접근으로 분류한다.
또한, 정상 지대인 경우라고 하더라도, 사고로 이어질 수 있는 근접 거리 내에 있는 경우에는 한 개의 센서만 탐지하더라도 접근 객체로 분류하여 유효한 접근으로 분류할 수 있다. 근접 거리의 기준은 예를 들어 30m일 수 있다.
안전 속성 고려 단계
도 5 는 본 발명의 다른 실시예에 따른 자율 주행 시스템을 설명하기 위한 도면이다.
도 5를 참조하면, 자율 주행 시스템에서 경로 생성부가 제공하는 안전 속성이 안전 지대인 경우를 나타낸다. 현재는 횡단보도로서, 사람이 이동하고 있을 가능성이 높은 지역으로 분류 되어, 안전 지대에 속할 수 있다.
이렇게 안전 지대에 있는 경우에는 보다 높은 단계의 주의가 필요하므로, 최소 1개의 객체 인식부에서 제공하는 상기 위치 정보 및 상기 이동 정보를 이용한 상기 객체의 이동 경로가 접근하는 객체로 판단되는 경우, 충돌 가능성이 있는 유효한 접근으로 분류한다(S340).
이것은 안전 지대에 속하는 경우 뿐만 아니라, 객체가 근접 거리 내에 있는 경우에도 같은 방식이 적용될 수 있다.
이와 연계되어, 주행 제어부(400)에서는 안전 지역 내에서 정차 또는 저속 운전을 실시하도록 제어할 수 있다.
도 5와 같이, 횡단보도 등의 안전 지대 내에서 접근 객체가 발견되는 경우에는, 주행 제어부(400)에서는 정지 선과 같은 안전 정지 지점(50)에 자율 주행 차량을 정지하도록 제어할 수 있다. 만일 안전 정지 지점(50) 이전인 경우에는 감속을 실시하여 언제라도 정지가 가능하도록 제어할 수 있다.
이러한 안전 정지 지점(50)은 안전 속성에서 안전 지대로 속성값을 결정하여 제공하는 경우 이에 종속되는 제공 값으로 설정될 수 있다. 예를 들어, 횡단 보도가 존재하고, 차로로 사람의 이동이 예상되는 경우, 이에 따라 사람들이 인식하는 정지선에 관한 정보를 주행 제어부(400)으로 제공하여, 사람들이 차량이 정지하도록 예상되는 지점에서 차량이 정지되도록 제어할 수 있다.
센서 필터 지대인 경우
도 6 은 본 발명의 다른 실시예에 따른 자율 주행 시스템을 설명하기 위한 도면이다.
도 6을 참조하면, 안전 속성이 상기 센서 필터 지대인 경우의 자율 주행 시스템의 구동을 나타낸다.
센서 퓨전 판단부(300)는 경로 생성부(100)에서 제공되는 안전 속성이 센서 필터 지대인 경우, 객체 인식부(200)의 특정 객체 인식부의 결과를 무시하도록 할 수 있다.
예를 들어, 카메라 센서의 경우 터널 입구를 차량으로 오탐지하여, 충돌하는 것으로 오인식할 수 있는데, 이러한 조건을 안전 속성에 부과하여, 센서 필터 지대로 설정한다. 이것은 센서의 특성을 고려하여, 센서의 오작동을 미리 필터링함으로써, 예상되는 자율주행시스템의 오작동을 방지하기 위함이다.
이상에서 설명된 본 발명의 일 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
10 : 자율주행차량
20 : 객체
30 : 주행 경로
40 : 안전 지대
50 : 정지선
60 : 터널
70 : 터널 내부
W1, W2, W3 : 웨이포인트
100 : 경로생성부
200 : 객체 인식부
210 : 카메라 객체 인식부
220 : 레이더 객체 인식부
230 : 라이다 객체 인식부
300 : 센서 퓨전 판단부
400 : 주행 제어부

Claims (10)

  1. 자율 주행 차량(10)이 진행하여야 하는 주행 경로 및 상기 주행 경로 상의 지역별 안전 속성을 제공하는 경로 생성부(100);
    적어도 하나 이상의 센서를 이용하여 탐지된 객체의 위치 정보 및 이동 정보를 제공하는 객체 인식부(200);
    상기 안전 속성을 바탕으로, 상기 객체 인식부(200)에서 탐지된 상기 객체가 상기 자율 주행 차량(10)과 충돌할 가능성이 있는지를 판단하는 센서 퓨전 판단부(300); 및
    상기 센서 퓨전 판단부(300)에서 충돌 가능성이 인지되는 경우 상기 자율 주행 차량(10)의 주행을 제어하는 주행 제어부(400);를 포함하고,

    상기 센서 퓨전 판단부(300)는
    상기 객체의 상기 위치 정보 및 이동 정보를 이용하여, 상기 위치 정보 및 이동 정보를 이용하여 상기 객체의 이동 경로를 예측하고, 상기 자율 주행 차량(10)의 속도 및 경로 생성부(100)에서 제공하는 상기 자율 주행 차량(10)의 상기 주행경로를 이용하여, 주행 경로상 웨이포인트(W1, W2, W3)에서의 충돌 예상 여부를 판단하고(S310),
    상기 객체와 상기 자율 주행 차량(10)의 충돌 예상 시간이 유효 시간(T1) 내에 있는 지를 판단하고(S320),
    상기 충돌 예상 지점의 상기 안전 속성에 따라, 상기 객체 인식부(200)의 상기 센서 별로 상기 객체의 상기 위치 정보 및 이동 정보를 다르게 적용하는 것(S330, S350)을 특징으로 하는 다중 센서 객체 인식을 이용한 자율 주행 시스템.
  2. 제1항에 있어서,
    상기 안전 속성은, 도심 지역 내에서 대상물을 주의하여야 할 지대인 안전 지대; 일부 센서의 센서가 작동되지 않아, 센싱 결과의 필터링이 필요한 지역인 센서 필터 지대; 및 정상적인 차량의 이동이 가능한 정상 지대;를 포함하는 것을 특징으로 하는 다중 센서 객체 인식을 이용한 자율 주행 시스템.
  3. 제1항에 있어서,
    상기 객체 인식부(200)는, 카메라 객체 인식부(210), 레이더 객체 인식부(220), 라이다 객체 인식부(230)를 포함하며,
    상기 객체의 위치 정보 및 이동 정보는 각각의 객체 인식부에서 개별적으로 측정하여 제공되는 것을 특징으로 하는 다중 센서 객체 인식을 이용한 자율 주행 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 센서 퓨전 판단부(300)는
    상기 객체 인식부(200)에서 여러 개의 센서를 이용하는 경우, 적어도 2개 이상의 상기 센서에서 제공하는 상기 위치 정보 및 상기 이동 정보를 이용한 상기 객체의 이동 경로가 접근하는 객체로 판단되는 경우,
    유효한 접근으로 분류하는 것을 특징으로 하는 다중 센서 객체 인식을 이용한 자율 주행 시스템.
  7. 제2항에 있어서,
    상기 센서 퓨전 판단부(300)는
    상기 객체 인식부(200)에서 여러 개의 센서를 이용하는 경우에,
    상기 경로 생성부(100)가 제공하는 상기 안전 속성 값이, 상기 안전 지대인 경우에는,
    최소 1개의 상기 센서에서 제공하는 상기 위치 정보 및 상기 이동 정보를 이용한 상기 객체의 이동 경로가 접근하는 객체로 판단되는 경우,
    충돌 가능성이 있는 유효한 접근으로 분류하고,
    상기 주행 제어부(400)에서는 상기 안전 지역 내에서 정차 또는 저속 운전을 실시하도록 제어하는 것을 특징으로 하는 다중 센서 객체 인식을 이용한 자율 주행 시스템.
  8. 제2항에 있어서,
    상기 센서 퓨전 판단부(300)는,
    상기 경로 생성부(100)에서 제공되는 상기 안전 속성이 상기 센서 필터 지대인 경우, 상기 객체 인식부(200)의 특정 객체 인식부의 결과를 무시하는 것을 특징으로 하는 다중 센서 객체 인식을 이용한 자율 주행 시스템.
  9. 주행 경로와 안전 속성을 제공하는 경로 생성부(100)를 이용하여 자율 주행 차량(10)이 진행하여야 하는 경로 및 안전 속성을 계산 하는 경로 계산 단계(S100);
    객체 인식부(200)의 적어도 하나 이상의 센서를 이용하여 탐지된 객체의 위치 정보 및 이동 정보를 제공하는 객체 인식 단계(S200);
    센서 퓨전 판단부(300)에 의해 상기 객체 인식부(200)에서 상기 안전 속성에 따라 상기 탐지된 객체가 상기 자율 주행 차량(10)이 충돌할 가능성이 있는지를 판단하는 충돌 가능성 판단 단계(S300); 및
    주행 제어부(400)에 의해 상기 센서 퓨전 판단부(300)에서 충돌 가능성이 인지되는 경우 상기 자율 주행 차량(10)의 주행을 제어하는 차량 제어 단계(S400);를 포함하고,

    상기 충돌 가능성 판단 단계(S300)는
    상기 객체의 상기 위치 정보 및 이동 정보를 이용하여, 상기 위치 정보 및 이동 정보를 이용하여 상기 객체의 이동 경로를 예측하고, 상기 자율 주행 차량(10)의 속도 및 경로 생성부(100)에서 제공하는 상기 자율 주행 차량(10)의 상기 주행경로를 이용하여, 주행 경로상 웨이포인트(W1, W2, W3)에서의 충돌 예상 여부를 판단하는 단계(S310);,
    상기 객체와 상기 자율 주행 차량(10)의 충돌 예상 시간이 유효 시간(T1) 내에 있는 지를 판단하는 단계(S320);
    상기 충돌 예상 지점의 상기 안전 속성에 따라, 상기 객체 인식부(200)의 상기 센서 별로 상기 객체의 상기 위치 정보 및 이동 정보를 다르게 적용하는 단계(S330, S350))을 포함하는 것을 특징으로 하는 다중 센서 객체 인식을 이용한 자율 주행 방법.
  10. 제9항에 있어서,
    상기 안전 속성은, 도심 지역 내에서 대상물의 이동이 잦아 주의하여야 할 지대인 안전 지대; 일부 센서의 센서가 작동되지 않아, 센싱 결과의 필터링이 필요한 지역인 센서 필터 지대; 및 정상적인 차량의 이동이 가능한 정상 지대;를 포함하는 것을 특징으로 하는 자율 주행 방법.

KR1020210190740A 2021-12-29 2021-12-29 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법 KR102681738B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210190740A KR102681738B1 (ko) 2021-12-29 2021-12-29 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210190740A KR102681738B1 (ko) 2021-12-29 2021-12-29 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법

Publications (2)

Publication Number Publication Date
KR20230101004A KR20230101004A (ko) 2023-07-06
KR102681738B1 true KR102681738B1 (ko) 2024-07-04

Family

ID=87185282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210190740A KR102681738B1 (ko) 2021-12-29 2021-12-29 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법

Country Status (1)

Country Link
KR (1) KR102681738B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180239359A1 (en) * 2016-08-16 2018-08-23 Faraday&Future Inc. System and method for determining navigational hazards

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180239359A1 (en) * 2016-08-16 2018-08-23 Faraday&Future Inc. System and method for determining navigational hazards

Also Published As

Publication number Publication date
KR20230101004A (ko) 2023-07-06

Similar Documents

Publication Publication Date Title
US10407060B2 (en) Driver assistance apparatus and method for operating the same
US9493163B2 (en) Driving support apparatus for vehicle
KR102441060B1 (ko) 보행자 추돌 사고 방지 장치, 그를 포함한 시스템 및 그 방법
JP6017044B2 (ja) ドライバーアシストシステム及びドライバーアシストシステムの作動方法
US9499171B2 (en) Driving support apparatus for vehicle
CN107953884B (zh) 用于自主车辆的行驶控制设备和方法
US11577721B2 (en) System and method for detecting a risk of collision between a motor vehicle and a secondary object located in the traffic lanes adjacent to said vehicle when changing lanes
CN109844843A (zh) 用于检查超车可能性条件的方法
KR20110132437A (ko) 차량의 주행 거동을 자동으로 인식하기 위한 방법 및 이러한 방법을 구현한 운전자 지원 시스템
CN113442917B (zh) 用于宿主机动车辆的警告系统
JP2006500664A (ja) 車両の衝突を阻止する方法および装置
KR101875922B1 (ko) Aeb 시스템을 제어하기 위한 장치 및 그 방법
KR101994304B1 (ko) 주행 안전을 위한 차량 제어 장치 및 방법
CN114287026B (zh) 车辆行动决定方法及车辆行动决定装置
KR102653169B1 (ko) 후측방 경보 제어 장치 및 방법
JP2017182768A (ja) 衝突回避装置
US11745656B2 (en) Notification control apparatus for vehicle
CN107458337B (zh) 机动车保护装置的控制
CN113255540A (zh) 一种基于毫米波雷达和摄像头融合的礼让行人系统及方法
KR102681738B1 (ko) 다중 센서 객체 인식을 이용한 자율 주행 시스템 및 이를 이용하는 자율 주행 방법
JP2010097400A (ja) 衝突防止装置
KR20200080918A (ko) 차량의 긴급제동을 위한 충돌위험도 판단과 차량 제어 방법 및 이를 구현하는 차량 제어 장치
KR20190068048A (ko) 주행 경로 상의 장애물 탐색 및 회피를 위한 방법 및 장치
KR102251575B1 (ko) 후방 충돌 회피 시스템 및 방법
JP2019172168A (ja) 自動運転システムおよび自動運転プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)