KR102533419B1 - 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램 - Google Patents

차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102533419B1
KR102533419B1 KR1020210089112A KR20210089112A KR102533419B1 KR 102533419 B1 KR102533419 B1 KR 102533419B1 KR 1020210089112 A KR1020210089112 A KR 1020210089112A KR 20210089112 A KR20210089112 A KR 20210089112A KR 102533419 B1 KR102533419 B1 KR 102533419B1
Authority
KR
South Korea
Prior art keywords
vehicle
collision
predefined
collision avoidance
control logic
Prior art date
Application number
KR1020210089112A
Other languages
English (en)
Other versions
KR20230008947A (ko
Inventor
김진평
장규진
김영민
배현재
김영남
이지형
Original Assignee
재단법인차세대융합기술연구원
인천대학교 산학협력단
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인차세대융합기술연구원, 인천대학교 산학협력단, 성균관대학교산학협력단 filed Critical 재단법인차세대융합기술연구원
Priority to KR1020210089112A priority Critical patent/KR102533419B1/ko
Publication of KR20230008947A publication Critical patent/KR20230008947A/ko
Application granted granted Critical
Publication of KR102533419B1 publication Critical patent/KR102533419B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/04—Automatic systems, e.g. controlled by train; Change-over to manual control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

본 발명은 차량 및 전방 객체 간의 충돌을 회피하기 위한 충돌 회피 방법 및 장치, 컴퓨터 프로그램에 관한 것으로서, 상기 차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하는 단계; 상기 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 상기 전방 객체의 이동 벡터를 결정하는 단계; 상기 결정된 전방 객체의 이동 벡터와 상기 차량의 주행 속도에 기초하여 상기 차량 및 상기 전방 객체 간의 충돌 여부를 예측하는 단계; 및 상기 차량 및 상기 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하는 단계;를 포함하는 것을 특징으로 한다.

Description

차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램{METHOD AND APPARATUS FOR AVOIDING COLLISION BETWEEN VEHICLE AND OBJECT, COMPUTER PROGRAM}
본 발명은 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램에 관한 것으로서, 보다 상세하게는 자율 주행 열차와 같은 자율 주행 차량과 전방 객체 간의 충돌을 회피하기 위한, 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램에 관한 것이다.
자율 주행 차량이란 주행 시 외부정보 감지 및 처리기능을 통해 주변의 환경을 인식하여 주행 경로를 자체적으로 결정하고, 자체 동력을 이용하여 독립적으로 주행하는 차량을 말하며, 운전자가 조향휠, 가속페달 또는 브레이크 등을 조작하지 않아도, 주행 경로 상에 존재하는 장애물과의 충돌을 방지하고 도로의 형상에 따라 차속과 주행 방향을 조절하면서 스스로 목적지까지 주행하도록 동작한다.
현재까지의 자율 주행 시스템에 대한 연구 및 개발은 도로를 주행하는 자동차에 포커싱이 이루어졌으며, 철도 레일을 따라 주행하는 열차 및 트램에 대한 자율 주행 시스템의 연구 및 개발은 미흡한 실정이다. 나아가, 최근 철도 레일로 진입하는 사람과 철도 차량 간의 충돌로 인한 인명 사고가 빈번하게 발생하고 있으며, 이러한 인명 사고를 방지하기 위한 충돌 회피 제어 시스템에 대한 개발이 요구되고 있다. 나아가, 그 주행이 기관사의 수조작에 의존하지 않는 자율 주행 열차 또는 자율 주행 트램에 있어서는 철도 레일로 진입하는 사람을 정확히 탐지하고 그 충돌을 회피하기 위한 제어 로직의 필요성이 매우 크다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2020-0027075호(2020.03.12. 공개)에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 자율 주행 열차 또는 자율 주행 트램이 철도 레일을 자율 주행하는 과정에서 철도 레일로 진입하는 사람을 탐지하고 그 충돌을 회피하기 위한 제어 로직을 실행함으로써, 자율 주행 차량 및 사람 간의 충돌로 인한 인명 사고를 방지하기 위한, 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 일 측면에 따른 차량 및 전방 객체 간의 충돌을 회피하기 위한 충돌 회피 방법은 상기 차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하는 단계; 상기 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 상기 전방 객체의 이동 벡터를 결정하는 단계; 상기 결정된 전방 객체의 이동 벡터와 상기 차량의 주행 속도에 기초하여 상기 차량 및 상기 전방 객체 간의 충돌 여부를 예측하는 단계; 및 상기 차량 및 상기 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 전방 객체를 탐지하는 단계는, 미리 구축된 복수의 이미지를 기반으로, YOLOv5(You Only Look Once) 알고리즘을 통해 입력 이미지 상의 특정 객체를 탐지하도록 학습된 딥 러닝(Deep Learning) 모델을 이용하여 상기 전방 객체를 탐지하는 것을 특징으로 한다.
본 발명에 있어 상기 이동 벡터를 결정하는 단계는, 상기 전방 영상 이미지 상의 상기 전방 객체가 위치한 탐지 영역, 및 상기 탐지 영역 내의 픽셀의 수를 인자로 하는, 밀집 광학 흐름(Dense Optical Flow) 알고리즘으로서 Farneback 알고리즘을 기반으로 상기 전방 객체의 이동 벡터를 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 차량은 기 정의된 주행 경로를 따라 주행하고, 상기 충돌 여부를 예측하는 단계는, 상기 전방 객체의 이동 벡터로부터 도출되는 이동 속도 및 이동 방향을 기반으로 상기 전방 객체가 차량의 주행 경로에 진입하기까지 소요되는 소요 시간 및 진입 지점을 결정하고, 상기 소요 시간 이내에 상기 차량이 상기 진입 지점에 도달할 것으로 판단되는 경우 상기 차량 및 상기 전방 객체 간 충돌이 발생할 것으로 예측하는 것을 특징으로 한다.
본 발명에 있어 상기 충돌 회피 제어 로직은, 상기 소요 시간 및 상기 차량의 제동 감속도 간의 매핑 관계가 미리 정의된 감속 프로파일에 따라 상기 차량의 제동을 제어하는 제동 제어 로직을 포함하되, 상기 매핑 관계는 상기 소요 시간 및 상기 차량의 제동 감속도 간의 반비례 관계인 것을 특징으로 한다.
본 발명에 있어 상기 차량의 주행 경로는 철도 레일이고, 상기 차량은 자율 주행 열차 및 자율 주행 트램 중 어느 하나인 것을 특징으로 한다.
본 발명에 있어 상기 충돌 회피 제어 로직은, 상기 소요 시간이 미리 정의된 기준치 이하인 경우 경고를 출력하는 경고 출력 로직을 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량 및 객체 간의 충돌 회피 장치는 프로세서(processor); 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리;를 포함하고, 상기 프로세서를 통해 실행되는 적어도 하나의 명령은, 차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하도록 하는 명령, 상기 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 상기 전방 객체의 이동 벡터를 결정하도록 하는 명령, 상기 결정된 전방 객체의 이동 벡터와 상기 차량의 주행 속도에 기초하여 상기 차량 및 상기 전방 객체 간의 충돌 여부를 예측하도록 하는 명령, 및 상기 차량 및 상기 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하도록 하는 명령을 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 컴퓨터 프로그램은 하드웨어와 결합되어, 차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하는 단계; 상기 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 상기 전방 객체의 이동 벡터를 결정하는 단계; 상기 결정된 전방 객체의 이동 벡터와 상기 차량의 주행 속도에 기초하여 상기 차량 및 상기 전방 객체 간의 충돌 여부를 예측하는 단계; 및 상기 차량 및 상기 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하는 단계;를 실행시키기 위해 컴퓨터 판독 가능 저장매체에 저장된 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 자율 주행 열차 또는 자율 주행 트램이 철도 레일을 자율 주행하는 과정에서 철도 레일로 진입하는 사람을 탐지하고 그 충돌을 회피하기 위한 제어 로직을 실행함으로써 자율 주행 차량 및 사람 간의 충돌로 인한 인명 사고를 방지할 수 있고, 또한 철도 레일로 진입하는 사람을 탐지하기 위한 딥 러닝 모델로서 YOLOv5(You Only Look Once) 알고리즘을 채용하여 사람 탐지 상의 실시간성이 보장될 수 있으며, 전방에 위치한 사람의 이동을 예측하기 위한 알고리즘으로서 Farneback 알고리즘을 채용하여 사람 탐지로부터 충돌 회피 제어 로직을 실행하기까지 소요되는 연산 처리 시간을 보다 효과적으로 저감시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 및 객체 간의 충돌 회피 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량 및 객체 간의 충돌 회피 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 차량 및 객체 간의 충돌 회피 방법에서 전방 객체를 탐지하고 그 충돌 여부를 예측하는 과정을 설명하기 위한 예시도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 차량 및 객체 간의 충돌 회피 장치를 설명하기 위한 블록구성도이다.
도 1에 도시된 것과 같이 본 실시예의 차량 및 객체 간의 충돌 회피 장치(이하, 충돌 회피 장치)는 프로세서(100) 및 메모리(200)를 포함할 수 있으며, 차량에 탑재되어 차량의 주행을 제어하는 제어 장치로 기능할 수 있다. 본 실시예에서는 차량을 대중 교통으로서 철도 레일을 자율 주행하는 자율 주행 열차 또는 자율 주행 트램인 것으로 설명한다. 차량에는 그 자율 주행 경로에 따른 전방 영상을 획득하는 영상 인식 모듈(예: 카메라 센서(CCD 센서))이 구비되어 있을 수 있으며, 이에 따라 프로세서(100)는 차량의 자율 주행 과정에서 영상 인식 모듈에 의해 획득되는 전방 영상을 분석하여 차량의 자율 주행을 제어하도록 동작할 수 있다. 본 실시예에서 프로세서(100)에 의한 차량의 자율 주행 제어는 전방 객체(예: 사람)와의 충돌을 회피하는 제어 로직에 포커싱한다.
메모리(200)에는 프로세서(100)에 의해 실행되는 적어도 하나의 명령이 저장될 수 있다. 메모리(200)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구현될 수 있으며, 예를 들어 읽기 전용 메모리(ROM: Read Only Memory) 및/또는 랜덤 액세스 메모리(RAM: Random Access Memory)로 구현될 수 있다. 프로세서(100)는 중앙 처리 장치(CPU: Central Processing Unit) 또는 SoC(System on Chip)로 구현될 수 있으며, 운영 체제 또는 어플리케이션을 구동하여 프로세서(100)에 연결된 복수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(100)는 메모리(200)에 저장된 적어도 하나의 명령을 실행시키고, 그 실행 결과 데이터를 메모리(200)에 저장하도록 구성될 수 있다.
메모리(200)에 저장되어 프로세서(100)에 의해 실행되는 적어도 하나의 명령은, ⅰ)차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하도록 하는 명령과, ⅱ)탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 전방 객체의 이동 벡터를 결정하도록 하는 명령과, ⅲ)전방 객체의 이동 벡터와 차량의 주행 속도에 기초하여 차량 및 전방 객체 간의 충돌 여부를 예측하도록 하는 명령과, ⅳ)차량 및 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하도록 하는 명령을 포함할 수 있다.
위 내용을 바탕으로, 이하에서는 전방 객체를 탐지하여 차량과의 충돌 회피 제어를 수행하는 본 실시예의 구성을 도 2 내지 도 5에 따른 충돌 회피 방법으로서 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 차량 및 객체 간의 충돌 회피 방법을 설명하기 위한 흐름도이다. 도 3 내지 도 5는 본 발명의 일 실시예에 따른 차량 및 객체 간의 충돌 회피 방법에서 전방 객체를 탐지하고 그 충돌 여부를 예측하는 과정을 설명하기 위한 예시도이다.
도 2를 참조하면, 먼저 프로세서(100)는 차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지한다(S100). S100 단계에서, 프로세서(100)는 미리 구축된 복수의 이미지(즉, 학습 데이터)를 기반으로, YOLOv5(You Only Look Once) 알고리즘을 통해 입력 이미지 상의 특정 객체를 탐지하도록 학습된 딥 러닝(Deep Learning) 모델을 이용하여 전방 객체를 탐지한다. YOLOv5 알고리즘은 높은 FPS(Frames Per Second) 성능을 기반으로 실시간성에 적합한 딥 러닝 알고리즘으로서, 본 실시예에서는 입력 이미지에서 중요한 특징을 추출하는 역할인 모델 백본(Backbone)을 BottleNeck과 CSPNet을 결합하고 활성화 함수로 SiLU를 사용한 C3 모델을 활용함으로써 Faster R-CNN, Cascade R-CNN, RetinaNet 등의 알고리즘 대비 그 학습 능력이 향상되도록 하였다.
전방 객체 탐지를 위한 딥 러닝 모델은 학습 완료 후 그 성능이 검증된 상태로 프로세서(100)에 정의되어 있을 수 있다. 딥 러닝 모델의 검증 방법으로서, 전방 객체로서 보행자가 철도 레일로부터 5m부터 30m까지 5m 간격으로 떨어진 위치에서 그 진입 각도가 -45°, 0°, 45°인 상태로 철도 레일로 진입하는 조건에서 전방 객체의 탐지율을 측정하는 방안이 적용될 수 있다. 전방 객체의 탐지율은 하기 수학식 1에 의해 표현된다.
Figure 112021078410399-pat00001
수학식 1에서 P는 전방 객체가 존재하는 프레임의 개수, PE는 YOLOv5 알고리즘에 의해 전방 객체가 탐지된 프레임의 개수이다. 거리 및 각도에 따른 전방 객체의 탐지율은 하기 표 1과 같다.
Distance of the Object from stop line Direction of the object(˚) Detection ratio
5m 0 100%
45 100%
10m -45 100%
0 100%
45 100%
15m -45 100%
0 100%
45 100%
20m -45 100%
0 99.63%
45 100%
25m -45 100%
0 95.37%
45 100%
30m -45 100%
0 91.2%
45 90.85%
S100 단계 이후, 프로세서(100)는 S100 단계에서 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 전방 객체의 이동 벡터를 결정한다(S200). 이때, 프로세서(100)는 밀집 광학 흐름(Dense Optical Flow) 알고리즘으로서 Farneback 알고리즘을 기반으로 전방 객체의 이동 벡터를 결정한다.
구체적으로, 차량의 주행에 따라 차량에 구비된 영상 인식 모듈 또한 이동되어 전방 영상이 동적으로 변하기 때문에, 본 실시예에서는 특징점의 소실 위험이 있는 Lucas-Kanade 알고리즘 대신, 모든 이미지 픽셀에 대해 객체의 움직임을 정확하게 파악할 수 있는 Farneback 알고리즘을 활용하는 구성을 채용한다. Farneback 알고리즘에 따른 전방 객체의 이동 벡터는 하기 수학식 1에 의해 도출된다.
Figure 112021078410399-pat00002
수학식 2에서 I(x,y)는 좌표 (x,y)에서 Farneback 알고리즘을 이용하여 계산된 흐름 벡터(Flow Vector), (u, v)는 흐름 벡터의 수평 성분의 크기(Horizontal)와 수직 성분의 크기(Vertical),
Figure 112021078410399-pat00003
는 전방 객체의 이동 벡터, Ab는 전방 객체가 위치한 탐지 영역, Nb는 전방 객체가 위치한 탐지 영역 내의 픽셀의 총 수이다.
전방 객체의 이동 벡터 결정을 위한 Farneback 알고리즘은 그 성능이 검증된 상태로 프로세서(100)에 정의되어 있을 수 있다. Farneback 알고리즘의 검증 방법으로서, Farneback 알고리즘에 의해 결정된 이동 벡터의 이동 속도 및 이동 방향과 실제 전방 객체의 이동 속도 및 이동 방향을 비교하는 방안이 적용될 수 있다. 실제 전방 객체의 이동 속도(vo)는 하기 수학식 3에 의해 도출될 수 있다(수학식 3에서 S0는 철도 레일 및 전방 객체 간의 거리, f는 영상 인식 모듈의 렌즈 초점거리, Csw는 영상 인식 모듈(CCD 센서)의 폭, Iw는 입력 영상의 폭, Iow는 전방 객의 폭(즉, 탐지 영역의 폭), fps는 프레임 레이트를 의미한다).
Figure 112021078410399-pat00004
Farneback 알고리즘에 따른 결과 데이터는 하기 표 2와 같다.
Distance of the Object from stop line Direction of the object(˚) Average Angle of Motion Vector in Videos(˚) Average Motion Vector Magnitude of Object in Videos(px) Estimated Speed (m/s)
5m 0 146.87 2.23 0.72
45 117.16 1.36 0.44
10m -45 117.99 1.06 0.69
0 28.76 0.77 0.50
45 85.52 0.49 0.32
15m -45 16.98 0.72 0.70
0 15.92 0.77 0.75
45 91.95 0.58 0.56
20m -45 -2.22 1.06 1.37
0 1.45 0.94 1.22
45 25.27 0.49 0.63
25m -45 -0.03 0.66 1.07
0 3.26 0.61 0.99
45 11.11 0.46 0.74
30m -45 -0.15 0.53 1.03
0 0.80 0.48 0.93
45 21.21 0.21 0.41
S200 단계를 통해 전방 객체의 이동 벡터가 결정되면, 프로세서(100)는 전방 객체의 이동 벡터와, 차량의 ADAS로부터 획득되는 차량의 주행 속도에 기초하여 차량 및 전방 객체 간의 충돌 여부를 예측한다(S300).
구체적으로, 프로세서(100)는 전방 객체의 이동 벡터로부터 도출되는 이동 속도 및 이동 방향을 기반으로 전방 객체가 차량의 주행 경로에 진입하기까지 소요되는 소요 시간 및 진입 지점을 결정한다. 즉, 앞서 언급한 것과 같이 본 실시예의 차량은 자율 주행 열차 또는 자율 주행 트램으로 구현되어 기 정의된 철도 레일을 따라 주행하게 되며, S100 단계를 통해 전방 객체가 탐지되어 그 위치가 결정되면, 프로세서(100)는 도 3에 도시된 것과 같이 이동 벡터로부터 도출되는 이동 속도 및 이동 방향을 기반으로 전방 객체가 차량의 주행 경로에 진입하기까지 소요되는 소요 시간(즉, 충돌 예상 시간, TCC: Time To Collision) 및 진입 지점(P)을 결정할 수 있다. 이에 따라, 프로세서(100)는 상기한 소요 시간 이내에 차량이 상기한 진입 지점에 도달할 것으로 판단된 경우(즉, 소요 시간 동안의 전방 객체의 이동 경로와 차량의 이동 경로가 중첩되는 것으로 판단된 경우. TCC ≥ Dy / Vcy) 차량 및 전방 객체 간 충돌이 발생할 것으로 예측할 수 있다.
S300 단계를 통해 차량 및 전방 객체 간의 충돌이 발생할 것으로 예측된 경우, 프로세서(100)는 충돌 회피를 위해 미리 정의된 충돌 회피 제어 로직을 실행한다(S400). 본 실시예에서 충돌 회피 제어 로직은 제동 제어 로직 및 경고 출력 로직을 포함할 수 있다.
제동 제어 로직은 상기한 소요 시간 및 차량의 제동 감속도 간의 매핑 관계가 미리 정의된 감속 프로파일에 따라 차량의 제동을 제어하는 로직으로 정의되며, 상기의 매핑 관계는 소요 시간 및 제동 감속도(즉, 제동 감속도의 크기) 간의 반비례 관계에 해당할 수 있다. 구체적으로, 앞서 언급한 것과 같이 본 실시예의 차량은 자율 주행 열차 또는 자율 주행 트램과 같은 대중 교통에 해당할 수 있으며, 차량에 탑승한 다수의 탑승자의 안전을 위해 차량의 제동 감속도는 조절될 필요가 있다. 따라서, 차량의 제동 감속도 조절을 위한 정량적 기준으로서, 본 실시예에서는 소요 시간 및 제동 감속도 간의 반비례 관계를 정의하여 소요 시간에 따라 제동 감속도를 조절하는 구성을 채용하며, 프로세서(100)는 소요 시간이 작을수록 제동 감속도를 더 큰 값으로 설정하고, 소요 시간이 클수록 제동 감속도를 더 작은 값으로 설정하여 차량의 제동을 제어함으로써, 전방 객체와의 충돌이 회피되고 탑승자의 안전이 보장되는 범위 내에서 차량의 제동 제어를 효율적으로 수행할 수 있다.
경고 출력 로직은 상기한 소요 시간이 미리 정의된 기준치 이하인 경우 경고를 출력하는 로직으로 정의된다. 즉, 프로세서(100)는 소요 시간(충돌 예상 시간)이 기준치(예: 5초) 이하인 경우 전방 객체가 철도 레일로 진입하지 못하도록 외부 경고(예: 열차 경적)를 출력하고, 또한 관제 센터로 경고 메시지를 전송하여 관제 센터의 작업자가 해당 상황을 인지하도록 할 수 있다.
도 4 및 도 5는 본 실시예의 적용 결과를 보이고 있다. 전방 객체가 철도 레일로부터 15m 이격된 위치에서 0°로(즉, 철도 레일의 종방향과 수직으로) 진입하는 경우를 상정하였으며, 도 4는 딥 러닝 모델에 의해 인식된 전방 객체와 Farneback 알고리즘에 의한 흐름 벡터를 보이고 있다. 도 5는 전술한 S300 단계 및 S400 단계의 실행 결과로서 소요 시간(TTC) 및 진입 지점을 보이고 있다.
한편, 본 실시예에 따른 충돌 회피 방법은 하드웨어와 결합되어 전술한 S100 단계 내지 S400 단계를 실행시키기 위한 컴퓨터 프로그램으로 작성될 수 있으며, 컴퓨터로 판독 가능한 기록매체에 저장되어 상기 컴퓨터 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 판독 가능한 기록매체는 ROM, RAM, 하드 디스크, 플로피 디스크, 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 해당될 수 있다.
이와 같이 본 실시예는 자율 주행 열차 또는 자율 주행 트램이 철도 레일을 자율 주행하는 과정에서 철도 레일로 진입하는 사람을 탐지하고 그 충돌을 회피하기 위한 제어 로직을 실행함으로써 자율 주행 차량 및 사람 간의 충돌로 인한 인명 사고를 방지할 수 있고, 또한 철도 레일로 진입하는 사람을 탐지하기 위한 딥 러닝 모델로서 YOLOv5(You Only Look Once) 알고리즘을 채용하여 사람 탐지 상의 실시간성이 보장될 수 있으며, 전방에 위치한 사람의 이동을 예측하기 위한 알고리즘으로서 Farneback 알고리즘을 채용하여 사람 탐지로부터 충돌 회피 제어 로직을 실행하기까지 소요되는 연산 처리 시간을 보다 효과적으로 저감시킬 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 프로세서
200: 메모리

Claims (9)

  1. 컴퓨팅 디바이스에 의해 수행되며, 차량 및 전방 객체 간의 충돌을 회피하기 위한 충돌 회피 방법으로서,
    상기 차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하는 단계;
    상기 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 상기 전방 객체의 이동 벡터를 결정하는 단계;
    상기 결정된 전방 객체의 이동 벡터와 상기 차량의 주행 속도에 기초하여 상기 차량 및 상기 전방 객체 간의 충돌 여부를 예측하는 단계; 및
    상기 차량 및 상기 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하는 단계;
    를 포함하고,
    상기 차량은 기 정의된 주행 경로를 따라 주행하는 자율 주행 열차 또는 자율 주행 트램이고,
    상기 충돌 회피 제어 로직은, 미리 정의된 감속 프로파일에 따라 상기 차량의 제동을 제어하는 제동 제어 로직을 포함하되, 상기 감속 프로파일에는 상기 전방 객체가 상기 차량의 주행 경로에 진입하기까지 소요되는 소요 시간 및 상기 차량의 제동 감속도 간의 매핑 관계가 미리 정의되어 있으며, 상기 매핑 관계는 상기 소요 시간 및 상기 차량의 제동 감속도 간의 반비례 관계인 것을 특징으로 하는 차량 및 객체 간의 충돌 회피 방법.
  2. 제1항에 있어서,
    상기 전방 객체를 탐지하는 단계는,
    미리 구축된 복수의 이미지를 기반으로, YOLOv5(You Only Look Once) 알고리즘을 통해 입력 이미지 상의 특정 객체를 탐지하도록 학습된 딥 러닝(Deep Learning) 모델을 이용하여 상기 전방 객체를 탐지하는 것을 특징으로 하는 차량 및 객체 간의 충돌 회피 방법.
  3. 제1항에 있어서,
    상기 이동 벡터를 결정하는 단계는,
    상기 전방 영상 이미지 상의 상기 전방 객체가 위치한 탐지 영역, 및 상기 탐지 영역 내의 픽셀의 수를 인자로 하는, 밀집 광학 흐름(Dense Optical Flow) 알고리즘으로서 Farneback 알고리즘을 기반으로 상기 전방 객체의 이동 벡터를 결정하는 것을 특징으로 하는 차량 및 객체 간의 충돌 회피 방법.
  4. 제1항에 있어서,
    상기 충돌 여부를 예측하는 단계는,
    상기 전방 객체의 이동 벡터로부터 도출되는 이동 속도 및 이동 방향을 기반으로 상기 소요 시간 및 진입 지점을 결정하고, 상기 소요 시간 이내에 상기 차량이 상기 진입 지점에 도달할 것으로 판단되는 경우 상기 차량 및 상기 전방 객체 간 충돌이 발생할 것으로 예측하는 것을 특징으로 하는 차량 및 객체 간의 충돌 회피 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 충돌 회피 제어 로직은, 상기 소요 시간이 미리 정의된 기준치 이하인 경우 경고를 출력하는 경고 출력 로직을 포함하는 것을 특징으로 하는 차량 및 객체 간의 충돌 회피 방법.
  8. 프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리;를 포함하고,
    상기 프로세서를 통해 실행되는 적어도 하나의 명령은,
    차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하도록 하는 명령,
    상기 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 상기 전방 객체의 이동 벡터를 결정하도록 하는 명령,
    상기 결정된 전방 객체의 이동 벡터와 상기 차량의 주행 속도에 기초하여 상기 차량 및 상기 전방 객체 간의 충돌 여부를 예측하도록 하는 명령, 및
    상기 차량 및 상기 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하도록 하는 명령을 포함하고,
    상기 차량은 기 정의된 주행 경로를 따라 주행하는 자율 주행 열차 또는 자율 주행 트램이고,
    상기 충돌 회피 제어 로직은, 미리 정의된 감속 프로파일에 따라 상기 차량의 제동을 제어하는 제동 제어 로직을 포함하되, 상기 감속 프로파일에는 상기 전방 객체가 상기 차량의 주행 경로에 진입하기까지 소요되는 소요 시간 및 상기 차량의 제동 감속도 간의 매핑 관계가 미리 정의되어 있으며, 상기 매핑 관계는 상기 소요 시간 및 상기 차량의 제동 감속도 간의 반비례 관계인 것을 특징으로 하는, 차량 및 객체 간의 충돌 회피 장치.
  9. 하드웨어와 결합되어,
    차량이 주행하는 과정에서 획득되는 전방 영상 이미지를 입력받고, 입력받은 전방 영상 이미지에 속한 전방 객체를 탐지하는 단계;
    상기 탐지된 전방 객체가 속한 전방 영상 이미지에 미리 정의된 광학 흐름(Optical Flow) 알고리즘을 적용하여 상기 전방 객체의 이동 벡터를 결정하는 단계;
    상기 결정된 전방 객체의 이동 벡터와 상기 차량의 주행 속도에 기초하여 상기 차량 및 상기 전방 객체 간의 충돌 여부를 예측하는 단계; 및
    상기 차량 및 상기 전방 객체 간의 충돌이 예측된 경우, 그 충돌을 회피하기 위해 미리 정의된 충돌 회피 제어 로직을 실행하는 단계;
    를 실행시키기 위해 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램으로서,
    상기 차량은 기 정의된 주행 경로를 따라 주행하는 자율 주행 열차 또는 자율 주행 트램이고,
    상기 충돌 회피 제어 로직은, 미리 정의된 감속 프로파일에 따라 상기 차량의 제동을 제어하는 제동 제어 로직을 포함하되, 상기 감속 프로파일에는 상기 전방 객체가 상기 차량의 주행 경로에 진입하기까지 소요되는 소요 시간 및 상기 차량의 제동 감속도 간의 매핑 관계가 미리 정의되어 있으며, 상기 매핑 관계는 상기 소요 시간 및 상기 차량의 제동 감속도 간의 반비례 관계인 것을 특징으로 하는, 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
KR1020210089112A 2021-07-07 2021-07-07 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램 KR102533419B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210089112A KR102533419B1 (ko) 2021-07-07 2021-07-07 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210089112A KR102533419B1 (ko) 2021-07-07 2021-07-07 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20230008947A KR20230008947A (ko) 2023-01-17
KR102533419B1 true KR102533419B1 (ko) 2023-05-18

Family

ID=85111366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210089112A KR102533419B1 (ko) 2021-07-07 2021-07-07 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102533419B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067276A (ja) 2012-09-26 2014-04-17 Fuji Heavy Ind Ltd 車両の衝突判定装置
KR101984209B1 (ko) 2018-11-20 2019-05-30 주식회사 싸인텔레콤 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법
CN112307921A (zh) 2020-10-22 2021-02-02 桂林电子科技大学 一种车载端多目标识别跟踪预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050110A (ko) * 2014-10-27 2016-05-11 한국철도기술연구원 피알티 차량의 충돌 방지 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067276A (ja) 2012-09-26 2014-04-17 Fuji Heavy Ind Ltd 車両の衝突判定装置
KR101984209B1 (ko) 2018-11-20 2019-05-30 주식회사 싸인텔레콤 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법
CN112307921A (zh) 2020-10-22 2021-02-02 桂林电子科技大学 一种车载端多目标识别跟踪预测方法

Also Published As

Publication number Publication date
KR20230008947A (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
US10665108B2 (en) Information processing apparatus and non-transitory computer-readable recording medium
US20210046924A1 (en) Cost-based path determination
JP2021531208A (ja) 車両のための衝突予測及び回避
CN103359034B (zh) 一种车辆
JP7373914B2 (ja) 車両およびその制御方法
KR102374916B1 (ko) 차선 유지 제어장치 및 제어방법
US11142193B2 (en) Vehicle and method for performing inter-vehicle distance control
KR20190026114A (ko) 주행 차량을 제어하는 방법 및 장치
JP2009003795A (ja) 分岐路進入判定装置
CN108614551A (zh) 远端操作载具及其载具控制装置与控制方法
JP2009294934A (ja) 自律移動装置及び自律移動装置の制御方法
JPWO2017077807A1 (ja) 車両走行制御装置
US11801864B1 (en) Cost-based action determination
US20210370916A1 (en) Parking assist apparatus and a method of controlling the parking assist apparatus
JP2012106735A (ja) 分岐路進入判定装置
US11370489B2 (en) Vehicle and method for steering avoidance control
KR102591992B1 (ko) 차량 및 그 제어방법
WO2022004042A1 (ja) 車両制御装置および車両制御システム
KR102533419B1 (ko) 차량 및 객체 간의 충돌 회피 방법 및 장치, 컴퓨터 프로그램
US11663918B2 (en) Method and device for the operation of a vehicle to avoid or clear a traffic jam
KR101957922B1 (ko) 차량 간 충돌 방지 방법 및 장치
US11820399B2 (en) Vehicle
JP7269846B2 (ja) 車両運転支援方法及び車両運転支援システム
JP2022139058A (ja) 制御システム、移動体、制御方法、およびプログラム
KR20210071454A (ko) 차량 및 제어방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right