KR102331000B1 - 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 - Google Patents
자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 Download PDFInfo
- Publication number
- KR102331000B1 KR102331000B1 KR1020190121857A KR20190121857A KR102331000B1 KR 102331000 B1 KR102331000 B1 KR 102331000B1 KR 1020190121857 A KR1020190121857 A KR 1020190121857A KR 20190121857 A KR20190121857 A KR 20190121857A KR 102331000 B1 KR102331000 B1 KR 102331000B1
- Authority
- KR
- South Korea
- Prior art keywords
- traffic light
- interest
- autonomous vehicle
- computing device
- position information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010191 image analysis Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G06K9/00825—
-
- G06K9/3233—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 있어서,
(a) 복수의 신호등의 절대 위치 정보를 포함하는 지도 데이터가 획득된 상태에서, 자율주행차량의 주행 경로가 설정되면, 컴퓨팅 장치가, 상기 지도 데이터 상에서의 자율주행차량 절대 위치 정보 및 상기 지도 데이터를 참조로 하여 상기 주행 경로 상에 존재하는 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정하는 단계; (b) 상기 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력되면, 상기 컴퓨팅 장치가, 상기 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 상기 자율주행차량으로부터의 상기 관심 대상 신호등의 상대 위치 정보를 계산하고, 상기 상대 위치 정보를 참조로 하여 상기 비디오 이미지 상에서 상기 관심 대상 신호등에 대응하는 ROI(Region Of Interest)를 설정하는 단계; 및 (c) 상기 컴퓨팅 장치가, 상기 ROI를 참조한 이미지 분석을 통해 상기 비디오 이미지 상에 위치하는 상기 관심 대상 신호등을 디텍션하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 단계;를 포함하는 방법 및 이를 이용한 컴퓨팅 장치.
(a) 복수의 신호등의 절대 위치 정보를 포함하는 지도 데이터가 획득된 상태에서, 자율주행차량의 주행 경로가 설정되면, 컴퓨팅 장치가, 상기 지도 데이터 상에서의 자율주행차량 절대 위치 정보 및 상기 지도 데이터를 참조로 하여 상기 주행 경로 상에 존재하는 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정하는 단계; (b) 상기 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력되면, 상기 컴퓨팅 장치가, 상기 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 상기 자율주행차량으로부터의 상기 관심 대상 신호등의 상대 위치 정보를 계산하고, 상기 상대 위치 정보를 참조로 하여 상기 비디오 이미지 상에서 상기 관심 대상 신호등에 대응하는 ROI(Region Of Interest)를 설정하는 단계; 및 (c) 상기 컴퓨팅 장치가, 상기 ROI를 참조한 이미지 분석을 통해 상기 비디오 이미지 상에 위치하는 상기 관심 대상 신호등을 디텍션하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 단계;를 포함하는 방법 및 이를 이용한 컴퓨팅 장치.
Description
본 발명은 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치에 관한 것이다.
자동차 통행량이 폭발적으로 증가함에 따라 교통사고가 증가하고, 이와 동시에 운전자는 주행 환경을 스스로 컨트롤하는 일이 점점 어려워지고 있는 실정이다.
이에 따라 교통사고 발생률을 감소시키고 운전자의 편의를 향상시키기 위한 안전 제어 시스템들이 많이 개발되고 있으며, 특히 운전자의 직접적인 조작이 없이도 목적지까지 자율적으로 운행할 수 있는 자율주행차량에 대한 연구가 활발히 이루어지고 있다.
이러한, 자율주행을 위하여 제공되는 기술에는 GPS를 이용한 차량 항법 시스템이 있다. 차량 항법 시스템은 주행중인 자동차의 위치를 검색하고, 지리정보 등을 기록해 둔 기록매체로부터 자동차의 위치에 대응하는 전자지도를 재생하여 차량단말기를 통해 차량의 주행 궤적을 전자지도상에 표시하는 동작을 수행하게 된다. 또한, 차량 항법 시스템은 지구상에 배치된 GPS 위성으로부터 GPS 모듈을 통해서 위성신호를 수신하고, 차량의 현재 위치, 진행방향을 파악하여 주행 궤적을 추적하여 목적지까지 자율주행으로 도달할 수 있다.
하지만, 자율주행차량이 목적지까지 자율주행으로 도달하기 위해서는 신호등 정보를 별도로 파악하여 차량을 정차할 지 또는 주행할 지를 판단하여 주행하여야 한다.
종래에는, 신호등 정보를 파악하기 위하여, 영상 인식 기술을 이용하고 있는데, 영상 인식 기술에만 의존할 경우 카메라 화각 내에 존재하는 신호등을 모두 인식하기 때문에 주행 경로상 인식 대상 신호등을 특정하기 어려운 문제가 존재하였다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
또한, 본 발명은, 정밀지도 데이터에 기반한 측위 정보를 활용하여 카메라 화각 내 여러 신호등이 존재하더라도 주행 경로에 대응되는 인식 대상 신호등을 특정함으로써 주행 가능 신호 여부를 판단할 수 있도록 하는 것을 다른 목적으로 한다.
또한, 본 발명은, 화각 내 여러 신호등이 존재하더라도 인식 대상 신호등을 특정함으로써 자율주행차량으로 하여금 인식 대상 신호등의 특정 신호에 따라 정확하게 주행하도록 하여 안전 사고 발생율을 낮추는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 있어서, (a) 복수의 신호등의 절대 위치 정보를 포함하는 지도 데이터가 획득된 상태에서, 자율주행차량의 주행 경로가 설정되면, 컴퓨팅 장치가, 상기 지도 데이터 상에서의 자율주행차량 절대 위치 정보 및 상기 지도 데이터를 참조로 하여 상기 주행 경로 상에 존재하는 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정하는 단계; (b) 상기 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력되면, 상기 컴퓨팅 장치가, 상기 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 상기 자율주행차량으로부터의 상기 관심 대상 신호등의 상대 위치 정보를 계산하고, 상기 상대 위치 정보를 참조로 하여 상기 비디오 이미지 상에서 상기 관심 대상 신호등에 대응하는 ROI(Region Of Interest)를 설정하는 단계; 및 (c) 상기 컴퓨팅 장치가, 상기 ROI를 참조한 이미지 분석을 통해 상기 비디오 이미지 상에 위치하는 상기 관심 대상 신호등을 디텍션하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 단계;를 포함하는 방법이 개시된다.
일례로서, 상기 관심 대상 신호등의 상기 상대 위치 정보는 상기 자율주행차량의 특정 위치를 원점으로 하여 소정의 좌표계 상에서 계산된 관심 대상 좌표로서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 비디오 이미지 상에 상기 관심 대상 좌표를 프로젝션하여 상기 비디오 이미지 상에서 상기 관심 대상 좌표에 대응하는 상기 ROI를 설정하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 관심 대상 좌표에 적어도 한번의 아핀 변환을 적용하여 특정 픽셀 좌표로 변환하고, 상기 비디오 이미지 상에서 상기 특정 픽셀 좌표에 대응하는 상기 ROI를 설정하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 특정 위치는 상기 자율주행차량의 비디오 이미지 입출력 장치에 대응되는 위치로서, 상기 관심 대상 신호등의 상기 상대 위치 정보는, (i) 상기 특정 위치를 포함하는 가상의 평면에 상기 관심 대상 신호등을 투영시킨 지점인 제1 지점과 상기 특정 위치 사이의 거리인 제1 거리값 및 (ii) 상기 특정 위치를 시점으로 하고 상기 관심 대상 신호등을 종점으로 하는 제1 벡터를 참조로 하여 계산되고, 상기 ROI의 크기값은 기본 크기값을 가지는 상태에서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 제1 거리값을 참조로 하여 상기 ROI의 상기 기본 크기값을 특정 크기값으로 변환시키는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 주행 경로에는 상기 자율주행차량의 현재 위치를 참조로 하여 설정된 예정 주행 경로가 포함되고, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, 상기 예정 주행 경로 상에 존재하는 상기 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 상기 관심 대상 신호등으로 특정하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 비디오 이미지로부터 상기 ROI로 설정된 영역을 추출하여 크롭핑 이미지를 생성하고, 상기 크롭핑 이미지를 컨벌루션(convolution) 레이어에 입력함으로써 상기 컨벌루션 레이어로 하여금 상기 크롭핑 이미지로부터 피처맵을 생성하도록 하고, 상기 피처맵을 FC(Fully Connected) 레이어에 입력함으로써 상기 FC 레이어로 하여금 신경망 연산을 통해 상기 피처맵을 참조하도록 하여 상기 관심 대상 신호등을 디텍션하도록 하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 자율주행차량의 센싱 정보가 획득된 상태에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 관심 대상 신호등을 디텍션하고, 상기 센싱 정보를 참조로 하여 상기 자율주행차량의 주행 예정 방향을 확인하고, 상기 관심 대상 신호등의 개별 신호 상태들 중에서 상기 주행 예정 방향에 대응되는 특정 신호 상태를 인식하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 다른 태양에 따르면, 자율주행차량의 관심 대상 신호등을 특정하기 위한 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, 복수의 신호등의 절대 위치 정보를 포함하는 지도 데이터가 획득된 상태에서, 자율주행차량의 주행 경로가 설정되면, (1) 상기 지도 데이터 상에서의 자율주행차량 절대 위치 정보 및 상기 지도 데이터를 참조로 하여 상기 주행 경로 상에 존재하는 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정하는 프로세스, (2) 상기 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력되면, 상기 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 상기 자율주행차량으로부터의 상기 관심 대상 신호등의 상대 위치 정보를 계산하고, 상기 상대 위치 정보를 참조로 하여 상기 비디오 이미지 상에서 상기 관심 대상 신호등에 대응하는 ROI(Region Of Interest)를 설정하는 프로세스 및 (3) 상기 ROI를 참조한 이미지 분석을 통해 상기 비디오 이미지 상에 위치하는 상기 관심 대상 신호등을 디텍션하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 프로세스를 수행하는 상기 인스트럭션들을 실행하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 관심 대상 신호등의 상기 상대 위치 정보는 상기 자율주행차량의 특정 위치를 원점으로 하여 소정의 좌표계 상에서 계산된 관심 대상 좌표로서, 상기 프로세서는 상기 (2) 프로세스에서, 상기 비디오 이미지 상에 상기 관심 대상 좌표를 프로젝션하여 상기 비디오 이미지 상에서 상기 관심 대상 좌표에 대응하는 상기 ROI를 설정하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 관심 대상 좌표에 적어도 한번의 아핀 변환을 적용하여 특정 픽셀 좌표로 변환하고, 상기 비디오 이미지 상에서 상기 특정 픽셀 좌표에 대응하는 상기 ROI를 설정하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 특정 위치는 상기 자율주행차량의 비디오 이미지 입출력 장치에 대응되는 위치로서, 상기 관심 대상 신호등의 상기 상대 위치 정보는, (i) 상기 특정 위치를 포함하는 가상의 평면에 상기 관심 대상 신호등을 투영시킨 지점인 제1 지점과 상기 특정 위치 사이의 거리인 제1 거리값 및 (ii) 상기 특정 위치를 시점으로 하고 상기 관심 대상 신호등을 종점으로 하는 제1 벡터를 참조로 하여 계산되고, 상기 ROI의 크기값은 기본 크기값을 가지는 상태에서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 제1 거리값을 참조로 하여 상기 ROI의 상기 기본 크기값을 특정 크기값으로 변환시키는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 주행 경로에는 상기 자율주행차량의 현재 위치를 참조로 하여 설정된 예정 주행 경로가 포함되고, 상기 프로세서는, 상기 (1) 프로세스에서, 상기 예정 주행 경로 상에 존재하는 상기 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 상기 관심 대상 신호등으로 특정하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 (3) 프로세스에서, 상기 비디오 이미지로부터 상기 ROI로 설정된 영역을 추출하여 크롭핑 이미지를 생성하고, 상기 크롭핑 이미지를 컨벌루션(convolution) 레이어에 입력함으로써 상기 컨벌루션 레이어로 하여금 상기 크롭핑 이미지로부터 피처맵을 생성하도록 하고, 상기 피처맵을 FC(Fully Connected) 레이어에 입력함으로써 상기 FC 레이어로 하여금 신경망 연산을 통해 상기 피처맵을 참조하도록 하여 상기 관심 대상 신호등을 디텍션하도록 하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일례로서, 상기 프로세서는, 상기 자율주행차량의 센싱 정보가 획득된 상태에서, 상기 (3) 프로세스에서, 상기 관심 대상 신호등을 디텍션하고, 상기 센싱 정보를 참조로 하여 상기 자율주행차량의 주행 예정 방향을 확인하고, 상기 관심 대상 신호등의 개별 신호 상태들 중에서 상기 주행 예정 방향에 대응되는 특정 신호 상태를 인식하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
본 발명에 의하면, 다음과 같은 효과가 있다.
본 발명은, 정밀지도 데이터에 기반한 측위 정보를 활용하여 화각 내 여러 신호등이 존재하더라도 주행 경로에 대응되는 인식 대상 신호등을 특정함으로써 주행 가능 신호 여부를 판단할 수 있도록 하는 효과가 있다.
또한, 본 발명은, 화각 내 여러 신호등이 존재하더라도 인식 대상 신호등을 특정함으로써 자율주행차량으로 하여금 인식 대상 신호등의 특정 신호에 따라 정확하게 주행하도록 하여 안전 사고 발생율을 낮추는 효과가 있다.
도 1은 컴퓨팅 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법을 개략적으로 도시한 것이고,
도 3는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 있어 자율주행차량의 주행 방향에 대응되는 비디오 이미지를 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 따라 ROI를 설정하기 위하여 관심 대상 신호등의 관심 대상 좌표를 프로젝션하는 과정을 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 따라 관심 대상 신호등에 대응하는 ROI를 설정하는 방법을 개략적으로 도시한 것이고,
도 6a 및 도 6b는 도 5에서 설정된 ROI 내에 존재하는 신호등을 검출하고 검출된 신호등이 나타내는 신호 상태를 인식하는 과정을 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법을 개략적으로 도시한 것이고,
도 3는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 있어 자율주행차량의 주행 방향에 대응되는 비디오 이미지를 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 따라 ROI를 설정하기 위하여 관심 대상 신호등의 관심 대상 좌표를 프로젝션하는 과정을 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 따라 관심 대상 신호등에 대응하는 ROI를 설정하는 방법을 개략적으로 도시한 것이고,
도 6a 및 도 6b는 도 5에서 설정된 ROI 내에 존재하는 신호등을 검출하고 검출된 신호등이 나타내는 신호 상태를 인식하는 과정을 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 컴퓨팅 장치(100)를 개략적으로 도시한 것으로, 도 1을 참조하면, 컴퓨팅 장치(100)는 자율주행차량의 관심 대상 신호등을 특정하기 위한 인스트럭션들이 저장된 메모리(110) 및 메모리(110)에 저장된 인스트럭션들에 따른 동작을 수행하는 프로세서(120)를 포함할 수 있다. 본 발명의 방법이 컴퓨터 하드웨어 및 소프트웨어의 조합을 활용하여 구현될 것이라는 점은 통상의 기술자가 용이하게 이해할 수 있을 것이다.
컴퓨팅 장치(100)의 메모리(110)는 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 컴퓨팅 장치(100)로 하여금 특정의 방식으로 기능하게 하기 위한 컴퓨터 소프트웨어로서, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 도면에 도시된 기능들을 실행하기 위한 프로세스들을 수행하는 것도 가능하다.
또한, 컴퓨팅 장치(100)의 프로세서(120)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 컴퓨팅 장치(100)를 이용하여 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법을 설명하면 아래와 같다.
우선, 도 2의 흐름도를 참조하여 자율주행차량의 관심 대상 신호등을 특정하는 과정을 개략적으로 설명하겠다.
먼저, 복수의 신호등의 절대 위치 정보를 포함하는 지도 데이터가 획득(S1)된 상태에서, 자율주행차량의 주행 경로가 설정되면, 컴퓨팅 장치(100)가, 지도 데이터 상에서의 자율주행차량 절대 위치 정보 및 지도 데이터를 참조로 하여 주행 경로 상에 존재하는 복수의 신호등 중에서 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정(S2)할 수 있다.
그리고, 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력(S3)되면, 컴퓨팅 장치(100)가, 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 자율주행차량으로부터의 관심 대상 신호등의 상대 위치 정보를 계산하고, 신호등의 상대 위치 정보를 참조로 하여 비디오 이미지 상에서 관심 대상 신호등에 대응하는 ROI(Region Of Interest)를 설정(S4)할 수 있다.
그리고, 컴퓨팅 장치(100)가, ROI를 참조한 이미지 분석을 통해 비디오 이미지 상에 위치하는 관심 대상 신호등을 디텍션하고, 관심 대상 신호등의 신호 상태를 인식(S5)할 수 있다.
아래에서는 본 발명의 일 실시예에 따른 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 대해 보다 더 구체적으로 설명하겠다.
먼저, 지도 데이터 상에서의 자율주행차량 절대 위치 정보는 다양한 정보를 참조로 하여 획득될 수 있다. 일례로, 자율주행차량에 장착된 GPS 모듈에 의해 획득된 자율주행차량의 위치 정보 및 자율주행차량에 장착된 라이다 센서를 통해 획득되는 자율주행차량 주변 정보를 지도 데이터와 비교하여 자율주행차량 절대 위치 정보가 획득될 수 있다.
여기서, 절대 위치 정보란 특정 물체의 위도, 경도에 관한 정보를 포함할 수 있으며, 고도에 관한 정보를 포함할 수도 있다.
그리고, 이렇게 획득된 자율주행차량의 절대 위치 정보 및 지도 데이터를 참조로 하여 주행 경로 상에 존재하는 복수의 신호등 중에서 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정할 수 있다.
이때, 자율주행차량의 주행 경로에는 자율주행차량의 현재 위치를 참조로 하여 설정된 예정 주행 경로가 포함될 수 있다.
일례로, A 지점에서 C 지점까지 자율주행차량의 주행 경로가 설정된 상태에서, 자율주행차량의 현재 위치가 B 지점인 경우, 자율주행차량의 예정 주행 경로는 B 지점부터 C 지점까지의 주행 경로를 의미할 수 있다.
그리고, A 지점에서 C 지점까지의 주행 경로 상에 존재하는 복수의 신호등 중에서, 자율주행차량의 후방 10미터 지점에 a 신호등이 존재하고, 전방 20미터 지점에 b 신호등, 전방 50미터 지점에 c 신호등이 존재하는 상황에서, 자율주행차량의 후방에 존재하는 a 신호등이 실제 거리상으로는 자율주행차량으로부터 가장 가까운 신호등이라고 할지라도, a 신호등은 예정 주행 경로, 즉 B 지점부터 C 지점까지의 주행 경로 상에 존재하는 신호등이 아니므로, a 신호등은 관심 대상 신호등으로 특정되지 않고, 자율주행차량으로부터 a 신호등보다 더 먼 거리에 존재하는 b 신호등이 관심 대상 신호등으로 특정될 수 있다. 다만, 이는 예시일 뿐이며, 자율주행차량이 후방을 향해 주행하는 경우도 존재할 수 있고, 이 경우에는 위에서 예로 든 a, b 및 c 신호등 중에서 자율주행차량으로부터 후방 10미터 지점에 존재하는 a 신호등이 예정 주행 경로에 위치하는 가장 가까운 신호등으로서 관심 대상 신호등으로 특정될 수 있다.
한편, 이와 같이 관심 대상 신호등이 특정되고, 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력되면, 컴퓨팅 장치(100)가, 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 자율주행차량으로부터의 관심 대상 신호등의 상대 위치 정보를 계산할 수 있다.
여기서, 자율주행차량의 주행 방향에 대응되는 비디오 이미지란, 도 3과 같이, 자율주행차량이 전방을 향해 주행 중일 때, 자율주행차량의 전방에 존재하는 복수의 신호등(311 내지 316)과 복수의 차량들(321, 322)의 모습이 포함된 비디오 이미지일 수 있다.
또한, 관심 대상 신호등의 상대 위치 정보는, 자율주행차량의 특정 위치를 원점으로 하여 소정의 좌표계 상에서 계산된 관심 대상 좌표일 수 있다.
예를 들어, (i) 직교좌표계를 기준으로 할 경우, 관심 대상 신호등의 상대 위치 정보는, 자율주행차량의 특정 위치를 원점으로 한 상태에서 계산된 관심 대상 신호등의 좌표 정보일 수 있으며, (ii) 구면좌표계를 기준으로 할 경우, 관심 대상 신호등의 상대 위치 정보는, 자율주행차량의 특정 위치를 원점으로 한 상태에서 자율주행차량으로부터의 거리 및 방위각을 기초로 계산된 좌표 정보일 수 있다.
또한, 자율주행차량의 특정 위치는, 자율주행차량의 비디오 이미지 입출력 장치에 대응되는 위치일 수 있다. 일례로, 자율주행차량의 특정 위치에는, 자율주행차량에 설치된 카메라의 초점의 위치가 포함될 수 있다.
다만, 위에서 예로 든 좌표계에 의해 관심 대상 신호등의 상대 위치 정보를 계산하는 것은 이해의 편의를 위해 예시를 든 것일 뿐, 위 좌표계에 의한 계산 방법에 한정되는 것은 아니며, 다른 좌표계 또는 다른 알고리즘이 얼마든지 적용될 수 있음은 물론이다.
한편, 관심 대상 신호등의 상대 위치 정보는, 특정 위치를 포함하는 가상의 평면에 관심 대상 신호등을 투영시킨 지점인 제1 지점과 특정 위치 사이의 거리인 제1 거리값 및 특정 위치를 시점으로 하고 관심 대상 신호등을 종점으로 하는 제1 벡터를 참조로 하여 계산될 수 있다.
여기서, 자율주행차량의 특정 위치를 포함하는 가상의 평면이란, 자율주행차량이 위치하는 지면과 평행하며 자율주행차량의 특정 위치를 포함하는 평면을 의미할 수 있다. 일례로, 자율주행차량이 위치하는 지면에 자율주행차량을 투영시켰을 때, 자율주행차량이 투영된 곡면에 존재하는 노멀 벡터들에 대응되는 평균 노멀 벡터를 자신의 노멀벡터로 하며 자율주행차량의 특정 위치를 포함하는 평면을 의미할 수 있다.
그리고, 컴퓨팅 장치(100)가, 관심 대상 신호등의 상대 위치 정보를 참조로 하여 비디오 이미지 상에서 관심 대상 신호등에 대응하는 ROI를 설정할 수 있다.
일례로, 컴퓨팅 장치(100)가, 관심 대상 신호등의 상대 위치 정보인 관심 대상 좌표를 비디오 이미지 상에 프로젝션하여 비디오 이미지 상에서 관심 대상 좌표에 대응하는 ROI를 설정할 수 있다.
예를 들어, 도 4를 참조하여 설명하면, 컴퓨팅 장치(100)가, 자율주행차량의 특정 위치(Fc)를 원점으로 하여 관심 대상 신호등의 상대 위치 정보인 관심 대상 좌표 (X, Y, Z)를 계산하고, 비디오 이미지 상에 관심 대상 좌표를 프로젝션하고, 그 결과 획득된 좌표인 (u, v)에 대응하는 ROI를 설정할 수 있다.
여기서, ROI를 설정하는 방식에는, (u, v)를 ROI의 중심점으로 하여 설정하거나, (u, v)를 ROI의 좌측 상단 꼭지점으로 하여 설정하는 방식 등이 있을 수 있다.
또한, 컴퓨팅 장치(100)는, 관심 대상 좌표에 적어도 한번의 아핀 변환을 적용하여 특정 픽셀 좌표로 변환하고, 비디오 이미지 상에서 특정 픽셀 좌표에 대응하는 ROI를 설정할 수 있다. 여기서, 아핀 변환이란, 한 직선 상에 존재하는 점, 즉 공선점들을 다른 직선에 대응되는 공선점으로 보내는 두 아핀 공간 사이의 함수를 의미한다.
또한, 컴퓨팅 장치(100)가, 제1 거리값을 참조로 하여 ROI의 기본 크기값을 특정 크기값으로 변환시킬 수 있다.
일례로, 소정의 거리값을 기준으로 하여 ROI의 기본 크기값이 설정된 상태에서, 제1 거리값이 소정의 거리값보다 작을 경우 ROI의 크기를 기본 크기값보다 크게 설정하고, 제1 거리값이 소정의 거리값보다 클 경우 ROI의 크기를 기본 크기값보다 작게 설정함으로써, 자율주행차량으로부터의 거리에 따라 비디오 이미지 상에 출력되는 신호등의 크기가 변하더라도 그에 맞게 ROI의 크기를 변환할 수 있다.
도 5는 위와 같은 과정을 거쳐 비디오 이미지 상에 설정된 ROI(500)에 대한 예시이다. 즉, 도 5의 왼쪽에 도시된 지도 데이터 상에서 신호등(400)의 위치와 관련된 정보를 획득하고, 도 5의 오른쪽에 도시된 비디오 이미지 상에서 신호등의 위치에 대응되는 ROI(500)를 설정할 수 있다. 비록 도 5는 3개의 관심 대상 신호등(510, 520, 530)에 비해 ROI(500)의 크기가 크게 설정된 모습을 나타내고 있으나, 관심 대상 신호등(510, 520, 530) 이외의 신호등이 ROI(500)에 포함되지 않도록 하기 위해 위에서 설명한대로 제1 거리값 및 제1 벡터를 참조로 하여 ROI(500)의 기본 크기값을 특정 크기값으로 변환시킬 수도 있다.
한편, 컴퓨팅 장치(100)가, 비디오 이미지로부터 ROI로 설정된 영역을 추출하여 크롭핑 이미지를 생성하고, 크롭핑 이미지를 컨벌루션(convolution) 레이어에 입력함으로써 컨벌루션 레이어로 하여금 크롭핑 이미지로부터 피처맵을 생성하도록 하고, 피처맵을 FC(Fully Connected) 레이어에 입력함으로써 FC 레이어로 하여금 신경망 연산을 통해 피처맵을 참조하도록 하여 관심 대상 신호등을 디텍션하도록 하고, 관심 대상 신호등의 신호 상태를 인식할 수 있다. 이때, 관심 대상 신호등의 신호 상태를 인식하기 위하여 컨볼루션 레이어와 FC 레이어를 포함하는 이미지 인식 장치를 예시적으로 설명하였으나, 이외에도 ROI 내에 포함된 관심 대상 신호등의 신호 상태를 인식하기 위한 다양한 이미지 인식 알고리즘을 이용할 수 있다.
도 6a는 도 5에 도시된 ROI(500)로 설정된 영역을 확대한 모습을 개략적으로 도시한 도면이다. 일례로, 컴퓨팅 장치(100)는, 도 5의 비디오 이미지로부터 ROI로 (500) 설정된 영역인 박스 영역을 추출하여 크롭핑 이미지를 생성하고, 3개의 관심대상 신호등(510, 520, 530)을 디텍션하도록 할 수 있다.
그리고, 자율주행차량의 센싱 정보가 획득된 상태에서, 컴퓨팅 장치(100)가, 관심 대상 신호등을 디텍션하고, 센싱 정보를 참조로 하여 자율주행차량의 주행 예정 방향을 확인하고, 관심 대상 신호등의 개별 신호 상태들 중에서 주행 예정 방향에 대응되는 특정 신호 상태를 인식할 수 있다.
여기서, 자율주행차량의 센싱 정보란, 자율주행차량이 주행을 하며 센싱하는 정보들을 포괄하는 개념으로서, 자율주행차량의 절대 위치 정보, 자율주행차량에 장착된 라이다 센서로부터 획득되는 주변 지형 지물 정보, 타코미터로부터 획득되는 속도 정보 등을 포함할 수 있다.
일례로, 도 6b를 참조하면, 컴퓨팅 장치(100)는, 자율주행차량의 센싱 정보를 참조로 하여 자율 주행차량의 주행 예정 방향이 직진인 것을 확인하고, 디텍션된 관심 대상 신호등(510)의 개별 신호 상태들, 즉 직진, 좌회전, 우회전 등의 개별 신호 상태들 중에서 직진 방향에 대응되는 개별 신호 상태(511)를 인식할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (14)
- 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법에 있어서,
(a) 복수의 신호등의 절대 위치 정보를 포함하는 지도 데이터가 획득된 상태에서, 자율주행차량의 주행 경로가 설정되면, 컴퓨팅 장치가, 상기 지도 데이터 상에서의 자율주행차량 절대 위치 정보 및 상기 지도 데이터를 참조로 하여 상기 주행 경로 상에 존재하는 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정하는 단계;
(b) 상기 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력되면, 상기 컴퓨팅 장치가, 상기 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 상기 자율주행차량으로부터의 상기 관심 대상 신호등의 상대 위치 정보를 계산하고, 상기 상대 위치 정보를 참조로 하여 상기 비디오 이미지 상에서 상기 관심 대상 신호등에 대응하는 ROI(Region Of Interest)를 설정하는 단계; 및
(c) 상기 컴퓨팅 장치가, 상기 ROI를 참조한 이미지 분석을 통해 상기 비디오 이미지 상에 위치하는 상기 관심 대상 신호등을 디텍션하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 단계;
를 포함하되,
상기 관심 대상 신호등의 상기 상대 위치 정보는 상기 자율주행차량의 특정 위치를 원점으로 하여 소정의 좌표계 상에서 계산된 관심 대상 좌표로서,
상기 (b) 단계에서,
상기 컴퓨팅 장치가, 상기 비디오 이미지 상에 상기 관심 대상 좌표를 프로젝션하여 상기 비디오 이미지 상에서 상기 관심 대상 좌표에 대응하는 상기 ROI를 설정하고,
상기 특정 위치는 상기 자율주행차량의 비디오 이미지 입출력 장치에 대응되는 위치로서,
상기 관심 대상 신호등의 상기 상대 위치 정보는, (i) 상기 특정 위치를 포함하는 가상의 평면에 상기 관심 대상 신호등을 투영시킨 지점인 제1 지점과 상기 특정 위치 사이의 거리인 제1 거리값 및 (ii) 상기 특정 위치를 시점으로 하고 상기 관심 대상 신호등을 종점으로 하는 제1 벡터를 참조로 하여 계산되고,
상기 ROI의 크기값은 기본 크기값을 가지는 상태에서,
상기 (b) 단계에서,
상기 컴퓨팅 장치가, 상기 제1 거리값을 참조로 하여 상기 ROI의 상기 기본 크기값을 특정 크기값으로 변환시키되,
상기 가상의 평면은, (i) 상기 자율주행차량이 위치하는 지면에 상기 자율주행차량이 투영됨으로써 생성되는 곡면의 노멀 벡터들에 대응되는 평균 노멀 벡터를 자신의 노멀 벡터로 하며, (ii) 상기 자율주행 차량의 상기 특정 위치를 포함하는 평면인 것을 특징으로 하는 방법. - 삭제
- 제1항에 있어서,
상기 (b) 단계에서,
상기 컴퓨팅 장치가, 상기 관심 대상 좌표에 적어도 한번의 아핀 변환을 적용하여 특정 픽셀 좌표로 변환하고, 상기 비디오 이미지 상에서 상기 특정 픽셀 좌표에 대응하는 상기 ROI를 설정하는 것을 특징으로 하는 방법. - 삭제
- 제1항에 있어서,
상기 주행 경로에는 상기 자율주행차량의 현재 위치를 참조로 하여 설정된 예정 주행 경로가 포함되고,
상기 (a) 단계에서,
상기 컴퓨팅 장치가, 상기 예정 주행 경로 상에 존재하는 상기 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 상기 관심 대상 신호등으로 특정하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 (c) 단계에서,
상기 컴퓨팅 장치가, 상기 비디오 이미지로부터 상기 ROI로 설정된 영역을 추출하여 크롭핑 이미지를 생성하고, 상기 크롭핑 이미지를 컨벌루션(convolution) 레이어에 입력함으로써 상기 컨벌루션 레이어로 하여금 상기 크롭핑 이미지로부터 피처맵을 생성하도록 하고, 상기 피처맵을 FC(Fully Connected) 레이어에 입력함으로써 상기 FC 레이어로 하여금 신경망 연산을 통해 상기 피처맵을 참조하도록 하여 상기 관심 대상 신호등을 디텍션하도록 하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 것을 특징으로 하는 방법. - 제6항에 있어서,
상기 자율주행차량의 센싱 정보가 획득된 상태에서,
상기 (c) 단계에서,
상기 컴퓨팅 장치가, 상기 관심 대상 신호등을 디텍션하고, 상기 센싱 정보를 참조로 하여 상기 자율주행차량의 주행 예정 방향을 확인하고, 상기 관심 대상 신호등의 개별 신호 상태들 중에서 상기 주행 예정 방향에 대응되는 특정 신호 상태를 인식하는 것을 특징으로 하는 방법. - 자율주행차량의 관심 대상 신호등을 특정하기 위한 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
상기 프로세서는, 복수의 신호등의 절대 위치 정보를 포함하는 지도 데이터가 획득된 상태에서, 자율주행차량의 주행 경로가 설정되면, (1) 상기 지도 데이터 상에서의 자율주행차량 절대 위치 정보 및 상기 지도 데이터를 참조로 하여 상기 주행 경로 상에 존재하는 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 관심 대상 신호등으로 특정하는 프로세스, (2) 상기 자율주행차량의 주행 방향에 대응되는 비디오 이미지가 입력되면, 상기 자율주행차량 절대 위치 정보 및 관심 대상 신호등 절대 위치 정보를 참조로 하여 상기 자율주행차량으로부터의 상기 관심 대상 신호등의 상대 위치 정보를 계산하고, 상기 상대 위치 정보를 참조로 하여 상기 비디오 이미지 상에서 상기 관심 대상 신호등에 대응하는 ROI(Region Of Interest)를 설정하는 프로세스 및 (3) 상기 ROI를 참조한 이미지 분석을 통해 상기 비디오 이미지 상에 위치하는 상기 관심 대상 신호등을 디텍션하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 프로세스를 수행하는 상기 인스트럭션들을 실행하되,
상기 관심 대상 신호등의 상기 상대 위치 정보는 상기 자율주행차량의 특정 위치를 원점으로 하여 소정의 좌표계 상에서 계산된 관심 대상 좌표로서,
상기 프로세서는
상기 (2) 프로세스에서,
상기 비디오 이미지 상에 상기 관심 대상 좌표를 프로젝션하여 상기 비디오 이미지 상에서 상기 관심 대상 좌표에 대응하는 상기 ROI를 설정하고,
상기 특정 위치는 상기 자율주행차량의 비디오 이미지 입출력 장치에 대응되는 위치로서,
상기 관심 대상 신호등의 상기 상대 위치 정보는, (i) 상기 특정 위치를 포함하는 가상의 평면에 상기 관심 대상 신호등을 투영시킨 지점인 제1 지점과 상기 특정 위치 사이의 거리인 제1 거리값 및 (ii) 상기 특정 위치를 시점으로 하고 상기 관심 대상 신호등을 종점으로 하는 제1 벡터를 참조로 하여 계산되고,
상기 ROI의 크기값은 기본 크기값을 가지는 상태에서,
상기 프로세서는,
상기 (2) 프로세스에서,
상기 제1 거리값을 참조로 하여 상기 ROI의 상기 기본 크기값을 특정 크기값으로 변환시키되,
상기 가상의 평면은, (i) 상기 자율주행차량이 위치하는 지면에 상기 자율주행차량이 투영됨으로써 생성되는 곡면의 노멀 벡터들에 대응되는 평균 노멀 벡터를 자신의 노멀 벡터로 하며, (ii) 상기 자율주행 차량의 상기 특정 위치를 포함하는 평면인 것을 특징으로 하는 컴퓨팅 장치. - 삭제
- 제8항에 있어서,
상기 프로세서는,
상기 (2) 프로세스에서,
상기 관심 대상 좌표에 적어도 한번의 아핀 변환을 적용하여 특정 픽셀 좌표로 변환하고, 상기 비디오 이미지 상에서 상기 특정 픽셀 좌표에 대응하는 상기 ROI를 설정하는 것을 특징으로 하는 컴퓨팅 장치. - 삭제
- 제8항에 있어서,
상기 주행 경로에는 상기 자율주행차량의 현재 위치를 참조로 하여 설정된 예정 주행 경로가 포함되고,
상기 프로세서는,
상기 (1) 프로세스에서,
상기 예정 주행 경로 상에 존재하는 상기 복수의 신호등 중에서 상기 자율주행차량으로부터 가장 가까운 신호등을 상기 관심 대상 신호등으로 특정하는 것을 특징으로 하는 컴퓨팅 장치. - 제8항에 있어서,
상기 프로세서는,
상기 (3) 프로세스에서,
상기 비디오 이미지로부터 상기 ROI로 설정된 영역을 추출하여 크롭핑 이미지를 생성하고, 상기 크롭핑 이미지를 컨벌루션(convolution) 레이어에 입력함으로써 상기 컨벌루션 레이어로 하여금 상기 크롭핑 이미지로부터 피처맵을 생성하도록 하고, 상기 피처맵을 FC(Fully Connected) 레이어에 입력함으로써 상기 FC 레이어로 하여금 신경망 연산을 통해 상기 피처맵을 참조하도록 하여 상기 관심 대상 신호등을 디텍션하도록 하고, 상기 관심 대상 신호등의 신호 상태를 인식하는 것을 특징으로 하는 컴퓨팅 장치. - 제13항에 있어서,
상기 프로세서는,
상기 자율주행차량의 센싱 정보가 획득된 상태에서,
상기 (3) 프로세스에서,
상기 관심 대상 신호등을 디텍션하고, 상기 센싱 정보를 참조로 하여 상기 자율주행차량의 주행 예정 방향을 확인하고, 상기 관심 대상 신호등의 개별 신호 상태들 중에서 상기 주행 예정 방향에 대응되는 특정 신호 상태를 인식하는 것을 특징으로 하는 컴퓨팅 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190121857A KR102331000B1 (ko) | 2019-10-01 | 2019-10-01 | 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190121857A KR102331000B1 (ko) | 2019-10-01 | 2019-10-01 | 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210039245A KR20210039245A (ko) | 2021-04-09 |
| KR102331000B1 true KR102331000B1 (ko) | 2021-11-26 |
Family
ID=75444315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190121857A KR102331000B1 (ko) | 2019-10-01 | 2019-10-01 | 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102331000B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102368262B1 (ko) * | 2021-06-02 | 2022-03-03 | (주)에이아이매틱스 | 다중 관측정보를 이용한 신호등 배치정보 추정 방법 |
| KR102373776B1 (ko) * | 2021-09-06 | 2022-03-14 | 주식회사 라이드플럭스 | 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램 |
| KR102528716B1 (ko) | 2021-11-04 | 2023-05-04 | 주식회사 에스더블유엠 | 자율주행차량의 신호등 인지 장치 및 방법 |
| CN114373321B (zh) * | 2021-12-01 | 2023-08-25 | 北京天兵科技有限公司 | 一种用于个人单次出行的路径优化方法和系统及设备和介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101967305B1 (ko) * | 2016-10-14 | 2019-05-15 | 주식회사 만도 | 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180068262A (ko) * | 2016-12-13 | 2018-06-21 | 현대자동차주식회사 | 교통신호 인식방법 및 시스템 |
-
2019
- 2019-10-01 KR KR1020190121857A patent/KR102331000B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101967305B1 (ko) * | 2016-10-14 | 2019-05-15 | 주식회사 만도 | 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| 민정원외 2인, "컨볼루션 신경망을 이용한 신호등 색 검출 방법", 제어로봇시스템학회 논문지,23(6), (2017.06.30.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210039245A (ko) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102331000B1 (ko) | 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치 | |
| CN108399218B (zh) | 基于Walsh内核投影技术的自动驾驶车辆定位 | |
| US10816992B2 (en) | Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs) | |
| CN110386142B (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
| US11270131B2 (en) | Map points-of-change detection device | |
| US9495602B2 (en) | Image and map-based detection of vehicles at intersections | |
| EP3324332A1 (en) | Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions | |
| WO2018191881A1 (en) | Lane curb assisted off-lane checking and lane keeping system for autonomous driving vehicles | |
| US20200097016A1 (en) | Curvature corrected path sampling system for autonomous driving vehicles | |
| US11055540B2 (en) | Method for determining anchor boxes for training neural network object detection models for autonomous driving | |
| CN110390240B (zh) | 自动驾驶车辆中的车道后处理 | |
| KR102541560B1 (ko) | 객체 인식 방법 및 장치 | |
| US20210174113A1 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
| US11328602B2 (en) | System and method for navigation with external display | |
| JP2020086545A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
| CN114333339B (zh) | 深度神经网络功能模块去重复的方法 | |
| US20220180117A1 (en) | System and method for tracking detected objects | |
| US11315269B2 (en) | System and method for generating a point cloud that includes surface normal information | |
| US20210049382A1 (en) | Non-line of sight obstacle detection | |
| JP2023110364A (ja) | 物体追跡装置、物体追跡方法、およびプログラム | |
| US20210158059A1 (en) | Systems and methods for determining the direction of an object in an image | |
| US20230417885A1 (en) | Systems and methods for detecting erroneous lidar data | |
| US11726483B2 (en) | Apparatus for detecting inclination angle and controller | |
| US20230177844A1 (en) | Apparatus, method, and computer program for identifying state of lighting | |
| US20240067168A1 (en) | Vehicle controller, method, and computer program for vehicle control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |