KR102414632B1 - 다중 관측정보를 이용한 고정객체의 위치 결정 방법 - Google Patents
다중 관측정보를 이용한 고정객체의 위치 결정 방법 Download PDFInfo
- Publication number
- KR102414632B1 KR102414632B1 KR1020210071680A KR20210071680A KR102414632B1 KR 102414632 B1 KR102414632 B1 KR 102414632B1 KR 1020210071680 A KR1020210071680 A KR 1020210071680A KR 20210071680 A KR20210071680 A KR 20210071680A KR 102414632 B1 KR102414632 B1 KR 102414632B1
- Authority
- KR
- South Korea
- Prior art keywords
- observation
- observation data
- fixed object
- data
- location
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
Abstract
본 발명은 다중 관측정보를 이용한 고정객체의 위치 결정 방법에 관한 것으로, 복수의 차량들 각각의 주행 과정에서 도로 인근의 고정객체에 관한 관측 데이터를 수집하는 단계; 상기 관측 데이터를 상기 고정객체 별로 정의된 분류계층에 따라 분류하는 단계; 상기 관측 데이터를 동일 분류계층 내에서 위치를 기준으로 클러스터링 하는 단계; 상기 관측 데이터를 관측 조건에 따라 1차 선별하는 단계; 상기 관측 데이터를 관측 특성에 따라 2차 선별하는 단계; 상기 관측 데이터에 수치해석 모델을 적용하여 분석하는 단계; 상기 분석의 결과를 기초로 관측 신뢰도를 검증하는 단계; 및 상기 검증에 통과하면 상기 적어도 하나의 고정객체에 관한 객체 위치를 결정하는 단계;를 포함한다.
Description
본 발명은 영상 분석 기반의 객체 식별 기술에 관한 것으로, 보다 상세하게는 일반적인 차량용 영상저장장치로부터 다수의 관측 결과를 수집하여 통계적 데이터 처리 기법을 통해 시설물의 절대위치를 특정하는 다중 관측정보를 이용한 고정객체의 위치 결정 방법에 관한 것이다.
도로의 고정시설물, 특히 안전운전의 가이드 역할을 하는 교통표지판과 신호등은, 운전자가 육안으로 보면서 도로에 대한 정보를 인지하고 이에 따라 안전하게 운전할 수 있도록 하는 중요한 교통 인프라이다.
한편, ADAS(advanced driver assist system) 또는 자율성의 발전 정도에 따라 통상 5단계로 구분되는 자율주행 기술이 점차 적용됨에 따라, 자율주행차량이 판단하는 도로 정보의 정확도가 중요해졌다. 가령, 어느 구간의 제한속도가 60km/h에서 50 km/h로 갑자기 변경되는데, ADAS/자율주행 시스템이 저장되어 있는 구간 정보에만 의존한다면 교통법규를 위반하게 된다. 실제로 개발되고 있는 다수의 자율주행자동차가 Lidar를 이용하여 획득한 차량 주변의 기하학적 정보와 고정밀 지도에 의존하고 있으므로 이런 현상이 발생할 위험이 있다.
고정밀 지도가 아닌 종래의 내비게이션 시스템용 지도의 경우, 지도 정보를 유지, 관리하기 위하여 고정밀 GPS, Lidar와 고해상도 카메라 및 대용량 저장장치를 갖춘 전용차량을 운용하고 있는데, 고가의 장비가 필요하므로 차량의 수가 많지 않기 때문에 한 지점에 대한 도로 정보의 업데이트 주기가 길다는 단점이 있다. 통상적인 업데이트 주기는 1년 이상이 소요되므로, 만약 업데이트 직후 시설물 변경이 있었다면, 1년 이상 잘못된 정보가 남아 있게 된다.
객체가 도로면에 있다면, 도로면은 2차원 평면이므로, 역시 2차원 평면인 카메라에서 촬영된 이미지와 1:1 매칭되며 획득된 하나의 카메라 이미지에서 위치 특정이 가능하지만, 공중에 있어 3차원 좌표(X, Y, Z)를 결정해야 하는 표지판과 신호등의 경우 한 이미지만으로 특정이 불가능하다.
본 발명의 일 실시예는 일반적인 차량용 영상저장장치로부터 다수의 관측 결과를 수집하여 통계적 데이터 처리 기법을 통해 시설물의 절대위치를 특정하는 다중 관측정보를 이용한 고정객체의 위치 결정 방법을 제공하고자 한다.
실시예들 중에서, 다중 관측정보를 이용한 고정객체의 위치 결정 방법은 복수의 차량들 각각의 주행 과정에서 도로 인근의 고정객체에 관한 관측 데이터를 수집하는 단계; 상기 관측 데이터를 상기 고정객체 별로 정의된 분류계층에 따라 분류하는 단계; 상기 관측 데이터를 동일 분류계층 내에서 위치를 기준으로 클러스터링 하는 단계; 상기 관측 데이터를 관측 조건에 따라 1차 선별하는 단계; 상기 관측 데이터를 관측 특성에 따라 2차 선별하는 단계; 상기 관측 데이터에 수치해석 모델을 적용하여 분석하는 단계; 상기 분석의 결과를 기초로 관측 신뢰도를 검증하는 단계; 및 상기 검증에 통과하면 상기 적어도 하나의 고정객체에 관한 객체 위치를 결정하는 단계;를 포함한다.
상기 수집하는 단계는 상기 복수의 차량들 각각에 설치되는 적어도 하나의 카메라를 통해 해당 차량의 전방 영상을 촬영하는 단계; 상기 전방 영상으로부터 상기 고정객체를 포함하는 적어도 하나의 이미지를 추출하는 단계; 및 상기 적어도 하나의 이미지, 해당 이미지에 부여되는 관측번호, 상기 해당 차량의 위치와 주행방향 및 시간을 포함하는 관측 데이터를 상기 복수의 차량들로부터 수신하는 단계를 포함할 수 있다.
상기 1차 선별하는 단계는 상기 분류계층에 대한 일치도가 임계값 이하인 경우, 해당 관측 시점이 특정 시간 범위에 해당하는 경우 및 상기 해당 관측 시점의 날씨가 특정 조건을 충족하는 경우 중 적어도 하나의 관측 조건에 해당하면 상기 관측 데이터에서 제거하는 단계를 포함할 수 있다.
상기 2차 선별하는 단계는 상기 관측 데이터에 대해 관측지점 간의 거리가 기 설정된 임계거리 미만인 경우를 제거하는 단계; 및 상기 관측 데이터에 대해 방향벡터 간의 각도가 기 설정된 임계각도 미만인 경우를 제거하는 단계를 포함할 수 있다.
상기 분석하는 단계는 상기 고정객체의 위치좌표를 정의하고 상기 위치좌표를 기준으로 방향벡터와의 거리에 관한 벡터식을 생성하는 단계; 상기 벡터식을 상기 위치좌표에 관한 2차식으로 변환하고 상기 2차식을 상기 관측 데이터에 적용하여 상기 위치좌표에 관한 혼합 2차식을 생성하는 단계; 및 상기 혼합 2차식을 기초로 상기 위치좌표를 산출하는 단계를 포함할 수 있다.
상기 검증하는 단계는 상기 관측 데이터에서 상기 산출된 위치좌표까지의 거리가 검증기준을 초과하는 아웃라이어(outlier)를 검출하여 제거하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 검증에 통과한 관측 데이터가 소정의 개수만큼 누적된 경우 상기 객체 위치로서 확정하는 단계를 포함할 수 있다.
실시예들 중에서, 다중 관측정보를 이용한 고정객체의 위치 결정 방법은 상기 객체 위치를 모니터링 하여 상기 고정객체의 철거, 교체 및 이동을 검출하는 단계;를 더 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 다중 관측정보를 이용한 고정객체의 위치 결정 방법은 일반적인 차량용 영상저장장치로부터 다수의 관측 결과를 수집하여 통계적 데이터 처리 기법을 통해 시설물의 절대위치를 특정할 수 있다.
도 1은 본 발명에 따른 위치 결정 시스템을 설명하는 도면이다.
도 2는 도 1의 위치 결정 장치의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 다중 관측정보를 이용한 고정객체의 위치 결정 방법을 설명하는 순서도이다.
4 내지 6은 도로 인근의 시설물에 대한 카메라 관측 범위를 설명하는 도면이다.
도 7은 도로 인근 및 도로 위의 시설물에 대한 카메라 관측 범위를 설명하는 도면이다.
도 8 내지 10은 본 발명에 따른 다중 관측을 통한 도로시설물 측위 방법을 설명하는 도면이다.
도 11은 본 발명에 따른 관측 데이터의 전처리 동작을 설명하는 도면이다.
도 12 및 13은 본 발명에 따른 좌표계 변환 과정을 설명하는 도면이다.
도 14 및 15는 본 발명에 따른 데이터 선별 과정을 설명하는 도면이다.
도 16은 본 발명에 따른 위치 결정 방법을 설명하는 도면이다.
도 17 및 18은 본 발명에 따른 고정객체의 설치, 교체 및 이동에 관한 판단 방법을 설명하는 도면이다.
도 2는 도 1의 위치 결정 장치의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 다중 관측정보를 이용한 고정객체의 위치 결정 방법을 설명하는 순서도이다.
4 내지 6은 도로 인근의 시설물에 대한 카메라 관측 범위를 설명하는 도면이다.
도 7은 도로 인근 및 도로 위의 시설물에 대한 카메라 관측 범위를 설명하는 도면이다.
도 8 내지 10은 본 발명에 따른 다중 관측을 통한 도로시설물 측위 방법을 설명하는 도면이다.
도 11은 본 발명에 따른 관측 데이터의 전처리 동작을 설명하는 도면이다.
도 12 및 13은 본 발명에 따른 좌표계 변환 과정을 설명하는 도면이다.
도 14 및 15는 본 발명에 따른 데이터 선별 과정을 설명하는 도면이다.
도 16은 본 발명에 따른 위치 결정 방법을 설명하는 도면이다.
도 17 및 18은 본 발명에 따른 고정객체의 설치, 교체 및 이동에 관한 판단 방법을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
본 발명에 따라 식별 가능한 대상인 도로시설물 또는 고정객체(object)는, 국가 또는 행정기관의 표준, 자치단체의 조례, 또는 산업계의 기술 표준, 그 외 암묵적인 상호 동의 하에 널리 쓰이는 공통의 형상과 내용을 갖는 물체를 의미하며, 기술적으로는 이와 같은 객체의 영상 데이터를 다수 확보하여, 기계학습(machine learning) 또는 딥러닝(deep learning) 기법을 적용하여, 공통된 특징을 바탕으로 특정한 분류계층(class)을 지정할 수 있는 것을 의미한다.
예를 들어, 대한민국의 교통표지판은, 도로교통법 제2조 16호에서 '안전표지'로 규정하고 있으며, 통상 '교통안전표지'로 사용될 수 있다. 안전표지의 종류 및 만드는 방식은 행정자치부령인 도로교통법 시행규칙 별표 6에서 규정하고 있다. 미국은 Federal Highway Administrator에 의해 국가 표준으로 지정되어 있는 The Manual on Uniform Traffic Control Devices, 약자로 MUTCD라는 문서에서 표지판의 형태와 제작 방법을 기술하고 있으며, 각 주별 특수 상황, 가령, 악어(aligator) 횡단 주의, 큰사슴(무스) 횡단 주의 등의 표지판을 추가하여 주별 MUTCD를 배포하고 있다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 다중 관측정보를 이용한 고정객체의 위치 결정 방법에 대하여 구체적으로 설명한다.
도 1은 본 발명에 따른 위치 결정 시스템을 설명하는 도면이다.
도 1을 참조하면, 위치 결정 시스템(100)은 다중 관측정보를 이용한 고정객체의 위치 결정 방법을 수행할 수 있으며, 차량(110), 위치 결정 장치(130) 및 데이터베이스(150)를 포함하여 구현될 수 있다.
차량(110)은 모터 또는 엔진에 의해 생산된 동력을 이용하여 승객이나 화물을 운반하는 교통수단으로서 자동차에 해당할 수 있다. 여기에서는, 차량(110)이 기본적으로 도로 위를 주행하는 자동차에 해당함을 전제로 설명하지만, 반드시 이에 한정되지 않고, 오토바이, 자전거, 퍼스널 모빌리티 등 도로 위를 주행할 수 있는 다양한 운송 수단에 해당할 수도 있다. 차량(110)은 위치 결정 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 차량(110)들은 위치 결정 장치(130)와 동시에 연결될 수도 있다.
일 실시예에서, 차량(110)은 주행 과정에서 도로 위 상황을 인식하거나 또는 주행 상태를 모니터링 하기 위해 복수의 센서들을 포함하여 구현될 수 있다. 예를 들어, 차량(110)은 주행 상태에 관한 데이터 수집을 위해 가속 센서, 브레이크 센서, 휠(wheel) 센서, GPS(Global Positioning System) 센서 및 조향각 센서 등을 포함할 수 있으며, 도로 위 상황에 관한 데이터 수집을 위해 블랙박스, 카메라 센서, 라이다(Lidar) 센서 등을 포함할 수 있다.
일 실시예에서, 차량(110)은 전방을 향해 장착되어 전면 도로 상황을 촬영할 수 있는 적어도 하나의 카메라를 포함하여 구현될 수 있다. 이때, 카메라를 통해 촬영된 영상은 위치 결정 장치(130)로 전송될 수 있다. 한편, 차량(110)은 위치 결정 장치(130)와 연동하는 전용 프로그램 또는 어플리케이션을 설치하여 실행할 수 있다.
위치 결정 장치(130)는 다중 시점에서 촬영된 관측 정보를 이용하여 도로시설물(또는 고정객체)의 절대위치를 측정할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 위치 결정 장치(130)는 차량(110)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 데이터를 송·수신할 수 있다. 또한, 위치 결정 장치(130)는 데이터의 수집 또는 추가 기능의 제공을 위하여 별도의 외부 시스템(도 1에 미도시함)과 연동하여 동작하도록 구현될 수도 있다.
일 실시예에서, 위치 결정 장치(130)는 차량(110) 내부에 장착되어 동작 가능하도록 소형화된 컴퓨팅 장치로 구현될 수 있다. 보다 구체적으로, 위치 결정 장치(130)는 차량(110)의 전방을 향해 장착되어 차량(110)의 전면 도로 상황을 촬영할 수 있는 카메라를 포함하여 구현될 수 있다. 위치 결정 장치(130)는 카메라에 의해 촬영된 영상을 입력 받아 분석 알고리즘을 실행할 수 있는 프로세서를 포함하여 구현될 수 있다. 이때, 프로세서는 다층신경망 연산을 수행할 수 있는 네트워크 처리 유닛(NPU, Network Processing Unit) 또는 텐서 처리 유닛(TPU, Tensor Processing Unit)을 포함할 수 있고, 복수의 네트워크 알고리즘을 시간배분조절(time scheduling) 하여 처리할 수 있는 제어로직(control logic)을 포함하여 구현될 수 있다.
또한, 위치 결정 장치(130)는 프로세서가 수행할 프로그램과 네트워크 처리 유닛의 알고리즘 및 파라미터를 저장하는 비휘발성(non-volatile) 메모리, 별도로 영상 데이터를 저장할 수 있는 이동 가능한 비휘발성 메모리(예를 들어, micro-SD 카드 등), 수행중인 프로그램을 보관하고 기준시점 이전의 영상을 버퍼링하고 있는 고속의 휘발성(volatile) 메모리(예를 들어, DDR SDRAM 등), 차량의 현재의 위치를 확인할 수 있는 GPS서버와 통신하여 주시하는 이벤트(특정 도로시설물의 인지)가 발생했음을 알리고, 선제적으로 또는 서버의 요청에 따라 저장된 영상 데이터를 전송할 수 있는 4G 이상의 무선통신 and/or WiFi 통신이 가능한 통신 모듈 등을 포함하여 구현될 수 있다.
일 실시예에서, 위치 결정 장치(130)는 영상 분석을 통해 차량(110)의 전방 영상에서 도로시설물을 식별할 수 있다. 이때, 위치 결정 장치(130)는 사전에 학습된 결과가 반영된 학습 모델을 이용하여 추론(inference)을 통해 도로시설물을 식별할 수 있다. 예를 들어, 위치 결정 장치(130)는 합성곱 신경망(CNN, Convolution Neural Network) 기반의 기계학습 기법을 적용하여 영상에서 객체(object)를 식별할 수 있다. 이하, 전형적인 추론 과정을 간략히 서술한다.
먼저, 합성곱(convolution)은 영상과 같이 2차원 배열로 표현되는 데이터의 한 위치의 값과 주변 위치(3x3, 5x5 등)의 값들을 선형적으로 연산하여 연관성을 부여하므로 영상에서의 신경망 기법 적용에 폭넓게 활용되고 있다. (1) 영상은 합성곱층(convolution layer)를 거치고, 이후 네트워크 설계에 따라 다양한 형태의 다층 네트워크를 거쳐 피쳐맵(feature map)으로 변환될 수 있다. (2) RPN(region proposal network)은 찾고자 하는 객체(object)가 위치하는 관심영역(region of interest, ROI)을 제안할 수 있다. (3) 관심영역에 해당하는 피쳐맵의 부분을 가져와 객체의 분류계층(class)을 산출할 수 있다. 이때, 분류는 하나의 결과만을 제시하지 않고, 사전에 설정된 각각의 분류계층과 일치하는 정도를 출력할 수 있으며, 예를 들어, 객체별 확률 정보가 인지된 결과로서 생성될 수 있다.
데이터베이스(150)는 위치 결정 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 다수의 차량(110)들에서 수집한 도로 영상을 저장할 수 있고, 영상 분석을 위한 분석 알고리즘 및 프로그램 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 위치 결정 장치(130)가 다중 관측정보를 이용한 고정객체의 위치 결정 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
또한, 도 1에서, 데이터베이스(150)는 위치 결정 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 위치 결정 장치(130)의 논리적인 저장장치로서 위치 결정 장치(130)에 포함되어 구현될 수 있음은 물론이다.
도 2는 도 1의 위치 결정 장치의 기능적 구성을 설명하는 도면이다.
도 2를 참조하면, 위치 결정 장치(130)는 데이터 수집부(210), 데이터 전처리부(230), 데이터 분석부(250), 객체 위치 결정부(270) 및 제어부(290)를 포함할 수 있다.
데이터 수집부(210)는 복수의 차량(110)들 각각의 주행 과정에서 도로 인근의 고정객체에 관한 관측 데이터를 수집할 수 있다. 데이터 수집부(210)는 차량(110) 별로 수집된 관측 데이터를 소정의 기준에 따라 분류하여 데이터베이스(150)에 저장할 수 있다. 즉, 관측 데이터는 차량(110) 내에 설치된 카메라를 통해 촬영된 전방 영상 또는 이미지를 포함할 수 있으나, 반드시 이에 한정되지 않으며, 데이터 획득 장치에 따라 다양한 유형의 데이터를 관측 데이터로서 수집할 수도 있다. 특히, 관측 데이터는 차량(110)의 전방에서 식별 가능한 다양한 도로시설물에 대한 정보를 포함할 수 있다. 예를 들어, 도로시설물은 도로 또는 인근에 설치되는 신호등이나 표지판 등을 포함할 수 있다.
일 실시예에서, 데이터 수집부(210)는 복수의 차량(110)들 각각에 설치되는 적어도 하나의 카메라를 통해 촬영된 해당 차량(110)의 전방 영상을 수집할 수 있고, 전방 영상으로부터 고정객체를 포함하는 적어도 하나의 이미지를 추출할 수 있으며, 적어도 하나의 이미지, 해당 이미지에 부여되는 관측번호, 해당 차량(110)의 위치와 주행방향 및 시간을 포함하는 관측 데이터를 복수의 차량(110)들로부터 수신할 수 있다. 데이터 수집부(210)는 기본적으로 하나의 차량(110)을 대상으로 수집된 전방 영상을 기초로 관측 데이터를 획득할 수 있으나, 필요에 따라 다수의 차량(110)들로부터 다양한 시점의 관측 정보를 통합하여 획득할 수도 있다.
또한, 데이터 수집부(210)는 획득한 전방 영상으로부터 고정객체를 포함하는 이미지를 프레임 단위로 추출할 수 있으며, 해당 이미지에 식별 정보로서 관측번호를 부여할 수 있다. 또한, 데이터 수집부(210)는 해당 이미지를 촬영한 차량(110)에 관한 위치 및 주행 정보와 시점 정보를 관측 데이터로서 수집할 수 있다.
데이터 전처리부(230)는 데이터 수집부(210)에 의해 수집된 관측 데이터를 분류하거나 또는 필터링, 군집화 등의 전처리 동작을 수행할 수 있다. 보다 구체적으로, 데이터 전처리부(230)는 관측 데이터를 고정객체 별로 정의된 분류계층에 따라 분류하고, 관측 데이터를 동일 분류계층 내에서 위치를 기준으로 클러스터링 할 수 있다. 또한, 데이터 전처리부(230)는 관측 데이터를 관측 조건에 따라 1차 선별하고, 관측 특성에 따라 2차 선별하는 동작을 수행할 수 있다.
도 11에서, 분류계층은 도로 상에서 식별 가능한 고정객체의 유형에 해당할 수 있다. 예를 들어, 분류계층은 신호등, 표지판 등을 포함할 수 있으며, 데이터 전처리부(230)는 수집된 관측 데이터의 관측 위치와 관측된 객체를 기초로 분류계층 별로 분류할 수 있다(그림 (b)). 또한, 데이터 전처리부(230)는 인접한 관측끼리 묶어 특정 고정객체에 대한 관측을 선별할 수 있다(그림 (c)). 이때, 데이터 전처리부(230)는 k-군집 알고리즘 등 클러스터링 알고리즘을 활용하여 군집화 동작을 수행할 수 있다.
일 실시예에서, 데이터 전처리부(230)는 분류계층에 대한 일치도가 임계값 이하인 경우, 해당 관측 시점이 특정 시간 범위에 해당하는 경우 및 해당 관측 시점의 날씨가 특정 조건을 충족하는 경우 중 적어도 하나의 관측 조건에 해당하면 관측 데이터에서 제거할 수 있다. 즉, 데이터 전처리부(230)는 분류 결과 분류계층(class)에 대한 일치도가 낮은 경우 관측 데이터를 선별하여 제거할 수 있다. 또한, 데이터 전처리부(230)는 해당 관측 시간의 날씨 조건이 나쁘거나, 역광 조건이거나, 또는 야간 등 특정 시간에 해당하는 경우 관측 데이터에서 제거하여 객체 위치를 결정함에 있어 장애 요소를 미리 제거할 수 있다.
일 실시예에서, 데이터 전처리부(230)는 관측 데이터에 대해 관측지점 간의 거리가 기 설정된 임계거리 미만인 경우를 제거할 수 있고, 관측 데이터에 대해 방향벡터 간의 각도가 기 설정된 임계각도 미만인 경우를 제거할 수 있다. 이에 대해서는 도 14 및 15에서 보다 자세히 설명한다.
데이터 분석부(250)는 관측 데이터에 수치해석 모델을 적용하여 데이터 분석을 수행할 수 있으며, 해당 분석의 결과를 기초로 관측 신뢰도를 검증하는 동작을 수행할 수 있다. 일 실시예에서, 데이터 분석부(250)는 고정객체의 위치좌표를 정의하고 위치좌표를 기준으로 방향벡터와의 거리에 관한 벡터식을 생성하며, 벡터식을 위치좌표에 관한 2차식으로 변환하고 2차식을 관측 데이터에 적용하여 위치좌표에 관한 혼합 2차식을 생성하며, 혼합 2차식을 기초로 위치좌표를 산출할 수 있다. 일 실시예에서, 데이터 분석부(250)는 관측 데이터에서 산출된 위치좌표까지의 거리가 검증기준을 초과하는 아웃라이어(outlier)를 검출하여 제거할 수 있다. 이에 대해서는 도 16을 통해 보다 자세히 설명한다.
객체 위치 결정부(270)는 검증에 통과하면 적어도 하나의 고정객체에 관한 객체 위치를 결정할 수 있다. 즉, 객체 위치 결정부(270)는 검증 동작을 거쳐 획득한 데이터를 기초로 고정객체의 위치를 결정함으로써 보다 정확하게 위치 정보를 획득할 수 있다.
일 실시예에서, 객체 위치 결정부(270)는 검증에 통과한 관측 데이터가 소정의 개수만큼 누적된 경우 객체 위치로서 확정할 수 있다. 예를 들어, 사전에 설정된 누적 개수가 6인 경우, 객체 위치 결정부(270)는 데이터 분석 과정의 반복적 수행에 따라 검증에 통과한 관측 데이터가 6개만큼 누적되면 해당 정보를 기초로 고정객체의 위치를 확정할 수 있다.
도 17에서, 유효한 관측이 6회 이상(Nmin=6)이어야 고정객체의 위치를 최종 확정할 수 있다고 가정하면, 객체 위치 결정부(270)는 지점 A에서 최초 관측(N=1)이 발생하더라도 위치 추정이 불가능하므로 해당 정보를 DB에 누적시켜 저장할 수 있다. 또한, 데이터 분석에 따른 위치 정보가 반복적으로 수집되는 과정에서 N=6의 경우 객체 위치 결정부(270)는 위치 추정을 시도할 수 있지만, 해당 관측이 한계범위를 벗어난 경우에 해당하여 측위에 실패할 수 있다(즉, Ninlier<Nmin).
이와 달리, N=7의 경우 객체 위치 결정부(270)는 위치 추정을 시도하여 6개의 유효한 관측이 누적되면 측위에 성공할 수 있다. 이에 따라, 객체 위치 결정부(270)는 해당 고정객체의 존재를 확인하고 위치를 결정할 수 있다. 이후, 객체 위치 결정부(270)는 일정 기간 또는 신규 관측이 추가되는 경우, 위치 추정을 업데이트하여 위치를 교정 또는 변경할 수 있고, 아웃라이어를 제거하는 동작을 반복적으로 수행할 수 있다.
일 실시예에서, 객체 위치 결정부(270)는 객체 위치를 모니터링 하여 고정객체의 철거, 교체 및 이동을 검출할 수 있다. 즉, 객체 위치 결정부(270)는 고정객체의 위치를 식별한 이후 반복적인 동작을 통해 고정객체의 위치를 모니터링할 수 있으며, 고정객체의 위치 변화에 따라 철거, 교체 및 이동 여부를 효과적으로 검출할 수 있다.
예를 들어, 도 18에서, 객체 위치 결정부(270)는 B 지점에 대해, 해당 지점을 차량(110)들이 주행하여 통과한 기록을 누적시킬 수 있고, 그럼에도 불구하고 고정객체의 위치가 결정되지 않아 도로시설물이 관측되지 않는 경우에는 주행통과 횟수 또는 기간을 기준으로 해당 도로시설물의 철거를 결정할 수 있다.
또한, 객체 위치 결정부(270)는 C 지점에 대해, 동일 위치에서 기존의 분류계층이 더 이상 관측되지 않는 반면, 다른 분류계층의 도로시설물이 유효 관측 횟수(즉, Nmin 초과)만큼 관측되는 경우 해당 위치에서 고정객체의 교체를 결정할 수 있다.
또한, 객체 위치 결정부(270)는 D 및 D' 지점에 대해, 기존 D 지점에서 더 이상 관측되지 않는 반면, D 지점 인근의 D' 지점에서 동일 분류계층의 도로시설물이 유효 관측 횟수만큼 관측되는 경우 해당 고정객체가 D에서 D' 지점으로 이동된 것으로 결정할 수 있다.
제어부(390)는 위치 결정 장치(130)의 전체적인 동작을 제어하고, 데이터 수집부(210), 데이터 전처리부(230), 데이터 분석부(250) 및 객체 위치 결정부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명에 따른 다중 관측정보를 이용한 고정객체의 위치 결정 방법을 설명하는 순서도이다.
도 3을 참조하면, 위치 결정 장치(130)는 데이터 수집부(210)를 통해 복수의 차량(110)들 각각의 주행 과정에서 도로 인근의 고정객체에 관한 관측 데이터를 수집할 수 있다. 데이터 수집부(210)는 차량(110) 별로 관측 데이터를 수집하여 저장할 수 있으며, 이후 데이터 분석 및 위치 결정 과정은 차량(110) 단위로 수행되거나 또는 다수의 차량(110)들에 관한 통합된 동작으로 수행될 수 있다.
또한, 위치 결정 장치(130)는 데이터 전처리부(230)를 통해 관측 데이터에 대한 분류 및 선별 동작에 관한 전처리 동작을 수행할 수 있다. 예를 들어, 데이터 전처리부(230)는 관측 데이터를 고정객체 별로 정의된 분류계층에 따라 분류하고(단계 S310), 동일 분류계층 내에서 위치를 기준으로 클러스터링 하며(단계 S320), 관측 데이터를 관측 조건 및 관측 특성에 따라 선별하는 동작을 수행할 수 있다(단계 S330 및 S340).
또한, 위치 결정 장치(130)는 데이터 분석부(250)를 통해 관측 데이터에 수치해석 모델을 적용하여 분석하고(단계 S350), 분석의 결과를 기초로 관측 신뢰도를 검증할 수 있다(단계 S360). 이를 위해, 데이터 분석부(250))는 관측 데이터에 대해 다양한 수치해석 모델을 활용할 수 있으며, 신뢰도 검증에 실패한 데이터는 관측 데이터(outlier)에서 제거될 수 있다.
또한, 위치 결정 장치(130)는 객체 위치 결정부(270)를 통해 검증에 통과한 관측 데이터를 기초로 도로 상에 존재하는 적어도 하나의 고정객체에 관한 객체 위치 결정할 수 있다(단계 S370). 객체 위치 결정부(270)는 식별된 고정객체의 위치 정보를 지속적으로 업데이트 하여 모니터링할 수 있으며, 위치 정보의 변화에 따라 고정객체의 철거, 교체 및 이동을 검출할 수 있다.
4 내지 6은 도로 인근의 시설물에 대한 카메라 관측 범위를 설명하는 도면이다.
도 4를 참조하면, 도로시설물(410)의 위치와 카메라의 화각은 3차원으로 표현될 수 있지만, 여기에서는 2차원으로 도식화하여 설명한다. 그림 (b)에서, 영역 A는 표지판이 인지 가능한 크기로 보이는 영역으로서 표지판에서 일정 거리 이내인 영역에 해당할 수 있다. 표지판은 통상적으로 주행하는 차량(110)의 정면을 향하여 설치되므로, 대향각도가 커질수록 표지판에 대한 인지가 어려워지며 영역 A는 부채꼴 형태로 형성될 수 있다. 즉, 영역 X는 표지판 인지가 불가능한 영역에 해당할 수 있다.
또한, 그림 (a)에서, 영역 B는 차량(110)에 장착된 카메라에서 인지 가능한 영역에 해당할 수 있다. 화각을 나타내는 삼각형의 꼭지점은 카메라의 위치에 해당할 수 있으며, 카메라에 인접한 영역으로서 점선으로 표시된 영역 Y는 화각 제한으로 표지판이 보이지 않는 영역에 해당할 수 있다.
도 5를 참조하면, 표지판에서 가까운 차로를 주행하는 차량(110)에서의 관측 가능한 범위는 2차원적으로 도식화되어 표현될 수 있다. 구체적으로, 그림 (a)의 경우 거리가 멀어서 표지판이 보이지 않는 경우에 해당할 수 있고, 그림 (b)의 경우 표지판이 보이지만 화면상 크기가 작아 인지되지 않는 경우에 해당할 수 있으며, 그림 (c)의 경우 표지판 인지 가능 영역이 시작되는 경우에 해당할 수 있고, 그림 (d)의 경우 표지판이 화면을 (화면의 위쪽으로) 벗어나기 직전의 경우에 해당할 수 있다.
도 6을 참조하면, 표지판에서 떨어진 차로를 주행하는 차량(110)에서의 관측 가능한 범위는 2차원적으로 도식화되어 표현될 수 있다. 구체적으로, 그림 (a)의 경우 관측이 시작되는 경우에 해당할 수 있고, 그림 (b)의 경우 관측이 종료되는 경우(예를 들어, 화면의 측면으로 벗어나기 직전)에 해당할 수 있다. 또한, 그림 (c)의 경우 멀리 있는 차로에서 주행할수록 관측 가능한 영역이 작아지는 경우에 해당할 수 있고, 그림 (d)의 경우 표지판 인지 영역을 벗어나 표지판 관측이 불가능한 경우에 해당할 수 있다.
도 7은 도로 인근 및 도로 위의 시설물에 대한 카메라 관측 범위를 설명하는 도면이다.
그림 (a)의 경우, 주행 중인 차량(110) 내에 설치된 카메라를 통해 도로 인근에 설치된 표지판을 관측 가능한 범위는 4개의 선들, (1), (2), (3) 및 (4)에 의해 형성되는 영역에 해당할 수 있다. 그림 (b)의 경우, 교차로 등과 같이 차로 위에 설치된 도로시설물의 관측 범위도 인도 등 도로 인근에 설치된 도로시설물의 관측 범위와 동일한 방식으로 표현될 수 있다. 즉, 주행 중인 차량(110) 내에 설치된 카메라를 통해 도로 위에 설치된 신호등을 관측 가능한 범위는 4개의 선들, (1'), (2'), (3') 및 (4')에 의해 형성되는 영역에 해당할 수 있다.
따라서, 해당 영역 내에 차량(110)에 장착된 카메라가 존재하는 경우 관측 데이터에 대한 분석을 통해 신호등 인지가 가능할 수 있다. 이때, 선 (1) 및 (1')는 카메라의 해상도 한계에 따른 표지판 인지 가능 거리에 해당할 수 있고, 선 (2) 및 (2')는 카메라의 측면 화각 범위의 한계에 해당할 수 있으며, 선 (3) 및 (3')는 카메라의 상면 화각 범위의 한계에 해당할 수 있고, 선 (4) 및 (4')는 도로 경계로 인해 차량(110)에 장착된 카메라가 측방향으로 접근할 수 있는 한계에 해당할 수 있다.
한편, 도 7에서 도시하는 해당 영역은 표지판의 실체 위치나 높이, 차량(110)에 장착된 카메라의 세부 사양, 장착 높이 등에 따라 달라질 수 있음은 물론이다. 또한, 해당 영역의 범위에 대한 개념은 표지판, 신호등 등의 도로시설물에 동일하게 적용될 수 있다.
도 8 내지 10은 본 발명에 따른 다중 관측을 통한 도로시설물 측위 방법을 설명하는 도면이다.
도 8을 참조하면, 카메라는 실세계의 3D를 2D 평면으로 투영하기 때문에, 카메라의 한 점(예를 들어, 그림 (a)에서 x)은 실세계에서 한 직선(x-X)이 투영된 것에 해당할 수 있다. 즉, 카메라를 통해 촬영된 영상에서의 한 점은 실세계의 해당 직선 상에서 실제 어느 점이 투영되어 표현된 것인지 확인하기 어려우며, 결과적으로 실세계의 점 X의 위치 정보를 획득하기 어렵다는 의미로 해석될 수 있다.
다만, 단일 카메라를 통한 단일 관측만으로는 표지판의 위치를 결정할 수 없으나, 이론적으로 서로 다른 위치에서 2번 이상의 관측이 가능하면 대상의 위치를 특정할 수 있다. 대표적인 예로서, 동일 평면 상에 2개의 카메라를 고정한 상태에서 동일한 대상을 관측하고 각 카메라에서 발생하는 차이(disparity)를 이용하여 대상과의 거리(depth)를 측정할 수 있다.
한편, 그림 (b)의 경우 스테레오 비전에서 거리 D는 비례 관계에 따라 D = d·f/δ 와 같이 표현될 수 있다(여기에서, D: 대상 객체까지의 거리, d: 두개의 카메라 중심 간의 거리, δ(disparity): 두개의 카메라에서 대상 객체의 동일 기준점이 맺힌 화소간 거리, f: 초점거리). 즉, 위치 결정 장치(130)는 다중 시점에서의 관측 정보들을 수집하고, 관측 정보들 간의 차이에 기초하여 도로시설물의 위치에 관한 정보를 획득할 수 있다.
도 9를 참조하면, 스테레오 비전의 예의 경우, 거리가 먼 차량(110)까지의 거리를 측정하기 위해서는 두개의 카메라 간의 거리(폭)가 충분히 크다는 조건을 충족하여야 한다. 즉, 카메라에서 촬영된 영상은 디지털화 되어 있고, 일정한 크기를 갖는 각각의 화소 단위로 대상의 기준점을 정할 수 있으며, 이러한 카메라 자체의 오차, 주행시 발생하는 진동에 의한 오차 등을 고려하면 카메라 간의 거리(d)가 충분히 커야 먼 거리까지 측정이 가능하고 측정된 거리의 정확도도 높아질 수 있다.
그림 (a)와 같이, 단일 주행에서는 여러 번 관측하더라도 관측각도의 차이가 크게 발생하지 않으며, 주행속도가 높다면 충분한 관측을 하지 못하고 통과할 가능성이 높다. 또한, 주행 당시의 날씨(예를 들어, 강우, 강설, 역광, 야간 등)의 영향을 받아 관측이 되지 않을 가능성도 존재한다.
그림 (b)와 같이, 다수 차량(110)에 장착된 카메라에서 다수의 관측을 수집하면 넓은 관측 각도를 확보할 수 있고, 적합한 날씨 조건과 주행속도 등 적합한 관측을 선별적으로 적용할 수 있어 측정의 정확도와 신뢰도를 높일 수 있다.
도 10을 참조하면, 위치 결정 장치(130)는 데이터 수집부(210)를 통해 다수 차량(110)에 의한 다중 관측을 통해 관측 데이터를 수집할 수 있다. 이때, 관측 데이터는 적어도 하나의 이미지, 해당 이미지에 부여되는 관측번호, 해당 차량(110)의 위치와 주행방향 및 시간을 포함할 수 있다. 데이터 수집부(210)는 각각의 차량(110)들로부터 무선통신 또는 저장매체의 복사 등의 방법을 통해 관측 데이터를 수집할 수 있고, 수집된 관측 데이터들은 데이터베이스(150)에 저장하여 보관할 수 있다. 이후, 위치 결정 장치(130)는 데이터 분석부(250)를 통해 수집된 관측 데이터에 대한 분석을 통해 도로시설물을 식별하고 해당 위치를 결정할 수 있으며, 이를 통해 도로시설물의 교체, 이동 및 신규 설치 등을 효과적으로 검출할 수 있다.
도 12 및 13은 본 발명에 따른 좌표계 변환 과정을 설명하는 도면이다.
도 12 및 13을 참조하면, 카메라의 관측은 차량(110)을 기준으로 하는 지역좌표계(local coordinate system)에서 이루어지며, 통상 차량(110)의 진행방향은 Z축, 측면 방향은 X축, 위쪽 방향은 Y 축에 대응될 수 있다.
즉, 카메라가 장착된 위치가 원점이 되며, 카메라는 높이 h에 장착되고 카메라의 센서면은 진행방향 Z축과 수직으로 형성될 수 있다. 이와 같은 조건에서, 객체의 한 점 (X(l), Y(l), Z(l))이 영상의 한점(x, y)에 맺히게 되면 카메라를 통해 해당 객체를 관측할 수 있다. 도 12에서, 3D 공간의 좌표는 대문자, 영상 좌표는 소문자로 나타내며, 위첨자 (l)은 지역좌표계를 의미한다.
예를 들어, 카메라를 통해 촬영된 전방 영상의 중심을 기준으로 설명하면, 카메라의 초점거리 λ(lambda, focal length)를 기초로 렌즈의 공식에 따라 고정객체의 위치 (x, y)는 다음의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
또한, 상기의 수학식 1을 변형하면 다음의 수학식 2와 같이 3차원 공간에서의 직선 방정식으로 표현될 수 있다.
[수학식 2]
이때, 국소적으로 지표면을 평면으로 간주할 수 있으므로 GPS의 위도, 경도, 고도를 3축에 대응되는 전역좌표계(global coordinate system)로 적용할 수 있다.
예를 들어, 차량(110)의 GPS 위치를 (X0, Y0, Z0)라고 하고, 진행방향을 (U, V, W)라고 하면, U, V, W는 각각 Z(l), X(l), Y(l)에 대응될 수 있으며, 전역좌표계와 이루는 각을 이용하여 좌표변환을 통해 전역좌표계에서의 직선 방정식으로 표현할 수 있다. 또한, 각각의 차량 좌표계(즉, 지역좌표계)에서 수행된 관측들은 통일된 전역좌표계에서의 다수 관측 결과로 변환될 수 있다.
보다 구체적으로, 상기의 수학식 2는 다음의 수학식 3과 같이 직선의 일반식으로 표현될 수 있다.
[수학식 3]
또한, 상기의 수학식 3은 다음의 수학식 4와 같이 전역좌표계에서의 직선의 일반식으로 변환될 수 있다.
[수학식 4]
여기에서, (X0, Y0, Z0)는 카메라 높이를 고려한 차량(110)의 위치에 해당할 수 있다. 상기의 수학식 4를 기초로 다중(n) 관측 각각의 직선의 방정식에 관한 다음의 수학식 5가 획득될 수 있다.
[수학식 5]
도 14 및 15는 본 발명에 따른 데이터 선별 과정을 설명하는 도면이다.
도 14를 참조하면, 위치 결정 장치(130)는 관측 조건 및 관측 특성에 따라 관측 데이터에 대한 선별 동작을 수행할 수 있다. 예를 들어, 그림 (a)에서 동일한 방향 벡터를 갖는 관측은 근접한 위치라면 사실상 동일한 관측에 해당할 수 있으며, 수치적 해법(numerical analysis)에서 행렬식(determinant)를 0으로 만들어 해(solution)을 불안정하게 하므로 제거될 필요가 있다.
그림 (b)에서 근접한 위치에서 상이한 방향벡터를 갖는 관측들 중에는 큰 오차를 갖는 관측이 포함되어 있을 수 있다. 그림 (c)에서 (1), (2)와 같이 관측점들이 떨어져 있고 방향벡터가 다른 경우가 바람직하며, 이 때 (3)과 같은 관측은 이후 과정에서 제거될 수 있다.
도 15를 참조하면, 그림 (a)는 선별되기 전의 모든 관측을 도시한 것이고, 그림 (b)는 관측지점 간의 거리가 기준값 이상이 되도록 선별한 것을 도시한 것이며, 그림 (c)는 추가적으로 관측 방향 벡터의 방향이 동일한 것을 제거한 것을 도시한 것이다.
이렇게 선별된 관측들은 다음의 수학식 6과 같이 서로 간의 거리와 방향벡터 차이 조건을 충족해야 하며, 이렇게 선별된 관측의 수(N)는 최소기준(Nmin) 이상이어야 한다
[수학식 6]
for any i, j in N, where N≥Nmin
도 16은 본 발명에 따른 위치 결정 방법을 설명하는 도면이다.
도 16을 참조하면, 그림 (a)는 직선 외부의 한 점에서 직선까지의 거리를 나타낸 것으로, 거리 D는 다음의 수학식 7과 같은 벡터식으로 표현될 수 있다.
[수학식 7]
또한, 거리 D의 제곱은 X, Y, Z에 대한 2차식으로 다음의 수학식 8과 같이 표현될 수 있다.
[수학식 8]
또한, 모든 관측 전체에 대한 거리 제곱의 합은 다음의 수학식 9와 같이 X, Y, Z에 대한 혼합 2차식으로 표현될 수 있다.
[수학식 9]
또한, 상기의 수학식 9가 최소가 되는 경우는 다음과 같이 X, Y, Z에 대한 편미분이 0이 되는 경우이다. 2차식의 미분은 1차식이 되므로, 그 결과는 X, Y, Z에 대한 선형 방정식으로 표현될 수 있고, 다음의 수학식 10과 같이 선형 대수의 수치해석적 방법을 적용하여 풀 수 있다.
[수학식 10]
다만, 어떤 관측은 차량의 고속 주행에 의한 시간 지연 오차, 급경로 변경, 주행 중의 충격(과속방지턱) 등으로 큰 오차를 내포하고 있을 수 있으므로, 다음의 수학식 11과 같은 관측 검증을 통해 제거될 수 있다. 이 과정에서 다른 관측들과 동질인 관측 데이터를 인라이어(inlier), 동떨어진 데이터를 아웃라이어(outlier)라고 한다. 아웃라이어는 추정된 객체 위치에서부터의 관측선까지의 거리가 기준 이상 큰 관측이며, 아웃라이어를 제외하고 다시 객체 위치를 산출하되, Nmin개의 관측이 모두 인라이어가 되면 객체의 위치가 결정될 수 있다.
[수학식 11]
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 위치 결정 시스템
110: 차량 130: 위치 결정 장치
150: 데이터베이스
210: 데이터 수집부 230: 데이터 전처리부
250: 데이터 분석부 270: 객체 위치 결정부
290: 제어부
410: 도로시설물
110: 차량 130: 위치 결정 장치
150: 데이터베이스
210: 데이터 수집부 230: 데이터 전처리부
250: 데이터 분석부 270: 객체 위치 결정부
290: 제어부
410: 도로시설물
Claims (8)
- 복수의 차량들 각각의 주행 과정에서 도로 인근의 고정객체에 관한 관측 데이터를 수집하는 단계;
상기 관측 데이터를 상기 고정객체 별로 정의된 분류계층에 따라 분류하는 단계;
상기 관측 데이터를 동일 분류계층 내에서 위치를 기준으로 클러스터링 하는 단계;
상기 관측 데이터를 관측 조건에 따라 1차 선별하는 단계;
상기 관측 데이터를 관측 특성에 따라 2차 선별하는 단계;
상기 관측 데이터에 수치해석 모델을 적용하여 분석하는 단계;
상기 분석의 결과를 기초로 관측 신뢰도를 검증하는 단계; 및
상기 검증에 통과하면 상기 적어도 하나의 고정객체에 관한 객체 위치를 결정하는 단계;를 포함하되,
상기 수집하는 단계는 상기 복수의 차량들 각각에 설치되는 적어도 하나의 카메라를 통해 해당 차량의 전방 영상을 촬영하는 단계; 상기 전방 영상으로부터 상기 고정객체를 포함하는 적어도 하나의 이미지를 추출하는 단계; 및 상기 적어도 하나의 이미지, 해당 이미지에 부여되는 관측번호, 상기 해당 차량의 위치와 주행방향 및 시간을 포함하는 관측 데이터를 상기 복수의 차량들로부터 수신하는 단계를 포함하고,
상기 1차 선별하는 단계는 상기 분류계층에 대한 일치도가 임계값 이하인 경우, 해당 관측 시점이 특정 시간 범위에 해당하는 경우 및 상기 해당 관측 시점의 날씨가 특정 조건을 충족하는 경우 중 적어도 하나의 관측 조건에 해당하면 상기 관측 데이터에서 제거하는 단계를 포함하며,
상기 2차 선별하는 단계는 상기 관측 데이터에 대해 상기 차량의 위치에 대응되는 관측지점 간의 거리가 기 설정된 임계거리 미만인 경우를 제거하는 단계; 및 상기 관측 데이터에 대해 상기 관측지점에서 정의되는 관측 방향벡터 간의 각도가 기 설정된 임계각도 미만인 경우를 제거하는 단계를 포함하고,
상기 분석하는 단계는 상기 고정객체의 위치좌표를 정의하고 상기 위치좌표를 기준으로 방향벡터와의 거리에 관한 벡터식을 생성하는 단계; 상기 벡터식을 상기 위치좌표에 관한 2차식으로 변환하고 상기 2차식을 상기 관측 데이터에 적용하여 상기 위치좌표에 관한 혼합 2차식을 생성하는 단계; 및 상기 혼합 2차식을 기초로 선형 대수의 수치해석적 방법을 적용하여 상기 위치좌표를 산출하는 단계를 포함하며,
상기 검증하는 단계는 상기 관측 데이터의 관측선에서 상기 산출된 위치좌표까지의 거리가 검증기준을 초과하는 아웃라이어(outlier)를 검출하여 제거하는 단계를 포함하는 것을 특징으로 하는 다중 관측정보를 이용한 고정객체의 위치 결정 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 결정하는 단계는
상기 검증에 통과한 관측 데이터가 소정의 개수만큼 누적된 경우 상기 객체 위치로서 확정하는 단계를 포함하는 것을 특징으로 하는 다중 관측정보를 이용한 고정객체의 위치 결정 방법.
- 제1항에 있어서,
상기 객체 위치를 모니터링 하여 상기 고정객체의 철거, 교체 및 이동을 검출하는 단계;를 더 포함하는 것을 특징으로 하는 다중 관측정보를 이용한 고정객체의 위치 결정 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210071680A KR102414632B1 (ko) | 2021-06-02 | 2021-06-02 | 다중 관측정보를 이용한 고정객체의 위치 결정 방법 |
| PCT/KR2022/006635 WO2022255677A1 (ko) | 2021-06-02 | 2022-05-10 | 다중 관측정보를 이용한 고정객체의 위치 결정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210071680A KR102414632B1 (ko) | 2021-06-02 | 2021-06-02 | 다중 관측정보를 이용한 고정객체의 위치 결정 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102414632B1 true KR102414632B1 (ko) | 2022-06-30 |
Family
ID=82214923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210071680A KR102414632B1 (ko) | 2021-06-02 | 2021-06-02 | 다중 관측정보를 이용한 고정객체의 위치 결정 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102414632B1 (ko) |
| WO (1) | WO2022255677A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116501826A (zh) * | 2023-06-05 | 2023-07-28 | 中国人民解放军国防科技大学 | 一种卫星观测任务自主生成方法、系统及装置 |
| KR102660425B1 (ko) * | 2023-06-16 | 2024-04-24 | 이그나이트주식회사 | 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170058640A (ko) | 2015-11-19 | 2017-05-29 | 주식회사 만도 | 교통표지판 인식장치 및 그의 제한속도 제공방법 |
| KR20170065894A (ko) * | 2015-12-04 | 2017-06-14 | 엘지전자 주식회사 | 차량용 랜드마크 검출 장치 및 방법 |
| JP6667596B2 (ja) * | 2018-05-18 | 2020-03-18 | 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 物体検出システム、それを用いた自律走行車、およびその物体検出方法 |
| KR102103834B1 (ko) * | 2019-11-12 | 2020-04-23 | 한국도로공사 | 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101991067B1 (ko) * | 2016-09-20 | 2019-06-21 | (주)큐알온텍 | 자율 주행 차량의 제어 장치 및 방법 |
| KR20210014970A (ko) * | 2019-07-31 | 2021-02-10 | 현대엠엔소프트 주식회사 | 영상 기반 주행거리 측정 시스템의 보정 장치 및 방법 |
-
2021
- 2021-06-02 KR KR1020210071680A patent/KR102414632B1/ko active IP Right Grant
-
2022
- 2022-05-10 WO PCT/KR2022/006635 patent/WO2022255677A1/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170058640A (ko) | 2015-11-19 | 2017-05-29 | 주식회사 만도 | 교통표지판 인식장치 및 그의 제한속도 제공방법 |
| KR20170065894A (ko) * | 2015-12-04 | 2017-06-14 | 엘지전자 주식회사 | 차량용 랜드마크 검출 장치 및 방법 |
| JP6667596B2 (ja) * | 2018-05-18 | 2020-03-18 | 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 物体検出システム、それを用いた自律走行車、およびその物体検出方法 |
| KR102103834B1 (ko) * | 2019-11-12 | 2020-04-23 | 한국도로공사 | 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116501826A (zh) * | 2023-06-05 | 2023-07-28 | 中国人民解放军国防科技大学 | 一种卫星观测任务自主生成方法、系统及装置 |
| CN116501826B (zh) * | 2023-06-05 | 2023-09-12 | 中国人民解放军国防科技大学 | 一种卫星观测任务自主生成方法、系统及装置 |
| KR102660425B1 (ko) * | 2023-06-16 | 2024-04-24 | 이그나이트주식회사 | 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022255677A1 (ko) | 2022-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220397402A1 (en) | Systems and methods for determining road safety | |
| CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| CN107179767B (zh) | 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质 | |
| CN115014383A (zh) | 用于车辆的导航系统和用于导航车辆的方法 | |
| US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
| US20210389133A1 (en) | Systems and methods for deriving path-prior data using collected trajectories | |
| KR20160123668A (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
| KR102414632B1 (ko) | 다중 관측정보를 이용한 고정객체의 위치 결정 방법 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN111986128A (zh) | 偏心图像融合 | |
| JP4940177B2 (ja) | 交通流計測装置 | |
| CN113330495A (zh) | 对用于车辆导航的事件信息进行聚类 | |
| JP4937844B2 (ja) | 歩行者検出装置 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| US20220371583A1 (en) | Systems and Methods for Selectively Decelerating a Vehicle | |
| CN116703966A (zh) | 多对象跟踪 | |
| CN112446283A (zh) | 驾驶辅助系统、电子设备及其操作方法 | |
| WO2022149049A2 (en) | Systems and methods for common speed mapping and navigation | |
| JP2021082286A (ja) | 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法 | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| JP7195200B2 (ja) | 車載装置、車載システムおよび周辺監視方法 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| KR102368262B1 (ko) | 다중 관측정보를 이용한 신호등 배치정보 추정 방법 | |
| EP3410345B1 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |