KR102501889B1 - 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법 - Google Patents

기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법 Download PDF

Info

Publication number
KR102501889B1
KR102501889B1 KR1020220095403A KR20220095403A KR102501889B1 KR 102501889 B1 KR102501889 B1 KR 102501889B1 KR 1020220095403 A KR1020220095403 A KR 1020220095403A KR 20220095403 A KR20220095403 A KR 20220095403A KR 102501889 B1 KR102501889 B1 KR 102501889B1
Authority
KR
South Korea
Prior art keywords
intersection
point
lane
exists
curve
Prior art date
Application number
KR1020220095403A
Other languages
English (en)
Other versions
KR102501889B9 (ko
Inventor
이은수
Original Assignee
주식회사 카비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카비 filed Critical 주식회사 카비
Priority to KR1020220095403A priority Critical patent/KR102501889B1/ko
Priority to US18/058,675 priority patent/US20240037962A1/en
Application granted granted Critical
Publication of KR102501889B1 publication Critical patent/KR102501889B1/ko
Publication of KR102501889B9 publication Critical patent/KR102501889B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법이 개시된다. 본 발명의 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템은 대상 차량에 설치된 전방 카메라로부터 순차 영상을 획득하는 영상촬영부; 상기 영상촬영부에서 획득한 비디오 파일의 순차 영상으로부터 주행 차선을 검출하고, 기하학적 모델링 방법에 의하여 교차로를 인식하고 복원하는 영상분석부; 상기 영상분석부에서 검출한 주행차선 및 교차로 데이터를 저장하는 메모리; 및 상기 메모리에 저장된 주행차선 및 교차로 데이터들을 상면도(Top View)의 형태로 표현하는 디스플레이부를 포함하되, 상기 교차로는 주행차선 곡선 C의 측면 위치에 존재하며, 교차로는 하단점
Figure 112022080233677-pat00334
, 상단점
Figure 112022080233677-pat00335
, 상단점
Figure 112022080233677-pat00336
의 각도
Figure 112022080233677-pat00337
로 이루어지는 기하학적 구조를 가지며, 상기 교차로를 인식하는 것은 하단 차선을 이용하여 교차로의 하단점
Figure 112022080233677-pat00338
을 찾고, 하단 차선 및 상단 차선을 이용하여 상단점
Figure 112022080233677-pat00339
를 찾고, 상기 상단점
Figure 112022080233677-pat00340
와 하단점
Figure 112022080233677-pat00341
의 좌표를 지나는 직선의 방정식과 상기 상단 차선 검출에서 구한 상단 차선의 접선을 지나는 직선의 방정식을 이용하여 상기 상단점
Figure 112022080233677-pat00342
의 각도
Figure 112022080233677-pat00343
를 구할 수 있다.

Description

기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법{Intersection recognition and restoration system using geometric modeling method and intersection recognition and restoration method using the same}
기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법에 관한 것으로서, 더욱 상세하게는 순차 영상(비디오) 분석을 통해 교통사고 순간 등의 주변 상황을 복원하여 상면도로 표현하는 방법 중에 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법에 관한 것이다.
교통사고가 발생할 경우 가해차량과 피해차량을 판별하기가 대단히 모호한 상황이 많고, 이에 분쟁이 끊이지 않고 있다.
최근에는 자동차 보급의 증가와 사고로 인한 인명 피해가 늘어나면서 항공용으로 사용되어 오던 블랙박스가 차량에서도 사용되고 있다. 차량용 블랙박스는 차량의 속도, 방향, 브레이크 작동 등 관련된 데이터 분석으로 교통사고의 원인을 명확히 판명할 수 있도록 해 준다.
이러한 차량용 블랙박스는 차량의 전면 또는 후면에 설치된 카메라로 사고 당시 상황을 촬영하고 마이크로 주변의 모든 소리를 담아 메모리에 저장하게 된다.
하지만, 실제 주행차량과 전방차량과의 경로를 일견하여 정확하게 파악하기는 곤란한 문제가 있다. 즉, 전체적인 경로를 복원하여 사고의 원인을 정확히 파악할 수단이 요구되고 있다.
본 출원인은 대한민국 출원번호 제10-2022-005776호인 "순차 영상 분석을 통한 차량경로 복원 시스템 및 이를 이용한 차량경로 복원 방법"에서, 순차 영상 분석을 통해 교통사고 순간 등의 주변 상황을 복원하여 상면도로 표현할 수 있는 발명을 개시하고 있다.
상술한 종래기술에 더하여, 주행 차선의 측면에 존재하는 교차로 차선을 인식하여 경로 데이터로 저장하고 상면도(Top View)의 형태로 표현하는 시스템 및 방법이 요구되고 있다.
대한민국 등록특허 제10-1342124호 "영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법" 대한민국 등록특허 제10-1455835호 "영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법" 대한민국 등록특허 제10-1473866호 "차량용 영상처리 시스템 및 이를 이용한 영상처리방법" 대한민국 등록특허 제10-2296520호 "단안 카메라를 이용한 경로추정에 의한 곡선차선 검출 방법" 대한민국 등록특허 제10-2318586호 "영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법"
본 발명은 상술한 문제점을 감안하여 안출한 것으로 그 목적은 주행 차선의 측면에 존재하는 교차로 차선을 기하학적 모델링 방법에 의해 인식하여 경로 데이터로 저장하고, 상면도 형태로 표현하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법을 제공하는 것이다.
상기 과제해결을 위한 본 발명의 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템은 대상 차량에 설치된 전방 카메라로부터 순차 영상을 획득하는 영상촬영부; 상기 영상촬영부에서 획득한 비디오 파일의 순차 영상으로부터 주행 차선을 검출하고, 기하학적 모델링 방법에 의하여 교차로를 인식하고 복원하는 영상분석부; 상기 영상분석부에서 검출한 주행차선 및 교차로 데이터를 저장하는 메모리; 및 상기 메모리에 저장된 주행차선 및 교차로 데이터들을 상면도(Top View)의 형태로 표현하는 디스플레이부를 포함하되, 상기 교차로는 주행차선 곡선 C의 측면 위치에 존재하며, 교차로는 하단점
Figure 112022080233677-pat00001
, 상단점
Figure 112022080233677-pat00002
, 상단점
Figure 112022080233677-pat00003
의 각도
Figure 112022080233677-pat00004
로 이루어지는 기하학적 구조를 가지며, 상기 교차로를 인식하는 것은 하단 차선을 이용하여 교차로의 하단점
Figure 112022080233677-pat00005
을 찾고, 하단 차선 및 상단 차선을 이용하여 상단점
Figure 112022080233677-pat00006
를 찾고, 상기 상단점
Figure 112022080233677-pat00007
와 하단점
Figure 112022080233677-pat00008
의 좌표를 지나는 직선의 방정식과 상기 상단 차선 검출에서 구한 상단 차선의 접선을 지나는 직선의 방정식을 이용하여 상기 상단점
Figure 112022080233677-pat00009
의 각도
Figure 112022080233677-pat00010
를 구하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하단 차선은 상기 순차 영상으로부터 도로에 도색된 차선(lane marking)의 측방향 폭을 기반으로 필터 윈도우의 크기가 유동적으로 변하는 가변 탑햇 필터(Variable Top-hat filter)를 이용하여 곡선 차선 후보를 결정하고, 상기 차선 후보의 중간값을 이용하여 1화소 굵기의 골격선을 검출하고, 상기 골격선의 좌표들을 입력으로 최소자승법을 이용하여 왼쪽 차선과 오른쪽 차선에 적합하는 직선 또는 포물선 함수의 하단 차선을 얻을 수 있다.
본 발명에 있어서, 상기 상단 차선은 소벨 에지 연산자를 이용하여 교차로의 상단 차선의 좌표들의 집합을 생성하고, 상기 교차로의 상단 차선 좌표들의 집합을 입력으로 하여, 최소자승법으로 차선에 적합하는 포물선 함수의 상단 차선을 얻을 수 있다.
상기 다른 과제해결을 위한 본 발명의 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법은 대상차량에서 설치된 영상촬영부의 전방 카메라에서 순차영상을 획득하는 단계; 및 상기 순차영상을 입력받아 영상분석부에서 영상분석을 수행하여 교차로 인식 및 복원하는 단계를 포함하되, 상기 교차로는 주행차선 곡선 C의 측면 위치에 존재하며, 교차로는 하단점
Figure 112022080233677-pat00011
, 상단점
Figure 112022080233677-pat00012
, 상단점
Figure 112022080233677-pat00013
의 각도
Figure 112022080233677-pat00014
로 이루어지는 기하학적 구조를 가지며, 교차로 인식 및 복원하는 단계는: 교차로의 하단 차선을 검출하는 단계; 상기 교차로 하단 차선이 길이로 측정되고, 영상의 하단부에 존재하는지 여부를 검사하는 단계; 상기 교차로 하단 차선이 존재하면, 주행차선의 측면에 존재하는 교차로의 상단 차선을 검출하는 단계; 상기 하단 차선 및 상단 차선으로부터 하단점, 상단점 및 상단점의 각도로 이루어진 교차로의 존재를 인식하는 단계; 상기 교차로의 존재 여부를 판단하는 단계; 및 상기 교차로가 존재한다고 판단되면, 교차로의 정보를 저장하고, 교차로를 상면도에 표현하는 단계를 포함한다.
본 발명에 있어서, 상기 교차로의 하단 차선을 검출하는 단계는, 전방 영상으로부터 도로에 도색된 차선(lane marking)의 측방향 폭을 기반으로 필터 윈도우의 크기가 유동적으로 변하는 가변 탑햇 필터(Variable Top-hat filter)를 이용하여 곡선 차선 후보를 결정하는 단계; 상기 차선 후보의 중간값을 이용하여 1화소 굵기의 골격선을 검출하는 단계; 및 상기 골격선의 좌표들을 입력으로 최소자승법을 이용하여 왼쪽 차선과 오른쪽 차선에 적합하는 직선 또는 포물선 함수를 얻는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 교차로의 상단 차선을 검출하는 단계는, 소벨 에지 연산자를 이용하여 교차로의 상단 차선의 좌표들의 집합을 생성하는 단계; 및 상기 교차로의 상단 차선 좌표들의 집합을 입력으로 하여, 최소자승법으로 차선에 적합하는 포물선 함수를 얻는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 교차로가 존재하는지 인식하는 단계는, 상기 하단 차선의 정보를 이용하여 교차로의 하단점
Figure 112022080233677-pat00015
을 찾는 단계; 상기 하단 차선 및 상단 차선의 정보를 이용하여 상단점
Figure 112022080233677-pat00016
를 찾는 단계; 및 상기 상단점
Figure 112022080233677-pat00017
의 각도
Figure 112022080233677-pat00018
를 구하는 단계를 포함하되, 상기 각도
Figure 112022080233677-pat00019
는 상기 상단점
Figure 112022080233677-pat00020
와 하단점
Figure 112022080233677-pat00021
을 지나는 직선의 방정식과 상기 상단 차선 검출에서 구한 상단 차선의 접선을 지나는 직선의 방정식을 이용하여 구할 수 있다.
본 발명에 있어서, 상기 교차로의 존재 여부를 판단하는 단계는, 아래와 같이 3개 판단 조건을 만족하는 경우에 교차로가 존재하는 것으로 판단할 수 있다.
(1) 하단점
Figure 112022080233677-pat00022
존재 여부.
(2) 상단 차선이 존재하고, 상단 차선에 접하는 접선의 존재 여부.
(3) 상단점
Figure 112022080233677-pat00023
의 각도
Figure 112022080233677-pat00024
의 값이 특정 범위를 만족 여부.
상기 다른 과제해결을 위한 본 발명의 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법은 대상차량에서 설치된 영상촬영부의 전방 카메라에서 순차영상을 획득하는 단계; 및 상기 순차영상을 입력받아 영상분석부에서 영상분석을 수행하여 교차로 인식 및 복원하는 단계를 포함하되, 상기 교차로는 주행차선 곡선 C의 측면 위치에 존재하며, 교차로는 하단점
Figure 112022080233677-pat00025
, 상단점
Figure 112022080233677-pat00026
, 상단점
Figure 112022080233677-pat00027
의 각도
Figure 112022080233677-pat00028
로 이루어지는 기하학적 구조를 가지며, 상단 근접점(upper close-up point)
Figure 112022080233677-pat00029
는 상단점
Figure 112022080233677-pat00030
와 가장 가까운 거리에 존재하는 곡선 C 위의 점이며, 하단 근접점(lower close-up point)
Figure 112022080233677-pat00031
은 하단점
Figure 112022080233677-pat00032
과 가장 가까운 거리에 존재하는 곡선 C 위의 점이며, 상기 순차영상에서 교차로의 하단 차선이 사라질 때 교차로 인식 및 복원하는 단계는, 교차로 정보가 이전 시간의 경로에 존재하는지 검사하는 단계; 및 상기 교차로 정보가 이전 시간의 경로에 존재하는 경우에 교차로의 위치를 추정하는 단계를 포함하되,
Figure 112022080233677-pat00033
은 현재시간의 차선 곡선을 의미하며,
Figure 112022080233677-pat00034
는 이전시간의 차선 곡선을 의미하며, 현재시간의 대상 차량의 속도
Figure 112022080233677-pat00035
가 0 이라면, 이전시간의 하단 근접점
Figure 112022080233677-pat00036
와 가장 가까운 곡선
Figure 112022080233677-pat00037
위의 좌표
Figure 112022080233677-pat00038
을 현재시간의 하단 근접점으로 추정하고, 속도
Figure 112022080233677-pat00039
가 0보다 큰 값을 가진다면,
Figure 112022080233677-pat00040
를 시작점으로
Figure 112022080233677-pat00041
의 스칼라만큼 이동한
Figure 112022080233677-pat00042
를 현재시간의 하단 근접점으로 추정하여서,
Figure 112022080233677-pat00043
의 좌표를 먼저 찾고, 현재 속도만큼 이동한 하단 근접점
Figure 112022080233677-pat00044
을 찾고, 이를 이용하여 하단점
Figure 112022080233677-pat00045
을 추정하여 교차로를 복원하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하단 근접점
Figure 112022080233677-pat00046
가 월드좌표계 Y축의 양수(차선 함수 영역)인 경우, 현재 시간의 차선 곡선 위의 점
Figure 112022080233677-pat00047
를 지나는 법선 n의 각도
Figure 112022080233677-pat00048
와
Figure 112022080233677-pat00049
의 평균 거리 r을 이용하여 교차로의 하단점
Figure 112022080233677-pat00050
을 추정하고, 이를 이용하여 교차로를 복원할 수 있다.
본 발명에 있어서, 상기 하단 근접점
Figure 112022080233677-pat00051
가 월드좌표계 Y축의 음수(차선 경로 영역)인 경우, 상단점
Figure 112022080233677-pat00052
와 상단 근접점
Figure 112022080233677-pat00053
의 좌표를 반복법에 의한 근사값을 구하는 방법을 사용하여 구하고, 이를 이용하여 교차로를 복원할 수 있다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 순차 영상 분석을 통해 교차로의 기하 구조를 인식하고, 교차로를 상면도(Top View)로 표현할 수 있다.
또한, 교차로를 인식할 수 없는 시공간 구간에서 교차로의 기하학적 구조를 유지하면서, 교차로의 위치를 추정할 수 있다.
도 1은 본 발명의 일실시예에 따른 교차로의 기하학적 구조를 나타낸다.
도 2는 본 발명의 일실시예에 따른 교차로가 오른쪽에 존재하는 실제영상이다.
도 3은 본 발명의 일실시예에 따른 도 2 영상을 실제로 복원한 상면도이다.
도 4는 본 발명의 일실시예에 따른 교차로 인식 및 복원 시스템을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 교차로 인식 및 복원방법을 나타내는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 도 2의 입력 영상에서 차선후보결과를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 도 6의 차선후보에서 골격선 검출을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 교차로 상단 차선의 좌표들의 집합을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 교차로 상단 차선 집합을 이용하여 교차로 상단 차선을 곡선으로 찾은 결과를 보여 주는 도면이다.
도 10은 본 발명의 일실시예에 따른 도 9를 월드좌표계로 변환한 도면이다.
도 11은 본 발명의 일실시예에 따른 교차로 존재의 인식을 설명하는 도면이다.
도 12는 본 발명의 일실시예에 따른 교차로를 상면도로 표시한 도면이다.
도 13은 본 발명의 일실시예에 따른 시간에 따른 하단 근접점 위치의 변화를 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 하단 근접점이 Y축의 양수인 경우에 교차로 하단점의 추정방법을 나타내는 도면이다.
도 15는 본 발명의 일실시예에 따른 하단 근접점이 차선 경로 영역에 존재할 때, 교차로의 복원을 설명하는 도면이다.
도 16은 본 발명의 일실시예에 따른 교차로의 하단점이 차선 경로 영역에 존재하고, 상단점은 차선 함수 영역에 존재하는 경우의 영상을 나타낸다.
도 17은 본 발명의 일실시예에 따른 도 16 영상에서 교차로를 복원하여 상면도로 표현한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법을 상세히 설명하기로 한다.
본 발명은 카메라가 설치된 대상 차량이 주행 중에 촬영한 순차 영상에서 교차로가 존재하는 구간에서, 교차로를 인식하고, 경로를 복원하는 방법이다.
본 발명은 교차로의 기하 구조를 이용하여, 교차로를 인식하고, 교차로를 상면도(Top View)로 표현한다. 교차로의 인식이 가능한 시공간(spatial-temporal) 구간에서 이 기하학적 구조가 결정된다. 그리고, 교차로를 인식할 수 없는 시공간 구간에서 이 기하학적 구조를 유지하면서, 교차로의 위치를 추정할 수 있다.
도 1은 본 발명의 일실시예에 따른 교차로의 기하학적 구조를 나타낸다.
도 1을 참조하면, 교차로는 주행차선 곡선 C의 측면 위치에 존재한다. 도 1에서 교차로는 4개의 점들
Figure 112022121862839-pat00054
이 순차적으로 연결된 구조이다.
또한, 교차로 구조는 차선 곡선 C의 특정 좌표에 연결되며, 이 점을
Figure 112022080233677-pat00055
라고 정의한다.
도 2는 본 발명의 일실시예에 따른 교차로가 오른쪽에 존재하는 실제영상이며, 도 3은 본 발명의 일실시예에 따른 도 2 영상을 실제로 복원한 상면도이다.
도 2 및 도 3을 참조하면, 도 3의 오른쪽 차선 측면에 교차로의 모습(녹색 실선)이 도 1의 교차로 구조와 유사하게 생성된 것을 볼 수 있다.
이하, 도 1에서 교차로의 구조를 결정하는 요소들에 대하여 설명한다.
Figure 112022080233677-pat00056
는 교차로의 상단점이고,
Figure 112022080233677-pat00057
은 교차로의 하단점이다.
Figure 112022080233677-pat00058
는 상단점과 하단점을 이은 선분을 의미한다. 곡선 C는 차선에 적합한 포물선(parabola)를 의미한다.
Figure 112022080233677-pat00059
은 차선과 교차로의 상대 각도를 의미한다. 교차로 상단점
Figure 112022080233677-pat00060
의 각도
Figure 112022080233677-pat00061
는 교차로 자체의 각도를 의미한다.
Figure 112022080233677-pat00062
는 곡선 C에서 점
Figure 112022080233677-pat00063
를 지나는 법선 n의 각도를 의미한다. 상단 근접점(upper close-up point)
Figure 112022080233677-pat00064
는 상단점
Figure 112022080233677-pat00065
와 가장 가까운 거리에 존재하는 곡선 C 위의 점을 의미한다. 하단 근접점(lower close-up point)
Figure 112022080233677-pat00066
은 하단점
Figure 112022080233677-pat00067
과 가장 가까운 거리에 존재하는 곡선 C 위의 점을 의미한다.
곡선 C의 함수를 y = f(x) 라고 할 때, 미분을 이용하여 곡선 위의 점
Figure 112022080233677-pat00068
에 접하는 접선 t에 수직인 법선 n의 일반 방정식은 수학식 1와 같다.
Figure 112022080233677-pat00069
수학식 1를 x = f(y) 형태로 변경하면, 수학식 2와 같다.
Figure 112022080233677-pat00070
수학식 3은 포물선 C의 방정식을 보여 준다.
Figure 112022080233677-pat00071
수학식 4는 수학식 3의 미분 함수를 보여 준다. 계수 c, d, e는 영상 인식의 결과를 의미하는데, c, d, e는 포물선의 계수이다.
Figure 112022080233677-pat00072
수학식 2에 수학식 3과 4을 입력하면, 수학식 5와 같은 법선의 방정식을 얻을 수 있다.
Figure 112022080233677-pat00073
수학식 5에서 법선의 계수를 구하려면, 점
Figure 112022080233677-pat00074
의 좌표를 알고 있어야 하지만, 현재는 미지수인 상태이다.
점
Figure 112022080233677-pat00075
을 알고 있을 때, 점
Figure 112022080233677-pat00076
를 구하는 방법은 다음과 같다. 우선, 점
Figure 112022080233677-pat00077
을 중심으로 하는 원을 그릴 수 있으며, 곡선에 접하는 원을 찾을 수 있다. 이때, 원의 반지름은 최소값을 가진다. 이 반지름을 미분할 때, 0이 된다는 방식으로 점
Figure 112022080233677-pat00078
를 구할 수 있다.
도 1에서 점
Figure 112022080233677-pat00079
은
Figure 112022080233677-pat00080
이다.
Figure 112022080233677-pat00081
가 원의 반지름이라 하면, 수학식 6과 같이 원의 방정식으로 표현할 수 있다.
Figure 112022080233677-pat00082
수학식 6을 y에 대해 미분하여 극소이자 최소인 점의 y 좌표를 찾는다.
Figure 112022080233677-pat00083
이라고 하고, y에 대해 미분하면 수학식 7과 같다.
Figure 112022080233677-pat00084
y=
Figure 112022080233677-pat00085
에서
Figure 112022080233677-pat00086
가 극소이자 최소가 된다고 하면,
Figure 112022080233677-pat00087
을 만족한다. 수학식 7에 수학식 3과 4을 대입하여, y에 대해 정리하면, 수학식 8와 같다.
Figure 112022080233677-pat00088
수학식 8은 y에 대한 3차 방정식(cubic equation)이며, 이 방정식을 풀면, 점
Figure 112022080233677-pat00089
의 y 좌표를 얻을 수 있다. 카르다노(Cardano)의 방법을 이용하면, 다음과 같다.
수학식 8을
Figure 112022080233677-pat00090
의 계수
Figure 112022080233677-pat00091
로 나누어 주면, 수학식 9와 같다.
Figure 112022080233677-pat00092
수학식 9를 대표 계수(A, B, C)로 간소화하면, 수학식 10과 같다.
Figure 112022080233677-pat00093
수학식 10에 대한 해는 수학식 11과 같다.
Figure 112022080233677-pat00094
수학식 11의 각 변수들은 수학식 12과 같이 구한다.
Figure 112022080233677-pat00095
Figure 112022080233677-pat00096
Figure 112022080233677-pat00097
수학식 11에 수학식 12를 입력하면, 하단 근접점
Figure 112022080233677-pat00098
의
Figure 112022080233677-pat00099
을 구할 수 있다.이
Figure 112022080233677-pat00100
을 수학식 3에 입력하면,
Figure 112022080233677-pat00101
을 구할 수 있다. 여기까지, 도 1의 하단 근접점
Figure 112022080233677-pat00102
의 좌표를 구하는 방법을 설명하였다.
도 4는 본 발명의 일실시예에 따른 교차로 인식 및 복원 시스템을 나타내는 도면이다.
도 4를 참조하면, 대상 차량(subject vehicle)에 설치된 전방 카메라가 설치된 영상촬영부(100)에서 순차 영상을 획득한다.
영상촬영부(100)에서 획득한 비디오 파일의 순차 영상을 영상분석부(200)에서 분석하여, 주행 차선을 검출하고, 기하학적 모델링 방법에 의하여 교차로를 인식하고 복원한다.
상기 영상분석부(200)에서 검출한 주행차선 및 교차로 데이터는 메모리(300)에 저장된다.
메모리(300)에 저장된 주행차선 및 교차로 데이터들을 상면도(Top View)의 형태로 표현하는 디스플레이부(400)에 표현된다.
(교차로의 인식 및 추정을 위한 방법)
본 절은 교차로를 인식하고 추정하는 방법에 대해 흐름도를 이용하여 설명한다. 교차로는 하단 차선이 보이는 구간과 하단 차선이 보이지 않는 구간으로 나눌 수 있다.
도 5는 본 발명의 일실시예에 따른 교차로 인식 및 복원방법을 나타내는 흐름도이다.
도 5를 참조하면, 교차로의 상단과 하단 차선이 모두 보이는 구간과 교차로의 하단 차선이 보이지 않는 구간을 구분하여, 교차로의 인식 및 추정을 수행하는 흐름도를 보여 준다.
먼저, 대상차량에서 설치된 영상촬영부의 전방 카메라에서 순차영상을 획득한다. 다음으로, 상기 순차영상을 입력받아 영상분석부에서 영상분석을 수행하여 교차로의 인식 및 추정을 수행한다.
도 5에서 S501에서 S505까지의 단계는 교차로의 모습이 영상에 보일 때, 교차로를 인식하는 과정을 처리한다.
도 5에서 S507에서 S508까지의 단계는 영상에서 교차로의 하단 차선이 사라질 때, 교차로의 위치를 추정하는 과정을 처리한다.
도 5에서 S506 단계는 교차로를 찾았을 때, 교차로의 정보를 저장하고, 상면도에 표시하는 단계이다.
구체적으로, 먼저 교차로의 하단 차선 검출(S501) 단계는 차선의 측면에 교차로의 하단 차선이 존재하는지 결정하기 위한 영상 처리 단계이다.
하단 차선 검출의 첫 번째 과정은 차선 후보를 결정한다. 도 2의 입력 영상에서 차선 후보를 결정하면, 도 6의 차선 후보 결과를 얻을 수 있다.
도 6은 본 발명의 일실시예에 따른 도 2의 입력 영상에서 차선후보결과를 나타내는 도면이다.
도 6을 참조하면, 왼쪽 청색 점들은 왼쪽 차선 후보의 좌표들을 표시한 것이며, 적색 점들은 오른쪽 차선 후보의 좌표들을 표시한 것이다. 차선 후보 검출 방법은 도로에 도색된 차선(lane marking)의 측방향 폭을 기반으로 필터 윈도우의 크기가 유동적으로 변하는 가변 탑햇 필터(Variable Top-hat filter)를 이용한다. 가변 탑햇 필터는 본 출원인의 대한민국 등록특허 제10-2296520호 "단안 카메라를 이용한 경로추정에 의한 곡선차선 검출 방법"에 상세히 설명되어 있다.
하단 차선 검출의 두 번째 과정은 골격선 검출 단계이다. 상술한 차선 후보의 중간값을 이용하여 1화소 굵기의 골격선을 검출한다.
도 7은 본 발명의 일실시예에 따른 도 6의 차선후보에서 골격선 검출을 나타내는 도면이다.
도 7을 참조하면, 도 6의 차선 후보에 대해 측방향으로 스캔하여 선택된 중간값의 좌표로 이루어진 골격선을 검출하면, 도 7과 같은 결과를 얻을 수 있다.
또한, 왼쪽 차선과 오른쪽 차선의 골격선의 좌표들을 입력으로 최소자승법을 이용하여 왼쪽 차선과 오른쪽 차선에 적합하는 직선 또는 포물선 함수를 얻을 수 있다(대한민국 등록특허 제10-2296520호 "단안 카메라를 이용한 경로추정에 의한 곡선차선 검출 방법" 참조). 이때 하단 차선의 길이와 위치를 계산할 수 있다.
다시 도 1을 참조하면, P1(하단점)은 골격선의 상단점으로 결정한 정수값을 가진다. 포물선 C는 골격선 좌표들에 최소 자승법으로 적합한 곡선이므로 각 점들은 실수값을 가진다. 그러므로, 하단점 P1과 하단 근접점 P3는 유사한 값을 가질 수 있지만, 동일할 수는 없다. 멀리서 볼 땐, 일치하는 것처럼 보이지만, 가까이 다가갈수록 P1과 P3는 멀어지게 된다.
다음으로, S502 단계는 5201에서 구한 교차로 하단 차선이 특정 범위의 길이로 측정되고, 영상의 하단부에 존재하는지 여부를 검사한다. 교차로 하단 차선이 존재하면, S503단계로 분기한다. 교차로 하단 차선이 존재하지 않으면, S507 단계로 분기한다.
다음으로, S503 단계는 주행차선의 측면에 존재하는 교차로의 상단 차선을 검출하는 과정이다. 도 2의 영상의 경우, 오른쪽 차선의 우측에 교차로가 존재하며, 상단 차선이 곡선 형태로 존재한다.
이 상단 곡선을 검출하기 위한 방법은 다음과 같다.
우선, 소벨(sobel) 에지 연산자를 이용하여 우측면의 에지를 검출한다. 차로의 중심에서 우측면으로 스캔하여, 검출되는 에지 좌표를 상단 좌표 집합에 추가한다. 이 과정을 영상의 Y축의 상단에서 하단으로 반복하면, 교차로의 상단 차선의 좌표들의 집합이 생성된다.
도 8은 본 발명의 일실시예에 따른 교차로 상단 차선의 좌표들의 집합을 나타내는 도면이다.
도 8을 참조하면, 회색계조(gray level)로 표현된 에지들을 볼 수 있으며, 적색 점들은 상기 과정을 통해 얻은 교차로 상단 차선 집합을 의미한다.
도 9는 본 발명의 일실시예에 따른 교차로 상단 차선 집합을 이용하여 교차로 상단 차선을 곡선으로 찾은 결과를 보여 주는 도면이다.
도 9를 참조하면, 교차로 상단 차선 집합을 입력으로 하여, 최소자승법으로 곡선(포물선, parabola)에 적합할 수 있다. 적색 곡선 (A)는 도 8의 교차로 상단 차선 집합을 이용하여 교차로 상단 차선을 곡선으로 찾은 결과를 보여 준다. 이 곡선의 전방 거리가 0일 때, 접선(tangent)를 구할 수 있다. 이 접선은 나중에 교차로의 상단 선분(도 1의
Figure 112022080233677-pat00103
)을 찾을 때 이용된다. 도 9에서 곡선 (A)의 접선은 녹색 직선 (B)로 표시하고 있다.
도 10은 본 발명의 일실시예에 따른 도 9를 월드좌표계로 변환한 도면이다.
도 10을 참조하면, 도 9의 곡선 (A)는 도 10의 적색곡선 (A)이다. 이 곡선의전방거리가 0인 지점은 도 10의 수평선 위의 점들을 의미한다. 곡선의 전방거리가 0일 때의 좌표는 곡선 (A)와 수평선이 만나는 곳이다. 도 10에서 적색점으로 표시되어 있다.
다음으로, S504 단계는 상기에서 얻은 특징들을 이용하여 교차로가 존재하는지 인식하는 단계이다.
도 11은 본 발명의 일실시예에 따른 교차로 존재의 인식을 설명하는 도면이다.
도 11을 참조하면, 첫 번째는 S501 단계에서 얻은 하단 차선의 정보를 이용하여 도 1의 하단점
Figure 112022080233677-pat00104
을 찾는다. 하단점
Figure 112022080233677-pat00105
을 찾기 위해, 하단 차선의 골격선에 적합하는 직선을 구한다. 도 11의 (C)는 하단 차선의 골격선에 적합한 직선(청색)을 보여 준다. 하단점
Figure 112022080233677-pat00106
의 좌표는 하단 차선의 골격선의 최상단 Y 좌표값을 가지는 직선 (C) 위의 좌표를 찾아서 구할 수 있다. 실시예로, 도 11에서 황색 십자선
Figure 112022080233677-pat00107
으로 표시되어 있다.
두 번째는 도 1의 상단점
Figure 112022080233677-pat00108
를 찾는 단계이다. 도 9의 접선 (B)와 도 11의 하단 차선 직선 (C)가 만나는 점을 구하여 상단점
Figure 112022080233677-pat00109
로 설정한다. 실시예로, 도 11에서 황색 십자선
Figure 112022080233677-pat00110
로 표시되어 있다.
세 번째는 도 1에서 상단점
Figure 112022080233677-pat00111
의 각도
Figure 112022080233677-pat00112
를 구한다. 이 각도
Figure 112022080233677-pat00113
는 도 1의 선분
Figure 112022080233677-pat00114
와
Figure 112022080233677-pat00115
의 각도의 차분으로 구할 수 있다. 앞선 단계에서 상단점
Figure 112022080233677-pat00116
와 하단점
Figure 112022080233677-pat00117
의 좌표를 구했기 때문에,
Figure 112022080233677-pat00118
을 지나는 직선의 방정식을 구할 수 있다. 또한,
Figure 112022080233677-pat00119
을 지나는 직선의 방정식은 단계 S503인 상단 차선 검출 단계에서 구했다.
S505 단계는 S504 단계에서 얻은 정보를 이용하여, 교차로가 존재하는지 판단한다. 판단 조건은 아래와 같이 3개가 존재한다.
(1) 하단점
Figure 112022080233677-pat00120
이 존재하는가?
(2) 상단 차선이 존재하고, 상단 차선에 접하는 접선
Figure 112022080233677-pat00121
가 존재하는가?
(3) 상단점
Figure 112022080233677-pat00122
의 각도
Figure 112022080233677-pat00123
의 값이 특정 범위를 만족하는가?
위의 (3)의 조건식은 수학식 13과 같다.
Figure 112022080233677-pat00124
예를 들어, 수학식 13에서 t가 10이라면, 상단점
Figure 112022080233677-pat00125
의 각도의 범위는 10도에서 170도이다. 즉,
Figure 112022080233677-pat00126
의 각도가 10도에서 170도인 경우 교차로로 인식하겠다는 의미이다.
다음으로, S506 단계는 상기 3개의 조건을 만족하면, 교차로가 존재한다고 판단하고, 교차로의 정보를 저장하고, 교차로를 상면도에 표현한다.
상면도는 영상 좌표계에서 인식한 정보들을 월드 좌표계로 변환하여 표시된다.
도 12는 본 발명의 일실시예에 따른 교차로를 상면도를 표시한 도면이다. 도 12는 상면도가 어떤 좌표계를 사용하는지 보여 준다. 상면도는 월드 좌표계에서 높이가 0일 때, XY 좌표계를 기준으로 한다. 적색 X 표시는 대상 차량의 카메라의 위치를 의미하며, 월드 좌표계의 원점이다. X축은 대상 차량에 대해 측방향을 의미하며, Y축은 대상 차량에 대해 전후 방향을 의미한다. Y축의 양수 영역은 현재 영상에서 보이는 차선을 직선이나 곡선 함수로 표현한 것을 의미한다. Y축의 음수 영역의 좌표들은 과거 시간에 저장된 차선 경로 데이터들을 의미한다.
도 12를 참조하면, Y축의 양수 영역에 현재 영상에서 검출된 차선과 교차로가 표시되며, Y축의 음수 영역에 차선의 경로 좌표들이 점으로 표시되어 있는 것을 볼 수 있다.
이하, 대상차량이 교차로를 지나가서 교차로의 하단 차선이 보이지 않는 경우의 교차로의 구조를 복원하고 위치를 추정하는 방법을 설명한다.
도 5의 S507 단계에서 S508 단계는 교차로의 하단 차선이 보이지 않는 경우로서, 교차로의 구조를 복원하고, 위치를 추정한다.
S507 단계는 교차로 정보가 경로에 존재하는지 검사하는 단계이다. 다시 말해, 과거 시간에 교차로가 존재했었는지를 검사하는 단계라고 할 수 있다. 경로에 교차로가 존재할 때만, 다음 단계로 분기할 수 있다.
S508 단계인 교차로의 위치 추정 단계는 교차로가 이전 시간에 존재하지만, 현재 영상에서 교차로의 하단 차선이 보이지 않는 경우로서, 교차로의 위치를 추정하는 과정을 수행한다.
상세하게는, 교차로의 위치를 추정하는 단계는 2가지 종류로 구분된다.
첫째는, 도 1의 하단 근접점
Figure 112022080233677-pat00127
가 월드좌표계의 Y축에서 어디에 존재하는가에 따라 추정 방법이 다르다. 하단 근접점
Figure 112022080233677-pat00128
가 Y축의 양수일 경우는 현재 차선 위에 존재한다. 반면에, 하단 근접점
Figure 112022080233677-pat00129
가 Y축의 음수일 경우는 경로 위에 존재한다. 도 1에서 볼 수 있듯이, 교차로 구조는 차선의 옆에 기하학적인 거리와 각도로 연결되어 있는 구조이기 때문에, 차선이나 경로의 형태에 영향을 받는다. 이해를 돕기 위해, 도 12에서, Y축의 양수 영역을 "차선 함수 영역"이라 부르고, Y축의 음수 영역을 "차선 경로 영역"이라 부른다.
다음은 교차로의 하단점이 보이지 않는 구간에서 교차로의 위치를 추정하는 방법을 설명한다. 도 1에서 하단 근접점
Figure 112022080233677-pat00130
가 Y축의 양수라고 가정하고, 좌표를 찾는 방법을 설명한다.
도 1의 교차로의 정의에 의하면, 하단 근접점
Figure 112022080233677-pat00131
은 곡선
Figure 112022080233677-pat00132
위에 존재한다.
도 13은 본 발명의 일실시예에 따른 시간에 따른 하단 근접점 위치의 변화를 나타내는 도면이다.
도 13을 참조하면,
Figure 112022080233677-pat00133
은 현재시간의 차선 곡선을 의미하며,
Figure 112022080233677-pat00134
는 이전시간의 차선 곡선을 의미한다. 현재시간의 대상 차량의 속도
Figure 112022080233677-pat00135
가 0 이라면, 이전시간의 하단 근접점
Figure 112022080233677-pat00136
와 가장 가까운 곡선
Figure 112022080233677-pat00137
위의 좌표
Figure 112022080233677-pat00138
을 현재시간의 하단 근접점으로 추정할 수 있다. 속도
Figure 112022080233677-pat00139
가 0보다 큰 값을 가진다면,
Figure 112022080233677-pat00140
를 시작점으로
Figure 112022080233677-pat00141
의 스칼라만큼 이동한
Figure 112022080233677-pat00142
를 현재시간의 하단 근접점으로 추정할 수 있다. 그러므로, 본 출원 발명자는
Figure 112022080233677-pat00143
의 좌표를 먼저 찾고, 현재 속도만큼 이동한
Figure 112022080233677-pat00144
를 찾는 방법을 제안한다.
도 13에서
Figure 112022080233677-pat00145
의 좌표는 점
Figure 112022080233677-pat00146
와 가장 가까운 곡선
Figure 112022080233677-pat00147
위의 좌표이므로, 도 1에서 점
Figure 112022080233677-pat00148
를 구하는 방법을 동일하게 적용하여 구할 수 있다. 그리고, 대한민국 등록특허 제10-2296520호 "단안 카메라를 이용한 경로추정에 의한 곡선차선 검출 방법"에서 내접원을 이용하는 방법을 응용하여, 현재 시간의 하단 근접점
Figure 112022080233677-pat00149
을 구한다.
근접점
Figure 112022080233677-pat00150
를 지나는 곡선
Figure 112022080233677-pat00151
의 내접원의 방정식은 수학식 14와 같이 표현할 수 있다.
Figure 112022080233677-pat00152
곡선과 내접원이 만나는 접점은
Figure 112022080233677-pat00153
이며, 좌표는
Figure 112022080233677-pat00154
이며, 값은 계산되어 있다.
Figure 112022080233677-pat00155
을 접점으로 하는 곡선의 내접원의 반지름 r은 곡률을 구하는 식을 이용하여, 수학식 15와 같이 정리할 수 있다.
Figure 112022080233677-pat00156
수학식 15에서, d와 e는 수학식 3의 곡선의 계수를 의미한다. 여기서, y는
Figure 112022080233677-pat00157
를 입력한다.
수학식 14에서
Figure 112022080233677-pat00158
는 내접원의 중심 좌표이며, 아래에서 이것을 구하는 방법을 설명한다.
상기 내접원의 중심을 지나며, 곡선의 접점
Figure 112022080233677-pat00159
을 지나는 법선의 방정식은 수학식 5와 동일하다. 수학식 5에서 x, y를 제외한 모든 계수의 값은 상수이므로 간소화하여, 정리하면 아래와 같다.
Figure 112022080233677-pat00160
여기서,
Figure 112022080233677-pat00161
이며,
Figure 112022080233677-pat00162
이다. 수학식 16을 수학식 14에 대입하면, 수학식 17과 같다.
Figure 112022080233677-pat00163
수학식 17을
Figure 112022080233677-pat00164
에 대한 2차 방정식으로 정리하면, 다음 수학식 18과 같다.
Figure 112022080233677-pat00165
수학식 18에 대해 2차 방정식의 근을 구하면,
Figure 112022080233677-pat00166
값을 구할 수 있다.
Figure 112022080233677-pat00167
를 수학식 16에 대입하여,
Figure 112022080233677-pat00168
를 얻을 수 있다. 여기까지 내접원의 중심좌표
Figure 112022080233677-pat00169
를 구하였다.
상기에서 구한 내접원은 도 13의 곡선
Figure 112022121862839-pat00170
의 근접점
Figure 112022121862839-pat00171
를 지난다. 내접원에서
Figure 112022121862839-pat00172
에서 1프레임 동안 이동한 거리에 위치한 좌표를 찾을 수 있으며, 이 좌표는 곡선
Figure 112022121862839-pat00173
의
Figure 112022121862839-pat00174
의 근사값이라 할 수 있다. 이 좌표를 찾는 방법은 매개변수 수학식 19를 이용한다.
Figure 112022080233677-pat00175
Figure 112022080233677-pat00176
이 식은 각도에 의해 원의 좌표를 정의하므로, 근접점
Figure 112022080233677-pat00177
과
Figure 112022080233677-pat00178
의 각도를 구한다. 근접점
Figure 112022080233677-pat00179
의 좌표는 상기에 계산되었으므로, 수학식 20을 이용하여 각도를 구할 수 있다.
Figure 112022080233677-pat00180
Figure 112022080233677-pat00181
이때 구한 근접점
Figure 112022080233677-pat00182
의 각도를
Figure 112022080233677-pat00183
라고 정의한다. 대상 차량의 현재 속도를 이용하여, 1프레임에서 이동한 거리를 구할 수 있으며, 수학식 21에 이 값을 입력하면, 1프레임 동안 이동한 각도
Figure 112022080233677-pat00184
를 구할 수 있다.
Figure 112022080233677-pat00185
수학식 21에서
Figure 112022080233677-pat00186
는 대상 차량이 1프레임 동안 이동한 거리를 의미한다.
Figure 112022080233677-pat00187
의 각도
Figure 112022080233677-pat00188
는 아래와 같이 정의할 수 있다.
Figure 112022080233677-pat00189
수학식 22의
Figure 112022080233677-pat00190
을 수학식 19에 입력하면,
Figure 112022080233677-pat00191
의 좌표를 구할 수 있다.
(하단 근접점
Figure 112022080233677-pat00192
가 Y축의 양수인 경우 교차로의 복원)
상기에서 구한 하단 근접점
Figure 112022080233677-pat00193
가 양수인 경우, 교차로의 하단점
Figure 112022080233677-pat00194
을 구하는 방법은 아래와 같다.
도 14는 본 발명의 일실시예에 따른 하단 근접점
Figure 112022080233677-pat00195
가 Y축의 양수인 경우에 교차로 하단점의 추정방법을 나타내는 도면이다.
도 14를 참조하면, 곡선 위의 점
Figure 112022080233677-pat00196
를 지나는 법선 n의 각도
Figure 112022080233677-pat00197
를 구할 수 있다.
Figure 112022080233677-pat00198
의 좌표가
Figure 112022080233677-pat00199
이고, 법선 위의 어떤 점
Figure 112022080233677-pat00200
의 좌표가
Figure 112022080233677-pat00201
일 때, 법선의 방정식은 아래와 같다.
Figure 112022080233677-pat00202
수학식 23의 계수 (a, b)는 수학식 16의 K, L과 동일하다. 도 14에서
Figure 112022121862839-pat00203
의
Figure 112022121862839-pat00204
이 1일 때,
Figure 112022121862839-pat00205
이다.
법선 n의 각도
Figure 112022080233677-pat00206
는 삼각함수의 법칙에 의해 아래와 같이 정의할 수 있다.
Figure 112022080233677-pat00207
수학식 24에서
Figure 112022080233677-pat00208
,
Figure 112022080233677-pat00209
는 아래와 같이 표현할 수 있다.
Figure 112022080233677-pat00210
Figure 112022080233677-pat00211
수학식 25를 수학식 24에 대입하여 풀면, 법선 n의 각도
Figure 112022080233677-pat00212
를 얻을 수 있다.이 각도
Figure 112022080233677-pat00213
와
Figure 112022080233677-pat00214
의 평균 거리 r을 수학식 19에 입력하면, 교차로의 하단점
Figure 112022080233677-pat00215
의 좌표를 얻을 수 있다.
(하단 근접점
Figure 112022080233677-pat00216
가 Y축의 음수인 경우 교차로의 복원)
본 절은 하단 근접점
Figure 112022080233677-pat00217
가 월드좌표계의 Y축의 음수인 경우, 교차로를 복원하는 방법을 설명한다.
하단 근접점
Figure 112022080233677-pat00218
가 월드좌표계의 Y축의 음수 영역(차선 경로 영역)으로 진입하면, 월드좌표계의 Y축의 양수 영역(차선 함수 영역)에 존재할 때와 다른 상황이 발생한다. 차선 경로 영역은 차선 함수 영역과 다르게 차선이 하나의 곡선 함수로 표현되지 않는다. 하단 근접점
Figure 112022080233677-pat00219
가 차선 경로 영역으로 진입하는 순간, 최상단의 경로 좌표에 하단 근접점
Figure 112022080233677-pat00220
를 연결시킨다. 다시 말해, 하단 근접점
Figure 112022080233677-pat00221
는 측정값이 아닌 경로 좌표 중 하나가 되는 것이다.
본 발명에서는 차선 경로 영역에서 교차로의 복원은 이전 프레임에서 계산된 데이터들을 이용한다. 자세하게는 도 1에서
Figure 112022080233677-pat00222
,
Figure 112022080233677-pat00223
,
Figure 112022080233677-pat00224
,
Figure 112022080233677-pat00225
에 대해 교차로가 차선 함수 영역에 존재할 때 구한 값들의 평균값들을 이용한다. 하단점
Figure 112022080233677-pat00226
의 좌표는 전절인 "하단 근접점
Figure 112022080233677-pat00227
가 Y축의 양수인 경우 교차로의 복원"에서 사용한 방법을 이용하여 구할 수 있다. 교차로가 차선 함수 영역에 존재할 때,
Figure 112022080233677-pat00228
의 위치는 도 1의
Figure 112022080233677-pat00229
을 이용하여 구할 수 있었다. 그러나, 교차로가 차선 경로 영역에 존재할 때, 도 1의
Figure 112022080233677-pat00230
을 이용할 수 없다. 그 이유는 도 15에서처럼, 점
Figure 112022080233677-pat00231
와
Figure 112022080233677-pat00232
가 같은 곡선 C 위에 존재하지 않기 때문이다.
도 15는 본 발명의 일실시예에 따른 하단 근접점
Figure 112022080233677-pat00233
가 차선 경로 영역에 존재할 때, 교차로의 복원을 설명하는 도면이다.
도 15를 참조하면, 하단부의 녹색 사각형들은 차선의 경로 좌표들을 표현하며, C는 현재 화면에서 인식된 차선을 곡선으로 적합한 것을 의미한다. 교차로의 하단 근접점
Figure 112022080233677-pat00234
는 차선 경로 위에 존재하며, 상단 근접점
Figure 112022080233677-pat00235
는 차선 곡선 함수 C 위에 존재하는 것을 볼 수 있다.
이하, 도 15와 같은 경우에
Figure 112022080233677-pat00236
와
Figure 112022080233677-pat00237
의 좌표를 구하는 방법을 설명한다.
Figure 112022121862839-pat00238
와
Figure 112022121862839-pat00239
의 좌표를 방정식으로 직접 푸는 것이 어렵기 때문에, 반복법에 의한 근사값을 구하는 방법을 사용한다. 현재, 사용 가능한 입력 데이터는
Figure 112022121862839-pat00240
의 좌표
Figure 112022121862839-pat00241
,
Figure 112022121862839-pat00242
과
Figure 112022121862839-pat00243
의 길이
Figure 112022121862839-pat00244
,
Figure 112022121862839-pat00245
과
Figure 112022121862839-pat00246
의 길이
Figure 112022121862839-pat00247
이다.
Figure 112022121862839-pat00248
와
Figure 112022121862839-pat00249
의 좌표는 미지수이다. 도 15에서
Figure 112022121862839-pat00361
의 위치는
Figure 112022121862839-pat00251
을 중심으로 하고,
Figure 112022121862839-pat00252
을 반지름으로 하는 원주 위에 존재하므로, 수학식 26과 같이 정의할 수 있다.
Figure 112022080233677-pat00253
Figure 112022080233677-pat00254
수학식 26에서, 각도
Figure 112022080233677-pat00255
를 변경하면,
Figure 112022080233677-pat00256
의 좌표를 변경할 수 있다. 또한, 단점
Figure 112022080233677-pat00257
와 가장 가까운 곡선 위의 점
Figure 112022080233677-pat00258
를 구하는 방법은 수학식 10의 3차 방정식의 해를 구하는 방법으로 구할 수 있다.
이제,
Figure 112022080233677-pat00259
와
Figure 112022080233677-pat00260
의 거리
Figure 112022080233677-pat00261
를 구할 수 있다. 거리
Figure 112022080233677-pat00262
가 이전에 구한 평균 거리
Figure 112022080233677-pat00263
와 유사한지 검사한다. 유사하지 않다면, 각도
Figure 112022080233677-pat00264
를 변경하여 거리
Figure 112022080233677-pat00265
를 다시 구한다. 유사하다면,
Figure 112022080233677-pat00266
와
Figure 112022080233677-pat00267
의 좌표를 구한 것으로 결정하고 반복을 종료한다. 수학식 27은
Figure 112022080233677-pat00268
와
Figure 112022080233677-pat00269
의 거리를 구하기 위한 반복을 종료하기 위한 조건식을 의미한다.
Figure 112022080233677-pat00270
여기서,
Figure 112022080233677-pat00271
는 차선 좌표 구간에서 미리 구한
Figure 112022080233677-pat00272
와
Figure 112022080233677-pat00273
의 평균 거리를 의미한다.
Figure 112022080233677-pat00274
는 상술한 반복문에 의해 구한
Figure 112022080233677-pat00275
와
Figure 112022080233677-pat00276
의 거리를 의미한다.
Figure 112022080233677-pat00277
는
Figure 112022080233677-pat00278
와
Figure 112022080233677-pat00279
의 차분에 대한 오차 허용 임계값을 의미한다.
여기까지, 근접점
Figure 112022080233677-pat00280
가 차선 경로 영역에 존재할 때, 교차로를 복원하는 방법을 설명하였다.
도 16은 본 발명의 일실시예에 따른 교차로의 하단점이 차선 경로 영역에 존재하고, 상단점은 차선 함수 영역에 존재하는 경우의 영상을 나타내고, 도 17은 본 발명의 일실시예에 따른 교차로를 복원하여 상면도로 표현한 도면이다.
도 16 및 도 17을 참조하면, 점선은 차선 경로를 의미하며, 상단부의 실선은 현재 화면에서 검출된 차선을 의미한다. 오른쪽 차선의 오른편에 교차로가 복원되어 있는 것을 볼 수 있다. 적색 X 표시는 대상 차량의 카메라의 위치를 의미한다.
이상에서 설명한 본 발명은 전술한 도면 및 상세한 설명에 의하여 한정되는 것은 아니고, 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 해당 기술분야의 당업자가 다양하게 수정 및 변경시킨 것 또한 본 발명의 범위 내에 포함됨은 물론이다.
100: 영상촬영부 200: 영상분석부
300: 메모리 400: 디스플레이부

Claims (11)

  1. 대상차량에서 설치된 영상촬영부의 전방 카메라에서 순차영상을 획득하는 단계; 및
    상기 순차영상을 입력받아 영상분석부에서 영상분석을 수행하여 교차로 인식 및 복원하는 단계를 포함하되,
    상기 교차로는 주행차선 곡선 C의 측면 위치에 존재하며, 교차로는 하단점
    Figure 112022121862839-pat00291
    , 상단점
    Figure 112022121862839-pat00292
    , 상단점
    Figure 112022121862839-pat00293
    의 각도
    Figure 112022121862839-pat00294
    로 이루어지는 기하학적 구조를 가지며,
    교차로 인식 및 복원하는 단계는,
    교차로의 하단 차선을 검출하는 단계;
    상기 교차로 하단 차선이 길이로 측정되고, 영상의 하단부에 존재하는지 여부를 검사하는 단계;
    상기 교차로 하단 차선이 존재하면, 주행차선의 측면에 존재하는 교차로의 상단 차선을 검출하는 단계;
    상기 하단 차선 및 상단 차선으로부터 하단점, 상단점 및 상단점의 각도로 이루어진 교차로의 존재를 인식하는 단계;
    상기 교차로의 존재 여부를 판단하는 단계; 및
    상기 교차로가 존재한다고 판단되면, 교차로의 정보를 저장하고, 교차로를 상면도에 표현하는 단계를 포함하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
  2. 제1항에 있어서,
    상기 교차로의 하단 차선을 검출하는 단계는,
    전방 영상으로부터 도로에 도색된 차선(lane marking)의 측방향 폭을 기반으로 필터 윈도우의 크기가 유동적으로 변하는 가변 탑햇 필터(Variable Top-hat filter)를 이용하여 곡선 차선 후보를 결정하는 단계;
    상기 차선 후보의 중간값을 이용하여 1화소 굵기의 골격선을 검출하는 단계; 및
    상기 골격선의 좌표들을 입력으로 최소자승법을 이용하여 왼쪽 차선과 오른쪽 차선에 적합하는 직선 또는 포물선 함수를 얻는 단계를 포함하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
  3. 제1항에 있어서,
    상기 교차로의 상단 차선을 검출하는 단계는,
    소벨 에지 연산자를 이용하여 교차로의 상단 차선의 좌표들의 집합을 생성하는 단계; 및
    상기 교차로의 상단 차선 좌표들의 집합을 입력으로 하여, 최소자승법으로 차선에 적합하는 포물선 함수를 얻는 단계를 포함하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
  4. 제1항에 있어서,
    상기 교차로가 존재하는지 인식하는 단계는,
    상기 하단 차선의 정보를 이용하여 교차로의 하단점
    Figure 112022121862839-pat00295
    을 찾는 단계;
    상기 하단 차선 및 상단 차선의 정보를 이용하여 상단점
    Figure 112022121862839-pat00296
    를 찾는 단계; 및
    상기 상단점
    Figure 112022121862839-pat00297
    의 각도
    Figure 112022121862839-pat00298
    를 구하는 단계를 포함하되,
    상기 각도
    Figure 112022121862839-pat00299
    는 상기 상단점
    Figure 112022121862839-pat00300
    와 하단점
    Figure 112022121862839-pat00301
    을 지나는 직선의 방정식과 상기 상단 차선 검출에서 구한 상단 차선의 접선을 지나는 직선의 방정식을 이용하여 구하는 것을 특징으로 하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
  5. 제4항에 있어서,
    상기 교차로의 존재 여부를 판단하는 단계는,
    아래와 같이 3개 판단 조건을 만족하는 경우에 교차로가 존재하는 것으로 판단하는 것을 특징으로 하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
    (1) 하단점
    Figure 112022121862839-pat00302
    존재 여부.
    (2) 상단 차선이 존재하고, 상단 차선에 접하는 접선의 존재 여부.
    (3) 상단점
    Figure 112022121862839-pat00303
    의 각도
    Figure 112022121862839-pat00304
    의 값이 특정 범위를 만족 여부.
  6. 대상차량에서 설치된 영상촬영부의 전방 카메라에서 순차영상을 획득하는 단계; 및
    상기 순차영상을 입력받아 영상분석부에서 영상분석을 수행하여 교차로 인식 및 복원하는 단계를 포함하되,
    상기 교차로는 주행차선 곡선 C의 측면 위치에 존재하며, 교차로는 하단점
    Figure 112022121862839-pat00305
    , 상단점
    Figure 112022121862839-pat00306
    , 상단점
    Figure 112022121862839-pat00307
    의 각도
    Figure 112022121862839-pat00308
    로 이루어지는 기하학적 구조를 가지며, 상단 근접점(upper close-up point)
    Figure 112022121862839-pat00309
    는 상단점
    Figure 112022121862839-pat00310
    와 가장 가까운 거리에 존재하는 곡선 C 위의 점이며, 하단 근접점(lower close-up point)
    Figure 112022121862839-pat00311
    은 하단점
    Figure 112022121862839-pat00312
    과 가장 가까운 거리에 존재하는 곡선 C 위의 점이며,
    상기 순차영상에서 교차로의 하단 차선이 사라질 때 교차로 인식 및 복원하는 단계는,
    교차로 정보가 이전 시간의 경로에 존재하는지 검사하는 단계; 및
    상기 교차로 정보가 이전 시간의 경로에 존재하는 경우에 교차로의 위치를 추정하는 단계를 포함하되,
    Figure 112022121862839-pat00313
    은 현재시간의 차선 곡선을 의미하며,
    Figure 112022121862839-pat00314
    는 이전시간의 차선 곡선을 의미하며, 현재시간의 대상 차량의 속도
    Figure 112022121862839-pat00315
    가 0 이라면, 이전시간의 하단 근접점
    Figure 112022121862839-pat00316
    와 가장 가까운 곡선
    Figure 112022121862839-pat00317
    위의 좌표
    Figure 112022121862839-pat00318
    을 현재시간의 하단 근접점으로 추정하고,
    속도
    Figure 112022121862839-pat00319
    가 0보다 큰 값을 가진다면,
    Figure 112022121862839-pat00320
    를 시작점으로
    Figure 112022121862839-pat00321
    의 스칼라만큼 이동한
    Figure 112022121862839-pat00322
    를 현재시간의 하단 근접점으로 추정하여서,
    Figure 112022121862839-pat00323
    의 좌표를 먼저 찾고, 현재 속도만큼 이동한 하단 근접점
    Figure 112022121862839-pat00324
    을 찾고, 이를 이용하여 하단점
    Figure 112022121862839-pat00325
    을 추정하여 교차로를 복원하는 것을 특징으로 하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
  7. 제6항에 있어서,
    상기 하단 근접점
    Figure 112022121862839-pat00326
    가 월드좌표계 Y축의 양수(차선 함수 영역)인 경우,
    현재 시간의 차선 곡선 위의 점
    Figure 112022121862839-pat00327
    를 지나는 법선 n의 각도
    Figure 112022121862839-pat00328
    와
    Figure 112022121862839-pat00329
    의 평균 거리 r을 이용하여 교차로의 하단점
    Figure 112022121862839-pat00330
    을 추정하고, 이를 이용하여 교차로를 복원하는 것을 특징으로 하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
  8. 제6항에 있어서,
    상기 하단 근접점
    Figure 112022121862839-pat00331
    가 월드좌표계 Y축의 음수(차선 경로 영역)인 경우,
    상단점
    Figure 112022121862839-pat00332
    와 상단 근접점
    Figure 112022121862839-pat00333
    의 좌표를 반복법에 의한 근사값을 구하는 방법을 사용하여 구하고, 이를 이용하여 교차로를 복원하는 것을 특징으로 하는 기하학적 모델링 방법에 의한 교차로 인식 및 복원방법.
  9. 삭제
  10. 삭제
  11. 삭제
KR1020220095403A 2022-08-01 2022-08-01 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법 KR102501889B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220095403A KR102501889B1 (ko) 2022-08-01 2022-08-01 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법
US18/058,675 US20240037962A1 (en) 2022-08-01 2022-11-23 Intersection recognition and restoration system using geometric modeling method and intersection recognition and restoration method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220095403A KR102501889B1 (ko) 2022-08-01 2022-08-01 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법

Publications (2)

Publication Number Publication Date
KR102501889B1 true KR102501889B1 (ko) 2023-02-21
KR102501889B9 KR102501889B9 (ko) 2023-05-11

Family

ID=85328438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220095403A KR102501889B1 (ko) 2022-08-01 2022-08-01 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법

Country Status (2)

Country Link
US (1) US20240037962A1 (ko)
KR (1) KR102501889B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101342124B1 (ko) 2013-10-18 2013-12-19 주식회사 지티 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법
WO2014027478A1 (ja) * 2012-08-13 2014-02-20 本田技研工業株式会社 道路環境認識装置
KR20140087622A (ko) * 2012-12-31 2014-07-09 현대자동차주식회사 촬영 영상의 휘도를 이용한 차선 추출 방법
KR101455835B1 (ko) 2014-06-16 2014-11-04 주식회사 지티 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법
KR101473866B1 (ko) 2014-01-23 2014-12-17 주식회사 지티 차량용 영상처리 시스템 및 이를 이용한 영상처리방법
JP2015075891A (ja) * 2013-10-08 2015-04-20 日産自動車株式会社 車両支援装置
KR102296520B1 (ko) 2020-12-18 2021-09-01 주식회사 카비 단안 카메라를 이용한 경로추정에 의한 곡선차선 검출 방법
KR102318586B1 (ko) 2020-08-26 2021-10-28 주식회사 카비 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014027478A1 (ja) * 2012-08-13 2014-02-20 本田技研工業株式会社 道路環境認識装置
KR20140087622A (ko) * 2012-12-31 2014-07-09 현대자동차주식회사 촬영 영상의 휘도를 이용한 차선 추출 방법
JP2015075891A (ja) * 2013-10-08 2015-04-20 日産自動車株式会社 車両支援装置
KR101342124B1 (ko) 2013-10-18 2013-12-19 주식회사 지티 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법
KR101473866B1 (ko) 2014-01-23 2014-12-17 주식회사 지티 차량용 영상처리 시스템 및 이를 이용한 영상처리방법
KR101455835B1 (ko) 2014-06-16 2014-11-04 주식회사 지티 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법
KR102318586B1 (ko) 2020-08-26 2021-10-28 주식회사 카비 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법
KR102296520B1 (ko) 2020-12-18 2021-09-01 주식회사 카비 단안 카메라를 이용한 경로추정에 의한 곡선차선 검출 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2014-0087622호(2014.07.09.) 1부.*
한국 등록특허공보 제10-2296520호(2021.09.01.) 1부.*

Also Published As

Publication number Publication date
US20240037962A1 (en) 2024-02-01
KR102501889B9 (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
CN109791052B (zh) 使用数字地图对点云的数据点进行分类的方法和系统
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US10317231B2 (en) Top-down refinement in lane marking navigation
US6819779B1 (en) Lane detection system and apparatus
KR101104609B1 (ko) 차량의 목표주차위치 인식 방법 및 그 시스템
JP4919036B2 (ja) 移動物体認識装置
US9245188B2 (en) Lane detection system and method
US9195895B1 (en) Systems and methods for detecting traffic signs
US10402665B2 (en) Systems and methods for detecting traffic signs
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
EP2639781A1 (en) Vehicle with improved traffic-object position detection
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US20030002713A1 (en) Vision-based highway overhead structure detection system
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
US20100259609A1 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
WO2017130640A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6818626B2 (ja) 車種判別装置、車種判別方法、および車種判別システム
KR101264282B1 (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
US20230230391A1 (en) Vehicle path restoration system through sequential image analysis and vehicle path restoration method using the same
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
KR102501889B1 (ko) 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법
JP3503543B2 (ja) 道路構造認識方法、距離測定方法及び距離測定装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]