KR102497246B1 - 특징점을 이용한 차선 검출 장치 - Google Patents

특징점을 이용한 차선 검출 장치 Download PDF

Info

Publication number
KR102497246B1
KR102497246B1 KR1020200188712A KR20200188712A KR102497246B1 KR 102497246 B1 KR102497246 B1 KR 102497246B1 KR 1020200188712 A KR1020200188712 A KR 1020200188712A KR 20200188712 A KR20200188712 A KR 20200188712A KR 102497246 B1 KR102497246 B1 KR 102497246B1
Authority
KR
South Korea
Prior art keywords
value
image
lane
region
area
Prior art date
Application number
KR1020200188712A
Other languages
English (en)
Other versions
KR20220096351A (ko
Inventor
유종호
이중희
김주영
Original Assignee
재단법인 경북아이티융합 산업기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 경북아이티융합 산업기술원 filed Critical 재단법인 경북아이티융합 산업기술원
Priority to KR1020200188712A priority Critical patent/KR102497246B1/ko
Publication of KR20220096351A publication Critical patent/KR20220096351A/ko
Application granted granted Critical
Publication of KR102497246B1 publication Critical patent/KR102497246B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

본 발명은 특징점을 이용한 차선 검출 장치에 대한 것이다.
본 발명에 따른 차선 검출 장치는 차량 또는 이동체에 설치된 카메라로부터 차선이 포함된 원본 영상을 수신하는 영상 수신부, 상기 수신된 원본 영상을 전처리하고, 전처리가 수행된 원본 영상으로부터 관심 영역을 추출하는 관심 영역 추출부, 상기 추출된 관심 영역을 보정하여 밝기 성분을 제거하는 영상 보정부, 상기 보정된 관심 영역에 원근(perspective) 및 워프(warp) 알고리즘을 적용하여 탑 뷰 영상으로 변환하는 영상 변환부, 상기 변환된 탑 뷰 영상을 복수의 영역으로 분할하고, 분할된 각각의 영역에 대한 평균 및 표준 편차를 연산하여 획득한 임계값을 이용하여 스레시홀딩(thresholding)을 수행하는 영상 처리부, 상기 스레시홀딩이 수행된 탑 뷰 영상을 복수의 가로축으로 분할하고, 분할된 각각의 영역에 포함된 특징점 후보군을 추출하고, 추출된 특징점 후보군을 원 영상의 좌표으로 변환하여 특징점을 검출하는 특징점 검출부, 그리고 상기 원본 영상에 맵핑된 복수의 특징점 사이를 연결하는 직선과 원점 사이의 거리(
Figure 112020143840972-pat00177
) 및 상기 직선에 대한 법선과 x축이 이루는 각(
Figure 112020143840972-pat00178
)의 카운팅 횟수를 검출하는 차선 검출부를 포함한다.

Description

특징점을 이용한 차선 검출 장치{Lane detection apparatus using feature points}
본 발명은 특징점을 이용한 차선 검출 장치에 관한 것으로서, 더욱 상세하게는 입력된 영상에서 차선이 나타나는 부분을 관심영역으로 추출하고, 추출된 관심영역에 영상처리 및 특징점 추출을 수행하여 차선에 해당하는 영역을 검출하는 특징점을 이용한 차선 검출 장치에 관한 것이다.
자율 주행 기술을 발전함에 따라 도로 위 차선을 인식할 수 있는 기술에 대한 연구가 이루어지고 있다.
종래 기술의 하나로 레이저를 이용한 차선 이탈 경고 장치가 있다. 차선 이탈 경고 장치는 좁은 범위를 식별하기 때문에 차선 검출이 쉽지 않고, 장치의 사이즈가 크기 때문에 설치 시 고려해야 할 요소가 많다. 또한, 차선 이탈 경고 장치는 외부 요인에 의해 거울 등 구조물에 의해 변형이 생기면 차선 인식에 오차를 발생시키고, 다른 물체나 보행자가 있을 경우에는 오류가 발생된다. 또한, 차선 이탈 경고 장치는 레이저를 이용하므로 반사되는 동안의 시간과 처리시간이 오래 걸리고, 그림자, 빛의 산란, 도로 위의 인공 물체, 우천, 안개 등의 상황에서 효과적이지 못하다는 등의 여러 문제점들이 있었다.
따라서, 최근에는 영상 처리를 이용하여 차선을 검출하는 방법이 제공되고 있다.
기존의 차선 검출 방법은 획득한 도로 영상에 회색조 변환 및 이진화를 통해 차선에 해당하는 윤곽선을 검출하고, 검출된 윤곽선 중 직선 요소들을 검출하여 그 중 적합한 직선을 차선으로 선택하는 방법이다.
그러나, 같은 흰색의 차선이라도 외부환경 및 노면의 상태에 따라 다양한 밝기를 가지게 되므로 영상 전처리 과정에서 많이 사용하는 Threshold 기법에 따른 기준 값은 고정된 값으로 환경변화에 매우 취약한 단점이 있었다. 또한, Adaptive threshold, Otsu 등을 이용한 기준 값 찾기 등과 같이 적응적인 기준 값 이용 기법들은 계산량이 많고 원하는 기준을 찾는데 한계가 존재한다.
또한, 기존의 차선검출 분야에서 많이 사용되는 허프변환의 경우 경계선 검출을 통해 검출된 모든 점들을 이용함으로써 많은 계산량이 필요하게 되며 차선이 아닌 영역의 점들까지 고려하게 됨으로 그 효율성이 떨어지는 문제점이 있었다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-2169009호(2020.10.16. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 입력된 영상에서 차선이 나타나는 부분을 관심영역으로 추출하고, 추출된 관심영역에 영상처리 및 특징점 추출을 수행하여 차선에 해당하는 영역을 검출하는 특징점을 이용한 차선 검출 장치를 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 특징점을 이용한 차선 검출 장치에 있어서, 차량 또는 이동체에 설치된 카메라로부터 차선이 포함된 원본 영상을 수신하는 영상 수신부, 상기 수신된 원본 영상을 전처리하고, 전처리가 수행된 원본 영상으로부터 관심 영역을 추출하는 관심 영역 추출부, 상기 추출된 관심 영역을 보정하여 밝기 성분을 제거하는 영상 보정부, 상기 보정된 관심 영역에 원근(perspective) 및 워프(warp) 알고리즘을 적용하여 탑 뷰 영상으로 변환하는 영상 변환부, 상기 변환된 탑 뷰 영상을 복수의 영역으로 분할하고, 분할된 각각의 영역에 대한 평균 및 표준 편차를 연산하여 획득한 임계값을 이용하여 스레시홀딩(thresholding)을 수행하는 영상 처리부, 상기 스레시홀딩이 수행된 탑 뷰 영상을 복수의 가로축으로 분할하고, 분할된 각각의 영역에 포함된 특징점 후보군을 추출하고, 추출된 특징점 후보군을 원 영상의 좌표으로 변환하여 복수의 특징점을 검출하는 특징점 검출부, 그리고 상기 원본 영상에 맵핑된 복수의 특징점 사이를 연결하는 직선과 원점 사이의 거리(
Figure 112020143840972-pat00001
) 및 상기 직선에 대한 법선과 x축이 이루는 각(
Figure 112020143840972-pat00002
)의 카운팅 횟수를 이용하여 차선을 검출하는 차선 검출부를 포함한다.
상기 관심 영역 추출부는, 상기 수신된 영상의 포맷 정보를 이용하여 채널을 분리하고, 분리된 채널을 이용하여 영상 처리하여 관심 영역을 추출하며, 상기 채널은, 영상의 포맷 정보에 따라 밝기에 해당하는 성분을 나타낼 수 있다.
상기 영상 보정부는, 상기 관심 영역에 포함된 복수의 픽셀 중에서 일부 픽셀을 추출하여 모델링 영역으로 설정하고, 상기 설정된 모델링 영역에 커널 계수를 이용한 다운 샘플링을 수행하여 마스크를 생성하고, 상기 생성된 마스크에 동일한 커널 계수를 적용하여 업 샘플링을 수행한 다음, 상기 관심 영역에서 상기 업 샘플링된 영상을 차분하여 밝기 성분이 제거된 관심영역을 생성할 수 있다.
상기 영상 처리부는, 분할된 각 영역의 평균값 및 표준 편차값을 산출하고, 각 영역의 임계값을 계산한 다음, 계산된 임계값을 기준으로 영역마다 스레시홀딩을 수행하거나, 분할된 각 영역의 평균값 및 표준 편차값을 산출하고, 각 영역에 포함된 각각의 픽셀값을 표준값(z-score)으로 변환하고, 변환된 픽셀마다 스레시홀딩을 수행할 수 있다.
상기 영상 처리부는, 하기의 수학식을 이용하여 평균값(
Figure 112020143840972-pat00003
) 및 표준 편차값(
Figure 112020143840972-pat00004
)을 산출할 수 있다.
Figure 112020143840972-pat00005
Figure 112020143840972-pat00006
여기서,
Figure 112020143840972-pat00007
는 i번째 영역의 스케일 팩터(scale factor)이고,
Figure 112020143840972-pat00008
는 블라인드 영역이 포함된 i번째 영역의 평균값이고,
Figure 112020143840972-pat00009
는 블라인드 영역을 제외한 i번째 영역의 평균값이고,
Figure 112020143840972-pat00010
는 블라인드 영역이 포함된 i번째 영역의 표준편차값이고
Figure 112020143840972-pat00011
는 블라인드 영역을 제외한 i번째 영역의 표준편차값이다.
상기 영상 처리부는, 하기의 수학식을 이용하여 스케일 팩터(
Figure 112020143840972-pat00012
)값을 산출할 수 있다.
Figure 112020143840972-pat00013
여기서,
Figure 112020143840972-pat00014
는 i번째 영역의 전체 픽셀 개수이고,
Figure 112020143840972-pat00015
는 i번째 영역의 블라인드 영역을 제외한 픽셀 개수이다.
상기 영상 처리부는, 하기의 수학식으로 이용하여 i번째 영역에서의 임계값(
Figure 112020143840972-pat00016
)을 산출할 수 있다.
Figure 112020143840972-pat00017
여기서,
Figure 112020143840972-pat00018
는 표준값(z-score) 기준의 임계값을 나타낸다.
상기 영상 처리부는, i번째 영역에서 j번째 픽셀의 픽셀값이 임계값(
Figure 112020143840972-pat00019
)이상이면 i번째 영역에서 j번째 픽셀의 픽셀값을 유지하고, i번째 영역에서 j번째 픽셀의 픽셀값이 임계값(
Figure 112020143840972-pat00020
)미만이면 i번째 영역에서 j번째 픽셀의 픽셀값을 0으로 치환할 수 있다.
상기 영상 처리부는, 각 영역에 포함된 각각의 픽셀 값을 표준값(
Figure 112020143840972-pat00021
)으로 변환할 수 있다.
Figure 112020143840972-pat00022
여기서,
Figure 112020143840972-pat00023
는 i번째 영역에서 j번째 픽셀값이다.
상기 영상 처리부는,
Figure 112020143840972-pat00024
가
Figure 112020143840972-pat00025
이상이면 i번째 영역에서 j번째 픽셀의 픽셀값을 유지하고,
Figure 112020143840972-pat00026
가
Figure 112020143840972-pat00027
미만이면 i번째 영역에서 j번째 픽셀의 픽셀값을 0으로 치환할 수 있다.
상기 영상 처리부는, 상기 탑뷰 영상에 스레시홀딩을 반복하여 2회 수행하되, 두번째 스레시홀딩을 수행할 경우에 적용되는 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00028
)은 첫번째 스레시홀딩을 수행할 경우에 적용되는 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00029
)보다 더 큰 값을 가질 수 있다.
상기 특징점 검출부는, 상기 스레시홀딩이 수행된 탑 뷰 영상을 가로축으로 복수개 분할하고, 분할된 영역에 포함된 픽셀에 대한 픽셀값을 세로 방향으로 합산한 다음, 상기 합산된 픽셀값을 이용하여 좌측 차선에 해당하는 특징점 후보군에 대한 좌표값과 우측 차선에 해당하는 특징점 후보군에 대한 좌표값을 획득하고, 획득한 좌표값을 원본 영상에 포함된 관심 영역의 좌표로 변환하여 특징점을 검출할 수 있다.
상기 차선 검출부는, 좌측 차선에 위치하는 특징점과 우측 차선에 위치하는 특징점을 분류하고, 상기 좌측 차선에 위치하는 특징점들 간의 극좌표 파라미터(
Figure 112020143840972-pat00030
) 값을 획득하고, 상기 우측 차선에 위치하는 특징점들 간의 극좌표 파라미터(
Figure 112020143840972-pat00031
)값을 획득할 수 있다.
상기 차선 검출부는, 복수의 특징점 중 서로 다른 2개의 특징점 각각의 조합에 대하여 순서쌍을 생성하고, 상기 순서쌍마다 특징점 사이를 연결하는 직선과 원점 사이의 거리(
Figure 112020143840972-pat00032
) 및 상기 원점과 직선 사이의 법선과 x축이 이루는 각(
Figure 112020143840972-pat00033
)을 획득할 수 있다.
상기 차선 검출부는, 상기 원본 영상에 포함된 복수의 프레임으로부터 획득한 복수의 극좌표 파라미터(
Figure 112020143840972-pat00034
)값을 이용하여 최초의 극좌표 파라미터(
Figure 112020143840972-pat00035
) 영역을 설정하고, 상기 최초의 극좌표 파라미터(
Figure 112020143840972-pat00036
) 영역에 포함된 복수의 극좌표 파라미터(
Figure 112020143840972-pat00037
)값 중에서 카운팅 횟수가 가장 높은 극좌표 파라미터(
Figure 112020143840972-pat00038
)값을 추출하고, 추출된 극좌표 파라미터(
Figure 112020143840972-pat00039
)값을 중심으로 극좌표 파라미터(
Figure 112020143840972-pat00040
)의 최소값을 가지는 마진(
Figure 112020143840972-pat00041
)과, 극좌표 파라미터(
Figure 112020143840972-pat00042
)의 최대값을 가지는 마진(
Figure 112020143840972-pat00043
)을 각각 적용하여 수정된 극좌표 파라미터(
Figure 112020143840972-pat00044
)영역을 설정할 수 있다.
상기 차선 검출부는, 상기 수정된 극좌표 파라미터(
Figure 112020143840972-pat00045
) 영역에 포함되며, 복수의 프레임을 통해 누적된 복수의 극좌표 파라미터(
Figure 112020143840972-pat00046
)값 중에서 카운팅 횟수가 가장 많은 극좌표 파라미터(
Figure 112020143840972-pat00047
)값을 추출하고, 추출된 극좌표 파라미터(
Figure 112020143840972-pat00048
)값을 이용하여 차선을 검출할 수 있다.
상기 차선 검출부는, 하기의 수학식에 카운팅 횟수가 가장 많은 극좌표 파라미터(
Figure 112020143840972-pat00049
)값을 대입하여 차선을 검출할 수 있다.
Figure 112020143840972-pat00050
여기서, x와 y는 각각 차선의 x 좌표와 y 좌표를 나타낸다
이와 같이 본 발명에 따르면, 영상 배경의 밝기를 추론하고, 차선 영역외의 배경 성분을 제거함으로써, 잡음을 제거할 수 있으므로 검출 오차에 대한 계산량을 축소할 수 있으며, 기하학적 변환을 통해 탑 뷰(Top view) 형식의 영상을 생성하여 영상 처리하므로 차선의 형태 추정이 용이하다.
또한 본 발명에 따르면, 차선의 모든 경계선 부분을 특징점으로 이용하지 않고 일부 Sparse한 특징점만을 추출하여 획득한 극좌표 파라미값을 룩업 테이블(Look Up Table) 형태로 저장한 다음, 저장된 룩업 테이블을 이용하여 최적의 극좌표 파라미터를 검출하고, 검출된 극좌표 파라미터를 이용하여 차선을 검출하므로계산량 감소로 인해 시스템의 부하를 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 차선 검출 장치에 대한 구성도이다.
도 2는 본 발명의 실시예에 따른 차선 검출 장치를 이용한 차선 검출 방법을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 S230단계에서 다운 샘플링을 수행하는 방법을 설명하기 위한 도면이다.
도 4는 도 2에 도시된 S230단계에서 업 샘플링을 수행하는 방법을 설명하기 위한 도면이다
도 5는 도 2에 도시된 S230단계에서 밝기 성분이 제거된 관심영역을 획득하는 방법을 설명하기 위한 예시도이다.
도 6은 도 2에 도시된 S240단계를 설명하기 위한 예시도이다.
도 7은 도 2에 도시된 S260단계를 설명하기 위한 도면이다.
도 8은 도 2에 도시된 S270단계를 설명하기 위한 도면이다.
도 9는 도 2에 도시된 S280단계를 설명하기 위한 도면이다.
도 10은 도 2에 도시된 S290단계에서 극좌표 파라미터 영역을 설명하기 위한 도면이다.
도 11은 도 2에 도시된 S295 단계에서 검출된 차선의 좌표에 대한 예시도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 측정 대상자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 차선 검출 장치(100)에 대해 더욱 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 차선 검출 장치에 대한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 차선 검출 장치(100)는 영상 수신부(110), 관심 영역 추출부(120), 영상 보정부(130), 영상 변환부(140), 영상 처리부(150), 특징점 검출부(160) 및 차선 검출부(170)를 포함한다.
먼저, 영상 수신부(110)는 차량 또는 이동체에 설치된 카메라(도시하지 않음)으로부터 차선이 포함된 원본 영상을 수신한다.
관심 영역 추출부(120)는 수신된 원본 영상을 전처리하여 잡음을 제거하고, 전처리가 완료된 원본 영상으로부터 관심 영역을 추출한다.
영상 보정부(130)는 추출된 관심 영역에 포함된 복수의 픽셀 중에서 일부 픽셀을 추출하고, 추출된 픽셀에 커널 계수를 적용하여 다운 샘플링을 수행한다. 그 다음, 영상 보정부(130)는 다운 샘플링을 수행하여 생성된 마스크에 동일한 커널 계수를 적용하여 원래의 관심영역과 동일한 사이즈로 업 샘플링을 수행함으로써, 관심 영역에 포함된 밝기 성분을 제거한다.
영상 변환부(140)는 밝기 성분이 제거된 관심영역에 원근(perspective) 및 워프(warp) 알고리즘을 적용하여 탑 뷰 영상으로 변환한다.
영상 처리부(150)는 두가지 방법에 의해 스레시홀딩(thresholding)을 수행한다.
첫 번째 방법에 따르면, 영상 처리부(150)는 변환된 탑 뷰 영상을 복수개의 영역으로 분할한다. 그 다음, 영상 처리부(150)는 분할된 각각의 영역에 평균 및 표준 편차를 연산하고, 각 영역의 임계값을 계산한다. 영상 처리부(150)는 계산된 임계값을 기준으로 각각의 영역마다 스레시홀딩(thresholding)을 수행한다.
또한 두 번째 방법에 따르면, 영상 처리부(150)는 변환된 탑 뷰 영상을 복수개의 영역으로 분할하고, 분할된 각각의 영역에 평균 및 표준 편차를 연산한다. 그리고 영상 처리부(150)는 각 영역에 포함된 각각의 픽셀값을 표준값(z-score)으로 변환하고, 변환된 픽셀마다 스레시홀딩을 수행한다.
특징점 검출부(160)는 스레시홀딩이 수행된 탑 뷰 영상을 복수의 가로축으로 분할한다. 그리고 특징점 검출부(160)는 분할된 각 영역마다 특징점 후보군을 추출하고, 추출된 특징점 후보군에 포인트 좌표 변환(point coordinate transform) 알고리즘을 적용하여 원본 영상의 좌표로 변환하여 특징점을 검출한다.
마지막으로 차선 검출부(170)는 검출된 특징점을 이용하여 극좌표 파라미터값을 획득한다. 이때, 차선 검출부(170)는 원본 영상에 포함된 복수의 프레임마다 극좌표 파라미터값을 획득한다. 그리고, 차선 검출부(170)는 획득한 복수의 극좌표 파라미터값을 누적하여 카운팅 횟수가 가장 높은 극좌표 파라미터값을 획득하고, 획득한 극좌표 파라미터값을 이용하여 차선을 추정한다.
이하에서는 도 2 내지 도 10을 이용하여 본 발명의 실시예에 따른 차선 검출 장치(100)를 이용하여 차선을 검출하는 방법에 대해 더욱 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 차선 검출 장치를 이용한 차선 검출 방법을 설명하기 위한 순서도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 차선 검출 장치(100)는 차량 또는 이동체에 설치된 카메라로부터 차선이 포함된 원본 영상을 수신한다(S210).
부연하자면, 영상 수신부(110)는 도로 방향을 항해 설치된 카메라로부터 원본 영상을 수신한다. 이때, 원본 영상은 복수의 프레임을 포함한다.
그 다음, 관심 영역 추출부(120)는 수신된 원본 영상으로부터 관심 영역을 추출한다(S220).
관심 영역 추출부(120)는 입력된 원본 영상의 포맷 정보를 획득한다. 그리고, 관심 영역 추출부(120)는 획득한 포맷 정보를 이용하여 채널을 분리한다.
예를 들어 설명하면, 원본 영상이 RGB로 포맷 되었을 경우에는 GRAY 채널을 분리하고, 원본 영상이 휘도(Y)와 두개의 색상신호(U,V)로 포맷 되었을 경우에는 휘도(Y)채널을 분리한다. 또한, 원본 영상이 색상(hue), 채도(saturation), 명도(value))로 포맷되었을 경우에는 명도 채널을 분리하고, 원본 영상이 HSB로 포맷되었을 경우에는 명도(Brightness) 채널을 분리한다.
즉, 관심 영역 추출부(120)는 밝기에 해당하는 성분을 가지는 채널만을 분리한다.
그 다음, 관심 영역 추출부(120)는 채널이 분리된 원본 영상에 포함된 잡음을 제거한 다음, 차선이 포함된 영역을 관심 영역으로 추출한다.
S220단계가 완료되면, 영상 보정부(130)는 관심 영역에 포함된 밝기 성분을 제거하는 보정과정을 수행한다(S230).
도 3은 도 2에 도시된 S230단계에서 다운 샘플링을 수행하는 방법을 설명하기 위한 도면이고, 도 4는 도 2에 도시된 S230단계에서 업 샘플링을 수행하는 방법을 설명하기 위한 도면이고, 도 5는 도 2에 도시된 S230단계에서 밝기 성분이 제거된 관심영역을 획득하는 방법을 설명하기 위한 예시도이다.
먼저, 영상 보정부(130)는 관심 영역의 전체 또는 일부의 영역을 모델링 영역으로 설정하고, 설정된 모델링 영역에 커널 계수를 이용한 다운 샘플링을 수행하여 마스크를 생성한다.
예를 들면, 도 3에 도시된 바와 같이, 관심 영역 중에서 일부의 영역을 모델링 영역으로 설정하고 커널 계수가 2라고 가정하면, 영상 보정부(130)는 모델링 영역에
Figure 112020143840972-pat00051
의 정방행렬을 대입하여 특정한 픽셀을 선택한다. 그 다음, 영상 보정부(130)는 선택한 픽셀을 이용하여 다운 샘플링을 수행하여 마스크를 생성한다.
도 4에 도시된 바와 같이, 영상 보정부(130)는 생성된 마스크에 동일한 커널 계수 2를 적용하여 픽셀 개수를 증가시키는 업 샘플링을 수행한다. 영상 보정부(130)는 업 샘플링을 통해 축소된 영상을 관심 영역과 동일한 사이즈로 증가시킨다.
그 다음 도5에 도시된 바와 같이, 영상 보정부(130)는 다운 샘플링을 통해 획득한 영상과 관심 영역을 차분하여 밝기 성분이 제거된 관심 영역을 생성한다.
관심영역에 대한 보정이 완료되면, 영상 변환부(140)는 관심 영역을 탑 뷰(top view)영상으로 변환한다(S240).
부연하자면, 영상 변환부(140)는 관심 영역 내에서 원근(perspective) 및 워프(warp) 알고리즘을 적용하고자 하는 대상 영역을 선택한다. 그리고 영상 변환부(140)는 선택된 영역을 원근 형태로 변형하고, 변형된 영상을 왜곡하여 탑 뷰 영상으로 변환한다.
도 6은 도 2에 도시된 S240단계를 설명하기 위한 예시도이다.
도 6에 도시된 바와 같이, 원근 형태로 변형된 영역에 워프(warp) 알고리즘을 적용하게 되면, 변환 영역을 벗어나게 되는 부분은 블라인드(blind)처리된다.
S240단계가 완료되면, 영상 처리부(150)는 탑뷰 영상을 복수개 영역으로 분할하고, 분할된 영역마다 스레시홀딩(thresholding)을 수행한다(S250).
본 발명의 실시예에 따른 차선 검출 장치(100)는 두가지 방법을 이용하여 스레시홀딩을 수행한다.
먼저 첫 번째 스레시홀딩 방법에 대해 설명하면, 영상 처리부(150)는 탑뷰 영상을 6개의 영역으로 분할한다. 그리고 영상 처리부(150)는 각 영역마다 평균값과 표준편차값을 산출한다.
부연하자면, 영상 처리부(150)는 하기의 수학식 1을 이용하여 평균값(
Figure 112020143840972-pat00052
) 및 표준 편차값(
Figure 112020143840972-pat00053
)을 산출한다.
Figure 112020143840972-pat00054
Figure 112020143840972-pat00055
여기서,
Figure 112020143840972-pat00056
는 i번째 영역의 스케일 팩터(scale factor)이고,
Figure 112020143840972-pat00057
는 블라인드 영역이 포함된 i번째 영역의 평균값이고,
Figure 112020143840972-pat00058
는 블라인드 영역을 제외한 i번째 영역의 평균값이고,
Figure 112020143840972-pat00059
는 블라인드 영역이 포함된 i번째 영역의 표준편차값이고
Figure 112020143840972-pat00060
는 블라인드 영역을 제외한 i번째 영역의 표준편차값이다.
그리고, 스케일 팩터(
Figure 112020143840972-pat00061
)값은 하기의 수학식 2를 통해 산출된다.
Figure 112020143840972-pat00062
여기서,
Figure 112020143840972-pat00063
는 i번째 영역의 전체 픽셀 개수이고,
Figure 112020143840972-pat00064
는 i번째 영역의 블라인드 영역을 제외한 픽셀 개수이다.
그 다음, 영상 처리부(150)는 각 영역의 임계값을 하기의 수학식 3을 통해 산출한다.
Figure 112020143840972-pat00065
여기서,
Figure 112020143840972-pat00066
는 i번째 영역에서의 임계값을 나타내고,
Figure 112020143840972-pat00067
는 표준값(z-score) 기준의 임계값을 나타낸다. 이때, 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00068
은 1.8의 값을 가진다.
영상 처리부(150)는 산출된 임계값(
Figure 112020143840972-pat00069
)을 기준으로 6개의 영역마다 스레시홀딩을 수행한다.
자세히는, i번째 영역에서 j번째 픽셀의 픽셀값이 임계값(
Figure 112020143840972-pat00070
)이상이면, 영상 처리부(150)는 i번째 영역에서 j번째 픽셀의 픽셀값을 유지한다.
또한, i번째 영역에서 j번째 픽셀의 픽셀값이 임계값(
Figure 112020143840972-pat00071
)미만이면, 영상 처리부(150)는 i번째 영역에서 j번째 픽셀의 픽셀값을 0으로 치환한다.
그리고, 영상 처리부(150)는 스레시홀딩된 영상에 스레시홀딩을 재수행한다. 앞서 설명한 바와 마찬가지로, 영상 처리부(150)는 스레시홀딩된 영상을 6개의 영역으로 분할하고, 분할된 영역마다 평균값(
Figure 112020143840972-pat00072
) 및 표준 편차값(
Figure 112020143840972-pat00073
)을 산출한다. 그 다음, 영상 처리부(150)는 각 영역마다 임계값(
Figure 112020143840972-pat00074
)을 획득하고, 획득한 임계값(
Figure 112020143840972-pat00075
)을 이용하여 해당 영역에 포함된 픽셀마다 스레시홀딩을 수행한다. 한편, 두번째 스레시홀딩을 수행하기 위해 획득한 임계값(
Figure 112020143840972-pat00076
)에 적용되는 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00077
은 2.0의 값을 가진다.
스레시홀딩을 두번 반복하여 수행하는 이유는 탑뷰 영상내에 포함된 잡음을 효과적으로 제거하기 위함이다.
두 번째 스레시홀딩 방법에 대해 설명하면, 영상 처리부(150)는 탑뷰 영상을 6개의 영역으로 분할한다. 그리고 영상 처리부(150)는 수학식 1을 이용하여 각 영역마다 평균값(
Figure 112020143840972-pat00078
) 및 표준 편차값(
Figure 112020143840972-pat00079
)을 산출한다.
그 다음, 영상 처리부(150)는 각 영역에 포함된 픽셀값을 표준값으로 변환한다.
부연하자면, 영상 처리부(150)는 하기의 수학식 4를 이용하여 표준값(
Figure 112020143840972-pat00080
)을 획득한다.
Figure 112020143840972-pat00081
여기서,
Figure 112020143840972-pat00082
는 i번째 영역에서 j번째 픽셀값이다.
그 다음, 영상 처리부(150)는 표준값(
Figure 112020143840972-pat00083
)과 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00084
을 비교하여 스레시홀딩을 수행한다. 여기서, 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00085
은 1.8의 값을 가진다.
즉, 표준값(
Figure 112020143840972-pat00086
)이 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00087
이상이면, 영상 처리부(150)는 i번째 영역에서 j번째 픽셀의 픽셀값을 유지한다. 또한, 표준값(
Figure 112020143840972-pat00088
)이 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00089
미만이면, 영상 처리부(150)는 i번째 영역에서 j번째 픽셀의 픽셀값을 0으로 치환한다.
그 다음, 영상 처리부(150)은 동일한 방법으로 스레시홀딩을 재수행하며, 이때 적용되는 표준값(z-score) 기준의 임계값(
Figure 112020143840972-pat00090
은 2.0의 값을 가진다.
S250단계가 완료되면, 특징점 검출부(160)는 스레시홀딩된 탑뷰 영상을 가로축으로 복수개 분할하고, 분할된 영역마다 특징점 후보군을 산출한다(S260).
도 7은 도 2에 도시된 S260단계를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 특징점 검출부(160)는 스레시홀딩이 수행된 탑 뷰 영상을 가로축으로 복수개 분할한다. 그 다음, 특징점 검출부(160)는 분할된 영역에 포함된 픽셀에 대한 픽셀값을 세로 방향으로 합산한다.
그리고, 특징점 검출부(160)는 합산된 픽셀값을 그래프에 입력하여 분할된 영역의 세로축 중심선을 기준으로 좌측 차선에 해당하는 특징점 후보군의 분포영역과, 우측 차선에 해당하는 특징점 후보군의 분포 영역을 획득한다.
그 다음, 특징점 검출부(160)는 좌측 차선을 구성하는 복수의 특징점 후보군의 영역 중에서 중심선에 가까운 좌표값을 추출하고, 우측 차선을 구성하는 복수의 특징점 후보군의 영역 중에서 중심선에 가까운 좌표값을 추출한다.
예를 들어, y1의 영역의 가로 방향의 길이값이 w이고, 세로 방향의 길이값이 h라고 가정하면, 특징점 검출부(160)는 세로방향으로 분포된 복수의 픽셀값을 합산한다.
그리고 합산된 값을 그래프화한 결과, 좌측 차선에 해당하는 특징점 후보군의 영역은 x1에서 x2에 해당되고, 우측 차선에 해당하는 특징점 후보군의 영역은 x3에서 x4에 해당된다고 가정한다. 그러면, 특징점 검출부(160)는 중심선에 가까이 위치하고 있는 x2와 x3을 특징점 후보군에 대한 x축의 좌표값으로 추출하고, y1의 영역 세로방향의 길이값에 1/2을 곱하여 특징점 후보군에 대한 y축의 좌표값으로 추출한다. 즉, y1의 영역에서 좌측 차선에 대한 특징점 후보군의 좌표값은 (x2, h/2)이고, 우측 차선에 대한 특징점 후보군의 좌표값은 (x2, h/2)이다.
그 다음, 특징점 검출부(160)는 획득한 좌표값을 원본 영상에 포함된 관심 영역의 좌표로 변환하여 특징점을 검출한다(S270).
도 8은 도 2에 도시된 S270단계를 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 본 발명의 실시예에 따른 특징점 검출부(160)는 탑뷰 영상을 통해 획득한 특징점 후보군의 좌표값에 포인트 좌표 변환(point coordinate transform) 알고리즘을 적용한다. 그리고, 특징점 검출부(160)는 포인트 좌표 변환(point coordinate transform) 알고리즘에 따라 변환된 좌표값을 원본 영상에 적용하여 특징점을 검출한다.
차선 검출부(170)는 검출된 특징점들 간의 극좌표 파라미터값을 획득한다(S280)
차선 검출부(170)는 좌측 차선에 위치하는 특징점과 우측 차선에 위치하는 특징점을 분류한다. 그 다음, 차선 검출부(170)는 좌측 차선에 위치하는 특징점들 간의 연산을 수행하여 극좌표 파라미터(
Figure 112020143840972-pat00091
) 값을 획득한다. 또한, 차선 검출부(170)는 우측 차선에 위치하는 특징점들 간의 연산을 수행하여 극좌표 파라미터(
Figure 112020143840972-pat00092
)값을 획득한다.
도 9는 도 2에 도시된 S280단계를 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 차선 검출부(170)는 특징점과 다른 특징점 사이를 연결하는 직선을 생성한다. 그 다음, 차선 검출부(170)는 직선과 원점 사이의 거리(
Figure 112020143840972-pat00093
) 및 상기 직선에 대한 법선과 x축이 이루는 각(
Figure 112020143840972-pat00094
)을 이용하여 극좌표 파라미터(
Figure 112020143840972-pat00095
)값을 획득한다.
획득한 극좌표 파라미터(
Figure 112020143840972-pat00096
)값은 하기의 표 1과 같이 테이블 형태로 저장된다.
Figure 112020143840972-pat00097
예를 들어, 차선 검출부(170)는 특징점(Point 1)과 특징점(Point 3) 사이를 연결하는 직선과 원점 사이의 거리(
Figure 112020143840972-pat00098
)를 획득하고, 특징점(Point 1)과 특징점(Point 3) 사이를 연결하는 직선에 대한 법선과 x축이 이루는 각(
Figure 112020143840972-pat00099
)을 획득하여 표 1과 같은 테이블에 각각 저장한다.
따라서, 만일 특징점의 개수가 총 10개라고 가정하면, 생성되는 극좌표 파라미터(
Figure 112020143840972-pat00100
)의 개수는 45(=10*9/2)개가 된다.
그 다음, 차선 검출부(170)는 획득한 극좌표 파라미터(
Figure 112020143840972-pat00101
)을 이용하여 히트맵을 생성하고, 생성된 히트맵을 이용하여 극좌표 파라미터(
Figure 112020143840972-pat00102
) 영역을 설정한다 (S290).
부연하자면, 차선 검출부(170)는 원본 영상에 포함된 복수의 프레임으로부터 획득한 복수의 극좌표 파라미터(
Figure 112020143840972-pat00103
)값을 이용하여 히트맵(hit map)을 생성한다. 그리고 차선 검출부(170) 생성된 히트맵에 최초의 극좌표 파라미터(
Figure 112020143840972-pat00104
) 영역을 설정한다.
그 다음, 차선 검출부(170)는 복수의 프레임에서 획득한 복수의 극좌표 파라미터(
Figure 112020143840972-pat00105
)값 중에서 카운팅 횟수가 가장 높은 극좌표 파라미터(
Figure 112020143840972-pat00106
)값을 추출하고, 추출된 극좌표 파라미터(
Figure 112020143840972-pat00107
)값을 이용하여 수정된 극좌표 파라미터(
Figure 112020143840972-pat00108
)영역을 설정한다.
도 10은 도 2에 도시된 S290단계에서 극좌표 파라미터 영역을 설명하기 위한 도면이다.
도 10에 도시된 바와 같이, 차선 검출부(170)는 극좌표 파라미터(
Figure 112020143840972-pat00109
)값을 중심으로 극좌표 파라미터(
Figure 112020143840972-pat00110
)의 최소값을 가지는 마진(
Figure 112020143840972-pat00111
)과, 극좌표 파라미터(
Figure 112020143840972-pat00112
)의 최대값을 가지는 마진(
Figure 112020143840972-pat00113
)을 각각 적용하여 수정된 극좌표 파라미터(
Figure 112020143840972-pat00114
)영역을 설정한다.
예를 들어, 원본 영상을 총 다섯개의 프레임으로 구성되고, 각 프레임마다 좌측 차선에 해당하는 특징점을 각 5개씩 추출하였다고 가정하면, 차선 검출부(170)는 다섯개의 프레임을 통해 총 50개의 극좌표 파라미터(
Figure 112020143840972-pat00115
)값을 획득할 수 있다. 그 다음, 차선 검출부(170)는 50개의 극좌표 파라미터(
Figure 112020143840972-pat00116
)값을 이용하여 최초의 극좌표 파라미터(
Figure 112020143840972-pat00117
) 영역을 설정한다.
그 다음 차선 검출부(170)는 50개의 극좌표 파라미터(
Figure 112020143840972-pat00118
)값 중에서 카운팅 횟수가 가장 많은 극좌표 파라미터(
Figure 112020143840972-pat00119
)값을 추출하고, 추출된 극좌표 파라미터(
Figure 112020143840972-pat00120
)값을 기준으로 마진을 부여하여 수정된 극좌표 파라미터(
Figure 112020143840972-pat00121
) 영역을 설정한다.
그 다음, 차선 검출부(170)는 카운팅 횟수가 가장 많은 극좌표 파라미터(
Figure 112020143840972-pat00122
)값을 이용하여 차선을 검출한다(S295)
차선 검출부(170)는 수정된 극좌표 파라미터(
Figure 112020143840972-pat00123
) 영역에 포함되며, 복수의 프레임을 통해 누적된 복수의 극좌표 파라미터(
Figure 112020143840972-pat00124
)값 중에서 카운팅 횟수가 가장 많은 극좌표 파라미터(
Figure 112020143840972-pat00125
)값을 추출한다.
그리고 차선 검출부(170)는 하기의 수학식5를 이용하여 차선을 검출한다
Figure 112020143840972-pat00126
여기서, x와 y는 각각 차선의 x 좌표와 y 좌표를 나타낸다.
본 발명의 실시예에 따른 차선 검출 장치(100)는 하나의 특징점에 연산을 적용하는 것이 아니라 두 개의 특징점을 선택하고, 선택된 두개의 특징점 사이에 생성된 직선을 이용하여 극좌표 파라미터를 도출한다. 그리고 차선 검출장치(100)는 도출된 극좌표 파라미터의 카운팅 횟수를 획득하고, 카운팅 횟수가 가장 많은 극좌표 파라미터를 이용하여 차선을 검출하므로 특징점에 대한 계산량을 축소할 수 있다.
이와 같이 S280 내지 S295는 좌측 차선과 우측 차선 각각에 대하여 수행된다.
도 11은 도 2에 도시된 S295 단계에서 검출된 차선의 좌표에 대한 예시도이다.
차선 검출부(170)는 좌측 차선과 우측 차선 각각에 대하여 수학식 5를 동일한 방식으로 적용하여 도 11과 같이 원 영상으로부터 차선에 대한 좌표를 획득할 수 있다.
이와 같이 본 발명의 실시예에 따른 차선 검출 장치는 영상 배경의 밝기를 추론하고, 차선 영역외의 배경 성분을 제거함으로써, 잡음을 제거할 수 있으므로 검출 오차에 대한 계산량을 축소할 수 있으며, 기하학적 변환을 통해 탑 뷰(Top view) 형식의 영상을 생성하여 영상 처리하므로 차선의 형태 추정이 용이하다.
또한 본 발명에 따른 차선 검출 장치는 차선의 모든 경계선 부분을 특징점으로 이용하지 않고 일부 Sparse한 특징점만을 추출하여 획득한 극좌표 파라미값을 룩업 테이블(Look Up Table) 형태로 저장한 다음, 저장된 룩업 데이블을 이용하여 최적의 극좌표 파라미터를 검출하고, 검출된 극좌표 파라미터를 이용하여 차선을 검출하므로계산량 감소로 인해 시스템의 부하를 줄일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 차선 검출 장치
110 : 영상 수신부
120 : 관심 영역 추출부
130 : 영상 보정부
140 : 영상 변환부
150 : 영상 처리부
160 : 특징점 검출부
170 : 차선 검출부

Claims (17)

  1. 특징점을 이용한 차선 검출 장치에 있어서,
    차량 또는 이동체에 설치된 카메라로부터 차선이 포함된 원본 영상을 수신하는 영상 수신부,
    상기 수신된 원본 영상을 전처리하고, 전처리가 수행된 원본 영상으로부터 관심 영역을 추출하는 관심 영역 추출부,
    상기 추출된 관심 영역을 보정하여 밝기 성분을 제거하는 영상 보정부,
    상기 보정된 관심 영역에 원근(perspective) 및 워프(warp) 알고리즘을 적용하여 탑 뷰 영상으로 변환하는 영상 변환부,
    상기 변환된 탑 뷰 영상을 복수의 영역으로 분할하고, 분할된 각각의 영역에 대한 평균 및 표준 편차를 연산하여 획득한 임계값을 이용하여 스레시홀딩(thresholding)을 수행하는 영상 처리부,
    상기 스레시홀딩이 수행된 탑 뷰 영상을 복수의 가로축으로 분할하고, 분할된 각각의 영역에 포함된 특징점 후보군을 추출하고, 추출된 특징점 후보군을 원 영상의 좌표으로 변환하여 복수의 특징점을 검출하는 특징점 검출부, 그리고
    상기 원본 영상에 맵핑된 복수의 특징점 사이를 연결하는 직선과 원점 사이의 거리(
    Figure 112022100759910-pat00127
    ) 및 상기 직선에 대한 법선과 x축이 이루는 각(
    Figure 112022100759910-pat00128
    )의 카운팅 횟수를 이용하여 차선을 검출하는 차선 검출부를 포함하며,
    상기 관심 영역 추출부는,
    상기 수신된 영상의 포맷 정보를 이용하여 채널을 분리하고, 분리된 채널을 이용하여 영상 처리하여 관심 영역을 추출하며,
    상기 채널은,
    영상의 포맷 정보에 따라 밝기에 해당하는 성분을 나타내는 차선 검출 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 보정부는,
    상기 관심 영역에 포함된 복수의 픽셀 중에서 일부 픽셀을 추출하여 모델링 영역으로 설정하고, 상기 설정된 모델링 영역에 커널 계수를 이용한 다운 샘플링을 수행하여 마스크를 생성하고,
    상기 생성된 마스크에 동일한 커널 계수를 적용하여 업 샘플링을 수행한 다음,
    상기 관심 영역에서 상기 업 샘플링된 영상을 차분하여 밝기 성분이 제거된 관심영역을 생성하는 차선 검출 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는,
    분할된 각 영역의 평균값 및 표준 편차값을 산출하고, 각 영역의 임계값을 계산한 다음, 계산된 임계값을 기준으로 영역마다 스레시홀딩을 수행하거나,
    분할된 각 영역의 평균값 및 표준 편차값을 산출하고, 각 영역에 포함된 각각의 픽셀값을 표준값(z-score)으로 변환하고, 변환된 픽셀마다 스레시홀딩을 수행하는 차선 검출 장치.
  5. 제4항에 있어서,
    상기 영상 처리부는,
    하기의 수학식을 이용하여 평균값(
    Figure 112020143840972-pat00129
    ) 및 표준 편차값(
    Figure 112020143840972-pat00130
    )을 산출하는 차선 검출 장치:
    Figure 112020143840972-pat00131

    Figure 112020143840972-pat00132

    여기서,
    Figure 112020143840972-pat00133
    는 i번째 영역의 스케일 팩터(scale factor)이고,
    Figure 112020143840972-pat00134
    는 블라인드 영역이 포함된 i번째 영역의 평균값이고,
    Figure 112020143840972-pat00135
    는 블라인드 영역을 제외한 i번째 영역의 평균값이고,
    Figure 112020143840972-pat00136
    는 블라인드 영역이 포함된 i번째 영역의 표준편차값이고,
    Figure 112020143840972-pat00137
    는 블라인드 영역을 제외한 i번째 영역의 표준편차값이다.
  6. 제5항에 있어서,
    상기 영상 처리부는,
    하기의 수학식을 이용하여 스케일 팩터(
    Figure 112020143840972-pat00138
    )값을 산출하는 차선 검출 장치:
    Figure 112020143840972-pat00139

    여기서,
    Figure 112020143840972-pat00140
    는 i번째 영역의 전체 픽셀 개수이고,
    Figure 112020143840972-pat00141
    는 i번째 영역의 블라인드 영역을 제외한 픽셀 개수이다.
  7. 제4항에 있어서,
    상기 영상 처리부는,
    하기의 수학식으로 이용하여 i번째 영역에서의 임계값(
    Figure 112020143840972-pat00142
    )을 산출하는 차선 검출 장치:
    Figure 112020143840972-pat00143

    여기서,
    Figure 112020143840972-pat00144
    는 표준값(z-score) 기준의 임계값을 나타낸다.
  8. 제7항에 있어서,
    상기 영상 처리부는,
    i번째 영역에서 j번째 픽셀의 픽셀값이 임계값(
    Figure 112020143840972-pat00145
    )이상이면 i번째 영역에서 j번째 픽셀의 픽셀값을 유지하고,
    i번째 영역에서 j번째 픽셀의 픽셀값이 임계값(
    Figure 112020143840972-pat00146
    )미만이면 i번째 영역에서 j번째 픽셀의 픽셀값을 0으로 치환하는 차선 검출 장치.
  9. 제4항에 있어서,
    상기 영상 처리부는,
    각 영역에 포함된 각각의 픽셀 값을 표준값(
    Figure 112020143840972-pat00147
    )으로 변환하는 차선 검출 장치:
    Figure 112020143840972-pat00148

    여기서,
    Figure 112020143840972-pat00149
    는 i번째 영역에서 j번째 픽셀값이다.
  10. 제9항에 있어서,
    상기 영상 처리부는,
    Figure 112020143840972-pat00150
    가
    Figure 112020143840972-pat00151
    이상이면 i번째 영역에서 j번째 픽셀의 픽셀값을 유지하고,
    Figure 112020143840972-pat00152
    가
    Figure 112020143840972-pat00153
    미만이면 i번째 영역에서 j번째 픽셀의 픽셀값을 0으로 치환하는 차선 검출 장치.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 영상 처리부는,
    상기 탑뷰 영상에 스레시홀딩을 반복하여 2회 수행하되,
    두번째 스레시홀딩을 수행할 경우에 적용되는 표준값(z-score) 기준의 임계값(
    Figure 112020143840972-pat00154
    )은 첫번째 스레시홀딩을 수행할 경우에 적용되는 표준값(z-score) 기준의 임계값(
    Figure 112020143840972-pat00155
    )보다 더 큰 값을 가지는 차선 검출 장치.
  12. 제1항에 있어서,
    상기 특징점 검출부는,
    상기 스레시홀딩이 수행된 탑 뷰 영상을 가로축으로 복수개 분할하고, 분할된 영역에 포함된 픽셀에 대한 픽셀값을 세로 방향으로 합산한 다음,
    상기 합산된 픽셀값을 이용하여 좌측 차선에 해당하는 특징점 후보군에 대한 좌표값과 우측 차선에 해당하는 특징점 후보군에 대한 좌표값을 획득하고,
    획득한 좌표값을 원본 영상에 포함된 관심 영역의 좌표로 변환하여 특징점을 검출하는 차선 검출 장치.
  13. 제1항에 있어서,
    상기 차선 검출부는,
    좌측 차선에 위치하는 특징점과 우측 차선에 위치하는 특징점을 분류하고,
    상기 좌측 차선에 위치하는 특징점들 간의 연산을 수행하여 극좌표 파라미터(
    Figure 112020143840972-pat00156
    ) 값을 획득하고,
    상기 우측 차선에 위치하는 특징점들 간의 연산을 수행하여 극좌표 파라미터(
    Figure 112020143840972-pat00157
    )값을 획득하는 차선 검출 장치.
  14. 제13항에 있어서,
    상기 차선 검출부는,
    복수의 특징점 중 서로 다른 2개의 특징점 각각의 조합에 대하여 순서쌍을 생성하고,
    상기 순서쌍마다 특징점 사이를 연결하는 직선과 원점 사이의 거리(
    Figure 112020143840972-pat00158
    ) 및 상기 직선에 대한 법선과 x축이 이루는 각(
    Figure 112020143840972-pat00159
    )을 획득하는 차선 검출 장치.
  15. 제14항에 있어서,
    상기 차선 검출부는,
    상기 원본 영상에 포함된 복수의 프레임으로부터 획득한 복수의 극좌표 파라미터(
    Figure 112020143840972-pat00160
    )값을 이용하여 최초의 극좌표 파라미터(
    Figure 112020143840972-pat00161
    ) 영역을 설정하고,
    상기 최초의 극좌표 파라미터(
    Figure 112020143840972-pat00162
    ) 영역에 포함된 복수의 극좌표 파라미터(
    Figure 112020143840972-pat00163
    )값 중에서 카운팅 횟수가 가장 높은 극좌표 파라미터(
    Figure 112020143840972-pat00164
    )값을 추출하고, 추출된 극좌표 파라미터(
    Figure 112020143840972-pat00165
    )값을 중심으로 극좌표 파라미터(
    Figure 112020143840972-pat00166
    )의 최소값을 가지는 마진(
    Figure 112020143840972-pat00167
    )과, 극좌표 파라미터(
    Figure 112020143840972-pat00168
    )의 최대값을 가지는 마진(
    Figure 112020143840972-pat00169
    )을 각각 적용하여 수정된 극좌표 파라미터(
    Figure 112020143840972-pat00170
    )영역을 설정하는 차선 검출 장치.
  16. 제15항에 있어서,
    상기 차선 검출부는,
    상기 수정된 극좌표 파라미터(
    Figure 112020143840972-pat00171
    ) 영역에 포함되며, 복수의 프레임을 통해 누적된 복수의 극좌표 파라미터(
    Figure 112020143840972-pat00172
    )값 중에서 카운팅 횟수가 가장 많은 극좌표 파라미터(
    Figure 112020143840972-pat00173
    )값을 추출하고, 추출된 극좌표 파라미터(
    Figure 112020143840972-pat00174
    )값을 이용하여 차선을 검출하는 차선 검출 장치.
  17. 제16항에 있어서,
    상기 차선 검출부는,
    하기의 수학식에 카운팅 횟수가 가장 많은 극좌표 파라미터(
    Figure 112020143840972-pat00175
    )값을 대입하여 차선을 검출하는 차선 검출 장치:
    Figure 112020143840972-pat00176

    여기서, x와 y는 각각 차선의 x 좌표와 y 좌표를 나타낸다.
KR1020200188712A 2020-12-31 2020-12-31 특징점을 이용한 차선 검출 장치 KR102497246B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200188712A KR102497246B1 (ko) 2020-12-31 2020-12-31 특징점을 이용한 차선 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200188712A KR102497246B1 (ko) 2020-12-31 2020-12-31 특징점을 이용한 차선 검출 장치

Publications (2)

Publication Number Publication Date
KR20220096351A KR20220096351A (ko) 2022-07-07
KR102497246B1 true KR102497246B1 (ko) 2023-02-07

Family

ID=82397879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200188712A KR102497246B1 (ko) 2020-12-31 2020-12-31 특징점을 이용한 차선 검출 장치

Country Status (1)

Country Link
KR (1) KR102497246B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2016-0137247호(2016.11.30.) 1부.*
한성지 외 2명, 탑뷰(top view) 영상을 이용한 곡선 템플릿 정합 기반 차선 및 곡률 검출 알고리즘, 대한전자공학회, vol.47, pp.97-106 (2010.11) 1부.*

Also Published As

Publication number Publication date
KR20220096351A (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
Mu et al. Lane detection based on object segmentation and piecewise fitting
KR101717613B1 (ko) 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN111260616A (zh) 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
US8599257B2 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
CN107784669A (zh) 一种光斑提取及其质心确定的方法
KR101719549B1 (ko) 차량 번호판 인식을 위한 영상처리방법 및 이를 이용한 차량 번호판 인식 장치
WO2022205525A1 (zh) 基于双目视觉自主式水下机器人回收导引伪光源去除方法
KR101827889B1 (ko) 지역적 대비차 계산 방법을 이용한 실시간 소형 표적 검출방법
CN107895151A (zh) 一种强光照条件下基于机器视觉的车道线检测方法
CN110427979B (zh) 基于K-Means聚类算法的道路水坑识别方法
US9552528B1 (en) Method and apparatus for image binarization
CN110674812B (zh) 一种面向复杂背景的民用车牌定位与字符分割方法
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
Gilly et al. A survey on license plate recognition systems
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
Devane et al. Lane detection techniques using image processing
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN109800641B (zh) 基于阈值自适应二值化和连通域分析的车道线检测方法
WO2020130799A1 (en) A system and method for licence plate detection
CN108537815B (zh) 一种视频图像前景分割方法和装置
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
JP3455454B2 (ja) 車両ナンバープレート認識装置
KR102497246B1 (ko) 특징점을 이용한 차선 검출 장치
Meem et al. Zebra-crossing detection and recognition based on flood fill operation and uniform local binary pattern
Ahmed et al. Robust lane departure warning system for adas on highways

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant