KR102169009B1 - 카메라 모델링 정보를 이용한 다중 차선 검출 방법 - Google Patents

카메라 모델링 정보를 이용한 다중 차선 검출 방법 Download PDF

Info

Publication number
KR102169009B1
KR102169009B1 KR1020180170918A KR20180170918A KR102169009B1 KR 102169009 B1 KR102169009 B1 KR 102169009B1 KR 1020180170918 A KR1020180170918 A KR 1020180170918A KR 20180170918 A KR20180170918 A KR 20180170918A KR 102169009 B1 KR102169009 B1 KR 102169009B1
Authority
KR
South Korea
Prior art keywords
lane
image
camera
hat
top view
Prior art date
Application number
KR1020180170918A
Other languages
English (en)
Other versions
KR20200081610A (ko
Inventor
박상춘
최영희
Original Assignee
(주)베라시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)베라시스 filed Critical (주)베라시스
Priority to KR1020180170918A priority Critical patent/KR102169009B1/ko
Publication of KR20200081610A publication Critical patent/KR20200081610A/ko
Application granted granted Critical
Publication of KR102169009B1 publication Critical patent/KR102169009B1/ko

Links

Images

Classifications

    • G06K9/00798
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 관한 것으로, 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 있어서, 영상변환부에 의해 탑뷰를 획득하기 위하여 수행되는 탑뷰변환 과정과, 이후 탑햇적용부를 통해 탑햇영상을 획득하기 위해 수행되는 탑햇영상 추출 과정과, 이후, 그룹핑부를 통해 수행되는 그룹핑 과정과, 이후 다중 차선 검출부를 통해 수행되는 다중 차선 검출과정을 포함하고, 검출된 차선 결과 영상에는 상기 과정을 통해 검출된 차선 및 오브젝트를 실제 영상으로 표시하게 되는 것을 특징으로 하며, 상기 탑뷰 변환과정은 관심영역(ROI) 선정과정, 카메라 파라미터(Parameter) 적용 과정, 탑햇 필터(Top-Hat Filter) 적용과정을 포함하며, 이를 통해 모든 수직선을 검출하는 것을 특징으로 한다.

Description

카메라 모델링 정보를 이용한 다중 차선 검출 방법{MUTIPLE LANE DETECTING METHOD USING CAMERA MODELING INFORMATION}
본 발명은 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 관한 것으로, 카메라 모델링 정보를 이용하여 탑뷰 영상을 구하고 다중 차선을 검출할 수 있도록 하여 차선 검출 성능을 향상시킬 수 있는 새로운 형태의 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 관한 것이다.
기술의 발전과 함께 안전하고 편리한 운행을 제공하기 위한 다양한 주행 보조 시스템들이 개발되고 있으며, 실제 차량에 적용되고 있다.
이러한 주행 보조 시스템 중에는 운전자의 장시간 운전이나 졸음 운전 또는 휴대 전화 사용 등에 따른 전방 주시 태만 등의 부주의로 주행 차선을 이탈하는 경우 이를 운전자에게 경고하여, 차선 이탈로 발생되는 사고를 미연에 방지하여 줄 수 있는 차선이탈 경보 시스템(LDWS, Lane Departure Warning System)이 제공되고 있다.
차선이탈 경보 시스템은 차량의 전방 소정 위치에 설치된 카메라를 통해 주행 도로상의 영상을 수집하고, 이 수집되는 영상의 분석으로 차선 내에서의 차량 위치를 측정하여 차량이 차선을 이탈할 것으로 판단되는 상황에서 스티어링 휠에 토크 혹은 진동을 가하거나 경보음의 송출 등을 통하여 운전자에게 차선 이탈을 경고하여 운전자로 하여금 차선 복귀를 유도하여 준다.
상기의 차선이탈 경보 시스템은 차량의 전방에 설치된 카메라에서 수집되는 영상차선을 정확하게 인식하고, 각종 도로 신호나 차선과 유사한 영상으로부터 차선을 정확하게 추출할 수 있어야 한다.
그러나, 기존의 차선이탈 경보 시스템은 우천시 또는 안개 낀 날에는 차선 인식률이 감소하여, 차선 이탈 여부를 판단하지 못하고, 이에 따라서 차량이 차선을 이탈하여도 운전자에게 경고를 할 수 없는 문제가 존재한다.
따라서, 악천후에서도 차선 인식률이 향상된 차선 인식 방법 및 장치가 필요하다.
즉, 상기 LDWS(Lane Departure Warning System) 의 경우, 도로면의 차선을 인식하여, 운전자가 차선을 이탈하였을 경우, 경보를 해주었으나, 이런 시스템도 악의 조건(연석, 전신줄 그림자, 차 측면, 빗물 반사면 등)에서 오경보를 내어 운전자에게 불만을 느끼게하는 문제점이 있었다.
[선행기술문헌]
대한민국 특허공개번호 제10-2014-0006463호(공개일자 2014년01월16일: 발명의 명칭: 차선인식 방법 및 장치)
본 발명의 목적은 상기한 바와 같은 종래 기술에서의 문제점을 개선하기 위하여 제안된 것으로서, 카메라 모델링 정보를 이용하여 탑뷰 영상을 구하고 다중 차선을 검출할 수 있도록 하여 차선 검출 성능을 향상시킬 수 있는 새로운 형태의 카메라 모델링 정보를 이용한 다중 차선 검출 방법을 제공함에 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 있어서,
영상변환부에 의해 탑뷰를 획득하기 위하여 수행되는 탑뷰변환 과정과,
이후 탑햇적용부를 통해 탑햇영상을 획득하기 위해 수행되는 탑햇 적용 과정과,
이후, 그룹핑부를 통해 수행되는 그룹핑 과정과,
이후 다중 차선 검출부를 통해 수행되는 다중 차선 검출과정을 포함하고,
검출된 차선 결과 영상에는 상기 다중차선 검출과정을 통해 검출된 차선 및 오브젝트를 실제 영상으로 표시하게 되는 것을 특징으로 하며,
상기 탑햇 적용과정은
관심영역(ROI) 선정과정,
카메라 파라미터(Parameter) 적용 과정,
탑햇 필터(Top-Hat Filter) 적용과정을 포함하며, 이를 통해 모든 수직선을 검출하고,
상기 탑햇 적용과정은
탑-햇 필터(Top-Hat Filter)를 통해 탑뷰-영상에서 한 점의 좌우 점들의 밝기값의 차이를 판별하여 주변보다 밝게 나타나는 차선 영역들을 검출하는 것을 특징으로 하고,
상기 그룹핑 과정은 라벨링(Labelling)과정과, 그룹핑(Grouping)과정을 포함하며, 이를 통해 차선 후보군을 추출하는 것을 특징으로 하되, 상기 탑햇 영상을 통해 실제차선을 검출하는 과정이며, 즉, 탑햇 영상에서 근접한 픽셀들을 한 그룹으로 묶고 차선 고유의 특징에 따라 연속성이 있는 수직 성분을 차선으로 판단하는 것을 특징으로 하는 카메라 모델링 정보를 이용한 다중 차선 검출 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
또한, 상기 카메라 파라미터를 적용하기 위해 설정함에 있어서, 수평 화각, 수직 화각 : 필수, 설치 높이 : 필수, 소실점 좌표 입력 : 필수, 영상 회전각 입력(선택)으로 설정하게 되는 것을 특징으로 한다.
또한, 상기 탑뷰변환과정은 먼저, 탑뷰 범위 설정을 통해 탑뷰 영상에 표시될 실제 거리 범위 설정하고, 이후, 실거리 기반 탑뷰 영상을 획득하는 것을 특징으로 한다.
삭제
삭제
삭제
또한, 상기 라벨링 및 그룹핑된 영상에서 차선 라인 성분을 추출하되, 즉 라벨링 및 그룹핑된 영상에서, 그룹핑(Grouping) 최대 사각형을 구하고 최상단 점의 중앙과 최하단 점의 중앙 점을 차선의 시작점과 끝점으로 하는 것을 특징으로 한다.
이상 설명한 바와 같이, 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 추출 방법에 의하면, 카메라 모델링 정보를 이용하여 탑뷰 영상을 구하고 다중 차선을 검출할 수 있도록 하여 차선 검출 성능을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법을 설명하기 위한 개략적인 동작 개념도이다.
도 2는 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법에서 탑뷰 영상 획득과정을 설명하기 위한 특정한 카메라 영상을 나타낸 사진이다.
도 4는 도 3의 특정한 카메라 영상과 관련한 탑뷰 영상을 나타내는 사진이다.
도 5는 도 4에서 얻어진 탑뷰 영상에 대해 탑-햇 필터(Top-Hat Filter)를 적용하여 얻어진 탑햇 영상을 나타낸 사진이다.
도 6은 도 4에서 얻어진 탑햇 영상에 대해 라벨링(Labelling) 및 그룹핑(Grouping)과정을 적용하여 검출된 라벨링 및 그룹핑후 사진으로서, 실제 검출된 차선 영상을 나타낸 사진이다.
도 7은 도 6에서 얻어진 라벨링 및 그룹핑 후 사진에 대해 실제 차선 라인 성분을 추출하는 과정을 설명하는 사진이다.
도 8은 도 7에서 얻어진 실제 차선 라인 및 오브젝트를 실제 영상에 표시한 결과를 나타내는 사진이다.
도 9 및 도 10은 종래 2차원 이미지 상의 한점과 카메라와의 거리를 구하기 위한 도식을 나타낸 설명도들이다.
도 11 및 도 12는 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법에서 카메라 영상과 탑뷰영상에 표시된 한점에 관하여 설명하기 위한 도면들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법을 설명하기 위한 개략적인 동작 개념도이고, 도 2는 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법의 동작을 설명하기 위한 흐름도이고, 도 3은 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법에서 탑뷰 영상 획득과정을 설명하기 위한 특정한 카메라 영상을 나타낸 사진이고, 도 4는 도 3의 특정한 카메라 영상과 관련한 탑뷰 영상을 나타내는 사진이고, 도 5는 도 4에서 얻어진 탑뷰 영상에 대해 탑-햇 필터(Top-Hat Filter)를 적용하여 얻어진 탑햇 영상을 나타낸 사진이고, 도 6은 도 4에서 얻어진 탑햇 영상에 대해 라벨링(Labelling) 및 그룹핑(Grouping)과정을 적용하여 검출된 라벨링 및 그룹핑후 사진으로서, 실제 검출된 차선 영상을 나타낸 사진이고, 도 7은 도 6에서 얻어진 라벨링 및 그룹핑 후 사진에 대해 실제 차선 라인 성분을 추출하는 과정을 설명하는 사진이고, 도 8은 도 7에서 얻어진 실제 차선 라인 및 오브젝트를 실제 영상에 표시한 결과를 나타내는 사진이다. 도 9 및 도 10은 종래 2차원 이미지 상의 한점과 카메라와의 거리를 구하기 위한 도식을 나타낸 설명도들이고, 도 11 및 도 12는 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법에서 카메라 영상과 탑뷰영상에 표시된 한점에 관하여 설명하기 위한 도면들이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 있어서,
영상입력부(2)를 통해 영상이 입력되고(S2), 입력된 영상에 대응하여 탑뷰 변환부(4)에 의해 탑뷰변환이 수행되고(S4), 이후 탑햇적용부(6)를 통해 탑햇 적용(즉 탑햇추출과정) 과정이 수행되고(S6), 그룹핑부(8)를 통해 그룹핑 과정이 수행되며(S8), 이후 다중 차선 검출부(10)를 통해 다중 차선 검출과정을 수행(S10)하게된다.
상기 탑햇 적용과정은
관심영역(ROI) 선정과정(S12),
카메라(CAMera) 파라미터(Parameter) 적용 과정(S14),
탑햇 필터(Top-Hat Filter) 적용과정(S16)을 포함하며, 이를 통해 모든 수직선을 검출하게 된다.
상기 그룹핑 과정(S8)은 라벨링(Labelling)과정(S18)과, 그룹핑(Grouping)과정을 포함하며(S20), 이를 통해 차선 후보군을 추출하게 된다.
상기 과정 S14에서 카메라 파라미터를 적용하기 위해 설정함에 있어서, 수평 화각, 수직 화각 : 필수, 설치 높이 : 필수, 소실점 좌표 입력 : 필수, 영상 회전각 입력(선택)으로 설정하게 된다. 그러나 설정되는 카메라 파라미터는 위에 한정되는 것은 아니며 다양하게 변경가능할 것이다.
도 3 및 도 4를 통해 탑뷰 영상 획득과정을 설명한다.
먼저, 탑뷰 범위 설정을 통해 탑뷰 영상에 표시될 실제 거리 범위 설정한다. 이후, 실거리 기반 탑뷰 영상을 획득한다. 도 3의 카메라 영상에 대하여 도 4와 같은 탑뷰 영상을 획득할 수 있다.
도 5를 참조하여, 탑-햇 필터(Top-Hat Filter)에 대해 설명한다. 탑-햇 필터 알고리즘은 일반적으로 잘 알려진 바 있으므로 자세한 설명을 생략하기로 한다.
탑-햇 필터를 통해 탑뷰-영상(도 4)에서 탑햇 영상을 추출하게 된다. 즉, 탑뷰 영상에서 한 점의 좌우 점들의 밝기값의 차이를 판별하여 주변보다 밝게 나타나는 차선 영역(즉 차선 L1,L2,L3,....)을 검출한다(도 5 탑햇 영상 참조).
도 6을 참조하여, 본 발명에 따른 라벨링 및 그룹핑(Labeling & Grouping)에 대해 설명한다. 한편 라벨링 및 그룹핑도 일반적으로 잘알려진 알고리즘이므로 상세한 설명은 생략하기로 한다.
도 6에 따르면, 도 5의 탑햇 영상을 통해 실제차선을 검출하게 되는데, 즉, 도 5의 탑햇 영상에서 근접한 픽셀들을 한 그룹으로 묶고 차선 고유의 특징에 따라 연속성이 있는 수직 성분(V1,V2,V3,...)을 차선으로 판단한다.
도 7을 참조하여, 이후, 실제 차선 라인 성분을 추출한다.
즉, 도 6을 통해 얻어진 라벨링 및 그룹핑된 영상에서 차선 라인 성분을 추출한다. 즉, 도 6의 라벨링 미 그룹핑 영상에서, 그룹핑(Grouping) 최대 사각형(20)을 구하고 최상단 점의 중앙과 최하단 점의 중앙 점을 차선의 시작점과 끝점으로 한다(도 7의 점선 원표시부분).
참고로, 실제 차선 좌표 계산 과정을 수식으로 설명한다.
여기서, 검출된 차선을 실제(real) 좌표로 변환한다. 즉,
float32_t Pixel2Distance(const int32_t px, const int32_t py, float32_t* dx, float32_t* dy) 함수를 통해 탑뷰상의 좌표를 실제 영상의 좌표로 변환한다.
이하 좌표 변환과 관련한 프로그램 코드를 살펴본다:
{
const float32_t P = ((((float32_t)py) - Vanishing_Point_Y)/Pixel_Center_Y) *(H_VFOV);
const float32_t Y = ( 1./ tan(P) )*Camera_Height;
const float32_t A = (((float32_t)px - Pixel_Center_X)/Pixel_Center_X)*H_HFOV;
const float32_t X = tan(A)*Y;
const float32_t ddy = Y*cos(-Camera_Pan) + X*(sin(-Camera_Pan));
const float32_t ddx = X*cos(-Camera_Pan) + Y*(-sin(-Camera_Pan));
*dy = ddy;
*dx = ddx;
return sqrt(ddy*ddy+ddx*ddx);
}
이다.
위 식은 '2D이미지 상의 한 점과 카메라와의 거리'를 구하는 코드이다. 이를 계산하기 위해 카메라 모델링 정보, 즉 카메라 내부 및 외부 파라미터가 필요한 데, 초점 거리, 주점, 화각, 설치 높이 등이며 이 외에 소실점 좌표가 사용된다. 이 거리 계산 공식은 공개된 자료이다(http://darkpgmr.tistory.com/153 주소에서 상세히 설명되고 있음).
이와 관련하여 도 9 및 도 10에 도시된 그림을 참조할 수 있다.
Figure 112018131157821-pat00001
도 8을 통해 검출된 차선 결과 영상을 살펴본다.
도 8에서, 검출된 차선 및 오브젝트를 실제 영상에 표시하게 된다.
오브젝트(30)는 사각형 박스 내에 표시되며, 실제 차선(L11,L12,L13....)은 오브젝트가 존재하는 부분과 관련하여 표시된다. 도 8에서 표시된 숫자 car(0.9)는 이 특허 내용과는 관계없는 결과로서 다른 알고리즘에 의해 검출된 오브젝트 종류 및 신뢰도를 표시한 것이다. 도 8 아래 7.7m(-3.2, 6.9)는 검출 사각형의 최하단 중앙점과 카메라와의 거리를 표시한 것이다. 대각거리(횡방향, 종방향)이다. 즉, 어떤 알고리즘에 의해 검출된 오브젝트의 거리 정보를 위의 거리 계산 공식을 이용하여 구한 것이다.
본 발명에 따른 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 의하면, 카메라 모델링 정보를 이용하여 탑뷰 영상을 구하고 다중 차선을 검출할 수 있도록 하여 차선 검출 성능을 향상시킬 수 있다.
본 발명에 따르면, 일반적인 2D영상이 아닌 탑뷰 영상에서의 한 점과 카메라와의 거리(dx, dy)를 쉽게 구할 수 있고, 여기서,
dx = tx * resolving_power_x + search_left_range
dy = ty * resolving_power_y + TopviewStartDistanceY
이다.
반대로 카메라로부터 dx, dy 거리의 위치를 탑뷰 영상에서 위치(tx, ty)(이하 수식 참조)가 어디인지 쉽게 찾을 수 있는 장점이 있다.
tx = (dx - search_left_range) / resolving_power_x;
ty = (dy - TopviewStartDistanceY) / resolving_power_y;
여기서 resolving_power_x, resolving_power_y 는 탑뷰 영상을 실제 척도의 몇 분의 1 크기로 축소해서 구할 것인지에 대한 척도 비율인데 만약 그 값이 0.02라고 설정하고 탑뷰 영상을 구하면 탑뷰 영상에서 1픽셀간의 거리가 0.02m 즉 실제로는 2cm 거리가 된다.
만약, 탑뷰 영상에서 10픽셀 너비의 물체가 있다면 이 물체는 실제 0.02m * 10px = 20cm너비인 물체이다.
또한, search_left_range는 탑뷰로 표현하고자 하는 카메라로부터 좌측으로의 실제 거리로서 만약 그 값을 2라고 하면 좌로 2m, 우로 2m, 총 4m 수평 영역을 탑뷰로 표현한다는 의미이다.
TopviewStartDistanceY는 실제 탑뷰로 표현되고 있는 시작 위치로 탑뷰 영상의 최상단 점(시작점)이 실제 카메라와 몇 m거리의 점인지를 나타낸다.
도 11 및 도 12를 참조하면, 일반 카메라 영상에서 차량 번호판 좌측 하단에 있는 빨간 점(112)은(도 11참조) 탑뷰상에서도(도 12 참조) 그 위치에 정확히 표시되고 있다.
본 발명에 따르면, 탑뷰 영상에서 찾은 차선의 시작, 끝 좌표를 알 수 있으므로 해당 차선의 길이와 카메라로부터 실제 얼마나 떨어져 있는지 그 상대 거리를 계산할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
2: 영상입력부
4: 탑뷰변환부
6: 탑햇적용부
8: 그룹핑부
10: 다중차선검출부
20: 그룹핑 최대사각형
30: 오브젝트
L1,L2,L3: 탑햇 영상 차선
L11,L12,L13: 실제 차선
V1,V2,V3: 그룹핑된 수직성분

Claims (6)

  1. 카메라 모델링 정보를 이용한 다중 차선 검출 방법에 있어서,
    영상변환부에 의해 탑뷰를 획득하기 위하여 수행되는 탑뷰변환 과정과,
    이후 탑햇적용부를 통해 탑햇영상을 획득하기 위해 수행되는 탑햇 적용 과정과,
    이후, 그룹핑부를 통해 수행되는 그룹핑 과정과,
    이후 다중 차선 검출부를 통해 수행되는 다중 차선 검출과정을 포함하고,
    검출된 차선 결과 영상에는 상기 다중차선 검출과정을 통해 검출된 차선 및 오브젝트를 실제 영상으로 표시하게 되는 것을 특징으로 하며,
    상기 탑햇 적용과정은
    관심영역(ROI) 선정과정,
    카메라 파라미터(Parameter) 적용 과정,
    탑햇 필터(Top-Hat Filter) 적용과정을 포함하며, 이를 통해 모든 수직선을 검출하고,
    상기 탑햇 적용과정은
    탑-햇 필터(Top-Hat Filter)를 통해 탑뷰-영상에서 한 점의 좌우 점들의 밝기값의 차이를 판별하여 주변보다 밝게 나타나는 차선 영역들을 검출하는 것을 특징으로 하고,
    상기 그룹핑 과정은 라벨링(Labelling)과정과, 그룹핑(Grouping)과정을 포함하며, 이를 통해 차선 후보군을 추출하는 것을 특징으로 하되, 상기 탑햇 영상을 통해 실제차선을 검출하는 과정이며, 즉, 탑햇 영상에서 근접한 픽셀들을 한 그룹으로 묶고 차선 고유의 특징에 따라 연속성이 있는 수직 성분을 차선으로 판단하는 것을 특징으로 하는 카메라 모델링 정보를 이용한 다중 차선 검출 방법.
  2. 제 1 항에 있어서, 상기 카메라 파라미터를 적용하기 위해 설정함에 있어서, 수평 화각, 수직 화각 : 필수, 설치 높이 : 필수, 소실점 좌표 입력 : 필수, 영상 회전각 입력(선택)으로 설정하게 되는 것을 특징으로 하는 카메라 모델링 정보를 이용한 다중 차선 검출 방법.
  3. 제 1 항에 있어서, 상기 탑뷰변환과정은 먼저, 탑뷰 범위 설정을 통해 탑뷰 영상에 표시될 실제 거리 범위 설정하고, 이후, 실거리 기반 탑뷰 영상을 획득하는 것을 특징으로 하는 카메라 모델링 정보를 이용한 다중 차선 검출 방법.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서, 상기 라벨링 및 그룹핑된 영상에서 차선 라인 성분을 추출하되, 즉 라벨링 및 그룹핑된 영상에서, 그룹핑(Grouping) 최대 사각형을 구하고 최상단 점의 중앙과 최하단 점의 중앙 점을 차선의 시작점과 끝점으로 하는 것을 특징으로 하는 카메라 모델링 정보를 이용한 다중 차선 검출 방법.
KR1020180170918A 2018-12-27 2018-12-27 카메라 모델링 정보를 이용한 다중 차선 검출 방법 KR102169009B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180170918A KR102169009B1 (ko) 2018-12-27 2018-12-27 카메라 모델링 정보를 이용한 다중 차선 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180170918A KR102169009B1 (ko) 2018-12-27 2018-12-27 카메라 모델링 정보를 이용한 다중 차선 검출 방법

Publications (2)

Publication Number Publication Date
KR20200081610A KR20200081610A (ko) 2020-07-08
KR102169009B1 true KR102169009B1 (ko) 2020-10-23

Family

ID=71599983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170918A KR102169009B1 (ko) 2018-12-27 2018-12-27 카메라 모델링 정보를 이용한 다중 차선 검출 방법

Country Status (1)

Country Link
KR (1) KR102169009B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144144A (ko) 2021-04-19 2022-10-26 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 디지털 영상을 이용한 차량의 이동 경로 추정 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101787292B1 (ko) * 2016-12-28 2017-10-17 (주)베라시스 영상을 이용한 차선 인식 성능 향상 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102372296B1 (ko) * 2015-11-12 2022-03-08 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101787292B1 (ko) * 2016-12-28 2017-10-17 (주)베라시스 영상을 이용한 차선 인식 성능 향상 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144144A (ko) 2021-04-19 2022-10-26 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 디지털 영상을 이용한 차량의 이동 경로 추정 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200081610A (ko) 2020-07-08

Similar Documents

Publication Publication Date Title
US8180561B2 (en) Vehicle-installation obstacle detection apparatus
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
US7233233B2 (en) Vehicle surroundings monitoring apparatus
JP4871909B2 (ja) 物体認識装置、および物体認識方法
CN109583267B (zh) 车辆用目标检测方法、车辆用目标检测装置和车辆
US9415723B2 (en) Image integration unit and image integration method
US20150371095A1 (en) Method and Apparatus for Determining a Road Condition
US20100172543A1 (en) Multiple object speed tracking system
JP5561064B2 (ja) 車両用対象物認識装置
EP2963634B1 (en) Stereo camera device
JP5401257B2 (ja) 遠赤外線歩行者検知装置
JP4528283B2 (ja) 車両周辺監視装置
CN107273788A (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
KR101748780B1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
KR101922852B1 (ko) 영상 기반 색상정보를 이용한 초지 경계 검출 방법
JP4577153B2 (ja) 環境認識装置
KR102200204B1 (ko) Cctv 영상을 활용한 3차원 영상분석 시스템
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
JP3328711B2 (ja) 車輌高さ計測装置およびこの装置を用いた車輌監視システム
KR101406316B1 (ko) 차선 인식 장치 및 그 방법
JP5457224B2 (ja) 路面状態検出装置
KR102169009B1 (ko) 카메라 모델링 정보를 이용한 다중 차선 검출 방법
JP4813304B2 (ja) 車両周辺監視装置
KR101620425B1 (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
CN112364869B (zh) 一种车道线识别方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right