KR101637535B1 - 탑뷰 영상 왜곡 보정 장치 및 방법 - Google Patents

탑뷰 영상 왜곡 보정 장치 및 방법 Download PDF

Info

Publication number
KR101637535B1
KR101637535B1 KR1020150052683A KR20150052683A KR101637535B1 KR 101637535 B1 KR101637535 B1 KR 101637535B1 KR 1020150052683 A KR1020150052683 A KR 1020150052683A KR 20150052683 A KR20150052683 A KR 20150052683A KR 101637535 B1 KR101637535 B1 KR 101637535B1
Authority
KR
South Korea
Prior art keywords
lane
top view
view image
camera
height
Prior art date
Application number
KR1020150052683A
Other languages
English (en)
Inventor
이정표
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020150052683A priority Critical patent/KR101637535B1/ko
Application granted granted Critical
Publication of KR101637535B1 publication Critical patent/KR101637535B1/ko

Links

Images

Classifications

    • H04N5/217—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 탑뷰 영상 왜곡 보정 장치 및 방법에 관한 것이다. 이를 위한 본 발명의 차량에 장착된 카메라를 통해 생성된 탑뷰 이미지에 대한 왜곡 보정 방법은 카메라를 통해 촬영된 촬영 이미지를 취득하는 단계; 촬영 이미지를 근거로 탑뷰 이미지를 생성하고, 탑뷰 이미지에서 차선을 검출하는 단계; 카메라와 바닥면 사이의 거리를 계산함으로써 카메라의 높이를 도출하는 단계; 및 카메라의 높이와 기준 높이의 비율을 근거로, 탑뷰 이미지의 스케일을 변환하는 단계를 포함하는 것을 특징으로 한다.

Description

탑뷰 영상 왜곡 보정 장치 및 방법{APPARATUS AND METHOD FOR CORRECTING DISTORTION IN TOP VIEW IMAGE}
본 발명은 탑뷰 영상 왜곡 보정 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 따라서, 차량의 후방을 디스플레이하기 위한 장치로서, 차량의 뒤에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하는 디스플레이 장치가 알려져 있다.
이에 관련하여, 발명의 명칭이 "차선 인식 시스템 및 방법"인 국제공개특허 WO2012-011713호가 존재한다.
또한, 상기 기술 외에도 차량에 복수의 카메라들을 장착시키고, 복수의 카메라들로부터 촬영된 이미지를 통해 차량 주변의 어라운드 뷰 또는 탑뷰 등을 생성하는 기술도 연구되고 있다. 하지만, 이러한 어라운드 뷰 또는 탑뷰 등을 생성할 때, 지형이 평평하지 않은 경우 바닥과 카메라 사이의 높이가 변하면서 탑뷰가 일그러지는 문제점이 존재한다.
본 발명은 어라운드 뷰 또는 탑뷰 등을 생성할 때, 지형이 평평하지 않더라도, 차량의 높이 변화에 의한 영상의 왜곡을 해소할 수 있는 탑뷰 영상 왜곡 보정 장치 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 차량에 장착된 카메라를 통해 생성된 탑뷰 이미지에 대한 왜곡 보정 방법은 카메라를 통해 촬영된 촬영 이미지를 취득하는 단계; 촬영 이미지를 근거로 탑뷰 이미지를 생성하고, 탑뷰 이미지에서 차선을 검출하는 단계; 카메라와 바닥면 사이의 거리를 계산함으로써 카메라의 높이를 도출하는 단계; 및 카메라의 높이와 기준 높이의 비율을 근거로, 탑뷰 이미지의 스케일을 변환하는 단계를 포함하는 것을 특징으로 한다.
또한, 차선을 검출하는 단계는 탑뷰 이미지 내에서 차선들의 위치를 추적하는 단계를 포함하고, 추적 단계는 탑뷰 이미지 내에서 하나의 기준 차선과, 기준 차선에 대향하는 평행 차선을 찾는 단계를 포함할 수 있다.
또한, 카메라의 높이를 도출하는 단계는 탑뷰 이미지에서 기준 차선과 평행 차선의 길이 방향에서, 기준 차선과 평행 차선 간의 거리 변화를 근거로 이루어질 수 있다.
또한, 차선을 검출하는 단계는 RANSAC(RANDOM SAMPLE CONCENSUS) 기법을 통해 차선에 대한 차선식을 도출하는 단계를 할 수 있다.
또한, 차선을 검출하는 단계는 검출된 차선의 영역의 밝기정보를 근거로, 오인식된 차선을 제거하는 단계를 포함할 수 있다.
또한, 차선을 검출하는 단계는 LSWMS(Line Segment Detection Using weighted mean shift) 기법을 통해 차선을 인식하는 단계를 포함할 수 있다.
또한, 차선을 검출하는 단계는 그레이 스케일 변환, 노이즈 제거 및 소벨 필터 적용 중 적어도 하나를 통해 상기 탑뷰 이미지의 영상 보정을 수행하는 단계를 포함할 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 차량에 장착된 카메라를 통해 생성된 탑뷰 이미지에 대한 왜곡 보정 장치는 카메라를 통해 촬영된 촬영 이미지를 취득하고, 촬영 이미지를 근거로 탑뷰 이미지를 생성하고, 탑뷰 이미지에서 차선을 검출하고, 카메라와 바닥면 사이의 거리를 계산함으로써 카메라의 높이를 도출하고, 카메라의 높이와 기준 높이의 비율을 근거로, 탑뷰 이미지의 스케일을 변환하는 처리부를 포함하는 것을 특징으로 한다.
또한, 처리부는 탑뷰 이미지 내에서 차선들의 위치를 더 추적하고, 추적은 탑뷰 이미지 내에서 하나의 기준 차선과, 기준 차선에 대향하는 평행 차선에 대해 이루어질 수 있다.
또한, 처리부는 탑뷰 이미지에서 기준 차선과 평행 차선의 길이 방향에서, 기준 차선과 평행 차선 간의 거리 변화를 근거로 카메라의 높이를 도출할 수 있다.
또한, 처리부는 RANSAC 기법을 통해 차선에 대한 차선식을 도출할 수 있다.
또한, 처리부는, 검출된 차선의 차선 영역의 밝기 정보를 근거로, 오인식된 차선을 제거할 수 있다.
또한, 처리부는 LSWMS 기법을 통해 차선을 인식할 수 있다.
또한, 처리부는 그레이 스케일 변환, 노이즈 제거 및 소벨 필터 적용 중 적어도 하나를 통해 상기 탑뷰 이미지의 영상 보정을 수행할 수 있다.
본 발명의 탑뷰 영상 왜곡 보정 장치 및 방법에 따르면 어라운드 뷰 또는 탑뷰 등을 생성할 때, 지형이 평평하지 않더라도, 차량의 높이 변화에 의한 영상의 왜곡을 해소할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치에 대한 블록도이다.
도 2a는 카메라를 통해 촬영된 촬영 이미지의 예시를 나타내는 도면이다.
도 2b는 상기 촬영 이미지를 근거로 생성된 탑뷰 이미지의 예시를 나타내는 도면이다.
도 3a 내지 도 3e는 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치에서, 탑뷰 이미지의 영상 보정 방법을 설명하는 예시를 나타내는 도면이다.
도 4a 및 도 4b는 본 발명의 라인 세그먼트의 연장 과정에 대한 예시를 나타내는 도면이다.
도 5a 및 도 5b는 본 발명의 라인 세그먼트의 연장 과정에 대한 예시를 나타내는 도면이다.
도 6a 내지 도 6c는 본 발명의 차선을 찾는 방법에 대한 예시를 나타내는 도면이다.
도 7a 및 도 7b는 본 발명의 탑뷰 영상 왜곡 보정 장치를 통한 차선 인식 교정 알고리즘을 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 발명의 탑뷰 영상 왜곡 보정 장치에서 밝기 정보를 근거로 필터링을 수행하는 예시를 설명하기 위한 도면이다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치를 통한 보정의 전후 예시를 도시하는 개념도이다.
도 10은 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 방법에 대한 흐름도이다.
도 11은 본 발명의 탑뷰 이미지에서 차선을 검출하는 단계에 대한 흐름도이다.
도 12a 및 도 12b는 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치 및 방법을 설명하기 위한 개념도이다.
도 13은 카메라 높이와 탑뷰와의 관계를 설명하기 위한 개념도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명의 실시예에 따른 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치에 대하여 설명하도록 한다.
위에서 언급한 바와 같이, 종래 기술에 따른 어라운드 뷰 또는 탑 뷰 생성 방법은 지형이 평평하지 않은 경우, 바닥과 차량의 카메라 사이의 높이가 변하면서 어라운드 뷰 또는 탑뷰가 일그러지는 문제점이 존재한다. 여기서, 용어 어라운드 뷰와 탑뷰는, 차량에 탑재된 카메라를 통해 인식된 카메라 주변의 환경을 디스플레이를 통해 디스플레이하는 기술을 나타낸다. 어라운드 뷰는 차량 주변의 모습을 디스플레이로, 그리고 탑 뷰는 차량의 위에서 본 모습을 디스플레이로 나타내는 방식이다. 어라운드 뷰 또는 탑 뷰의 생성은 차량에 탑재된 카메라를 통해 촬영된 이미지에 의존하므로, 카메라가 흔들리거나 또는 바닥과 차량의 카메라 사이의 높이가 변하는 경우, 영상 왜곡이 발생한 결과가 초래될 수 있다.
이에 대한 예시는 도 12a 및 도 12b에 도시된다. 도 12a에 도시된 바와 같이, 차량(10)이 화살표로 도시된 방향에 따라 이동하는 예시를 가정하자. 또한 바닥에는 과속 방지턱과 같은 굴곡(30)이 존재한다고 가정하자. 여기서, 차량(10)이 굴곡을 지나갈 때의 시점이 t이고, 그 이전의 시점은 t-dt인 것으로 가정하자.
이 경우, 차량(10)이 굴곡(30)을 지나가기 전의 탑뷰는 도 12a에 도시된 바와 같이, 차선(40)이 서로 평행한 것으로 올바르게 생성되나, 차량(10)이 굴곡(30)을 지나가는 동안 즉, 시점 t에서의 탑뷰는 도 12b에 도시된 바와 같이, 차선(40)의 일그러짐이 발생함을 알 수 있다. 본 발명은 차량(10)이 굴곡(30)을 지나가거나, 또는 바닥이 평평하지 않은 상황에서 발생할 수 있는 일그러짐을 완화시킴으로써, 도로 상태에 관계 없이 사용자에게 올바른 탑뷰 또는 어라운드 뷰를 제공하는데 그 목적이 있다.
도 1을 참조하자. 도 1은 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치(100)에 대한 블록도이다. 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치(100)는 제어부(110) 및 처리부(120)를 포함하여 구성될 수 있다. 이하, 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치(100)에 대한 설명이 이루어진다.
처리부(120)는 카메라(20)를 통해 촬영된 촬영 이미지를 취득하고, 촬영 이미지를 근거로 탑뷰 이미지를 생성하는 기능을 한다. 이에 대한 예시는 도 2a 및 도 2b에 도시된다. 여기서, 도 2a는 카메라를 통해 촬영된 촬영 이미지의 예시를, 그리고 도 2b는 상기 촬영 이미지를 근거로 생성된 탑뷰 이미지의 예시를 도시한다. 여기서, 탑뷰 이미지의 생성은 다양한 방식이 적용될 수 있으므로, 특정한 방식으로 제한하지 않는다.
또한, 탑뷰 이미지는 넓은 영역에서 차선을 인식하기 위해, 촬영 이미지의 합성 영역에 비해 크게 변환되어 생성된 이미지를 나타낼 수 있다. 예를 들어, 도 2a에 도시된 촬영 이미지가 5x1m에 대한 이미지라면, 도 2b에 도시된 탑뷰 이미지는 10x4m의 이미지로 변환되어 생성될 수 있다. 여기서, 탑뷰 이미지는 1024x408픽셀인 것으로 가정된다. 위의 설명에서 이미지의 크기 및 해상도는 특정한 수치로 설명되었으나, 이는 단지 예시일 뿐이고, 본 발명은 상기 수치 및 해상도로 제한되지 않는다. 그리고, 처리부(120)는 상기 탑뷰 이미지의 해상도를 축소시킬 수 있다. 여기서, 해상도의 축소를 수행하는 이유는, 처리 속도의 향상을 위함이다.
그리고, 처리부(120)는 생성된 탑뷰 이미지에 대해 영상 보정을 수행할 수 있다. 여기서, 영상 보정은 그레이 스케일 변환, 가우시안 블러 필터를 통한 노이즈 제거 및 소벨 필터 적용을 통해 이루어질 수 있으며, 다양한 영상 보정 방식이 추가적으로 더 수행될 수 있다.
구체적으로, 처리부(120)를 통해 이루어지는 영상 보정은 탑뷰 이미지에 대해 그레이 스케일로의 변환(도 3a 참조) 이후, 가우시안 블러 필터를 통해 탑뷰 이미지에 포함된 잡음을 제거한다(도 3b 참조). 여기서, 가우시안 분포식은 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112015036415470-pat00001
수학식 1에서, σ는 4.0, 필터 사이즈는 5인 것으로 가정된다. 또한, 처리부(120)는 관심 영역 즉, 상기 탑뷰 이미지 크기의 마스크를 생성하고, 그 점이 라인 세그먼트 찾기 한점인지를 마킹한다. 또한, 처리부(120)는 라인 세그먼트의 시작점 후보를 찾고, 라인 세그먼트를 찾았을 때, 찾은 위치 주위를 마스킹한다.
또한, 처리부(210)는 탑뷰 이미지에 소벨 필터를 적용할 수 있다. 여기서, 적용되는 X 방향 필터는 수학식 2로, Y 방향 필터는 수학식 3으로, 그리고 그라디언트 매그니튜드는 수학식 4로 표현될 수 있다.
Figure 112015036415470-pat00002
Figure 112015036415470-pat00003
Figure 112015036415470-pat00004
위의 수학식 2 내지 수학식 4를 참조로 언급된, 탑뷰 이미지에 소벨 필터가 적용된 예시는 도 3c 내지 도 3e에 도시된다. 구체적으로, 도 3c는 탑뷰 이미지에 X 방향 필터가 적용된 예시를, 도 3d는 탑뷰 이미지에 Y 방향 필터가 적용된 예시를, 그리고 도 3e는 이들의 그라디언트 매그니튜드에 대한 예시를 나타낸다..
여기서, 영상 보정이 수행되는 이유는, 사용자에게 보다 더 깨끗한 화질의 탑뷰 이미지를 제공하는 것뿐만 아니라, 이하에서 언급되는 차선 인식에 있어서, 보다 높은 정확도로 차선 인식을 수행할 수 있게 하기 위함이다.
그리고, 처리부(120)는 탑뷰 이미지에서 차선을 검출할 수 있다. 여기서, 차선 인식은 LSWMS(Line Segment Detection Using weighted mean shift) 기법을 통해 라인 세그먼트를 찾음으로써 차선을 인식할 수 있다. 여기서, LSWMS 기법을 통해 라인 세그먼트를 찾는 방법은 다음과 같다.
먼저, 처리부(120)는 탑뷰 이미지의 픽셀을 스캔하면서, 마스크가 0이고, G가 문턱값보다 큰 점에서 라인 세그먼트 조사를 시작한다. 이 점 근처에서, 가중 민 시프트(weighted mean shift)로 밀도 함수(G)에서 최대값들을 찾는다. G 값 또는 컬러 히스토그램을 이용하여, 물체의 경계선 위의 유용한 점을 찾는다,도 4a 및 도 4b를 참조하자. 상술한 조사 과정 이후, 처리부(120)는 민 시프트로 찾은 점에서 그라디언트 각도 방향으로 연장한 선상에서, 관심 영역의 경계까지 연장하여 목적 좌표를 선정한다. 여기서, 그라디언트 각도는 도 4a 및 아래의 수학식 5에 도시된 바와 같이 표현될 수 있다.
Figure 112015036415470-pat00005
그 후, 브레즌햄(Bresenham) 알고리즘을 이용하여 조사할 대상 픽셀을 선정한다. 참고로, 브레즌햄 알고리즘은 그래픽스에서 직선을 그릴 때, 사용하는 알고리즘으로서, 본 발명은 관심 영역내에서 시작점과 목적 좌표를 선정하고, 이를 근거로 중간 조사 점들을 찾는데 이용될 수 있다.도 5a 및 도 5b를 참조하자. 도 5a 및 도 5b는 라인 세그먼트의 연장 과정을 설명하는 예시에 대한 도면이다. 도 5a 및 도 5b에서 위의 점선은 시작점에서 한 번에 끝점까지 정확한 중간 좌표들을 찾은 경우를, 그리고 아래의 점선은 시작점에서 한 번에 끝점까지 정확한 중간 좌표들을 찾지 못한 경우로 가정된다.
도 5a에서 아래의 점선으로 도시된 바와 같이, 처리부(120)는 각 픽셀에서 그라디언트 각도가 시작점에서 계산한 값에서 벗어나면 연장을 중단하고, 중단한 위치에서 가중 민 시프트를 통해 정확한 좌표를 검색한다. 그 후, 시작점에서 중단한 점까지 이은 선분의 각도로 다시 연장을 시작하며, 연장한 끝점과 이전 단계에서 중단한 점의 좌표가 동일하면 연장을 종료하게 된다. 이를 반복하면, 도 5b에 도시된 바와 같이, 라인 세그먼트는 직선으로 표현될 수 있다.
또한, 처리부(120)는 방향성 차선 필터를 통해 라인 세그먼트의 위치 또는 이전 차선 위치에서 차선 위의 점 추적을 수행할 수 있다. 도 6a 내지 도 6c를 참조하자. 도 6a 및 도 6b에 도시된 바와 같이, 차선의 그라디언트 맵의 모양은 2개의 마루가 하나의 골짜기를 두고 일정 간격으로 평행하게 형성된다. 이에 따라, 본 발명의 처리부(120)는 도 6c에 도시된 바와 같이, 조사 기준점을 일정한 간격으로 이전 프레임의 차선 또는 라인 세그먼트에 설정하고, 조사 기준점에서 선분의 수직 방향으로 조사를 수행한다. 도 6c에서 세로 방향 화살표는 차선 방향을, 그리고 가로 방향 화살표는 조사 방향을 나타낸다.
그 후, 처리부(120)는 그라디언트 맵이 마루-골짜기-마루 형태인지 확인하고, 상기 조건을 만족하면 리스트에 그 위치 정보를 추가하는 작업을 수행할 수 있다.
또한, 처리부(120)는 주차 영역의 인식도 가능한데, 주차 영역 인식은 차선 트래킹, 직선들의 수평 및 수직 확인, 그리고 주차 영역 인식 단계로 구분하여 이루어질 수 있다.
먼저, 처리부(120)를 통해 이루어지는 차선 트래킹 단계는 차선의 위치를 근거로, 이전 프레임과 비슷한 차선을 트래킹하는 것을 나타낸다. 여기서, 주차 영역은 두 차선의 기울기와, 이들 차선 간 거리를 근거로 차선 영역의 판단이 이루어질 수 있다.
그리고, 처리부(120)를 통해 이루어지는 직선들의 수평 및 수직 확인 단계는 서로 수평인 직선의 쌍, 그리고 수직인 직선의 쌍을 확인하되, 이 때 수평인 직선의 기울기가 기설정된 오차 각도 예를 들어, 5도 미만일 때, 그리고 수평인 두 직선 사이의 거리가 1.5 내지 2.5m 사이일 때 이를 올바른 것으로 판단할 수 있다.
이에 따라, 처리부(120)는 수평으로 판단된 직선의 쌍과, 그 두 직선에 수직으로 판단된 직선 여부로, 주차 공간을 판단할 수 있다.
또한, 도 7a에 도시된 바와 같이, 하나의 차선이지만 오인식에 따라 여러 개여 차선으로 인식되는 경우가 존재할 수 있다. 이에 따라, 본 발명은 차선이 세그먼트별로 여러 개의 차선으로 인식되지 않도록, 처리부(120)에서 차선 인식 교정 알고리즘을 수행할 수 있다. 본 발명의 처리부(120)를 통해 이루어지는 차선 인식 교정 알고리즘은 다음과 같다.
먼저, n개의 차선에서 2개의 차선씩 짝을 지어, (n-1)!개의 조합을 도출한다. 그 후, 처리부(120)는 검사 루프를 수행하는데, 여기서 검사 루프는 두 차선의 기울기 차이와 거리를 근거로 동일 차선 여부를 판단하고, 동일한 차선으로 판단 시, 이 두 차선을 하나의 그룹으로 묶는 과정을 수행한다. 또한, 이러한 그룹화 과정은 두 차선이 모두 그룹에 포함되지 않으면, 새 그룹을 생성하는 단계, 두 차선 중 하나가 그룹에 속해 있으면, 이들 차선을 해당 그룹에 포함시키는 단계, 그리고 두 차선이 모두 그룹에 포함되어 있고, 두 차선이 다른 그룹인 경우, 인덱스가 낮은 그룹으로 통합하는 단계를 포함할 수 있다.
그 후, 처리부(120)는 같은 그룹으로 묶인 차선들을 하나의 차선으로 처리한다.
또한, 처리부(120)는 검출된 차선 영역에서 상기 차선 영역에 대한 밝기 정보를 근거로 오인식된 차선을 제거할 수 있다. 구체적으로, 처리부(120)는 차선 영역에서 차선으로 인식된 선 상의 점들의 밝기 평균과 기설정된 제 1 밝기 판단값을 비교함으로써, 그리고 차선 주변 점들의 밝기 평균과 기설정된 제 2 밝기 판단값을 비교함으로써 필터링을 수행할 수 있다. 여기서, 제 1 밝기 판단값은 예를 들어, 115 내지 125일 수 있고, 제 2 밝기 판단값은 95 내지 105일 수 있다. 즉, 본 발명은 예를 들어, 눈과 같이 차선으로 오인될 수 있는 요소들에 대해, 해당 부분의 밝기와, 상기 요소 주변의 색을 고려함으로써 추가적인 필터링을 수행하고, 이를 근거로 오인식된 차선을 제거할 수 있다. 즉, 처리부(120)는 위의 차선 검출 방법을 통해 검출된 차선 영역에서, 추가적인 확인 작업을 하고 오인식된 차선을 제거함으로써, 보다 정확한 차선 인식이 가능하다(도 8a 및 도 8b 참조).
또한, 처리부(120)는 RANSAC(RANdom SAmple Concensus) 기법을 통해 차선에 대한 차선식을 도출할 수 있다. 여기서, RANSAC 기법을 통해 처리부(126)는 오인식 차선 제거를 통해 인식된 차선에 대해, 컨센서스가 최대인 즉, 가장 많은 수의 데이터들로부터 지지를 받는 모델을 선택하는 기능을 수행할 수 있다. 여기서, 본 발명이 RANSAC 기법을 이용하는 이유는, 인식된 탑뷰 이미지에서 상술한 영상 보정 및 오인식 차선 제거를 통해서도 올바른 차선 인식이 되지 않을 경우를 고려하기 위함으로서, 탑뷰 이미지에 이상점(outlier)이 다수 존재하더라도, 보다 정확한 근사를 수행하기 위함이다.
그리고, 처리부(120)는 카메라(20)와 바닥면 사이의 거리를 계산함으로써 카메라(20)의 높이를 도출할 수 있다. 여기서, 카메라(20)의 높이 도출은 처리부(120)에서 탑뷰 이미지 내에서 하나의 기준 차선과, 이 기준 차선에 대향하는 평행 차선을 찾고, 탑뷰 이미지에서 상기 기준 차선과 상기 평행 차선의 길이 방향에서, 상기 기준 차선과 상기 평행 차선 간의 거리 변화를 근거로 도출될 수 있다. 이는, 수학식 6으로 표현될 수 있다.
Figure 112015036415470-pat00006
수학식 6에서, ri는 비교 대상인 차선 폭의 비율을 나타낸다. 즉, di는 이전 프레임에 대해 인식된 차선의 폭을, d'i는 그에 대응하는 차선의 현재 프레임의 폭을 나타낸다. i는 인식하는 탑뷰 내에서 평행 차선의 차선의 쌍이 1개 이상임을 의미한다.
그리고, 처리부(120)는 위에서 도출된 카메라의 높이와 기준 높이의 비율을 근거로, 탑뷰 이미지의 스케일을 변환할 수 있다. 구체적으로, 처리부(120)는 계산된 카메라의 높이와 기준 높이(평평한 상태에서의 카메라 높이)와의 비율로 합성을 통해 탑뷰 이미지의 스케일 변환을 수행할 수 있다. 이는 아래의 수학식 7 및 수학식 8로 표현될 수 있다.
Figure 112015036415470-pat00007
Figure 112015036415470-pat00008
수학식 7에서 r은 ri들의 곱 평균을 즉, 이전 프레임과 현재 프레임의 차선 폭의 비율을 나타낸다. 그리고 수학식 8에서 h'는 현재 프레임의 카메라 높이, 그리고 h는 이전 프레임의 카메라 높이를 나타낸다. 여기서 h는 초기값을 H라고 하면, (H는 고정 상수, 시작 시점의 카메라 높이), 그 값으로부터 매 프레임 h'이 계산될 수 있다. 탑뷰 합성을 할 때는 h'와 초기값 H와의 비율을 사용하여 이루어질 수 있다(도 8 참조).
본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정 장치(100)를 통해 영상 보정이 이루어지기 전의 탑뷰 이미지에 대한 예시는 도 9a에, 그리고 본 발명의 탑뷰 영상 왜곡 보정 장치(100)를 통해 영상 보정이 이루어진 이후의 탑뷰 이미지에 대한 예시는 도 9b에 도시된다. 도 9a에서는, 차선(40a)에 굴곡 등으로 인하여 왜곡이 발생하였으나, 본 발명에 따르면 도 9b에 도시된 것처럼, 차선의 왜곡이 완화됨을 확인할 수 있다. 즉, 본 발명은 바닥에 굴곡이 존재하거나 또는 바닥이 평평하지 않아 발생하는 탑뷰 이미지의 왜곡을 해소할 수 있는 장점을 갖는다.
도 10은 본 발명의 일 실시예에 따른 탑뷰 영상 왜곡 보정에 대한 흐름도이다. 이하에서는 위에서 언급된 부분과 중복되는 사항은 생략하여 설명이 이루어진다.
먼저, 카메라를 통해 촬영된 촬영 이미지를 취득하는 단계(S110)가 이루어진다. 여기서, 촬영 이미지는 차량에 탑재된 카메라 예를 들어, 후방 카메라 또는 전방 카메라 등을 나타낼 수 있다.
그 후, 촬영 이미지를 근거로 탑뷰 이미지를 생성하고, 탑뷰 이미지에서 차선을 검출하는 단계(S120)가 이루어진다. 위에서 언급한 바와 같이, 탑뷰 이미지는 차량을 기준으로 위에서 본 뷰를 나타내는 용어로서, 이동 중인 차량의 촬영 이미지를 연속적으로 수신함으로써 생성할 수 있다. 또한, 이러한 탑뷰 이미지의 생성 방식은 다양한 방식이 적용될 수 있고, 특정한 방식으로 제한되지 않는다. 또한, S120 단계는 하나의 기준 차선과, 상기 기준 차선의 평행 차선의 검출을 더 수행할 수 있다.
그 후, 카메라와 바닥면 사이의 거리를 계산함으로써(S130) 카메라의 높이를 도출하는 단계(S140)가 이루어진다. 구체적으로, S130 및 S140 단계는 S120 단계에서 검출된 기준 차선과 평행 차선의 길이 방향에서, 기준 차선과 상기 평행 차선 간의 거리 변화를 근거로 도출될 수 있다.
그 후, 카메라의 높이와 기준 높이의 비율을 근거로, 탑뷰 이미지의 스케일을 변환하는 단계(S150)가 수행된다. 구체적으로, S150 단계는 S140 단계를 통해 계산된 카메라의 높이와 기준 높이와의 비율로 합성을 수행함으로써 탑뷰 이미지의 스케일 변환을 수행할 수 있다.
이하, 도 11을 참조로 본 발명의 S120 단계를 더 설명한다. 아래의 설명에서도 마찬가지로, 도 1을 참고로 언급된 부분과 중복되는 사항은 생략된다.
먼저, S110 단계에서 취득된 이미지를 탑뷰 이미지로 변환하는 단계(S121)가 이루어진다.
그 후, 탑뷰 이미지에 대한 영상 보정을 수행하는 단계(S122)가 이루어진다. 여기서, 영상 보정은 그레이 스케일 변환, 노이즈 제거 및 소벨 필터 적용 중 적어도 하나를 통해 이루어질 수 있다. 위에서 언급한 바와 같이, 본 발명은 차선 인식을 하고, 인식된 차선에 대한 왜곡을 완화시키는 것을 특징으로 한다. 즉, 차선이 보다 올바르게 인식되어야 이러한 보정 정확도도 개선될 수 있으므로, 왜곡 보정이 이루어지기 전, 탑뷰 이미지에 대한 영상 보정을 먼저 수행하는 것이 바람직하다.
그 후, 차선을 인식하는 단계(S123)가 수행된다. 여기서, S123 단계는 도 1을 참조로 언급한 바와 같이, LSWMS 기법을 통해 이루어질 수 있다. 이에 대한 설명은 위에서 언급하였으므로, 추가적인 설명은 생략한다.
그 후, 차선 상의 포인트를 추적하는 단계(S124)가 수행되고, 오인식 차선을 제거하는 단계(S125)가 수행된다. 여기서, 오인식 차선의 제거는 검출된 차선의 영역의 밝기 정보를 근거로 이루어질 수 있다.
그 후, RANSAC 기법을 통해 차선에 대한 차선식을 도출하는 단계(S126)가 이루어진다. S126 단계는 오인식 차선 제거를 통해 인식된 차선에 대해, 컨센서스가 최대인 즉, 가장 많은 수의 데이터들로부터 지지를 받는 모델을 선택하는 기능을 수행할 수 있다. S126 단계에서 RANSAC 기법을 수행하는 이유는 위에서 상세히 설명되었으므로, 이에 대한 추가적인 설명은 생략한다.
그 후, 탑뷰 이미지 내에서 차선들의 위치를 추적하는 단계(S127)가 수행되고, S128 단계에서 하나의 기준 차선과 기준 차선에 평행하는 평행 차선을 찾는 단계(S128)가 이루어진다. 여기서, S127 및 S128 단계는 위에서 설명한 바와 같이, 카메라와 바닥면간의 거리를 계산하는데 사용되는 기준 차선 및 평행 차선의 도출을 위해 이루어진다.
본 발명에 따른 탑뷰 영상 왜곡 보정 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 원리들의 교시들은 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다. 또한, 소프트웨어는 프로그램 저장부 상에서 실재로 구현되는 응용 프로그램으로서 구현될 수 있다. 응용 프로그램은 임의의 적절한 아키텍쳐를 포함하는 머신에 업로드되고 머신에 의해 실행될 수 있다. 바람직하게는, 머신은 하나 이상의 중앙 처리 장치들(CPU), 컴퓨터 프로세서, 랜덤 액세스 메모리(RAM), 및 입/출력(I/O) 인터페이스들과 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현될 수 있다. 또한, 컴퓨터 플랫폼은 운영 체제 및 마이크로 명령 코드를 포함할 수 있다. 여기서 설명된 다양한 프로세스들 및 기능들은 마이크로 명령 코드의 일부 또는 응용 프로그램의 일부, 또는 이들의 임의의 조합일 수 있고, 이들은 CPU를 포함하는 다양한 처리 장치에 의해 실행될 수 있다. 추가로, 추가 데이터 저장부 및 프린터와 같은 다양한 다른 주변 장치들이 컴퓨터 플랫폼에 접속될 수 있다.
첨부 도면들에서 도시된 구성 시스템 컴포넌트들 및 방법들의 일부가 바람직하게는 소프트웨어로 구현되므로, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속들은 본 발명의 원리들이 프로그래밍되는 방식에 따라 달라질 수 있다는 점이 추가로 이해되어야 한다. 여기서의 교시들이 주어지면, 관련 기술분야의 당업자는 본 발명의 원리들의 이들 및 유사한 구현예들 또는 구성들을 참작할 수 있을 것이다.
100 : 탑뷰 이미지 왜곡 보정 장치 110 : 제어부
120 : 처리부

Claims (14)

  1. 전방 카메라 또는 후방 카메라의 기능을 수행하도록 차량에 장착된 하나의 카메라를 통해 생성된 탑뷰 이미지에 대한 왜곡 보정 방법으로서,
    상기 카메라를 통해 촬영된 촬영 이미지를 취득하는 단계;
    상기 촬영 이미지를 근거로 탑뷰 이미지를 생성하고, 상기 탑뷰 이미지에서 차선을 검출하는 단계;
    상기 카메라와 바닥면 사이의 거리를 계산함으로써 카메라의 높이를 도출하는 단계; 및
    상기 카메라의 높이와 기준 높이의 비율을 근거로, 상기 탑뷰 이미지의 스케일을 변환하는 단계를 포함하고,
    상기 차선을 검출하는 단계는,
    상기 탑뷰 이미지에 적용함으로써, 상기 탑뷰 이미지에 대한 그라디언트 맵을 생성하는 단계;
    상기 그라디언트 맵에 포함된 라인 세그먼트들을 검출하는 단계;
    상기 그라디언트 맵에 포함된 각 라인 세그먼트에 기설정된 간격으로 조사 기준점들을 설정하는 단계; 및
    각 라인 세그먼트에 있어서, 조사 기준점들을 연결한 선분의 수직 방향으로 일측에서 타측으로 조사를 수행하고, 조사 결과 상기 일측에서 타측 방향으로의 그라디언트 값이 마루-골짜기-마루 형태로 검출될 시, 해당 라인 세그먼트를 차선으로 결정하는 단계를 포함하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 방법.
  2. 제1항에 있어서,
    상기 차선을 검출하는 단계는,
    상기 탑뷰 이미지 내에서 차선들의 위치를 추적하는 단계를 포함하고, 상기 추적 단계는 상기 탑뷰 이미지 내에서 하나의 기준 차선과, 상기 기준 차선에 대향하는 평행 차선을 찾는 단계를 포함하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 방법.
  3. 제2항에 있어서,
    상기 카메라의 높이를 도출하는 단계는,
    상기 탑뷰 이미지에서 상기 기준 차선과 상기 평행 차선의 길이 방향에서, 상기 기준 차선과 상기 평행 차선 간의 거리 변화를 근거로 이루어지는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 방법.
  4. 제1항에 있어서,
    상기 차선을 검출하는 단계는,
    RANSAC(RANdom SAmple Concensus) 기법을 통해 차선에 대한 차선식을 도출하는 단계를 포함하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 방법.
  5. 제1항에 있어서,
    상기 차선을 검출하는 단계는,
    검출된 차선의 영역의 밝기 정보를 근거로, 오인식된 차선을 제거하는 단계를 포함하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 방법.
  6. 제1항에 있어서,
    상기 차선을 검출하는 단계는,
    LSWMS(Line Segment Detection Using weighted mean shift) 기법을 통해 차선을 인식하는 단계를 포함하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 방법.
  7. 제1항에 있어서,
    상기 차선을 검출하는 단계는,
    그레이 스케일 변환, 노이즈 제거 및 소벨 필터 적용 중 적어도 하나를 통해 상기 탑뷰 이미지의 영상 보정을 수행하는 단계를 포함하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 방법.
  8. 전방 카메라 또는 후방 카메라의 기능을 수행하도록 차량에 장착된 하나의 카메라를 통해 생성된 탑뷰 이미지에 대한 왜곡 보정 장치로서,
    상기 카메라를 통해 촬영된 촬영 이미지를 취득하고, 상기 촬영 이미지를 근거로 탑뷰 이미지를 생성하고, 상기 탑뷰 이미지에서 차선을 검출하고, 상기 카메라와 바닥면 사이의 거리를 계산함으로써 카메라의 높이를 도출하고, 상기 카메라의 높이와 기준 높이의 비율을 근거로, 상기 탑뷰 이미지의 스케일을 변환하는 처리부를 포함하고,
    상기 처리부는, 상기 탑뷰 이미지에 적용함으로써, 상기 탑뷰 이미지에 대한 그라디언트 맵을 생성하고, 상기 그라디언트 맵에 포함된 라인 세그먼트들을 검출하고, 상기 그라디언트 맵에 포함된 각 라인 세그먼트에 기설정된 간격으로 조사 기준점들을 설정하며, 각 라인 세그먼트에 있어서, 조사 기준점들을 연결한 선분의 수직 방향으로 일측에서 타측으로 조사를 수행하고, 조사 결과 상기 일측에서 타측 방향으로의 그라디언트 값이 마루-골짜기-마루 형태로 검출될 시, 해당 라인 세그먼트를 차선으로 결정함으로써 상기 탑뷰 이미지에서 차선을 검출하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 장치.
  9. 제8항에 있어서,
    상기 처리부는,
    상기 탑뷰 이미지 내에서 차선들의 위치를 더 추적하고, 상기 추적은 상기 탑뷰 이미지 내에서 하나의 기준 차선과, 상기 기준 차선에 대향하는 평행 차선에 대해 이루어지는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 장치.
  10. 제9항에 있어서,
    상기 처리부는,
    상기 탑뷰 이미지에서 상기 기준 차선과 상기 평행 차선의 길이 방향에서, 상기 기준 차선과 상기 평행 차선 간의 거리 변화를 근거로 상기 카메라의 높이를 도출하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 장치.
  11. 제8항에 있어서,
    상기 처리부는,
    RANSAC 기법을 통해 차선에 대한 차선식을 도출하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 장치.
  12. 제8항에 있어서,
    상기 처리부는,
    검출된 차선의 차선 영역의 밝기 정보를 근거로 오인식된 차선을 제거하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 장치.
  13. 제8항에 있어서,
    상기 처리부는,
    LSWMS 기법을 통해 차선을 인식하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 장치.
  14. 제8항에 있어서,
    상기 처리부는,
    그레이 스케일 변환, 노이즈 제거 및 소벨 필터 적용 중 적어도 하나를 통해 상기 탑뷰 이미지의 영상 보정을 수행하는 것을 특징으로 하는, 탑뷰 영상 왜곡 보정 장치.
KR1020150052683A 2015-04-14 2015-04-14 탑뷰 영상 왜곡 보정 장치 및 방법 KR101637535B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150052683A KR101637535B1 (ko) 2015-04-14 2015-04-14 탑뷰 영상 왜곡 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150052683A KR101637535B1 (ko) 2015-04-14 2015-04-14 탑뷰 영상 왜곡 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101637535B1 true KR101637535B1 (ko) 2016-07-07

Family

ID=56500156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150052683A KR101637535B1 (ko) 2015-04-14 2015-04-14 탑뷰 영상 왜곡 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101637535B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797750B1 (ko) 2016-07-19 2017-12-12 주식회사 와이즈오토모티브 조감도 이미지 생성 장치 및 방법
KR20190055634A (ko) * 2017-11-15 2019-05-23 전자부품연구원 차선 검출 장치 및 차선 검출 방법
US10740626B2 (en) 2017-09-28 2020-08-11 Samsung Electronics Co., Ltd. Method and apparatus for identifying driving lane
EP4102450A3 (en) * 2021-12-21 2023-07-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for processing image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110002688A (ko) * 2009-07-02 2011-01-10 한국오므론전장주식회사 탑 뷰 영상 보정 시스템 및 그 방법
KR101393273B1 (ko) * 2012-12-05 2014-05-09 이엔지정보기술 주식회사 노면 텍스쳐 영상 고도화 시스템
KR20140080105A (ko) * 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110002688A (ko) * 2009-07-02 2011-01-10 한국오므론전장주식회사 탑 뷰 영상 보정 시스템 및 그 방법
KR101393273B1 (ko) * 2012-12-05 2014-05-09 이엔지정보기술 주식회사 노면 텍스쳐 영상 고도화 시스템
KR20140080105A (ko) * 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Marcos Nieto, et al., "Line segment detection using weighted mean shift procedures on a 2D slice sampling strategy", Pattern Analysis and Applications, Volume 14, Issue 2, pp.149-163, May 2011.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797750B1 (ko) 2016-07-19 2017-12-12 주식회사 와이즈오토모티브 조감도 이미지 생성 장치 및 방법
US10740626B2 (en) 2017-09-28 2020-08-11 Samsung Electronics Co., Ltd. Method and apparatus for identifying driving lane
KR20190055634A (ko) * 2017-11-15 2019-05-23 전자부품연구원 차선 검출 장치 및 차선 검출 방법
KR101998584B1 (ko) * 2017-11-15 2019-07-10 전자부품연구원 차선 검출 장치 및 차선 검출 방법
EP4102450A3 (en) * 2021-12-21 2023-07-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for processing image

Similar Documents

Publication Publication Date Title
JP3868876B2 (ja) 障害物検出装置及び方法
JP4367475B2 (ja) 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
JP6184877B2 (ja) 車両用外界認識装置
JP6733225B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP4656456B2 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
WO2009088035A1 (ja) 車線認識装置、車線認識方法および車線認識プログラム
US9665781B2 (en) Moving body detection device and moving body detection method
JP6711395B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
WO2017130640A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
KR101637535B1 (ko) 탑뷰 영상 왜곡 보정 장치 및 방법
US11270133B2 (en) Object detection device, object detection method, and computer-readable recording medium
WO2014002692A1 (ja) ステレオカメラ
JP2000011133A (ja) 移動物体検出装置及びその方法
KR20160020172A (ko) 도로에서의 차선 검출 방법 및 장치
KR20170064652A (ko) 에고모션 추정 시스템 및 방법
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP5173549B2 (ja) 画像処理装置及び撮像装置
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
JP5062316B2 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
KR102239734B1 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
JP3985610B2 (ja) 車両用走行路認識装置
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
JP7134780B2 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150414

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151120

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160627

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160701

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160704

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190701

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200519

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210225

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220209

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230209

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240313

Start annual number: 9

End annual number: 9