KR101394770B1 - 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템 - Google Patents

곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템 Download PDF

Info

Publication number
KR101394770B1
KR101394770B1 KR1020120095474A KR20120095474A KR101394770B1 KR 101394770 B1 KR101394770 B1 KR 101394770B1 KR 1020120095474 A KR1020120095474 A KR 1020120095474A KR 20120095474 A KR20120095474 A KR 20120095474A KR 101394770 B1 KR101394770 B1 KR 101394770B1
Authority
KR
South Korea
Prior art keywords
image
lane
camera
position value
horizon
Prior art date
Application number
KR1020120095474A
Other languages
English (en)
Other versions
KR20140029794A (ko
Inventor
박종민
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020120095474A priority Critical patent/KR101394770B1/ko
Publication of KR20140029794A publication Critical patent/KR20140029794A/ko
Application granted granted Critical
Publication of KR101394770B1 publication Critical patent/KR101394770B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량용 전방 카메라 기반의 주행 보조 시스템의 안정성과 성능을 향상시킬 수 있는 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템에 관한 것으로, 영상 안정화 방법은, 차량의 전방 카메라로부터 영상을 수신하는 영상 안정화 시스템에서 카메라로부터의 영상을 안정화하는 방법으로서, 차량의 전방 카메라로부터의 영상 속 차선을 곡선 차선 모델에 일치시키는 단계와, 곡선 차선 모델에 대한 상태 벡터의 도함수에 기초하여 영상에서의 지평선의 높이를 추정하는 단계와, 추정된 지평선의 높이에 기초하여 카메라를 보정하는 단계를 포함한다.

Description

곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템{IMAGE STABILIZATION METHOD AND SYSTEM USING CURVE LANE MODEL}
본 발명은 영상 안정화 방법 및 시스템에 관한 것으로, 보다 상세하게는, 차량용 전방 카메라 기반의 주행 보조 시스템의 안정성과 성능을 향상시킬 수 있는 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템에 관한 것이다.
차량용 전방 카메라를 이용하는 주행 보조 시스템은 전방 카메라에서 획득되는 도로 영상에 기초하여 도로 조건이나 차선 표시를 인식하여 운전자의 안전 운전을 보조하는 시스템을 지칭한다. 이러한 주행 보조 시스템은 차선 이탈 방지 시스템, 차선 유지 보조 시스템, 전방 충돌 방지 시스템 등으로 이용될 수 있다.
종래의 차량용 전방 카메라를 이용하는 주행 보조 시스템의 일례가 대한민국 공개특허공보 제10-2002-0090404호(2002.12.05)에 개시되어 있다. 이 공보의 도로정보 추출방법 및 차간거리 탐지방법은 전방 카메라가 장착된 차량에서 카메라로부터 입력되는 도로 영상을 검색하여 도로 표지물과 차량을 감지하고 앞서 감지된 표지물의 길이와 기준 길이 간의 차이에 따라 도로의 종단 경사도를 산출함으로써, 도로 조건을 높은 정확도로 판단하고, 특히 하나의 카메라가 장착된 차량에서 차간 거리를 포함한 도로 정보를 추출할 수 있음을 개시한다.
그러나, 차량용 전방 카메라를 이용하는 대부분의 주행 보조 시스템은 차량이 평면 도로에 있다는 전제 하에 보정(calibration)을 수행한다. 예컨대, 종래의 주행 보조 시스템은 차량의 전방 카메라에서 획득한 영상에서 직선 차선 인식 결과를 이용해 지평선을 추정하거나 추정한 지평선 근처의 텍스처(texture)를 이용하여 도로나 차선 표시 등을 인식한다. 따라서, 종래의 대부분의 주행 보조 시스템은 차량이 도로를 주행하면 피치 모션(pitch motion)이 누적되면서 보정 결과의 피치 앵글(pitch angle)에 오차가 생겨 결국 인식 결과가 부정확해지는 문제가 발생한다. 게다가, 종래 기술의 주행 보조 시스템은 정확도의 저하로 인해 야간에 사용할 수 없거나 곡선 차선에서 제대로 동작하지 않는 문제가 있다.
대한민국 공개특허공보 제10-2002-0090404호(2002.12.05)
본 발명은 종래기술의 문제점을 고려하여 도출된 것으로, 본 발명의 목적은 곡선 차선 모델을 이용한 차선 인식 결과의 보정을 반복적으로 수행함으로써 차량용 전방 카메라로부터의 영상을 안정화할 수 있는 영상 안정화 방법을 제공하는 것이다.
본 발명의 다른 목적은 전술한 영상 안정화 방법을 채용함으로써 차량용 카메라의 영상을 이용하는 주행 보조 시스템의 안정성과 성능을 향상시킬 수 있는 영상 안정화 시스템을 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 영상 안정화 방법은, 차량의 전방 카메라로부터 영상을 수신하는 영상 안정화 시스템에서 카메라로부터의 영상을 안정화하는 방법으로서, 차량의 전방 카메라로부터의 영상 속 차선을 곡선 차선 모델에 일치시키는 단계; 곡선 차선 모델에 대한 상태 벡터의 도함수에 기초하여 영상에서의 지평선의 높이를 추정하는 단계; 및 추정된 지평선의 높이에 기초하여 카메라를 보정하는 단계를 포함한다.
일 실시 예에서, 곡선 차선 모델은 하기의 수학식 6 및 수학식 7로 표현될 수 있다.
일 실시 예에서, 상태 벡터는 하기의 수학식 8로 표현될 수 있다.
일 실시 예에서, 영상 내 한 쌍의 차선 중 왼쪽 차선의 내측 경계면에 대한 상태 벡터의 도함수와 오른쪽 차선의 내측 경계면에 대한 상태 벡터의 도함수가 하기의 수학식 9 및 수학식 10으로 표현될 수 있다.
일 실시 예에서, 카메라를 보정하는 단계는 하기의 수학식 13으로 표현되는 관계에 기초하여 카메라를 보정하는 단계를 포함한다.
일 실시 예에서, 곡선 차선 모델에 일치시키는 단계는 차량이 주행 중에 흔들릴 때 변하는 피치 앵글의 각도 변화량(Δφ)를 피치 앵글에 의존하는 하기의 수학식 4 및 수학식 5에 기초하여 계산하는 단계를 포함한다.
일 실시 예에서, 카메라를 보정하는 단계는, 피치 앵글의 각도 변화량(Δφ)에 기초하여 하기의 수학식 14 및 수학식 15에 따라 회전 행렬 R을 보정하는 단계를 포함한다.
본 발명의 일 측면에 따른 영상 안정화 시스템은, 차량의 전방 카메라로부터의 영상을 안정화하는 영상 안정화 시스템으로서, 차량의 전방 카메라로부터의 영상 속 차선을 곡선 차선 모델에 일치시켜 피치 앵글 변화량을 산출하는 피치 앵글 추정부; 곡선 차선 모델에 대한 상태 벡터의 도함수에 기초하여 상기 영상에서의 지평선의 높이를 추정하는 지평선 높이 추정부; 및 추정된 지평선의 높이에 기초하여 카메라를 보정하는 카메라 보정부를 포함한다.
본 발명의 또 다른 일 측면에 따른 영상 안정화 시스템은, 컴퓨터에서 전술한 영상 안정화 방법의 실시 예들 중 어느 하나를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체를 포함한다.
본 발명에 의하면, 곡선 차선 모델을 이용한 차선 인식 결과의 보정을 반복적으로 수행함으로써 차량용 전방 카메라로부터의 영상을 안정화할 수 있는 영상 안정화 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 전술한 영상 안정화 방법을 채용함으로써 차량용 카메라의 영상을 이용하는 주행 보조 시스템의 안정성과 성능을 향상시킬 수 있는 영상 안정화 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 곡선 차선 모델을 이용한 영상 안정화 방법의 개략적인 순서도이다.
도 2는 본 발명의 곡선 차선 모델을 이용한 영상 안정화 방법이 적용되는 영상을 설명하기 위한 사진이다.
도 3은 비교 예에 따른 직선 차선 모델을 이용한 영상 안정화 방법이 적용되는 영상을 설명하기 위한 사진이다.
도 4는 도 2의 영상에서 영상 좌표계의 차선 상에 위치하는 점들을 실제 좌표계 상에 투영하여 지평선 추정 에러를 확인하는 과정을 설명하기 위한 사진이다.
도 5는 도 2의 쌍곡선 곡선 차선 모델을 이용한 영상 안정화 방법이 적용된 경우의 차선 인식 결과의 일 실시 예를 나타낸 그래프이다.
도 6은 도 3의 비교 예의 직선 차선 모델을 이용한 영상 안정화 방법이 적용된 경우의 차선 인식 결과의 일례를 나타낸 그래프이다.
도 7은 본 발명의 일 실시 예에 따른 곡선 차선 모델을 이용한 영상 안정화 시스템의 개략적인 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 곡선 차선 모델을 이용한 영상 안정화 방법의 개략적인 순서도이다.
도 1을 참조하면, 본 실시 예에 따른 영상 안정화 방법은, 차량에서 피치 모션이 일어날 때 카메라의 피치 앵글 변화량을 추정하여 카메라 보정을 수행함으로써 영상 보정의 오차를 감소시키기 위하여, 영상 속 차선을 곡선 차선 모델에 일치시켜 피치 앵글을 추정하는 단계(S11), 곡선 차선 모델에 대한 상태 벡터의 도함수에 기초하여 영상 속 지평선의 높이를 추정하는 단계(S12), 및 추정된 지평선의 높이 또는 이 높이에 상응하는 피치 앵글 변화량에 기초하여 카메라를 보정하는 단계(S13)를 구비한다. 각 단계를 구체적으로 설명하면 다음과 같다.
피치 앵글의 추정
차량이 덜컹거리거나 진동할 때, 카메라에서는 피칭(pitching) 또는 피치 모션(pitch motion)이 일어난다. 이때, 카메라 보정에서 피치 앵글(pitch angle)의 인식 에러는 작지만, 이러한 작은 에러는 영상 좌표와 실제 좌표계 간의 변환에서 큰 에러의 원인이 될 수 있다.
여기서, 피치 모션 또는 피칭(pitching)은 차량의 중심점에 대하여 앞뒤 방향의 축(X축)에 따른 직선 운동에 의해 좌우방향의 축(Y축) 주변에 일어나는 회전 운동을 말한다. 차량이 완전히 평탄한 노면 상을 주행하고 있다고 가정하면, 피칭은 차체의 앞뒤 방향의 움직임에 따라 발생하는 하중 이동에 의해 Y축을 중심으로 차체 전체가 회전하려고 하는 움직임에 대응할 수 있다.
피치 앵글의 추정을 위해, 우선 수학식 1과 같이 지평선의 높이(h)를 계산한다. 수학식 1에서는, 영상 좌표에서 무한 거리에서의 점들의 높이를 계산할 수 있을 때, 피치 앵글만 의존하는 지평선의 높이를 알 수 있음을 가정한 것이다.
Figure 112012069968410-pat00001
수학식 1에서, rij는 3X3 3D 회전 변환 행렬(rotation matrix)의 i번째 행과 j번째 열에 위치하는 요소를 나타내고, f는 카메라의 초점 길이를 나타내고, ty와 tz는 실제 좌표계의 y축과 x축에서의 카메라의 위치를 각각 나타내고, v0는 영상의 중심점 또는 실제 좌표계에서의 세로축 또는 y축 중심을 나타낸다. 수학식 1은 삼각 함수를 이용하여 수학식 2와 같이 표현될 수 있다.
Figure 112012069968410-pat00002
주행 보조 시스템용 카메라의 요(yaw, θ)와 롤(roll, ψ)은 실제로 너무 작아 무시될 수 있고, 따라서 피치(φ) 앵글이 충분히 작은 경우, 수학식 2의 지평선의 높이(h)는 근사치로 표현될 수 있다. 이를 수식으로 나타내면 수학식 3과 같다.
Figure 112012069968410-pat00003
수학식 3을 이용하면, 보정 결과의 지평선 hcal과 추정 지평선 hest 간의 차이에 의해 피치 앵글 변화량 Δφ를 간단히 계산할 수 있다. 피치 앵글 변화량(Δφ)을 수식으로 나타내면 수학식 4 및 수학식 5와 같다.
Figure 112012069968410-pat00004
Figure 112012069968410-pat00005
수학식 4 및 수학식 5에서 hcal는 현재 프레임의 바로 직전 프레임이나 소정 시간 앞선 프레임에 상응하는 이전 프레임의 카메라 보정 결과로부터 얻은 지평선에 대응하고, hest는 곡선 차선 모델에 기초하여 현재 프레임에서 추정한 지평선에 대응할 수 있다. 그리고, 수학식 4에서 φcal는 카메라 보정 결과로 얻은 피치 앵글이고, φest는 곡선 차선 모델에 기초하여 추정한 피치 앵글이다.
지평선의 높이 추정
일반적으로 한 쌍의 차선은 실제 좌표계에서 평행하고 영상 속 소실점에서 만난다. 직선 도로에서는 영상에서 한 쌍의 차선의 끝점이 만나는 점을 쉽게 추정할 수 있다. 하지만, 곡선 도로에서는 영상에서 한 쌍의 차선이 원근법으로 변형되어 보이고, 실제 좌표계에서 3차 다항식으로 만들어지므로 그것의 소실점을 찾는 것이 어렵다. 따라서, 곡선 도로의 영상에서 소실점을 찾기 위해서는 도로 곡선 모델이 필요하다. 이러한 문제를 해결하기 위해 일부 종래 기술에서 쌍곡선 쌍 모델을 제안하기도 하였다(Qiang, C. and W. Hong, "A Real-Time Lane Detection Algorithm Based on a Hyperbola-Pair Model" IEEE Intelligent Vehicles Symposium, 2006 참조). 이 종래 기술은, 첫째 도로는 3차 다항식으로 표현될 수 있고, 둘째 두 차선의 곡률(curvature)과 경사도(slope)는 동일하며, 셋째 두 차선은 지평선에서 만난다는 가정을 전제로 하므로 실제로 인식 정확성에 한계가 있다.
좀더 설명하면, 전술한 종래 기술에서 왼쪽 차선과 오른쪽 차선에 대한 쌍곡선 쌍 모델을 수식으로 각각 나타내면 수학식 6 및 수학식 7과 같다.
Figure 112012069968410-pat00006
Figure 112012069968410-pat00007
수학식 6 및 수학식 7에서, uL은 영상 내 한 쌍의 차선 중 왼쪽 차선의 내측 경계면 또는 이 경계면 상의 점(point)의 위치, uR은 오른쪽 차선의 내측 경계면 또는 이 경계면 상의 점의 위치, k는 차선의 곡률, v는 차선 내측 특정 경계점에서의 좌표(Y축 좌표), h는 지평선의 높이, c는 가로축 상의 좌표(X축 좌표), bL은 왼쪽 차선의 경사도, bR은 오른쪽 차선의 경사도, 그리고 (c,h)는 두 차선이 만나는 점을 각각 나타낸다.
수학식 6 및 수학식 7에서 알 수 있듯이, 전술한 종래 기술은 직선 방정식에 가장 근접한 차선 표시를 일치시키고 교차점을 찾음으로써 지평선을 추정한다. 하지만, 근접 거리에서 차선 표시로부터 연장되는 선들은 지평선 근처에서 만나지 않는 경우가 많다.
따라서, 본 실시 예에서는, 곡선 차선 모델에 대한 상태 벡터(X)의 도함수(derivative)를 이용하여 영상 속 지평선의 높이를 추정한다. 상태 벡터는 도 8과 같이 나타낼 수 있다.
Figure 112012069968410-pat00008
수학식 8에서, Δh는 이전 프레임에 대한 현재 프레임의 지평선 증가분(incremental change)을 나타낸다. 왼쪽 차선 및 오른쪽 차선에 대한 쌍곡선 쌍 모델에 대한 상태 벡터의 도함수를 각각 수식으로 나타내면 수학식 9 및 수학식 10과 같다.
Figure 112012069968410-pat00009
Figure 112012069968410-pat00010
이와 같이 본 실시 예에서는, 지평선 높이의 증가분(Δh)을 평가하기 위해, 현재 영상을 기준으로 이전 프레임의 파라미터를 추적한다. 파라미터를 계산한 후, 증가분을 더하여 지평선(h)의 높이를 업데이트한다. 즉, 이전 프레임의 파라미터를 계산하여 얻은 소실점을 곡선 차선 모델을 토대로 추정한 소실점으로 이동시키고 이러한 과정을 반복적으로 또는 수시로 수행함으로써 곡선 도로에서의 인식 오차를 감소시킨다.
카메라 보정
카메라 보정(Camera calibration)은, 카메라의 고유 변수(intrinsic parameter)를 나타내는 3X3 행렬 K, 카메라의 회전을 나타내는 3X3 회전 행렬 R, 및 카메라의 위치 T를 이용해 3X4 투시 투영 행렬 P로 나타낼 수 있다. 카메라의 고유 변수는 카메라 렌즈의 클립 거리나 이에 대응하는 영상의 중심점을 나타내는 카메라의 내부 행렬에 대응할 수 있다. 카메라의 위치 T는 수학식 11과 같이 표현될 수 있다. 투시 투영 행렬(P)을 수식으로 나타내면 다음의 수학식 12와 같다.
Figure 112012069968410-pat00011
Figure 112012069968410-pat00012
영상에서의 픽셀(u, v)과 차량 중심의 실제 좌표계에서 해당 픽셀이 위치하는 위치(x, y, z) 사이에는 다음의 수학식 13과 같은 관계가 있다.
Figure 112012069968410-pat00013
차량이 주행 중 흔들릴 경우 카메라의 피치 앵글이 변화되며, 이때 차선을 이용해 추정한 피치 앵글의 각도 변화량 Δφ는 다음의 수학식 14 및 수학식 15와 같이 적용되어 3X3 회전 행렬 R을 보정하는데 이용된다.
Figure 112012069968410-pat00014
Figure 112012069968410-pat00015
그리고, 보정된 회전 행렬 R을 이용해 투시 투영 행렬 P를 다시 계산한다. 이러한 과정에 의하면, 차량 운행 중에 직선 도로와 곡선 도로를 포함하는 다양한 도로 환경하에서 카메라 보정을 반복적으로 또는 수시로 수행함으로써 영상 보정 오차를 감소시킬 수 있다.
본 실시 예에 의하면, 차량의 피치 모션의 발생에 관계없이 피치 앵글을 효과적으로 추정함으로써 영상 보정의 오차를 감소시키고, 그에 의해 영상 인식 결과의 정확성을 높이고 영상 안정성을 향상시킬 수 있는 방법 및 시스템을 제공할 수 있다.
직선 차선과 곡선 차선에서의 실험 결과
도 2는 본 발명의 곡선 차선 모델을 이용한 영상 안정화 방법이 적용되는 영상을 설명하기 위한 사진이다. 도 3은 비교 예에 따른 직선 차선 모델을 이용한 영상 안정화 방법이 적용되는 영상을 설명하기 위한 사진이다. 도 4는 도 2의 영상에서 영상 좌표계의 차선 상에 위치하는 점들을 실제 좌표계 상에 투영하여 지평선 추정 에러를 확인하는 과정을 설명하기 위한 사진이다. 도 5는 도 2의 쌍곡선 곡선 차선 모델을 이용한 영상 안정화 방법이 적용된 경우의 차선 인식 결과의 일 실시 예를 나타낸 그래프이다. 도 6은 도 3의 비교 예의 직선 차선 모델을 이용한 영상 안정화 방법이 적용된 경우의 차선 인식 결과의 일례를 나타낸 그래프이다.
직선 차선과 곡선 차선에 대한 영상 안정화 성능을 비교 실험하기 위해, 우선, 도 2의 영상(20)에 도시한 바와 같이 차선 표시와 쌍곡선 곡선 차선 모델을 이용하여 지평선을 추정한다. 그리고, 도 3의 영상(21)에 도시한 바와 같이 차선 표시와 직선 차선 모델을 이용하여 지평선을 추정한다. 그런 다음, 앞서 추정한 지평선을 직선 차선에 일치시켜 얻은 지평선과 비교한다. 비교에 의하면, 쌍곡선 곡선 차선 모델에 의해 추정된 지평선은 실제 좌표계에서 직선 차선 모델의 결과보다 더 정확함을 알 수 있다.
지평선 추정 에러에 관한 영향을 확인하기 위해, 쌍곡선에 일치시켜 얻은 소실점과 직선에 일치시켜 얻은 소실점을 이용하여 두 가지 버전의 회전 변환 행렬을 적절하게 생성한다. 그 다음에, 도 4의 영상(22)에 도시한 바와 같이 두 버전의 카메라 보정 결과를 이용하여 실선 차선 상의 복수의 점들을 실제 평면상에 투영시키고 그것들을 2차 다항식에 맞춘다.
도 5에 도시한 바와 같이, 본 실시 예의 방법에서는 피치 앵글 에러가 보상되어 투영 점들이 차선 상에 잘 놓인다. 그러나, 도 6에 도시한 바와 같이, 직선 맞춤(직선 차선 모델)을 이용한 종래 기술에서는 두 곡선 차선들 사이의 거리(측면 거리)가 증가한 만큼 투영 점들 사이의 거리가 넓어져 차선 상에 제대로 놓이지 않는다. 이처럼, 직선 맞춤에 의해 추정된 지평선은 곡선 도로상에서 본 실시 예의 경우보다 큰 에러를 가짐을 알 수 있다.
한편, 정량적인 분석을 위해, 직선 차선과 곡선 차선을 포함한 다양한 도로 영상에서 왼쪽 차선에 대한 이차 다항식과 오른쪽 차선에 대한 이차 다항식의 경사도 사이의 평균차(average difference)를 계산할 수 있다. 예컨대, 소실점에 관하여 영상 속의 곡선 도로를 표현할 수 있는 쌍곡선 곡선 모델에 차선 표시를 일치시킨다. 그런 다음, 본 실시 예의 알고리즘과 기존 방법의 직선 모델을 이용한 알고리즘을 이용하여 두 버전의 투영 변환 행렬을 계산한다. 다음으로, 두 변환 행렬을 이용하여 실제 좌표계상의 차선 표시 위에 점들을 투영하고, 투영된 점에 의해 얻은 2차 곡선의 병렬성을 계산한다.
계산된 경사도 차이(slope differences)의 일례를 나타내면 표 1과 같다.
직선 모델 쌍곡선 모델
경사도 차이 0.0238 0.00039
표 1에 도시한 바와 같이, 본 실시 예에 따른 영상 안정화 알고리즘에 의해 얻은 경사도 차이가 종래의 직선 모델을 이용한 영상 안정화 알고리즘에 의해 얻은 경사도 차이보다 상당히 작은 것을 알 수 있다.
이와 같이, 본 실시 예에 의하면, 평행성(parallelity) 면에서 직선 맞춤을 이용한 기존의 영상 안정화 알고리즘을 능가하는 우수한 성능의 영상 안정화 알고리즘을 제공할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 곡선 차선 모델을 이용한 영상 안정화 시스템의 개략적인 블록도이다.
도 7을 참조하면, 본 실시 예에 따른 영상 안정화 시스템(10)은 피치 앵글 추정부(11), 지평선 높이 추정부(12) 및 카메라 보정부(13)를 구비한다.
피치 앵글 추정부(11)는 차량의 전방 카메라로부터의 영상 속 차선을 곡선 차선 모델에 일치시켜 피치 앵글 변화량을 산출한다. 피치 앵글 변화량의 산출은 상기한 수학식 1 내지 수학식 5를 이용하여 계산될 수 있다.
지평선 높이 추정부(12)는 곡선 차선 모델에 대한 상태 벡터의 도함수에 기초하여 영상에서의 지평선의 높이를 추정한다. 지평선의 높이 추정은 상기한 수학식 6 내지 수학식 10을 이용하여 계산될 수 있다.
카메라 보정부(13)는 추정된 지평선의 높이에 기초하여 카메라를 보정한다. 카메라 보정은 상기한 수학식 11 내지 수학식 15를 토대로 수행될 수 있다.
본 실시 예의 영상 안정화 시스템은 차량에 탑재되는 자동제어 유닛으로 구현되거나 차량에 탑재되어 있는 기존의 자동제어 유닛이나 주행 보조 시스템의 일부 기능부로서 탑재될 수 있다.
한편, 전술한 영상 안정화 시스템은 다양한 컴퓨터에서 영상 안정화 방법을 구현하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체로 구현될 수 있다. 이러한 매체는 앞서 설명한 영상 안정화 방법을 실행시키기 위한 프로그램을 기록하는 것으로, 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 구현될 수 있다. 또한, 매체는 하드디스크, 플로피디스크, 자기 테이프 등의 자기 매체와, CD, DVD 등의 광기록 매체와, 자기-광 매체와, 기타 롬, 램, 플래시 메모리 등의 프로그램 명령을 저장하도록 구성된 하드웨어 장치로 구현될 수 있다. 아울러, 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 광파이버, 금속선, 도파관 등의 전송 매체로 구현될 수 있다. 프로그램 명령은 컴파일러에 의해 생성되는 것과 같은 기계어 코드, 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드 등을 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 영상 안정화 시스템
11: 피치 앵글 추정부
12: 지평선 높이 추정부
13: 카메라 보정부

Claims (9)

  1. 차량의 전방을 촬영하는 카메라를 통해 획득한 곡선구간 영상을 보정하는 영상 안정화 방법에 있어서,
    상기 곡선구간 영상에서 쌍곡선 쌍 모델을 이용하여 한 쌍을 이루는 복수 개의 차선들 각각의 벡터 정보를 도출하는 단계;
    상기 벡터 정보에 대응되는 상태 벡터를 이용하여 상기 곡선구간 영상 내에서 지평선 위치값을 추정하는 단계; 및
    상기 지평선 위치값을 직선구간 영상에서 산출한 차선간 소실점과 비교하여 상기 곡선구간 영상을 보정하는 단계;
    를 포함하는 영상 안정화 방법.
  2. 제1항에 있어서,
    상기 벡터 정보는 차선의 곡률, 차선의 경사도, 및 차선간 교차점을 포함하는 영상 안정화 방법.
  3. 제1항에 있어서,
    상기 추정하는 단계는
    상기 차선간 소실점을 기준으로 상기 곡선구간 영상 내에서 지평선의 높이 변화량을 산출하는 것을 특징으로 하는 영상 안정화 방법.
  4. 제3항에 있어서,
    상기 보정하는 단계는
    상기 차선간 소실점에 상기 높이 변화량을 반영하여 상기 곡선구간 영상을 보정하는 것을 특징으로 영상 안정화 방법.
  5. 제1항에 있어서,
    상기 추정하는 단계는
    상기 상태 벡터의 도함수를 이용하여 상기 지평선 위치값을 추정하는 것을 특징으로 하는 영상 안정화 방법.
  6. 차량의 전방을 촬영하는 카메라를 통해 획득한 영상을 보정하는 영상 안정화 방법에 있어서,
    상기 영상의 n번째 프레임에서 획득한 제1 영상 내에서 한 쌍을 이루는 복수 개의 차선들간 교차점에 대응되는 제1 수평선 위치값을 추정하는 단계;
    상기 n번째 프레임 이전의 프레임에서 획득한 제2 영상 내에서 한 쌍을 이루는 복수 개의 차선들간 교차점에 대응되는 제2 수평선 위치값을 추정하는 단계;
    상기 제1 수평선 위치값과 상기 제2 수평선 위치값의 차이값을 이용하여 상기 차량의 피치 모션에 대응되는 피치 앵글을 산출하는 단계; 및
    상기 피치 앵글을 이용하여 상기 제1 영상을 보정하는 단계;
    를 포함하는 영상 안정화 방법.
  7. 제6항에 있어서,
    상기 산출하는 단계는
    상기 차이값 및 상기 카메라의 초점 길이를 이용하여 상기 피치 앵글을 산출하는 것을 특징으로 하는 영상 안정화 방법.
  8. 제6항에 있어서,
    상기 제1 수평선 위치값을 추정하는 단계는
    상기 제1 영상이 곡선구간 영상에 대응되는 경우, 쌍곡선 쌍 모델을 이용하여 상기 곡선구간 영상에서 한 쌍을 이루는 복수 개의 차선들 각각의 벡터 정보를 이용하여 상기 제1 수평선 위치값을 추정하는 것을 특징으로 하는 영상 안정화 방법.
  9. 제6항에 있어서,
    상기 제1 수평선 위치값을 추정하는 단계는
    상기 제1 영상이 직선구간 영상에 대응되는 경우, 상기 직선구간 영상에서 한 쌍을 이루는 복수 개의 차선들간의 소실점을 이용하여 상기 제1 수평선 위치값을 추정하는 것을 특징으로 하는 영상 안정화 방법.
KR1020120095474A 2012-08-30 2012-08-30 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템 KR101394770B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120095474A KR101394770B1 (ko) 2012-08-30 2012-08-30 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095474A KR101394770B1 (ko) 2012-08-30 2012-08-30 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20140029794A KR20140029794A (ko) 2014-03-11
KR101394770B1 true KR101394770B1 (ko) 2014-05-15

Family

ID=50642602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095474A KR101394770B1 (ko) 2012-08-30 2012-08-30 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101394770B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094452A (ko) 2017-02-15 2018-08-23 동명대학교산학협력단 벡터 콘텐츠 인증 보안을 위한 다중 스케일 곡률기반 벡터 데이터 해싱기술

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3057062A1 (en) * 2015-02-16 2016-08-17 Application Solutions (Electronics and Vision) Limited Method and device for stabilization of a surround view image
KR102503253B1 (ko) * 2015-12-14 2023-02-22 현대모비스 주식회사 주변 차량 인지 시스템 및 방법
KR102627453B1 (ko) * 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
CN112308923A (zh) * 2019-07-25 2021-02-02 北京地平线机器人技术研发有限公司 基于车道线的相机位姿调整方法和装置、存储介质、设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159716A (ja) * 1994-12-09 1996-06-21 Sumitomo Electric Ind Ltd 道路消失点の算出方法及び車両の位置・姿勢計測装置
JP2003196798A (ja) 2001-12-25 2003-07-11 Nissan Motor Co Ltd 白線検出装置
JP2004038760A (ja) 2002-07-05 2004-02-05 Nissan Motor Co Ltd 車両用走行路認識装置
JP2004185425A (ja) 2002-12-04 2004-07-02 Denso Corp レーンマーク識別方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159716A (ja) * 1994-12-09 1996-06-21 Sumitomo Electric Ind Ltd 道路消失点の算出方法及び車両の位置・姿勢計測装置
JP2003196798A (ja) 2001-12-25 2003-07-11 Nissan Motor Co Ltd 白線検出装置
JP2004038760A (ja) 2002-07-05 2004-02-05 Nissan Motor Co Ltd 車両用走行路認識装置
JP2004185425A (ja) 2002-12-04 2004-07-02 Denso Corp レーンマーク識別方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094452A (ko) 2017-02-15 2018-08-23 동명대학교산학협력단 벡터 콘텐츠 인증 보안을 위한 다중 스케일 곡률기반 벡터 데이터 해싱기술
US11115190B2 (en) 2017-02-15 2021-09-07 Tongmyong University Industry-Academy Cooperation Foundation Method of hashing vector data based on multi-scale curvature for vector content authentication

Also Published As

Publication number Publication date
KR20140029794A (ko) 2014-03-11

Similar Documents

Publication Publication Date Title
US11270131B2 (en) Map points-of-change detection device
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
US8824741B2 (en) Method for estimating the roll angle in a travelling vehicle
US8885049B2 (en) Method and device for determining calibration parameters of a camera
US20160037032A1 (en) Method for detecting mounting posture of in-vehicle camera and apparatus therefor
EP2757527B1 (en) System and method for distorted camera image correction
US10007998B2 (en) Image processor, apparatus, and control system for correction of stereo images
KR101394770B1 (ko) 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템
WO2015198930A1 (ja) 測距装置および補正パラメータを用いた測距補正装置
JP7371269B2 (ja) 自動車のカメラピッチをキャリブレーションする方法及び装置、並びにそのための消滅点推定モデルをコンティニュアルラーニングさせる方法
US11814056B2 (en) Travel amount estimation apparatus
JP4872890B2 (ja) 画像の歪曲補正方法
JP7137464B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
JP2009139324A (ja) 車両用走行路面検出装置
US11619495B2 (en) Position estimating apparatus and position estimating method
JP2001076128A (ja) 障害物検出装置及び方法
JP6488226B2 (ja) 走路パラメータ推定装置及びプログラム
JP2021193340A (ja) 自己位置推定装置
US10536646B2 (en) Imaging control device and imaging control method
JP7019431B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
JP4462533B2 (ja) 路面走行レーン検出装置
WO2022133986A1 (en) Accuracy estimation method and system
JP2004038760A (ja) 車両用走行路認識装置
KR102479253B1 (ko) 차량용 카메라 영상 기반 공차 보정 방법
KR102597238B1 (ko) 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 6