KR20160013337A - 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 - Google Patents

차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 Download PDF

Info

Publication number
KR20160013337A
KR20160013337A KR1020140094138A KR20140094138A KR20160013337A KR 20160013337 A KR20160013337 A KR 20160013337A KR 1020140094138 A KR1020140094138 A KR 1020140094138A KR 20140094138 A KR20140094138 A KR 20140094138A KR 20160013337 A KR20160013337 A KR 20160013337A
Authority
KR
South Korea
Prior art keywords
camera
angle
image
wide
correction
Prior art date
Application number
KR1020140094138A
Other languages
English (en)
Other versions
KR101592740B1 (ko
Inventor
안준식
이중렬
성갑제
장유진
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140094138A priority Critical patent/KR101592740B1/ko
Priority to US14/564,751 priority patent/US9813619B2/en
Priority to CN201410812483.5A priority patent/CN105306805B/zh
Publication of KR20160013337A publication Critical patent/KR20160013337A/ko
Application granted granted Critical
Publication of KR101592740B1 publication Critical patent/KR101592740B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)

Abstract

본 발명은 가상카메라 모델의 왜곡보정 특성을 유지하면서 보다 넓은 뷰영역을 확보할 수 있도록 하는 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법에 관한 것으로, 본 발명에 따른 차량용 광각카메라의 영상 왜곡 보정 장치는 차량에 장착되는 광각카메라와, 기설정된 수학적 모델에 근거하여 상기 광각카메라의 카메라 특성 파라미터를 추출하는 카메라 특성 추출부와, 상기 카메라 특성 파라미터를 이용하여 상기 광각카메라에 대응하는 가상카메라의 촬영 영역별 틸트각을 산출하는 틸트각 산출부와, 상기 가상카메라의 촬영 영역별 요각을 산출하는 요각 산출부와, 상기 가상카메라의 촬영 영역별 틸트각 및 요각을 적용하여 보정 모델을 생성하는 보정 모델 생성부와, 상기 광각카메라에 의해 촬영된 촬영영상의 뷰영역 확보를 위해 상기 보정 모델에 근거하여 상기 가상카메라의 각도를 조정하여 상기 촬영영상을 뷰 변환하며 그 뷰 변환에 따른 보정 영상을 생성하는 영상 보정부와, 상기 영상 보정부로부터 출력되는 보정 영상을 표시하는 표시부를 포함하는 것을 특징으로 한다.

Description

차량용 광각카메라의 영상 왜곡 보정 장치 및 방법{APPARATUS AND METHOD FOR CORRECTING IMAGE DISTORTION OF WIDE ANGLE CAMERA FOR VEHICLE}
본 발명은 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 카메라 모델 기반 가상카메라의 각도 조절을 통해 광각카메라에 의해 촬영된 영상의 왜곡을 보정하며 보다 넓은 뷰영역을 확보할 수 있는 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법에 관한 것이다.
자동차 보급이 늘어남에 따라, 교통사고는 사회/경제적 피해를 주고 있다. 이에, 교통사고의 예방 및 피해를 최소화하기 위하여 첨단 정보통신기술을 자동차에 접목한 지능형 자동차에 대한 연구가 활발하게 이루어지고 있다.
일례로, 운전자의 시야각을 높이기 위하여 광각카메라를 사용하는 것이다. 이 경우, 광각카메라는 운전자가 직접 눈으로 확인하기 어려운 영역에 대한 영상을 제공한다. 그러나, 광각카메라를 사용하는 경우, 광각카메라에 장착되는 렌즈의 구조로 인해 촬영된 영상에 왜곡이 발생하게 된다. 이러한 영상 왜곡은 영상의 중심부에서 외곽으로 갈수록 심해진다. 따라서, 광각카메라는 운전자에게 넓은 시야각을 확보하게 하지만 영상 왜곡으로 운전자의 현실감을 저하시켜 영상을 통한 정확한 상황 파악을 어렵게 한다.
이러한 영상 왜곡을 보정하기 위하여 본 출원인의 기출원특허 제10-2012-0074668호에서는 원통형 프로젝션 모델을 이용하여 카메라의 틸트(tilt) 각도를 조절하므로 영상의 왜곡을 보정하였다. 그러나, 이 경우에는 수직물 왜곡 개선 효과가 있으며 좌우 원거리 사각영역 정보를 제공할 수 있으나 근거리 왜곡으로 범퍼 및 범퍼인근 영상 확보가 불가한 문제점을 여전히 안고 있다.
또한, 종래에는 핀홀 프로젝션 모델을 이용하여 카메라의 틸트 각도를 조절하는 방법을 실시하고 있다. 이러한 핀홀 프로젝션 모델 기반 가변틸팅 기법은 지면을 기준으로 왜곡을 보정하며 반경 수차(Radial Distortion)를 보정하므로 범퍼 보임량 확보는 가능하지만 좌우 원거리 보임량 확보가 불가하여 좌우 사각지대가 발생한다.
본 발명은 카메라 모델 기반 가상카메라의 요각과 틸트각을 조절하여 광각카메라에 의해 촬영된 영상의 왜곡을 보정하며 보다 넓은 뷰영역을 확보할 수 있는 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법을 제공하는데 그 목적이 있다.
상기한 과제를 해결하기 위하여, 본 발명에 따른 차량용 광각카메라의 영상 왜곡 보정 장치는 차량에 장착되는 광각카메라와, 기설정된 수학적 모델에 근거하여 상기 광각카메라의 카메라 특성 파라미터를 추출하는 카메라 특성 추출부와, 상기 카메라 특성 파라미터를 이용하여 상기 광각카메라에 대응하는 가상카메라의 촬영 영역별 틸트각을 산출하는 틸트각 산출부와, 상기 가상카메라의 촬영 영역별 요각을 산출하는 요각 산출부와, 상기 가상카메라의 촬영 영역별 틸트각 및 요각을 적용하여 보정 모델을 생성하는 보정 모델 생성부와, 상기 광각카메라에 의해 촬영된 촬영영상의 뷰영역 확보를 위해 상기 보정 모델에 근거하여 상기 가상카메라의 각도를 조정하여 상기 촬영영상을 뷰 변환하며 그 뷰 변환에 따른 보정 영상을 생성하는 영상 보정부와, 상기 영상 보정부로부터 출력되는 보정 영상을 표시하는 표시부를 포함하는 것을 특징으로 한다.
또한, 상기 틸트각은, 지평선에 수평한 방향을 기준으로 하고 그 기준으로부터 지면 방향으로 기울어진 각도인 것을 특징으로 한다.
또한, 상기 요각은, 상기 광각카메라가 장착된 면에 수직한 방향을 기준으로 좌측 방향과 우측 방향으로 회전하는 각도인 것을 특징으로 한다.
또한, 상기 보정 모델은, 핀홀 투영 모델, 구면 투영 모델, 원통형 투영 모델, 평면 투영 모델 중 어느 하나의 투영 모델로 구현되는 것을 특징으로 한다.
또한, 상기 카메라 특성 파라미터는, 카메라 외부 파라미터와 카메라 내부 파라미터로 구분되는 것을 특징으로 한다.
또한, 상기 카메라 외부 파라미터는, 카메라의 설치 높이 및 방향과 같은 카메라 장착 특성 정보를 포함하는 것을 특징으로 한다.
또한, 상기 카메라 내부 파라미터는, 카메라의 초점거리, 주점, 왜곡계수와 같은 카메라 광학 특성 정보를 포함하는 것을 특징으로 한다.
또한, 상기 영상 보정부는, 상기 촬영영역별 틸트각 및 요각에 따라 상기 가상카메라의 틸트각 및 요각을 조정하여 상기 촬영영상을 뷰 변환하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 차량용 광각카메라의 영상 왜곡 보정 방법은 차량에 장착된 광각카메라의 카메라 특성 파라미터를 추출하는 단계와, 상기 카메라 특성 파라미터를 이용하여 상기 광각카메라에 대응하는 가상카메라의 촬영영역별 틸트각 및 요각을 산출하는 단계와, 상기 촬영영역별 틸트각 및 요각을 적용하여 보정 모델을 생성하는 단계와, 상기 광각카메라에 의해 촬영된 촬영영상의 뷰영역 확보를 위해 상기 보정 모델에 근거하여 상기 가상카메라의 각도를 조정하고 상기 가상카메라의 각도 조정에 따른 상기 촬영영상의 뷰 변환으로 보정 영상을 생성하는 단계와, 상기 보정 영상을 표시하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 촬영 영역은, 픽셀 단위 영역인 것을 특징으로 한다.
또한, 상기 틸트각은, 지평선에 수평한 방향을 기준으로 하고 그 기준으로부터 지면 방향으로 기울어진 각도인 것을 특징으로 한다.
또한, 상기 요각은, 상기 광각카메라가 장착된 면에 수직한 방향을 기준으로 좌측 방향과 우측 방향으로 회전하는 각도인 것을 특징으로 한다.
또한, 상기 가상카메라의 각도 조정은, 상기 촬영영역별 틸트각 및 요각에 따라 상기 가상카메라의 틸트각 및 요각을 조정하는 것을 특징으로 한다.
본 발명은 카메라 모델 기반 가상카메라의 요각과 틸트각을 조절하여 광각카메라에 의해 촬영된 영상의 왜곡을 보정하므로, 카메라 사각영역을 최소화하고 범퍼 보임량을 확보하여 운전자 시계를 향상시킬 수 있으며 광각카메라의 수직물 왜곡을 최소화할 수 있다.
또한, 본 발명은 출력영상의 상하좌우 영역에 대한 영상 압축비율을 변경하여 다양한 뷰 모드를 설계할 수 있다.
또한, 본 발명은 가상카메라 모델을 이용한 왜곡보정의 특성을 유지하면서 보다 넓은 뷰영역을 확보할 수 있도록 한다.
도 1은 본 발명과 관련된 카메라 좌표계를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 차량용 광각카메라의 영상 왜곡 보정 장치를 도시한 블록구성도.
도 3은 본 발명에 따른 가상카메라의 틸트각 조절을 도시한 예시도.
도 4는 본 발명에 따른 가상카메라의 요각 조절을 도시한 예시도.
도 5는 본 발명의 일 실시예에 따른 차량용 광각카메라의 영상 왜곡 보정 방법을 도시한 흐름도.
도 6은 본 발명에 따른 촬영영상의 왜곡을 보정한 영상을 도시한 예시도.
도 7은 본 발명에 따른 투영모델에 따른 뷰 모드를 도시한 예시도.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 발명은 영상 왜곡 보정 시 손실되는 영상정보를 최소화하여 보다 넓은 뷰영역을 확보할 수 있도록 하기 위하여 동일한 프레임 내에서 다양한 카메라 모델을 바탕으로 가상카메라의 시점(틸트각 및 요각)을 이동(변경)시켜 광각카메라에 의해 촬영된 촬영영상을 보정하는 것이다.
여기서, 가상카메라의 시점 이동은 가상카메라의 틸트각및 요각을 변경하는 것이다. 틸트각 변경은 차량에 장착된 카메라를 기준으로 도 1과 같이 정의된 좌표계에서 x축을 중심으로 회전하는 피치(pitch) 값(α)을 변경하여 가상카메라의 외부 파라미터를 변경하는 것을 말한다. 그리고, 요각 변경은 y축을 중심으로 회전하는 요(yaw) 값(β)을 변경하는 것이다.
도 2는 본 발명의 일 실시예에 따른 차량용 광각카메라의 영상 왜곡 보정 장치를 도시한 블록구성도이고, 도 3은 본 발명에 따른 가상카메라의 틸트각 조절을 도시한 예시도이며, 도 4는 본 발명에 따른 가상카메라의 요각 조절을 도시한 예시도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 차량용 광각카메라의 영상 왜곡 보정 장치(1)는 광각카메라(11), 출력부(12), 저장부(13), 카메라 특성 추출부(14), 틸트각 산출부(15), 요각 산출부(16), 보정 모델 생성부(17), 영상 보정부(18), 제어부(19)를 포함한다.
광각카메라(11)는 차량의 후면 및/또는 측면에 배치되어 차량의 후방영상 및/또는 측방영상을 촬영한다. 여기서, 광각카메라(11)는 어안렌즈, 초광각 렌즈, 광각 렌즈 등을 통해 90°이상의 화각을 제공한다.
표시부(12)는 영상 왜곡 보정 장치(1)의 동작 상태 및 결과를 표시하며, 광각카메라(11)에 의해 촬영된 촬영영상을 표시한다. 표시부(12)는 차량 내에 설치되며 액정디스플레이, 투명디스플레이, LED 디스플레이, 플렉시블 디스플레이(flexible display), 헤드 업 디스플레이(head up display) 등으로 구현될 수 있다.
저장부(13)는 광각카메라(11)의 특성 정보, 영상 왜곡을 보정하기 위한 보정 계수 및 설정정보 등이 저장된다. 또한, 저장부(13)에는 광각카메라(11)를 통해 촬영된 영상이 저장된다.
카메라 특성 추출부(14)는 기설정된 수학적 모델을 기반으로 차량에 장착된 광각카메라(11)의 카메라 특성 파라미터를 추출한다. 여기서, 카메라 특성 추출부(14)는 카메라의 장착 특성 및 광학 특성을 카메라 특성 파라미터로 추출한다. 상기 장착 특성은 카메라의 설치 높이, 방향(요, 틸트) 등의 카메라 외부 파라미터(extrinsic parameter)이고, 광학 특성은 카메라의 초점 거리(focal length), 렌즈 화각, 종횡비(aspect ratio), 중심점(principal point), 왜곡계수(skew coefficient) 등의 카메라 내부 파라미터(intrinsic parameter)이다.
카메라 특성 추출부(14)에 의해 추출된 카메라 특성 파라미터는 광각카메라(11)에 대응하는 가상카메라를 생성하는데 이용되며 가상카메라의 틸트각(tilt angle) 및 요각(yaw angle)를 설정하는데 이용된다.
틸트각 산출부(15)는 카메라 특성 추출부(14)에서 추출된 카메라 특성 파라미터를 적용하여 가상카메라의 촬영 영역별 틸트각(tilt angle)을 산출한다. 여기서, 틸트각은 도 3에 도시된 바와 같이 지평선에 수평한 방향의 기준선을 0도로 하고 기준선으로부터 지면 방향으로 기울어지는 각도(-α)이다. 그리고, 촬영 영역은 픽셀 단위 영역을 의미한다.
요각 산출부(16)는 카메라 특성 추출부(14)에서 추출된 카메라 특성 파라미터를 적용하여 가상카메라의 촬영 영역별 요각을 산출한다. 여기서, 요각은 도 4에 도시된 바와 같이 광각카메라(11)가 설치된 면에 수직한 방향을 기준으로 좌측방향(-)과 우측방향(+)으로 회전하는 각도이다.
보정 모델 생성부(17)는 틸트각 산출부(15) 및 요각 산출부(16)에 의해 산출된 틸트각 및 요각에 이용하여 광각카메라(11)에 의해 촬영된 촬영 영상을 보정하기 위한 보정 모델을 생성한다. 여기서, 보정 모델은 투영 모델로, 핀홀 투영 모델, 구면 투영 모델, 원통형 투영 모델, 평면 투영 모델 중 어느 하나의 투영 모델로 구현될 수 있다.
영상 보정부(18)는 광각카메라(11)를 통해 촬영된 촬영 영상에 보정 모델 생성부(17)에 의해 생성된 보정 모델을 적용한 촬영영상의 뷰 변환을 통해 보정 영상을 생성한다.
영상 보정부(18)는 카메라 특성 추출부(14)로부터 출력되는 카메라 특성 파라미터를 이용하여 광각카메라(11)에 대응되는 가상카메라를 생성한다. 그리고, 영상 보정부(18)는 보정 모델 생성부(17)에 의해 생성된 보정 모델을 가상카메라에 적용한다.
다시 말해서, 영상 보정부(18)는 촬영 영역별로 산출된 틸트각 및 요각에 따라 가상카메라의 틸트각 및 요각을 조정하여 뷰변환시 소실되는 영상정보를 최소화하여 보다 넓은 뷰영역을 확보하며 촬영 영상을 뷰변환한다.
영상 보정부(18)는 보정된 영상을 표시부(12)로 출력한다. 따라서, 운전자는 표시부(12)의 화면 상에 표시되는 보정 영상을 확인함으로써 차량 후방의 상태를 정확하게 파악할 수 있게 된다.
제어부(19)는 각 구성요소의 동작을 제어하여 광각카메라(11)에 의해 촬영된 촬영영상의 왜곡을 보정하여 출력하게 한다.
도 5는 본 발명의 일 실시예에 따른 차량용 광각카메라의 영상 왜곡 보정 방법을 도시한 흐름도이다.
도 5를 참조하면, 본 발명에 따른 영상 왜곡 보정 장치(1)는 광각카메라(11)에 대한 카메라 특성 파라미터를 추출한다(S11). 즉, 영상 왜곡 보정 장치(1)의 제어부(19)는 공지된 카메라 캘리브레이션 기술을 이용하여 광각카메라(11)의 카메라 특성 파라미터를 추출한다. 여기서, 카메라 캘리브레이션은 실세계에 존재하는 3차원 정보와 2차원 영상 정보를 이용하여 3차원 실세계 좌표(world coordinate)와 화면에 의해 보이는 2차원 영상좌표(image coordinate)의 관계 및 렌즈 왜곡이 반영된 카메라 모델의 특성을 결정짓는 파라미터를 구하는 작업을 의미한다.
또한, 카메라 특성 파라미터는 카메라 장착과 관련된 카메라 외부 파라미터와 카메라의 광학과 관련된 카메라 내부 파라미터로 구분된다. 여기서, 카메라 외부 파라미터는 카메라의 설치 높이 및 방향(요, 틸트) 등을 포함하고, 카메라 내부 파라미터는 카메라의 초점 거리, 주점, 왜곡계수 등을 포함한다. 상기 카메라 내부 파라미터는 GML Camera Calibration Toolbox와 같은 캘리브레이션 도구를 사용하여 구할 수 있다.
영상 왜곡 보정 장치(1)는 추출된 카메라 특성 파라미터들을 적용하여 광각카메라(11)에 대응하는 가상카메라를 생성하고, 광각카메라(11)의 촬영영상의 촬영 영역별 가상카메라의 틸트각 및 요각을 산출한다(S12). 여기서, 촬영 영역은 픽셀 단위 영역을 의미한다.
영상 왜곡 보정 장치(1)는 산출된 촬영 영역별 틸트각 및 요각을 적용하여 촬영 영상을 보정하기 위한 보정 모델을 생성한다(S13). 여기서, 보정 모델은 평면으로 투영된 영상에서 공간상의 직선이 가장 직선으로 보이도록 하는 변형 타원체의 파라미터를 구하는 투영 모델이다. 여기서, 투영 모델로는 핀홀 투영 모델, 구면 투영 모델, 원통형 투영 모델, 평면 투영 모델 중 어느 하나의 투영 모델이 적용될 수 있다.
영상 왜곡 보정 장치(1)는 광각카메라(11)에 의해 촬영된 영상을 보정 모델에 적용하여 촬영 영상의 왜곡을 보정한다(S14, S15). 여기서, 영상 왜곡 보정 장치(1)는 왜곡 보정 모델을 가상카메라에 적용하여 산출된 촬영 영역별 틸트각 및 요각에 따라 가상카메라의 틸트각 및 요각을 조정하여 촬영 영상을 뷰 변환하는 것으로 촬영 영상을 보정하게 된다.
또한, 영상 왜곡 보정 장치(1)는 촬영 영상의 왜곡을 보정하는 경우에 발생하는 이질감을 보상하기 위한 보상 모델을 추가로 생성하고 보정 영상을 보상 모델에 적용함으로써 최종 출력 영상을 생성할 수도 있다.
이후, 영상 왜곡 보정 장치(1)는 보정 영상을 차량에 구비된 표시부(12)로 출력한다(S16).
도 6은 본 발명에 따른 촬영영상의 왜곡을 보정한 영상을 도시한 예시도이고, 도 7은 본 발명에 따른 투영모델에 따른 뷰 모드를 도시한 예시도이다.
도 6의 (a)는 종래에 가상카메라의 틸트각만 조절하여 광각카메라(11)의 촬영 영상에 대한 왜곡 보정을 수행한 보정 영상이다.
그리고, 도 6의 (b)는 본 발명의 영상 왜곡 보정 장치(1)가 광각카메라의 특성을 고려한 보정 모델에 근거하여 광각카메라(11)에 의해 촬영된 촬영영상의 각 픽셀별로 가상카메라의 틸트각 및 요각을 조절하여 촬영영상의 왜곡을 보정한 보정 영상이다. 본 발명의 영상 왜곡 보정 방법에 따른 보정 영상은 종래의 영상 왜곡 보정 방법에 따른 보정 영상에 대비하여 영상의 보임량 및 원근감을 조절할 수 있다.
또한, 본 발명은 영상의 상하좌우 영역에 대한 영상 압축비율을 변경하여 도 7에 도시된 바와 같이 다양한 뷰 모드를 설계할 수 있다.
본 발명은 동일한 영상 프레임 내에서 다양한 카메라 모델을 바탕으로 가상카메라의 시점을 이동하는 방법으로 근거리 영상정보 보임량 확보의 한계를 해결하였다.
이상과 같이, 본 발명에 의한 후방 카메라의 여상 왜곡 보정 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 이에 한정되고 않고 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
11: 광각카메라 12: 표시부
13: 저장부 14: 카메라 특성 추출부
15: 틸트각 산출부 16: 요각 산출부
17: 보정 모델 생성부 18: 영상 보정부
19: 제어부

Claims (13)

  1. 차량에 장착되는 광각카메라와,
    기설정된 수학적 모델에 근거하여 상기 광각카메라의 카메라 특성 파라미터를 추출하는 카메라 특성 추출부와,
    상기 카메라 특성 파라미터를 이용하여 상기 광각카메라에 대응하는 가상카메라의 촬영 영역별 틸트각을 산출하는 틸트각 산출부와,
    상기 가상카메라의 촬영 영역별 요각을 산출하는 요각 산출부와,
    상기 가상카메라의 촬영 영역별 틸트각 및 요각을 적용하여 보정 모델을 생성하는 보정 모델 생성부와,
    상기 광각카메라에 의해 촬영된 촬영영상의 뷰영역 확보를 위해 상기 보정 모델에 근거하여 상기 가상카메라의 각도를 조정하여 상기 촬영영상을 뷰 변환하며 그 뷰 변환에 따른 보정 영상을 생성하는 영상 보정부와,
    상기 영상 보정부로부터 출력되는 보정 영상을 표시하는 표시부를 포함하는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  2. 제1항에 있어서,
    상기 틸트각은,
    지평선에 수평한 방향을 기준으로 하고 그 기준으로부터 지면 방향으로 기울어진 각도인 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  3. 제1항에 있어서,
    상기 요각은,
    상기 광각카메라가 장착된 면에 수직한 방향을 기준으로 좌측 방향과 우측 방향으로 회전하는 각도인 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  4. 제1항에 있어서,
    상기 보정 모델은,
    핀홀 투영 모델, 구면 투영 모델, 원통형 투영 모델, 평면 투영 모델 중 어느 하나의 투영 모델로 구현되는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  5. 제1항에 있어서,
    상기 카메라 특성 파라미터는,
    카메라 외부 파라미터와 카메라 내부 파라미터로 구분되는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  6. 제5항에 있어서,
    상기 카메라 외부 파라미터는,
    카메라의 설치 높이 및 방향과 같은 카메라 장착 특성 정보를 포함하는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  7. 제5항에 있어서,
    상기 카메라 내부 파라미터는,
    카메라의 초점거리, 주점, 왜곡계수와 같은 카메라 광학 특성 정보를 포함하는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  8. 제1항에 있어서,
    상기 영상 보정부는,
    상기 촬영영역별 틸트각 및 요각에 따라 상기 가상카메라의 틸트각 및 요각을 조정하여 상기 촬영영상을 뷰 변환하는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 장치.
  9. 차량에 장착된 광각카메라의 카메라 특성 파라미터를 추출하는 단계와,
    상기 카메라 특성 파라미터를 이용하여 상기 광각카메라에 대응하는 가상카메라의 촬영영역별 틸트각 및 요각을 산출하는 단계와,
    상기 촬영영역별 틸트각 및 요각을 적용하여 보정 모델을 생성하는 단계와,
    상기 광각카메라에 의해 촬영된 촬영영상의 뷰영역 확보를 위해 상기 보정 모델에 근거하여 상기 가상카메라의 각도를 조정하고 상기 가상카메라의 각도 조정에 따른 상기 촬영영상의 뷰 변환으로 보정 영상을 생성하는 단계와,
    상기 보정 영상을 표시하는 단계를 포함하는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 방법.
  10. 제9항에 있어서,
    상기 촬영 영역은,
    픽셀 단위 영역인 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 방법.
  11. 제9항에 있어서,
    상기 틸트각은,
    지평선에 수평한 방향을 기준으로 하고 그 기준으로부터 지면 방향으로 기울어진 각도인 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 방법.
  12. 제9항에 있어서,
    상기 요각은,
    상기 광각카메라가 장착된 면에 수직한 방향을 기준으로 좌측 방향과 우측 방향으로 회전하는 각도인 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 방법.
  13. 제9항에 있어서,
    상기 가상카메라의 각도 조정은,
    상기 촬영영역별 틸트각 및 요각에 따라 상기 가상카메라의 틸트각 및 요각을 조정하는 것을 특징으로 하는 차량용 광각카메라의 영상 왜곡 보정 방법.
KR1020140094138A 2014-07-24 2014-07-24 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 KR101592740B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140094138A KR101592740B1 (ko) 2014-07-24 2014-07-24 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US14/564,751 US9813619B2 (en) 2014-07-24 2014-12-09 Apparatus and method for correcting image distortion of a camera for vehicle
CN201410812483.5A CN105306805B (zh) 2014-07-24 2014-12-23 用于校正车辆用相机的影像失真的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140094138A KR101592740B1 (ko) 2014-07-24 2014-07-24 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160013337A true KR20160013337A (ko) 2016-02-04
KR101592740B1 KR101592740B1 (ko) 2016-02-15

Family

ID=55167105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140094138A KR101592740B1 (ko) 2014-07-24 2014-07-24 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법

Country Status (3)

Country Link
US (1) US9813619B2 (ko)
KR (1) KR101592740B1 (ko)
CN (1) CN105306805B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877548B1 (ko) * 2016-11-15 2018-07-11 멀티펠스 주식회사 곡면 투사용 영상 생성 시스템 및 그 생성 방법
KR20190086964A (ko) * 2018-01-15 2019-07-24 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
KR20200014858A (ko) * 2018-06-07 2020-02-11 우이시 테크놀로지스 (베이징) 리미티드. 위치 측정 및 동시 지도화 방법 및 장치
KR20240060149A (ko) 2022-10-28 2024-05-08 현대모비스 주식회사 영상 보정 방법 및 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046747A (ja) * 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
CN105882549A (zh) * 2015-11-02 2016-08-24 乐卡汽车智能科技（北京）有限公司 控制车辆上全景摄像头俯角的方法和车载设备
US10417911B2 (en) 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
JP7024603B2 (ja) * 2018-05-23 2022-02-24 トヨタ自動車株式会社 データ記録装置
CN108419071B (zh) * 2018-06-04 2020-03-31 盎锐（上海）信息科技有限公司 基于多3d摄像头的拍摄装置及方法
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
NL2025575B1 (en) * 2020-05-13 2021-11-30 Microsoft Technology Licensing Llc Correcting distortion from camera pitch angle

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1314910B1 (it) * 2000-07-26 2003-01-16 Eta Consulting S R L Metodo e strumento per la determinazione di angoli di distorsione intessuti o simili fermi o in movimento
JP4613465B2 (ja) 2001-08-07 2011-01-19 株式会社豊田中央研究所 画像変換装置並びにそれを組み込んだ撮像及び／又は表示装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
WO2004106856A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
US7440027B2 (en) * 2004-03-12 2008-10-21 Robert Bosch Gmbh Mounting assembly for camera
WO2006040687A2 (en) * 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
US7216023B2 (en) * 2004-07-20 2007-05-08 Aisin Seiki Kabushiki Kaisha Lane keeping assist device for vehicle
KR100596976B1 (ko) 2004-11-08 2006-07-05 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
JP4715334B2 (ja) * 2005-06-24 2011-07-06 日産自動車株式会社 車両用画像生成装置および方法
US7630571B2 (en) * 2005-09-15 2009-12-08 Microsoft Corporation Automatic detection of panoramic camera position and orientation table parameters
JP4487952B2 (ja) 2006-02-27 2010-06-23 ソニー株式会社 カメラ装置及び監視システム
US8126289B2 (en) * 2006-06-20 2012-02-28 Ophthalmic Imaging Systems Device, method and system for automatic montage of segmented retinal images
JP4642723B2 (ja) * 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
FR2911463B1 (fr) * 2007-01-12 2009-10-30 Total Immersion Sa Dispositif d'observation de realite augmentee temps reel et procede de mise en oeuvre d'un dispositif
US7831077B2 (en) * 2007-03-07 2010-11-09 General Electric Co. Method and apparatus for generating an image using MRI and photography
JP2008275666A (ja) * 2007-04-25 2008-11-13 Kyocera Corp 撮像光学装置および監視カメラ
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP2009180536A (ja) * 2008-01-29 2009-08-13 Omron Corp 画像処理装置、画像処理方法、およびプログラム
DE102008058279A1 (de) * 2008-11-20 2010-05-27 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP5316805B2 (ja) * 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
MX2011009681A (es) * 2009-05-29 2012-01-27 Youngkook Electronics Co Ltd Aparato de camara de supervision inteligente y sistema de supervision de imagen que implementa el mismo.
US8520956B2 (en) * 2009-06-09 2013-08-27 Colorado State University Research Foundation Optimized correlation filters for signal processing
KR101233948B1 (ko) 2010-09-01 2013-02-15 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
KR101249791B1 (ko) 2011-05-23 2013-04-03 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
JP6058256B2 (ja) * 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
KR101428169B1 (ko) 2012-07-09 2014-08-07 현대자동차주식회사 후방 카메라의 영상 왜곡 보정 장치 및 방법
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
KR20140088779A (ko) 2013-01-03 2014-07-11 주식회사 이미지넥스트 차량의 후방 모니터링 장치 및 방법
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9834143B2 (en) * 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877548B1 (ko) * 2016-11-15 2018-07-11 멀티펠스 주식회사 곡면 투사용 영상 생성 시스템 및 그 생성 방법
KR20190086964A (ko) * 2018-01-15 2019-07-24 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
KR20200014858A (ko) * 2018-06-07 2020-02-11 우이시 테크놀로지스 (베이징) 리미티드. 위치 측정 및 동시 지도화 방법 및 장치
KR20240060149A (ko) 2022-10-28 2024-05-08 현대모비스 주식회사 영상 보정 방법 및 시스템

Also Published As

Publication number Publication date
CN105306805B (zh) 2020-02-28
CN105306805A (zh) 2016-02-03
US9813619B2 (en) 2017-11-07
US20160027158A1 (en) 2016-01-28
KR101592740B1 (ko) 2016-02-15

Similar Documents

Publication Publication Date Title
KR101592740B1 (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
CN109688392B (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
JP5491235B2 (ja) カメラキャリブレーション装置
US8134608B2 (en) Imaging apparatus
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
CN106101635B (zh) 车辆周围影像处理方法及装置
US10810762B2 (en) Image processing apparatus
EP2939211B1 (en) Method and system for generating a surround view
TW201403553A (zh) 自動校正鳥瞰影像方法
KR102057021B1 (ko) 패널 변환
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
CN112529966B (zh) 一种车载环视系统的在线标定方法及其车载环视系统
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
JP2014017802A (ja) 後方カメラの画像歪曲補正装置及び方法
TW201443827A (zh) 鏡頭影像校正系統及鏡頭影像校正方法
EP3326146B1 (en) Rear cross traffic - quick looks
US20160037154A1 (en) Image processing system and method
JP4682830B2 (ja) 車載画像処理装置
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
TWI424259B (zh) 相機擺置角度校正法
CN107403404A (zh) 车辆的三维环景系统及其方法
JP2008042664A (ja) 画像表示装置
CN117011185B (zh) 一种电子后视镜cms图像矫正方法、系统及电子后视镜
KR20150110069A (ko) 입체 영상 카메라 장치 및 이의 얼라인먼트 조절 방법
CN117799536A (zh) 一种基于车载四路摄像头的纯视觉透明底盘实现方法及系统

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 5