KR101572065B1 - 영상 왜곡 보정 방법 및 이를 위한 장치 - Google Patents

영상 왜곡 보정 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR101572065B1
KR101572065B1 KR1020140000602A KR20140000602A KR101572065B1 KR 101572065 B1 KR101572065 B1 KR 101572065B1 KR 1020140000602 A KR1020140000602 A KR 1020140000602A KR 20140000602 A KR20140000602 A KR 20140000602A KR 101572065 B1 KR101572065 B1 KR 101572065B1
Authority
KR
South Korea
Prior art keywords
image
linear equations
linear
pixel
camera
Prior art date
Application number
KR1020140000602A
Other languages
English (en)
Other versions
KR20150081042A (ko
Inventor
진순종
Original Assignee
현대모비스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스(주) filed Critical 현대모비스(주)
Priority to KR1020140000602A priority Critical patent/KR101572065B1/ko
Priority to US14/518,017 priority patent/US9387804B2/en
Priority to CN201410567411.9A priority patent/CN104760540B/zh
Priority to DE102014116199.8A priority patent/DE102014116199B4/de
Publication of KR20150081042A publication Critical patent/KR20150081042A/ko
Application granted granted Critical
Publication of KR101572065B1 publication Critical patent/KR101572065B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

본 발명의 일 실시 예에 따른 영상 왜곡 보정 장치는 하나 이상의 카메라들로부터 입력되는 영상들로부터 합성된 영상에서 차량 마스크를 제외한 나머지 부분 영상의 에지 영상을 획득하고, 획득한 에지 영상으로부터 하나 이상의 제1 직선 방정식들을 산출하고, 제1 직선 방정식들로부터 각 카메라의 영상에 포함된 교차점들을 탐색하고, 제1 직선 방정식들과 상기 탐색한 교차점들로부터 주차 공간을 모델링하고, 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 제1 직선 방정식의 차이를 이용하여 제1 직선 방정식들 상에 있는 각 카메라의 영상에 포함된 화소별 대응점들을 예측하고, 예측한 화소별 대응점들에 기반하여 각 카메라 영상을 위해 각각의 호모그래피 매트릭스를 구성하고, 이후 N 프레임 동안 상기 화소 대응점들을 갱신하고, 이 갱신된 화소 대응점들에 기반하여 호모그래피 매트릭스를 N 프레임 동안 누적하고, 카메라들 중 적어도 하나의 카메라 영상에서 N 프레임 이상 오차가 임계치를 초과하는 경우, 해당 카메라의 어라운드 뷰 모니터 테이블 값을 누적된 호모그래피 매트릭스를 이용하여 갱신하는 자동 공차 보정 로직을 포함한다.

Description

영상 왜곡 보정 방법 및 이를 위한 장치{Method for compensating image distortion and Apparatus for the same}
본 발명은 영상 왜곡 보정 방법 및 장치에 대한 것으로, 특히 차량의 상황에 따라 공차를 실제 공간 모델과 비교하여 자동적으로 영상 왜곡을 보상하기 위한 영상 왜곡 보정 방법 및 이를 위한 장치에 대한 것이다.
AVM(Around View Monitor) 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면 상에 버드 아이 뷰로써 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.
상기 AVM 시스템은 이러한 영상 촬영을 위해 자동차의 위치별 카메라의 사양인 높이와 지향각을 알며, 카메라 모델을 알고 있으므로 생산 라인에서 공차 보정 프로그램을 통해 4대의 카메라간의 공차 오차를 보정하게 된다.
초기 출고시 공차 보정의 주 목적은 카메라의 설치 공차 오차를 최소화 하는데 그 목적이 있으며 이는 시간이 지남에 따라 자동차의 노후 및 차체 무게의 변화에 따라 도 1에 도시된 바와 같이, 카메라간 공차 오차가 발생하여 카메라 경계 또는 AVM 모니터 영상 전체에서 실제 지면과는 다르게 영상의 일그러짐이 생기게 된다.
도 1을 참조하면, AVM 모니터 영상은 주차 시 차량 위에서 바라보는 가상의 시점에서의 지면 뷰를 나타내므로 AVM 모니터 영상에 보이는 주차 공간에 해당하는 직선의 차선 형태는 하나의 채널 카메라 영상에서뿐만 아니라 모든 채널 영상의 합성 영상에서 정확하게 직선의 형태를 보여야 하나 (a) 내지 (c) 도면 모두 직선이 일그러져 있다. 또한 직선들로 표시되는 해당 주차 공간은 정확하게 주차 공간의 모습 (도면에서는 직사각형)를 만들어야 한다. 이때 특히 카메라 경계 간에 주차 공간의 직선이 공존할 경우 각 직선의 연장선이 만나는 지점이 정확하게 일치해야 하며 실제 일치 하지 않을 경우 이러한 차이를 공차 오차의 양이라고 판단할 수 있다.
이러한 채널 간 일그러짐은 AVM 모니터 영상을 볼 때 주관적 화질을 떨어트리며 운전자로 하여금 AVM 모니터의 주 목적인 정확한 차량 주변의 정보 제공이 어려워 사용자의 편의성을 떨어트릴 수 있다.
현재 이러한 문제를 해결하기 위해서는 출고 공장 또는 A/S 센터에 설치된 공차 보정 라인을 이용하여 수동적으로 다시 공차 보정하는 방법이 있는데 이는 사용자에게 시간적, 공간적인 측면에서 많은 불편함이 있으며 비용이 많이 든다는 단점이 존재한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 공차 보정이 필요한지를 판단하여 자동적으로 공차 보정이 이루어 질 수 있는 영상 왜곡 보정 장치 및 방법을 제공하고자 하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 왜곡 보정 장치는 하나 이상의 카메라들을 이용하여 차량 주변 영상들을 생성하는 영상 입력부와, 상기 하나 이상의 카메라들로부터 입력되는 영상들로부터 합성된 영상에서 차량 마스크를 제외한 나머지 부분 영상의 에지 영상을 획득하고, 상기 획득한 에지 영상으로부터 하나 이상의 제1 직선 방정식들을 산출하고, 상기 제1 직선 방정식들로부터 각 카메라의 영상에 포함된 교차점들을 탐색하고, 상기 제1 직선 방정식들과 상기 탐색한 교차점들로부터 주차 공간을 모델링하고, 상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 상기 제1 직선 방정식들 상에 있는 각 카메라의 영상에 포함된 화소별 대응점들을 예측하고, 상기 예측한 화소별 대응점들에 기반하여 각 카메라 영상을 위해 각각의 호모그래피 매트릭스를 구성하고, 이후 N 프레임 동안 상기 화소 대응점들을 갱신하고, 이 갱신된 화소 대응점들에 기반하여 상기 상기 호모그래피 매트릭스를 상기 N 프레임 동안 누적하고, 상기 카메라들 중 적어도 하나의 카메라 영상에서 N 프레임 이상 오차가 임계치를 초과하는 경우, 해당 카메라의 어라운드 뷰 모니터 테이블 값을 상기 누적된 호모그래피 매트릭스를 이용하여 갱신하는 자동 공차 보정 로직과, 상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상을 출력하도록 제어하는 제어부와, 상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상을 표시하는 영상 출력부를 포함하여 구성된다.
본 발명의 다양한 실시 예에 따르면, 자동 공차 보정을 통한 사용자 편의성 향상시키고, AVM 시스템의 공차 보정을 위한 A/S 비용을 절감시키고, AVM 시스템 내장으로 추가 원가를 필요로 하지 않는 효과가 있다.
도 1은 종래 기술에 따른 영상 왜곡의 예들을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 왜곡 장치를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 왜곡 보상을 위한 직선 방정식들을 구하는 과정을 도시한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 왜곡 보정 여부를 사용자에게 요구하는 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 왜곡 보상 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 2는 본 발명의 일 실시예에 따른 영상 왜곡 장치를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 왜곡 보정 여부를 사용자에게 요구하는 과정을 도시한 도면이다.
도 2를 참조하면, 영상 왜곡 보정 장치는 하나 이상의 카메라들을 이용하여 차량 주변 영상들을 생성하는 영상 입력부(20)와, 상기 하나 이상의 카메라들로부터 입력되는 영상들로부터 합성된 영상에서 차량 마스크를 제외한 나머지 부분 영상의 에지 영상을 획득하고, 상기 획득한 에지 영상으로부터 하나 이상의 제1 직선 방정식들을 산출하고, 상기 제1 직선 방정식들로부터 각 카메라의 영상에 포함된 교차점들을 탐색하고, 상기 제1 직선 방정식들과 상기 탐색한 교차점들로부터 주차 공간을 모델링하고, 상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 상기 제1 직선 방정식들 상에 있는 각 카메라의 영상에 포함된 화소별 대응점들을 예측하고, 상기 예측한 화소별 대응점들에 기반하여 각 카메라 영상을 위해 각각의 호모그래피 매트릭스를 구성하고, 이후 N 프레임 동안 상기 화소 대응점들을 갱신하고, 이 갱신된 화소 대응점들에 기반하여 상기 상기 호모그래피 매트릭스를 상기 N 프레임 동안 누적하고, 상기 카메라들 중 적어도 하나의 카메라 영상에서 N 프레임 이상 오차가 임계치를 초과하는 경우, 해당 카메라의 어라운드 뷰 모니터 테이블 값을 상기 누적된 호모그래피 매트릭스를 이용하여 갱신하는 자동 공차 보정 로직(30)과, 상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상을 출력하도록 제어하는 제어부(10)와, 상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상을 표시하는 영상 출력부(40)를 포함하여 구성된다.
상기 제어부(10)는 상기 영상 출력부(40)가 현재 입력된 합성 영상과 기 설정된 어라운드 뷰 모니터 테이블 값에 의한 합성 영상을 표시하도록 제어하고, 도 3에 도시된 바와 같이, 상기 어라운드 뷰 모니터 테이블 값의 갱신 여부를 사용자에게 요구하고, 상기 요구에 따라 상기 어라운드 뷰 모니터 테이블 값을 갱신하는 것이 바람직하다.
상기 자동 공차 보정 로직(30)은 상기 합성 영상의 주차선에 해당하는 화소 위치별 실제 주차 공간 모델에 해당하는 각 카메라 영상의 화소 위치의 최소 4개의 대응점을 가지고 상기 호모그래피 매트릭스를 구성한다.
또한, 상기 자동 공차 보정 로직(30)은 상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 각 카메라의 영상에서 라인을 구성하는 픽셀들의 위치별 최소 직선 피팅 오차 크기를 계산하여 상기 제1 직선 방정식 상에 있는 상기 화소별 대응점들을 예측한다.
상기 자동 공차 보정 로직(30)은 일반적으로 영상 처리 장치의 영상 왜곡 보정부 기능을 포함하는 바람직하다.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 영상 왜곡 보상 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 영상 왜곡 보상을 위한 직선 방적식들을 구하는 과정을 도시한 도면이다.
도 4a를 참조하면, 자동 공차 보정이 시작되면(S10), 어라운드 뷰 모니터 영상(차량에 설치된 하나 이상의 카메라들로부터 제공된 영상들을 합성한 합성 영상)에서 차량 마스크 영역을 제외한 나머지 영상 영역으로부터 t 시점에서의 에지(그래디언트) 영상을 획득한다. (S11) 상기 획득한 에지 영상의 예는 도 5의 (a)에 도시되어 있다.
상기 획득한 에지 영상을 직선으로 피팅하여 하나 이상의 제1 직선 방정식들을 산출한다. 이 때, 직선 피팅 오차가 큰 에지 선은 직선 후보에서 제거하며, 또한 동일 기울기를 가지며 절편이 다른 직선 방정식들의 경우에는 절편의 평균으로 하나의 직선 방정식으로 통합한다. 도 5의 (b)에 도시된 바와 같이 1-9번 제1 직선 방정식들을 산출한 후에 채널 내에서 찾은 각각의 직선 방정식의 교차점인 꼭지점 A~D을 예측한다. (S12)
상기에서 찾은 각 채널(각 카메라로부터 촬영된 영상)의 차선에 해당하는 제1 직선 방정식들과 교차점을 가지고 주차 공간을 모델링 한다. (S13)
이 때, 주차 공간 모델링에는 시간적 복잡도를 줄이기 위해 정사각형 모델, 평행 사변형 모델을 활용할 수 있다. 일반적으로 주차 공간을 구성하는 직선은 4개로 가정(사각형)하고, 주차 공간의 일반적인 크기(가로, 세로)를 가정하여 S11 단계에서 산출한 제1 직선 방정식들 중 직선 피팅 오차가 큰 직선은 제외하고 도 5의 3, 6번 직선에 대한 주차 공간 모델링 결과를 계산한다.
도 4b를 참조하면, 상기와 같이 계산한 결과, 주차 공간이 존재한다고 판단되는 경우(S14), 상기 모델링된 주차 공간을 구성하는 제2 직선의 방정식과 S11 단계에서 산출한 제1 직선의 방정식의 차이를 이용하여 각 채널별로 라인을 구성하는 픽셀들의 위치별 최소 직선 피팅 오차 크기를 계산한다. (S15)
이 때, 하나의 직선 방정식은 채널 간(카메라 간)에 걸쳐 있을 수 있으므로 각 채널별로 라인을 구성하는 픽셀들의 위치별 직선 피팅 오차 크기를 계산한다. 결과적으로, S11 단계에서 찾은 제1 직선의 방정식들 상에 있는 상기 모델링된 주차 공간의 라인을 구성하는 픽셀들의 화소별 대응점(모델상의 화소 위치)들을 예측한다. 이와 같이 영상의 주차선에 해당하는 화소 위치별 실제 주차 공간 모델에 해당하는 각 채널별 화소 위치의 대응점들을 가지고 호모그래피 매트릭스를 구성한다. (S16)
이 호모그래피 매트릭스는 최소 4개의 점으로 구성 가능하지만 대응점의 화소 개수가 훨씬 많으므로 최적화 방법을 통해 최종 채널별로 호모그래피 매트릭스를 구성한다. 일 예로 위너 필터를 이용하여 L2 최적화된 매트릭스를 계산할 수 있으며 최적화의 방법에 제한을 두지는 않는다.
본 실시형태에서는 차량의 중심을 통과하는 주축에 대해 화소 대응점들이 좌우 대칭으로 배치되어 있다. 이러한 화소 대응점들의 배치는, 원리적으로는 4개의 점이 알려진 것이라면, 직사각형(정방형, 장방형), 사다리꼴 등 임의로서 반드시 차량의 중심을 통과하는 주축에 대해 좌우대칭일 필요는 없지만, 다만, 화소 대응점들의 4개의 점이 알려진, 즉 차량을 기준으로 한 좌표계의 화소 대응점들의 4개의 점의 좌표를 정확히 알고 있을 필요가 있다. 다만, 자기 차량과의 상대적인 위치 관계를 문제 삼지 않는 사용법으로 하는 경우, 예를 들어 노면의 탑뷰 화상을 표시하는데, 그때에 자기 차량이 어디에 있는지를 표시할 필요가 없는 경우에는, 4개의 점의 좌표를 정확히 알고 있으면 되고, 자기 차량과 교정 지표의 위치 관계는 알 필요가 없다.
상기 각 채널별 호모그래피 매트릭스의 구성은 여러 프레임들에 걸쳐서 계산된 화소 대응점들을 계속 갱신하여, 호모그래피 매트릭스의 값을 누적하고(S21), 적어도 어느 하나의 카메라로부터 제공된 영상에서 N 프레임 이상 최소 직선 피팅 오차가 임계치를 초과하는 경우(S17), 해당 채널의 AVM 모니터 테이블 값을 누적을 통해 최적화된 호모그래피 매트릭스를 이용하여 재계산한다. (S19)
이후 도 3에 도시된 바와 같이 사용자에게 갱신 여부를 입력받아 해당 채널의 AVM 모니터 테이블을 갱신한다. 갱신 한 이후에는 보정된 테이블을 이용하여 AVM 영상을 출력한다.
갱신 여부 입력은 여러 가지 방법이 가능하며 사용자에게 현재 입력된 영상과 계산된 테이블에 의한 출력 영상을 보여주고 갱신 여부를 물어볼 수 있다. 이때, 직선 피팅 오차가 큰 채널과 주차 공간을 구성하는 모델의 연장선이 보이는 채널 경계를 강조하여 보여준다.
이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.
10: 제어부 20: 영상 입력부
30: 자동 공차 보정 로직 40: 영상 출력부

Claims (21)

  1. 하나 이상의 카메라들로부터 입력되는 영상들로부터 합성된 영상에서 차량 마스크를 제외한 나머지 부분 영상의 에지 영상을 획득하는 단계;
    상기 획득한 에지 영상으로부터 하나 이상의 제1 직선 방정식들을 산출하는 단계;
    상기 제1 직선 방정식들로부터 각 카메라의 영상에 포함된 교차점들을 탐색하는 단계;
    상기 제1 직선 방정식들과 상기 탐색한 교차점들로부터 주차 공간을 모델링하는 단계;
    상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 상기 제1 직선 방정식들 상에 있는 각 카메라의 영상에 포함된 화소별 대응점들을 예측하는 단계; 및
    상기 예측한 화소별 대응점들에 기반하여 각 카메라 영상을 위해 각각의 호모그래피 매트릭스를 구성하는 단계를 포함하되,
    상기 구성하는 단계 이후,
    N 프레임 동안 상기 화소 대응점들을 갱신하고, 이 갱신된 화소 대응점들에 기반하여 상기 상기 호모그래피 매트릭스를 상기 N 프레임 동안 누적하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 왜곡 보정 방법.
  2. 제 1 항에 있어서, 상기 예측하는 단계에서,
    상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 각 카메라의 영상에서 라인을 구성하는 픽셀들의 위치별 최소 직선 피팅 오차 크기를 계산하여 상기 제1 직선 방정식 상에 있는 상기 화소별 대응점들을 예측하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  3. 제 1 항에 있어서, 상기 구성하는 단계에서,
    상기 합성 영상의 주차선에 해당하는 화소 위치별 실제 주차 공간 모델에 해당하는 각 카메라 영상의 화소 위치의 최소 4개의 대응점을 가지고 상기 호모그래피 매트릭스를 구성하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  4. 삭제
  5. 제 1 항에 있어서, 상기 누적하는 단계 이후,
    상기 카메라들 중 적어도 하나의 카메라 영상에서 N 프레임 이상 직선 피팅 오차가 임계치를 초과하는 경우, 해당 카메라의 어라운드 뷰 모니터 테이블 값을 상기 누적된 호모그래피 매트릭스를 이용하여 갱신하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 왜곡 보정 방법.
  6. 제 5 항에 있어서, 상기 갱신하는 단계에서
    상기 어라운드 뷰 모니터 테이블 값의 갱신 여부를 사용자에게 요구하는 단계를 더 포함하는 영상 왜곡 보정방법.
  7. 제 6 항에 있어서, 상기 갱신하는 단계에서
    상기 어라운드 뷰 모니터 테이블 값의 갱신 여부를 사용자에게 요구 시, 현재 입력된 합성 영상과 기 설정된 어라운드 뷰 모니터 테이블 값에 의한 합성 영상을 표시하는 것을 특징으로 하는 영상 왜곡 보정 방법.
  8. 제 5 항에 있어서, 상기 갱신하는 단계 이후,
    상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상의 왜곡을 보정하여 출력하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 왜곡 보정 방법.
  9. 제 1 항에 있어서, 상기 제1 직선 방정식들을 산출하는 단계에서,
    직선 피팅 오차가 큰 에지 선은 제1 직선 방정식 후보에서 제거하며, 동일 기울기를 가지며 절편이 다른 직선 방정식들의 경우에는 절편의 평균으로 하나의 제1 직선 방정식으로 통합하는 것을 특징으로 하는 영상 왜곡 보정 방법.
  10. 하나 이상의 카메라들을 이용하여 차량 주변 영상들을 생성하는 영상 입력부;
    상기 하나 이상의 카메라들로부터 입력되는 영상들로부터 합성된 영상에서 차량 마스크를 제외한 나머지 부분 영상의 에지 영상을 획득하고, 상기 획득한 에지 영상으로부터 하나 이상의 제1 직선 방정식들을 산출하고, 상기 제1 직선 방정식들로부터 각 카메라의 영상에 포함된 교차점들을 탐색하고, 상기 제1 직선 방정식들과 상기 탐색한 교차점들로부터 주차 공간을 모델링하고, 상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 상기 제1 직선 방정식들 상에 있는 각 카메라의 영상에 포함된 화소별 대응점들을 예측하고, 상기 예측한 화소별 대응점들에 기반하여 각 카메라 영상을 위해 각각의 호모그래피 매트릭스를 구성하고, 이후 N 프레임 동안 상기 화소 대응점들을 갱신하고, 이 갱신된 화소 대응점들에 기반하여 상기 상기 호모그래피 매트릭스를 상기 N 프레임 동안 누적하고, 상기 카메라들 중 적어도 하나의 카메라 영상에서 N 프레임 이상 직선 피팅 오차가 임계치를 초과하는 경우, 해당 카메라의 어라운드 뷰 모니터 테이블 값을 상기 누적된 호모그래피 매트릭스를 이용하여 갱신하는 자동 공차 보정 로직을 포함하여 이루어지는 것을 특징으로 하는 영상 왜곡 보정 장치.
  11. 제 10 항에 있어서,
    상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상의 왜곡을 보정하여 출력하도록 제어하는 제어부를 더 포함하여 포함하여 이루어지는 것을 특징으로 하는 영상 왜곡 보정 장치.
  12. 제 11 항에 있어서,
    상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상을 표시하는 영상 출력부를 더 포함하여 이루어지는 것을 특징으로 하는 영상 왜곡 보정 장치.
  13. 제 12 항에 있어서, 상기 제어부는
    상기 영상 출력부가 현재 입력된 합성 영상과 기 설정된 어라운드 뷰 모니터 테이블 값에 의한 합성 영상을 표시하도록 제어하는 것을 특징으로 하는 영상 왜곡 보정 장치.
  14. 제 12 항에 있어서, 상기 제어부는
    상기 어라운드 뷰 모니터 테이블 값의 갱신 여부를 사용자에게 요구하고, 상기 요구에 따라 상기 어라운드 뷰 모니터 테이블 값을 갱신하는 하는 것을 특징으로 하는 영상 왜곡 보정 장치.
  15. 제 10 항에 있어서, 상기 자동 공차 보정 로직은
    상기 합성 영상의 주차선에 해당하는 화소 위치별 실제 주차 공간 모델에 해당하는 각 카메라 영상의 화소 위치의 최소 4개의 대응점을 가지고 상기 호모그래피 매트릭스를 구성하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  16. 제 10 항에 있어서, 상기 자동 공차 보정 로직은
    상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 각 카메라의 영상에서 라인을 구성하는 픽셀들의 위치별 최소 직선 피팅 오차 크기를 계산하여 상기 제1 직선 방정식 상에 있는 상기 화소별 대응점들을 예측하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  17. 제 10 항에 있어서, 상기 자동 공차 보정 로직은,
    직선 피팅 오차가 큰 에지 선은 제1 직선 방정식 후보에서 제거하며, 동일 기울기를 가지며 절편이 다른 직선 방정식들의 경우에는 절편의 평균으로 하나의 제1 직선 방정식으로 통합하는 것을 특징으로 하는 영상 왜곡 보정 장치.
  18. 하나 이상의 카메라들을 이용하여 차량 주변 영상들을 생성하는 영상 입력부;
    상기 하나 이상의 카메라들로부터 입력되는 영상들로부터 합성된 영상에서 차량 마스크를 제외한 나머지 부분 영상의 에지 영상을 획득하고, 상기 획득한 에지 영상으로부터 하나 이상의 제1 직선 방정식들을 산출하고, 상기 제1 직선 방정식들로부터 각 카메라의 영상에 포함된 교차점들을 탐색하고, 상기 제1 직선 방정식들과 상기 탐색한 교차점들로부터 주차 공간을 모델링하고, 상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 상기 제1 직선 방정식들 상에 있는 각 카메라의 영상에 포함된 화소별 대응점들을 예측하고, 상기 예측한 화소별 대응점들에 기반하여 각 카메라 영상을 위해 각각의 호모그래피 매트릭스를 구성하고, 이후 N 프레임 동안 상기 화소 대응점들을 갱신하고, 이 갱신된 화소 대응점들에 기반하여 상기 상기 호모그래피 매트릭스를 상기 N 프레임 동안 누적하고, 상기 카메라들 중 적어도 하나의 카메라 영상에서 N 프레임 이상 직선 피팅 오차가 임계치를 초과하는 경우, 해당 카메라의 어라운드 뷰 모니터 테이블 값을 상기 누적된 호모그래피 매트릭스를 이용하여 갱신하는 영상 왜곡 보정부; 그리고,
    상기 갱신된 어라운드 뷰 모니터 테이블 값에 근거하여 합성 영상의 왜곡을 보정하여 출력하도록 제어하는 제어부를 포함하여 이루어지는 것을 특징으로 하는 영상 처리 장치.
  19. 제 18 항에 있어서, 상기 영상 왜곡 보정부는
    상기 합성 영상의 주차선에 해당하는 화소 위치별 실제 주차 공간 모델에 해당하는 각 카메라 영상의 화소 위치의 최소 4개의 대응점을 가지고 상기 호모그래피 매트릭스를 구성하는 것을 특징으로 하는 영상 처리 장치.
  20. 제 18 항에 있어서, 상기 영상 왜곡 보정부는
    상기 모델링된 주차 공간을 구성하는 제2 직선 방정식들과 상기 제1 직선 방정식의 차이를 이용하여 각 카메라의 영상에서 라인을 구성하는 픽셀들의 위치별 최소 직선 피팅 오차 크기를 계산하여 상기 제1 직선 방정식 상에 있는 상기 화소별 대응점들을 예측하는 것을 특징으로 하는 영상 처리 장치.
  21. 제 18 항에 있어서, 상기 영상 왜곡 보정부는,
    직선 피팅 오차가 큰 에지 선은 제1 직선 방정식 후보에서 제거하며, 동일 기울기를 가지며 절편이 다른 직선 방정식들의 경우에는 절편의 평균으로 하나의 제1 직선 방정식으로 통합하는 것을 특징으로 하는 영상 처리 장치.
KR1020140000602A 2014-01-03 2014-01-03 영상 왜곡 보정 방법 및 이를 위한 장치 KR101572065B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140000602A KR101572065B1 (ko) 2014-01-03 2014-01-03 영상 왜곡 보정 방법 및 이를 위한 장치
US14/518,017 US9387804B2 (en) 2014-01-03 2014-10-20 Image distortion compensating apparatus and operating method thereof
CN201410567411.9A CN104760540B (zh) 2014-01-03 2014-10-22 影像补正装置及其工作方法
DE102014116199.8A DE102014116199B4 (de) 2014-01-03 2014-11-06 Bildverzerrungs-Kompensationsvorrichtung und Betriebsverfahren dafür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140000602A KR101572065B1 (ko) 2014-01-03 2014-01-03 영상 왜곡 보정 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20150081042A KR20150081042A (ko) 2015-07-13
KR101572065B1 true KR101572065B1 (ko) 2015-11-25

Family

ID=53443211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000602A KR101572065B1 (ko) 2014-01-03 2014-01-03 영상 왜곡 보정 방법 및 이를 위한 장치

Country Status (4)

Country Link
US (1) US9387804B2 (ko)
KR (1) KR101572065B1 (ko)
CN (1) CN104760540B (ko)
DE (1) DE102014116199B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109792477A (zh) * 2016-09-27 2019-05-21 科恩托罗尼丝株式会社 用于svm系统的相机图像畸变校正系统及其校正方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150019192A (ko) * 2013-08-13 2015-02-25 현대모비스 주식회사 Avm 시스템을 위한 영상 합성 장치 및 그 방법
KR101709009B1 (ko) * 2015-08-18 2017-02-21 주식회사 와이즈오토모티브 어라운드 뷰 왜곡 보정 시스템 및 방법
JP6551263B2 (ja) * 2016-03-02 2019-07-31 株式会社デンソー ヘッドアップディスプレイ装置
KR102528003B1 (ko) * 2016-07-27 2023-05-02 현대모비스 주식회사 차량용 카메라 공차 보정 방법 및 그 장치
CN109215062B (zh) * 2017-06-29 2022-02-08 沈阳新松机器人自动化股份有限公司 基于图像视觉的动作捕捉方法、双目定位装置及系统
KR102508984B1 (ko) * 2017-09-22 2023-03-13 엘지이노텍 주식회사 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
CN110136070B (zh) * 2018-02-02 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US11288525B2 (en) * 2018-10-31 2022-03-29 Texas Instruments Incorporated Object detection for distorted images
CN113627277A (zh) * 2021-07-20 2021-11-09 的卢技术有限公司 一种识别车位的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182236A (ja) * 2010-03-02 2011-09-15 Toshiba Alpine Automotive Technology Corp カメラキャリブレーション装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314339A (ja) * 1993-04-27 1994-11-08 Honda Motor Co Ltd 画像の直線成分抽出装置
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4595733B2 (ja) * 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
DE102006036933B4 (de) * 2006-08-08 2024-01-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
KR100857330B1 (ko) * 2006-12-12 2008-09-05 현대자동차주식회사 주차 궤적 인식 장치 및 자동 주차 시스템
US20090282365A1 (en) * 2007-02-06 2009-11-12 Nikon Corporation Image processing apparatus, image reproducing apparatus, imaging apparatus and program recording medium
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
DE112010005565T5 (de) * 2010-05-14 2013-02-28 Mitsubishi Electric Corp. Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit
KR101113679B1 (ko) * 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
US9294755B2 (en) * 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US8938129B2 (en) * 2012-04-30 2015-01-20 Samsung Electronics Co., Ltd. Display system with edge map conversion mechanism and method of operation thereof
KR101364202B1 (ko) 2012-06-25 2014-02-20 서채영 반도체 제조장비의 유해가스 배관 흡착 방지를 위한 ｎｃｆ 가열시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182236A (ja) * 2010-03-02 2011-09-15 Toshiba Alpine Automotive Technology Corp カメラキャリブレーション装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109792477A (zh) * 2016-09-27 2019-05-21 科恩托罗尼丝株式会社 用于svm系统的相机图像畸变校正系统及其校正方法

Also Published As

Publication number Publication date
CN104760540A (zh) 2015-07-08
KR20150081042A (ko) 2015-07-13
US20150193916A1 (en) 2015-07-09
CN104760540B (zh) 2017-04-05
DE102014116199B4 (de) 2021-04-01
DE102014116199A1 (de) 2015-07-09
US9387804B2 (en) 2016-07-12

Similar Documents

Publication Publication Date Title
KR101572065B1 (ko) 영상 왜곡 보정 방법 및 이를 위한 장치
JP7054293B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
US10594943B2 (en) Camera calibration device and camera calibration system
US20200086791A1 (en) Apparatus and method for displaying information
EP3163535A1 (en) Wide-area image acquisition method and device
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
WO2011090163A1 (ja) パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
JP2017078923A (ja) キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
JP7247173B2 (ja) 画像処理方法及び装置
JP5760999B2 (ja) 画像処理装置及び画像処理方法
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
CN110796711B (zh) 全景系统标定方法、装置、计算机可读存储介质及车辆
CN111819571A (zh) 具有经调整适配的投影面的全景环视系统
JP4872890B2 (ja) 画像の歪曲補正方法
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
US20210075959A1 (en) Sensor fusion based perceptually enhanced surround view
KR101245529B1 (ko) 카메라 캘리브레이션 방법
JP4867709B2 (ja) 表示歪み測定装置及び表示歪み測定方法
JP5883275B2 (ja) 車載カメラのキャリブレーション装置
US20180045934A1 (en) Medical observation device, lens driving control device, lens driving control method, program, and video microscope device
JP6690637B2 (ja) 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置
JP2009083744A (ja) 合成画像調整装置
CN111355880A (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
JP7444902B2 (ja) モバイルプラットフォーム周辺部の不明領域の調和された表現を実施する方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 5