KR101807090B1 - 영상 왜곡 보정 장치 및 방법 - Google Patents

영상 왜곡 보정 장치 및 방법 Download PDF

Info

Publication number
KR101807090B1
KR101807090B1 KR1020160076343A KR20160076343A KR101807090B1 KR 101807090 B1 KR101807090 B1 KR 101807090B1 KR 1020160076343 A KR1020160076343 A KR 1020160076343A KR 20160076343 A KR20160076343 A KR 20160076343A KR 101807090 B1 KR101807090 B1 KR 101807090B1
Authority
KR
South Korea
Prior art keywords
image
unit
distortion correction
correction
variable
Prior art date
Application number
KR1020160076343A
Other languages
English (en)
Inventor
김기범
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020160076343A priority Critical patent/KR101807090B1/ko
Priority to CN202210752902.5A priority patent/CN114928698A/zh
Priority to CN201710465975.5A priority patent/CN107529007A/zh
Priority to US15/628,204 priority patent/US10388001B2/en
Priority to DE102017210258.6A priority patent/DE102017210258A1/de
Application granted granted Critical
Publication of KR101807090B1 publication Critical patent/KR101807090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G06T5/006—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

본 발명은 영상 왜곡 보정 장치에 대한 것으로, 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치는 복수의 영상구분단위를 포함하는 영상의 왜곡을 보정하는 영상 왜곡 보정 장치에 있어서, 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 조절하는 가변 왜곡 보정율을 설정하는 보정율 설정부; 및 상기 보정율 설정부에서 설정된 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정하는 보정부를 포함한다.

Description

영상 왜곡 보정 장치 및 방법{APPARATUS AND METHOD FOR REVISING IMAGE DISTORTION}
본 발명은 영상 왜곡 보정 기술에 관한 것으로, 구체적으로 픽셀마다 가변적인 왜곡 보정율을 적용함으로써 영상 왜곡을 보정하는 기술에 관한 것이다.
영상 렌즈 왜곡 보정 기술은 큰 화각을 가지는 렌즈의 왜곡 영상을 보정하는 기술이며, 내시경이나 자동차 분야에 많이 활용되고 있다.
특히 자동차 분야의 경우 차량의 주변을 확인하는 방법에는 육안을 통해 확인하는 방법과 사이드 미러를 통해 확인하는 방법이 있다. 그러나 차종에 따라서는 육안 또는 사이드 미러를 통해 주변을 쉽게 확인할 수 있는 차량이 있는가 하면, 주변을 쉽게 확인할 수 없는 차량이 있다. 특히, 대형 차량의 경우 육안 또는 사이드 미러만으로는 확인할 수 없는 영역이 소형 차량에 비해 상대적으로 많다.
따라서, 최근에는 차량에 장착된 후방카메라를 이용하거나 차량의 전후좌후 방향에 각각 설치된 카메라를 통하여 주변 환경을 촬영하고, 촬영된 영상을 조합하여 차량의 주변 영상을 출력하는 기술이 개발되고 있다. 이와 같이, 차량의 전후좌우 방향에 설치된 카메라는 큰 화각을 갖는 광각 렌즈가 주로 사용되며, 화각이 180°를 넘는 초광각 렌즈인 어안 렌즈(fish-eye lens)도 사용되고 있다. 그러나, 광각 렌즈 및 어안 렌즈와 같이 화각이 큰 렌즈를 이용하여 촬영된 영상은 넓은 시야각을 제공해 주는 대신 영상의 가장자리 영역으로 갈수록 굴절률이 커져서 왜곡이 심한 영상을 보여주게 된다. 따라서, 광각 렌즈 및 어안 렌즈와 같이 화각이 큰 렌즈를 이용하여 촬영된 영상의 왜곡을 보정하는 방안이 요구되고 있다.
도 1은 종래의 영상 왜곡 보정 장치가 수학적 모델을 이용하여 영상을 보정하는 과정을 도시한 도면이다.
도 1을 참조하면, 종래의 영상 왜곡 보정 장치는 왜곡된 영상(110)의 픽셀 좌표 각각을 기 설정된 수학식에 대입하여 보정된 픽셀 좌표를 얻은 후 이를 배열하여 보정된 영상(120)을 획득한다.
이와 같은 방법은 모든 픽셀에 대하여 계산을 하여야 하므로 구현 복잡도가 높고 큰 용량의 메모리가 필요하다는 문제점이 있다. 또한, 고정 왜곡 보정율을 적용하여 보정함에 따라 왜곡된 영상(110)에서 존재하던 보행자(111)가 보정된 영상(120)에서는 사라져 사각지대가 발생하는 문제점과 보정된 영상이 실제 거리보다 가까이 보이는 원근감 오차가 발생하는 문제점도 있다.
도 2는 종래의 영상 왜곡 보정 장치가 룩업 테이블을 이용하여 영상을 보정하는 과정을 도시한 도면이다.
도 2를 참조하면, 종래의 영상 왜곡 보정 장치는 먼저 입력 영상에 대해 캘리브레이션 알고리즘을 적용하여 입력 영상의 변화된 픽셀 좌표를 얻어 입력 테이블(210)을 생성한다. 이후, 모든 픽셀을 재구성할 때 이동될 결과 좌표 값을 취득한다. 이후, 상기 결과 좌표 값을 통해 보정 테이블(230)을 생성하여 저장한다. 이후, 입력 테이블(210)을 보정 테이블(230)에 대응시켜 재구성한 출력 테이블(220)을 생성한다. 이후, 출력 테이블(220)을 통해 영상 왜곡을 보정한다.
이와 같은 방법도 보정 전후 픽셀 값들을 모두 저장해야 하므로 큰 용량의 메모리가 필요하다는 문제점이 있다. 또한, 왜곡된 정도만큼 보정하기 위해 기존 영상 크기보다 크게 확대가 되기 때문에 사각지대가 발생하는 문제점과 보정된 영상이 실제 거리보다 가까이 보이는 원근감 오차가 발생하는 문제점도 있다.
대한민국공개특허공보 10-2004-0022348
본 발명은 가변 왜곡 보정율을 적용하여 왜곡된 영상을 보정함으로써, 왜곡 영상 보정시 발생하는 사각지대를 최소화시키는 데 목적이 있다.
또한, 본 발명은 가변 왜곡 보정율을 적용하여 왜곡된 영상을 보정함으로써, 왜곡 영상 보정시 발생하는 원근감 오차를 최소화시키는 데 목적이 있다.
본 발명의 일 실시예에 따른 영상 왜곡 보정 장치는 복수의 영상구분단위를 포함하는 영상의 왜곡을 보정하는 영상 왜곡 보정 장치에 있어서, 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 조절하는 가변 왜곡 보정율을 설정하는 보정율 설정부; 및 상기 보정율 설정부에서 설정된 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정하는 보정부를 포함한다.
또한, 상기 복수의 영상구분단위 중 중심 영상구분단위를 설정하는 영상 중심 설정부를 더 포함하고, 상기 보정율 설정부는 상기 영상 중심 설정부에서 설정된 상기 중심 영상구분단위를 기준으로 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 상기 가변 왜곡 보정율을 설정할 수 있다.
또한, 상기 보정부에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 상기 복수의 영상구분단위 각각은 가변비율만큼 이동 및 영상정보값이 변환될 수 있다.
또한, 상기 보정부에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 생성된 공간에 보간 영상구분단위를 삽입하는 보간부를 더 포함할 수 있다.
또한, 상기 보간부는 상기 중심 영상구분단위를 기준으로 수평 방향과 수직 방향으로 나누어 상기 보간 영상구분단위를 삽입할 수 있다.
또한, 상기 보간 영상구분단위의 영상정보값은 인접한 영상구분단위들의 영상정보값에 따라 설정될 수 있다.
또한, 상기 복수의 영상구분단위를 포함하는 영상이 입력되는 영상 입력부를 더 포함하는 할 수 있다.
또한, 상기 보간부에서 보간된 영상이 출력되는 영상 출력부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 왜곡 보정 방법은 복수의 영상구분단위를 포함하는 영상의 왜곡을 보정하는 영상 왜곡 보정 방법에 있어서, 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 조절하는 가변 왜곡 보정율을 설정하는 보정율 설정 단계; 및 상기 보정율 설정 단계에서 설정된 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정하는 보정 단계를 포함한다.
또한, 상기 복수의 영상구분단위 중 중심 영상구분단위를 설정하는 영상 중심 설정 단계를 더 포함하고, 상기 보정율 설정 단계는 상기 영상 중심 설정 단계에서 설정된 상기 중심 영상구분단위를 기준으로 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 상기 가변 왜곡 보정율을 설정할 수 있다.
또한, 상기 보정 단계에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 상기 복수의 영상구분단위 각각은 가변비율만큼 이동 및 영상정보값이 변환될 수 있다.
또한, 상기 보정 단계에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 생성된 공간에 보간 영상구분단위를 삽입하는 보간 단계를 더 포함할 수 있다.
또한, 상기 보간 단계는 상기 중심 영상구분단위를 기준으로 수평 방향과 수직 방향으로 나누어 상기 보간 영상구분단위를 삽입할 수 있다.
또한, 상기 보간 영상구분단위의 영상정보값은 인접한 영상구분단위들의 영상정보값에 따라 설정될 수 있다.
본 발명은 가변 왜곡 보정율을 적용하여 왜곡된 영상을 보정함으로써, 왜곡 영상 보정시 발생하는 사각지대를 최소화시키는 효과가 있다.
또한, 본 발명은 가변 왜곡 보정율을 적용하여 왜곡된 영상을 보정함으로써, 왜곡 영상 보정시 발생하는 원근감 오차를 최소화시키는 효과가 있다.
도 1은 종래의 영상 왜곡 보정 장치가 수학적 모델을 이용하여 영상을 보정하는 과정을 도시한 도면이다.
도 2는 종래의 영상 왜곡 보정 장치가 룩업 테이블을 이용하여 영상을 보정하는 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에서 가변 왜곡 보정율을 적용하는 과정을 도시한 설명도이다.
도 5는 입력 영상의 복수의 영상구분단위를 개략적으로 도시한 설명도이다.
도 6은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에서 영상구분단위를 수평 방향으로 보정 및 보간하는 과정을 도시한 설명도이다.
도 7은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에서 영상구분단위를 수직 방향으로 보정 및 보간하는 과정을 도시한 설명도이다.
도 8은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에 따라 왜곡 영상이 보정된 것을 도시한 설명도이다.
도 9는 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치의 영상 왜곡 보정 방법을 순차적으로 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
이하, 도 3 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에 대해 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치의 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치(300)는 영상 입력부(310), 영상 중심 설정부(320), 보정율 설정부(330), 보정부(340), 보간부(350) 및 영상 출력부(360)을 포함한다.
영상 입력부(310)는 촬영 장비로부터 촬영된 영상을 입력 받는다. 영상 중심 설정부(320)는 복수의 영상구분단위 중 중심 영상구분단위를 설정한다. 보정율 설정부(330)는 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 조절하는 가변 왜곡 보정율을 설정한다. 보정부(340)는 보정율 설정부(330)에서 설정된 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정한다. 보간부(350)는 보정부(340)에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 생성된 공간에 보간 영상구분단위를 삽입한다. 영상 출력부(360)는 보간부(350)에서 보간된 영상이 출력된다.
영상 입력부(310)는 촬영 장비로부터 촬영된 영상을 입력 받는다. 상기 촬영 장비는 카메라, CCTV 등과 같이 영상을 촬영할 수 있는 장치 모두를 포함한다. 특히, 상기 촬영 장비는 차량 전후좌우에 장착되는 카메라를 포함한다. 이때, 상기 촬영 장비로부터 영상 입력부(310)에 입력되는 영상은 사진 또는 동영상을 포함한다. 또한, 영상 입력부(310)로 입력되는 영상은 복수의 영상구분단위를 포함한다. 상기 영상구분단위는 상기 영상을 일정한 크기로 구분할 수 있는 단위를 의미한다. 예를 들어, 상기 영상구분단위는 픽셀을 의미할 수 있다.
영상 중심 설정부(320)는 복수의 영상구분단위 중 중심 영상구분단위를 설정한다. 영상 중심 설정부(320)는 상기 영상의 수평방향 및 수직방향에 대하여 가장 가운데 있는 영상구분단위를 상기 중심 영상구분단위로 설정할 수 있다. 또한, 영상 중심 설정부(320)는 상기 영상 중 가장 왜곡이 심한 부분에 있는 영상구분단위를 상기 중심 영상구분단위로 설정할 수 있다. 영상 중심 설정부(320)는 이 밖에 다양한 방법으로 상기 중심 영상구분단위를 설정할 수 있다.
보정율 설정부(330)는 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 조절하는 가변 왜곡 보정율을 설정한다. 이때, 보정율 설정부(330)는 영상 중심 설정부(320)에서 설정된 상기 중심 영상구분단위를 기준으로 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 상기 가변 왜곡 보정율을 설정할 수 있다. 예를 들어, 상기 가변 왜곡 보정율은 하기의 수학식으로 설정될 수 있다.
Figure 112016058887119-pat00001
이때, r은 영상에 왜곡이 없다고 가정할 때 상기 중심영상구분단위에서 보정되는 영상구분단위까지의 거리를 의미하고, k1, k2, k3, k4 각각은 왜곡 계수를 의미한다. 보정율 설정부(330)는 상기 왜곡 계수를 렌즈 특성, 카메라 장착 오차, 카메라 감시영역 등을 고려하여 설정한다. 상기 수학식 1이 나타내는 가변 왜곡 보정율은 예시에 불과하고, 보정율 설정부(330)는 상기 수학식 1과 다르게 상기 가변 왜곡 보정율을 설정할 수 있다. 이하, 도 4를 참조하여 영상에 가변 왜곡 보정율을 적용하는 과정을 개략적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에서 가변 왜곡 보정율을 적용하는 과정을 도시한 설명도이다. 이때, 도 4 (a) 및 도 4 (b) 모두 가장 좌측에 있는 부분이 보정 전 영상, 가운데 있는 부분이 보정 후 영상, 가장 우측에 있는 부분이 보정 전 영상에 왜곡 보정율을 적용한 영상을 나타낸다.
도 4 (a)는 영상에 고정 왜곡 보정율을 적용하는 과정을 나타낸다. 도 4 (a)에서 가장 우측에 있는 부분을 참조하면, 중심 영상구분단위에서 외곽쪽으로 갈수록 영상이 계속적으로 확대되는 것을 확인할 수 있다. 따라서, 보정 후 영상에서 보정 전 영상의 외곽부분에 있던 영상이 제거되는 문제점이 있다.
도 4 (b)는 가변 왜곡 보정율을 적용하는 과정을 나타낸다. 도 4 (b)에서 가장 우측에 있는 부분을 참조하면, 중심 영상구분단위에서 외곽쪽으로 가면서 확대, 축소를 반복하는 것을 확인할 수 있다. 따라서, 보정 후 영상에서 보정 전 영상의 외곽부분에 있던 영상이 남아있게 되는 것을 확인할 수 있다.
보정부(340)는 보정율 설정부(330)에서 설정된 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정한다. 이때, 보정부(340)는 상기 중심 영상구분단위를 기준으로 수평 방향과 수직 방향으로 나누어 상기 복수의 영상구분단위를 보정할 수 있다. 보정부(340)에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 상기 복수의 영상구분단위 각각은 가변비율만큼 이동 및 영상정보값이 변환된다. 이때, 상기 영상정보값은 상기 영상구분단위가 픽셀인 경우, 픽셀값을 의미한다. 이에 대해서는 도 5 내지 도 7을 참조하여 후술한다.
보간부(350)는 보정부(340)에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 생성된 공간에 보간 영상구분단위를 삽입한다. 보간부(350)는 상기 중심 영상구분단위를 기준으로 수평 방향과 수직 방향으로 나누어 상기 보간 영상구분단위를 삽입할 수 있다. 이때, 상기 보간 영상구분단위의 영상정보값은 인접한 영상구분단위들의 영상정보값에 따라 설정된다. 이때, 상술한 바와 같이, 상기 영상정보값은 상기 영상구분단위가 픽셀인 경우, 픽셀값을 의미한다. 이하, 도 5 내지 도 7을 참조하여 상기 복수의 영상구분단위를 보정 및 보간하는 과정에 대해 설명한다.
이하의 설명에서는 상기 영상구분단위는 픽셀인 것을 전제하여 설명한다.
도 5는 입력 영상의 복수의 영상구분단위를 개략적으로 도시한 설명도이다.
도 5를 참조하면, 영상 입력부(310)로 입력된 영상(501)이 복수의 영상구분단위를 포함하고 있는 것을 확인할 수 있다. 이때, 설명의 편의를 위해 영상 입력부(310)로 입력된 영상(501)의 가장 가운데 있는 영상구분단위를 중심 영상구분단위(502)로 전제한다. 또한, 중심 영상구분단위(502)에 표시된 502라는 수치는 영상구분단위의 위치를 의미하고, 50이라는 수치는 중심 영상구분단위(502)의 픽셀값을 의미하며, 다른 영상구분단위도 같다는 것을 전제한다.
도 6은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에서 영상구분단위를 수평 방향으로 보정 및 보간하는 과정을 도시한 설명도이다.
보정부(340)는 중심 영상구분단위(502)를 기준으로 좌측 및 우측에 있는 영상구분단위를 상기 가변 왜곡 보정율에 따라 보정함으로써, 중심 영상구분단위(502)를 기준으로 좌측 및 우측에 있는 영상구분단위 각각은 가변비율만큼 이동 및 픽셀값이 변환된다.
도 6을 참조하면, 보정 전 중심 영상구분단위(502)에서 우측으로 첫 번째에 있는 영상구분단위(515)는 우측으로 가변비율(610)만큼 이동되어 보정 전 중심 영상구분단위(502)에서 우측으로 두 번째에 있는 영상구분단위(516)의 위치로 이동된다. 이때, 보정 전 중심 영상구분단위(502)에서 우측으로 첫 번째에 있던 영상구분단위(515)는 픽셀값이 60에서 70으로 변환된다. 즉, 보정 전 중심 영상구분단위(502)에서 우측으로 첫 번째에 있던 영상구분단위(515)는 보정됨에 따라 가변비율(610)만큼 이동 및 픽셀값이 변환되어 보정 전 값들을 갖지 않게 되므로, 실질적으로 영상구분단위가 재생성되는 결과가 된다.
또한, 보정 전 중심 영상구분단위(502)에서 우측으로 두 번째에 있는 영상구분단위(516)는 우측으로 가변비율(620)만큼 이동되어 보정 전 중심 영상구분단위(502)에서 우측으로 다섯 번째에 있는 영상구분단위(519)의 위치로 이동된다. 이때, 보정 전 중심 영상구분단위(502)에서 우측으로 두 번째에 있던 영상구분단위(516)는 픽셀값이 70에서 100으로 변환된다. 즉, 보정 전 중심 영상구분단위(502)에서 우측으로 두 번째에 있던 영상구분단위(516)는 보정됨에 따라 가변비율(620)만큼 이동 및 픽셀값이 변환되어 보정 전 값들을 갖지 않게 되므로, 실질적으로 영상구분단위가 재생성되는 결과가 된다.
한편, 상기 예는 중심 영상구분단위(502)를 기준으로 좌측 및 우측에 있는 영상구분단위 각각이 증가되는 비율에 따라 이동 및 픽셀값이 변환되는 과정에 대해서만 설명하였으나, 가변비율만큼 이동 및 해상도를 변환시키는 것이므로 중심 영상구분단위(502)를 기준으로 좌측 및 우측에 있는 영상구분단위 각각이 축소되는 비율에 따라 이동 및 픽셀값이 변환될 수 있음은 자명하다.
또한, 상기 예는 보정 전 중심 영상구분단위(502)에서 우측으로 첫 번째에 있는 영상구분단위(515)와 우측으로 두 번째에 있는 영상구분단위(516)에 대해서만 설명하였으나, 중심 영상구분단위(502)를 기준으로 좌측 및 우측에 있는 나머지 영상구분단위에도 마찬가지로 적용된다.
이후, 보간부(350)는 중심 영상구분단위(502)를 기준으로 좌측 및 우측에 있는 영상구분단위 각각이 가변비율만큼 이동됨으로써 생성된 공간에 보간 영상구분단위(531, 532, 533)를 삽입할 수 있다. 이때, 상기 보간 영상구분단위의 픽셀값은 인접한 영상구분단위들의 픽셀값에 따라 설정된다. 이는 상기 보간 영상구분단위의 픽셀값이 인접한 영상구분단위들의 픽셀값을 고려하여 영상의 왜곡이 최소화되는 값을 갖도록 설정되는 것을 의미한다. 구체적으로, 상기 보간 영상구분단위의 픽셀값은 상기 보간 영상구분단위와 가장 인접한 영상구분단위들의 픽셀값에 가장 크게 영향을 받는 임의의 값을 갖도록 설정된다.
예를 들어, 중심 영상구분단위(502)와 보정 후 중심 영상구분단위(502)에서 우측으로 첫 번째에 있는 영상구분단위(515) 사이에 삽입된 보간 영상구분단위(531)는 중심 영상구분단위(502)의 픽셀값인 50과 보정 후 중심 영상구분단위(502)에서 우측으로 첫 번째에 있는 영상구분단위(515)의 픽셀값인 70에 가장 큰 영향을 받아 임의의 값인 62를 갖는다.
또한, 보정 후 중심 영상구분단위(502)에서 우측으로 첫 번째에 있는 영상구분단위(515)와 보정 후 중심 영상구분단위(502)에서 우측으로 두 번째에 있는 영상구분단위(516) 사이에 삽입된 보간 영상구분단위(532, 533)는 보정 후 중심 영상구분단위(502)에서 우측으로 첫 번째에 있는 영상구분단위(515)의 픽셀값인 70과 보정 후 중심 영상구분단위(502)에서 우측으로 두 번째에 있는 영상구분단위(516)의 픽셀값인 100에 가장 큰 영향을 받아 임의의 값인 83과 94를 각각 갖는다.
이때, 상기 예시에서는 보간 영상구분단위(531, 532, 533)가 갖는 픽셀값이 인접한 영상구분단위들 픽셀값의 사이값 값을 갖는 것만 예시하였으나, 영상의 왜곡을 최소화하기 위한 임의의 값을 갖는 것이므로 인접한 영상구분단위들 픽셀값의 사이값 이외의 값을 갖을 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에서 영상구분단위를 수직 방향으로 보정 및 보간하는 과정을 도시한 설명도이다.
보정부(340)는 중심 영상구분단위(502)를 기준으로 상측 및 하측에 있는 영상구분단위를 상기 가변 왜곡 보정율에 따라 보정함으로써, 중심 영상구분단위(502)를 기준으로 상측 및 하측에 있는 영상구분단위 각각은 가변비율만큼 이동 및 픽셀값이 변환된다. 이에 대한 구체적인 설명은 도 6을 참조하여 설명한바 생략한다.
이후, 보간부(350)는 중심 영상구분단위(502)를 기준으로 상측 및 하측에 있는 영상구분단위 각각이 가변비율만큼 이동됨으로써 생성된 공간에 보간 영상구분단위(531, 532, 533)를 삽입할 수 있다. 이때, 상기 보간 영상구분단위의 픽셀값은 인접한 영상구분단위들의 픽셀값에 따라 설정된다. 이에 대한 구체적인 설명은 도 6을 참조하여 설명한바 생략한다.
이하, 도 8을 참조하여 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에 따라 왜곡된 영상이 보정됨으로써 발생하는 장점에 대해 설명한다.
도 8은 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치에 따라 왜곡 영상이 보정된 것을 도시한 설명도이다. 이때, 도 8 (a)는 보정 전 영상을 나타낸 도면, 도 8 (b)는 종래의 영상 왜곡 보정 장치에 따라 보정된 영상을 나타낸 도면, 도 8 (c)는 본 발명에 따른 영상 왜곡 보정 장치에 따라 보정된 영상을 나타낸 도면이다.
도 8 (b)를 참조하면, 종래의 영상 왜곡 보정 장치는 고정 왜곡 보정율에 따라 영상을 보정하여, 보정 전 영상에 외곽 부분이 제거된 것을 확인할 수 있다. 또한, 실제 거리보다 가깝게 보이도록 보정이 되어 원근감 오차도 발생하는 것을 확인할 수 있다.
그러나, 도 8 (c)를 참조하면, 본 발명에 따른 영상 왜곡 보정장치는 가변 왜곡 보정율에 따라 영상을 보정하여, 보정 전 영상에 왜곡 부분이 보존된 것을 확인할 수 있다. 또한, 실제 거리와 비슷하게 보이도록 보정이 되어 원근감 오차도 최소화된 것을 확인할 수 있다. 즉, 본 발명에 따른 영상 왜곡 보정 장치에 따라 영상을 보정하면 사각지대 최소화 및 원근감 오차 최소화 효과가 있다.
이하, 도 9를 참조하여 본 발명의 일 실시예에 따른 영상 왜곡 보정 방법에 대해 설명한다. 이때, 도 3 내지 도 8을 참조하여 설명한 부분과 중복되는 부분에 대해서는 설명을 생략한다.
도 9는 본 발명의 일 실시예에 따른 영상 왜곡 보정 장치의 영상 왜곡 보정 방법을 순차적으로 도시한 흐름도이다.
도 9를 참조하면, 먼저 영상 입력부(310)는 복수의 영상구분단위를 포함하는 영상을 입력 받는다(S101).
이후, 영상 중심 설정부(320)는 상기 복수의 영상구분단위 중 중심 영상구분단위를 설정한다(S103).
이후, 왜곡율 설정부(330)는 상기 중심 영상구분단위를 기준으로 상기 복수의 영상구분단위 각각이 서로 다른 비율로 보정되도록 조절하는 가변 왜곡 보정율을 설정한다(S105).
이후, 보정부(340)는 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정한다(S107).
이후, 보간부(350)는 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 생성된 공간에 보간 영상구분단위를 삽입한다(S109).
이후, 영상 출력부(360)에서 S109 단계에서 보간된 영상이 출력된다(S111).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300 : 영상 왜곡 보정 장치 310 : 영상 입력부
320 : 영상 중심 설정부 330 : 보정율 설정부
340 : 보정부 350 : 보간부
360 : 영상 출력부

Claims (14)

  1. 복수의 영상구분단위를 포함하는 영상의 왜곡을 보정하는 영상 왜곡 보정 장치에 있어서,
    상기 복수의 영상구분단위 중에서 중심 영상구분단위를 설정하는 영상 중심 설정부;
    상기 중심 영상구분단위를 기준으로 상기 복수의 영상구분단위의 각각이 서로 다른 비율로 보정되도록 가변 왜곡 보정율을 설정하는 보정율 설정부; 및
    상기 보정율 설정부에서 설정된 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정하는 보정부를 포함하고,
    상기 가변 왜곡 보정율은, 상기 중심 영상구분단위로부터 대응하는 영상구분단위까지 거리(r)에 대한 다항식 함수로 표현되고,
    상기 보정율 설정부는 상기 가변 왜곡 보정율을 설정하기 위하여 상기 다항식 함수의 왜곡 계수들을 설정하는 것을 특징으로 하는 영상 왜곡 보정 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 보정부에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 상기 복수의 영상구분단위의 각각은 가변비율만큼 이동 및 영상정보값이 변환되는 것을 특징으로 하는 영상 왜곡 보정 장치.
  4. 제 3항에 있어서,
    상기 보정부에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 생성된 공간에 보간 영상구분단위를 삽입하는 보간부를 더 포함하는 영상 왜곡 보정 장치.
  5. 제 4항에 있어서,
    상기 보간부는 상기 중심 영상구분단위를 기준으로 수평 방향과 수직 방향으로 나누어 상기 보간 영상구분단위를 삽입하는 것을 특징으로 하는 영상 왜곡 보정 장치.
  6. 제 4항에 있어서,
    상기 보간 영상구분단위의 영상정보값은 인접한 영상구분단위들의 영상정보값에 따라 설정되는 것을 특징으로 하는 영상 왜곡 보정 장치.
  7. 제 1항에 있어서,
    상기 복수의 영상구분단위를 포함하는 영상이 입력되는 영상 입력부를 더 포함하는 영상 왜곡 보정 장치.
  8. 제 4항에 있어서,
    상기 보간부에서 보간된 영상이 출력되는 영상 출력부를 더 포함하는 영상 왜곡 보정 장치.
  9. 복수의 영상구분단위를 포함하는 영상의 왜곡을 보정하는 영상 왜곡 보정 방법에 있어서,
    상기 복수의 영상구분단위 중에서 중심 영상구분단위를 설정하는 영상 중심 설정 단계;
    상기 중심 영상구분단위를 기준으로 상기 복수의 영상구분단위의 각각이 서로 다른 비율로 보정되도록 가변 왜곡 보정율을 설정하는 보정율 설정 단계; 및
    상기 보정율 설정 단계에서 설정된 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정하는 보정 단계를 포함하고,
    상기 가변 왜곡 보정율은 상기 중심 영상구분단위로부터 대응하는 영상구분단위까지 거리(r)에 대한 다항식 함수로 표현되고,
    상기 보정율 설정 단계는, 상기 가변 왜곡 보정율을 설정하기 위하여 상기 다항식 함수의 왜곡 계수들을 설정하는 단계를 포함하는 것을 특징으로 하는 영상 왜곡 보정 방법.
  10. 삭제
  11. 제 9항에 있어서,
    상기 보정 단계에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 상기 복수의 영상구분단위의 각각은 가변비율만큼 이동 및 영상정보값이 변환되는 것을 특징으로 하는 영상 왜곡 보정 방법.
  12. 제 11항에 있어서,
    상기 보정 단계에서 상기 가변 왜곡 보정율에 따라 상기 복수의 영상구분단위를 보정함으로써 생성된 공간에 보간 영상구분단위를 삽입하는 보간 단계를 더 포함하는 영상 왜곡 보정 방법.
  13. 제 12항에 있어서,
    상기 보간 단계는 상기 중심 영상구분단위를 기준으로 수평 방향과 수직 방향으로 나누어 상기 보간 영상구분단위를 삽입하는 것을 특징으로 하는 영상 왜곡 보정 방법.
  14. 제 12항에 있어서,
    상기 보간 영상구분단위의 영상정보값은 인접한 영상구분단위들의 영상정보값에 따라 설정되는 것을 특징으로 하는 영상 왜곡 보정 방법.
KR1020160076343A 2016-06-20 2016-06-20 영상 왜곡 보정 장치 및 방법 KR101807090B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160076343A KR101807090B1 (ko) 2016-06-20 2016-06-20 영상 왜곡 보정 장치 및 방법
CN202210752902.5A CN114928698A (zh) 2016-06-20 2017-06-19 影像歪曲校正装置及方法
CN201710465975.5A CN107529007A (zh) 2016-06-20 2017-06-19 影像歪曲校正装置及方法
US15/628,204 US10388001B2 (en) 2016-06-20 2017-06-20 Apparatus and method for compensating image distortion
DE102017210258.6A DE102017210258A1 (de) 2016-06-20 2017-06-20 Vorrichtung und Verfahren zum Kompensieren einer Bildstörung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160076343A KR101807090B1 (ko) 2016-06-20 2016-06-20 영상 왜곡 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101807090B1 true KR101807090B1 (ko) 2017-12-08

Family

ID=60480807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160076343A KR101807090B1 (ko) 2016-06-20 2016-06-20 영상 왜곡 보정 장치 및 방법

Country Status (4)

Country Link
US (1) US10388001B2 (ko)
KR (1) KR101807090B1 (ko)
CN (2) CN114928698A (ko)
DE (1) DE102017210258A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053099B1 (ko) 2018-06-07 2019-12-06 현대오트론 주식회사 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807090B1 (ko) * 2016-06-20 2017-12-08 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
CN108761777B (zh) * 2018-03-30 2021-04-20 京东方科技集团股份有限公司 一种确定光学装置畸变量、畸变校正的方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010003014A (ja) * 2008-06-18 2010-01-07 Alpine Electronics Inc 車両周辺表示装置およびその表示方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215914B1 (en) * 1997-06-24 2001-04-10 Sharp Kabushiki Kaisha Picture processing apparatus
KR100456632B1 (ko) 2002-09-05 2004-11-10 한국전자통신연구원 영상 기반 렌즈 왜곡 보정 장치 및 방법
US20070211154A1 (en) * 2006-03-13 2007-09-13 Hesham Mahmoud Lens vignetting correction algorithm in digital cameras
JP5091575B2 (ja) * 2007-07-20 2012-12-05 三洋電機株式会社 映像表示装置
KR100956228B1 (ko) 2007-11-15 2010-05-04 삼성전기주식회사 왜곡 영상 보정 기능을 갖는 영상처리 장치
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
TWI423659B (zh) * 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
JP5914813B2 (ja) * 2011-01-06 2016-05-11 パナソニックＩｐマネジメント株式会社 カメラ、歪み補正装置、及び歪み補正方法
US20120268562A1 (en) * 2011-04-20 2012-10-25 Himax Technologies Limited Image processing module and image processing method thereof for 2d/3d images conversion and frame rate conversion
KR20150018966A (ko) * 2013-08-12 2015-02-25 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 휘도 조정 방법
US9363524B2 (en) * 2013-08-26 2016-06-07 Amlogic Co., Limited Method and apparatus for motion compensation reference data caching
CN103810675B (zh) * 2013-09-09 2016-09-21 深圳市华星光电技术有限公司 图像超分辨率重构系统及方法
CN103996172B (zh) * 2014-05-08 2016-08-31 东北大学 一种基于多步校正的鱼眼图像校正方法
KR102179262B1 (ko) 2014-06-11 2020-11-16 삼성전자주식회사 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
KR102357378B1 (ko) * 2015-07-07 2022-02-03 삼성디스플레이 주식회사 영상 처리 장치 및 이를 포함하는 표시 장치
KR101714213B1 (ko) 2015-09-09 2017-03-09 현대오트론 주식회사 렌즈 영상 왜곡 보정 장치
KR101807090B1 (ko) * 2016-06-20 2017-12-08 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010003014A (ja) * 2008-06-18 2010-01-07 Alpine Electronics Inc 車両周辺表示装置およびその表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053099B1 (ko) 2018-06-07 2019-12-06 현대오트론 주식회사 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법
US11021104B2 (en) 2018-06-07 2021-06-01 Hyundai Autron Co., Ltd. Around view monitoring system and operating method thereof

Also Published As

Publication number Publication date
US20170365044A1 (en) 2017-12-21
US10388001B2 (en) 2019-08-20
CN107529007A (zh) 2017-12-29
DE102017210258A1 (de) 2017-12-21
CN114928698A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
US8792039B2 (en) Obstacle detection display device
KR101714213B1 (ko) 렌즈 영상 왜곡 보정 장치
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
US9313411B2 (en) Camera, distortion correction device and distortion correction method
KR101807090B1 (ko) 영상 왜곡 보정 장치 및 방법
US11521395B2 (en) Image processing device, image processing method, and program
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
WO2016047313A1 (ja) 撮像装置
CN111355880B (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
JP2014176053A (ja) 画像信号処理装置
KR101794993B1 (ko) 영상 왜곡 보정 장치 및 방법
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
US11145093B2 (en) Semiconductor device, image processing system, image processing method and computer readable storage medium
WO2019057807A1 (en) HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE
JP2023046965A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2023046953A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
KR101775967B1 (ko) 영상 변환 장치 및 방법
EP4266669A1 (en) Imaging device and image processing device
US20240242361A1 (en) Method and an apparatus for selecting a pixel's mask
CN113271451B (zh) 3d成像视差调整方法、控制设备和3d成像系统
KR101816038B1 (ko) 영상 밝기 보정 장치 및 방법
JP2007226362A (ja) 画像表示方法及び装置
KR20150110069A (ko) 입체 영상 카메라 장치 및 이의 얼라인먼트 조절 방법
KR102429893B1 (ko) 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant