KR20190116208A - 왜곡 영상 보정 장치 및 방법 - Google Patents

왜곡 영상 보정 장치 및 방법

Info

Publication number
KR20190116208A
KR20190116208A KR1020190120857A KR20190120857A KR20190116208A KR 20190116208 A KR20190116208 A KR 20190116208A KR 1020190120857 A KR1020190120857 A KR 1020190120857A KR 20190120857 A KR20190120857 A KR 20190120857A KR 20190116208 A KR20190116208 A KR 20190116208A
Authority
KR
South Korea
Prior art keywords
image
distortion
parameter
camera
adjusted
Prior art date
Application number
KR1020190120857A
Other languages
English (en)
Other versions
KR102112784B1 (ko
Inventor
김문기
유재황
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190120857A priority Critical patent/KR102112784B1/ko
Publication of KR20190116208A publication Critical patent/KR20190116208A/ko
Application granted granted Critical
Publication of KR102112784B1 publication Critical patent/KR102112784B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 왜곡 영상 보정에 관한 것으로서, 특히 어안 렌즈를 통해 촬영된 영상의 비선형 영역을 최적화하여 보정 영상을 생성함으로써, 어안 렌즈를 통해 촬영된 영상과 실제 촬영 대상과의 차이를 최소화할 수 있어 보다 더 현실감 있는 영상 제공이 가능한 왜곡 영상 보정 장치 및 방법에 관한 것이다.
이를 위한 본 발명의 실시 예에 따른 왜곡 영상 보정 장치는 하나 이상의 카메라로부터 촬영된 영상이 입력되면, 상기 입력 영상의 장축 및 단축 비율을 조정하는 영상 전처리부, 상기 영상 전처리부를 통해 조정된 영상이 인가되면, 상기 조정 영상의 비선형 영역을 최적화하기 위한 카메라 파라미터를 산출하는 파라미터 산출부 및 상기 조정 영상에서 상기 산출된 카메라 파라미터를 이용하여 보정 영상을 생성하는 보정 영상 생성부를 포함하여 구성될 수 있다.

Description

왜곡 영상 보정 장치 및 방법{APPARATUS AND METHOD FOR CORRECTING DISTORED IMAGE}
본 발명은 왜곡 영상 보정에 관한 것으로서, 특히 어안 렌즈를 통해 촬영된 영상의 비선형 영역을 최적화하여 보정 영상을 생성함으로써, 어안 렌즈를 통해 촬영된 영상과 실제 촬영 대상과의 차이를 최소화할 수 있어 보다 더 현실감 있는 영상 제공이 가능한 왜곡 영상 보정 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
일반적으로 어안 렌즈는 주차의 도움을 주기 위해 차량의 후방에 설치된 카메라 또는 영상보안감시 카메라 등에 포함되어 주변 영상을 촬영하는데 이용될 수 있다. 이러한 어안 렌즈는 180도 이상의 영역을 획득할 수 있어 최소의 카메라로 최대의 시야 각을 확보할 수 있으며, 의도적으로 통모양의 왜곡을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있도록 구성될 수 있다. 이에 따라 어안 렌즈를 통해 광역의 영상을 획득할 수 있게 되었다.
그러나 어안 렌즈에서 렌즈 중심점부에 잡히는 피사체는 극단적으로 크게 촬영되고, 주변의 배경은 아주 작게 촬영되게 된다. 때문에 어안 렌즈를 통해 촬영된 영상은 심한 왜곡이 발생하므로 실제 촬영 대상과 차이가 발생하게 되어 현실감을 떨어지는 문제점이 있다.
따라서, 이러한 어안 렌즈를 통해 촬영된 영상의 왜곡을 보정하기 위한 다양한 기술들이 개발되고 있으나, 아직까지, 영상의 모서리 부분 등과 영상 내 존재하는 비선형적인 부분을 최적화하여 보정할 수 있는 기술은 없다.
본 발명은 종래의 불편함을 해소하기 위하여 제안된 것으로서, 어안 렌즈를 통해 촬영된 영상의 비선형 영역을 최적화하여 보정 영상을 생성함으로써, 어안 렌즈를 통해 촬영된 영상과 실제 촬영 대상과의 차이를 최소화할 수 있는 왜곡 영상 보정 장치 및 방법을 제공하는 데 목적이 있다.
이를 위해, 본 발명은 촬영된 영상의 비선형 영역을 최적화할 수 있는 카메라 파라미터를 산출 과정을 이원화함으로써, 연산에 소요되는 시간을 줄일 수 있으며, 상기 카메라 파라미터를 이용하여 산출된 왜곡 보정 비율을 유기적으로 영상에 적용함으로써, 보다 정확한 보정 영상을 생성할 수 있는 왜곡 영상 보정 장치 및 방법을 제공하는 데 그 목적이 있다.
상술한 바와 같은 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 왜곡 영상 보정 장치는 하나 이상의 카메라로부터 촬영된 영상이 입력되면, 상기 입력 영상의 장축 및 단축 비율을 조정하는 영상 전처리부; 상기 영상 전처리부를 통해 조정된 영상이 인가되면, 상기 조정 영상의 비선형 영역을 최적화하기 위한 카메라 파라미터를 산출하는 파라미터 산출부; 및 상기 조정 영상에서 상기 산출된 카메라 파라미터를 이용하여 보정 영상을 생성하는 보정 영상 생성부;를 포함하여 구성될 수 있다.
이때, 상기 영상 전처리부는 상기 입력 영상의 특징점을 추출한 후 상기 특징점을 연결한 영역의 장축 및 단축 길이를 확인한 후, 상기 장축 및 단축 길이를 이용하여 스케일링 인자를 산출한 후 상기 입력 영상에 적용하여 입력 영상의 장축 및 단축 비율을 조정할 수 있다.
또한, 상기 파라미터 산출부는 상기 영상 전처리부를 통해 산출된 특징점을 이용하여 기 정의된 함수의 값이 최소화되도록 카메라 파라미터를 산출할 수 있다.
이때, 상기 카메라 파라미터는 상기 카메라에 구비된 렌즈의 초점 거리(focal length), 화각(Field of View), 휘어짐의 정도(skew vector)에 대한 파라미터 중 어느 하나의 파라미터를 포함하는 내부 파라미터와 상기 카메라의 회전, 이동 중 어느 하나의 파라미터를 포함하는 외부 파라미터를 포함하여 구성될 수 있다.
또한, 상기 파라미터 산출부는, 상기 내부 파라미터를 산출하고, 산출된 상기 내부 파라미터와 상기 영상 전처리부를 통해 산출된 특징점을 이용하여 외부 파라미터를 산출할 수 있다.
또한, 상기 보정 영상 생성부는, 상기 조정 영상에서 상기 파라미터 산출부를 통해 산출된 카메라 파라미터를 이용하여 왜곡 보정 비율을 산출하여 보정 영상을 생성하되, 상기 조정 영상 중심점을 기준으로 중심점에서의 거리에 따라 왜곡 보정 비율을 조정하여 보정 영상을 생성할 수 있다.
상술한 바와 같은 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 왜곡 영상 보정 방법은 하나 이상의 카메라로부터 촬영된 영상이 입력되면, 상기 입력 영상의 장축 및 단축 비율을 조정하는 단계; 상기 조정 영상의 비선형 영역을 최적화하기 위한 카메라 파라미터를 산출하는 단계; 및 상기 조정 영상에서 상기 카메라 파라미터를 이용하여 보정 영상을 생성하는 단계;를 포함하여 이뤄질 수 있다.
여기서, 상기 장축 및 단축 비율을 조정하는 단계는 상기 입력 영상의 특징점을 추출하는 단계; 상기 추출된 특징점을 연결한 영역의 장축 및 단축 길이의 비율을 계산하는 단계; 상기 장축 및 단축 길이의 비율을 기초로 스케일링 인자를 산출하는 단계; 및 상기 입력 영상에 상기 스케일링 인자를 적용하여 입력 영상의 장축 및 단축 비율을 조정하는 단계;를 포함하여 이뤄질 수 있다.
또한, 상기 카메라 파라미터를 산출하는 단계는 상기 추출된 특징점을 이용하여 기 정의된 함수의 값이 최소화되도록 카메라 파라미터를 산출할 수 있다.
또한, 상기 보정 영상을 생성하는 단계는 상기 카메라 파라미터를 이용하여 왜곡 보정 비율을 산출하는 단계; 및 상기 조정 영상의 중심점을 기준으로 중심점에서의 거리에 따라 왜곡 보정 비율을 조정하여 보정 영상을 생성하는 단계;를 포함하여 이뤄질 수 있다.
아울러, 본 발명은 상술한 왜곡 영상 보정 방법을 실행하는 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체를 더 제공할 수 있다.
본 발명의 왜곡 영상 보정 장치 및 방법에 의하면, 카메라의 어안 렌즈를 통해 촬영된 영상의 장축 및 단축 길이의 비율을 일치시키고, 카메라에 대한 파라미터 값을 계산하고, 계산된 파라미터 값을 이용하여 비율을 일치시킨 영상의 비선형 영역을 최적화하여 보정 영상을 생성함으로써, 어안 렌즈의 넓은 시야각을 사용함에 따라 최대의 시야 각을 확보할 수 있게 된다.
이로 인해, 어안 렌즈를 이용하여 촬영한 영상과 실제 촬영 대상과의 차이를 최소화함으로써 현실감 있는 영상의 제공이 가능하고, 이를 적용한 주차 보조 시스템에서 최소의 카메라로 최대의 시야 각을 확보할 수 있어, 더욱 정확한 정보를 사용자에게 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 영상 처리 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 왜곡 영상 보정 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 FOV 모델을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시 예에 따른 입력 영상의 장축 및 단축 비율을 조절하는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시 예에 따른 실세계 좌표계와 카메라 좌표계를 설명하기 위한 예시도이다.
도 6은 본 발명의 실시 예에 따른 1단계 및 2단계로 구성되는 카메라 파라미터를 산출하는 과정을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 왜곡 영상 보정 방법을 설명하기 위한 흐름도이다.
도 8 및 도 9는 본 발명의 실시 예에 따른 입력 영상과 보정 영상에 대한 예시도이다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
우선, 본 발명의 실시예에 따른 영상 처리 시스템에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 영상 처리 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 영상 처리 시스템은 하나 이상의 카메라(100), 왜곡 영상 보정 장치(200) 및 영상 출력 장치(300)를 포함하여 구성할 수 있다.
하나 이상의 카메라(100)는 광역의 영상을 획득할 수 있는 장치로, 바람직하게는 180°이상의 화각을 가지는 초광각 렌즈인 어안 렌즈(fish eye lens)를 포함하여 구성될 수 있다. 이러한 어안 렌즈를 포함하는 카메라(100)는 차량의 주차 지원을 위해 차량 후방에 설치될 수 있으며, 전방을 향해 운전하는 운전자에게 차량 후방의 영상 및 사각지대 영상을 제공할 수 있다.
이때, 어안 렌즈를 포함하는 카메라(100)는 3차원의 영상을 2차원의 영상으로 획득하게 되는데, 이때 획득된 영상은 심한 왜곡을 가지게 되는 데, 예컨대 렌즈 중심점을 기준으로 방사상으로 왜곡이 확장되거나 축소되는 방사 왜곡(radial distortion)이 있을 수 있다.
이러한 방사 왜곡의 예는 도 8에 도시되어 있으며, 도 8에 도시된 바와 같이, 렌즈 중심점의 피사체들은 극단적으로 크게 찍히게 되고, 주변의 피사체들은 렌즈 중심점의 피사체에 비해 아주 작게 찍히게 된다.
왜곡 영상 보정 장치(200)는 하나 이상의 카메라(100)로부터 촬영된 영상이 입력되면, 입력 영상을 보정하여 보정 영상을 생성하게 된다. 특히 본 발명의 왜곡 영상 보정 장치(200)는 입력된 영상의 장축 및 단축 비율을 조정한 후 조정 영상의 비선형 영역을 최적화하기 위한 카메라 파라미터를 산출한 후, 이를 이용하여 보정 영상을 생성하게 된다.
이때, 보정 영상 생성 시 왜곡 보정 비율을 조정하여 영상을 보정할 수 있는데, 최대 시야각의 영상 손실 없이 사용자가 인지할 수 있도록 하기 위해, 영상의 중심점을 기준으로 중심점에서의 거리에 따라 왜곡 보정 비율을 달리함으로써 보정 영상을 생성할 수 있다.
이러한 왜곡 영상 보정 장치(200)는 예를 들어, 차량의 주/정차 시에 최소의 카메라로 최대의 시야 각을 확보하여 차량의 전후 좌우의 실시간 장애물 확인 및 주차를 위해, 차량에 설치되는 어안 렌즈를 포함하는 카메라로부터 영상을 제공 받아 어안 렌즈의 특성으로 인한 촬영된 영상의 방사왜곡을 보정할 수 있다.
영상 출력 장치(300)는 왜곡 영상 보정 장치(200)에서 보정된 영상을 사용자에게 제공할 수 있는 장치로, 예를 들어, 차량에 별도로 설치된 디스플레이 장치, 차량 네비게이션 또는 단말 장치 등이 이에 해당될 수 있다.
본 발명의 일 실시 예에 따른 왜곡 영상 보정 장치는 어안 렌즈를 이용하여 촬영된 영상의 왜곡을 보정하는 것을 예로 들어 설명하였으나, 이에 한정되는 것은 아니며, 광역의 영상을 촬영할 수 있는 렌즈라면, 그 어떠한 렌즈도 본 발명에 적용 가능하다.
또한, 상술한 카메라(100), 왜곡 영상 보정 장치(200) 및 영상 출력 장치(300)는 각각 독립적으로 구현되어 유선 또는 무선을 통해 연결될 수 있다.
또한, 왜곡 영상 보정 장치(200)는 상기 카메라(100)에 내장되는 형태로 구현되거나, 영상 출력 장치(300)에 내장되는 형태로 구현될 수 있으며, 상기 카메라(100)와 왜곡 영상 보정 장치(200)와 영상 출력 장치(300)가 하나의 장치로 구현될 수도 있다.
이하, 본 발명의 실시 예에 따른 왜곡 영상 보정 장치(200)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 영상 처리 시스템에서의 왜곡 영상 보정 장치의 주요 구성을 도시한 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 왜곡 영상 보정 장치(200)는 영상 수집 모듈(210), 영상 처리 모듈(220), 영상 출력 모듈(230) 및 영상 저장 모듈(240)을 포함하여 구성될 수 있다.
각 구성 요소에 대해 보다 구체적으로 설명하면, 먼저, 영상 수집 모듈(210)은 하나 이상의 카메라(100)를 통해 촬영된 영상을 수집하는 역할을 수행하게 된다. 특히, 본 발명의 영상 수집 모듈(210)은 어안 렌즈를 포함하는 카메라(100)를 통해 촬영된 영상을 수집하게 되는 데, 어안 렌즈를 포함하는 카메라(100)를 통해 촬영된 영상은 상술한 바와 같이 방사 왜곡을 가지게 된다.
즉, FOV 모델은 도 3에 도시된 바와 같이, 영상의 중심점 C에서 영상 평면상의 한 점 m 사이의 거리는 대응되는 3차원 상의 한 점 M과 광축(Cz)이 이루는 각도와 비례한다고 가정하는 것으로, FOV 모델의 왜곡 함수는 <수학식 1>과 같이 정의될 수 있다.
여기서, 는 왜곡된 거리를 나타내며, 는 렌즈의 왜곡이 없는 경우, 영상 중심에서 해당 픽셀까지의 거리를 나타낸다. 즉, 영상 중심에서 해당 픽셀까지의 거리 는 상기의 <수학식 1>에 의해 왜곡되어 왜곡된 거리 가 산출되는 것이며, 이때의 는 어안 렌즈의 화각으로, 카메라 내부 파라미터가 된다. 이상적인 는 1의 값을 가질 수 있다.
이러한 영상 수집 모듈(210)은 아날로그 형태로 수집되는 영상을, 예를 들어, 30frame/s의 속도로 디지털화할 수 있으며, 이렇게 디지털화된 영상을 영상 처리 모듈(220)로 전송할 수 있다.
영상 처리 모듈(220)은 영상 수집 모듈(210)을 통해 수집된 영상의 왜곡을 보정하여 보정 영상을 생성하는 것으로, 특히, 본 발명의 영상 처리 모듈(220)은 왜곡 영상의 비선형 영역을 최적화하기 위한 카메라 파라미터를 산출한 후, 산출된 상기 카메라 파라미터를 기초로 왜곡 보정 비율을 산출하고, 상기 수집된 영상에 왜곡 보정 비율을 적용하여 보정 영상을 생성하게 된다.
이를 위해 본 발명의 영상 처리 모듈(220)은 영상 전처리부(221), 파라미터 산출부(222) 및 보정 영상 생성부(223)를 포함하여 구성될 수 있다.
이에 대해 보다 구체적으로 설명하면, 영상 전처리부(221)는 왜곡 영상의 보정을 하기 전, 영상 수집 모듈(210)을 통해 수집된 영상의 장축 및 단축 비율을 일치시키는 역할을 수행한다.
보다 구체적으로 설명하면, 어안 렌즈는 일반적으로 수직 화각보다 수평 화각이 더 크게 설계되었기 때문에 영상의 보정 이전 단계에서 영상의 장축 및 단축 비율을 일치시키는 과정이 필요하다. 이를 위해 영상 전처리부(212)는 타원체 적합화(ellipse-fitting) 알고리즘을 사용하여 스케일링 인자를 계산하고, 이를 특징점 좌표 변환에 적용하여 비율을 일치시킨다.
즉, 어안 렌즈를 통해 촬영된 영상은 도 4에 도시된 바와 같이, 영상이 촬영된 영역 및 주변 영역으로 구분할 수 있는 데, 영상이 촬영된 영역에서 특정 개수의 특징점, 예컨대 6개의 특징점을 추출하고, 이를 연결하게 되면, 일정 영역, 즉 타원체를 구할 수 있다. 여기서, 특징점을 추출하는 과정은 공지된 다양한 기술들이 적용될 수 있다.
이후, 상기 타원체의 장축() 및 단축()의 길이를 하기 <수학식 2>에 적용하여 스케일링 인자 를 계산하게 된다.
여기서, 입력 영상의 장축 및 단축 길이의 비율을 일치시킨 조정 영상은 임의적으로 펴진 상태이므로 영상의 모서리(외곽선) 부분은 비선형의 형태를 띄게 된다.
이러한 입력 영상의 장축 및 단축 길이의 비율을 일치시킨 조정 영상을 영상 전처리부(221)는 파라미터 산출부(222)로 전달하게 된다.
또한, 본 발명의 영상 전처리부(221)는 상술한 바와 같은 영상의 장축 및 단축 길이의 비율을 일치시키는 역할 이외에도, 노이즈 제거 등의 다양한 영상 전처리를 수행할 수 있다.
예를 들어, 영상 전처리부(221)는 640*480 해상도의 8bit 컬러, RGB 세 개의 채널로 이루어진 영상을 수신하게 되면, 수신된 영상의 해상도 그대로 영상 처리를 수행할 경우, 연산시간이 매우 길어지므로 영상의 너비와 높이를 최소화 예를 들어, 1/2로 축소하여 영상 처리를 수행할 수 있으며, 수신된 영상을 흑백 영상으로 변환할 수 있다. 더하여, 영상 전처리부(221)는 이진화된 영상 데이터를 이용하여 영상의 외곽선을 추출하고, 추출된 외곽선에 대한 영역들 중 면적이 미리 설정된 픽셀 예를 들어, 1000픽셀 이하인 영역은 노이즈로 간주하여 제거할 수도 있다.
파라미터 산출부(222)는 영상 전처리부(221)를 통해 장축 및 단축의 길이 비율이 조정된 영상이 인가되면, 상기 영상의 비선형 영역을 최적화하기 위한 카메라 파라미터를 산출하게 된다.
이때, 상기 영상 전처리부(221)가 산출한 개의 특징점을 이용하게 되는데, 즉, 하기의 <수학식 3>의 영상()가 최소화되도록 카메라 파라미터()에 대한 최적값을 추정하게 된다.
여기서, 은 왜곡되지 않은 점을 외부 파라미터 과 , 내부 파라미터 를 사용하여 왜곡시킨 점을 의미하는 것으로, 외부 파라미터 중 은 3x3의 회전 행렬을 의미하며, 는 3x1의 이동 행렬이 될 수 있다.
또한, 내부 파라미터 중 는 어안 렌즈의 화각이며, 는 어안 렌즈의 초점 거리(focal length)를 의미하며, 는 센서에 따른 변형을 나타내는 파라미터를 의미한다.
상술한 내부 파라미터 및 외부 파라미터에 대해 보다 더 구체적으로 설명하면, 본 발명의 실시 예에 따른 카메라 파라미터는 내부 파라미터 및 외부 파라미터로 구성될 수 있는데, 내부 파라미터는 영상 좌표와 카메라 좌표 간의 관계를 의미하는 것으로서, 카메라의 제조 시점에 결정될 수 있다. 이러한 내부 파라미터에는 상술한 바와 같은 초점 거리(focal length), 휘어짐의 정도(skew vector), 렌즈 중심점(optical center) 등에 대한 값이 내부 파라미터가 될 수 있다. 반면, 외부 파라미터는 카메라 좌표와 공간 좌표 간의 관계를 의미하는 것으로서, 예를 들어, 카메라의 회전이나 이동에 대한 정보를 나타낸다. 이러한 외부 파라미터는 촬영 시마다 달라질 수 있다.
파라미터 산출부(222)는 인가된 영상의 카메라 파라미터를 산출하기 위해, 3차원 공간 상의 가상 좌표인 실세계 좌표계()를 카메라 초점을 기준으로 하는 카메라 좌표계()로 변환하게 되는 데, 외부 파라미터인 회전 행렬 과 이동 행렬 를 이용하여 하기의 <수학식 4>에 따라 수행하게 된다.
여기서, 카메라 좌표계()에서 2차원 영상으로 투영될 때, 이 둘 사이의 관계는 점 사영(point projection)에 기반한 핀홀(pin hole) 카메라 모델로 가정할 수 있는 데, 이때, 다양한 사영 기법 중 원근 사영(perspective projection)에 따라 원거리 물체는 작게, 근거리 물체는 크게 표현될 수 있다.
따라서, 도 5에 도시된 바와 같이, 상기 하기의 <수학식 5>를 적용하여 3차원의 한 점 P=(Xc, Yc, Zc)를 영상 평면의 한 점 P'=(x,y)로 변환할 수 있으며, 이때의 내부 파라미터인 초점 거리 는 사영 중심과 영상 평면 사이의 거리를 의미한다.
또한, 마지막으로 입력 영상은 디지털화되어 저장되기 때문에 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor)와 같은 센서의 특성에 영향을 받게 된다.
따라서, 저장되는 픽셀이 정사각형이 아닌 경우에 영상의 두 좌표축의 크기에 대한 스케일링 인자 K를 고려해야 한다. 카메라 영상 좌표계와 실영상 좌표계간의 변환에서 센서에 따른 변형은 내부 파라미터 K를 고려하여 하기의 <수학식 6>에 따라 산출된다.
또한, 상술한 <수학식 1>을 참조하여 설명한 바와 같이, 어안 렌즈의 화각인 는 내부 파라미터로 이용하게 된다.
앞서, 내부 파라미터는 카메라의 고유 속성 값이 될 수 있으며, 외부 파라미터는 촬영 시마다 달라질 수 있다 설명하였다.
즉, 내부 파라미터인 카메라의 초점 거리, 휘어짐의 정도 등은 카메라의 제조 시점에 결정되며, 외부 파라미터인 카메라의 회전이나 이동에 대한 정보는 촬영 시마다 달라지게 되는 데, 상술한 내부 파라미터와 외부 파라미터를 동시에 산출하게 되면, 카메라의 위치 또는 각도를 변경하는 경우 재계산해야 한다는 문제점이 있다.
따라서, 본 발명의 실시 예에서는 내부 파라미터를 먼저 산출하고, 이를 이용하여 카메라(100)의 위치 및 각도가 변경될 때마다 외부 파라미터를 계산함으로써, 연산의 속도를 개선할 수 있다.
즉, 도 6에 도시된 바와 같이, 영상이 입력되면(S101), 입력 영상(3차원 실세계를 2차원의 형태로 획득된 영상)에서 개의 특징점을 추출한 후, 이를 이용하여 기 정의된 <수학식 3>을 이용하여 내부 파라미터를 먼저 산출하게 된다(S103). 여기까지가 파라미터 추출 1단계이다.
이후, 입력 영상에서 추출된 개의 특징점의 좌표와 S103 단계에서 산출된 내부 파라미터를 이용하여(S105) 외부 파라미터를 산출하게 된다(S107). 여기까지가 파라미터 추출 2단계로 이후, 카메라(100)의 위치 및 각도가 변경될 1단계는 생략하고 2단계만을 수행함으로써, 파라미터 산출 시의 연산 속도가 보다 더 빨라질 수 있다.
보정 영상 생성부(223)는 영상의 왜곡을 보정한 최종 보정 영상을 생성하는 역할을 수행한다.
즉, 왜곡된 형태의 입력 영상에 하기의 <수학식 7>과 같은 기 정의된 함수를 이용하여, 좌표를 변환함으로써 보정 영상을 생성하게 된다.
이때, 입력된 영상의 좌표에 왜곡 보정 비율을 적용하여 보정 영상의 좌표를 계산할 수도 있다.
여기서, 왜곡 보정 비율을 시스템 설정에 따라 미리 할당될 수 있다.
예컨대, 왜곡 보정 후의 영상의 크기가 ()일 경우 하기의 <수학식 8>에 따라 왜곡 보정 후 영상 좌표의 위치에 따른 비율 를 계산하여 보정하게 된다.
이때, 이미지 중심에서 가까우면 왜곡 보정 비율을 크게 하고, 외곽으로 갈수록 왜곡 보정 비율을 적게 한다. 이는 화각이 180°도 이상인 입력 영상에서 상술한 바와 같이 핀홀 카메라 모델을 적용하여 2차원 평면에 영상을 보정하게 되는 경우, 외곽으로 갈수록 , 즉 왜곡 영상의 중심에서 해당 픽셀까지의 거리가 길어져 역방향 사상으로 가져올 수 있는 정보가 적어 해상도가 낮아지게 되며, 퍼짐 현상 등 여러가지 문제로 인해 오히려 인지하기 어려운 결과 영상을 출력할 수 있다는 문제점이 있다.
따라서, 영상 중심에서 가까우면 왜곡 보정 비율을 크게 하고, 외곽으로 갈수록 왜곡 보정 비율을 적게 함으로써, 상술한 문제점은 해결할 수 있다.
또한, 보정 영상의 좌표 에서 왜곡 보정 비율 ()를 조절하기 위해 하기의 <수학식 9>를 이용하여 왜곡 보정 비율을 산출할 수 있다.
여기서, 왜곡 상수 는 사용자가 직접 입력할 수도 있다.
이후, 상술한 바와 같은 과정을 거쳐 산출된 왜곡 보정 비율을 하기의 <수학식 10>에 적용하여 왜곡 보정 비율이 반영된 보정 영상을 생성할 수도 있다.
즉, 도 8에 도시된 입력 영상에 대한 보정 영상이 도 9에 도시되어 있으며, 비선형 영역이 상당수 감소한 것을 확인할 수 있다.
본 발명의 왜곡 영상 보정 장치(200)는 영상 처리 모듈(220)의 처리 과정에 따라 발생되는 다양한 영상을 임시 또는 영구적으로 저장하는 영상 저장 모듈(240) 및 보정 된 영상을 영상 출력 장치(300)으로 전달하는 전달하는 영상 출력 모듈(230)을 더 포함하여 구성될 수 있다.
이때, 영상 저장 모듈(240)은 보정 영상 생성 과정에 발생되는 다양한 정보를 저장하게 되는데, 예컨대 왜곡 영상 보정 장치(200)를 구동하기 위한 제어 정보 및 하나 이상의 카메라(100)로부터 입력된 영상을 저장하고, 상기 영상의 왜곡을 보정한 보정 영상, 또는 각 카메라(100)별로 산출된 카메라 파라미터 값을 저장할 수 있다. 이러한 영상 저장 모듈(240)은 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함하여 구현될 수 있다.
그러면, 이와 같이 구성된 영상 처리 시스템에서 왜곡 영상 보정 방법에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.
도 7은 본 발명의 실시 예에 따른 왜곡 영상 보정 방법을 설명하기 위한 흐름도이다.
도 1 및 도 7을 참조하면, 먼저 하나 이상의 카메라(100)로부터 촬영된 영상을 수신하여 입력하게 되는데(1101), 이때 입력되는 영상은 도 8에 도시된 바와 같은 왜곡된 영상일 수 있다.
이후, 왜곡 영상 보정 장치(200)는 입력 영상의 장축 및 단축 길이의 비율을 일치시키는 과정을 수행한다(1102).
이때 상술한 바와 같이, 먼저, 입력 영상의 특징점을 추출하게 된다. 이때, 도 8에 도시된 바와 같이 영상이 존재하는 영역 및 주변 영역이 함께 입력될 수 있는데, 영상이 존재하는 영역에서 특징점을 추출한 후, 상기 특징점을 연결하여 타원체가 도시되도록 한다.
이후, 상기 영역의 장축 및 단축의 길이를 계산하고, 상기 장축 및 단축의 길이의 비율에 따라 스케일링 인자를 산출한 후 상기 특징점을 연결한 영역, 즉 타원에 해당하는 영역의 스케일링 인자를 적용하여 장축 및 단축 비율을 조정하게 된다.
이후, 조정 영상의 발생된 비선형 영역을 최적화하기 위해 카메라 파라미터를 산출하게 된다(1103).
상기 카메라 파라미터는 내부 파라미터 및 외부 파라미터를 포함하게 되는데, 상술한 바와 같이 <수학식 3>의 결과 값이 최소가 되도록 각 파라미터의 값을 추정하게 된다. 여기서, 파라미터 산출 시, 먼저, 내부 파라미터를 산출하고, 상기 내부 파라미터와 입력 영상의 특징점의 좌표를 이용하여 외부 파라미터를 산출할 수 있다.
이후, 보정 영상을 생성하기 위해 상기 카메라 파라미터를 이용하여 왜곡 보정 비율을 산출하고, 장축 및 단축의 길이가 조정된 조정 영상에 왜곡 보정 비율을 적용하여(1104), 보정 영상을 생성하게 된다(1105).
상기 보정 영상 생성 시 조정 영상의 중심점을 기준으로 중심점에서의 거리에 따라 왜곡 보정 비율을 조정함으로써 보정 영상을 생성할 수 있다.
이후, 보정된 영상을 영상 출력 장치(300)로 전달하면, 이를 전달받은 영상 출력 장치(300)는 보정된 영상을 출력할 수 있다(1106).
이상으로 본 발명의 실시 예에 따른 왜곡 영상 보정 방법에 대해 설명하였다.
상술한 바와 같은 왜곡 영상 보정 방법은, 어안 렌즈를 통해 촬영된 영상으로부터 실제와 가장 유사한 영상을 도출할 수 있도록 함으로써, 보정 영상의 정보를 이용하여 카메라와 표적과의 거리를 정확히 산출할 수 있도록 하며, 그 결과 차량 주차 시스템 등에 적용되어, 장애물 인식, 주변 공간 확보, 상황 제어 등을 구현할 수 있게 한다.
또한, 이러한 왜곡 영상 보정 방법은 프로그램으로 구현되어 컴퓨터 판독 가능한 기록 매체에 구현될 수 있다.
본 발명에 따른 왜곡 영상 보정 방법을 실행하기 위해 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 왜곡 영상 보정에 관한 것으로서, 특히 어안 렌즈를 통해 촬영된 영상의 비선형 영역을 최적화하여 보정 영상을 생성함으로써, 어안 렌즈를 통해 촬영된 영상과 실제 촬영 대상과의 차이를 최소화할 수 있어 보다 더 현실감 있는 영상 제공할 수 있는 효과를 발생하는 유용한 발명으로, 이를 통해 서비스 산업의 발전에 이바지할 수 있다.
100: 카메라 200: 왜곡 영상 보정 장치 210: 영상 수집 모듈
220: 영상 처리 모듈 221: 영상 전처리부
222: 파라미터 산출부 223: 보정 영상 생성부
230: 영상 출력 모듈 240: 영상 저장 모듈
300: 영상 출력 장치

Claims (8)

  1. 입력 영상의 장축 및 단축 비율을 조정하여 조정 영상을 생성하는 영상 전처리부;
    상기 영상 전처리부의 장축 및 단축 비율 조정으로 인하여 상기 조정 영상에 형성된 비선형 영역을 보정하기 위한 카메라 파라미터를 산출하는 파라미터 산출부; 및
    상기 조정 영상에 상기 산출된 카메라 파라미터를 적용하여 보정 영상을 생성하는 보정 영상 생성부;
    를 포함하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  2. 제1 항에 있어서,
    상기 영상 전처리부는
    상기 입력 영상의 특징점을 추출한 후 상기 특징점을 연결한 영역의 장축 및 단축 길이를 확인한 후, 상기 장축 및 단축 길이를 이용하여 스케일링 인자를 산출한 후 상기 입력 영상에 적용하여 입력 영상의 장축 및 단축 비율을 조정하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  3. 제2 항에 있어서,
    상기 영상 전처리부는,
    상기 입력 영상의 특징점을 추출하고, 상기 특징점을 연결하여 타원체를 획득하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  4. 제3 항에 있어서,
    상기 영산 전처리부는,
    상기 타원체의 장축 및 단축의 길이를 하기의 수학식에 적용하여 스케일링 인자를 계산하는 것을 특징으로 하는 왜곡 영상 보정 장치.
    [수학식]

    (여기서, 장축은 , 단축은 이다.
  5. 제1 항에 있어서,
    상기 파라미터 산출부는
    상기 영상 전처리부를 통해 산출된 특징점을 이용하여 기 정의된 함수의 값이 최소화되도록 카메라 파라미터를 산출하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  6. 제1 항에 있어서,
    상기 보정 영상 생성부는,
    상기 조정 영상에서 상기 파라미터 산출부를 통해 산출된 카메라 파라미터를 이용하여 왜곡 보정 비율을 산출하여 보정 영상을 생성하되, 상기 조정 영상 중심점을 기준으로 중심점에서의 거리에 따라 왜곡 보정 비율을 조정하여 보정 영상을 생성하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  7. 왜곡 영상 보정 장치가 입력 영상의 장축 및 단축 비율을 조정하여 조정 영상을 생성하는 단계;
    상기 왜곡 영상 보정 장치가 상기 장축 및 단축 비율 조정으로 인하여 상기 조정 영상에 형성된 비선형 영역을 보정하기 위한 파라미터를 산출하는 단계;
    상기 왜곡 여상 보정 장치가 상기 조정 영상에 상기 산출된 파라미터를 적용하여 보정 영상을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  8. 제7항에 기재된 왜곡 영상 보정 방법을 실행하는 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020190120857A 2019-09-30 2019-09-30 왜곡 영상 보정 장치 및 방법 KR102112784B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190120857A KR102112784B1 (ko) 2019-09-30 2019-09-30 왜곡 영상 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190120857A KR102112784B1 (ko) 2019-09-30 2019-09-30 왜곡 영상 보정 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120119320A Division KR102029335B1 (ko) 2012-10-25 2012-10-25 왜곡 영상 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190116208A true KR20190116208A (ko) 2019-10-14
KR102112784B1 KR102112784B1 (ko) 2020-05-19

Family

ID=68171853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190120857A KR102112784B1 (ko) 2019-09-30 2019-09-30 왜곡 영상 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102112784B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090078463A (ko) * 2008-01-15 2009-07-20 주식회사 이미지넥스트 왜곡 영상 보정 장치 및 방법
KR101053506B1 (ko) * 2009-12-16 2011-08-03 (주) 에투시스템 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090078463A (ko) * 2008-01-15 2009-07-20 주식회사 이미지넥스트 왜곡 영상 보정 장치 및 방법
KR101053506B1 (ko) * 2009-12-16 2011-08-03 (주) 에투시스템 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법

Also Published As

Publication number Publication date
KR102112784B1 (ko) 2020-05-19

Similar Documents

Publication Publication Date Title
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
US9712755B2 (en) Information processing method, apparatus, and program for correcting light field data
JP4692371B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
KR20090087638A (ko) 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2020248910A1 (zh) 目标检测方法和装置
CN108805807B (zh) 环景图像的拼接方法及其系统
JP2005509961A (ja) 較正を導き出す方法および画像処理の方法
CN107220954B (zh) 一种基于移动终端的3d扫描系统
KR20230110618A (ko) 영상 보정 방법, 장치 및 시스템, 전자 장치
KR102029335B1 (ko) 왜곡 영상 보정 장치 및 방법
KR100948872B1 (ko) 카메라 영상 보정 방법 및 장치
JP2016208075A (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
JP6513941B2 (ja) 画像処理方法、画像処理装置及びプログラム
KR102177878B1 (ko) 영상 처리 장치 및 방법
KR101726692B1 (ko) 객체 추출 장치 및 방법
CN111127379B (zh) 光场相机2.0的渲染方法及电子设备
CN110969575B (zh) 自适应图像拼接的方法及图像处理装置
KR20100046544A (ko) 영상 왜곡 보정 방법 및 장치
KR102112784B1 (ko) 왜곡 영상 보정 장치 및 방법
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
CN110995982A (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant