KR101469717B1 - 광각 카메라를 이용한 영상 시스템 및 그 방법 - Google Patents

광각 카메라를 이용한 영상 시스템 및 그 방법 Download PDF

Info

Publication number
KR101469717B1
KR101469717B1 KR1020120057351A KR20120057351A KR101469717B1 KR 101469717 B1 KR101469717 B1 KR 101469717B1 KR 1020120057351 A KR1020120057351 A KR 1020120057351A KR 20120057351 A KR20120057351 A KR 20120057351A KR 101469717 B1 KR101469717 B1 KR 101469717B1
Authority
KR
South Korea
Prior art keywords
image
homography
camera
distortion correction
points
Prior art date
Application number
KR1020120057351A
Other languages
English (en)
Other versions
KR20130134086A (ko
Inventor
장시웅
천승환
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020120057351A priority Critical patent/KR101469717B1/ko
Publication of KR20130134086A publication Critical patent/KR20130134086A/ko
Application granted granted Critical
Publication of KR101469717B1 publication Critical patent/KR101469717B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

광각 카메라를 이용한 영상 시스템 및 그 방법이 개시된다. 본 발명에 따른 광각 카메라를 이용한 영상 시스템은, 전방, 후방, 좌측, 우측 중 적어도 하나에 대한 영상을 획득하는 적어도 하나의 광각 카메라; 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 방사왜곡 보정부; 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환하는 호모그래피 변환부; 및 각각의 광각 카메라를 통해 획득되는 영상을 통합하는 영상통합부를 포함하는 것을 특징으로 한다.

Description

광각 카메라를 이용한 영상 시스템 및 그 방법{Video system and method using cameras with a wide angle}
본 발명은 영상 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 전, 후, 좌, 우를 포함하는 복수의 광각 카메라에 의해 획득되는 각각의 영상을 통합된 하나의 영상으로 제공하여 운전자가 한눈에 주변상황을 인식할 수 있도록 하는 광각 카메라를 이용한 영상 시스템 및 그 방법에 관한 것이다.
컴퓨터 비전분야에서 활발히 연구되고 있는 분야로서 증강현실, 3차원 복원, 자가 위치추정, 영상기반 렌더링 등이 있다. 이러한 연구 분야의 공통점을 살펴보면 정확한 카메라 동작 계산이 요구된다는 것이다.
카메라의 동작을 계산하기 위해서는 3차원 실세계 좌표공간을 표현할 수 있는 카메라 모델이 필요한데 그동안 다양한 방법들이 소개되었다. 그 가운데 호모그래피(Homography)는 인접한 두 영상에서 평면구조상에 존재하는 특징점들의 대응관계로부터 카메라의 동작을 기술할 수 있는 모델이다. 이 모델은 비교적 단순하고 카메라의 이동량이 작으며 평면구조를 포함하면서 거리가 멀다는 조건을 만족하는 경우에 실제 영상을 훌륭하게 근사화할 수 있는 장점이 있기 때문에 3차원 구조복원, 영상정렬, 영상모자이크 등에 많이 사용되고 있다.
한편, 최근 출시되는 차량들은 사각지대(blind spot)로 인한 사고를 막고, 운전자 편의를 위해 후방 센서나 후방 카메라와 같은 ECU(Electronic Control Unit)를 장착하고 있다. 그러나, 후방 카메라나 센서만으로는 차량 주변을 완벽하게 파악할 수 없다. 이러한 ECU는 운전자의 안전운전에 많은 도움을 주고 있으나, 운전자의 시야에서 벗어난 사각지대는 여전히 존재한다. 이러한 이유로 차량에 여러 대의 카메라를 장착하여 차량 주변상황을 운전자에게 영상으로 제공하는 AVM(Around View Monitoring) 시스템에 대한 연구가 활발히 진행되고 있다. 이와 같은 영상 시스템은 일반적으로 차량의 전, 후, 좌, 우 사방의 주변 상황에 대한 영상을 획득하여 운전자에게 제공함으로써 운전자가 차량의 주변상황을 쉽게 파악할 수 있도록 한다.
그런데, 이와 같은 영상 시스템은 각각의 카메라로부터 입력된 영상을 개별적으로 표시하거나 각각의 영상을 하나의 화면으로 조합하여 표시하는 것으로서, 운전자는 각각의 카메라에 의해 획득되는 영상을 개별적으로 살펴보고 주변의 상황을 판단하여야 하기 때문에 차량의 주변 전체 상황을 판단하는데 시간이 걸리게 되는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 창안된 것으로서, 전, 후, 좌, 우를 포함하는 복수의 광각 카메라에 의해 획득되는 각각의 영상을 통합된 하나의 영상으로 제공하여 운전자가 한눈에 주변상황을 인식할 수 있도록 하며, 각각의 광각 카메라를 통해 입력되는 영상을 투영 변환하는 과정에서 투영 변환의 편차를 반영하여 제공되는 영상의 품질을 높일 수 있는 광각 카메라를 이용한 영상 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 광각 카메라를 이용한 영상 시스템은, 전방, 후방, 좌측, 우측 중 적어도 하나에 대한 영상을 획득하는 적어도 하나의 광각 카메라; 상기 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 방사왜곡 보정부; 상기 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환하는 호모그래피 변환부; 및 각각의 상기 광각 카메라를 통해 획득되는 영상을 통합하는 영상통합부를 포함하는 것을 특징으로 한다.
상기 방사왜곡 보정부는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정한다.
상기 호모그래피 변환부는, 기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 이루어진다.
상기 호모그래피 변환부는, 상기 방사왜곡 보정부에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사한다.
검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에 변수 i의 값을 검사하여 i가 4일 경우에 호모그래피 행렬을 구할 수 있다.
이때, 변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 광각 카메라를 이용한 영상 방법은, 전방, 후방, 좌측, 우측 중 적어도 하나에 대한 영상을 획득하는 단계; 상기 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 단계; 및 상기 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환하는 단계를 포함하며, 호모그래피 변환된 각각의 영상을 하나의 영상으로 통합하는 것을 특징으로 한다.
상기 방사왜곡 보정단계는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정한다.
상기 호모그래피 변환단계는, 기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 이루어진다.
상기 호모그래피 변환단계는, 상기 방사왜곡 보정단계에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사한다.
검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에 변수 i의 값을 검사하여 i가 4일 경우에 호모그래피 행렬을 구한다.
변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정한다.
본 발명에 따르면, 전, 후, 좌, 우를 포함하는 복수의 광각 카메라에 의해 획득되는 각각의 영상을 통합된 하나의 영상으로 제공하여 운전자가 한눈에 주변상황을 인식할 수 있게 된다.
또한, 본 발명에 따르면, 각각의 광각 카메라를 통해 입력되는 영상을 투영 변환하는 과정에서 투영 변환의 편차를 반영하여 제공되는 영상의 품질을 높일 수 있게 된다.
도 1은 본 발명의 실시예에 따른 광각 카메라를 이용한 영상 시스템을 개략적으로 도시한 도면이다.
도 2는 일반적인 호모그래피 행렬 구성과정을 나타낸 도면이다.
도 3은 왜곡 보정 영상 획득의 과정을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 영상 시스템에서 이용하는 카메라 모델의 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 호모그래피 행렬 구성과정을 나타낸 도면이다.
도 6은 왜곡이 보정된 영상이 평면으로 매핑되는 호모그래피 변환모델의 예를 나타낸 도면이다.
도 7은 영상통합부에 의해 하나의 영상으로 통합되는 과정의 예를 나타낸 도면이다.
도 8은 본 발명에 따른 호모그래피 행렬 구성방법을 나타낸 흐름도이다.
도 9는 왜곡이 보정된 영상의 예를 나타낸 도면이다.
도 10은 패턴의 영상 설정의 예를 나타낸 도면이다.
도 11은 평균값을 이용한 호모그래피 행렬에 의해 구성된 영상의 예를 나타낸 도면이다.
도 12는 전체점을 이용한 호모그래피 행렬에 의해 구성된 영상의 예를 나타낸 도면이다.
도 13은 왜곡 보정 영상의 투영변환 처리결과의 예를 나타낸 도면이다.
도 14는 각 카메라의 투영변환에 의해 처리된 영상의 정합결과의 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 이하의 설명에 있어서, 당업자에게 주지 저명한 기술에 대해서는 그 상세한 설명을 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 광각 카메라를 이용한 영상 시스템을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 영상 시스템은, 광각 카메라(110), 방사왜곡 보정부(120), 호모그래피 변환부(130) 및 영상 통합부(140)를 포함한다.
광각 카메라(110)는 전방, 후방, 좌측, 우측 중 적어도 둘 이상에 대한 영상을 획득한다. 본 발명의 실시예에서는 차량에 설치된 광각 카메라를 가정하며, 차량의 주변상황을 사각지대 없이 보여주기 위해서 광각 카메라(110)는 전방, 후방, 좌측, 우측에 대한 영상을 획득하는 것으로 가정한다.
광각 카메라를 이용하는 영상 시스템은 8DOF(Degree Of Freedom)에 기반한 4개 이상의 특징점들을 선택하여 호모그래피 행렬을 구하여 투영 변환을 수행하는 방법을 사용할 수 있다. 여기서, DOF란 운동의 유연성, 주어진 조건 하에서 자유롭게 변화할 수 있는 점의 수라는 의미가 있지만, 본 발명에서는 역학계에 있어서 그 배치를 정하는 좌표라는 뜻으로 사용한다. 즉, 위, 아래, 좌, 우, 앞, 뒤, 위 아래로 기울임(Pitching), 좌우로 기울임(Rolling) 등의 자유도를 가지는 8DOF 방식을 사용한다. 그런데, 이와 같은 방식을 이용하는 경우, 도 2에 도시한 바와 같이 특징점들의 평균값을 이용하여 호모그래피 행렬을 구함으로써 왜곡이 보정된 영상의 부분 영역에 따라 존재하는 투영 변환의 영역적 편차를 반영하지 못하여 결과 영상의 품질을 저하시키는 요인이 될 수 있다. 본 발명은 광각 카메라의 입력 영상의 왜곡을 보정한 후 투영 변환 처리하는데 필요한 호모그래피 행렬을 왜곡 보정 영상에 존재하는 투영 변환의 편차를 반영하여 결과 영상의 품질을 개선하여 디스플레이 장치 또는 다른 영상 처리를 위한 입력 영상으로 제공할 수 있도록 한다.
이를 위해, 방사왜곡 보정부(120)는 광각 카메라(110)를 통해 입력되는 영상을 방사 왜곡 보정한다. 인간의 눈으로 보았을 때 도 3의 (a)에 도시한 바와 같이 왜곡이 전혀 없는 영상이라 하더라도 광각 카메라(110)를 통해서 얻어진 영상은 도 3의 (b)에 도시한 바와 같이 방사왜곡 현상이 나타난다. 즉, 광각 카메라(110)는 렌즈 등 카메라의 물리적 요소의 특성에 따라 왜곡된 영상을 제공하게 된다. 이러한 특성은 카메라 제작시에 결정되는 것으로 카메라의 고유속성이 된다. 본 발명의 실시예에 따른 영상 시스템은 전, 후, 좌, 우 각 카메라에 대한 왜곡 보정 계수를 미리 계산하여 구할 수 있다. 이때, 왜곡 보정계수를 구하기 위해서는 카메라 모델이 필요하다. 본 발명의 실시예에 따른 영상 시스템은 도 4와 같은 카메라 모델을 이용한다.
실세계의 객체 X는 이미지 평면에서 xu의 위치에 나타나야 하지만 카메라의 왜곡에 의해 xd의 위치에 나타나게 된다. 입력 영상의 오곡 보정을 위해서는 초점거리 f, x축과 y축 방향의 왜곡 보정을 위한 이미지 평면의 광학 중심(Ox, Oy)를 구해야 한다. 이 세 가지 계수를 구하기 위해 수학식 1을 사용한다.
[수학식 1]
Figure 112012043258212-pat00001
왜곡 보정된 영상의 각 픽셀의 좌표는 수학식 2에 의해 계산할 수 있다.
[수학식 2]
Figure 112012043258212-pat00002
이때, 방사왜곡 보정부(120)를 통해 왜곡보정 처리를 하게 되면 도 3의 (c)에 도시한 바와 같이 핀 쿠션 효과가 생기게 되며, 이를 통해 마치 인간의 눈을 통해 얻어진 원영상(도 3의 a)과 같은 왜곡이 보정된 영상을 얻을 수 있다.
호모그래피 변환부(130)는 방사왜곡 보정부(120)에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 호모그래피 변환한다. 이때, 호모그래피 변환부(130)는 수학식 3을 이용하여 왜곡이 보정된 영상의 투영변환을 실행할 수 있다.
[수학식 3]
Figure 112012043258212-pat00003
여기서, (Xi, Yi, Zi)는 3차원 공간상의 한 점이며, (xi, yi)는 2차원 카메라 평면 영상 좌표계의 한 점이고, pij : 호모그래피 행렬의 요소이다.
도 5는 본 발명의 실시예에 따른 호모그래피 행렬 구성과정을 나타낸 도면이다. 본 발명의 실시예에 따른 영상 시스템은, 방사왜곡 보정부(120)에 의해 왜곡이 보정된 영상의 선택된 특징점을 하나의 호모그래피 행렬로 구성하지 않고, 특징점에 의해 구분되는 개별 영역에 대한 호모그래피 행렬을 구한 다음 하나의 호모그래피 행렬로 조합한다. 이때, 각 광각 카메라(110)로부터 입력된 영상들은 도 6에 도시한 바와 같은 호모그래피 변환모델을 통해 영상평면에 매핑될 수 있다. 이때, 4개의 광각 카메라(110)에서 입력되는 영상에 대한 각각의 호모그래피 행렬을 구하기 위해 미리 정의한 그라운드(Ground) 영상의 최소 4개의 픽셀 위치와 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하는 방식을 이용할 수 있다. 즉, 도 6에서 입력 영상은 그라운드 영상이 호모그래피 변환 행렬 H에 의해 변환된 것으로 볼 수 있다. 따라서 입력 영상을 그라운드 영상으로 매핑하기 위해서는 H- 1를 구해야 한다. 이를 위해 먼저 호모그래피 행렬 H를 구한다. H는 그라운드 영상의 각 픽셀을 입력 영상의 한 픽셀로 매핑하는 3x3 행렬이다. 그라운드 영상의 임의의 픽셀 x의 위치와 대응하는 입력 영상의 픽셀 x'의 위치는 수학식 4로 정의할 수 있다. 여기서 λ는 스케일링(scaling) 변수이다.
[수학식 4]
Figure 112012043258212-pat00004
본 발명의 실시예에 따른 영상시스템에서는 전, 후, 좌, 우 4대의 카메라(110)로부터 입력된 영상들에 대한 각각의 호모그래피 행렬 H1, H2, H3, H4를 구하기 위해 미리 정의한 그라운드 영상의 최소 4개 픽셀 위치와 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 각 카메라(110)의 호모그래피 행렬을 미리 계산하여 사용한다. 미리 정의한 N개의 픽셀값을 적용하여 λ를 대입하여 구한 2N 개의 수식을 Ah=0의 형태로 정리하면 수학식 5와 같다. 이때, h는 9x1의 벡터로 표현할 수 있다.
[수학식 5]
Figure 112012043258212-pat00005
본 발명의 실시예에 따른 영상시스템에서는 ATA의 최소 아이젠 벡터를 계산하여 h를 구함으로써 H를 구할 수 있다. 또한, H를 이용하여 H-1을 구하여 호모그래피 변환에 사용할 수 있다.
영상통합부(140)는 각각의 광각 카메라(110)에 의해 획득되어 방사왜곡 보정부(120)를 통해 방사왜곡이 보정된 후 상기 호모그래피 변환부(130)를 통해 호모그래피 변환된 영상을 하나의 영상으로 통합한다. 이때, 영상통합부(140)에 의해 하나의 영상으로 통합하는 과정은 도 7에 나타낸 바와 같다. 이때, 영상통합부(140)는 방사왜곡 보정과 호모그래피 변환을 수행한 전, 후, 좌, 우 4개의 영상을 α-블렌딩 알고리즘을 사용하여 하나의 영상으로 통합할 수 있다.
도 8은 본 발명에 따른 호모그래피 행렬 구성방법을 나타낸 흐름도이다.
광각 카메라(110) 등을 통해 획득한 영상(S801)에 대하여 영상이 왜곡되었는지를 판단하며(S802), 영상이 왜곡되어 있다면 왜곡 보정 처리를 한다(S803). 즉, 호모그래피 행렬을 구성하기 위해서는 먼저 행렬 구성에 사용될 영상을 획득하여야 하는데, 도 9에 도시한 바와 같이 광각 카메라(110)의 입력 영상에 존재하는 방사 왜곡을 보정한 왜곡 보정 영상을 획득할 수 있다.
다음에, 왜곡 보정된 영상에 대하여 호모그래피 영역을 지정(S804)하며, 호모그래피 변환행렬 프로그램(S805)을 실행한다.
이때 알고리즘 내부의 변수 i는 카메라가 한 번 들어올 때마다 즉, 설정된 주기로 영상이 입력될 때마다 1씩 증가하는 변수이다(S806).
프로그램이 실행되면 먼저 위에서 지정해준 호모그래피 영역내의 좌표를 설정한다(S807). 이후 자동으로 인식된 전체점을 교차점에 맞게 조정(S808)하고, 점의 개수를 검사(S809)하여 점이 4개 미만일 경우 픽셀정보를 Mask처리(S810) 해주며, 점이 4개일 경우 변수 i의 값을 검사(S811)하여 i가 4일 경우 호모그래피 행렬을 구성하고 i가 4 미만일 경우 다음 카메라의 호모그래피 영역내의 지정된 좌표를 설정하는 단계로 이동한다. 변수 i가 4일 경우 특징점들에 의해 구분되는 각 영역에 대한 지역 호모그래피 행렬(S812)을 구한 후 이를 조합하여 전체 호모그래피 행렬을 구성한다. 전체 호모그래피 행렬은 텍스트 파일에 기록하여 다른 영상 처리에 입력 영상으로 사용될 수 있다(S813, S814).
호모그래피 영역의 지정 패턴은 패턴 1 칸의 크기를 화면에 보여 줄 영역의 크기를 고려하여 임의로 정할 수 있다. 도 9에서는 1칸 당 30x30(cm)의 패턴을 가로 18칸, 세로 30칸만큼을 패턴의 영역으로 사용하는 것을 보여준다. 패턴의 영역은 운영자가 프로그램 내부에 설정할 수 있다.
이후, 도 10에 도시한 바와 같이 Top Camera의 왜곡 보정 영상이 출력되면 본 발명의 실시예에 따른 영상시스템은 프로그램 내부에 설정된 패턴 영역만큼의 패턴 좌표 4개를 시계 방향으로 설정할 수 있다. 이 과정을 거치면 지정한 범위의 패턴 내부의 교차점들이 자동으로 인식되어 도 11에 도시한 바와 같이, 영상 내부의 각 교차점에 점이 찍히게 된다. 이때, 영상시스템은 찍힌 점들을 정확한 위치의 교차점으로 이동시킬 수 있다.
이와 같이 모든 점이 정해진 좌표에 위치했을 때, 좌표를 고정한 뒤 다음 단계로 넘어간다. 다음 단계에서는 계산된 호모그래피 결과 값을 왜곡 보정 영상에 적용한 결과를 미리보기 형식으로 모니터에 출력하여 운영자가 확인하도록 한다.
이와 같은 방법으로 광각 카메라(110)를 통해 입력된 전, 후, 좌, 우의 영상들의 각 영역에 대하여 위의 과정을 동일하게 거치게 되면 마지막에 4개의 왜곡 보정 영상을 앞에서 구해진 4개의 호모그래피 행렬을 투영 변환 처리하여 그 결과를 미리보기로 제공하며, 도 12 및 도 13에 도시한 바와 같이 각 카메라의 투영 변환 처리 결과 영상과 그 결과 영상을 정합한 영상이 출력된다. 그리고 각 카메라 별 호모그래피 변환 행렬을 텍스트 파일 형식으로 저장한다.
본 발명에서는 선택영역의 평균 값을 이용한 호모그래피 행렬의 단점을 모두 극복한 선택영역의 전체 점을 이용한 호모그래피 행렬을 사용한다. 평균값을 이용한 호모그래피 행렬의 경우 영상의 중앙부분 보다 외곽 부분의 영상이 흐리게 보이는 현상이 발생하며, 편차가 많이 나는 점도 평균값으로 처리해 영상의 품질이 저하되는 단점이 있다. 전체점을 이용한 호모그래피 행렬의 경우, 영상의 전체 점을 인식하여 패턴의 사각형 각각의 호모그래피 행렬의 값을 모두 계산하므로 기존의 평균값을 이용한 알고리즘 영상의 흐릿함과 어긋난 매핑 현상을 줄여 도 14에 나타낸 바와 같이, 영상의 품질이 높아지는 결과를 얻게 된다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이며, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 전방, 후방, 좌측, 우측 중 적어도 하나에 대한 영상을 획득하는 적어도 하나의 광각 카메라;
    상기 광각 카메라를 통해 입력되는 영상을 방사 왜곡 보정하는 방사왜곡 보정부;
    상기 방사왜곡 보정부에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 호모그래피 변환하는 호모그래피 변환부; 및
    각각의 상기 광각 카메라를 통해 획득되는 영상을 통합하는 영상통합부;를 포함하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
  2. 제1항에 있어서,
    상기 방사왜곡 보정부는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
  3. 삭제
  4. 제 1항에 있어서,
    상기 호모그래피 변환부는,
    상기 방사왜곡 보정부에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
  5. 제 4항에 있어서,
    검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에는,
    각 카메라로부터 영상이 입력될 때마다 1씩 증가하는 변수 i의 값을 검사하여 변수 i의 값이 4일 경우에 호모그래피 행렬을 구하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
  6. 제 5항에 있어서,
    변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 시스템.
  7. 전방, 후방, 좌측, 우측의 영상 중 각각 하나의 영상을 획득하는 4개의 광각 카메라를 구비한 영상 시스템에서 획득되는 각각의 영상을 통합된 하나의 영상으로 제공하기 위하여,
    전방, 후방, 좌측, 우측 중 적어도 하나에 대한 영상을 획득하는 단계;
    획득된 영상을 방사 왜곡 보정하는 단계; 및
    상기 방사 왜곡 보정하는 단계에 의해 보정된 영상에 기 설정된 호모그래피 변환행렬을 이용하여 기 설정된 그라운드 영상의 적어도 4개의 픽셀 위치와 상기 광각 카메라를 통한 입력 영상에서 각 픽셀과 대응하는 픽셀 위치를 대입하여 호모그래피 변환하는 단계;를 포함하며,
    호모그래피 변환된 각각의 영상을 하나의 영상으로 통합하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
  8. 제 7항에 있어서,
    상기 방사왜곡 보정단계는 각각의 상기 광각 카메라의 카메라 모델에 대응하는 왜곡 보정계수에 기초하여 영상을 방사왜곡 보정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
  9. 삭제
  10. 제 7항에 있어서,
    상기 호모그래피 변환단계는,
    상기 방사왜곡 보정단계에 의해 왜곡이 보정된 영상에서 호모그래피 영역을 지정하고 지정된 호모그래피 영역에서 전체점을 교차점에 맞게 조정한 후 점의 개수를 검사하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
  11. 제 10항에 있어서,
    검사한 점의 개수가 4개 미만일 경우에 픽셀정보를 마스크(Mask) 처리하고, 점이 4개일 경우에는,
    각 카메라로부터 영상이 입력될 때마다 1씩 증가하는 변수 i의 값을 검사하여 변수 i의 값이 4일 경우에 호모그래피 행렬을 구하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.
  12. 제 11항에 있어서,
    변수 i가 4 미만일 경우, 다음 카메라의 호모그래피 영역 내의 지정된 좌표를 설정하는 것을 특징으로 하는 광각 카메라를 이용한 영상 방법.




KR1020120057351A 2012-05-30 2012-05-30 광각 카메라를 이용한 영상 시스템 및 그 방법 KR101469717B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120057351A KR101469717B1 (ko) 2012-05-30 2012-05-30 광각 카메라를 이용한 영상 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120057351A KR101469717B1 (ko) 2012-05-30 2012-05-30 광각 카메라를 이용한 영상 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130134086A KR20130134086A (ko) 2013-12-10
KR101469717B1 true KR101469717B1 (ko) 2014-12-05

Family

ID=49981766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120057351A KR101469717B1 (ko) 2012-05-30 2012-05-30 광각 카메라를 이용한 영상 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101469717B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250873B1 (ko) * 2019-11-29 2021-05-11 한국전자기술연구원 보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
CN108830810A (zh) * 2018-06-07 2018-11-16 辽宁工业大学 一种基于正交投影的鱼眼镜头图像畸变矫正方法
KR102258207B1 (ko) * 2019-09-26 2021-05-31 주식회사 삼우이머션 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090108822A (ko) * 2008-04-14 2009-10-19 주식회사 이미지넥스트 카메라 영상 보정 방법 및 장치
KR100943719B1 (ko) * 2008-11-04 2010-02-23 광주과학기술원 다시점 영상의 기하학적 보정 시스템 및 방법
KR20100081964A (ko) * 2010-01-26 2010-07-15 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090108822A (ko) * 2008-04-14 2009-10-19 주식회사 이미지넥스트 카메라 영상 보정 방법 및 장치
KR100943719B1 (ko) * 2008-11-04 2010-02-23 광주과학기술원 다시점 영상의 기하학적 보정 시스템 및 방법
KR20100081964A (ko) * 2010-01-26 2010-07-15 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250873B1 (ko) * 2019-11-29 2021-05-11 한국전자기술연구원 보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법
WO2021107243A1 (ko) * 2019-11-29 2021-06-03 전자부품연구원 보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20130134086A (ko) 2013-12-10

Similar Documents

Publication Publication Date Title
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
KR101939349B1 (ko) 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법
US10217281B2 (en) Apparatus for reconstructing 3D model and method for using the same
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US10594941B2 (en) Method and device of image processing and camera
KR101811157B1 (ko) 사발형 영상 시스템
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
US20150103172A1 (en) Image processing apparatus and method
Varga et al. Super-sensor for 360-degree environment perception: Point cloud segmentation using image features
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
US9600863B2 (en) Method for combining images
JP6079131B2 (ja) 画像処理装置、方法、及びプログラム
US20210176395A1 (en) Gimbal system and image processing method thereof and unmanned aerial vehicle
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
WO2003087929A1 (en) A digital imaging system
JP2017005380A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6276719B2 (ja) 画像生成装置、座標変換テーブル作成装置および作成方法
KR101469717B1 (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
US11521395B2 (en) Image processing device, image processing method, and program
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
KR20140052769A (ko) 왜곡 영상 보정 장치 및 방법
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
Bangadkar et al. Mapping matrix for perspective correction from fish eye distorted images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171211

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180213

Year of fee payment: 5