KR20110130137A - 차량용 광각 영상 처리장치 및 그 방법 - Google Patents

차량용 광각 영상 처리장치 및 그 방법 Download PDF

Info

Publication number
KR20110130137A
KR20110130137A KR1020100049626A KR20100049626A KR20110130137A KR 20110130137 A KR20110130137 A KR 20110130137A KR 1020100049626 A KR1020100049626 A KR 1020100049626A KR 20100049626 A KR20100049626 A KR 20100049626A KR 20110130137 A KR20110130137 A KR 20110130137A
Authority
KR
South Korea
Prior art keywords
image
pixels
wide
angle
input
Prior art date
Application number
KR1020100049626A
Other languages
English (en)
Other versions
KR101230909B1 (ko
Inventor
이준석
전병찬
박규로
홍상석
Original Assignee
(주) 에투시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 에투시스템 filed Critical (주) 에투시스템
Priority to KR1020100049626A priority Critical patent/KR101230909B1/ko
Publication of KR20110130137A publication Critical patent/KR20110130137A/ko
Application granted granted Critical
Publication of KR101230909B1 publication Critical patent/KR101230909B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 복수 개의 광각 카메라로부터 획득한 복수의 영상을 단일 평면화 영상으로 합성할 때 간편한 방법에 의하여 신속하고 효율적으로 처리할 수 있는 광각 영상 처리장치 및 그 방법에 관한 것으로, 복수의 광각 카메라로부터 획득된 입력 영상을 각각 수신하는 영상수신부와, 상기 복수의 입력 영상을 하나의 합성 영상으로 변환할 때, 상기 각 입력 영상의 화소들과 합성 영상의 화소들 간의 대응관계에 대한 매핑 데이터가 저장된 룩업테이블과, 상기 영상수신부로부터 입력된 영상에 해당하는 룩업테이블을 참조하여 각 입력 영상을 구성하는 화소들에 대한 합성 영상의 화소를 구성하는 영상정합부, 및 상기 합성 영상은 복수의 분할영상으로 구성되고, 상기 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 상기 복수의 분할영상을 보정하는 후처리부를 포함한다.

Description

광각 영상 처리장치 및 그 방법{APPARATUS AND METHOD FOR PROCESSING WIDE ANGLE IMAGE}
본 발명은 영상 처리장치 및 방법에 관한 것으로서, 보다 상세하게는 복수 개의 광각 카메라로부터 획득한 복수의 영상을 단일 평면화 영상으로 합성할 때 간편한 방법에 의하여 신속하고 효율적으로 처리할 수 있는 광각 영상 처리장치 및 그 방법에 관한 것이다.
최근, IT 기술의 발전과 더불어 이를 차량에 접목시키고자 하는 시도가 증가하고 있다. 예컨대, 차량에 카메라를 장착하여 운전 상태나 주변 상황을 녹화하는 블랙박스 장치나 차량의 후방에 카메라를 설치하여 후진시 후방 영상을 촬영하여 차량 내부의 디스플레이 장치에 출력하도록 하는 주차 보조 시스템 등이 사용되고 있으며 이러한 추세는 점차 증가하고 있는 것으로 보고되고 있다.
한편, 이러한 기술 중에서 최근에는 차량의 전후방, 좌우측면에 광각 카메라를 설치하고 이들 카메라들로부터 촬영되는 영상을 차량의 바로 위 즉, 상방향에서 내려다보는 형태의 영상으로 재구성하여 차량의 디스플레이 장치에 출력함으로써 운전자의 편의를 도모하도록 하는 시스템도 제안되고 있다. 이러한 시스템은 마치 새가 하늘에서 내려다보는 듯한 영상을 제공한다는 점에서 버드아이뷰(Bird-eye view) 시스템이라고 하거나 AVM(around view monitoring) 시스템 등으로 불리고 있다.
이러한 기술은 보다 넓은 시야각을 확보하기 위하여 어안(fish eye) 렌즈를 구비하는 광각 카메라를 사용하는데, 이러한 광각 카메라를 사용하게 되면 왜곡된 영상을 최초 영상으로서 획득하게 되므로 이러한 왜곡 영상을 왜곡이 없는 영상으로 보정하기 위한 과정을 필요로 하게 된다. 또한, 이러한 시스템은 차량의 전후방, 좌우측면에 설치된 복수의 광각 카메라에 의해 지면에 수평 방향으로 촬영된 영상을 지면에서 수직 방향인 형태의 영상으로 변환하는 과정(평면화, homography)을 필요로 하므로 이러한 변환을 수행하기 위한 복잡한 연산 과정을 필요로 한다. 또한, 평면화된 복수의 영상들을 하나의 영상으로 재배열하고 재배열된 영상에서 겹치는 부분들을 처리하는 단일 영상화 과정까지 필요로 한다.
따라서, 종래 기술에 의한 버드아이뷰 시스템은 연산 과정이 매우 복잡하고 수단계의 과정을 연속적으로 또한 실시간으로 처리해야 하므로 연산량이 방대하고 고사양 및 고가의 하드웨어 장비를 필요로 한다는 문제점이 있다.
본 발명은 복수의 광각 카메라로부터 획득한 복수의 영상을 신속하고 효율적으로 단일 평면화 영상으로 합성할 수 있는 광각 영상 처리장치 및 그 방법을 제공하기 위한 것이다.
본 발명은 복수의 다채널 입력영상을 단일 평면화 영상으로 구성하는 영상처리 장치를 저렴한 비용으로 제조할 수 있도록 하고, 보다 낮은 사양에서도 실시간 처리가 보장될 수 있도록 하는 광각 영상 처리장치 및 그 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 광각 영상 처리장치는, 복수의 광각 카메라로부터 획득된 입력 영상을 각각 수신하는 영상수신부; 상기 복수의 입력 영상을 하나의 합성 영상으로 변환할 때, 상기 각 입력 영상의 화소들과 합성 영상의 화소들 간의 대응관계에 대한 매핑 데이터가 저장된 룩업테이블; 상기 영상수신부로부터 입력된 영상에 해당하는 룩업테이블을 참조하여 각 입력 영상을 구성하는 화소들에 대한 합성 영상의 화소를 구성하는 영상정합부; 및 상기 합성 영상은 복수의 분할영상으로 구성되고, 상기 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 상기 복수의 분할영상을 보정하는 후처리부;를 포함하는 것을 특징으로 한다.
또한, 상기 영상 처리장치는 후처리부에서 보정된 합성 영상을 외부의 디스플레이로 전송하는 영상출력부를 더 포함하는 것을 특징으로 한다.
구체적으로, 상기 룩업테이블은 각 입력 영상의 화소들에 대한 원좌표와 상기 합성 영상의 화소들에 대한 최종좌표가 서로 매핑되며, 상기 원좌표와 최종좌표는 N:1 관계로 매핑되며, 상기 입력 영상의 전체 화소들 중 그 일부만 상기 합성 영상의 화소로 매핑되는 것을 특징으로 한다.
상기 영상정합부는, 입력된 영상을 구성하는 각 화소의 원좌표에 대응되는 합성 영상의 각 화소에 대한 최종좌표를 룩업테이블을 통해 획득하고, 획득된 최종좌표에 원좌표의 화소값을 기록하여 합성 영상을 구성하는 것을 특징으로 한다.
상기 후처리부는, 상기 복수의 분할영상들에서 서로 인접하는 경계영역에 대한 경계 화소들의 밝기정보를 서로 동일하게 보정하며, 상기 경계 화소들을 보정할 때 밝기 정보의 평균값에 의해 동일하게 보정하는 것을 특징으로 한다.
또한, 상기 밝기정보를 동일하게 한 경계 화소에 대하여 경계 화소들에 가감된 스케일 정보를 구하고, 상기 구해진 스케일 정보에 기초하여 각 분할영상의 내부에 포함되는 화소들에 대하여 밝기정보를 변경하여 보정하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 광각 영상 처리방법은, 복수의 광각 카메라로부터 획득된 입력 영상을 각각 수신하는 단계; 상기 수신된 영상에 해당하는 룩업테이블을 참조하여 각 입력 영상을 구성하는 화소들에 대응되는 합성 영상의 최종좌표를 획득하는 단계; 상기 획득된 최종좌표에 대응되는 입력 영상의 화소값을 기록하여 합성 영상의 화소를 구성하는 단계; 및 상기 합성 영상은 복수의 분할영상으로 구성되고, 상기 합성 영상을 구성하는 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 복수의 분할영상을 보정하는 단계;를 포함하는 것을 특징으로 한다.
구체적으로, 상기 룩업테이블은, 광각 카메라로부터 획득되는 복수의 입력 영상 각각의 왜곡을 보정하는 왜곡 보정 단계; 상기 왜곡이 보정된 입력 영상 각각에 대해 평면화를 하는 평면화 단계; 상기 평면화된 입력 영상 각각을 재배열하는 재배열 단계; 및 상기 재배열된 영상을 단일 영상으로 합성하는 단일 영상화 단계;를 구비하고, 상기 단계들에 의해 생성된 샘플 출력 영상을 구성하는 각각의 화소들이 복수의 입력 영상의 화소에 대응되는 관계를 역연산함으로써 생성되는 것을 특징으로 한다.
상기 룩업테이블은, 샘플 출력 영상을 구성하는 각각의 화소가 어느 광각 카메라로부터 획득된 것인가를 결정한 후, 상기 단일 영상화 단계와 재배열 단계, 평면화 단계, 및 왜곡 보정 단계에 대한 역연산을 순차적으로 수행함으로써 생성되는 것을 특징으로 한다.
이상에서 설명한 바와 같이 본 발명은 복수의 광각 카메라로부터 획득한 복수의 영상을 신속하고 효율적으로 단일 평면화 영상으로 구성할 수 있다.
또한, 본 발명에 의하면, 복수의 다채널 입력영상을 단일 평면화 영상으로 구성하는 영상 처리 장치를 저렴한 비용으로 제조할 수 있도록 하고, 보다 낮은 사양에서도 실시간 처리가 보장될 수 있도록 하는 이점이 있다.
도 1은 종래의 영상합성 시스템의 기본적인 과정과 각 과정별의 영상을 나타낸 도면이다.
도 2는 본 발명의 실시예에 의한 복수의 광각 카메라로부터 획득한 영상을 처리하는 장치를 나타낸 블록도이다.
도 3은 본 발명에서 사용되는 룩업테이블의 일예를 나타낸 도면이다.
도 4는 본 발명에 의한 룩업테이블의 생성과정을 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 의한 복수의 광각 카메라로부터 획득한 영상을 처리하는 과정을 나타낸 흐름도이다.
도 6은 본 발명에 의해 생성된 합성 영상의 일예를 나타낸 도면이다.
도 7a 및 도 7b는 도 6에 도시된 분할영상1과 분할영상4의 경계영역을 확대하여 나타낸 도면다.
도 8은 가우시안 함수의 그래프를 나타낸 도면이다.
도 9는 보정이 완료된 출력 합성 영상의 일예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 어느 곳에서든지 동일한 부호로 표시한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
우선, 본 발명에 의한 실시예를 설명하기에 앞서서, 본 발명과 관련된 종래기술의 원리를 개략적으로 설명한다.
전술한 바와 같이, 차량의 전방과 후방, 좌측면, 및 우측면에 각각 어안렌즈를 갖는 광각 카메라를 설치하여 지면에 수평 방향으로 영상을 촬영하고, 이를 차량의 상부에서 내려다보는 형태로 재구성하는 종래 기술(이하, 이러한 종래 기술을 편의상 간단히 '영상합성 시스템'이라 한다)이 제안되고 있다. 이러한 종래의 영상합성 시스템의 기본적인 과정과 각 과정별의 영상을 도 1에 예시적으로 나타내었다.
도 1을 참조하면, 종래의 영상합성 시스템은 6단계로 구성되는데, 영상 입력 단계(S10), 왜곡 보정 단계(S11), 평면화 단계(S12), 재배열 단계(S13), 단일 영상화 단계(S14) 및 단일 영상 출력 단계(S15)의 과정을 구비한다.
영상 입력 단계(S10)는 복수의 광각 카메라로부터 획득되는 복수의 영상이 입력되는 과정이다. 예컨대, 차량인 대상 물체에 복수의 카메라를 장착하는 경우, 차량의 전방/후방/좌측면/우측면에 각각 광각 카메라를 장착할 수 있으며, 이때 촬영되는 영상은 도 1에 나타낸 바와 같이 나타나게 된다. 전술한 바와 같이, 광각 카메라는 어안렌즈를 구비하므로 넓은 시야각을 확보할 수 있는데, 이는 대상 물체 주변의 영상에 의해 추후에 설명하는 바와 같이 단일 평면화 영상을 구성하기 위해서는 각 카메라간에 일정 영역이 서로 겹치는 부분이 있어야 하고 겹치는 영역에도 불구하고 보다 적은 수의 카메라로서 영상을 재구성하기 위해서는 각각의 카메라의 시야각이 넓어야 하기 때문이다.
한편, 본 발명에서, 카메라라고 하는 것은, 어안렌즈 뿐 아니라 이미지 센서 등 기타 전기적 장치를 포함하는 개념으로서 사용한다. 즉, 단순히 영상을 광학적으로 취득하는 기구만을 의미하는 것이 아니라, 광학 신호를 전기적인 신호로 변환하는 장치로서, 예컨대 도 2에 나타낸 바와 같이 영상처리장치에 입력되어 처리할 수 있는 형태의 신호를 출력하는 수단을 의미하는 개념으로 정의하여 사용한다.
다음으로, 왜곡 보정 단계(S11)는 전술한 바와 같이 가능한 한 적은 수의 카메라만을 사용하기 위해 어안렌즈를 장착한 광각 카메라를 사용할 경우 넓은 시야각을 확보할 수는 있으나, 획득되는 영상의 가장자리 쪽으로 갈수록 영상이 방사형으로 왜곡되게 된다. 왜곡 보정 단계(S11)는 이러한 왜곡 영상을 보정하기 위한 과정이다. 어안렌즈에 의한 왜곡 보정은 크게 'Equi-solid Angle Projection', 'Orthographic Projection'의 두 가지 방식으로 나눌 수 있는데, 이는 어안렌즈를 제조할 때 어안렌즈로 들어오는 빛을 어떻게 재배열하느냐를 정의하는 방식으로 어안렌즈 제조사는 어안렌즈 제조시에 두 가지 방법 중 하나를 선택해서 어안렌즈를 제조한다. 따라서 어안렌즈에 적용된 왜곡 방식에 따라 왜곡 연산의 역연산을 구하고, 어안렌즈로 촬영한 영상을 역변환해주면 '왜곡 보정'된 영상을 얻을 수 있으며, 이때 변환된 영상을 '왜곡 보정 영상'이라고 한다. 왜곡 보정 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.
왜곡 보정을 수행하기 위한 연산식은, 예컨대 아래의 수식 1이 사용될 수 있다.
수식 1
Figure pat00001
여기에서, f는 카메라의 촛점 거리이고, R f 는 카메라의 광중심에서 입력영상의 (x,y) 좌표, 즉 (X 입력영상 , Y 입력영상 )까지의 거리이고, X 입력영상 과 Y 입력영상 은 입력영상의 (x,y) 좌표값이고, X 왜곡보정영상 과 Y 왜곡보정영상 은 왜곡 보정 영상의 (x,y) 좌표값이다.
다음으로, 왜곡 보정 영상을 얻게 되면, 평면화(homography) 과정을 수행한다(S12). 평면화 과정(S12)은 대상 물체 즉, 카메라가 장착된 물체 위에서 대상물체를 지면을 향하는 방향 즉, 수직으로 내려다보는 영상으로 변환하는 과정이다.
전술한 바와 같이, 왜곡 보정 단계(S11)에서 얻어지는 왜곡 보정 영상은 각각의 카메라마다 각기 다른 시점으로 촬영한 영상에 해당하므로, 이들 영상은 하나의 시점 즉, 수직으로 내려다보는 시점의 영상으로 변환하는 과정이 평면화 단계(S12)이다. 평면화 단계(S12)를 수행하여 생성된 영상을 평면화 영상이라고 하며, 평면화 단계(S12)를 수행한 후의 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.
평면화 단계에서는, 예컨대 아래의 수식 2가 사용될 수 있다.
수식 2
Figure pat00002
여기서, X 왜곡보정영상 과 Y 왜곡보정영상 은 상기 수식 1에 의해 획득된 왜곡 보정 영상의 (x,y) 좌표값이고, X 평면화영상 과 Y 평면화영상 은 상기 수식 2에 의해 변환된 평면화영상의 (x,y) 좌표값이며, h 11 , h 12 , ..., h 33 은 평면화 변환계수(이를 Perspective Transform이라고 함)를 의미한다.
다음으로, 평면화 영상이 획득되면, 재배열 단계(Affine transform)를 수행한다(S13). 재배열 단계(S13)는, 평면화 단계에서 생성된 평면화 영상들을 변위이동 및 회전만을 적용해 재배열하는 단계로서, 대상 물체를 둘러싸도록 촬영된 영상들이 대상물체를 제외한 주변 영상으로 재구성되는 단계이다. 이러한 재배열 단계(S13)는, 화소에 대한 이동과 회전만으로 이루어질 수 있는데, 이를 위해 어파인 변환(Affine transform) 등과 같은 방법을 사용할 수 있다. 재배열을 통해 생성된 영상을 재배열 영상이라고 하며, 재배열 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.
재배열 단계에서는 아래의 수식 3이 사용될 수 있다.
수식 3
Figure pat00003
여기에서, X 평면화영상 과 Y 평면화영상 은 수식 2에 의해 변환된 평면화 영상의 (x,y) 좌표값이고, X 재배열영상 과 Y 재배열영상 은 수식 3에 의해 변환될 재배열 영상의 (x,y) 좌표값이고, r 11 ,r 12 ,r 21 ,r 22 는 회전변환 계수이고, t x ,t y 는 변위이동 계수를 의미(r과 t를 합쳐서 affine transform으로 정의함)한다.
다음으로, 단일 영상화 단계(S14)를 수행한다. 재배열 영상은 영상을 단지 다시 배열해 놓은 것에 불과하기 때문에, 대상 물체 주변을 촬영한 영상들은 서로 공통 영역을 가지며 공통 영역이 서로 겹치게 배열된다. 따라서 공통 영역을 가지는 재배열 영상에서 겹치는 부분을 처리하여 공통 영역에 대해 하나의 대표 영상을 획득하게 하는 단일 영상화 단계가 필요하다. 단일 영상화 단계는 여러 가지 구현방식을 사용할 수 있으며 구현 방식에 따라 달라질 수 있으므로, 구현 원리만 간단히 설명하도록 한다.
공통 영역이 발생하면 단일 영상화단계는 이 공통 영역을 화소 단위로 쪼개어 분석하여 보다 더 정확한 위치에 배열된 화소들만으로 단일화 영상 영역을 구성하게 한다. 정확한 위치에 배열된 화소에 대한 기준은 여러 가지가 될 수 있는데 가장 간단한 기준은 예컨대 화소가 속한 영상의 광중심과 화소와의 거리가 될 수 있다. 이 기준을 이용하여 공통 영역의 겹치는 화소들 가운데 광중심에 보다 더 가까이 놓인 화소만으로 공통 영역을 재구성하게 되면, 재배열 영상을 겹치는 영역 없이 단일 영상으로 구성할 수 있게 된다. 단일 영상화 단계를 통해 생성되는 영상을 단일 영상이라 하며, 도 1에 나타낸 바와 같이 표시될 수 있다.
이와 같이 단일 영상화 단계(S14)까지를 수행하게 되면 평면화된 단일 영상이 획득되고, 이를 출력(S15)하게 되면 도 1에 나타낸 바와 같이 대상 물체 주변을 대상 물체의 수직 상방향에서 내려다 본 형태의 영상을 볼 수 있게 된다.
한편, 전술한 수식 1, 2 및 3 등은 종래 기술에 의해 이용되고 있는 것이고, 본 발명과는 직접적인 관련이 없는 것이므로 상세 설명은 생략하였다. 특히, 수식 2 및 3에서 각각의 계수들은 사용되는 방식 또는 알고리즘에 따라 다르게 결정될 수 있는 것으로서, 본 발명은 이러한 계수를 산출하는 방법 자체와 관련되는 것은 아니며 후술하는 바와 같이 어떠한 수식이 사용되건 간에 사용되는 수식의 역연산을 수행한다는 점을 특징으로 하는 것이므로 상세 설명은 생략한다.
도 2는 본 발명의 실시예에 의한 광각 카메라 및 광각 영상처리장치를 나타낸 블록도이다.
도 2를 참조하면, 복수의 광각 카메라(10)로부터 획득한 영상을 처리하는 장치(100; 이하, 영상처리장치라고 함)는 영상수신부(110), 룩업테이블(130; Look-up Table), 영상정합부(150), 후처리부(170) 및 영상출력부(190)를 구비한다.
광각 카메라(10)는 차량의 소정의 위치에 각각 설치되는 적어도 2개 이상으로 구성되며, 각각의 전방영상을 촬영하여 이를 전기적 신호로 변환하여 영상수신부(110)로 전송한다. 여기에서, 광각 카메라(10)가 4개일 경우 인접한 광각 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 것이 바람직하다.
전술한 바와 같이, 광각 카메라(10)는 단순한 광학기구 뿐 아니라 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 포함하는 개념이다. 예컨대, 대상 물체가 차량인 경우 광각 카메라는 차량의 전방/후방/좌측면/우측면에 배치될 수 있으며, 각 카메라는 그 촬영 영역이 인접하는 카메라 사이에서 적어도 일부분 이상 겹치도록 배치된다.
영상수신부(110)는 복수의 광각 카메라(10)로부터 획득된 적어도 2이상의 복수의 입력 영상을 각각 수신하는 수단으로서, 수신된 복수의 입력 영상을 영상정합부(150)로 전송한다. 필요한 경우 영상수신부(110)에서는 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.
룩업테이블(130)은 복수의 광각 카메라(10)로부터 획득되는 복수의 입력 영상을 구성하는 각각의 화소들이 합성 영상의 화소에 대응되는 관계에 대한 영상 매핑데이터를 저장하는 수단으로서, 예컨대 도 3과 같은 형태로 구성할 수 있다.
도 3을 참조하면, 룩업테이블(130)은 복수의 광각 카메라(10)로부터 획득되는 복수의 입력 영상을 구성하는 각각의 화소들의 원좌표(x,y)에 대하여 합성 영상의 화소의 최종좌표(t11, t12, ..., tmn)로 대응시킨 관계를 규정하는 일종의 매핑 테이블로 볼 수 있다. 도 3에서, 합성 영상의 최종좌표(t11, t12, ..., tmn) 각각은 복수의 입력 영상에 대응될 수 있다. 이는 전술한 바와 같이, 광각 카메라에 의해 획득되는 영상은 넓은 시야각을 갖는 왜곡된 영상이므로, 이를 평면화한 영상으로 대응시킬 때 각 영상의 화소는 1:1 뿐만 아니라 N(원좌표):1(최종좌표)의 관계로 대응되는 경우가 있기 때문이다. 예컨대, 최종좌표인 T11은 3곳의 입력 원좌표((x1,y2), (x3,y5), (x4,y6))에 대응될 수도 있다. 물론, 경우에 따라, 예컨대 입력영상 대비 출력영상의 해상도가 매우 클 경우에는 1(원좌표):N(최종좌표)으로 매핑될 수도 있다. 이러한 룩업테이블(130)은 광각 카메라(10)로부터 획득되는 입력 영상의 개수, 즉 카메라(10)의 개수만큼 구비하고 각각의 입력 영상별로 대응되는 합성 영상의 좌표값을 포함하도록 한다.
이러한 룩업테이블(130)을 생성하는 과정을 설명하면 다음과 같다.
도 1을 참조하여 설명한 바와 같이, 종래의 영상합성 시스템은 영상 입력단계(S10), 왜곡 보정 단계(S11), 평면화 단계(S12), 재배열 단계(S13), 단일영상화 단계(S14) 및 단일 영상 출력 단계(S15)의 과정을 통해 복수의 카메라로부터 획득되는 각각의 입력 영상을 단일 평면화 영상(합성 영상)으로서 생성하게 된다. 여기서, 룩업테이블(130)을 생성하기 위해서는, 이러한 각 단계(S10~S15)를 거쳐 생성되는 샘플 출력 영상을 이용할 수 있다. 즉, 상기 각 단계(S10~S15)에서, 왜곡 보정 단계(S11), 평면화 단계(S12) 및 재배열 단계(S13)는 전술한 바와 같이 각 단계에 적합한 수식을 이용하여 연산을 수행하게 되는데, 샘플 출력 영상의 각각의 화소에 대하여 이러한 연산의 역연산(inverse operation)을 수행하게 되면, 출력 영상의 각 화소에 대응하는 입력 영상의 각 화소의 좌표를 구할 수 있다.
이러한 룩업테이블(130)의 생성 과정을 도 4에 나타내었다.
도 4를 참조하면, 우선 샘플의 출력 영상을 구성하는 화소 중 어느 하나의 화소를 선택한다(S101). 상기 화소는 좌표를 기준으로 선택되고, 상기 좌표는 출력 영상의 최종좌표가 된다.
상기 화소가 선택되면, 선택된 화소가 복수의 광각 카메라(10) 중에서 어느 것으로부터 생성된 것인지를 파악한다(S102). 이는 도 1의 단일 영상화 단계(S14)의 역과정으로 볼 수 있는데, 전술한 바와 같이 단일 영상화 단계에서는 겹치는 영역 중에서 어느 하나의 화소만을 일정 기준에 의해 결정하므로, 본 단계(S102)에서 선택된 화소가 단일 영상화 단계에서 어느 카메라로부터 온 것인지를 파악하는 것으로 볼 수 있다. 이를 수행하기 위한 방법으로서는, 복수의 광각 카메라로부터 생성되는 입력 영상에 대하여 카메라를 식별할 수 있는 식별자(identifier)를 추가해 두고, 추후 이러한 식별자를 확인하는 방법으로 하는 것이 간편하다. 즉, 도 1에서 설명한 과정을 수행할 때, 각각의 입력 영상을 생성한 카메라를 구분할 수 있는 식별자를 각 영상과 함께 사용함으로써 이루어질 수 있다.
다음으로, 재배열 단계(S13)에서 사용한 수식의 역연산을 적용한다(S103). 도 1에서 설명한 바와 같이, 예컨대 재배열 단계(S13)에서 수식 3을 사용했다면 이 수식 3의 역연산은 아래의 수식 4와 같이 정의될 수 있다.
수식 4
Figure pat00004
다음으로, 평면화 단계(S12)에서 사용한 수식 2의 역연산을 적용한다(S104). 이 또한 도 1에서 설명한 바와 같이, 평면화 단계(S12)에서 수식 2를 사용했다면 이 수식 2의 역연산은 아래 수식 5와 같이 정의될 수 있다.
수식 5
Figure pat00005
다음으로, 왜곡 보정 단계(S11)에서 사용한 수식의 역연산을 적용한다(S105). 이 또한 도 1에서 설명한 바와 같이 왜곡 보정 단계(S11)에서 수식 1을 사용했다면 이 수식 1의 역연산은 아래 수식 6과 같이 정의될 수 있다.
수식 6
Figure pat00006
여기에서, R p 는 카메라의 광중심에서 왜곡 보정 영상의 (x,y) 좌표값 즉, (X 왜곡보정영상 , Y 왜곡보정영상 )까지의 거리를 의미한다.
이와 같은 과정을 수행하면, 상기 단계(S101)에서 선택된 화소의 최종좌표가 카메라에 의해 획득되는 입력 영상에서의 원좌표가 어디인지를 알 수 있게 된다. 따라서, 특정 화소의 최종좌표에 대응되는 원좌표를 획득하여 기록해 둔다(S106).
이와 같은 과정을 합성 영상(샘플의 출력 영상)의 모든 화소에 대해서 순차적으로 수행하여 임의 화소의 최종좌표에 대응된 원좌표를 획득한다(S107).
이와 같은 방법으로 획득된 원좌표를 해당 화소의 최종좌표와 매핑시켜 도 3과 같은 룩업테이블(130; LUT)을 생성할 수 있게 된다(S108). 여기에서, 입력 영상의 모든 화소가 합성 영상의 최종좌표와 매핑되는 것은 아니다. 이는 입력 영상 중에서 불필요한 화소는 최종좌표에 대응되지 않고 버려질 수 있다는 것을 의미한다. 일반적으로 입력 영상의 일정 영역에 있는 화소만, 즉 20% 내지 50% 정도의 화소만 합성 영상으로 변환되므로, 룩업테이블(130)을 참조하여 합성 영상으로 변환되는 입력 영상의 화소에 대해서만 매핑 과정을 수행하므로 그만큼 영상처리 부하와 시간을 줄일 수 있다.
한편, 수식 4 내지 수식 6은 전술한 수식 1 내지 수식 3의 역연산을 기재한 것으로서, 이들 또한 예시적인 것이며 이들에 한정되는 것은 아니다. 수식 4 내지 수식 6은 사용되는 수식 1 내지 수식 3이 어떠한 것이건 간에 이들의 역연산으로 정의되는 것이라는 점에 유의해야 한다.
다시 도 2를 참조하면, 영상정합부(150)는 영상수신부(110)로부터 복수의 입력 영상을 수신하고, 전술한 바와 같이 생성된 룩업테이블(130)을 참조하여 입력 영상을 구성하는 각 화소들에 대한 합성 영상의 화소를 구성하게 된다. 즉, 영상정합부(150)는 도 3과 같은 룩업테이블(130)을 기반으로 입력 영상을 구성하는 각 화소의 원좌표에 대응되는 합성 영상의 최종좌표를 얻을 수 있다. 이와 같이 얻어진 합성 영상의 각 화소의 최종좌표에 그와 대응되는 입력 영상의 화소값(픽셀 데이터)을 기록함으로써 합성 영상을 구성하게 된다.
이러한 과정을 각각의 입력 영상의 모든 화소들에 대하여 수행하게 되면, 합성 영상을 구성하는 모든 화소의 각 최종좌표에 그와 대응되는 입력 영상의 각 화소값을 기록할 수 있으므로, 합성 영상을 신속하게 생성해 낼 수 있게 된다.
후처리부(170)는 상기 영상정합부(150)를 통해 생성된 합성 영상에서 합성 영상을 구성하는 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 복수의 분할영상의 경계영역과 내부영역의 영상데이터를 보정하게 된다. 상기 후처리부(170)는 상기 복수의 분할영상들 각각에 대해, 인접하는 다른 분할영상들과의 경계영역을 구성하는 경계 화소들의 밝기정보와 인접하는 다른 분할영상들의 경계 화소들의 밝기정보가 서로 동일하게 되도록 보정한다.
영상출력부(190)는 상기 후처리부(170)에서 보정된 합성 영상에 기초하여 출력 영상을 생성하여 외부의 디스플레이 장치, 예컨대 LCD 모니터 등으로 출력하는 기능을 수행한다.
도 5는 본 발명의 실시예에 의한 복수의 광각 카메라로부터 획득된 영상을 처리하기 위한 흐름도로서, 도 2 및 도 3을 참조하여 살펴본다.
먼저, 영상수신부(110)는 복수의 광각 카메라(10) 중의 어느 하나의 카메라를 통해 획득된 영상을 입력받아 영상정합부(150)로 출력한다.
영상정합부(150)는 영상수신부(110)를 통해 획득한 입력 영상을 구성하는 화소 중 어느 하나의 화소를 선택한다(S111). 여기에서, 영상정합부(150)는 입력 영상의 특정 화소를 선택할 때 룩업테이블(130)에 구현된 원좌표(x m ,y n )를 기준으로 선택되는 것이 바람직하다. 이는 입력 영상의 화소들 중 특정 화소만을 선택하는 것을 의미하는 데, 입력 영상의 모든 화소를 선택하는 것이 아니기 때문에 원좌표와 최종좌표의 매핑 시간을 보다 더 단축시킬 수 있다.
상기에서 어느 하나의 화소가 선택되면, 영상정합부(150)는 선택된 화소의 원좌표에 대응되는 합성 영상의 최종좌표를 룩업테이블(130)을 참조하여 획득한다(S112).
상기 최종좌표가 획득되면, 영상정합부(150)는 획득된 합성 영상의 최종좌표에 선택된 화소의 화소값을 기록하게 된다(S113). 이와 같은 과정을 입력 영상마다 설정된 모든 화소에 대해 수행하게 되면, 설정된 모든 화소가 합성 영상을 구성하는 최종좌표로 이동되게 된다. 상기에서 설정된 모든 화소는 룩업테이블(130)에서 최종좌표와 매핑된 원좌표의 화소들을 의미한다.
이러한 과정을 나머지 광각 카메라들에 대해 모두 수행하게 되면(S114), 각 입력 영상에 대해 설정된 모든 화소가 합성 영상을 구성하는 모든 화소로 각각 대응되고, 이에 따라 합성 영상의 모든 화소에 대한 화소값(픽셀데이터)을 생성할 수 있게 된다(S115).
이어, 후처리부(170)는 상기 영상정합부(150)에서 생성된 합성 영상을 수신하고, 합성 영상을 구성하는 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 복수의 분할영상의 경계영역과 내부영역의 영상데이터를 보정하는 후처리 과정을 수행한다(S116). 즉, 후처리부(170)는 상기 복수의 분할영상들 각각에 대해 인접하는 다른 분할영상들과의 경계영역을 구성하는 경계 화소들의 밝기정보와 인접하는 다른 분할영상들의 경계 화소들의 밝기정보가 서로 동일하게 되도록 보정하게 된다.
여기에서, 상기 합성 영상은 복수의 분할영상으로 구성된다. 본 발명에서 분할영상이라 함은 합성 영상을 구성하는 별개의 분할된 영상을 의미하는 것으로서, 이는 도 6을 참조하여 설명한다.
도 6은 도 5의 과정(S111~S115)을 통해 생성된 합성 영상의 일예를 나타낸 것으로서, 차량에 전방/후방/좌측면/우측면 방향으로 설치된 4개의 광각 카메라에 의해 획득된 입력영상들로부터 합성 영상을 생성한 경우를 나타낸 것이다.
도 6에서 중앙의 검은색 부분은 차량을 나타내는데, 이 차량을 중심으로 볼 때 전방, 좌측면, 우측면, 후방 사이에는 대각선 방향의 사선에 의해 각각의 영상들이 서로 다른 밝기를 가짐으로써 분리되어 있는 느낌을 통해 부자연스러운 합성 영상을 나타내고 있음을 알 수 있다. 이는 전술한 바와 같이, 영상처리장치(100)는 서로 다른 별개의 광각 카메라에 의해 획득된 영상을 이용하여 합성 영상을 구성하고 서로 겹치는 영역에 대해서는 어느 하나의 대표 영상을 선택하여 이들을 이어 붙이는 듯한 형태로 합성 영상을 생성하기 때문에 각각의 영상들은 서로 분리되어 있는 듯한 느낌을 주게 된다.
본 발명에서 합성 영상이라 함은 도 6과 같은 형태의 영상 전체를 의미하며, 분할영상이라 함은 도 6에서 대각선 방향의 사선에 의해 서로 구획되는 4개의 영상 각각을 의미하고, 도 6에서는 전방 영상으로부터 시계 방향으로 분할영상1, 2, 3, 및 4로 나타내었다.
후처리부(170)는 이와 같은 합성 영상을 구성하는 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 복수의 분할영상데이터 및 합성 영상데이터를 보정함으로써 최종 합성 영상데이터를 생성하게 된다.
이러한 과정을 도 7a 및 도 7b를 참조하여 보다 구체적으로 설명한다.
도 7a는 도 6에 도시한 분할영상1과 분할영상4의 경계영역을 확대하여 나타낸 도면이고 도 7b는 도 7a의 경계영역에 포함되는 경계 화소들을 빨간색(분할영상1; 상단 실선)과 파란색(분할영상4; 하단 실선)으로 구분하여 나타낸 것이다.
도 7b에 도시한 빨간색과 파란색으로 나타낸 각각의 경계 화소들의 일부에 대한 밝기정보는 예컨대 아래 표 1과 같이 구성될 수 있다.
경계화소 밝기
분할영상1
(빨간색 경계화소)		 173 174 174 175 176 ...
분할영상4
(파란색 경계화소)		 160 161 158 165 167 ...
표 1에 나타낸 바와 같이 경계영역의 경계 화소들의 밝기정보는 분할영상들 간에 어느 정도 일정한 정도로 서로 차이가 남을 알 수 있다. 따라서, 이들을 서로 동일하도록 하고 동일하게 만들기 위하여 밝기정보에 가감된 값에 해당하는 스케일(scale) 정보를 연산하고, 이 스케일 정보에 따라 분할영상 각각에 포함된 내부의 화소들에 대해 밝기정보를 조절하게 되면 분할영상들의 경계영역들이 자연스럽게 나타날 수 있게 된다.
예컨대, 도 6의 분할영상1을 예로 들어 설명하면, 분할영상1은 분할영상4와 분할영상2와 서로 인접하고 있다. 분할영상1과 분할영상4의 서로 맞닿는 경계영역의 경계 화소들은 도 7b에서와 같이 표시할 수 있고, 분할영상1과 분할영상2의 경계영역의 경계 화소들도 마찬가지로 표시될 수 있다.
분할영상1과 분할영상4 각각의 경계영역의 경계 화소들의 밝기정보는 표 1에서와 같이 구성될 수 있고 분할영상1과 분할영상2 각각의 경계영역의 경계 화소들의 밝기정보 또한 도 5와 유사한 형태로 알 수 있다.
우선, 분할영상1과 분할영상4 사이의 경계영역의 경계 화소들의 밝기정보를 동일하게 하는 것은 서로 인접하는 경계 화소들의 밝기정보의 평균값으로 구성할 수 있다. 예컨대, 표 1과 같은 경우라면 표 2과 같은 평균값을 구할 수 있고 이 평균값과의 차이만큼을 각각의 경계 화소들에 가감함으로써 밝기정보로 동일하게 할 수 있다. 표 2에 이러한 가감요구값들도 함께 나타내었다.
경계화소 화소의 밝기
분할영상1
(빨간색 경계화소)		 173 174 174 175 176 ...
분할영상4
(파란색 경계화소)		 160 161 158 165 167 ...
평균값 166 167 166 170 171 ...
가감요구값
(분할영상1)		 -7 -7 -8 -5 -5 ...
가감요구값
(분할영상4)		 +6 +6 +8 +5 +4 ...
이와 같이 경계 화소들에 대해 밝기정보를 동일하게 한 이후, 분할영상1의 내부 화소들에 대해서도 밝기정보를 조절하는데 이는 다음과 같은 방법을 사용할 수 있다. 분할영상1을 참조하여 설명하면, 전술한 바와 같이 분할영상1의 경계 화소는 분할영상4의 경계 화소들과 밝기정보를 동일하게 할 수 있는데, 이때 분할영상1의 경계 화소들에 가감된 값의 스케일 정보를 구하고 구해진 스케일 정보에 기초하여 경계 화소로부터 분할영상1의 내부에 포함되는 화소들에 대해서 점차적으로 밝기정보를 변경할 수 있다.
이때, 스케일 정보는, 예컨대 가우시안 함수(Gaussian function)에 의해 연산될 수 있다.
가우시안 함수(G(x))는 주지된 바와 같이 아래와 같은 수식 7로 표현된다.
수식 7
Figure pat00007
여기서, σ=1 일 때, G(x)는 아래 표 3(가우시안 함수의 함수값을 나타냄)과 같은 값으로서 도 8과 같은 형태의 그래프로 표현될 수 있다.
x -3 -2 -1 0 1 2 3
G(x) 0.006 0.061 0.242 0.383 0.242 0.061 0.006
이러한 가우시안 함수 중에서, 대칭축을 기준으로 한 쪽 즉 x≥0인 쪽만을 사용하는데, 경계 화소들의 밝기정보에서 가감된 값을 가우시안 함수의 x=0 위치에서의 값만큼으로 스케일링하고, 이 스케일 값에 기초하여 분할영상의 내부쪽으로 점차적으로 가우시안 함수에 의한 스케일링함으로써 분할영상 내부의 화소들의 밝기정보를 가우시안 함수의 그래프에서와 같은 형태로 자연스럽게 조절할 수 있다.
예컨대, 표 2에서 분할영상1의 가감요구값은 -7,-7,-8,-5,-5이고 이러한 가감요구값을 표 3 및 도 8의 가우시안 함수값에 반영하면 아래의 표 4(스케일 정보를 이용한 가감요구값의 일예임)에서와 같은 가감요구값을 얻을 수 있다.
X위치 0 1
G(x) 0.383 0.242
스케일 정보
(Scalar)		 경계화소 가감요구값(0) 내부화소
가감요구값(1)
-18.277 -7.000 -4.423
-18.277 -7.000 -4.423
-18.277 -7.000 -4.423
-20.888 -8.000 -5.055
-13.055 -5.000 -3.159
-10.444 -4.000 -2.527
-10.444 -4.000 -2.527
-13.055 -5.000 -3.159
-10.444 -4.000 -2.527
-7.833 -3.000 -1.896
-7.833 -3.000 -1.896
즉, x=0일 때의 원래의 가우시안 함수의 값은 G(0)=0.383이므로, G(x)=-7이 되기 위해서는 0.383에 -18.277만큼을 곱해야 G(x)=-7을 만족하게 된다. 따라서, 이때의 -18.277이 스케일 값이 된다. 따라서, 이러한 스케일 값을 x=1,2,3...에 순차적으로 대응되는 가우시안 함수값 G(1),G(2),G(3)...에 곱해주면 x=1,2,3에 해당하는 화소들에 대해 가감해야 할 밝기정보의 요구값을 가우시안 함수의 형태로 얻을 수 있게 된다.
표 4에 나타낸 바와 같이, 첫번째 경계 화소에 대해 가감요구값이 -7이므로 이때의 스케일 값은 -18.277이고, 이를 x=1일 때의 가우시안 함수값에 곱해주면 x=1일 때 즉 첫번째 경계 화소의 인접하는 분할영상 1의 내부 화소에 대한 밝기 조절 가감요구값 -4.423을 얻을 수 있고, 이 값만큼 x=1에 해당하는 화소에 대해 밝기정보를 변경한다. 이를 순차적으로 x=2,3,4...에 대해서 수행하면 첫번째 경계 화소로부터 분할영상 내부 방향 쪽으로의 화소들에 대한 밝기정보 가감요구값을 모두 얻을 수 있다.
마찬가지로, G(x)=-8인 경우에는, 스케일 값은 -20.088이므로 이 경계화소에 대한 인접 화소들에 대해서는 이 값만큼 순차적으로 가우시안 함수값에 곱해주면 밝기 조절 가감요구값을 알 수 있다. 표 4를 참조하면 이 경우의 x=1에서의 가감요구값은 -5.055임을 알 수 있다.
이와 같이 분할영상1의 모든 경계 화소들에 대해서 표 4에서와 같이 필요한 스케일값을 가우시안 함수를 이용하여 구할 수 있으므로 각각의 경계 화소를 기준으로 분할영상1의 내부의 화소들에 대해서 밝기정보 가감요구값을 획득할 수 있게 되며, 이 가감요구값을 적용하면 경계영역으로부터 분할영상1의 내부 방향으로 점차적으로 자연스럽게 밝기정보가 변화되도록 보정을 수행할 수 있게 된다.
한편, 분할영상1에서 경계 화소들로부터 분할영상1의 내부의 어느 범위까지 위와 같은 가감요구값을 적용하여 밝기정보를 조절할 것인가는 다음과 같이 결정할 수 있다. 예컨대, 가장 좁은 행이나 열 크기의 절반까지 상기 과정을 수행하도록 할 수도 있고, 각 경계영역 사이의 중점으로부터 각 경계영역까지의 화소간의 거리의 절반까지 상기 과정을 수행하도록 구성할 수도 있다.
이와 같은 과정을 정리해 보면, 우선 분할영상1은, 분할영상4와 분할영상2와의 경계 화소들을 고려하여 경계 화소들 간의 밝기정보를 동일하게 한 후, 분할영상1의 내부의 화소들에 대해서 전술한 바와 같은 방식에 의해 스케일 정보를 이용하여 점차적인 밝기정보를 조절하게 된다. 마찬가지로, 분할영상2는 분할영상1과 분할영상3을 고려하여 상기 과정을 수행하고, 분할영상3은 분할영상2와 분할영상4를 고려하고, 분할영상4는 분할영상3과 분할영상1을 고려하여 전술한 바와 같은 과정을 수행함으로써, 전체 영상에 대해서 밝기정보를 조절함으로써 밝기정보의 보정을 수행한다.
이와 같이 각각의 분할영상에 대하여 밝기정보의 보정이 완료되면, 보정된 밝기정보가 반영된 각각의 분할영상에 대한 분할영상데이터를 구성하고 이에 의하여 전체적인 합성 영상에 대한 합성 영상데이터를 생성하고, 이를 영상출력부(190)로 전송한다.
다시 도 2를 참조하면, 영상출력부(190)는 전술한 바와 같이 후처리부(170)에서 보정된 합성 영상데이터에 기초하여 출력 영상을 생성하여 외부의 디스플레이 장치, 예컨대 LCD 모니터 등으로 출력하는 기능을 수행한다.
도 9는 전술한 바와 같이 보정이 완료된 합성 영상에 기초하여 영상출력부(190)에서 출력되는 영상을 나타낸 것으로서, 각각의 분할영상들 사이의 경계영역이 자연스럽게 연결되어 전체적으로 하나의 화면인 것처럼 보임을 확인할 수 있다.
한편, 상기 실시예에서 가우시안 함수를 이용하여 스케일 정보를 연산하였으나 이에 한정되는 것은 아니며, 예컨대
Figure pat00008
로 표현되는 시그모이드(sigmoid) 함수나, 1차 또는 2차 함수를 이용할 수도 있다. 또한, 예컨대
Figure pat00009
등과 같은 함수를 이용할 수도 있다.
이상에서, 바람직한 실시예를 참조하여 본 발명을 설명하였으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능할 것이다. 예컨대, 전술한 각 단계에서의 수식 1 내지 수식 7 등은 예시적인 것으로서, 이러한 수식 이외의 다른 수식을 사용할 수도 있을 것이다. 본 발명은 이러한 각 단계별 수식들에 대해 특별히 한정되는 것이 아니며, 어떠한 수식을 사용하는가에 상관없이 사용된 수식의 역연산을 이용하여 룩업테이블(130)을 생성한다는 점을 특징으로 하는 것임을 유의해야 한다.
각 단계별로 사용되는 수식은 종래 기술에서 알려진 어떠한 형태라도 전술한 바와 같은 각 단계에서의 동작을 수행할 수 있는 것이기만 하면 그대로 사용할 수 있다.
10: 복수의 광각 카메라 100: 영상처리장치
110: 영상신호수신부 130: 룩업테이블
150: 영상합성부 170: 후처리부
190: 영상출력부

Claims (20)

  1. 복수의 광각 카메라로부터 획득된 입력 영상을 각각 수신하는 영상수신부;
    상기 복수의 입력 영상을 하나의 합성 영상으로 변환할 때, 상기 각 입력 영상의 화소들과 합성 영상의 화소들 간의 대응관계에 대한 매핑 데이터가 저장된 룩업테이블;
    상기 영상수신부로부터 입력된 영상에 해당하는 룩업테이블을 참조하여 각 입력 영상을 구성하는 화소들에 대한 합성 영상의 화소를 구성하는 영상정합부; 및
    상기 합성 영상은 복수의 분할영상으로 구성되고, 상기 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 상기 복수의 분할영상을 보정하는 후처리부;를 포함하는 광각 영상 처리장치.
  2. 제 1 항에 있어서,
    상기 영상 처리장치는, 상기 후처리부에서 보정된 합성 영상을 입력받아 출력 영상을 생성한 후 외부의 디스플레이로 전송하는 영상출력부를 더 포함하는 광각 영상 처리장치.
  3. 제 1 항에 있어서,
    상기 룩업테이블은, 각 입력 영상의 화소들에 대한 원좌표와 상기 합성 영상의 화소들에 대한 최종좌표가 서로 매핑되는 광각 영상 처리장치.
  4. 제 3 항에 있어서,
    상기 원좌표와 최종좌표는 N:1 관계로 매핑되는 광각 영상 처리장치.
  5. 제 3 항에 있어서,
    상기 입력 영상의 전체 화소들 중 그 일부만 상기 합성 영상의 화소로 매핑되는 광각 영상 처리장치.
  6. 제 1 항에 있어서,
    상기 영상정합부는, 입력된 영상을 구성하는 각 화소의 원좌표에 대응되는 합성 영상의 각 화소에 대한 최종좌표를 룩업테이블을 통해 획득하고, 획득된 최종좌표에 원좌표의 화소값을 기록하여 합성 영상을 구성하는 광각 영상 처리장치.
  7. 제 1 항에 있어서,
    상기 후처리부는, 상기 복수의 분할영상들에서 서로 인접하는 경계영역에 대한 경계 화소들의 밝기정보를 서로 동일하게 보정하는 광각 영상 처리장치.
  8. 제 7 항에 있어서,
    상기 경계 화소들을 보정할 때 밝기 정보의 평균값에 의해 동일하게 보정하는 광각 영상 처리장치.
  9. 제 7 항에 있어서,
    상기 밝기정보를 동일하게 한 경계 화소에 대하여 경계 화소들에 가감된 스케일 정보를 구하고, 상기 구해진 스케일 정보에 기초하여 각 분할영상의 내부에 포함되는 화소들에 대하여 밝기정보를 변경하여 보정하는 광각 영상 처리장치.
  10. 제 9 항에 있어서,
    상기 스케일 정보는 가우시안 함수(Gaussian function)에 의해 연산되는 광각 영상 처리장치.
  11. 제 1 항에 있어서,
    상기 복수의 광각 카메라는 인접한 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 광각 영상 처리장치.
  12. 제 11 항에 있어서,
    상기 복수의 광각 카메라는 차량의 전방, 후방, 좌측면, 및 우측면에 각각 설치되는 광각 영상 처리장치.
  13. 복수의 광각 카메라로부터 획득된 입력 영상을 각각 수신하는 단계;
    상기 수신된 영상에 해당하는 룩업테이블을 참조하여 각 입력 영상을 구성하는 화소들에 대응되는 합성 영상의 최종좌표를 획득하는 단계;
    상기 획득된 최종좌표에 대응되는 입력 영상의 화소값을 기록하여 합성 영상의 화소를 구성하는 단계; 및
    상기 합성 영상은 복수의 분할영상으로 구성되고, 상기 합성 영상을 구성하는 복수의 분할영상들 사이의 경계영역의 밝기정보를 고려하여 복수의 분할영상을 보정하는 단계;를 포함하는 광각 영상 처리방법.
  14. 제 13 항에 있어서,
    상기 룩업테이블은, 광각 카메라로부터 획득되는 복수의 입력 영상 각각의 왜곡을 보정하는 왜곡 보정 단계; 상기 왜곡이 보정된 입력 영상 각각에 대해 평면화를 하는 평면화 단계; 상기 평면화된 입력 영상 각각을 재배열하는 재배열 단계; 및 상기 재배열된 영상을 단일 영상으로 합성하는 단일 영상화 단계;를 구비하고, 상기 단계들에 의해 생성된 샘플 출력 영상을 구성하는 각각의 화소들이 복수의 입력 영상의 화소에 대응되는 관계를 역연산함으로써 생성되는 광각 영상 처리방법.
  15. 제 14 항에 있어서,
    상기 룩업테이블은, 샘플 출력 영상을 구성하는 각각의 화소가 어느 광각 카메라로부터 획득된 것인가를 결정한 후, 상기 단일 영상화 단계와 재배열 단계, 평면화 단계, 및 왜곡 보정 단계에 대한 역연산을 순차적으로 수행함으로써 생성되는 광각 영상 처리방법.
  16. 제 13 항에 있어서,
    상기 룩업테이블은, 각 입력 영상의 화소들에 대한 원좌표와 상기 합성 영상의 화소들에 대한 최종좌표가 서로 매핑되는 광각 영상 처리방법.
  17. 제 16 항에 있어서,
    상기 입력 영상의 화소 중 일부만 상기 합성 영상의 화소로 매핑되는 광각 영상 처리방법.
  18. 제 13 항에 있어서,
    상기 복수의 분할영상을 보정할 때, 복수의 분할영상들에서 서로 인접하는 경계영역에 대한 경계 화소들의 밝기정보를 서로 동일하게 보정하는 광각 영상 처리방법.
  19. 제 18 항에 있어서,
    상기 경계 화소들을 보정할 때 밝기 정보의 평균값에 의해 동일하게 보정하는 광각 영상 처리방법.
  20. 제 18 항에 있어서,
    상기 밝기정보를 동일하게 한 경계 화소에 대하여 경계 화소들에 가감된 스케일 정보를 구하고, 상기 구해진 스케일 정보에 기초하여 각 분할영상의 내부에 포함되는 화소들에 대하여 밝기정보를 변경하여 보정하는 광각 영상 처리방법.
KR1020100049626A 2010-05-27 2010-05-27 차량용 광각 영상 처리장치 및 그 방법 KR101230909B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100049626A KR101230909B1 (ko) 2010-05-27 2010-05-27 차량용 광각 영상 처리장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100049626A KR101230909B1 (ko) 2010-05-27 2010-05-27 차량용 광각 영상 처리장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110130137A true KR20110130137A (ko) 2011-12-05
KR101230909B1 KR101230909B1 (ko) 2013-02-12

Family

ID=45499019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100049626A KR101230909B1 (ko) 2010-05-27 2010-05-27 차량용 광각 영상 처리장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101230909B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142364A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 가상 현실 시스템에서 이미지 처리 방법 및 장치
KR20180067046A (ko) * 2016-12-12 2018-06-20 엘지이노텍 주식회사 영상시스템 및 그 작동방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102500836B1 (ko) 2016-09-27 2023-02-16 한화테크윈 주식회사 광각 영상 처리 방법 및 이를 위한 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0170736B1 (ko) * 1996-01-29 1999-03-30 김광호 영상합성장치
JPH1178692A (ja) * 1997-09-03 1999-03-23 Nissan Motor Co Ltd 車両用映像提示装置
KR100614004B1 (ko) * 2004-11-19 2006-08-21 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142364A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 가상 현실 시스템에서 이미지 처리 방법 및 장치
KR20170096801A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 가상 현실 시스템에서 이미지 처리 방법 및 장치
US10770032B2 (en) 2016-02-17 2020-09-08 Samsung Electronics Co., Ltd. Method and apparatus for processing image in virtual reality system
KR20180067046A (ko) * 2016-12-12 2018-06-20 엘지이노텍 주식회사 영상시스템 및 그 작동방법

Also Published As

Publication number Publication date
KR101230909B1 (ko) 2013-02-12

Similar Documents

Publication Publication Date Title
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
US11875475B2 (en) Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
KR101339121B1 (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
US20050007477A1 (en) Correction of optical distortion by image processing
US20130208081A1 (en) Method for combining images
US20130162780A1 (en) Stereoscopic imaging device and shading correction method
JP6478511B2 (ja) 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
US20110141321A1 (en) Method and apparatus for transforming a lens-distorted image to a perspective image in bayer space
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
CN111860632B (zh) 多路图像一致性融合方法
JP4862321B2 (ja) 車載カメラ装置
CN104091316A (zh) 一种车辆鸟瞰辅助系统图像数据处理方法
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
CN114928698B (zh) 影像歪曲校正装置及方法
US20230379445A1 (en) Image processing device, moving apparatus, image processing method, and storage medium
KR101469717B1 (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
CN116051379A (zh) Avm图像融合方法及装置、车辆、可读存储介质
KR20110082873A (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
KR20180040469A (ko) 이미지 정합 방법 및 장치
US12056844B2 (en) Method and apparatus with image processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190123

Year of fee payment: 7