KR20160080461A - 분할 영역 영상의 영상 합성 처리장치 - Google Patents

분할 영역 영상의 영상 합성 처리장치 Download PDF

Info

Publication number
KR20160080461A
KR20160080461A KR1020140192296A KR20140192296A KR20160080461A KR 20160080461 A KR20160080461 A KR 20160080461A KR 1020140192296 A KR1020140192296 A KR 1020140192296A KR 20140192296 A KR20140192296 A KR 20140192296A KR 20160080461 A KR20160080461 A KR 20160080461A
Authority
KR
South Korea
Prior art keywords
image
image data
divided region
pixels
boundary
Prior art date
Application number
KR1020140192296A
Other languages
English (en)
Inventor
정호열
이승환
이준석
윤태수
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020140192296A priority Critical patent/KR20160080461A/ko
Publication of KR20160080461A publication Critical patent/KR20160080461A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 분할 영역 영상의 영상 합성 처리장치에 관한 것이다. 본 발명은 차량 등의 주위에 장착되는 적어도 2 이상의 광각 카메라가 촬영하여 획득되는 평면화된 단일 영상 데이터로부터, 그 평면화 된 단일 영상 데이터를 이루는 각 분할 영역 영상들의 경계면이 자연스럽게 보일 수 있도록 처리된 영상 정보를 출력하는 영상 처리장치를 제공하고 있다. 이때 영상처리장치는 별도의 후처리 보정 단계가 아니고 신호처리단계에서 각 분할 영역 영상들이 인접하는 경계 영역 사이의 밝기를 보정하고 있다. 따라서 본 발명은 사용자가 거부감 없이 영상 정보를 확인할 수 있음은 물론 기존의 회로 구성으로 이를 처리할 수 있어 제조 비용이 증가하는 것을 방지하는 이점이 있다.

Description

분할 영역 영상의 영상 합성 처리장치{Image composite Processing Apparatus of divided region image}
본 발명은 영상 합성 처리장치에 관한 것으로, 더욱 상세하게는 다수의 분할 영역 영상에 대한 밝기 정보를 조절하여 최종 합성 영상이 자연스럽게 표현되도록 하는 분할 영역 영상의 영상 합성 처리장치에 관한 것이다.
최근 IT 기술을 차량에 접목시키는 시도가 증가하고 있다. 예를 들면 차량 후진 시에 후방의 영상의 보여주는 주차 보호시스템이 대표적인 예다. 특히 버드 아이뷰(Bird eye view) 시스템 또는 어라운드 뷰 모니터(AVM, around view monitoring) 시스템을 들 수 있다. 이는 차량의 4방향에 광각 카메라를 설치하고 상기 광각 카메라들로부터 획득한 영상을 차량의 상 방향에서 내려다보는 형태의 영상으로 재구성하여 표시하는 방법이다. 이를 통해 운전자는 더 편안하게 주차공간을 확인하면서 주차할 수 있다.
버드 아이뷰나 AVM은 보다 넓은 시야각을 확보하는 것이 필요하다. 이를 위해 광각 카메라는 어안(fish eye) 렌즈를 구비한다. 그리고 광각 카메라가 획득하는 복수 개의 영상들은 일련의 신호 처리단계를 거쳐서 차량의 버드 아이뷰나 어라운드 뷰 모니터와 같은 하나의 합성 영상으로 표시된다.
하지만, 종래 버드 아이뷰나 어라운드 뷰 모니터의 합성 영상을 처리하는 처리장치에는 다음과 같은 문제점이 있다.
상기한 바와 같이 복수 개의 광각 카메라로부터 획득되는 서로 다른 영상들은 영상 처리 단계를 수행하고, 이를 통해 하나의 영상으로 이어붙이는 방식으로 합성 영상을 제공한다. 그렇지만 각 영상들 사이에는 각 카메라의 노출 정도, 제공되는 빛의 양 등의 요인으로 인하여 밝기 차이가 존재할 수밖에 없다.
그래서 합성 영상을 구성하는 각각의 분할 영상들 사이의 경계 영역 사이는 매우 부자연스러운 영상으로 표현된다. 이는 처리 장치의 경쟁력을 저하시키는 원인이 된다.
이를 해결하고자 종래에도 여러 방안이 모색된바 있다. 그 중 하나의 예로, 후처리 보정 과정을 들 수 있다. 하지만, 합성 영상에 대한 후처리 보정 과정을 수행하더라도 여전히 밝기조절 처리에 의해 제공되는 합성 영상이 부자연스러운 단점이 존재하였다.
더욱이 후처리 보정 과정을 수행하기 위해서는 필요한 하드웨어 및 프로그램이 추가되기 때문에 그만큼 연산 과정이 복잡하게 되면서 실시간 처리가 어렵게 되며, 회로 구성의 복잡함으로 인해 제조비용도 증가하는 또 다른 문제점이 초래된다.
한국등록특허공보 10-1245247호(2013년 3월 13일, 영상 밝기 조절방법, 장치 및 이를 이용한 다중 카메라)
따라서 본 발명의 목적은 복수 개의 광각 카메라로부터 획득되는 입력 영상을 중첩 영역을 이용하여 단일 영상으로 합성하는 경우, 각각의 입력 영상들 사이의 밝기 차이에 기초하여 합성 영상의 밝기를 보정함으로써 최종 합성 영상이 자연스럽게 보정되어 사용자의 편의성을 증대할 수 있는 분할 영역 영상의 영상 합성 처리장치를 제공하는 것이다.
본 발명의 다른 목적은, 합성 영상의 자연스러움을 해치지 않으면서도 간편하고 용이하게 합성 영상의 밝기를 조절할 수 있도록 함으로서, 회로 구성의 단순화 및 이로 인한 제조 비용을 절감할 수 있도록 한 분할 영역 영상의 영상 합성 처리장치를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따르면, 인접한 광각 카메라와 촬영 영역이 일부가 겹치도록 배치되는 적어도 2 이상의 광각 카메라; 상기 광각 카메라로부터 입력 영상 데이터를 수신하는 영상 수신부; 상기 입력 영상 데이터로부터 분할 영역 영상 데이터로 이루어진 평면화 된 단일 영상 데이터를 생성하고, 상기 평면화 된 단일 영상 데이터를 보정하여 합성 영상 데이터를 생성하는 영상 합성부; 및 상기 합성 영상 데이터에 기초하여 출력 영상을 생성, 출력하는 영상 출력부를 포함하는 분할 영역 영상의 영상 합성 처리장치를 제공한다.
상기 영상 합성부는, 서로 인접하고 있는 각 분할 영역 영상 데이터의 경계 화소들의 밝기 정보를 상기 경계 화소들의 평균값을 이용하여 동일하게 한다.
상기 영상 합성부는, 서로 인접하고 있는 각 분할 영역 영상 데이터의 경계 화소가 동일하게 되면, 각 분할 영역 영상의 내부 화소들에 대한 밝기 정보를 조절한다.
상기 내부 화소들의 밝기 정보 조절은 스케일 정보를 이용하고, 상기 스케일 정보는 가우시안 함수(Gaussian function), 시그모이드 함수(sigmoid function), 1차 함수 또는 2차 함수 중 어느 하나의 함수를 이용하여 연산한다.
상기 분할 영역 영상의 내부 화소들에 대한 밝기 정보를 조절하는 범위는, 각 분할 영역 영상의 가장 좁은 행이나 열 크기의 절반까지 이거나, 또는 각 경계 영역 사이의 중심으로부터 경계 영역까지의 화소간의 거리의 절반까지이다.
이와 같은 본 발명에 따른 분할 영역 영상의 영상 합성 처리장치는 다음과 같은 효과가 있다.
먼저 복수 개의 입력 영상을 이용하여 단일 영상으로 합성하는 경우 발생할 수 있는 영상 간의 차이를 보정하고 있어, 최종적으로 출력되는 합성 영상이 자연스럽게 표시되기 때문에 그만큼 출력 영상을 시청하는 사용자가 거부감 없이 편안하게 확인할 수 있다.
또한 종래 사용되는 후처리 보정 방안과 비교하면 회로 구성을 단순하게 할 수 있어 신호처리단계를 빠르게 할 수 있어 실시간 처리가 가능하고, 또한 하드웨어 자원 및 소프트웨어 자원을 줄일 수 있어 제조비용을 절감할 수 있는 효과도 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 영상 처리장치의 구성도
도 2는 본 발명의 바람직한 실시 예에 따른 영상 합성 처리방법을 설명하는 흐름도
도 3은 본 발명을 합성 영상을 생성하기 전에 표시된 평면화 된 단일 영상 데이터 도면
도 4a는 도 3에 도시한 제1 분할 영역 영상과 제4 분할 영역 영상의 경계 영역을 확대한 도면
도 4b는 도 4a의 경계 영역에 포함되는 경계 화소들을 파란색(제4 분할 영역 영상)(a)과 빨간색(제1 분할 영역 영상)(b)으로 구분하여 나타낸 도면
도 5는 가우시안 함수의 그래프를 나타낸 도면
도 6은 보정 완료된 합성 영상 데이터를 기초로 하여 영상 출력부가 출력하는 출력 영상의 도면
이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성 요소들을 나타낸다.
이하 본 발명에 의한 영상 처리장치의 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 영상 처리장치의 구성도이다.
도 1을 보면 영상 처리장치(100)에는 광각 카메라(110)가 구성된다. 광각 카메라(110)는 적어도 2개 이상이 설치된다. 이때, 광각 카메라(110)들은 각 광각 카메라가 촬영한 촬영 영역의 일부분이 서로 겹쳐 촬영되도록 배치된다. 예컨대 대상 물체가 차량인 경우 광각 카메라(110)는 차량의 전방, 후방, 좌측면, 우측면에 배치될 수 있으며, 이들 각각의 광각 카메라(110)가 촬영한 촬영 영역은 인접한 다른 광각 카메라가 촬영한 영역과 일부분이 겹치는 것이다. 그리고 본 발명에서는 광각 카메라(110)는 단순한 광학 기구뿐만 아니라 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치 등이 모두 포함될 수 있다.
광각 카메라(110)가 촬영한 영상 데이터를 수신하는 영상 수신부(120)가 구성된다. 영상 수신부(120)는 필요에 따라 필터 등에 의해 영상 전처리 과정을 수행하게 된다.
영상 수신부(120)로부터 각 광각 카메라가 촬영한 복수 개의 영상 데이터를 수신하고 하나의 합성 영상 데이터를 생성하는 영상 합성부(130)가 구성된다. 영상 합성부(130)는 단일 영상 데이터와 상기 단일 영상 데이터를 구성하는 분할 영역 영상 데이터를 밝기 정보에 기초하여 보정하여 합성 영상 데이터를 생성하는 것이다. 다시 말해, 단일 영상을 구성하는 복수 개의 분할 영역 영상들 사이의 경계 영역의 밝기 정보를 고려하여 복수 개의 분할 영역 영상 데이터 및 단일 영상 데이터를 보정하여 합성 영상 데이터를 생성하게 된다. 여기서 분할 영역 영상은 단일 영상을 구성하는 각각의 분할된 영상을 의미하며, 이는 아래에서 상세하게 설명하기로 한다.
단일 영상 데이터는 영상 입력 단계, 왜곡 보정 단계, 평면화 단계, 재배열 단계, 단일 영상화 단계 및 단일 영상 출력 단계를 통해 생성된다. 영상 입력단계는 광각 카메라(110)로부터 획득되는 영상 데이터가 입력되는 단계이다. 왜곡 보정 단계는 획득되는 영상의 가장자리 쪽으로 갈수록 영상이 방사형으로 왜곡되는 영상을 보정하는 것이다. 평면화 단계는 왜곡 보정 영상을 수직으로 내려다보는 영상으로 변환하는 단계이다. 재배열 단계는 평면화 단계에서 생성된 평면화 영상들을 변위 이동 및 회전만을 적용하여 재배열하는 단계이고, 이는 대상 물체를 둘러싸도록 촬영된 영상들이 대상물체를 제외한 주변 영상으로 재구성되는 단계이다. 단일 영상화 단계는 공통 영역을 가지는 재배열 영상에서 겹치는 부분을 처리하여 공통 영역에 대해 하나의 대표 영상을 획득하는 단계이다. 단일 영상 출력 단계는 대상 물체 주변을 대상 물체의 수직 상 방향에서 내려다 본 형태의 영상을 출력하는 단계이다.
영상 합성부(130)에서 생성된 합성 영상 데이터에 기초하여 출력 영상을 생성하여 출력하는 영상 출력부(140)가 구성된다.
이어서는 상기한 구성을 가지는 영상 합성 처리장치의 처리방법에 대해 설명한다. 도 2는 본 발명의 바람직한 실시 예에 따른 영상 합성 처리방법을 설명하는 흐름도이다. 설명의 편의를 위해 차량에 광각 카메라(110)가 장착되고 그 광각 카메라(110)가 촬영한 영상 정보를 차량의 상 방향에서 내려다보는 형태의 영상으로 재구성하여 표시하는 것을 예를 들기로 한다.
먼저 차량의 전방, 좌측면, 우측면, 후방에 장착된 광각 카메라(110)가 주위를 촬영한다(s100). 이때 각 광각 카메라(110)가 촬영한 영상 데이터는 촬영 영역이 일부 겹치게 된다.
광각 카메라(110)가 촬영한 각 영상 데이터는 영상 수신부(120)가 수신한다(s102). 영상 수신부(120)는 필요에 따라 상기 영상 데이터에 대해 필터 등을 이용하여 전처리 과정을 수행한다. 이러한 영상 수신부(120)는 도면에 미도시하고 있지만 각 광각 카메라(110)의 영상 데이터를 각각 수신하는 서브 영상 수신부와, 상기 서브 영상 수신부들로부터 복수 개의 영상 데이터를 수신하는 마스터 영상 수신부로 구성할 수도 있을 것이다. 즉 영상 수신부(120)는 복수 개의 광각 카메라(110)가 전달하는 영상 데이터가 신호 왜곡 및 전달 지연 현상이 발생하지 않으면서 안정되게 수신할 수 있는 구성이면 되는 것이다.
영상 합성부(130)는 복수 개의 입력 영상 데이터를 영상 수신부로부터 수신한다(s104). 그리고 영상 합성부는 신호처리단계를 거처 단일 영상 데이터를 생성한다(s106). 여기서 신호처리단계는 앞서 설명한 바 있는 왜곡 보정 단계, 평면화 단계, 재배열 단계, 단일 영상화 단계 등을 말한다.
상기 단계에 대해 구체적으로 살펴본다. 왜곡 보정 단계는 어안 렌즈에 적용된 왜곡 방식, 예컨대 'Equi-solid Angle Progection' 및 'Orthographic Projection' 중 하나의 왜곡 방식에 따라 왜곡 연산의 역연산을 구하고, 어안 렌즈로 촬영한 영상을 역변환해주면 왜곡 보정된 영상(즉 왜곡 보정 영상)을 획득할 수 있다. 왜곡 보정을 수행하기 위한 연산식은 다음 식 1과 같다.
Figure pat00001
여기서, f는 카메라의 촛점 거리, Rf는 카메라의 광중심에서 입력 영상의 (x,y) 좌표 즉, (X입력영상, Y입력영상)까지의 거리. X입력영상 및 Y입력영상 은 입력 영상의 (x,y) 좌표값, X왜곡보정영상 및 Y왜곡보정영상은 왜곡 보정 영상의 (x,y) 좌표값이다.
평명화 단계는 다음 수학식 2를 이용한다.
Figure pat00002
여기서, X왜곡보정영상 및 Y왜곡보정영상은 상기 수학식 1에 의해 획득된 왜곡 보정 영상의 (x,y) 좌표값, (X평면화영상, Y평면화영상)은 상기 수학식 2에 의해 변환된 평면화 영상의 (x,y) 좌표값, h11, h12, h13,… h33은 평면화 변환 계수(perspective transform)이다.
재배열 단계는 화소에 대한 이동과 회전만으로 평명화 영상들을 재배열할 수 있는데, 어파인 변환(Affine transform)과 같은 방법이 사용된다. 그리고 재배열 단계는 다음 수학식 3을 이용한다.
Figure pat00003
여기서, X평면화영상, Y평면화영상은 수학식 2에 의해 변환된 평면화 영상의 (x,y) 좌표값이고, X재배열영상, Y재배열영상은 수학식 3에 의해 변환될 재배열 영상의 (x,y) 좌표값이고, r11, r12, r13, r22은 회전 변환 계수이고, tx, ty는 변위이동계수를 의미한다.
단일 영상화 단계는 재배열 영상에서 겹치는 부분을 처리하여 공통 영역에 대해 하나의 대표 영상(즉 단일 영상 데이터)을 획득하는 것을 말한다. 단일 영상 데이터는 예컨대, 화소가 속한 영상의 광 중심과 화소와의 거리를 이용하여 공통 영역의 겹치는 화소들 가운데 광 중심에 보다 더 가까이 놓인 화소만으로 공통 영역을 재구성하는 방법을 사용하여 획득할 수 있을 것이다. 물론 다른 구현 방식도 얼마든지 적용가능하다.
이와 같이 영상 합성부가 상기한 단계를 수행하면 평면화된 단일 영상 데이터를 획득할 수 있다. 즉 대상 물체 주변을 대상 물체의 수직 상방향에서 내려다 본 형태의 영상이다.
이처럼 평면화 된 단일 영상 데이터의 예는 도 3에 도시하였다. 도 3은 차량의 전방, 후방, 좌측면, 우측면 방향으로 설치된 4개의 광각 카메라에 의해 획득된 입력 영상들로부터 단일 영상 데이터를 생성한 예이다. 이를 보면 도 3의 단일 영상 데이터는 그 단일 영상 데이터를 구성하는 분할 영역 영상 데이터로 구성되는데, 도면에서와 같이 제1 분할 영역 영상 내지 제4 분할 영역 영상(200a ~ 200d)으로 나타낼 수 있다.
한편, 도 3에서 중앙의 검은색 부분은 차량을 나타낸다. 상기 차량을 중심으로 볼 때, 전방, 좌측면, 우측면, 후방 사이에는 대각선 방향의 사선에 의해 제1 분할 영역 영상 내지 제4 분할 영역 영상(200a ~ 200d)들은 서로 다른 밝기로서 서로 분리되어 있다는 느낌이 든다. 이는 상술한 바와 같이 신호 처리단계에서 서로 겹치는 영역에 대해서는 어느 하나의 대표 영상을 선택하여 이를 붙이는듯한 형태로 단일 영상을 생성하기 때문이다.
본 실시 예에서는 영상 합성부(130)는 이를 개선하였다. 즉 단일 영상의 단일 영상 데이터와, 분할 영역 영상의 분할 영역 영상 데이터를 보정하여 최종적인 합성 영상 데이터를 생성하는 것이다. 상기 단일 영상 데이터와 분할 영역 영상 데이터를 보정하는 과정은 도 4a 및 도 4b를 참조하여 설명한다.
도 4a는 도 3에 도시한 제1 분할 영역 영상(200a)과 제4 분할 영역 영상(200d)의 경계 영역을 확대한 도면이고, 도 4b는 도 4a의 경계 영역에 포함되는 경계 화소들을 파란색(제4 분할 영역 영상)(a)과 빨간색(제1 분할 영역 영상)(b)으로 구분하여 나타낸 것이다.
그리고 도 4b에 도시한 제4 분할 영역 영상(파란색, a)과 제1 분할 영역 영상(빨간색, b)의 각각의 경계 화소들의 일부에 대한 밝기 정보는 다음 표 1과 같다.
제1 분할 영역 영상(빨간색 경계화소) 173 174 174 175 176 …
제4 분할 영역 영상(파란색 경계화소) 160 161 158 165 167 …
표 1과 같이 경계 영역의 경계 화소들의 밝기 정보는 분할 영역들 간에 어느 정도 일정한 정도로 서로 차이가 있음을 알 수 있다. 따라서 이를 서로 동일하게 만들기 위하여 밝기 정보의 평균값과 밝기 정보에 가감된 값에 해당하는 스케일(scale) 정보를 연산하고, 상기 스케일 정보에 따라 분할 영역 영상의 각각에 포함된 내부 화소들에 대해 밝기 정보를 조절하면 각 분할 영역 영상들의 경계 영역들이 자연스럽게 표시될 수 있다.
이를 예를 들어 구체적으로 설명한다.
도 3의 제1 분할 영역 영상(200a)을 예를 들면, 제1 분할 영역 영상(200a)은 제4 분할 영역 영상(200d)과 제2 분할 영역 영상(200b)과 서로 인접하고 있다. 그래서 제1 분할 영역 영상(200a)과 제4 분할 영역 영상(200d)의 서로 맞닿은 경계 영역의 경계 화소들은 도 4a 및 도 4b와 같이 표시할 수 있다. 마찬가지로 제1 분할 영역 영상(200a)과 제2 분할 영역 영상(200b)의 경계 영역의 경계 화소들도 유사하게 표시할 수 있다.
그리고 경계 화소들의 밝기 정보를 동일하게 하도록 서로 인접하는 경계 화소들의 밝기 정보의 평균값을 구한다(s108). 즉 표 1과 같은 경우라면 다음의 표 2와 같이 평균값을 구하고, 상기 평균값과의 차이만큼 각각의 경계 화소들을 가감하면 밝기 정보를 동일하게 할 수 있다.
제1 분할 영역 영상(빨간색 경계화소) 173 174 174 175 176 ……
제4 분할 영역 영상(파란색 경계화소) 160 161 158 165 167 ……
평균값 166 167 166 170 171 ……
가감 요구값(제1 분할 영역 영상) -7 -7 -8 -5 -5 ……
가감 요구값(제4 분할 영역 영상) +6 +6 +8 +5 +4 ……
표 2를 보면 먼저 경계 화소들에 대해 밝기 정보를 동일하게 한 후, 제1 분할 영역 영상(200a)과 제4 분할 영역 영상(200d)의 내부 화소들에 대해서도 밝기 정보를 조절한다.
예컨대, 제1 분할 영역 영상(200a)을 참조하면, 평균값이 구해진 후 제1 분할 영역 영상(200a)의 경계 화소들에 가감된 값의 스케일 정보를 구한다(s110).
그리고 상기 스케일 정보에 기초하여 경계 화소로부터 제1 분할 영역 영상의 내부에 포함되는 화소들에 대해서 점차적으로 밝기 정보를 변경하게 된다(s112). 이때 스케일 정보는 가우시안 함수(Gaussian function)에 의해 연산되며, 가우시안 함수는 다음의 수학식 4와 같이 표현된다.
Figure pat00004
그리고, σ=1 일 때, G(x)는 다음 표 3과 같은 값으로서 도 5와 같은 형태의 그래프로 표현될 수 있다.
x -3 -2 -1 0 1 2 3
G(x) 0.006 0.061 0.242 0.383 0.242 0.061 0.006
여기서, 가우시안 함수 중에서 대칭축을 기준으로 하여 한쪽, 즉 x＞= 0인 쪽만을 사용하는데, 경계 화소들의 밝기 정보에서 가감된 값을 가우시안 함수의 x=0 위치에서의 값 만큼으로 스케일링하고, 상기 스케일 값에 기초하여 분할 영역 영상의 내부의 화소들의 밝기 정보를 가우시안 함수의 그래프와 같은 형태로 자연스럽게 조절한다.
즉, 표 2를 다시 참조하면 제1 분할 영역 영상(200a)의 가감 요구값은 -7, -7, -8, -5, -5이고 상기 값을 표 3 및 도 5의 가우시안 함수 값에 반영하면 다음 표 4의 가감 요구값을 획득할 수 있다.
x 위치 0 1
G(x) 0.383 0.242
스케일 0 1
-18.277 -7.000 -4.423
-18.277 -7.000 -4.423
-18.277 -7.000 -4.423
-20.888 -8.000 -5.055
-13.055 -5.000 -3.159
-10.444 -4.000 -2.527
-10.444 -4.000 -2.527
-13.055 -5.000 -3.159
-10.444 -4.000 -2.527
-7.833 -3.000 -1.896
-7.833 -3.000 -1.896
표 4를 보면 x=0일 때 가우시안 함수의 값은 G(0)=0.383이므로, G(x)=-7이 되기 위해서는 0.383에 -18.277만큼을 곱해야 G(x)=-7을 만족하게 된다. 그래서 표 5를 보면 스케일 값은 -18.277이다. 따라서 상기 스케일 값을 x=1, 2, 3‥‥ 에 순차적으로 대응되는 가우시안 함수값 G(1), G(2), G(3) ‥‥ 에 곱해주면 x=1, 2, 3에 해당하는 화소들에 대해 가감해야 할 밝기 정보의 요구 값을 가우시안 함수의 형태로 얻을 수 있게 된다.
즉, 첫 번째 경계 화소에 대해 가감 요구 값이 -7로서 이때의 스케일 값은 -18.277이고, 이를 x=1일 때의 가우시안 함수 값에 곱해주면 x=1일 때 제1 분할 영역 영상(200a)의 내부 화소에 대한 밝기 조절 가감 요구 값 -4.423을 얻을 수 있고, 상기 밝기 조절 가감 요구 값만큼 x=1에 해당하는 화소에 대해 밝기 정보를 변경한다. 이를 순차적으로 x=2, 3, 4‥‥ 에 대해서 수행하면 첫 번째 경계 화소로부터 분할 영역의 내부 방향으로 밝기 정보 가감 요구값을 모두 얻을 수 있게 된다. 마찬가지로 G(x)= -8인 경우에는 스케일 값은 -20.888이므로 x=1일 때의 가우시안 함수 값에 곱해주면 이 경계 화소에 대한 인접 화소들에 대해서는 밝기 조절 가감 요구 값은 -5.055가 된다.
이와 같이 제1 분할 영역 영상의 모든 경계 화소들에 대해서 표 4와 같이 필요한 스케일 값을 가우시안 함수를 이용하여 구할 수 있다. 그래서 각 경계 화소를 기준으로 제1 분할 영역 영상(200a)의 내부의 화소들에 대해서 밝기 정보 가감 요구 값을 획득할 수 있으며, 상기 가감 요구 값을 적용하면 경계 영역으로부터 제1 분할 영역 영상(200a)의 내부 방향으로도 밝기 정보가 자연스럽게 변화되도록 보정을 수행할 수 있다. 이때 보정 시 제1 분할 영역 영상(200a) 내부의 어느 범위까지 가감 요구 값을 적용하여 밝기정보를 조절할지는 가장 좁은 행이나 열 크기의 절반까지 적용할 수 있거나 또는 각 경계 영역 사이의 중심으로부터 각 경계 영역까지의 화소간의 거리의 절반까지 적용되도록 할 수 있다.
이처럼, 제1 분할 영역 영상(200a)은 제4 분할 영역 영상(200d)과 제2 분할 영역 영상(200b)과의 경계 화소들을 고려하여 경계 화소들 간의 밝기 정보를 동일하게 하고, 이후 제1 분할 영역 영상(200a)의 내부의 화소들에 대해서 스케일 정보를 이용하여 밝기 정보를 조절한다. 마찬가지로 제2 분할 영역 영상(200b)은 제1 분할 영역 영상(200a)과 제3 분할 영역 영상(200c)을 고려하고, 제 3 분할 영역 영상(200c)은 제2 분할 영역 영상(200b)과 제 4 분할 영역 영상(200d)을 고려하고, 제 4 분할 영역 영상(200d)은 제 3 분할 영역 영상(200c)과 제 1 분할 영역 영상(200a)을 고려함으로써, 전체 영상에 대해 밝기 정보를 보정할 수 있다.
제1 분할 영역 영상(200a) 내지 제4 분할 영역 영상(200b)에 대해 밝기 정보의 보정이 완료되면, 영상 합성부(130)는 보정된 밝기 정보가 반영된 각 분할 영역 영상에 대한 분할 영역 영상 데이터를 구성하고 이에 의하여 전체적인 합성 영상에 대한 합성 영상 데이터를 생성한다(s114).
생성된 합성 영상 데이터는 영상 출력부(140)로 전달되며, 영상 출력부(140)는 상기 합성 영상 데이터에 기초하여 영상을 출력한다(S116). 영상 출력의 예는 도 6에 도시하였다. 도 6을 보면, 분할 영역 영상들(200a ~ 200d) 사이의 경계 영역이 자연스럽게 연결되어 전체적으로 하나의 화면과 같이 출력됨을 알 수 있다. 즉 신호 처리 보정 전의 출력 영상을 보인 도 3을 보면 각 분할 영역 영상(200a ~ 200d)들을 서로 붙이는듯한 형태로 표시되고 있지만, 보정 후의 출력 영상을 보면 이러한 부분이 제거되었음을 확인할 수 있다.
이와 같이 본 실시 예는 복수 개의 광각 카메라로부터 입력되는 평면화된 단일 영상 데이터를 구성하는 각 분할 영역 영상들의 겹치는 영역이 자연스럽게 이어질 수 있도록 보정하여 최종 합성 영상을 생성하도록 구성됨을 알 수 있다.
이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.
즉 본 발명의 실시 예에서는 가우시안 함수를 이용하여 스케일 정보를 연산하고 있으나 반드시 이에 한정되는 아니며,본 발명은
Figure pat00005
로 표현되는 시그모이드(sigmoid) 함수나, 1차 또는 2차 함수를 이용하여 스케일 정보를 연산할 수 있다.
110 : 광각 카메라
120 : 영상 수신부
130 : 영상 합성부
140 : 영상 출력부

Claims (5)

  1. 인접한 광각 카메라와 촬영 영역이 일부가 겹치도록 배치되는 적어도 2 이상의 광각 카메라;
    상기 광각 카메라로부터 입력 영상 데이터를 수신하는 영상 수신부;
    상기 입력 영상 데이터로부터 분할 영역 영상 데이터로 이루어진 평면화 된 단일 영상 데이터를 생성하고, 상기 평면화 된 단일 영상 데이터를 보정하여 합성 영상 데이터를 생성하는 영상 합성부; 및
    상기 합성 영상 데이터에 기초하여 출력 영상을 생성, 출력하는 영상 출력부를 포함하는 분할 영역 영상의 영상 합성 처리장치.
  2. 제 1 항에 있어서,
    상기 영상 합성부는,
    서로 인접하고 있는 각 분할 영역 영상 데이터의 경계 화소들의 밝기 정보를 상기 경계 화소들의 평균값을 이용하여 동일하게 하는 분할 영역 영상의 영상 합성 처리장치.
  3. 제 2 항에 있어서,
    상기 영상 합성부는,
    서로 인접하고 있는 각 분할 영역 영상 데이터의 경계 화소가 동일하게 되면, 각 분할 영역 영상의 내부 화소들에 대한 밝기 정보를 조절하는 분할 영역 영상의 영상 합성 처리장치.
  4. 제 3 항에 있어서,
    상기 내부 화소들의 밝기 정보 조절은 스케일 정보를 이용하고,
    상기 스케일 정보는 가우시안 함수(Gaussian function), 시그모이드 함수(sigmoid function), 1차 함수 또는 2차 함수 중 어느 하나의 함수를 이용하여 연산하는 분할 영역 영상의 영상 합성 처리장치.
  5. 제 3 항에 있어서,
    상기 분할 영역 영상의 내부 화소들에 대한 밝기 정보를 조절하는 범위는,
    각 분할 영역 영상의 가장 좁은 행이나 열 크기의 절반까지이거나, 또는 각 경계 영역 사이의 중심으로부터 경계 영역까지의 화소간의 거리의 절반까지인 분할 영역 영상의 영상 합성 처리장치.
KR1020140192296A 2014-12-29 2014-12-29 분할 영역 영상의 영상 합성 처리장치 KR20160080461A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140192296A KR20160080461A (ko) 2014-12-29 2014-12-29 분할 영역 영상의 영상 합성 처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140192296A KR20160080461A (ko) 2014-12-29 2014-12-29 분할 영역 영상의 영상 합성 처리장치

Publications (1)

Publication Number Publication Date
KR20160080461A true KR20160080461A (ko) 2016-07-08

Family

ID=56502851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140192296A KR20160080461A (ko) 2014-12-29 2014-12-29 분할 영역 영상의 영상 합성 처리장치

Country Status (1)

Country Link
KR (1) KR20160080461A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245247B1 (ko) 2012-08-30 2013-03-19 재단법인대구경북과학기술원 영상 밝기 조절 방법, 장치 및 이를 이용한 다중 카메라

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245247B1 (ko) 2012-08-30 2013-03-19 재단법인대구경북과학기술원 영상 밝기 조절 방법, 장치 및 이를 이용한 다중 카메라

Similar Documents

Publication Publication Date Title
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
US10223775B2 (en) Array camera image combination with feature-based ghost removal
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
KR20100002231A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 기록 매체
CN110519493B (zh) 图像处理设备、图像处理方法和计算机可读记录介质
US20120154541A1 (en) Apparatus and method for producing 3d images
US9911183B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
US9984444B2 (en) Apparatus for correcting image distortion of lens
WO2020011112A1 (zh) 图像处理方法、系统、可读存储介质及终端
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
JP5411786B2 (ja) 撮影装置および画像統合プログラム
JP4862321B2 (ja) 車載カメラ装置
KR20160004912A (ko) 영상 획득 및 동시의 깊이 추출을 위한 장치 및 방법
JP2013029995A (ja) 撮像システム
KR101807090B1 (ko) 영상 왜곡 보정 장치 및 방법
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
US9143762B2 (en) Camera module and image recording method
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
WO2019057807A1 (en) HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE
KR20160080461A (ko) 분할 영역 영상의 영상 합성 처리장치
US11145093B2 (en) Semiconductor device, image processing system, image processing method and computer readable storage medium
KR101241012B1 (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법
US11017508B2 (en) Image matching method and apparatus
KR20110082873A (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid