KR102480209B1 - 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치 - Google Patents

Abstract

실시예에 따른 다중 카메라의 영상 합성 방법은,
(a) 제1 해상도 영상과 제2 해상도 영상을 획득하는 단계;
(b) 상기 제1 해상도 영상으로부터 상기 제1 해상도 영상의 제1 중심점을 나타내는 제1 벡터값과 상기 제1 해상도 영상의 제1 특징점을 나타내는 제2 벡터값을 산출하는 단계;
(c) 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 적용하여 상기 제2 해상도 영상의 제2 중심점의 좌표값과 제2 특징점의 좌표값을 각각 산출하는 단계;
(d) 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 이용하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출하는 단계;
(e) 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 이용하여 상기 제2 해상도 영상을 업스케일링하는 단계;를 포함할 수 있다.

Description

다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치{Multi-camera image synthesis method and multi-camera image synthesis apparatus}

본 발명은 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치에 관한 것으로, 보다 구체적으로 복수의 해상도를 제공하는 다중 카메라의 영상의 정합도를 향상시키는 방법을 제공하기 위한, 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치에 관한 것이다.

일반적으로 스테레오 영상을 취득하기 위해 2대 이상의 다중 카메라를 이용한다. 이러한 다중 카메라 시스템에서는 각 카메라에서 획득한 영상을 실시간 제공하여 출력하게 된다.

단일 카메라가 아닌 다중 카메라에 의한 영상을 제공받아 출력하는 경우, 카메라별 제공하는 영상의 특징이 상이할 수 있어 해당 영상들에 대한 교정이 반드시 선행되어야 한다.

해당 영상들에 대한 교정이 선행되지 않을 경우 영상간에 초점이 맞지 않거나 해상도가 떨어지는 등 낮은 품질의 영상이 제공될 수 있어 다중 카메라로부터 제공된 영상들의 정합도를 향상시키기 위한 방법을 제공하는 것이 필요하다.

특히, 무인 항공 시스템의 경우, EO-IR 카메라가 제공될 수 있는데, IR 카메라의 해상도가 EO 카메라의 해상도보다 낮기 때문에, 최종 출력 영상을 결정하기 위해 영상 간 정합시 각 영상에 대해 교정 절차를 거치지 않게 되면, 품질이 떨어진 영상을 제공하게 될 수 있어 다중 카메라 시스템에서 특히 초점 교정과 해상도 스케일링 과정은 매우 중요하다.

본 발명은 전술한 필요성에 의해 도출된 것으로, 다중 카메라에서 제공되는 복수의 해상도의 영상간 초점을 정확하게 맞추고 교정된 해상도의 영상으로 영상을 정합하여 보다 좋은 품질의 영상을 제공하는 것을 목적으로 한다.

실시예에 따른 다중 카메라의 영상 합성 방법은,

(a) 제1 해상도 영상과 제2 해상도 영상을 획득하는 단계;

(b) 상기 제1 해상도 영상으로부터 상기 제1 해상도 영상의 제1 중심점을 나타내는 제1 벡터값과 상기 제1 해상도 영상의 제1 특징점을 나타내는 제2 벡터값을 산출하는 단계;

(c) 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 적용하여 상기 제2 해상도 영상의 제2 중심점의 좌표값과 제2 특징점의 좌표값을 각각 산출하는 단계;

(d) 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 이용하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출하는 단계;

(e) 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 이용하여 상기 제2 해상도 영상을 업스케일링하는 단계;를 포함할 수 있다.

상기 제1 해상도 영상과 상기 제2 해상도 영상은 각각 상이한 해상도의 영상을 제공하는 별개의 카메라로부터 획득될 수 있다.

상기 제1 해상도 영상은 상기 제2 해상도 영상에 비해 높은 해상도를 가질 수 있다.

상기 (b)는, SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 수행될 수 있다.

상기 제1 특징점은 상기 제1 해상도 영상의 사분면 당 하나씩 추출되고 상기 제2 특징점은 상기 제2 해상도 영상의 사분면 당 하나씩 추출될 수 있다.

상기 (c)는, 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 대해 지그재그 방향으로 매핑 시도를 수행함으로써 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 각각 산출할 수 있다.

상기 (d)의 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터는 각각 하기 수식에 의해 산출될 수 있다.

(SaX: X축을 기준으로 한 스케일링 팩터, AX: 제2 특징점의 X축 좌표,

mX: 제2 중심점의 X축 좌표, pX: 기준 특징점의 X축 좌표, nX: 기준 중심점의 X축 좌표, SaY: Y축을 기준으로 한 스케일링 팩터, AY: 제2 특징점의 Y축 좌표,

mY: 제2 중심점의 Y축 좌표, pY: 기준 특징점의 Y축 좌표, nY: 기준 중심점의 Y축 좌표)

상기 (e)의 상기 제2 해상도 영상의 업스케일링은 하기 수식에 의해 수행될 수 있다.

(X': 기준 중심점 또는 기준 특징점 각각의 X축을 기준으로 한 업스케일링된 좌표, SaX: 제2 중심점 또는 제2 특징점 각각의 X축을 기준으로 한 스케일링 팩터, X: 기준 중심점 또는 기준 특징점 각각의 X축 좌표,

: 제1 해상도 영상과 제2 해상도 영상 사이의 편차각

Y': 기준 중심점 또는 기준 특징점 각각의 Y축을 기준으로 한 업스케일링된 좌표, SaY: 제2 중심점 또는 제2 특징점 각각의 Y축을 기준으로 한 스케일링 팩터, Y: 기준 중심점 또는 기준 특징점 각각의 Y축 좌표,

: 제1 해상도 영상과 제2 해상도 영상 사이의 편차각)

상기 제2 해상도 영상의 업스케일링된 좌표에 대응하는 픽셀이 널(null)인 것으로 판단한 경우, 상기 널(null) 픽셀의 주변 픽셀의 좌표값을 이용하여 하기 수식에 의한 보간을 수행할 수 있다.

P: 널(null) 픽셀의 보간 수행 결과 좌표값

A,B,C,D: 널(null) 픽셀의 주변 픽셀의 좌표값

q: w2/(w1+w2), p: w1/(w1+w2),α: h1/(h1+h2), β: h2/(h1+h2)

w1: P를 중심으로 한 -X축 방향의 주변 픽셀까지의 거리, w2: P를 중심으로 한 +X축 방향의 주변 픽셀까지의 거리, h1: P를 중심으로 한 -Y축 방향의 주변 픽셀까지의 거리, h2: P를 중심으로 한 +Y축 방향의 주변 픽셀까지의 거리.

상기 제1 해상도 영상 및 상기 업스케일링된 제2 해상도 영상 각각에 투명도 계수를 적용하는 단계; 및 상기 투명도 계수 적용 결과를 합성하여 출력하는 단계;를 더 포함할 수 있다.

다른 실시예에 따른 다중 카메라의 영상 합성 장치는 제1 해상도 영상과 제2 해상도 영상을 획득하기 위한 카메라; 및 상기 제1 해상도 영상으로부터 상기 제1 해상도 영상의 제1 중심점을 나타내는 제1 벡터값과 상기 제1 해상도 영상의 제1 특징점을 나타내는 제2 벡터값을 산출하고, 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 적용하여 상기 제2 해상도 영상의 제2 중심점의 좌표값과 제2 특징점의 좌표값을 각각 산출하며, 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 이용하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출하고, 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 이용하여 상기 제2 해상도 영상을 업스케일링하는 제어부;를 포함할 수 있다.

본 발명에 따르면, 다중 카메라에서 제공되는 복수의 해상도의 영상간 초점을 정확하게 맞추고 교정된 해상도의 영상으로 영상을 정합하여 보다 좋은 품질의 영상을 제공할 수 있게 된다.

도 1은 실시예에 따른 다중 카메라의 영상 합성 시스템을 설명하기 위한 참조도이다.
도 2는 실시예에 따른 다중 카메라의 영상 합성 장치(1)를 설명하는 블록도이다.
도 3은 실시예에 따른 다중 카메라의 영상 합성 방법을 설명하는 순서도이다.
도 4 내지 도 11은 실시예에 따른 다중 카메라의 영상 합성 방법을 설명하기 위해 참조되는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

도 1은 실시예에 따른 다중 카메라의 영상 합성 시스템을 설명하기 위한 참조도이다.

도 1은 실시예에 따라 무인 항공기에 탑재되는 전자광학-적외선(EO-IR(ElectroOptic-Infrared)) 카메라 시스템을 예시한다. 실시예에 따르면, 제1 카메라(10a)는 전자광학 카메라로 제2 카메라(10b, 10b-1, 10b-2)는 적외선 카메라로 구현될 수 있다. 여기서, 제1 카메라(10a)는 제2 카메라(10b)보다 고해상도 영상을 제공할 수 있다.

이 때, 도 1과 같이 실제 촬영하고자 하는 영상에 대해서 복수의 카메라를 통해 상이한 해상도의 영상들이 제공되어 각 영상의 중심 초점이 맞지 않는 문제가 생길 수 있다.

따라서, 본 발명은 각 영상의 초점을 맞추고 동일한 해상도로 정합할 수 있는 방법을 제공하고자 한다.

특히, 각 영상의 중심점이 각 영상에서 가장 왜곡이 없는 부분이기 때문에 중심점을 기준으로 먼저 초점을 맞추면서, 특징점을 추가로 추출하여 초점 정합의 정확도를 향상시키고자 한다.

이와 더불어, 초점이 정합된 각 영상에서 저해상도 영상이 고해상도로 스케일업되도록 하여 각 영상들이 합성된 결과가 반영되어 출력되도록 한다.

도 2는 실시예에 따른 다중 카메라의 영상 합성 장치(1)를 설명하는 블록도이다.

도 2에 도시한 바와 같이, 다중 카메라의 영상 합성 장치(1)는 카메라(10), 제어부(20), 메모리부(30), 및 디스플레이부(40)를 포함할 수 있다.

카메라(10)는 렌즈 및 촬상 소자를 포함하여 피사체를 촬영하고 이미지를 생성할 수 있는 모든 종류의 카메라를 포함할 수 있다.

카메라(10)는 제1 카메라(10a) 및 제2 카메라(10b)와 같은 복수의 카메라를 포함하는 다중 카메라 시스템으로 구현될 수 있다.

카메라(10)는 정지 영상을 촬영하는 디지털 스틸 카메라나 동영상을 촬영하는 디지털 비디오 카메라 등의 다양한 형태로 구현될 수 있다.

실시예에 따른 제1 카메라(10a)와 제2 카메라(10b)는 서로 다른 광학적 특성을 가질 수 있다.

카메라(10)의 광학적 특성은 카메라에 포함되는 렌즈의 화각(angle of view) 및 카메라에 포함되는 이미지 센서의 해상도 중 적어도 하나에 의해 결정될 수 있다. 이 때, 렌즈의 화각은 렌즈를 통해서 카메라가 촬영할 수 있는 이미지의 각도(촬영 범위)를 나타내며, 화각이 넓을수록 넓은 범위를 촬영할 수 있다. 또한, 이미지 센서의 해상도는 이미지 센서에 포함되는 픽셀들의 개수에 의해 결정되며, 이미지 센서에 포함되는 픽셀들의 개수가 많을수록 이미지 센서의 해상도는 높아진다.

실시예에 따른 제1 카메라(10a)에 포함되는 렌즈의 화각과 제2 카메라(10b)에 포함되는 렌즈의 화각은 서로 다를 수 있다. 예를 들어, 제1 카메라(10a)에 포함되는 렌즈가 광각 렌즈로 구성되고, 제2 카메라(10b)에 포함되는 렌즈가 망원 렌즈로 구성되는 경우, 광각 렌즈는 망원 렌즈보다 화각이 넓기 때문에 제1 카메라(10a)는 제2 카메라(10b)보다 더 넓은 범위를 촬영할 수 있다.

실시예에 따른 제1 카메라(10a)에 포함되는 이미지 센서의 해상도와 제2 카메라(10b)에 포함되는 이미지 센서의 해상도는 서로 다를 수 있다. 예를 들어, 제1 카메라(10a)에 포함되는 이미지 센서의 해상도는 제2 카메라(10b)에 포함되는 이미지 센서의 해상도보다 고해상도 일 수 있으며, 제2 카메라(10b)에 포함되는 이미지 센서의 해상도는 제1 카메라(10a)에 포함되는 이미지 센서의 해상도보다 저해상도일 수 있다.

실시예에 따르면, 카메라(10)는 무인 항공기에 탑재되는 전자광학-적외선(EO-IR(ElectroOptic-Infrared)) 카메라로, 제1 카메라(10a)는 전자광학 카메라로 제2 카메라(10b)는 적외선 카메라로 구현될 수 있다. 이에 따르면, 제1 카메라(10a)는 제2 카메라(10b)보다 고해상도 영상을 제공할 수 있다.

제어부(20)는 다중 카메라의 영상 합성 장치(1)를 구성하는 각 구성의 동작을 전반적으로 제어한다.

실시예에 따르면, 제어부(20)는 상기 제1 해상도 영상으로부터 상기 제1 해상도 영상의 제1 중심점을 나타내는 제1 벡터값과 상기 제1 해상도 영상의 제1 특징점을 나타내는 제2 벡터값을 산출하고, 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 적용하여 상기 제2 해상도 영상의 제2 중심점의 좌표값과 제2 특징점의 좌표값을 각각 산출할 수 있다.

제어부(20)는 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 이용하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출하고, 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 이용하여 상기 제2 해상도 영상을 업스케일링할 수 있다.

메모리부(30)는 다중 카메라의 영상 합성 장치(1)의 동작에 필요한 모든 정보와 동작 결과를 저장할 수 있고, 제어부(20)는 메모리부(30)에 저장된 정보를 독출하여 다중 카메라의 영상 합성 장치(1)를 구성하는 각 구성을 제어할 수 있다.

메모리부(30)는 각 해상도 영상에 부여하기 위한 투명도 계수 정보를 미리 저장할 수 있다.

제어부(20)가 해상도 영상에 대해 각각 투명도 계수를 적용하고, 투명도 계수 적용 결과를 합성하여 디스플레이부(40)를 통해 출력할 수 있다.

도 3은 실시예에 따른 다중 카메라의 영상 합성 방법을 설명하는 순서도이다.

도 3에 도시한 바와 같이, 제어부(20)는 제1 해상도 영상과 제2 해상도 영상을 각각 획득할 수 있다(s10).

실시예에 따르면, 제어부(20)는 제1 해상도 영상과 제2 해상도 영상을 상이한 해상도를 제공하는 별개의 카메라(10a, 10b)로부터 각각 획득될 수 있다. 즉, 제1 해상도 영상은 제1 카메라(10a)로부터 획득하고, 제2 해상도 영상은 제2 카메라(10b)로부터 획득할 수 있다.

실시예에 따르면, 제1 해상도 영상을 제공하는 제1 카메라(10a)는 하나이고, 제2 해상도 영상을 제공하는 제2 카메라(10b)는 복수 개일 수 있으나, 본 발명은 이에 제한되지 않는다. 제2 카메라(10b)가 복수 개(10b-1, 10b-2)인 경우, 제1 해상도 영상보다 저해상도를 가지는 상이한 복수의 제2 해상도의 영상이 제공될 수 있다.

제어부(20)는 제1 해상도 영상으로부터 상기 제1 해상도 영상의 제1 중심점을 나타내는 제1 벡터값과 상기 제1 해상도 영상의 제1 특징점을 나타내는 제2 벡터값을 산출할 수 있다(s20).

실시예에 따르면, 제어부(20)는 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 벡터값들을 산출할 수 있다.

실시예에 따르면, SIFT를 이용해 중심점과 특징점과 같은 키포인트를 추출 하고, 영상의 스케일 변화와 회전에도 변하지 않는 벡터값들을 기술할 수 있다.

실시예에 따르면, 1) 극값 검출법인 DoG(Difference-of-Gaussian) 처리를 통해 스케일 공간에서의 극값을 탐색함으로써 키포인트의 위치와 스케일을 결정하고, 2) 1) 과정에서 추출했던 키포인트로부터 키포인트로 적합하지 않은 점들을 삭제하고 서브 픽셀 추정을 하는 키포인트 모으며, 3) 회전에 불변하는 특징을 얻기 위해 키포인트의 오리엔테이션을 구하는 오리엔테이션을 산출하고 4) 3) 과정에서 구했던 오리엔테이션을 기반으로 키포인트의 벡터값들을 기술할 수 있다.

실시예에 따르면, 제1 중심점의 제1 벡터값과 제1 특징점의 제2 벡터값 각각은 제1 중심점인 대상 픽셀의 복수의 주변 영역에 대한 복수의 그래디언트 히스토그램(gradient histogram) 정보를 포함할 수 있다. 실시예에 따르면, 그래디언트 히스토그램 정보는 복수의 주변 영역에 포함되는 픽셀들 각각의 그래디언트 크기와 방향 정보를 함께 포함할 수 있다.

도 4를 참조하면, (a)는 제1 해상도 영상의 제1 중심점을 나타내고, 제1 해상도 영상의 제1 중심점에 대해 (b)와 같이 SIFT를 적용하여 (c)와 같은 제1 벡터값을 산출할 수 있다.

또한, 도 5를 참조하면, (a)는 제1 해상도 영상의 제1 특징점을 나타내고, 제1 해상도 영상의 제1 특징점에 대해 SIFT를 적용하여 (b)와 같은 제2 벡터값을 산출할 수 있다.

실시예에 따르면, 도 5와 같이, 제1 특징점은 복수 개 일 수 있으며, 제1 해상도 영상의 중심점을 기준으로 분할된 사분할면 각각에 대응하여 각각 추출될 수 있다. 다만, 이는 일 실시예이고, 제1 해상도 영상의 분할면의 개수를 6개, 8개 등 다양하게 구현하는 경우에도 본 발명이 동일/유사하게 적용될 수 있다.

실시예에 따라, 제1 특징점 각각은 제1 해상도 영상의 각 모서리 영역에서 추출될 수 있으나, 본 발명은 이에 제한되지 않는다.

실시예에 따라, 제1 특징점 각각이 각 분할면에 대응하여 하나씩 추출된 것을 예시하였으나, 다른 실시예에 따라 각 분할면에 대응하여 복수개의 제1 특징점이 추출되는 경우에도 본 발명이 동일/유사하게 적용될 수 있다.

실시예에 따르면, 제1 벡터값을 나타내는 윈도우 영역의 크기는 제2 해상도 영상에 적용할 수 있도록 제2 해상도 영상의 크기보다 작도록 설계하고, 제2 벡터값을 나타내는 윈도우 영역의 크기는 제2 해상도 영상의 각 분할면의 크기보다 작도록 설계할 수 있다.

이와 같이, 제1 벡터값과 제2 벡터값을 산출하여 제1 중심점과 제1 특징값에 대응하는 영상 내 오브젝트의 2D 방향성을 검출할 수 있게 된다.

한편, 본 발명의 경우, SIFT를 이용하여 중심점과 특징점을 추출하는 것을 예시하였으나, SURF (speeded up robust features), 또는 ORB (Oriented FAST and Rotated BRIEF) 알고리즘을 이용해서 중심점과 특징점을 추출하는 경우에도 본 발명이 동일/유사하게 적용될 수 있다.

제어부(20)는 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 적용하여 상기 제2 해상도 영상의 제2 중심점의 좌표값과 제2 특징점의 좌표값을 각각 산출할 수 있다(s30).

예를 들어, 도 6을 참조하면, 제1 벡터값을 제2 해상도 영상에 적용하여 제2 해상도 영상의 제2 중심점의 좌표값을 산출할 수 있다.

구체적으로, 제1 벡터값을 제2 해상도 영상에 대하여 지그재그 방향으로 스캔하는 형태로 적용할 수 있다. 즉, 제1 벡터값을 제2 해상도 영상을 구성하는 적어도 하나의 픽셀 각각에 대응하는 벡터값들에 매핑하는 과정을 수행할 수 있다.

이 때, 제1 벡터값과 소정의 임계치 이상으로 매핑되는 벡터값을 찾으면, 해당 벡터값에 대응하는 점을 도 8과 같이 제2 해상도 영상의 제2 중심점으로 결정하여 해당 제2 중심점의 좌표값을 산출할 수 있다.

실시예에 따르면, 소정의 임계치 이상은 80% 내지 100%의 유사도를 의미하나, 바람직하게는 90% 내지 100%의 유사도인 경우를 의미할 수 있다.

이와 마찬가지로, 도 7을 참조하면, 제2 벡터값을 제2 해상도 영상에 적용하여 제2 해상도 영상의 제2 특징점 좌표값을 산출할 수 있다.

실시예에 따르면, 제2 특징점은 복수 개 일 수 있으며, 제2 해상도 영상의 중심점을 기준으로 분할된 사분할면 각각에 대응하여 각각 추출될 수 있다. 다만, 이는 일 실시예이고, 제2 해상도 영상의 분할면의 개수를 6개, 8개 등 다양하게 구현하는 경우에도 본 발명이 동일/유사하게 적용될 수 있다.

실시예에 따라, 제2 특징점 각각은 제2 해상도 영상의 각 모서리 영역에서 추출될 수 있으나, 본 발명은 이에 제한되지 않는다.

실시예에 따라, 제2 특징점 각각이 각 분할면에 대응하여 하나씩 추출된 것을 예시하였으나, 다른 실시예에 따라 각 분할면에 대응하여 복수개의 제2 특징점이 추출되는 경우에도 본 발명이 동일/유사하게 적용될 수 있다.

이러한 제2 특징점 추출을 위하여, 구체적으로, 제2 벡터값을 제2 해상도 영상의 사분할면 각각에 대하여 지그재그 방향으로 스캔하는 형태로 적용할 수 있다. 즉, 제2 벡터값을 제2 해상도 영상의 사분할면 각각을 구성하는 적어도 하나의 픽셀 각각에 대응하는 벡터값들에 매핑하는 과정을 수행할 수 있다.

이 때, 제2 벡터값과 소정의 임계치 이상으로 매핑되는 벡터값을 찾으면, 해당 벡터값에 대응하는 점을 도 8과 같이 제2 해상도 영상의 제2 특징점으로 결정하여 해당 제2 특징점의 좌표값을 산출할 수 있다.

실시예에 따르면, 소정의 임계치 이상은 60% 내지 100%의 유사도를 의미하나, 바람직하게는 90% 내지 100%의 유사도인 경우를 의미할 수 있다.

실시예에 따르면, 이러한 유사도 임계치 설정은 제2 특징점 전체에 대하여 동일하게 설정될 수도 있고, 다른 실시예에 따라 제2 특징점마다 개별적으로 유사도 임계치가 상이하게 설정될 수도 있다.

본 발명에 따르면, 위와 같이 제1 해상도 영상의 제1 중심점에 맞는 제2 해상도 영상의 제2 중심점과, 제1 해상도 영상의 제1 특징점에 맞는 제2 해상도 영상의 제2 특징점을 각각 검출하여 두 영상의 초점을 맞출 수 있게 된다.

제어부(20)는 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 이용하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출할 수 있다(s40).

실시예에 따르면, 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값 이외에, 아래 수식과 같이 상기 제2 해상도 영상의 기준 중심점의 좌표값과 기준 특징점의 좌표값을 함께 참조하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출할 수 있다.

여기서, 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터는 아래 수식에 의해 동일하게 산출될 수 있다.

수학식:

위 수식에서, SaX는 X축을 기준으로 한 (제2 중심점 또는 제2 특징점의)스케일링 팩터, AX는 제2 특징점의 X축 좌표, mX는 제2 중심점의 X축 좌표, pX는 기준 특징점의 X축 좌표, nX는 기준 중심점의 X축 좌표를 나타낸다.

또한, SaY는 Y축을 기준으로 한 (제2 중심점 또는 제2 특징점의) 스케일링 팩터, AY는 제2 특징점의 Y축 좌표, mY는 제2 중심점의 Y축 좌표, pY는 기준 특징점의 Y축 좌표, nY는 기준 중심점의 Y축 좌표를 나타낸다.

참고로, 기준 중심점과 기준 특징점은 제2 해상도 영상의 최초 중심점과 최초 특징점으로 미리 정의된 것일 수 있다.

한편, 제어부(20)는 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 이용하여 상기 제2 해상도 영상을 업스케일링할 수 있다(s50).

구체적으로, 제어부(20)는 상기 기준 중심점의 좌표값에 상기 제2 중심점의 스케일링 팩터를 적용하고 상기 기준 특징점의 좌표값에 상기 제2 특징점의 스케일링 팩터를 적용하여 상기 제2 해상도 영상을 업스케일링할 수 있다.

해당 과정은 아래 수식에 의해 수행될 수 있다.

수학식:

여기서, X'는 기준 중심점 또는 기준 특징점 각각의 X축을 기준으로 한 업스케일링된 좌표, SaX는 제2 중심점 또는 제2 특징점 각각의 X축을 기준으로 한 스케일링 팩터, X는 기준 중심점 또는 기준 특징점 각각의 X축 좌표,

: 제1 해상도 영상과 제2 해상도 영상 사이의 편차각을 나타낸다.

그리고, Y'는 기준 중심점 또는 기준 특징점 각각의 Y축을 기준으로 한 업스케일링된 좌표, SaY는 제2 중심점 또는 제2 특징점 각각의 Y축을 기준으로 한 스케일링 팩터, Y는 기준 중심점 또는 기준 특징점 각각의 Y축 좌표,

: 제1 해상도 영상과 제2 해상도 영상 사이의 편차각을 나타낸다.

실시예에 따르면, 다중 카메라를 이용하여 획득된 복수의 해상도의 영상에 대하여 각 영상의 X축 및 Y축 상의 초점을 조정하는 것 이외에, Z축 상의 공간상 틀어짐을 보정하는 과정이 필요하고, 상기 편차각 보정을 통해 해당 과정을 수행할 수 있다.

전술한 s40과 s50 단계를 제2 해상도 영상을 구성하는 모든 픽셀에 대하여 수행함으로써, 제2 해상도 영상을 3차원 상에서 업스케일링할 수 있다.

참고로, 전술한 과정들은 제2 해상도 영상이 한 개일 뿐 아니라, 서로 다른 해상도를 가지는 복수 개의 제2 해상도 영상인 경우에도 동일/유사하게 적용될 수 있다.

즉, 도 9와 같이 제2-1 해상도 영상 및 제2-2 해상도 영상에 대해서 각각 상기 과정을 동일/유사하게 수행할 수 있다.

본 발명에 따르면, 위와 같은 업스케일링을 통해 도 9와 같이 각 제2 해상도 영상을 제1 해상도 영상과 동일한 해상도로 변경할 수 있다.

한편, 실시예에 따르면, 업스케일링된 제2 해상도 영상의 영상 평면에 유효 픽셀이 존재하지 않을 수 있다. 즉, 제2 해상도 영상은 제1 해상도 영상에 비해 저해상도이기 때문에 확장해도 영상 평면에 널(null) 값을 가지는 픽셀이 존재할 수 있는 것이다.

실시예에 따르면, 이를 해결하기 위하여 제어부(20)는 아래 수학식과 같은 보간(Bilinear-Interpolation)을 수행할 수 있다.

수학식:

여기서, P는 널(null) 픽셀의 보간 수행 결과 좌표값, A,B,C,D는 널(null) 픽셀의 주변 픽셀의 좌표값, q는 w2/(w1+w2), p는 w1/(w1+w2),α는 h1/(h1+h2), β는 h2/(h1+h2)을 나타낸다. 그리고, w1는 P를 중심으로 한 -X축 방향의 주변 픽셀까지의 거리, w2는 P를 중심으로 한 +X축 방향의 주변 픽셀까지의 거리, h1는 P를 중심으로 한 -Y축 방향의 주변 픽셀까지의 거리, h2: P를 중심으로 한 +Y축 방향의 주변 픽셀까지의 거리를 나타낸다.

도 10을 함께 참조하면, A,B,C,D는 각각 널(null) 픽셀을 중심으로 둘러싼 사각형의 각 꼭지점을 나타내며, 미리 해당 꼭지점의 좌표값을 알고 있는 것을 전제로 한다. 그리고, w1은 점 P로부터 -X축 방향으로 사각형의 변까지의 거리, w2는 점 P로부터 +X축 방향으로 사각형의 변까지의 거리, h1는 점 P로부터 -Y축 방향으로 사각형의 변까지의 거리, h2는 점 P로부터 +Y축 방향으로 사각형의 변까지의 거리를 나타낸다.

한편, 실시예에 따르면 제어부(20)는 제1 해상도 영상 및 상기 업스케일링된 제2 해상도 영상 각각에 투명도 계수를 적용하고, 투명도 계수 적용 결과를 합성하여 디스플레이부(40)를 통해 출력할 수 있다.

실시예에 따르면, 제어부(20)가 복수 개의 서로 다른 제2 해상도 영상으로부터 복수 개의 업스케일링된 제2 해상도 영상(제2-1 해상도 영상, 제2-2 해상도 영상)을 획득한 경우에도 투명도 계수 적용 결과를 합성하여 디스플레이부(40)를 통해 출력할 수 있다.

도 11을 참조하면, 하나의 제1 해상도 영상과 복수 개의 업스케일링된 제2 해상도 영상을 수직 배열하여 오버레이되도록 함으로써, 각 영상의 레이어에 투명도 계수(i,j,k)를 각각 할당하고, 할당된 결과를 정합하여 출력할 수 있다.

예를 들어, i가 제1 해상도 영상의 투명도 계수를 나타내고, j가 업스케일링된 제2-1 해상도 영상의 투명도 계수를 나타내고, k가 업스케일링된 제2-2 해상도 영상의 투명도 계수를 나타낼 때, 투명도 계수가 0이면 해당 레이어의 영상은 표시하지 않고, 투명도 계수가 100이면 해당 레이어의 영상은 100%의 불투명도를 가지는 것으로 합성하여 디스플레이부(40)에 출력할 수 있다.

한편, 실시예에 따르면, 도 3 내지 도 11을 통해 전술한 모든 과정들은 카메라(10)가 고정되어 있을 경우 획득된 영상에 대해서만 적용되는 것이 아니라, 카메라(10)가 움직이면서 획득된 영상에 대해서도 동일/유사하게 적용될 수 있다.

즉, 카메라(10)가 고정된 경우에는 획득되는 새로운 프레임마다 전술한 과정들을 적용하여 초점을 맞추면서 동기화를 실시간 수행할 수 있다.

그리고, 카메라(10)가 움직이는 경우에는 고정된 카메라에서의 동작 이외에도, 카메라(10)의 움직임으로 인해 발생하는 각 영상들의 축별(X축, Y축) 획득 시간의 차이를 감안하여 축별(X축, Y축) 영상들의 시간별, 공간별 움직임을 보정하는 과정을 더 수행할 수 있다.

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

1. (a) 제1 해상도 영상과 제2 해상도 영상을 획득하는 단계;
   (b) 상기 제1 해상도 영상으로부터 상기 제1 해상도 영상의 제1 중심점을 나타내는 제1 벡터값과 상기 제1 해상도 영상의 제1 특징점을 나타내는 제2 벡터값을 산출하는 단계;
   (c) 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 적용하여 상기 제2 해상도 영상의 제2 중심점의 좌표값과 제2 특징점의 좌표값을 각각 산출하는 단계;
   (d) 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 이용하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출하는 단계; 및
   (e) 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 이용하여 상기 제2 해상도 영상을 업스케일링하는 단계;를 포함하고,
   상기 제1 특징점은 상기 제1 해상도 영상의 사분면 당 하나씩 추출되고 상기 제2 특징점은 상기 제2 해상도 영상의 사분면 당 하나씩 추출되는,
   다중 카메라의 영상 합성 방법.
   
2. 제 1항에 있어서,
   상기 제1 해상도 영상과 상기 제2 해상도 영상은 각각 상이한 해상도의 영상을 제공하는 별개의 카메라로부터 획득되는,
   다중 카메라의 영상 합성 방법.
   
3. 제 1항에 있어서,
   상기 제1 해상도 영상은 상기 제2 해상도 영상에 비해 높은 해상도를 가지는,
   다중 카메라의 영상 합성 방법.
   
4. 제 1항에 있어서,
   상기 (b)는,
   SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 수행되는,
   다중 카메라의 영상 합성 방법.
   
5. 삭제
6. 제 1항에 있어서,
   상기 (c)는,
   상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 대해 지그재그 방향으로 매핑 시도를 수행함으로써 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 각각 산출하는,
   다중 카메라의 영상 합성 방법.
   
7. 제 1항에 있어서,
   상기 (d)의 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터는 각각 하기 수식에 의해 산출되는,
   

   

   
   (SaX: X축을 기준으로 한 스케일링 팩터, AX: 제2 특징점의 X축 좌표,
   mX: 제2 중심점의 X축 좌표, pX: 기준 특징점의 X축 좌표, nX: 기준 중심점의 X축 좌표, SaY: Y축을 기준으로 한 스케일링 팩터, AY: 제2 특징점의 Y축 좌표,
   mY: 제2 중심점의 Y축 좌표, pY: 기준 특징점의 Y축 좌표, nY: 기준 중심점의 Y축 좌표)
   다중 카메라의 영상 합성 방법.
   
8. 제 7항에 있어서,
   상기 (e)의 상기 제2 해상도 영상의 업스케일링은 하기 수식에 의해 수행되는,
   

   

   
   (X': 기준 중심점 또는 기준 특징점 각각의 X축을 기준으로 한 업스케일링된 좌표, SaX: 제2 중심점 또는 제2 특징점 각각의 X축을 기준으로 한 스케일링 팩터, X: 기준 중심점 또는 기준 특징점 각각의 X축 좌표,

   

   : 제1 해상도 영상과 제2 해상도 영상 사이의 편차각
   Y': 기준 중심점 또는 기준 특징점 각각의 Y축을 기준으로 한 업스케일링된 좌표, SaY: 제2 중심점 또는 제2 특징점 각각의 Y축을 기준으로 한 스케일링 팩터, Y: 기준 중심점 또는 기준 특징점 각각의 Y축 좌표,

   

   : 제1 해상도 영상과 제2 해상도 영상 사이의 편차각)
   다중 카메라의 영상 합성 방법.
   
9. 제 8항에 있어서,
   상기 제2 해상도 영상의 업스케일링된 좌표에 대응하는 픽셀이 널(null)인 것으로 판단한 경우, 상기 널(null) 픽셀의 주변 픽셀의 좌표값을 이용하여 하기 수식에 의한 보간을 수행하는,
   

   

   
   P: 널(null) 픽셀의 보간 수행 결과 좌표값
   A,B,C,D: 널(null) 픽셀의 주변 픽셀의 좌표값
   q: w2/(w1+w2), p: w1/(w1+w2),α: h1/(h1+h2), β: h2/(h1+h2)
   w1: P를 중심으로 한 -X축 방향의 주변 픽셀까지의 거리, w2: P를 중심으로 한 +X축 방향의 주변 픽셀까지의 거리, h1: P를 중심으로 한 -Y축 방향의 주변 픽셀까지의 거리, h2: P를 중심으로 한 +Y축 방향의 주변 픽셀까지의 거리
   다중 카메라의 영상 합성 방법.
   
10. 제 1항에 있어서,
    상기 제1 해상도 영상 및 상기 업스케일링된 제2 해상도 영상 각각에 투명도 계수를 적용하는 단계; 및
    상기 투명도 계수 적용 결과를 합성하여 출력하는 단계;를 더 포함하는,
    다중 카메라의 영상 합성 방법.
    
11. 제1 해상도 영상과 제2 해상도 영상을 획득하기 위한 카메라; 및
    상기 제1 해상도 영상으로부터 상기 제1 해상도 영상의 제1 중심점을 나타내는 제1 벡터값과 상기 제1 해상도 영상의 제1 특징점을 나타내는 제2 벡터값을 산출하고, 상기 제1 벡터값과 상기 제2 벡터값을 각각 상기 제2 해상도 영상에 적용하여 상기 제2 해상도 영상의 제2 중심점의 좌표값과 제2 특징점의 좌표값을 각각 산출하며, 상기 제2 해상도 영상의 상기 제2 중심점의 좌표값과 상기 제2 특징점의 좌표값을 이용하여 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 산출하고, 상기 제2 중심점의 스케일링 팩터와 상기 제2 특징점의 스케일링 팩터를 각각 이용하여 상기 제2 해상도 영상을 업스케일링하는 제어부;를 포함하고,
    상기 제1 특징점은 상기 제1 해상도 영상의 사분면 당 하나씩 추출되고 상기 제2 특징점은 상기 제2 해상도 영상의 사분면 당 하나씩 추출되는,
    다중 카메라의 영상 합성 장치.
    
    
    
    

Images