KR102428106B1 - 다중렌즈 광학장치용 위상 보정 시스템 - Google Patents

Abstract

본 발명은 다중렌즈 광학장치용 위상 보정 시스템에 관한 것이다. 본 발명은 다중 렌즈 방식의 광학 장치를 피사체와의 거리에 상관없이 활용할 수 있도록 위상 보정을 위한 영상 처리 소프트웨어 알고리즘에 관한 기술이다.

Description

다중렌즈 광학장치용 위상 보정 시스템 {Phase calibration system for multi-lens optics device}

본 발명은 다중렌즈 광학장치용 위상 보정 시스템에 관한 것으로, 보다 상세하게는 하나의 하우징에 다수의 렌즈가 고정 설치되어 있는 다중렌즈 광학장치에 의해 각각의 렌즈로부터 획득한 이미지 데이터에 포함되어 있는 위상 차를 보정하는 영상 처리 알고리즘을 제공할 수 있는 다중렌즈 광학장치용 위상 보정 시스템에 관한 것이다.

고가의 스냅 스캔(snap-scan) 또는, 스냅 샷(snap-shop) 방식의 광학 장치를 대체하기 위한 다중 렌즈 방식의 광학 장치는 고정되어 있는 렌즈의 주축(principle axis)이 도 1에 도시된 바와 같이, 필연적으로 상이하기 때문에, 피사체의 거리별 위상차가 발생할 수 밖에 없는 문제점을 포함하고 있다.

즉, 다중 렌즈 방식의 광학 장치는 설계 시 설정한 렌즈의 주축이 교차되는 거리를 이용하여, 유효한 촬영이 가능한 최소 촬영거리를 공식 스펙으로 설정하게 된다.

그렇기 때문에, 스냅 스캔(snap-scan) 또는, 스냅 샷(snap-shop) 방식의 광학 장치에 비해 저가로 생산할 수 있다는 장점을 가지고 있으나, 근거리 촬영을 위해서는 미리 정해진 최소 촬영거리를 유지하거나, 이보다 먼 원거리 촬영에 주로 활용되고 있다. 이에 따라, 대다수의 다중 렌즈 방식의 광학 장치는 광학 장치와 피사체의 거리가 멀리 떨어져 있는 드론과 같은 원거리 촬영에 널리 활용되고 있다.

최근들어, 스마트팜 등의 농업 분야 또는, 미용 분야 등 다중 스펙트럼 장치를 필요로 하는 분야에서 비교적 저가의 다중 렌즈 방식의 광학 장치를 이용한 근거리 촬영이 요구되고 있으나, 상술한 바와 같이, 근거리 촬영이 용이하지 않아 적용이 어려운 문제점이 있다.

이와 관련해서, WO 2012/139049호("SYSTEMS AND METHODS TO CALIBRATE A MULTI CAMERA DEVICE")에서는 다중 카메라들의 초점 포지션들을 보다 정확하게 동기화할 수 있는 보정 시스템을 개시하고 있다.

국제공개특허 WO 2012/139049(공개일자 2012.10.11.)

따라서, 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 다중 렌즈 방식의 광학 장치를 피사체와의 거리에 상관없이 활용할 수 있도록, 위상 보정을 위한 영상 처리 소프트웨어 알고리즘을 제공할 수 있는 다중렌즈 광학장치용 위상 보정 시스템을 제공함에 있다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 다중렌즈 광학장치용 위상 보정 시스템은, 중심부에 구비된 기준 렌즈, 상기 기준 렌즈를 중심으로 주변의 서로 다른 위치에 구비된 복수의 부가 렌즈를 포함하되, 상기 기준 렌즈 및 부가 렌즈의 초점 거리가 고정된 다중렌즈 광학장치용 위상 보정 시스템에 있어서, 상기 기준 렌즈를 통해 촬영된 영상 데이터인 기준 영상 데이터 및 각각의 상기 부가 렌즈를 통해 촬영된 영상 데이터인 복수의 부가 영상 데이터를 입력받는 영상 입력부, 기저장된 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여, 상기 기준 영상 데이터 및 상기 복수의 부가 영상 데이터 각각에 대한 특징점을 추출하는 특징점 추출부, 상기 특징점 추출부에 의해 추출한 상기 기준 영상 데이터에 대한 특징점을 기준 특징점으로 설정하여, 상기 기준 특징점과 순차적으로 선택되는 상기 부가 영상 데이터 각각에 대한 특징점 간의 유사도 분석을 통해, 특징점 매칭(feature point matching)을 수행하는 특징점 매칭부, 각각의 상기 부가 영상 데이터 별로, 상기 특징점 매칭부에 의한 수행 결과, 상기 기준 영상 데이터에 대한 특징점과 매칭된 특징점이 기설정된 소정 개수 이상일 경우, 기저장된 PT(Perspective Transformation) 알고리즘에 상기 소정 개수 이상의 매칭된 특징점을 적용하여, 위상 변환 매트릭스를 생성하는 매트릭스 생성부 및 각각의 상기 부가 영상 데이터 별로, 상기 매트릭스 생성부에 의해 생성한 위상 변환 매트릭스를 적용하여, 위상 보정을 수행하는 위상 보정부를 포함하며, 상기 특징점 매칭부는 기저장된 KNN(K-Nearest Neighbors) 알고리즘을 이용하여, 상기 기준 영상 데이터의 특징점과 선택된 어느 하나의 상기 부가 영상 데이터의 특징점 간의 거리를 분석하여 유사도 분석을 수행하며, 기설정된 최소 유사도 값을 기준으로 수행한 유사도 분석 값이 상기 최소 유사도 값 미만일 경우, 매칭된 특징점으로 처리하고, 상기 특징점 매칭부, 매트릭스 생성부 및 위상 보정부는 모든 부가 영상 데이터에 대해서 하나씩 순차적으로 선택하여 동작을 수행하며, 상기 위상 보정부는 각각의 부가 영상 데이터 별로 위상 보정을 수행하여, 상기 기준 영상 데이터의 위상을 기준으로 모든 부가 영상 데이터의 위상이 일치하도록 보정하는 것이 바람직하다.

본 발명에 의하면, 다중렌즈 광학장치용 위상 보정 시스템은 다중 렌즈 방식의 광학 장치를 피사체와의 거리에 상관없이 활용할 수 있도록, 다중렌즈 광학장치용 위상 보정을 위한 영상 처리 소프트웨어 알고리즘을 제공할 수 있는 장점이 있다.

이를 통해서, 광학장치의 최소 촬영 거리(렌즈의 초점 거리 스펙에 따른)에 상관없이 원하는 거리에 위치하고 있는 피사체를 촬영하고, 촬영한 피사체에 의한 이미지 데이터의 특징점 정보를 추출하고, 이를 매칭시켜 위상을 수행함으로써, 원하는 피사체에 대한 유효한 영상 데이터를 얻을 수 있는 장점이 있다.

즉, 본 발명의 일 실시예에 따른 다중렌즈 광학장치용 위치 보정 시스템은 광학장치의 설계 당시 렌즈들의 배치/렌즈들의 스펙 등에 의해 요구될 수 밖에 없는 최소 촬영 거리를 고려하지 않고도 영상 데이터들의 위상 보정을 통해서, 선명한 영상 데이터를 출력할 수 있는 장점이 있다.

도 1은 통상의 다중렌즈 광학장치의 구조와 피사체와의 거리 별로 위상차를 발생하게 하는 고정되어 있는 렌즈의 주축을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 다중렌즈 광학장치용 위상 보정 시스템을 나타낸 구성 예시도이다.
도 3은 본 발명의 일 실시예에 따른 다중렌즈 광학장치를 이용하여 근거리에 위치한 피사체를 촬영 결과에 대한 위상 보정 전과 후의 비교 예시도이다.

이하, 상기한 바와 같은 구성을 가지는 본 발명에 의한 다중렌즈 광학장치용 위상 보정 시스템을 첨부된 도면을 참고하여 상세하게 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.

이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.

더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.

스냅 스캔 방식 또는, 스냅 샷 방식의 광학장치는 멀티 어레이 렌즈를 이용하고, 렌즈 외부에 필터를 배치함으로써, 각 렌즈 별로 필터를 통과하는 개별 파장 대의 정보를 출력하고, 이를 융합하는 소프트웨어 알고리즘을 제공하고 있어, 고가로 구성되는 단점이 있다.

이러한 고가의 광학장치를 대체하기 위한 다중렌즈 광학장치는 도 1에 도시된 바와 같이, 서로 다른 위치에 배치되어, 서로 다른 위상을 갖는 복수 개의 렌즈가 구성되어, 각 렌즈의 주축(principle axis)으로 인해 다수의 렌즈의 초점을 맞추기 위해서는 피사체와 광학장치 간의 거리가 미리 설정된 최소 촬영 거리로 제한되거나, 이보다 먼 거리에 위치한 피사체에 대해서만 정확하게 촬영할 수 있다.

만약, 이러한 최소 촬영 거리를 고려하지 않고 촬영을 할 경우, 도 3의 a)와 같이, 서로 다른 위치를 바라보고 있는 각 렌즈 별로 영상 데이터가 출력되어, 정확하지 않은 출력 데이터가 생성될 수 밖에 없다.

즉, 간단히 정리하자면, 서로 다른 위치에 구비된 복수의 렌즈를 포함하는 광학장치에서 각각의 렌즈를 통해 촬영된 이미지는 카메라의 위치에 따라 동일 대상물(피사체)의 위치가 이미지 내에서 서로 상이하게 된다. 그렇기 때문에, 이를 단순히 융합 처리할 경우, 도 3의 a)와 같이, 명확하지 않은 영상 데이터가 출력되게 된다.

이러한 문제점을 해소하기 위한 본 발명의 일 실시예에 따른 다중렌즈 광학장치용 위상 보정 시스템은, 이미지 데이터의 특징점 추출을 통해서 이미지 내부의 동일 대상물의 위치를 파악하여, 이미지들을 동일 좌표로 보정하는 기술에 관한 것이다.

물론, 처음부터 근거리 촬영을 위한 광학장치라면 애초에 렌즈 중심(렌즈들의 초점 거리)이 모아지도록 하드웨어 셋팅이 가능하지만, 이 경우, 원하는 설정 거리마다 각기 다르게 하드웨어 셋팅이 이루어진 광학장치가 요구되기 때문에, 현실적으로 불가능하다. 물론, 광학장치에 오토 포커스 기능을 추가할 수 있으나, 이 경우에도 고가로 생산될 수 밖에 없다.

그렇기 때문에, 본 발명의 일 실시예에 따른 다중렌즈 광학장치용 위치 보정 시스템은 광학장치의 설계 당시 렌즈들의 배치/렌즈들의 스펙 등에 의해 요구될 수 밖에 없는 최소 촬영 거리를 고려하지 않고도 영상 데이터들의 위상 보정을 통해서, 도 3의 b)와 같이, 선명한 영상 데이터를 출력할 수 있다.

이 때, 다중렌즈 광학장치는 도 1에 도시된 바와 같이, 서로 다른 위치에 배치되어 있는 다수의 렌즈를 포함하며, 비용을 절감하기 위하여 렌즈의 초점 거리는 최초 설계 당시의 렌즈 스펙에 따라 고정되어 있게 된다.

보다 상세하게는, 다중렌즈 광학장치는 중심부에 구비(배치)되는 기준 렌즈, 상기 기준 렌즈를 중심으로 주변의 서로 다른 위치에 구비(배치)된 복수의 부가 렌즈를 포함하며, 상기 기준 렌즈 및 부가 렌즈의 초점 거리가 고정되어 있는 것이 바람직하다.

이 때, 다중렌즈 광학장치의 하드웨어(하우징)를 기준으로 중심부에 구비되는 렌즈를 기준 렌즈로 설정하는 것은, 다수의 영상 데이터를 위상 보정하여 하나의 최종 출력 영상 데이터로 생성하는 과정에서 위상 쉬프트 또는, 위상 변환 등을 수행하는 과정에서 해당되지 않는 영역은 알 수 없는 영역(검은 색으로 표시)로 표시되는데, 이러한 영역이 최소가 되기 위해서는 중심부를 기준으로 다른 영상 데이터들의 위상 차이를 보정하는 것이 가장 유리함을 실험을 통해서 알 수 있었다.

이러한 점을 감안하여, 도 2를 참고로 본 발명의 일 실시예에 따른 다중렌즈 광학장치용 위상 보정 시스템을 상세히 설명한다.

본 발명의 일 실시예에 따른 다중렌즈 광학장치용 위상 보정 시스템은 도 2에 도시된 바와 같이, 영상 입력부, 특징점 추출부, 특징점 매칭부, 매트릭스 생성부 및 위상 보정부를 포함하여 구성되게 된다. 이 때, 상기 구성들은 다중렌즈 광학장치와 연계/연결되어 있으며, CPU를 포함하는 다수의 연산 처리 수단에 각각 또는 하나의 연산 처리 수단에 통합 구성되어 동작을 수행하는 것이 바람직하다.

각 구성에 대해서 자세히 알아보자면,

상기 영상 입력부는 상기 다중렌즈 광학장치로부터 영상 데이터를 입력받는 것이 바람직하다.

상세하게는, 상기 영상 입력부는 상기 다중렌즈 광학장치에 의해 미리 구비된 각각의 N개의 렌즈(기준 렌즈와 복수의 부가 렌즈)로부터 영상 데이터를 입력받는 것으로, 상기 기준 렌즈를 통해 촬영된 영상 데이터인 기준 영상 데이터(I₁)와, 각각의 상기 부가 렌즈를 통해 촬영된 영상 데이터인 복수의 부가 영상 데이터(I_2~5)를 입력받게 된다.

상기 특징점 추출부는 미리 저장된 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여, 상기 기준 영상 데이터와 복수의 부가 영상 데이터 각각에 대한 적어도 하나의 특징점을 추출하는 것이 바람직하다.

상세하게는, 영상 데이터의 특징점이란, 말 그대로 이미지에서 특징이 되는 부분을 의미한다.

통상적으로 이미지끼리 서로 매칭되는지 확인할 때, 각 이미지에서의 특징이 되는 부분끼리 비교하는 이미지 매칭을 수행하게 되며, 이 때, 사용되는 이미지에서의 특징이 되는 부분이 특징점에 해당한다.

보통 영상 데이터의 특징점이 되는 부분은 영상 데이터에 포함되어 있는 대상물(피사체)의 모서리나 코너이다. 이에 따라, 대부분의 특징점 검출은 코너 검출을 바탕으로 하고 있다.

이러한 점을 고려하여, 상기 특징점 추출부 역시도, SIFT 알고리즘을 이용하여 상기 영상 입력부에 의한 영상 데이터(기준 영상 데이터와 복수의 부가 영상 데이터 )에 대한 특징점을 추출하게 된다. 특히, SIFT 알고리즘은 이미지의 크기나 회전, 각도 등에 불변하는 특징을 추출하게 된다.

상기 특징점 매칭부는 상기 특징점 추출부에 의해 추출한 상기 기준 영상 데이터에 대한 특징점을 기준 특징점으로 설정하며, 상기 기준 특징점과 순차적으로 선택되는 상기 부가 영상 데이터 각각에 대한 특징점 간의 유사도 분석을 통해, 특징점 매칭(feature point matching)을 수행하게 된다.

특징점 매칭이란, 서로 다른 두 이미지 데이터에서의 특징점을 비교하여 비슷한 특징점끼리 매칭시키는 것을 의미하며, 이를 통해서, 특징점의 위치를 매칭시키게 된다.

이를 통해서, 상기 기준 영상 데이터의 특징점과 상기 부가 영상 데이터 중 선택되는 어느 하나의 부가 영상 데이터의 특징점 간의 특징점 매칭을 통해, 유사한 피사체의 위치를 매칭시킬 수 있어, 두 영상 데이터 간의 위상 차가 얼마나 발생하는지 판단할 수 있다. 즉, 고정되어 있는 피사체를 촬영한 결과 데이터의 차이 정보를 알 수 있다.

일 예를 들자면, 상기 다중렌즈 광학장치에 도 1과 같이 총 5개의 렌즈가 구비되어 있다면, 중심부에 위치한 렌즈의 영상 데이터를 기준 영상 데이터(I₁)로 설정하고, 나머지 렌즈들의 영상 데이터를 부가 영상 데이터(I_2~5)로 설정하게 된다.

상기 특징점 추출부는 각각의 영상 데이터(I_1~5)에 대한 특징점(F_1~5)을 추출하게 된다.

이에 따라, 상기 특징점 매칭부는 상기 기준 영상 데이터(I₁)에 대한 특징점(F₁)과 선택되는 어느 하나의 부가 영상 데이터(I₂)에 대한 특징점(F₂)에 대한 유사도 분석을 통해, 특징점 매칭하게 되고, 하나씩 순차적으로 선택하여 상기 기준 영상 데이터(I₁)에 대한 특징점(F₁)과 선택되는 또다른 하나의 부가 영상 데이터(I₃)에 대한 특징점(F₃)에 대한 유사도 분석을 통해, 특징점 매칭하게 된다. 물론, 나머지 모든 부가 영상 데이터에 대해서도 상기 기준 영상 데이터를 기준으로 동작을 수행하게 된다.

상기 특징점 매칭부는 상술한 과정을 수행하기 위하여, 미리 저장된 KNN(K-Nearest Neighbors) 알고리즘을 이용하여, 상기 기준 영상 데이터의 특징점과 선택된 어느 하나의 상기 부가 영상 데이터의 특징점 간의 거리를 분석하여 유사도 분석을 수행하는 것이 바람직하다.

KNN 알고리즘은 비지도 학습의 한 종류인 클러스터링의 대표적인 알고리즘으로, 주어진 데이터들을 별도의 라벨 데이터 없이 데이터의 각각의 특성을 고려하여 가장 잘 설명할 수 있는 집단(클러스터)로 속하게 하는 것이다.

이를 통해서, 상기 특징점 매칭부는 상기 기준 영상 데이터의 특징점과 선택된 어느 하나의 상기 부가 영상 데이터의 특징점의 거리 특성을 고려하여, 매칭되는 특징점(집단)을 추출하게 된다.

이 때, 미리 설정된 최소 유사도 값을 기준으로, 수행한 유사도 분석값이 상기 최소 유사도 값 미만일 경우, 매칭되는 특징점(집단)으로 처리하게 된다.

상기 매트릭스 생성부는 각각의 부가 영상 데이터 별로, 상기 특징점 매칭부에 의한 수행 결과, 상기 기준 영상 데이터에 대한 특징점과 매칭된 특징점의 개수가 미리 설정된 소정 개수 이상일 경우, 미리 저장된 PT(Perspective Transformation) 알고리즘에 적용하여, 위상 변환 매트릭스를 생성하게 된다.

상세하게는, 상기 매트릭스 생성부는 각각의 부가 영상 데이터 별로, 상기 특징점 매칭부에 의한 수행 결과, 상기 기준 영상 데이터에 대한 특징점과 매칭된 특징점의 개수가 미리 설정된 소정 개수인 4개 이상일 경우, 4개를 선정하여, PT 알고리즘에 적용하여 위상 변환 매트릭스를 생성하게 된다.

PT 알고리즘을 적용하여, 서로 다른 두 시점에서 바라본 두 개의 이미지의 관계를 표현할 수 있는 위상 변환 매트릭스(행렬)를 생성할 수 있으며, PT 알고리즘은 4개의 특징점만으로도 변환 행렬을 찾을 수 있는 특징이 있다.

즉, 상기 매트릭스 생성부는 상기 기준 영상 데이터의 특징점과 선택된 어느 하나의 상기 부가 영상 데이터의 특징점 중 매칭되는 4개의 특징점을 이용하여, 두 개의 영상 데이터(기준 영상 데이터와, 해당하는 부가 영상 데이터) 간의 시점/위상을 표현할 수 있는 위상 변환 매트릭스를 생성하게 된다.

물론, 이 역시도 모든 부가 영상 데이터에 대해서 상기 기준 영상 데이터과의 시점/위상을 표현할 수 있는 각각의 위상 변환 매트릭스를 생성하게 된다.

상기 위상 보정부는 각각의 부가 영상 데이터 별로, 상기 매트릭스 생성부에 의해 생성한 위상 변환 매트릭스를 적용하여, 위상 보정을 수행하게 된다.

상세하게는, 상기 위상 보정부는 선택된 어느 하나의 상기 부가 영상 데이터에 대해서, 상기 매트릭스 생성부를 통해 생성한 해당하는 위상 변환 매트릭스를 적용하여, 상기 부가 영상 데이터의 위상 보정을 수행하게 된다.

이 때, 모든 부가 영상 데이터에 대해서 각각의 해당하는 위상 변환 매트릭스를 적용하여, 위상 보정을 수행하게 되며, 이를 통해서, 최종적으로 모든 부가 영상 데이터의 위상이 상기 기준 영상 데이터의 위상을 기준으로 일치되도록 보정이 이루어지게 된다.

즉, 다시 말하자면, 상기 다중렌즈 광학장치용 위상 보정 시스템은 복수의 렌즈로부터 입력받은 영상 데이터에 포함되어 있는 피사체의 엣지 등의 특징점 정보를 추출하고, 기준 영상 데이터를 기준으로 다른 부가 영상 데이터들의 특징점이 일치하도록 부가 영상 데이터의 위상을 보정하여, 위상이 일치된 최종 영상 데이터를 출력하게 된다.

이는, 기준 영상 데이터를 비롯하여 다른 부가 영상 데이터의 초점 거리와 무관하게, 흐릿한 영상 데이터라 할지라도 포함되어 있는 피사체에 의한 특징점 정보를 추출하고, 이를 매칭시켜 위상을 보정하는 것이다.

이를 통해서, 광학장치의 최소 촬영 거리(렌즈의 초점 거리 스펙에 따른)에 상관없이 원하는 거리에 위치하고 있는 피사체를 촬영하고, 촬영한 피사체에 의한 이미지 데이터의 특징점 정보를 추출하고, 이를 매칭시켜 위상을 수행함으로써, 원하는 피사체에 대한 유효한 영상 데이터를 얻을 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (1)

1. 중심부에 구비된 기준 렌즈, 상기 기준 렌즈를 중심으로 주변의 서로 다른 위치에 구비된 복수의 부가 렌즈를 포함하되, 상기 기준 렌즈 및 부가 렌즈의 초점 거리가 고정된 다중렌즈 광학장치용 위상 보정 시스템에 있어서,
   상기 기준 렌즈를 통해 촬영된 영상 데이터인 기준 영상 데이터 및 각각의 상기 부가 렌즈를 통해 촬영된 영상 데이터인 복수의 부가 영상 데이터를 입력받는 영상 입력부;
   기저장된 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여, 상기 기준 영상 데이터 및 상기 복수의 부가 영상 데이터 각각에 대한 적어도 하나의 특징점을 추출하는 특징점 추출부;
   상기 특징점 추출부에 의해 추출한 상기 기준 영상 데이터에 대한 특징점을 기준 특징점으로 설정하여, 상기 기준 특징점과 순차적으로 선택되는 상기 부가 영상 데이터 각각에 대한 특징점 간의 유사도 분석을 통해, 특징점 매칭(feature point matching)을 수행하는 특징점 매칭부;
   각각의 상기 부가 영상 데이터 별로, 상기 특징점 매칭부에 의한 수행 결과, 상기 기준 영상 데이터에 대한 특징점과 매칭된 특징점이 기설정된 소정 개수 이상일 경우, 기저장된 PT(Perspective Transformation) 알고리즘에 상기 소정 개수 이상의 매칭된 특징점을 적용하여, 위상 변환 매트릭스를 생성하는 매트릭스 생성부; 및
   각각의 상기 부가 영상 데이터 별로, 상기 매트릭스 생성부에 의해 생성한 위상 변환 매트릭스를 적용하여, 위상 보정을 수행하는 위상 보정부;
   를 포함하며,
   상기 특징점 매칭부는
   기저장된 KNN(K-Nearest Neighbors) 알고리즘을 이용하여, 상기 기준 영상 데이터의 특징점과 선택된 어느 하나의 상기 부가 영상 데이터의 특징점 간의 거리를 분석하여 유사도 분석을 수행하며, 기설정된 최소 유사도 값을 기준으로 수행한 유사도 분석 값이 상기 최소 유사도 값 미만일 경우, 매칭된 특징점으로 처리하고,
   상기 특징점 매칭부, 매트릭스 생성부 및 위상 보정부는
   모든 부가 영상 데이터에 대해서 하나씩 순차적으로 선택하여 동작을 수행하며,
   상기 위상 보정부는
   각각의 부가 영상 데이터 별로 위상 보정을 수행하여,
   상기 기준 영상 데이터의 위상을 기준으로 모든 부가 영상 데이터의 위상이 일치하도록 보정하는, 다중렌즈 광학장치용 위상 보정 시스템.
   

Images