KR101324250B1

KR101324250B1 - 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라

Info

Publication number: KR101324250B1
Application number: KR1020110146112A
Authority: KR
Inventors: 전재열
Original assignee: 삼성테크윈 주식회사
Priority date: 2011-12-29
Filing date: 2011-12-29
Publication date: 2013-11-01
Also published as: CN103188442A; US9031355B2; KR20130077414A; CN103188442B; US20130170770A1

Abstract

본 발명은 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라에 관한 것으로, 본 발명의 일 실시예에 따르면 입력 영상에서 대표 특징부 부분의 유무를 판별하는 단계; 상기 대표 특징부 부분이 존재하다고 판단되면, 상기 대표 특징부 부분을 샘플링하는 단계; 상기 샘플링 영상을 확대하고, 확대 샘플링 영상과 상기 샘플링 영상을 매칭시키킨 후 상기 확대 샘플링 영상 및 상기 샘플링 영상의 중심 좌표를 획득하는 단계; 및 상기 매칭된 확대 샘플링 영상의 중심 좌표와 상기 샘플링 영상의 중심 좌표의 차이를 계산하여 광축을 정렬하는 단계;를 포함하는 광축 오차 보상 방법이 제공된다.

Description

영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라{optical axis error compensation method using image processing, the method of the same, and the zoom camera provided for the compensation function of the optical axis error}

본 발명은 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라에 관한 것이다.

최근, 범죄 및 도난 방지를 위해 건물이나 길거리에 감시 카메라가 많이 설치되고 있다. 이러한 감시 카메라를 통해 촬영된 영상은 경찰서나 건물 관리실의 모니터를 통해 표시되어 감시 카메라가 설치된 장소의 현재 상태를 알려준다. 일반적으로 감시 카메라는 피사체를 확대 또는 축소하여 보여줄 수 있는 줌(zoom) 기능을 구비하고 있어 사용자에게 많은 편리성을 제공한다.

그런데, 이와 같은 줌 기능을 구비한 감시 카메라는, 복수개의 렌즈군 및 CCD(charge-coupled device) 등과 같은 촬상소자를 카메라에 조립할 때, 또는 광학계의 공차 등과 같은 수많은 원인으로 광축 오차가 발생하여, 줌의 이동에 따라 카메라의 광축이 변동하는 문제가 발생한다.

도 1은 줌 카메라의 영상에서 광축 오차가 발생한 경우를 나타내는 화면을 나타내는 도면이다.

도 1을 참조하면, 도 1의 (a) 사진에서 +로 표시한 부분이 화면의 중심 영역임을 알 수 있다. 그러나, 도 1의 (a) 사진을 확대한 사진인 (b)를 살펴보면, +로 표시한 화면의 중심 영역이 (a) 사진과 비교했을 때 위치가 변한 것, 즉 광축에 오차가 발생하였음을 알 수 있다. 따라서, 도 1의 (c) 사진과 같이 확대 후에도 화면의 중심 영역의 위치를 원래의 (a) 사진과 동일하도록 광축 오차를 보상하는 방법이 필요하였다.

기존에는 기구적으로 광축 오차를 보상하는 방법이 개시되어 있었으나, 보상 후 물리적인 충격이 가해지거나 오랜 시간이 경과하면 다시 물리적 재보상이 필요한 문제점이 있었다.

본 발명은 광축 오차가 발생한 경우 영상 처리를 통해서 입력 영상에 대표 특징부가 있는지 검사하고, 대표 특징부가 있는 경우에는 영상 매칭법을 사용하여 광축 오차를 보상하고 특징부가 없는 경우에는 광류 정보를 사용하여 광축 오차를 보상하는 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명은 입력 영상에서 대표 특징부 부분의 유무를 판별하는 단계; 상기 대표 특징부 부분이 존재하다고 판단되면, 상기 대표 특징부 부분을 샘플링하는 단계; 상기 샘플링 영상을 확대하고, 확대 샘플링 영상과 상기 샘플링 영상을 매칭시키킨 후 상기 확대 샘플링 영상 및 상기 샘플링 영상의 중심 좌표를 획득하는 단계; 및 상기 매칭된 확대 샘플링 영상의 중심 좌표와 상기 샘플링 영상의 중심 좌표의 차이를 계산하여 광축을 정렬하는 단계;를 포함하는 광축 오차 보상 방법를 제공한다.

본 발명에 있어서, 상기 대표 특징부는 상기 입력 영상에 존재하는 복수개의 특징부 중 강한 특징을 가지는 것으로 추출하는 것임을 특징으로 한다.

본 발명에 있어서, 상기 대표 특징부 부분의 유무를 판별하는 단계는, 상기 영상에서 복수개의 특징부를 추출하는 단계; 상기 추출된 특징부 중 강한 특징을 가지는 후보 특징부를 선정하는 단계; 확대된 영상 내에 상기 후보 특징부가 존재하는 경우 상기 대표 특징부가 있다고 판별하고, 확대된 영상 내에 상기 후보 특징부가 존재하지 않는 경우 상기 대표 특징부가 없다고 판별하는 단계; 를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 매칭시키는 단계는, 상기 샘플링 영상을 확대한 비율이 2.5배 이하일 경우 시프트(SIFT) 매칭법을 사용하여 매칭하는 것을 특징으로 한다.

본 발명에 있어서, 상기 매칭시키는 단계는, 상기 샘플링 영상을 확대한 비율이 2.5배 이상일 경우 상기 샘플링 영상을 확대 비율만큼 리사이즈(resize)하여 템플릿(template) 매칭법을 사용하여 매칭하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 입력 영상에서 대표 특징부 부분의 유무를 판별하는 단계; 상기 대표 특징부 부분이 존재하지 않는다고 판단되면, 확대 전 상기 입력 영상과 확대하는 동안의 상기 입력 영상을 사용하여 확대하는 동안의 광류를 계산하는 단계; 광류 정보를 이용하여 광축 오차 정보를 획득하는 단계; 상기 획득된 광축 오차 정보를 사용하여 광축을 정렬하는 단계;를 포함하는 광축 오차 보상 단계를 제공한다.

본 발명에 있어서, 상기 광류를 계산하는 단계는; 상기 입력 영상을 확대하는 동안 특정수의 프레임 단위로 입력 영상을 획득하여 광류를 계산하는 것을 특징으로 한다.

본 발명에 있어서, 상기 광축 오차 정보를 획득하는 단계는, 상기 입력 영상의 중심으로부터 거리와 상기 거리에 속하는 방향을 기준으로 광류 히스토그램을 작성하여 광축 오차 정보를 획득하는 것을 특징으로 한다.

본 발명에 있어서, 상기 광축 오차 정보를 획득하는 단계는, 상기 광류의 최대값과 최소값의 방향이 대칭성을 가지는 경우에만 광축 오차 정보를 획득하는 것을 특징으로 한다.

본 발명에 있어서, 상기 광축 오차 정보를 획득하는 단계는, 상기 광류의 최대값과 최소값의 차를 평균한 정보를 기초로 광축 오차 정보를 획득하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 입력 영상에서 대표 특징부 부분의 유무를 판별하는 대표 특징부 유무 검사부; 상기 대표 특징부 부분이 존재하다고 판단되면, 상기 대표 특징부 부분을 샘플링하는 샘플링부; 상기 샘플링 영상을 확대하고, 확대 샘플링 영상과 상기 샘플링 영상을 매칭시키킨 후 상기 확대 샘플링 영상 및 상기 샘플링 영상의 중심 좌표를 획득하는 매칭부; 및 상기 매칭된 확대 샘플링 영상의 중심 좌표와 상기 샘플링 영상의 중심 좌표의 차이를 계산하여 광축을 정렬하는 광축 정렬부; 를 포함하는 광축 오차 보상 시스템을 제공한다.

본 발명에 있어서, 상기 대표 특징부 유무 검사부는, 상기 영상에서 복수개의 특징부를 추출하고, 상기 추출된 특징부 중 강한 특징을 가지는 후보 특징부를 선정하며, 확대된 영상 내에 상기 후보 특징부가 존재하는 경우 상기 대표 특징부가 있다고 판별하고, 확대된 영상 내에 상기 후보 특징부가 존재하지 않는 경우 상기 대표 특징부가 없다고 판별하는 것을 특징으로 한다.

본 발명에 있어서, 상기 매칭부는, 상기 샘플링 영상을 확대한 비율이 2.5배 이하일 경우 시프트(SIFT) 매칭법을 사용하여 매칭하는 것을 특징으로 한다.

본 발명에 있어서, 상기 매칭부는, 상기 샘플링 영상을 확대한 비율이 2.5배 이상일 경우 상기 샘플링 영상을 확대한 비율만큼 리사이즈(resize)하여 템플릿(template) 매칭법을 사용하여 매칭하는 것을 특징으로 한다.

본 발명의 다른 실시예에서, 입력 영상에서 대표 특징부 부분의 유무를 판별하는 대표 특징부 유무 검사부; 상기 대표 특징부 부분이 존재하지 않는다고 판단되면, 확대 전 상기 입력 영상과 확대하는 동안의 상기 입력 영상을 사용하여 확대하는 동안의 광류를 계산하는 광류 계산부; 광류 정보를 이용하여 광축 오차 정보를 획득하는 오차 정보 추출부; 상기 획득된 광축 오차 정보를 사용하여 광축을 정렬하는 광축 정렬부;를 포함하는 광축 오차 보상 시스템을 제공한다.

본 발명에 있어서, 상기 광류를 계산부는; 상기 입력 영상을 확대하는 동안 특정수의 프레임 단위로 입력 영상을 획득하여 광류를 계산하는 것을 특징으로 한다.

본 발명에 있어서, 상기 광축 오차 정보 추출부는, 상기 입력 영상의 중심으로부터 거리와 상기 거리에 속하는 방향을 기준으로 광류 히스토그램을 작성하여 광축 오차 정보를 획득하는 것을 특징으로 한다.

본 발명에 있어서, 상기 광축 오차 정보 추출부는, 상기 광류의 최대값과 최소값의 방향이 대칭성을 가지는 경우에만 광축 오차 정보를 획득하는 것을 특징으로 한다.

본 발명에 있어서, 상기 광축 오차 정보 추출부는, 상기 광류의 최대값과 최소값의 차를 평균한 정보를 기초로 광축 오차 정보를 획득하는 것을 특징으로 한다.

본 발명의 다른 실시예에서, 회득된 입력 영상을 디지털 신호로 변환하는 영상 전처리부; 입력 영상에서 대표 특징부가 존재하는지 여부를 판단하는 대표 특징부 유무 검사부; 상기 대표 특징부 유무 검사부가 대표 특징부가 없다고 판단하는 경우 이미지를 매칭시켜 광축 오차 정보를 획득하고, 대표 특징부가 없다고 판단하는 경우 광류 정보를 계산하여 광축 오차 정보를 획득하는 광축 오차 계산부; 및 상기 획득된 광축 오차 정보를 이용하여 광축 오차를 보상하는 광축 정렬부; 를 포함하는 광축 오차 보상 기능을 갖는 줌 카메라를 제공한다.

본 발명에 의하면, 줌 카메라의 기구적인 설정 변화 없이도 영상 처리를 통해 광축 오차를 보상할 수 있다.

도 1은 줌 카메라의 영상에서 광축 오차가 발생한 경우를 나타내는 화면을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 광축 오차 보상 시스템의 구성을 블록도로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라 대표 특징부를 검출하기 위한 예시를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 광축 오차가 발생할 수 있는 방향을 8개 방향으로 근사한 것을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 도 1의 사진을 샘플링한 영상, 샘플링한 영상을 확대한 영상 및 매칭되어진 영역 영상을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 광축이 우상향 방향으로 틀어졌을 때 화면 중심에서의 거리에 따른 광류의 크기 정보를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 광축 오차 보상 시스템의 순서도를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 영상에 대표 특징부가 존재하는지 여부를 검사하는 순서도이다.
도 9는 본 발명의 일 실시예에 따라 광류 계산부가 광류를 계산하는 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따라 오차 정보 추출부가 광류 정보를 사용하여 광축 오차를 추출하는 과정을 나타낸 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 광축 오차 보상 시스템의 구성을 블록도로 도시한 도면이다.

도 2를 참조하면, 광축 오차 보상 시스템은 줌 카메라(1), 영상 전처리부(10), 대표 특징부 유무 검사부(20), 샘플링부(31), 매칭부 (32), 광류 계산부 (33), 오차 정보 추출부 (34), 광축 정렬부 (40)를 포함한다.

먼저, 줌 카메라(1)는 촬상이 요구되는 영역에 설치되어, 해당 영역을 촬영한 영상을 제공한다. 줌 카메라(1)는 영상을 촬영할 수 있는 장치로서, 예를 들면, 카메라, 캠코더, CCTV 등일 수 있다. 본 발명의 일 실시예에서, 줌 카메라(1)는 입력 영상 확대 기능을 제공할 수 있다.

다음으로, 영상 전처리부(10)는 줌 카메라(1)로부터 제공된 입력 영상 데이터를 아날로그 신호로부터 디지털 신호로 변환한다. 비록 도 2에서는 영상 전처리부(10)가 줌 카메라(1) 외부에 구비된 것으로 도시되어 있지만, 영상 전처리부(10)는 줌 카메라 내부에 구비될 수도 있다. 영상 전처리부(10)는 본 발명의 광축 오차 보상 시스템이 입력 영상을 불러들여 광축 오차를 보상할 수 있도록 영상을 제공하는 역할을 한다.

다음으로, 대표 특징부 유무 검사부(20)는 줌 카메라(1)로부터 획득한 입력 영상으로부터 특징부의 유무를 검사한다.

본 발명의 일 실시예에서 영상의 대표 특징부란, 입력 영상에서 광축 오차를 판단할 때 기준이 되는 영상의 일부분을 지칭한다. 즉, 영상 처리 단계에서 확대 전과 확대 후를 비교하여도 동일한 부분임을 명확히 인식할 수 있도록 조도가 특별히 높거나 형상에 특이점이 있는 영상의 일부분을 지칭한다. 본 발명의 일 실시예에서 한 입력 영상에서 존재하는 대표 특징부는 하나일 수 있고, 여러 개일 수도 있다.

도 3은 본 발명의 일 실시예에 따라 대표 특징부를 검출하기 위한 예시를 나타낸 도면이다.

도 3을 참조하면, (a)에서 영상 내에 별표로 표시된 부분이 추출된 특징부라고 할 때, (a)의 영상에는 복수개의 특징부가 존재함을 알 수 있다. 이 경우 대표 특징부 유무 검사부(20)는 복수개의 특징부 중 여러 개의 특징부가 겹쳐지는 부분이나 강한 특징부에 대하여 후보 특징부로 설정할 수 있다. 도 3에서, 대표 특징부 유무 검사부(20)가 대표 특징부가 될 수 있다고 판단한 후보 특징부는 검정 별표로 표시하였다.

계속해서 도 3을 참조하면, (a) 영상을 확대하였을 때 확대한 영역 Z1에는 후보 특징부가 존재하지 않을 수 있다. 이 경우에는 대표 특징부 유무 검사부(20)는 확대한 영역 Z1 내에서 다시 후보 특징부를 재설정할 수 있다. 이와 같이 과정을 반복하여, (c)가 최종 확대된 영상이라고 가정하였을 때 (c) 영상 내에 후보 특징부가 있는 경우, 대표 특징부 유무 검사부(20)는 해당 후보를 대표 특징부로 지정할 수 있다.

다른 경우로, (d) 가 최종 확대된 영상이라고 할 때, 도 3과 같이 최종 확대된 영상에 특징부가 존재하지 않거나 대표 특징부가 될 만한 특징부가 없는 경우에는 대표 특징부 유무 검사부(20)는 대표 특징부가 없다고 판단할 수 있다. 대표 특징부가 없는 경우에는 후술하는 바와 같이 광류 정보를 이용하여 광축 오차 정보를 획득한다.

추가적으로, 특징부 유무 검사부(20)는 특정 방향에 대해서만 입력 영상에 대표 특징부가 있는지 검사할 수 있다. 줌 카메라(1)는 일반적으로 한쪽 방향으로만 광축 오차가 발생하므로, 연산량을 줄이기 위해 광축 오차가 발생하는 방향에 대해서만 특징부의 유무를 검사할 수 있다.

도 4는 본 발명의 일 실시예에 따라 광축 오차가 발생할 수 있는 방향을 8개 방향으로 근사한 것을 나타내는 도면이다.

도 4를 참조하면, 광축은 1번 내지 8번의 8개 방향으로만 광축 오차가 발생한다고 가정한 것을 알 수 있다. 보다 구체적으로, -22.5도에서 +22.5도 사이의 광축 오차는 +0도 방향의 광축 오차가 발생한 것으로 근사한다. 특징부 유무 검사부(20)는 도 3과 같이 8개 방향에 대해서만 대표 특징부가 있는지 여부를 검사함으로써, 모든 방향의 대표 특징부 유무를 검사하는 때보다 연산량을 줄일 수 있다.

이하에서는, 특징부 유무 검사부(20)가 특징부가 있다고 판단한 경우에 광축 오차를 보상하는 방법에 대해 설명하기로 한다. 특징부 유무 검사부(20)가 특징부가 존재하지 않는다고 판단한 경우의 광축 오차를 보상하는 방법은 후술하기로 한다.

다음으로, 샘플링부(31)는 특징부를 포함하는 영상의 일부분을 샘플링하는 역할을 수행한다. 샘플링하는 영역은 특징부를 포함하며 영상간 매칭을 하기 적합한 크기만큼의 영역일 수 있다. 본 발명의 일 실시예에서, 입력 영상에서 특징부가 복수개인 경우에는 샘플링 영역도 복수개일 수 있다.

또한, 샘플링부(31)는 샘플링한 영역의 중심 좌표를 획득할 수 있다. 샘플링한 영역에서 획득한 중심 좌표는 (x_s, y_s)로 표현될 수 있다.

도 5는 본 발명의 일 실시예에 따라 도 1의 사진을 샘플링한 영상, 샘플링한 영상을 확대한 영상 및 매칭되어진 영역 영상을 나타낸 도면이다.

도 5의 (a)에 대해서만 먼저 참조하면, 도 1의 (a) 영상 중에서 +한 부분, 즉 화면의 중심 영역과 주변 영역이 샘플링된 것을 알 수 있다. 즉, 특징부 유무 검사부(20)에서 도 1 (a) 영상의 중앙 부분에 있는 조명을 대표 특징부라고 판단했다면, 도 5 (a)와 같이 조명을 포함한 일정 영역을 샘플링 영상으로 획득할 수 있다. 또한, 샘플링부(31)는 샘플링한 영상을 후술할 템플릿 매칭을 위해 (b)와 같이 리사이즈할 수 있다.

다시 도 2를 참조하면, 매칭부(32)는 샘플링된 영상과 샘플링 영상을 확대한 부분의 매칭을 한다. 샘플링된 영상에 비하여 샘플링을 확대한 영상 값이 2.5 이하인 경에는 시프트(Scale Invariant Feature Transform, SIFT) 매칭을 이용하여 매칭을 수행한다. 시프트 매칭은 객체의 모서리나 꼭지점 등에서 생성되는 특징 점을 벡터로 추출하여, 영상의 크기변화, 회전, 조명변화 등에 의한 변형이 있더라도 영상을 원활하게 매칭할 수 있다. 즉, 시프트 매칭은 그 특성상 영상의 크기 및 방향에 제한되지 않고 확대 영상과 샘플링 부분을 매칭시킬 수 있다.

반대로, 매칭부(32)는 샘플링된 영상을 확대한 비율이 2.5배 이상일 경우에는 매칭 후 남아 있는 배율을 확대하고, 광축이 틀어지면 매칭하여 보상하는 반복적인 보정 방법을 써야 한다. 따라서, 샘플링된 영상을 확대한 비율이 2.5배 이상일 경우에는 샘플링 부분을 확대한 비율 만큼 리사이징하여 템플릿(template) 매칭을 행한다.

또한, 매칭부(32)는 매칭을 마친 후 매칭 되어진 영역의 중심좌표를 획득한다. 다시 도 5를 참조하면, 도 5의 (a)와 같은 샘플링 영상을 확대하여 매칭 값들의 결과 영상(c)에서 매칭 되어진 영역, 즉 가장 밝은 영역의 중심 좌표를 획득할 수 있다. 획득된 중심 좌표는 (x_m, y_m)으로 표현될 수 있다. 획득된 중심 좌표를 사용하여 광축 정렬부(40)는 줌 카메라(1)를 Pan 방향으로 (x_s - x_m), Tilt 방향으로 (y_s - y_m) 이동시킬 수 있다.

이하에서는, 특징부 유무 검사부(20)가 특징부가 없다고 판단한 경우에 광축 오차를 보상하는 방법에 대해 설명하기로 한다.

특징부 유무 검사부(20)가 대표 특징부가 없고 화면 전반적으로 특징부들이 산재되어 있다고 판단하는 경우는 일반적인 시프트 매칭법이나 템플릿 매칭법을 사용할 수 없으므로, 영상들 사이의 광류(Optical flow)를 계산하여 줌 카메라의 광축 오차를 추출하여 오차를 보상한다.

보다 상세히, 광류 계산부(33)는 줌 카메라(1)에서 영상의 확대가 진행되는 동안의 영상간의 광류들을 계산한다. 먼저 확대하기 전의 이미지를 이미지 A_0라고 설정하고, 일정 시간 후(N 프레임 후)의 이미지를 A_1이라고 설정할 수 있다. 매 프레임마다 이미지의 광류를 계산하는 것은 연산량이 많아져서 프로세스의 효율을 떨어뜨릴 수 있으므로 본 발명의 일 실시예에서는 N 프레임마다의 영상의 광류를 계산함으로써 특징부를 놓치지 않으면서 연산량을 줄일 수 있다.

다음으로, 광류 계산부(33)는 A_0와 A_1을 이용하여 확대하는 시점의 광류 정보를 OF_1으로 저장할 수 있다. 이와 같은 방법으로, 광류 계산부(33)는 N 프레임마다의 영상 정보 A_0, A_1, A_2,..., A_k를 얻고, 각 영상 사이의 광류 정보 OF_0, OF_1, OF_2,..., OF_k-1 을 획득한다.

다음으로, 오차 정보 추출부(34)는 획득한 광류 정보를 사용하여 각 광류 특징부들의 화면 중심으로부터의 거리를 구한 후, N개 거리 및 M개 방향에 대하여 이차원 히스토그램(histogram)을 작성한다. 그리고, 작성된 이차원 히스토그램을 참조하여 각 거리에서 각 방향에 대한 광류의 최소값과 최대값을 축출한다. 거리를 구하는 이유는 카메라 곡률 특성상 화면의 중심으로부터의 거리와 광류의 크기가 비례하기 때문에 해당 거리 별로 광류의 방향과 크기를 조사해야 신뢰성 있는 정보를 추출할 수 있기 때문이다.

도 6은 본 발명의 일 실시예에 따라 광축이 우상향 방향으로 틀어졌을 때 화면 중심에서의 거리에 따른 광류의 크기 정보를 나타내는 도면이다.

도 6은 줌 카메라(1)의 광축이 우상향 방향, 즉 (a) 방향으로 틀어진 경우를 나타낸 도면이다. 광축이 틀어지지 않았다면, 화면 중심(C)으로부터 거리 d만큼 떨어진 영역 C1의 광류는 원의 바깥 방향으로 방사 형태를 취하며 동일한 크기로 형성되어야 한다.

반면에 도 6을 참조하면, 화면의 중심(C)로부터 거리 d만큼 떨어진 영역 C1의 광류는 (a) 방향이 (d)방향보다 크기가 작은 것을 알 수 있다. 즉, 화면 영역 C1위에 위치한 (a) 방향 광축과 (b) 방향 광류을 살펴보면, 광축 오차가 발생하지 않은 경우와는 달리 광류의 크기에 차이가 있는 것을 알 수 있다. 마찬가지로 화면 중심(C)으로부터 다른 거리에 위치하는 각각의 영역 C2, C3에 대해서도 (a)방향의 광류가 (b)방향의 광류보다 크기가 작다. 이는 화면의 중심이 확대 전과 대비하여 (a) 방향으로 이동했기 때문이다.

또한, 도 6을 참조하면, 화면으로부터 거리가 멀어질수록 광류의 크기가 증가한다는 것을 알 수 있다. 화면 영역 C1보다 C2, C3로 갈수록 광류의 크기가 커진다. 이는 줌 카메라(1)를 확대 시 화면의 중심으로부터 멀리 떨어진 영역이 이동하는 거리가 더 크기 때문이다.

다시 도 2를 참조하면, 오차 정보 추출부(34)는 광류 계산부(33)로부터 광류 정보를 획득하여 N개 거리 및 M개 방향에 대하여 광류 정보를 이용하여 히스토그램을 작성할 수 있다. N개의 거리에 대해, 오차 정보 추출부(34)는 연산량을 과도하게 늘리지 않는 범위에서 적정 수준의 거리 개수 N을 설정할 수 있다. 예를 들어, 도 6에서 N값은 3이다. 또한, 상술한 도 4에서 살펴본 바와 같이 M개의 방향은 8개로 설정할 수 있다. 도 4와 같이 전체 각도 영역을 8개 구역으로 나누는 경우에는 각도에 대한 근사가 이루어지기 때문에 오차를 줄이기 위해 근접 방향에 대해서 근사치를 고려해 줄 수 있다.

작성된 히스토그램을 바탕으로 각 거리에서 방향의 최소값과 최대값을 구한다. 최대값과 최소값을 구하는 이유는 줌 카메라(1)의 광축 오차 특성상 화면의 중심으로부터의 거리와 광류의 크기가 비례하기 때문에 해당 거리별로 광류의 방향과 크기가 다르기 때문이다.

즉, 다시 도 6의 예를 들면 화면 중심에서부터 서로 다른 거리인 C1, C2, C3에서의 광류의 크기가 모두 다르고 방향이 달라지는 경우에도 광류의 크기가 다른 것을 알 수 있다. 즉, 화면 중심 C로부터 거리가 멀어질수록 광류의 크기가 커지고, 광축 오차 방향과 일치하는 (a) 방향의 광류가 반대 방향인 (b) 방향의 광류보다 작은 것을 알 수 있다. 따라서 거리와 방향 모두에 대해서 광축 오차 데이터를 획득하여야 신뢰성 있는 오차 보상을 행할 수 있다.

다음으로, 오차 정보 추출부(34)는 최소값과 최대값 방향이 대칭성을 이루는지를 검사하고, 대칭성을 이루는 경우 최소값과 최대값의 차의 평균을 이용해서 오차 정보를 추출할 수 있다. 대칭성을 검사하는 이유는 광축은 일반적으로 한 방향으로 한 방향으로 틀어지기 때문에 광류의 최소값과 최대값 방향이 대칭성을 이루기 때문이다.

즉, 도 6에서 살펴본 바와 같이 광류의 크기는 광축이 틀어지는 방향인 (a) 방향에 대해서 작고 그 반대 방향인 (b) 방향에 대해서는 크기 때문에 대칭성을 이룬다. 만약 최소값과 최대값이 대칭을 이루지 않는다면 광축이 한 방향으로 틀어진 것이 아니므로 광류의 변화를 이용하여 광축 오차 정보를 추출하기가 어렵다.

또한, 오차 정보 추출부(34)는 대칭 검사를 통과한 해당 거리 특징부의 크기 평균과 해당 거리에서의 최소값 방향과 최대값 방향의 차를 구한 후 평균을 구한다. 계산한 평균값을 이용하여 광축 오차 정보를 획득할 수 있다. 다시 도 6을 참조하여 설명하면, (a) 방향의 광류와 (b) 방향의 광류들의 평균값의 차를 구하면 (a) 방향 광축의 오차 정도를 획득할 수 있다.

마지막으로, 광축 정렬부(40)는 매칭부(32) 및 오차 정보 추출부(34)에서 획득한 광축 오차 정보를 사용하여 광축 오차를 보상하는 역할을 수행한다. 이때, 광축 오차 보상은 물리적인 방법이 아니라 광축이 틀어진 정도를 좌표로 환산하여 영상 처리 방법으로 행하는 것을 특징으로 한다.

도 7은 본 발명의 일 실시예에 따른 광축 오차 보상 시스템의 순서도를 나타낸 도면이다.

도 7을 참조하면, 먼저 본 발명의 광축 오차 보상 시스템은 줌 카메라(1)를 이용하여 특정 줌 값의 입력 영상을 획득한다(S1).

다음으로, 대표 특징부 유무 검사부(20)는 획득한 입력 영상에 대표 특징부가 있는지 여부를 검사한다(S2). 대표 특징부는 상술한 바와 같이 영상 처리에서 특징이 되는 특징부들 중 광축 오차를 보상하기 위해 대표값으로 설정되는 이미지의 한 부분을 지칭할 수 있다.

다음으로, 대표 특징부가 있다고 판단한 경우에는 영상의 대표 특징부 부분을 샘플링하여 샘플링 영상을 생성하고, 샘플링한 영역의 중심 좌표를 획득하여 (x_s, y_s)로 설정한다(F1).

다음으로, 줌 카메라(1)를 이용하여 입력 영상을 확대하고, 확대한 영역의 영상 정보를 획득한다(F2).

획득한 확대 영역의 영상이 샘플링 영상보다 2.5 배 이상으로 확대한 것인지를 판단한다(F3).

샘플링 영상의 확대 비율이 2.5배 이하인 경우에는 샘플링 영상 부분과 확대 영상을 시프트 매칭 방법을 이용하여 매칭시킨다(F4). 반대로, 샘플링 영상의 확대 비율이 2.5배 이상인 경우에는 샘플링 영상을 확대한 비율만큼 리사이징 한 후, 템플릿 매칭 방법을 이용하여 매칭시킨다(F5).

다음으로, 확대 영상에서 매칭되어진 영역의 중신 좌표(x_m, y_m)을 획득한다(F6).

마지막으로, 광축 정렬부(40)는 광축 오차를 보상하기 위하여 위하여 중심 좌표를 Pan 방향으로 (x_s - x_m), Tilt 방향으로 (y_s - y_m) 이동시켜 틀어진 광축을 정렬한다(F7).

상술한 바와 달리 대표 특징부 유무 검사부가(20) 입력 영상에 대표 특징부가 없다고 판단한 경우에는, 먼저 광류 계산부(33)가 확대 직전의 입력 영상의 이미지를 획득한다(O1).

다음으로, 광류 계산부(33)는 줌 카메라(1)를 이용하여 영상을 확대하고, 확대하는 동안 영상의 광류를 계산한다(O2).

다음으로, 오차 정보 추출부(34)는 광류 정보를 이용하여 광축 오차 정보를 추출한다(O3). 상술한 바와 같이, 광축 오차 추출부는 광축이 한 방향으로만 틀어지는 점을 이용해서 틀어짐 방향과 반대 방향의 광류 정보를 이용하여 광축 오차 정보를 획득할 수 있다.

마지막으로, 광축 정렬부(40)는 광축 오차 정보의 반대 방향 및 크기 만큼 Pan, tilt 값을 이동하여 광축의 오차를 보상한다.

도 8은 본 발명의 일 실시예에 따라 영상에 대표 특징부가 존재하는지 여부를 검사하는 순서도이다.

도 8을 참조하면, 먼저 대표 특징부 유무 검사부(20)는 확대 전 영상에서 특징부를 모두 추출한다(S21).

다음으로, 영상 내에서 대표 특징부가 될 수 있는 특징부를 후보 특징부로 설정하고(S22), 영상을 확대한다(S23).

다음으로, 확대한 영상 내에 후보 특징부가 존재하는지 판단하고(S24), 만약 확대한 영상 내에 후보 특징부가 존재하지 않는 경우에는 확대한 영상 내에서 후보 특징부를 재설정한다(S25).

확대한 영상 내에 후보 특징부가 존재하는 경우에는 영상의 추가 확대가 필요한지를 검토하고(S26), 추가 확대가 필요한 경우에는 다시 S23 단계로 돌아가서 과정을 반복한다.

영상의 추가 확대가 필요하지 않은 경우에는 대표 특징부 유무 검사부(20)는 설정된 후보 특징부를 대표 특징부로 설정한다(S27). 비록 도 8에는 도시되지 않았지만, 도 8의 프로세스에도 불구하고 대표 특징부를 설정할 수 없는 경우에는 특징부 유무 검사부(20)는 입력 영상에 대표 특징부가 없다고 판단할 수 있다.

도 9는 본 발명의 일 실시예에 따라 광류 계산부(33)가 광류를 계산하는 과정을 나타낸 순서도이다.

도 9를 참조하면, 먼저 광류 계산부(33)는 확대가 시작되는, 즉 확대 직전 프레임의 영상을 획득하여 A_0 이미지로 저장한다(O21).

다음으로 A_0 영상과 N 프레임 후의 영상인 A_1 이미지의 광류를 계산 및 저장하여 OF_1으로 저장한다(O22).

다음으로, A_1 영상의 프레임으로부터 다시 N 프레임 후의 영상을 A_2로 저장하고, A_1 영상과 A_2 영상간의 광류를 계산 및 저장하여 OF_1으로 저장한다(O23).

광류 계산부(33)는 이와 같은 방식으로 N 프레임마다의 A_k-1 영상과 A_k 영상의 광류를 계산 및 저장하여 OF_k-1로 저장한다(O24). 연산의 효율성을 위하여 광류 계산부(33)는 매 프레임마다 영상의 광류를 계산하는 것이 아니라 일정 시간 간격을 두고 N 프레임마다의 광류를 계산한다.

도 10은 본 발명의 일 실시예에 따라 오차 정보 추출부(34)가 광류 정보를 사용하여 광축 오차를 추출하는 과정을 나타낸 순서도이다.

도 10을 참조하면, 먼저 오차 정보 추출부(34)는 화면 중심으로부터 저장된 광류 특징부들의 거리를 계산한다(O31).

다음으로, 화면 중심으로부터 N개의 거리에 대한 M개 방향의 광류 히스토그램을 작성한다(O32). 상술한 바와 같이, 도 4 및 도 6을 참조하면, 화면 중심으로부터 3개의 거리에 대한 8방향의 광류 히스토그램을 작성할 수 있다.

다음으로, 오차 정보 추출부(34)는 N개의 각 거리에서 방향에 대한 최대값과 최소값을 추출한다(O33). 상술한 바와 같이, 광축이 한 방향으로 틀어지는 경우 광축이 틀어지는 방향의 광류는 최소값을 가지고 반대 방향의 광류는 최대값을 가진다. 구해진 최대값과 최소값의 차이를 이용하여 광축 오차 정보를 계산 가능하다.

다음으로, 각 거리에 대해 구해진 최대값과 최소값의 방향이 대칭성을 이루는지를 검사한다(O34). 광축이 한 방향으로 틀어진 경우에는 최대값과 최소값의 방향이 대칭성을 가진다.

대칭성을 가지는 경우에는, 해당 거리의 광류의 크기 평균을 추출하여 (Avg_1,..., Avg_L)로 계산 및 저장한다(O35).

이와 반대로 대칭성을 가지지 않는 경우에는, 광축이 여러 방향으로 틀어진 증거이므로 해당 거리의 특징부 정보를 이용할 수 없다(O36).

마지막으로, 오차 정보 추출부(34)는 구해진 최대값과 최소값의 평균값의 차를 해당 거리 L에 대해 나누어주는 방법으로 광축 오차 정보를 획득할 수 있다. 즉, 광축 오차 정보는 ∑(Avg_Max_a - Avg_Min_a)/L 와 같은 식으로 구해질 수 있다(O37).

상기와 같은 방법으로 본 발명의 광축 오차 시스템은 영상 처리를 통하여 광축 오차를 효율적으로 보상할 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

1: 줌 카메라
10: 영상 전처리부
20: 대표 특징부 유무 검사부
31: 샘플링부
32: 매칭부
33: 광류 계산부
34: 오차 정보 추출부
40: 광축 정렬부

Claims

입력 영상에서 광축 오차를 판단 시 기준이 되는 대표 특징부 부분의 유무를 판별하는 단계;
상기 대표 특징부 부분이 존재하다고 판단되면, 상기 대표 특징부 부분을 샘플링하는 단계;
상기 대표 특징부 부분을 샘플링한 샘플링 영상을 확대하고, 확대 샘플링 영상과 상기 샘플링 영상을 매칭시킨 후 상기 확대 샘플링 영상 및 상기 샘플링 영상의 중심 좌표를 획득하는 단계; 및
상기 매칭된 확대 샘플링 영상의 중심 좌표와 상기 샘플링 영상의 중심 좌표의 차이를 계산하여 광축을 정렬하는 단계;
를 포함하는 광축 오차 보상 방법.
청구항 2은(는) 설정등록료 납부시 포기되었습니다.

제1항에 있어서,
상기 대표 특징부는 상기 입력 영상에 존재하는 복수개의 특징부 중 강한 특징을 가지는 것으로 추출하는 것임을 특징으로 하는 광축 오차 보상 방법.
청구항 3은(는) 설정등록료 납부시 포기되었습니다.

제1항에 있어서,
상기 대표 특징부 부분의 유무를 판별하는 단계는,
상기 영상에서 복수개의 특징부를 추출하는 단계;
상기 추출된 특징부 중 강한 특징을 가지는 후보 특징부를 선정하는 단계;
확대된 영상 내에 상기 후보 특징부가 존재하는 경우 상기 대표 특징부가 있다고 판별하고, 확대된 영상 내에 상기 후보 특징부가 존재하지 않는 경우 상기 대표 특징부가 없다고 판별하는 단계;
를 포함하는 것을 특징으로 하는 광축 오차 보상 방법.
청구항 4은(는) 설정등록료 납부시 포기되었습니다.

제1항에 있어서,
상기 광축을 정렬하는 단계는,
상기 샘플링 영상을 확대한 비율이 2.5배 이하일 경우 시프트(SIFT) 매칭법을 사용하여 매칭하는 것을 특징으로 하는 광축 오차 보상 방법.
청구항 5은(는) 설정등록료 납부시 포기되었습니다.

제1항에 있어서,
상기 광축을 정렬하는 단계는,
상기 샘플링 영상을 확대한 비율이 2.5배 이상일 경우 상기 샘플링 영상을 확대 비율만큼 리사이즈(resize)하여 템플릿(template) 매칭법을 사용하여 매칭하는 것을 특징으로 하는 광축 오차 보상 방법.
입력 영상에서 광축 오차를 판단 시 기준이 되는 대표 특징부 부분의 유무를 판별하는 단계;
상기 대표 특징부 부분이 존재하지 않는다고 판단되면, 확대 전 상기 입력 영상과 확대하는 동안의 상기 입력 영상을 사용하여 확대하는 동안의 광류를 계산하는 단계;
광류 정보를 이용하여 광축 오차 정보를 획득하는 단계;
상기 획득된 광축 오차 정보를 사용하여 광축을 정렬하는 단계;
를 포함하는 광축 오차 보상 방법.
청구항 7은(는) 설정등록료 납부시 포기되었습니다.

제6항에 있어서,
상기 광류를 계산하는 단계는;
상기 입력 영상을 확대하는 동안 특정수의 프레임 단위로 입력 영상을 획득하여 광류를 계산하는 것을 특징으로 하는 광축 오차 보상 방법.
청구항 8은(는) 설정등록료 납부시 포기되었습니다.

제6항에 있어서,
상기 광축 오차 정보를 획득하는 단계는,
상기 입력 영상의 중심으로부터 거리와 상기 거리에 속하는 방향을 기준으로 광류 히스토그램을 작성하여 광축 오차 정보를 획득하는 것을 특징으로 하는 광축 오차 보상 방법.
청구항 9은(는) 설정등록료 납부시 포기되었습니다.

제6항에 있어서,
상기 광축 오차 정보를 획득하는 단계는,
상기 광류의 최대값과 최소값의 방향이 대칭성을 가지는 경우에만 광축 오차 정보를 획득하는 것을 특징으로 하는 광축 오차 보상 방법.
청구항 10은(는) 설정등록료 납부시 포기되었습니다.

제6항에 있어서,
상기 광축 오차 정보를 획득하는 단계는,
상기 광류의 최대값과 최소값의 차를 평균한 정보를 기초로 광축 오차 정보를 획득하는 것을 특징으로 하는 광축 오차 보상 방법.
입력 영상에서 광축 오차를 판단 시 기준이 되는 대표 특징부 부분의 유무를 판별하는 대표 특징부 유무 검사부;
상기 대표 특징부 부분이 존재하다고 판단되면, 상기 대표 특징부 부분을 샘플링하는 샘플링부;
상기 대표 특징부 부분을 샘플링한 샘플링 영상을 확대하고, 확대 샘플링 영상과 상기 샘플링 영상을 매칭시키킨 후 상기 확대 샘플링 영상 및 상기 샘플링 영상의 중심 좌표를 획득하는 매칭부; 및
상기 매칭된 확대 샘플링 영상의 중심 좌표와 상기 샘플링 영상의 중심 좌표의 차이를 계산하여 광축을 정렬하는 광축 정렬부;
를 포함하는 광축 오차 보상 시스템.
청구항 12은(는) 설정등록료 납부시 포기되었습니다.

제11항에 있어서,
상기 대표 특징부는
상기 입력 영상에 존재하는 복수개의 특징부 중 강한 특징을 가지는 것으로 추출하는 것임을 특징으로 하는 광축 오차 보상 시스템.
청구항 13은(는) 설정등록료 납부시 포기되었습니다.

제11항에 있어서,
상기 대표 특징부 유무 검사부는,
상기 영상에서 복수개의 특징부를 추출하고, 상기 추출된 특징부 중 강한 특징을 가지는 후보 특징부를 선정하며, 확대된 영상 내에 상기 후보 특징부가 존재하는 경우 상기 대표 특징부가 있다고 판별하고, 확대된 영상 내에 상기 후보 특징부가 존재하지 않는 경우 상기 대표 특징부가 없다고 판별하는 것을 특징으로 하는 광축 오차 보상 시스템.
청구항 14은(는) 설정등록료 납부시 포기되었습니다.

제11항에 있어서,
상기 매칭부는,
상기 샘플링 영상을 확대한 비율이 2.5배 이하일 경우 시프트(SIFT) 매칭법을 사용하여 매칭하는 것을 특징으로 하는 광축 오차 보상 시스템.
청구항 15은(는) 설정등록료 납부시 포기되었습니다.

제11항에 있어서,
상기 매칭부는,
상기 샘플링 영상을 확대한 비율이 2.5배 이상일 경우 상기 샘플링 영상을 확대한 비율만큼 리사이즈(resize)하여 템플릿(template) 매칭법을 사용하여 매칭하는 것을 특징으로 하는 광축 오차 보상 시스템.
입력 영상에서 광축 오차를 판단 시 기준이 되는 대표 특징부 부분의 유무를 판별하는 대표 특징부 유무 검사부;
상기 대표 특징부 부분이 존재하지 않는다고 판단되면, 확대 전 상기 입력 영상과 확대하는 동안의 상기 입력 영상을 사용하여 확대하는 동안의 광류를 계산하는 광류 계산부;
광류 정보를 이용하여 광축 오차 정보를 획득하는 광축 오차 정보 추출부;
상기 획득된 광축 오차 정보를 사용하여 광축을 정렬하는 광축 정렬부;
를 포함하는 광축 오차 보상 시스템.
청구항 17은(는) 설정등록료 납부시 포기되었습니다.

제16항에 있어서,
상기 광류 계산부는;
상기 입력 영상을 확대하는 동안 특정수의 프레임 단위로 입력 영상을 획득하여 광류를 계산하는 것을 특징으로 하는 광축 오차 보상 시스템.
청구항 18은(는) 설정등록료 납부시 포기되었습니다.

제16항에 있어서,
상기 광축 오차 정보 추출부는,
상기 입력 영상의 중심으로부터 거리와 상기 거리에 속하는 방향을 기준으로 광류 히스토그램을 작성하여 광축 오차 정보를 획득하는 것을 특징으로 하는 광축 오차 보상 시스템.
청구항 19은(는) 설정등록료 납부시 포기되었습니다.

제16항에 있어서,
상기 광축 오차 정보 추출부는,
상기 광류의 최대값과 최소값의 방향이 대칭성을 가지는 경우에만 광축 오차 정보를 획득하는 것을 특징으로 하는 광축 오차 보상 시스템.
청구항 20은(는) 설정등록료 납부시 포기되었습니다.

제16항에 있어서,
상기 광축 오차 정보 추출부는,
상기 광류의 최대값과 최소값의 차를 평균한 정보를 기초로 광축 오차 정보를 획득하는 것을 특징으로 하는 광축 오차 보상 시스템.
회득된 입력 영상을 디지털 신호로 변환하는 영상 전처리부;
입력 영상에서 광축 오차를 판단 시 기준이 되는 대표 특징부가 존재하는지 여부를 판단하는 대표 특징부 유무 검사부;
상기 대표 특징부 유무 검사부가 대표 특징부가 없다고 판단하는 경우 이미지를 매칭시켜 광축 오차 정보를 획득하고, 대표 특징부가 없다고 판단하는 경우 광류 정보를 계산하여 광축 오차 정보를 획득하는 광축 오차 계산부; 및
상기 획득된 광축 오차 정보를 이용하여 광축 오차를 보상하는 광축 정렬부;
를 포함하는 광축 오차 보상 기능을 갖는 줌 카메라.