KR102235018B1 - 해상도가 다른 영상을 정합하는 장치 및 방법 - Google Patents

해상도가 다른 영상을 정합하는 장치 및 방법 Download PDF

Info

Publication number
KR102235018B1
KR102235018B1 KR1020190074323A KR20190074323A KR102235018B1 KR 102235018 B1 KR102235018 B1 KR 102235018B1 KR 1020190074323 A KR1020190074323 A KR 1020190074323A KR 20190074323 A KR20190074323 A KR 20190074323A KR 102235018 B1 KR102235018 B1 KR 102235018B1
Authority
KR
South Korea
Prior art keywords
image
matching
unit
images
different resolutions
Prior art date
Application number
KR1020190074323A
Other languages
English (en)
Other versions
KR20200145379A (ko
Inventor
우영권
고은진
김대연
김세영
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020190074323A priority Critical patent/KR102235018B1/ko
Publication of KR20200145379A publication Critical patent/KR20200145379A/ko
Application granted granted Critical
Publication of KR102235018B1 publication Critical patent/KR102235018B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명에 따른 해상도가 다른 영상을 정합하는 장치는, 해상도가 서로 다른 복수의 카메라로부터 각각 제1영상 및 제2영상을 획득하는 영상 획득부, 상기 제1영상에서 특징점을 추출하는 영상 분석부, 상기 추출된 특징점을 기반으로 상기 제2영상에 매칭되는 부분을 탐지하는 영상 탐지부, 상기 탐지된 제2영상을 상기 제1영상 크기로 보간하는 영상 보간부 및 상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 정합하는 영상 정합부를 포함할 수 있다.

Description

해상도가 다른 영상을 정합하는 장치 및 방법{APPARATUS FOR ALIGNING MULTIPLE CAMERA IMAGES HAVING DIFFERENT RESOLUTIONS AND METHOD THEREOF}
본 발명은 해상도가 다른 복수의 이종 카메라를 인접 배치하여 각 카메라에서 제공하는 영상 중 해상도가 낮은 카메라를 기준으로 동일 영상 영역을 지정하고, 영상들을 정렬하여 정합 영상을 생성하는 방법 및 장치에 관한 것이다.
최근 다양한 분야에서 복수의 카메라로 촬영된 영상을 정합하는 기술이 활용된다. 여기서 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 어떻게 대응되는지를 알 수 있다. 예를 들어 의료 영상 처리에서 환부의 영상을 시간에 따라 비교하거나, 정상인 조직의 영상과 비교하기 위해서는 호흡 등의 변형을 보정하기 위한 탄성 정합을 요구하기도 한다. 의료 영상의 비강체 정합을 통해 환자의 영상을 해부학적 아틀라스에 정합시킬 수 있다.
한편 영상 정합에 사용되는 복수의 카메라는 단일한 종류의 카메라일 수도 있으나, 적외선 카메라 등 특수 목적 카메라와 가시광 카메라를 사용할 수 있다. 즉 이러한 복수의 카메라들 사이의 FOV(Field of View)와 해상도 차이를 각 카메라의 영상에 대응하는 픽셀 매칭을 통하여 동일 시점의 영상을 생성할 수 있다.
종래의 영상 정렬 방법의 일 예는, 해상도가 동일하고 FOV(Field of View)가 서로 다른 카메라를 인접 배치한다. 그리고 배치된 카메라의 거리 차를 파라미터로 사용하고 이를 이용하여 영상을 정렬함으로써, 각 카메라의 영상을 하나로 정합하여 추적 등에 사용하였다.
즉 종래의 영상을 정합하는 방법은, 도 1에 도시된 바와 같이 영상의 해상도가 같은 환경에서 복수의 영상을 획득하기 위한 카메라의 설치 거리를 측정하고 거리에 따른 파라미터를 생성한다. 이러한 파라미터를 이용하여 영상을 이동하는 방식으로 두개의 영상을 정렬할 수 있다. 따라서, 해상도가 같은 영상의 정합만이 가능하고, 복수의 카메라의 설치 거리를 측정하기 위한 정밀한 계측이 필요하며, 영상 이동을 위한 카메라 정렬 작업이 추가로 필요한 문제점이 있다.
또한 복수의 카메라 영상을 동일 시점의 영상으로 정렬하기 위해 복수의 카메라 설치 시 각 카메라에 대한 켈리브레이션 파라미터와 설치 위치 간 배치 정보를 산출하여 산출된 정보를 이용하여 카메라 정렬을 수행해야 하는 문제점이 있다.
본 발명의 일 목적은, 해상도가 다른 복수의 이종 카메라를 인접 배치하여 각 카메라에서 제공하는 영상 중 해상도가 낮은 카메라를 기준으로 동일 영상 영역을 지정하고, 영상들을 정렬하여 정합 영상을 생성하는 것이다.
본 발명의 일 실시 예는, 해상도가 다른 영상을 정합하는 장치에 관한 것으로, 해상도가 서로 다른 복수의 카메라로부터 각각 제1영상 및 제2영상을 획득하는 영상 획득부, 상기 제1영상에서 특징점을 추출하는 영상 분석부, 상기 추출된 특징점을 기반으로 상기 제2영상에 매칭되는 부분을 탐지하는 영상 탐지부, 상기 탐지된 제2영상을 상기 제1영상 크기로 보간하는 영상 보간부 및 상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 정합하는 영상 정합부를 포함하는 것을 특징으로 한다.
일 실시 예에 따르면, 상기 복수의 카메라는, 적외선 카메라 및 가시광 카메라를 포함할 수 있고, 상기 제1영상은 상기 적외선 카메라로부터 획득한 영상이고, 상기 제2영상은 상기 가시광 카메라로부터 획득한 영상인 것을 특징으로 한다.
일 실시 예에 있어서, 상기 영상 분석부는, 상기 제1영상에서 경계선을 기반으로 특징점을 추출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 영상 정합부는, 상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 동일 시점의 영상으로 정합하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1영상, 상기 제2영상 및 상기 정합된 영상 중 적어도 하나를 표시할 수 있는 영상 표시부를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 제1영상은, 상기 제2영상보다 낮은 해상도를 가지는 것을 특징으로 한다.
한편, 본 발명의 다른 일 실시 예는, 해상도가 다른 영상을 정합하는 방법에 관한 것으로, 해상도가 서로 다른 복수의 카메라로부터 각각 제1영상 및 제2영상을 획득하는 단계, 상기 제1영상을 분석하여 특징점을 추출하는 단계, 상기 추출된 특징점을 기반으로 상기 제2영상에 매칭되는 부분을 탐지하는 단계, 상기 탐지된 제2영상을 상기 제1영상 크기로 보간하는 단계 및 상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 정합하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 복수의 카메라는, 적외선 카메라 및 가시광 카메라를 포함할 수 있고, 상기 제1영상은 상기 적외선 카메라로부터 획득한 영상이고, 상기 제2영상은 상기 가시광 카메라로부터 획득한 영상인 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1영상을 분석하여 특징점을 추출하는 단계는, 상기 제1영상에서 경계선을 기반으로 특징점을 추출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 영상을 정합하는 단계는, 상기 제1영상과 상기 보간된 제2영상을 동일 시점의 영상으로 정합하는 것을 특징으로 한다.
한편 일 실시 예에 있어서, 영상 표시부에 상기 제1영상, 상기 제2영상 및 상기 정합된 영상 중 적어도 하나를 표시하는 단계를 더 포함하는 것을 특징으로 하는 해상도가 다른 영상을 정합하는 방법.
일 실시 예에 있어서, 상기 제1영상은, 상기 제2영상보다 낮은 해상도를 가지는 것을 특징으로 한다.
본 발명은 해상도가 다른 영상을 정합하는 장치 및 방법에 관한 것으로, 복수의 카메라 간 거리 계산 및 카메라 정렬 작업이 필요하지 않아 효율적으로 영상을 정렬할 수 있다. 한편 본 발명은 해상도가 다른 복수의 카메라를 사용하므로, 카메라의 종류에 의존하지 않고 다양한 카메라를 사용할 수 있다. 또한 복수의 각 카메라 영상에 대응하는 픽셀 매칭을 통하여 동일 시점의 영상을 생성하고, 이를 저장 및 후처리에 활용할 수 있다.
도 1은 종래의 영상 정합 방법을 설명하기 위한 장치의 구성도를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 해상도가 다른 영상을 정합하는 장치의 구성도를 도시한 도면이다.
도 3은 본 발명에 따른 일 실시 예로, 적외선 영상과 가시광 영상을 정합하는 과정을 도시한 개념도이다.
도 4는 본 발명에 따른 일 실시 예로, 적외선 영상과 가시광 영상을 정합하는 과정을 도시한 개념도이다.
도 5는 본 발명의 일 실시 예에 따른 해상도가 다른 영상을 정합하는 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 해상도가 다른 영상을 정합하는 장치 및 방법에 관한 것으로, 이하 도면을 참조하여 설명하도록 한다.
먼저 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 어떻게 대응되는지를 알 수 있다. 이러한 영상을 정합하는 종래의 방법을 도 1을 참조하여 설명하도록 한다. 도 1은 종래의 영상 정합 방법을 설명하기 위한 장치의 구성도를 도시한 도면이다.
해상도가 같은 복수의 카메라를 통해 적외선 영상획득부와 가시광 영상획득부에서 영상을 획득한다. 그리고 획득된 영상에 카메라 거리 정보 파라미터를 적용하여 영상을 이동시킴으로써 이들 영상을 정합할 수 있다. 즉 카메라의 거리 정보를 위해 이를 계측하고 제어할 필요가 있다.
이와 같이 종래의 영상을 정합하는 방법은, 영상의 해상도가 같은 환경에서 복수의 영상을 획득하기 위한 카메라의 설치 거리를 측정하고, 거리에 따른 파라미터를 이용하여 영상을 이동하는 방식으로 두개의 영상을 정렬할 수 있다. 즉 종래의 영상을 정렬하는 방법은, 해상도가 같은 영상의 정합만이 가능하고, 복수의 카메라의 설치 거리를 측정하기 위한 정밀한 계측이 필요하며, 영상 이동을 위한 카메라 정렬 작업이 추가로 필요한 문제점이 있다.
이러한 문제점을 해결하기 위하여 본 발명은, 카메라의 기계적 정렬에 의존하지 않고, 영상을 정렬할 수 있는 장치 및 방법을 제안한다.
이하에서 도 2 내지 도 4를 참조하여, 본 발명에 따른 해상도가 다른 영상을 정합하는 장치를 설명하도록 한다. 먼저 도 2는 본 발명의 일 실시 예에 따른 해상도가 다른 영상을 정합하는 장치의 구성도를 도시한 도면이다. 한편 도 3 및 도 4는, 본 발명에 따른 일 실시 예로, 적외선 영상과 가시광 영상을 정합하는 과정을 도시한 개념도이다.
도 2에 도시된 바와 같이 본 발명에 따른 해상도가 다른 영상을 정합하는 장치(이하, 영상 정합 장치)는, 영상 획득부(110), 영상 분석부(120), 영상 탐지부(130), 영상 보간부(140) 및 영상 정합부(150)를 포함할 수 있다. 또한 경우에 따라 정합 전 영상 또는 정합된 영상을 표시하기 위한 영상 표시부(160)를 더 포함할 수 있다.
도 2에 도시된 구성요소들은 영상 정합 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 영상 정합 장치는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 본 발명에 따른 영상 획득부(110)는, 복수의 카메라 또는 영상 저장 장치로부터 영상을 획득할 수 있다. 여기서 복수의 카메라는 적외선 카메라를 포함하는 특수 카메라와 가시광 카메라를 포함할 수 있다. 여기서 적외선 카메라(Infrared Camera)는, 적외선에 대한 충분한 감도를 갖는 전하 결합 소자(CCD) 카메라를 의미한다. 이러한 적외선 카메라는, 장파장 적외선을 이용하는 LWIR(Long Wave InfraRed) 카메라, 중파장 적외선을 이용하는 MWIR(Mid Wave InfraRed) 카메라, 및 단파장 적외선을 이용하는 SWIR(Short Wave InfraRed) 카메라 등을 포함할 수 있다. 이러한 적외선 카메라는 야간에도 사물을 볼 수 있는 장점 때문에 다양한 분야에서 활용될 수 있다.
또한 본 발명은 적외선 카메라 뿐만 아니라 열화상 카메라 등 카메라에 제한 없이 다양한 카메라에서 적용이 가능한 장점이 있다.
한편 도 3을 참조하면 본 발명에 따른 일 실시 예에 따른 영상 획득부(110)는, 적외선 영상 획득부와 가시광 영상 획득부를 포함할 수 있다. 여기서 적외선 영상 획득부는, 적외선 카메라(220)로부터 적외선 영상(230)을 획득할 수 있고, 가시광 영상 획득부는, 가시광 카메라(210)로부터 가시광 영상(240)을 획득할 수 있다.
이때 획득된 적외선 영상(230)과 가시광 영상(240)은 도 3에 도시된 바와 같이 해상도가 서로 다를 수 있다. 예를 들어, 적외선 영상(230)의 해상도는, 640x480 해상도를 가질 수 있고, 가시광 영상의 해상도는, 1024x768 해상도를 가질 수 있다.
한편, 본 발명에 따르면 영상을 정렬 또는 정합하기 위해서는 해상도가 낮은 영상을 기준으로 해상도가 높은 영상을 조절해야하는 바, 도 3에 도시된 바와 같이 적외선 영상(230)이 해상도가 더 낮고, 가시광 영상(240)이 해상도가 더 높은 것으로 가정하도록 한다. 한편, 예를 들어, 가시광 영상의 해상도가 더 낮은 경우에는 가시광 영상을 기준으로 적외선 영상을 조절할 수 있다.
한편, 본 발명에 따른 영상 분석부(120)는, 영상 획득부(110)에서 획득된 적외선 영상으로부터 특징점을 추출하는 기능을 수행할 수 있다. 여기서 획득된 영상의 특징점들(Feature points)을 추출하기 위해, 예를 들어, 에지 검출을 위한 캐니(Canny) 연산자, 소벨(Sobel) 연산자, LoG(Laplacian of Gaussian) 연산자, DoG(Difference of Gaussian) 연산자, 코너(corner) 검출을 위한 해리스 연산자(Harris operator), 지역 공간 구조의 묘사를 위한 센서스 변환(Census transform) 연산자, 프리윗(Prewitt) 연산자, 로버츠(Roberts) 연산자, 라플라시안(Laplacian) 연산자, 및 컴퍼스(Compass) 연산자 등을 이용할 수 있으며, 2개 이상의 방법을 혼용하는 것도 가능하다.
본 발명의 일 실시 예에 따른 영상 분석부(120)는, 경계선을 이용하여 특징점을 추출할 수 있다. 즉 영상에 포함된 외형선을 따라 기준 픽셀들을 샘플링하고, 외형선 중 깊이가 급격하게 변하는 경계선 근방의 픽셀들 및 에지 등을 인지하여 에지 검출(edge detection)을 수행할 수 있다. 에지는 예를 들어, 직선, 곡선, 다각형, 원, 또는 점의 형태를 가질 수 있다. 다만 특징점을 추출하는 방법은, 경계선을 기준으로 추출하는 방법으로 제한하지 않고, 밝기, 색깔, 및 꼭지점 등 다양한 방법으로 영상 내 특징점을 추출할 수 있다.
한편 본 발명에 따른 영상 탐지부(130)는, 상기 영상 획득부에서 획득된 가시광 영상에서 상술한 영상 분석부(120)에서 추출된 특징점을 기반으로 특징점과 매칭되는 부분을 탐지할 수 있다. 즉 적외선 영상의 특징점을 추출하여 가시광 영상에서의 매칭되는 동일 영역을 탐지할 수 있다.
한편 본 발명에 따른 영상 보간부(140)는, 상기 영상 탐지부(130)에서 탐지된 영역을 획득된 적외선 영상과 같은 크기로 스케일(scale)하여 보간할 수 있다.
도 4를 참조하면 영상 탐지부에 의해 탐지된 영역(480x360 해상도)의 크기를 계산하여 스케일 값을 계산한다. 계산된 스케일 값을 적용하여 가시광 영상을 640x480 해상도로 보간할 수 있다.
한편 본 발명에 따른 영상 정합부(150)는, 적외선 영상과 보간된 가시광 영상을 동일 시점의 영상으로 정합하여 하나의 정합 영상(260)으로 생성할 수 있다.
한편 본 발명에 따른 영상 표시부(160)는, 영상을 표시할 수 있는 모듈로, 영상 정합부(150)에서 정합된 영상을 화면에 표시할 수 있다. 예를 들어 적외선/가시광 영상을 정합하는 경우 표적의 주변 온도가 표적과 차이가 클 때 표적을 구분이 더 용이하다.
상기 정합된 영상은 적외선 영상 및 가시광 영상을 따로 사용할 수 있고, 정합된 하나의 영상으로 사용할 수 있다. 또한 화면 표시에 한정하지 않고 후 처리에 사용할 수 있다.
한편 영상 표시부(160)는, 외부 제어 신호에 따라 가시광 카메라 영상, 적외선 카메라 영상 또는 정합 영상을 표시할 수 있다.
이상에서는 본 발명의 일 실시 예에 따른 해상도가 다른 영상을 정합하는 장치를 각 구성 요소를 중심으로 설명하였다.
이하에서는 본 발명의 일 실시 예에 따른 해상도가 다른 영상을 정합하는 방법을 도 5를 참조하여 시간의 흐름에 따라 설명하도록 한다. 도 5는 본 발명의 일 실시 예에 따른 해상도가 다른 영상을 정합하는 방법을 도시한 흐름도이다.
먼저 해상도가 서로 다른 복수의 카메라로부터 영상 획득부(110)가 각각 제1영상 및 제2영상을 획득할 수 있다(S110). 이때 복수의 카메라는 적외선 카메라 및 가시광 카메라를 포함할 수 있고, 여기서 제1영상은 적외선 영상, 제2영상은 가시광 영상일 수 있다. 또는 그 반대도 가능하다. 다만, 해상도가 낮은 영상을 기준으로 해상도가 높은 영상을 조절해야하는 바, 도 3에 도시된 바와 같이 적외선 영상(230)인 제1영상이 해상도가 더 낮고, 가시광 영상(240)인 제2영상의 해상도가 더 높은 것으로 가정하도록 한다.
한편, 영상 분석부(120)는 가시광 영상을 분석하여 특징점을 추출할 수 있다(S120). 예를 들어, 영상 내에서의 추출된 경계선을 기준으로 특징점을 추출할 수 있다. 다만 특징점을 추출하는 방법은, 경계선을 기준으로 추출하는 방법으로 제한하지 않고, 밝기, 색깔, 및 꼭지점 등 다양한 방법으로 영상 내 특징점을 추출할 수 있다.
한편 추출된 특징점을 기반으로 가시광 영상에 매칭되는 부분을 탐지할 수 있다(S130).
상기 탐지된 제2영상을 상기 제1영상 크기로 보간할 수 있다(S140). 도 4를 참조하면 영상 탐지부에 의해 탐지된 영역(480x360 해상도)의 크기를 계산하여 스케일 값을 계산한다. 계산된 스케일 값을 적용하여 가시광 영상을 640x480 해상도로 보간할 수 있다.
상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 정합할 수 있다(S130). 즉 영상 정합부(150)는, 적외선 영상과 보간된 가시광 영상을 동일 시점의 영상으로 정합하여 하나의 정합 영상(260)으로 생성할 수 있다.
한편 정합된 영상은, 영상 표시부에 표시할 수 있다. 이때 영상 표시부는 적외선 영상 및 가시광 영상을 따로 표시할 수 있고, 정합된 하나의 영상으로 표시할 수도 있다. 또한 화면 표시에 한정하지 않고 후 처리에 사용할 수 있다.
상술한 바와 같이 본 발명은 해상도가 다른 영상을 정합하는 장치 및 방법에 관한 것으로, 복수의 카메라 간 거리 계산 및 카메라 정렬 작업이 필요하지 않아 효율적으로 영상을 정렬할 수 있다. 한편 본 발명은 해상도가 다른 복수의 카메라를 사용하므로, 카메라의 종류에 의존하지 않고 다양한 카메라를 사용할 수 있다. 또한 복수의 각 카메라 영상에 대응하는 픽셀 매칭을 통하여 동일 시점의 영상을 생성하고, 이를 저장 및 후처리에 활용할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한, 상기 컴퓨터는 단말기의 제어 모듈을 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
110: 영상 획득부
120: 영상 분석부
130: 영상 탐지부
140: 영상 보간부
150: 영상 정합부
160: 영상 표시부
210: 가시광 카메라
220: 적외선 카메라
230: 적외선 영상
240: 가시광 영상
250: 보간된 영상
260: 정합된 영상

Claims (12)

  1. 해상도가 서로 다른 복수의 카메라로부터 각각 제1영상 및 제2영상을 획득하는 영상 획득부;
    상기 제1영상 및 상기 제2영상 중 해상도가 낮은 상기 제1영상에서 특징점을 추출하는 영상 분석부;
    상기 추출된 특징점을 기반으로 상기 제2영상에 매칭되는 부분을 탐지하는 영상 탐지부;
    상기 제2 영상 중에서 탐지된 부분과 상기 추출된 특징점 사이의 크기 차이를 기초로 상기 제2영상의 크기를 상기 제1영상 크기로 보간하는 영상 보간부; 및
    상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 정합하는 영상 정합부;를 포함하고,
    상기 영상 탐지부에서 탐지된 제2 영상의 크기는 상기 제1 영상의 크기보다 작은 것을 특징으로 하는 해상도가 다른 영상을 정합하는 장치.
  2. 제1항에 있어서,
    상기 복수의 카메라는,
    적외선 카메라 및 가시광 카메라를 포함할 수 있고,
    상기 제1영상은 상기 적외선 카메라로부터 획득한 영상이고,
    상기 제2영상은 상기 가시광 카메라로부터 획득한 영상인 것을 특징으로 하는 해상도가 다른 영상을 정합하는 장치.
  3. 제1항에 있어서,
    상기 영상 분석부는,
    상기 제1영상에서 경계선을 기반으로 특징점을 추출하는 것을 특징으로 하는 해상도가 다른 영상을 정합하는 장치.
  4. 제1항에 있어서,
    상기 영상 정합부는,
    상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 동일 시점의 영상으로 정합하는 것을 특징으로 하는 해상도가 다른 영상을 정합하는 장치.
  5. 제1항에 있어서,
    상기 제1영상, 상기 제2영상 및 상기 정합된 영상 중 적어도 하나를 표시할 수 있는 영상 표시부를 더 포함하는 것을 특징으로 하는 해상도가 다른 영상을 정합하는 장치.
  6. 삭제
  7. 해상도가 서로 다른 복수의 카메라로부터 영상 획득부가 각각 제1영상 및 제2영상을 획득하는 단계;
    영상 분석부가 상기 제1영상 및 상기 제2영상 중 해상도가 낮은 상기 제1영상을 분석하여 특징점을 추출하는 단계;
    상기 추출된 특징점을 기반으로 영상 탐지부가 상기 제2영상에 매칭되는 부분을 탐지하는 단계;
    영상 보간부가 상기 제2 영상 중에서 상기 탐지된 부분과 상기 추출된 특징점 사이의 크기 차이를 기초로 상기 제2 영상의 크기를 상기 제1영상 크기로 보간하는 단계; 및
    영상 정합부가 상기 제1영상과 상기 보간부에 의해 보간된 제2영상을 정합하는 단계;를 포함하고,
    상기 추출된 특징점을 기반으로 영상 탐지부가 상기 제2영상에 매칭되는 부분을 탐지하는 단계에서 탐지된 상기 제2 영상의 크기는 상기 제1 영상의 크기보다 작은 것을 특징으로 하는 해상도가 다른 영상을 정합하는 방법.
  8. 제7항에 있어서,
    상기 복수의 카메라는,
    적외선 카메라 및 가시광 카메라를 포함할 수 있고,
    상기 제1영상은 상기 적외선 카메라로부터 획득한 영상이고,
    상기 제2영상은 상기 가시광 카메라로부터 획득한 영상인 것을 특징으로 하는 해상도가 다른 영상을 정합하는 방법.
  9. 제7항에 있어서,
    상기 제1영상을 분석하여 특징점을 추출하는 단계는,
    상기 제1영상에서 경계선을 기반으로 특징점을 추출하는 것을 특징으로 하는 해상도가 다른 영상을 정합하는 방법.
  10. 제7항에 있어서,
    상기 영상을 정합하는 단계는,
    상기 제1영상과 상기 보간된 제2영상을 동일 시점의 영상으로 정합하는 것을 특징으로 하는 해상도가 다른 영상을 정합하는 방법.
  11. 제7항에 있어서,
    영상 표시부에 상기 제1영상, 상기 제2영상 및 상기 정합된 영상 중 적어도 하나를 표시하는 단계를 더 포함하는 것을 특징으로 하는 해상도가 다른 영상을 정합하는 방법.
  12. 삭제
KR1020190074323A 2019-06-21 2019-06-21 해상도가 다른 영상을 정합하는 장치 및 방법 KR102235018B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190074323A KR102235018B1 (ko) 2019-06-21 2019-06-21 해상도가 다른 영상을 정합하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190074323A KR102235018B1 (ko) 2019-06-21 2019-06-21 해상도가 다른 영상을 정합하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200145379A KR20200145379A (ko) 2020-12-30
KR102235018B1 true KR102235018B1 (ko) 2021-04-01

Family

ID=74087914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190074323A KR102235018B1 (ko) 2019-06-21 2019-06-21 해상도가 다른 영상을 정합하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102235018B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102416066B1 (ko) * 2021-05-13 2022-07-06 유니셈 (주) 영상 매칭 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018170712A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 監視システム、監視制御装置、監視方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314259B1 (ko) * 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
KR101326095B1 (ko) * 2011-11-25 2013-11-07 국방과학연구소 영상융합장치 및 그 방법
KR101374139B1 (ko) * 2012-07-31 2014-03-14 주식회사 제론헬스케어 감시시스템의 영상 융합을 통한 객체 감시 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018170712A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 監視システム、監視制御装置、監視方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102416066B1 (ko) * 2021-05-13 2022-07-06 유니셈 (주) 영상 매칭 시스템 및 방법

Also Published As

Publication number Publication date
KR20200145379A (ko) 2020-12-30

Similar Documents

Publication Publication Date Title
KR102170689B1 (ko) 영상 정합을 위한 특징점 샘플링 방법
US7554575B2 (en) Fast imaging system calibration
US10366504B2 (en) Image processing apparatus and image processing method for performing three-dimensional reconstruction of plurality of images
US5697001A (en) Camera for generating and recording object data with the recorded image
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
CN107005655B (zh) 图像处理方法
CN105741379A (zh) 一种变电站全景巡检方法
US10303969B2 (en) Pose detection using depth camera
WO2016107478A1 (zh) 车辆底盘检查方法和系统
US10977808B2 (en) Three-frame difference target acquisition and tracking using overlapping target images
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR102235018B1 (ko) 해상도가 다른 영상을 정합하는 장치 및 방법
KR102096576B1 (ko) 영상 합성 방법 및 장치
Hu et al. A high-resolution surface image capture and mapping system for public roads
US11003877B2 (en) Methods and systems for recognizing and reading a coded identification tag from video imagery
Hartung et al. Improvement of persistent tracking in wide area motion imagery by CNN-based motion detections
Schubert et al. Robust registration and filtering for moving object detection in aerial videos
CN109284707A (zh) 动目标检测方法及装置
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR101200747B1 (ko) 이동 표적 탐지 장치 및 그 방법
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
CN111489397A (zh) 一种成像设备标定方法以及装置
CN111489398A (zh) 一种成像设备标定方法以及装置
Xiong et al. An SRTM assisted image matching algorithm for long-strip satellite imagery
Huang et al. Detecting migrating birds at night

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)