KR20150024169A - 영상 융합 시스템 및 그 방법 - Google Patents

영상 융합 시스템 및 그 방법 Download PDF

Info

Publication number
KR20150024169A
KR20150024169A KR20130101288A KR20130101288A KR20150024169A KR 20150024169 A KR20150024169 A KR 20150024169A KR 20130101288 A KR20130101288 A KR 20130101288A KR 20130101288 A KR20130101288 A KR 20130101288A KR 20150024169 A KR20150024169 A KR 20150024169A
Authority
KR
South Korea
Prior art keywords
image
fusion
weight
region
user
Prior art date
Application number
KR20130101288A
Other languages
English (en)
Other versions
KR102083926B1 (ko
Inventor
이준성
오재윤
김곤수
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020130101288A priority Critical patent/KR102083926B1/ko
Publication of KR20150024169A publication Critical patent/KR20150024169A/ko
Application granted granted Critical
Publication of KR102083926B1 publication Critical patent/KR102083926B1/ko

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 발명은 영상 융합 시스템 및 영상 융합 방법에 관한 것이다.
본 발명의 영상 융합 시스템은, 가시영상 및 열영상 각각을 복수의 국소 영역으로 분할하고, 각 국소 영역의 픽셀 값 평균 및 표준편차를 이용하여 국소 영역별 가중치를 계산하고, 상기 국소 영역별 가중치를 기초로 상기 가시영상 및 열영상의 픽셀에 대한 가중치를 결정하는 가중치 결정부; 및 상기 가중치를 적용하여 상기 가시영상 및 열영상을 융합한 융합 영상을 생성하는 후처리부;를 포함할 수 있다.

Description

영상 융합 시스템 및 그 방법{IMAGE FUSION SYSTEM AND IMAGE FUSION METHOD}
본 발명은 영상 융합 시스템 및 영상 융합 방법에 관한 것이다.
일반적인 감시 시스템용 가시광 카메라, 예를 들어 CCD 카메라는 다른 카메라에 비해 기술적으로 높은 수준에 도달해 있으며 광범위한 범위에 응용이 되고 있다. 그러나, CCD 카메라는 빛이 있는 곳에서만 감시 기능을 구현할 수 있으며 빛이 없는 곳에서는 감시 기능을 구현하는 것이 불가능하기 때문에 별도의 조명을 사용하지 않는 감시 시스템에 이용하기가 어렵다. 빛이 전혀 없는 환경에서의 감시를 위해 적외선 열상카메라를 이용할 수 있다. 적외선 열상카메라는 조명이 없는 곳에서의 감시 기능을 구현함은 물론이고 피사체의 열 손실 탐지, 회로 기판의 분석과 같은 열 방출과 관련된 다양한 범위에 응용되고 있다.
그러나, 열상 카메라는 피사체가 방출하는 열, 즉 적외선의 검출에 목적이 있는 장비이기 때문에 화질이나 해상도의 측면에서는 기존의 CCD를 이용한 감시용 카메라에 비해 성능이 낮다. 즉, 적외선 열상 카메라 단독으로는 피사체의 열 방출 특성을 감지하는데 적합할 수 있으나 피사체의 디테일한 형태를 구분하기에는 부적합하다.
이에 따라 가시광 카메라로부터 획득한 가시 영상과 열상 카메라로부터 획득한 열 영상을 융합함으로써 두 영상이 가지는 각각의 장점을 모아 하나의 영상으로 표현하는 알고리즘의 개발이 활발하고 이루어지고 있다.
본 발명은 가시 영상과 열 영상의 정보를 적절하게 반영한 융합 영상을 생성할 수 있는 영상 융합 시스템을 제공한다.
본 발명의 일 실시예에 따른 영상 융합 시스템은, 가시영상 및 열영상 각각을 복수의 국소 영역으로 분할하고, 각 국소 영역의 픽셀 값 평균 및 표준편차를 이용하여 국소 영역별 가중치를 계산하고, 상기 국소 영역별 가중치를 기초로 상기 가시영상 및 열영상의 픽셀 가중치를 결정하는 가중치 결정부; 및 상기 가중치를 적용하여 상기 가시영상 및 열영상을 융합한 융합 영상을 생성하는 후처리부;를 포함할 수 있다.
상기 가중치 결정부는, 상기 영역별 가중치들 간의 편차를 보정할 수 있다.
상기 시스템은, 상기 가시영상 및 열영상으로부터 융합 영역을 검출하는 융합영역 검출부;를 더 포함할 수 있다.
상기 시스템은, 사용자로부터 사용자 지정 영역 및 상기 사용자 지정 영역에 대한 상기 가시영상 및 열영상의 픽셀 가중치를 입력받는 사용자 입력부;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 융합 방법은, 가시영상 및 열영상 각각을 복수의 국소 영역으로 분할하고, 각 국소 영역의 픽셀 값 평균 및 표준편차를 이용하여 국소 영역별 가중치를 계산하고, 상기 국소 영역별 가중치를 기초로 상기 가시영상 및 열영상의 픽셀 가중치를 결정하는 단계; 및 상기 가중치를 적용하여 상기 가시영상 및 열영상을 융합한 융합 영상을 생성하는 단계;를 포함할 수 있다.
상기 방법은, 사용자로부터 사용자 지정 영역 및 상기 사용자 지정 영역에 대한 픽셀 가중치를 입력받고, 상기 융합 영상에서 상기 사용자 지정 영역의 융합 정보를 변경하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따라 가시 정보와 열 정보를 보다 효과적으로 반영한 융합 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 2는 도 1에 도시된 영상 융합부를 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가중치를 결정하기 위한 영역 분할을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 지정 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 융합 방법을 개략적으로 설명한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 영상 융합에 따른 융합 영상과 비교예에 따른 융합 영상을 도시한 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다. 도 2는 도 1에 도시된 영상 융합부를 개략적으로 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 가중치를 결정하기 위한 영역 분할을 설명하는 도면이다.
도 1을 참조하면, 본 발명의 영상 융합 시스템(1)은 제1영상센서(10), 제2영상센서(20), 영상 정합부(30), 영상 융합부(40), 디스플레이부(50) 및 사용자 입력부(60)를 포함한다.
제1영상센서(10) 및 제2영상센서(20)는 동일 장면을 촬영하여 영상 정보를 제공하는 서로 다른 특성의 카메라일 수 있다. 제1영상센서(10) 및 제2영상센서(20)는 팬틸트줌(PTZ) 기능을 구비하고, 함께 패닝 및 틸팅되면서 각각의 줌 배율로 동일 지점의 영상을 획득할 수 있다. 제1영상센서(10) 및 제2영상센서(20)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.
본 실시예에서 제1영상센서(10)는 가시광 카메라로서, 빛(light)을 검출하는 방식으로 영상 정보를 획득하여 물체의 휘도 분포에 따른 가시 영상인 제1영상을 생성한다. 예를 들어, 가시 카메라는 CCD 또는 CMOS를 촬상소자로 사용하는 카메라일 수 있다. 가시 카메라는 가시 광선 파장 영역의 정보를 얻기 때문에 가장 직관적으로 이해하기 쉬운 장점이 있다. 그러나 저조도 환경의 경우 영상의 정보 훼손이 심하고, 사람의 눈으로 볼 수 없는 풀숲, 그림자 등에 의해 감추어진 사람과 같은 은닉된 객체에 대해서는 인지가 불가능한 단점 때문에 야간 환경 감시나 은닉된 객체 검출에 어려움이 있다.
본 실시예에서 제2영상센서(20)는 적외광 카메라(또는 열상 카메라)로서, 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상을 나타내는 열 영상인 제2영상을 생성할 수 있다. 열 영상은 물체 표면을 온도의 높낮이에 따라 서로 다른 색으로 매핑하여 표현할 수 있다. 열상 카메라로부터 얻는 열 영상은 물체의 발열 정보를 이용하여 장면을 표현하기 때문에 조명 환경에 영향을 받지 않으며 은닉된 객체 또한 인지 가능한 장점이 있다.
영상 정합부(30)는 동일한 장면을 다른 센서로부터 얻은 두 개 이상의 영상들의 위치 관계를 대응시켜 하나의 좌표계로 정렬시키는 영상 정합을 수행한다. 감시시스템과 의료 영상 등의 분야에서 두 개 이상의 센서를 이용한 영상을 획득하여 하나의 융합 영상을 생성하는 시스템에서는 영상 정합을 수행하여야 한다.
영상 정합부(30)는 제1영상센서(10)로 촬영한 제1영상 및 제2영상센서(20)로 촬영한 제2영상을 정합한다. 이를 위해, 영상 정합부(30)는 제1영상 및 제2영상으로부터 추출된 특징점 정보를 기초로 변환함수를 추정할 수 있다. 변환함수는 제1영상 및 제2영상 각각의 특징점 정보 간의 대응 관계를 나타내는 행렬이다. 영상 정합부(30)는 특징점 정보가 추출되지 않는 경우 제1영상 및 제2영상으로부터 움직임 정보를 추출하고, 추출된 움직임 정보를 기초로 변환함수를 추정할 수 있다. 영상 정합부(30)는 제1영상센서(10) 및 제2영상센서(20) 중 적어도 하나의 줌 변경이 검출되면 변환함수를 다시 추정할 수 있다.
영상 정합부(30)는 추정된 변환함수를 적용하여 제1영상 및 제2영상을 정합한다. 영상 정합부(30)는 줌 변경에 의해 변환함수를 다시 추정하는 동안, 제1영상센서(10) 및 제2영상센서(20)의 줌 정보를 기 추정된 변환함수에 반영한 임시 변환함수를 적용하여 제1영상 및 제2영상을 정합할 수 있다.
영상 융합부(40)는 정합된 제1영상과 제2영상을 융합한다. 예를 들어, 적외광 카메라는 물체의 열적 분포는 잘 나타낼 수 있으나 측정된 물체의 형상이 명확하지 않으며 가시광 카메라는 물체의 형상은 명확하게 나타낼 수 있으나 물체의 열적 분포는 나타낼 수 없다. 영상 융합부(40)는 가시광 카메라와 적외광 카메라의 상호 장단점을 적절히 이용하여 물체의 영상을 표시함과 동시에 그 물체의 열적 분포 상태를 명확하게 나타냄으로써 최적의 정보를 표현하는 융합 영상을 생성할 수 있다. 영상 융합부(40)는 수신된 영상 신호를 디스플레이 규격에 맞는 신호로 출력하는 신호 처리를 수행한다.
도 2를 참조하면, 영상 융합부(40)는 전처리부(401), 융합영역 검출부(403), 가중치 결정부(405) 및 후처리부(407)를 포함할 수 있다.
전처리부(401)는 제1영상 및 제2영상에 대해 정규화 등 이미지 프로세싱을 위한 전처리(pre-processing)를 수행한다. 전처리부(401)는 제1영상 및 제2영상에 대해 노이즈를 저감할 수 있다. 전처리부(401)는 가시 영상인 제1영상에 대해 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 전처리부(401)는 열 영상인 제2영상에 대해 열에너지의 강도가 상대적으로 높은 영역은 강조하고, 열에너지의 강도가 상대적으로 낮은 영역은 덜 강조하는 신호 처리를 수행할 수 있다.
융합영역 검출부(403)는 전처리된 제1영상 및 제2영상에 대해 융합 영역을 검출할 수 있다. 융합영역 검출부(403)는 영상 전체 또는 영상 내 일부, 예를 들어, 움직임 검출 영역, 미리 설정된 관심 영역 등을 중심으로 하는 소정 영역을 융합 영역으로 검출할 수 있다. 또한 융합영역 검출부(403)는 사용자가 지정한 사용자 지정 영역을 융합 영역으로 검출할 수 있다.
가중치 결정부(405)는 제1영상 및 제2영상의 융합 영역 내 각 픽셀에 대한 가중치를 결정할 수 있다. 이를 위해 가중치 결정부(405)는 제1영상 및 제2영상을 하나 이상의 국소 영역(local area)으로 분할할 수 있다. 가중치 결정부(405)는 촬영 환경에 따라 국소 영역의 사이즈를 결정할 수 있으며, 국소 영역 사이즈에 따라 세밀한 표현력과 연산량이 결정될 수 있다.
도 3은 MxN 사이즈의 제1영상(a)과 제2영상(b) 각각을 ixj 개의 픽셀을 포함하는 복수의 국소 영역으로 분할한 예를 도시하고 있다. 제1영상(a)의 각 국소 영역(c11, c12, ..., c21, c22,..., cmn) 내 픽셀의 가중치(w_CCD_xy)는 수학식 1과 같이 각 국소 영역(c11, c12, ..., c21, c22,..., cmn)의 평균(m_CCD_mn) 및 표준편차(std_CCD_mn)를 이용하여 계산할 수 있다. 제2영상(b)의 각 국소 영역(i11, i12, ..., i21, i22,..., imn) 내 픽셀의 가중치(w_IR_xy)는 수학식 2와 같이 각 국소 영역(i11, i12, ..., i21, i22,..., imn)의 평균(m_IR_mn) 및 표준편차(std_IR_mn)를 이용하여 계산할 수 있다. 여기서, a, b, c, d는 제1영상 및 제2영상의 각 국소 영역의 평균과 표준편차의 반영 정도를 조절하는 계수이다. 예를 들어, a, b, c, d를 조절하여 제1영상은 평균을 임계치(a=1, b=0)로 하고, 제2영상은 표준편차를 임계치(c=0, d=1)로 계산할 수 있다. a, b, c, d는 시스템이나 환경에 따라 실험적으로 최적화한 값으로 결정할 수 있다.
Figure pat00001
...(1)
Figure pat00002
...(2)
국소 영역별 가중치의 편차가 크면 국소 영역의 경계가 융합 영상에 반영될 수 있다. 따라서, 가중치 결정부(405)는 WLPF(Weight Low Pass Filter)를 픽셀 가중치에 적용하여 국소 영역별 가중치 편차에 대한 보정을 수행할 수 있다. 여기서 마스크(MASK)의 사이즈는 국소 영역의 사이즈보다 더 크게 설정하며, 실험에 의해 최적화된 값이 설정될 수 있다. 보정된 픽셀 가중치(w'_CCD_xy, w'_IR_xy)는 하기 수학식 3과 같다.
Figure pat00003
...(3)
가중치 결정부(405)는 사용자로부터 사용자 지정 영역에 대한 사용자 지정 가중치 입력이 있는 경우, 제1영상과 제2영상의 사용자 지정 영역에 대해서는 사용자 지정 가중치를 우선 적용할 수 있다.
후처리부(407)는 제1영상과 제2영상의 융합 영역에서 각 픽셀 가중치를 적용하여 제1영상과 제2영상을 융합하여 융합 영상(F)을 생성할 수 있다. 융합 영상의 각 픽셀의 픽셀 값(x_F)은 수학식 4와 같이 제1영상의 픽셀값(x_CCD)과 제2영상의 픽셀값(x_IR)에 각각 보정된 가중치(w'_CCD, w'_IR)를 적용하여 계산할 수 있다.
Figure pat00004
...(4)
또한, 후처리부(407)는 화질 개선을 위한 영상 신호 처리를 하여 융합 영상의 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함할 수 있다. 또한, 후처리부(407)는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다.
디스플레이부(50)는 영상 융합부(40)로부터 출력되는 융합 영상을 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(50)는 제1영상과 제2영상이 중첩된 융합 영상을 디스플레이할 수 있다. 디스플레이 장치(50)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(50)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력부(60)로서 동작할 수 있다. 디스플레이부(50)는 OSD(On Screen Display) 기능을 통해 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다.
사용자 입력부(60)는 영상 융합 시스템(1)과 유선 또는 무선으로 연결되어 사용자가 영상 융합 시스템(1)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(60)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자 지정 방법을 설명하는 도면이다. 본 발명의 일 실시 예에 따르면, 도 4에 도시된 바와 같이, 사용자는 사용자 입력부(60)를 통하여 디스플레이부(50)에 표시된 융합 영상(F)에서 OSD 메뉴를 통해 사용자 지정 영역을 하나 이상 설정하고, 각 사용자 지정 영역마다 사용자 지정 가중치를 입력할 수 있다. 도 4에서는 사용자 지정 영역이 박스 형태인 예를 도시하고 있으나, 본 발명의 실시예는 이에 한정되지 않고, 원 형태, 세모 형태 등 다양한 형상으로 설정될 수 있다. 도 4에서는 좌측의 사용자 지정 영역에 제1영상의 픽셀 가중치를 0.8, 제2영상의 픽셀 가중치를 0.2로 지정하고, 우측의 사용자 지정 영역에 제1영상의 픽셀 가중치를 0.9, 제2영상의 픽셀 가중치를 0.1로 지정한 예를 도시하고 있다.
도 5는 본 발명의 일 실시예에 따른 영상 융합 방법을 개략적으로 설명한 흐름도이다.
도 5를 참조하면, 영상 융합 시스템의 영상 융합부는 제1영상과 제2영상으로부터 융합 영역을 검출한다(S51). 제1영상과 제2영상은 변환함수 추정에 의해 정합되고, 전처리된 영상일 수 있다. 융합 영역은 전체 영상 또는 영상 내 일부일 수 있다. 융합 영역이 영상 내 일부인 경우, 영상 융합부는 배경은 가시 영상인 상태에서 융합 영역만 열 영상 정보가 중첩된 융합 영상을 생성할 수 있다. 이하에서는 제1영상을 가시 영상으로, 제2영상을 열 영상으로 하여 영상 융합 방법을 설명하겠다.
영상 융합부는 가시 영상과 열 영상의 융합 영역 내의 각 픽셀에 대한 가중치를 결정한다(S53). 영상 융합부는 가시 영상과 열 영상을 각각 복수의 국소 영역으로 분할하고, 각 국소 영역마다 픽셀 값의 평균 및 표준편차를 이용하여 국소 영역별 가중치를 결정함으로써 각 픽셀의 가중치를 결정할 수 있다. 또한 영상 융합부는 저역통과필터를 이용하여 국소 영역별 가중치 편차를 보정할 수 있다.
영상 융합부는 각 픽셀의 가중치 또는 각 픽셀의 보정된 가중치를 이용하여 가시 영상과 열 영상을 융합한 융합 영상을 생성할 수 있다(S55). 영상 융합부는 융합 영상을 디스플레이부에 출력할 수 있다(S59). 영상 융합부는 가시 영상을 배경으로 하고, 융합 영역만 열 영상의 열상 정보를 표시하는 융합 영상을 출력할 수 있다.
영상 융합부는 사용자로부터 사용자 지정 영역 및 사용자 지정 영역의 가중치가 입력되면, 사용자 지정 영역을 융합 영역으로 검출하고, 가시 영상 및 열 영상의 융합 영역 내 각 픽셀에 사용자 지정 가중치를 적용하여, 융합 영상의 융합 정보를 변경할 수 있다(S57). 융합 정보는 융합 영상의 픽셀 값에 대응한다. 사용자가 가시 영상의 융합 영역 가중치와 열 영상의 융합 영역 가중치를 조절함으로써 융합 영상의 픽셀 값이 변경된다. 사용자에 의해 가시 영상 및 열 영상의 가중치를 조절할 수 있기 때문에 가시 영상 정보 및 열 영상 정보를 자유롭게 가감 및 수정할 수 있다.
영상 융합부는 융합 영상 또는 사용자 입력에 의해 융합 정보가 변경된 융합 영상을 디스플레이부에 출력할 수 있다(S59).
도 6은 본 발명의 일 실시예에 따른 영상 융합에 따른 융합 영상과 비교예에 따른 융합 영상을 도시한 예시도이다.
도 6을 참조하면, 융합 영상(d)은 본 발명의 실시예에 따라 국소 영역별 가중치를 이용하여 가시 영상(a)과 열 영상(b)을 융합한 융합 영상이다.
융합 영상(c)은 기존의 영상 융합 방법에 의해 생성된 비교예로서의 융합 영상이다. 기존에는 가시 영상과 열 영상 각각의 전체 영역에 대한 픽셀 값 평균과 표준편차를 이용하여 가시 영상의 전역 가중치(Global weight)와 열 영상의 전역 가중치를 계산하고, 전역 가중치를 이용하여 가시 영상과 열 영상을 융합하였다.
이에 따른 융합 영상(c)은 복수의 융합 영역들(A, B, C) 중 영역들(A, B)은 열 열상의 객체 정보를 효과적으로 표시하고 있으나, 영역(C)의 경우 가시 영상의 객체 정보가 융합 영상(c)의 객체 정보보다 명확함에도 불구하고, 영역(C)의 휘도 값을 증가시켜 백화되고 있다.
반면, 본 발명의 실시예에 따라 생성된 융합 영상(d)은 영역(C)에서 가시 영상의 객체 정보를 잘 반영하여 백화 없이 효과적으로 표시하고 있다. 융합 영상(e)은 융합 영상(d)에서 열 영상의 정보가 반영된 부분을 붉은색으로 표시한 도면이다.
한편 본원발명은 다양한 상황 및 환경에 맞춰 사용자가 원하는 융합 영역을 설정하고, 융합 영역의 가중치를 매뉴얼(MANUAL)로 추가 가능하다.
영상 융합 시스템은 자동 모드, 매뉴얼 모드, 자동-매뉴얼 모드를 제공할 수 있다. 자동 모드에서 영상 융합 시스템은 기 정해진 알고리즘에 따라 융합 영역을 검출하고 가중치를 결정하여 융합 영상을 생성할 수 있다. 매뉴얼 모드에서 영상 융합 시스템은 사용자가 융합 영역 및 가중치를 지정할 수 있다. 자동-매뉴얼 모드에서 영상 융합 시스템은 자동 모드를 기본으로 하되, 매뉴얼로 사용자가 특정 영역을 지정하고 가중치를 결정하도록 할 수 있다.
영상 융합 시스템은 유선 또는 무선으로 사용자 입력 명령을 수신하고, 입력된 융합 영역 및 가중치를 적용하여 융합 영상을 출력할 수 있다.
전술된 실시예에서는 제1영상을 가시 영상, 제2영상을 열 영상으로 예를 들어 설명하였지만, 본 발명의 실시예는 이에 한정되지 않고, 제1영상과 제2영상은 서로 다른 시점, 서로 다른 시간 또는 가시광 카메라와 적외광 카메라 외의 서로 다른 특성의 센서로부터 획득한 영상인 경우에도 본 발명의 실시예가 동일하게 적용될 수 있다.
전술된 실시예는 GOP와 같은 경계 지역 감시, 산불 감시와 같이 24시간 실시간 감시가 필요한 감시, 무광원 혹은 저조도 환경에서 빌딩 및 주거지 침입 감지, 산과 같은 곳에서 실종자 및 범죄자 추적, 의료 영상분야 등에 적용될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (6)

  1. 가시영상 및 열영상 각각을 복수의 국소 영역으로 분할하고, 각 국소 영역의 픽셀 값 평균 및 표준편차를 이용하여 국소 영역별 가중치를 계산하고, 상기 국소 영역별 가중치를 기초로 상기 가시영상 및 열영상의 픽셀 가중치를 결정하는 가중치 결정부; 및
    상기 픽셀 가중치를 적용하여 상기 가시영상 및 열영상을 융합한 융합 영상을 생성하는 후처리부;를 포함하는 영상 융합 시스템.
  2. 제1항에 있어서, 상기 가중치 결정부는,
    상기 영역별 가중치들 간의 편차를 보정하는 영상 융합 시스템.
  3. 제1항에 있어서,
    상기 가시영상 및 열영상으로부터 융합 영역을 검출하는 융합영역 검출부;를 더 포함하는 영상 융합 시스템.
  4. 제1항에 있어서,
    사용자로부터 사용자 지정 영역 및 상기 사용자 지정 영역에 대한 상기 가시영상 및 열영상의 픽셀 가중치를 입력받는 사용자 입력부;를 더 포함하는 영상 융합 시스템.
  5. 가시영상 및 열영상 각각을 복수의 국소 영역으로 분할하고, 각 국소 영역의 픽셀 값 평균 및 표준편차를 이용하여 국소 영역별 가중치를 계산하고, 상기 국소 영역별 가중치를 기초로 상기 가시영상 및 열영상의 픽셀 가중치를 결정하는 단계; 및
    상기 가중치를 적용하여 상기 가시영상 및 열영상을 융합한 융합 영상을 생성하는 단계;를 포함하는 영상 융합 방법.
  6. 제5항에 있어서,
    사용자로부터 사용자 지정 영역 및 상기 사용자 지정 영역에 대한 픽셀 가중치를 입력받고, 상기 융합 영상에서 상기 사용자 지정 영역의 융합 정보를 변경하는 단계;를 더 포함하는 영상 융합 방법.
KR1020130101288A 2013-08-26 2013-08-26 영상 융합 시스템 및 그 방법 KR102083926B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130101288A KR102083926B1 (ko) 2013-08-26 2013-08-26 영상 융합 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130101288A KR102083926B1 (ko) 2013-08-26 2013-08-26 영상 융합 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150024169A true KR20150024169A (ko) 2015-03-06
KR102083926B1 KR102083926B1 (ko) 2020-03-03

Family

ID=53020939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130101288A KR102083926B1 (ko) 2013-08-26 2013-08-26 영상 융합 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102083926B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723750B1 (ko) * 2015-11-27 2017-04-07 중앙대학교 산학협력단 적외선 스텔스 장치 및 방법
CN108510455A (zh) * 2018-03-27 2018-09-07 长春理工大学 一种激光照射器图像融合方法及系统
CN113538255A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 一种运动融合降噪方法、设备及计算机可读存储介质
KR20230069334A (ko) * 2021-11-12 2023-05-19 한국전자기술연구원 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065447A (ko) * 2003-01-14 2004-07-22 한국원자력연구소 Ｃｃｄ카메라와 열영상의 매핑을 이용한 열영상관측화면의 방사율 보정기법 및 장치
US20090002475A1 (en) * 2007-06-27 2009-01-01 General Instrument Corporation Apparatus and System for Improving Image Quality
US20100177973A1 (en) * 2007-06-12 2010-07-15 Thomas Wedi Statistical image enhancing method, image coding method, and image decoding method
KR101194405B1 (ko) * 2012-02-06 2012-10-31 삼성탈레스 주식회사 복수의 이종 센서들을 이용한 표적 탐지 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065447A (ko) * 2003-01-14 2004-07-22 한국원자력연구소 Ｃｃｄ카메라와 열영상의 매핑을 이용한 열영상관측화면의 방사율 보정기법 및 장치
US20100177973A1 (en) * 2007-06-12 2010-07-15 Thomas Wedi Statistical image enhancing method, image coding method, and image decoding method
US20090002475A1 (en) * 2007-06-27 2009-01-01 General Instrument Corporation Apparatus and System for Improving Image Quality
KR101194405B1 (ko) * 2012-02-06 2012-10-31 삼성탈레스 주식회사 복수의 이종 센서들을 이용한 표적 탐지 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723750B1 (ko) * 2015-11-27 2017-04-07 중앙대학교 산학협력단 적외선 스텔스 장치 및 방법
CN108510455A (zh) * 2018-03-27 2018-09-07 长春理工大学 一种激光照射器图像融合方法及系统
CN108510455B (zh) * 2018-03-27 2020-07-17 长春理工大学 一种激光照射器图像融合方法及系统
CN113538255A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 一种运动融合降噪方法、设备及计算机可读存储介质
KR20230069334A (ko) * 2021-11-12 2023-05-19 한국전자기술연구원 다중 채널 정보 추출기를 포함하는 경량 딥러닝 장치

Also Published As

Publication number Publication date
KR102083926B1 (ko) 2020-03-03

Similar Documents

Publication Publication Date Title
KR102010228B1 (ko) 화상처리장치, 화상처리방법, 및 프로그램
KR101314259B1 (ko) 영상 융합 시스템 및 그 방법
US9369612B2 (en) Image fusion system and method
US8300890B1 (en) Person/object image and screening
US9648285B2 (en) Monitoring method and camera
KR101634248B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US10834337B2 (en) Dynamic frame rate controlled thermal imaging systems and methods
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
US10255683B1 (en) Discontinuity detection in video data
US11037013B2 (en) Camera and image processing method of camera
KR102083926B1 (ko) 영상 융합 시스템 및 그 방법
US9967478B2 (en) Imaging device and infrared image generation method
JP2010146094A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20110114096A (ko) 열상 카메라를 채용하는 감시 시스템 및 이를 이용한 야간 감시 방법
KR101625471B1 (ko) 보급형 열화상 카메라의 해상도 향상 방법 및 장치
KR101920369B1 (ko) 열화상 카메라의 영상처리장치 및 영상처리방법
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR20180017329A (ko) 촬상 장치
KR20180062060A (ko) 영상 감시 시스템
KR20230051138A (ko) 거리 센싱을 이용한 증강현실 제공 방법
WO2021263214A1 (en) Distance compensation for thermal imaging temperature measurement of inner canthus systems and methods
KR20190122618A (ko) 거리 차이를 이용한 증강현실 제공 방법
JP2020077400A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2003006659A (ja) コンピュータによる画像処理方法と画像処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant