KR20200016507A - 영상 합성 방법 및 장치 - Google Patents
영상 합성 방법 및 장치 Download PDFInfo
- Publication number
- KR20200016507A KR20200016507A KR1020180091695A KR20180091695A KR20200016507A KR 20200016507 A KR20200016507 A KR 20200016507A KR 1020180091695 A KR1020180091695 A KR 1020180091695A KR 20180091695 A KR20180091695 A KR 20180091695A KR 20200016507 A KR20200016507 A KR 20200016507A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- thermal
- real
- feature points
- real image
- Prior art date
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001931 thermography Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 16
- 238000003702 image correction Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000001308 synthesis method Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract 3
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명은 영상 합성 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 열감지 대상을 향하도록 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 단계, 열화상 이미지 및 실화상 이미지에서 서로 대응되는 복수의 제1 특징점 및 복수의 제2 특징점을 각각 선택하는 단계, 복수의 제1 특징점 및 복수의 제2 특징점이 서로 매칭되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정하는 단계 및 보정된 열화상 이미지 및 실화상 이미지를 합성하는 단계를 포함한다. 본 발명에 의하면, 카메라 앵글이 서로 다른 열화상 이미지와 실화상 이미지에 대하여 양 이미지에 있는 복수의 특징점을 매칭하는 방식을 통해 동일한 카메라 앵글에서 촬영된 이미지가 되도록 보정한 후 이를 합성함으로써 열감지 대상의 모니터링 영역을 확장할 수 있으면서도 열감지 대상의 온도분포를 보다 선명하고 정확하게 파악할 수 있다.
Description
본 발명은 영상 합성 방법 및 장치에 관한 것으로, 보다 상세하게는 열감지 대상의 열화상 이미지와 실화상 이미지를 합성할 수 있는 영상 합성 방법 및 장치에 관한 것이다.
일반적으로 열화상 기술은 감지 대상의 표면에 있는 복사 에너지를 검출하고, 이를 온도로 환산하여 실시간으로 영상을 제공하는 기술로서, 감지 대상의 표면 온도 변화를 비접촉, 비파괴 및 실시간으로 측정 가능하기 때문에 재료의 열적 특성 평가, 열화 진단, 결함 검사, 체열 측정을 통한 의료 진단, 화재나 가스누출 감시 또는 보안구역 침입 감시 등과 같은 다양한 분야에서 활용되고 있다.
이러한 열화상 기술이 적용되는 열화상 카메라는 모든 물체가 가지고 있는 고유한 복사 에너지로부터 방출되는 적외선 파장을 받아들여 출력되는 전기적인 신호를 사람이 인식할 수 있는 정지 영상 혹은 동영상으로 변환하여 출력하는 장치로서, 모터, 큰 부품이나 전기 패널 등을 단번에 측정할 수 있으며, 과열되거나 기타 위험한 부분이 아무리 작더라도 쉽게 발견할 수 있는 장점이 있다. 즉, 수 천 개의 적외선 온도계를 동시에 사용하는 것과 같은 효과가 있으며, 적외선 온도계는 한 지점의 온도만 측정할 수 있는 반면에, 열화상 카메라는 대상 물체 전체의 온도를 동시에 측정할 수 있다.
그리고 열화상 카메라에서 적외선 파장을 전기적인 신호로 변환하는 적외선 센서의 종류로는 열형의 상온방식과 광자형의 저온방식이 있는데, 이 중에서 저온방식은 성능이 뛰어나지만 액체질소 냉각기가 필요하고 가격이 높은 단점이 있는 반면에, 상온방식은 복사 에너지를 저항이나 전류 또는 기전력 변화로 검출하는 방식으로, 저온방식에 비하여 성능은 떨어지지만 냉각기가 필요 없고 가격이 저렴하여 일반적으로 많이 사용되고 있다.
하지만, 상온방식의 적외선 센서는 저온방식에 비해서 해상도가 낮기 때문에 사물의 구분 성능이 매우 부족한 문제점이 있었다. 그렇다고, 고해상도의 열화상 카메라를 사용하기에는 많은 비용이 소모되므로 경제적인 부담을 초래하게 되는 문제점이 있었다.
상술한 문제점을 해결하기 위하여 일반 카메라에서 촬영된 실화상 이미지와 열화상 카메라에서 촬영된 열화상 이미지를 합성하여 해상도를 향상시킬 수 있도록 하였다. 일례로, 열화상 카메라의 기능과 실화상 카메라의 기능을 하나로 통합하여 사용자가 휴대하면서 촬영할 수 있도록 한 소형의 장치가 개발되었으나, 해당 장치는 사용자가 촬영하는 방향에 대응하는 감지 대상의 일부 영역만 모니터링 할 수 있으며, 다른 위치에서 감지 대상을 촬영하고자 할 경우 사용자가 매번 이동해야 하는 번거로움이 있었다.
이에 따라, 감지 대상의 모니터링 영역이 제한되는 문제점이 있었다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 카메라 앵글이 서로 다른 열화상 이미지와 실화상 이미지에 대하여 양 이미지에 있는 복수의 특징점을 매칭하는 방식을 통해 동일한 카메라 앵글에서 촬영된 이미지가 되도록 보정한 후 이를 합성하여 열감지 대상의 모니터링 영역을 확장할 수 있으면서도 열감지 대상의 온도분포를 보다 선명하고 정확하게 파악할 수 있는 영상 합성 방법 및 장치를 제공하는 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 합성 방법은 열감지 대상을 향하도록 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 단계, 상기 열화상 이미지 및 상기 실화상 이미지에서 서로 대응되는 복수의 제1 특징점 및 복수의 제2 특징점을 각각 선택하는 단계, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점이 서로 매칭되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 단계 및 상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계를 포함한다.
상기 적어도 하나의 이미지를 보정하는 단계는 상기 복수의 제1 특징점에 대한 위치 정보 및 상기 복수의 제2 특징점에 대한 위치 정보를 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
상기 적어도 하나의 이미지를 보정하는 단계는 상기 복수의 제1 특징점을 연결하는 가상의 제1 선 및 상기 복수의 제2 특징점을 연결하는 가상의 제2 선을 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
상기 적어도 하나의 이미지를 보정하는 단계는 상기 제1 선의 거리 정보 및 방향 정보와, 상기 제2 선의 거리 정보 및 방향 정보를 각각 계산하고, 상기 계산된 제1 선의 거리 정보 및 방향 정보가, 상기 제2 선의 거리 정보 및 방향 정보와 일치하도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
상기 적어도 하나의 이미지를 보정하는 단계는 이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지에 대한 픽셀의 위치와 픽셀 값을 보정할 수 있다.
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 단계를 더 포함할 수 있다.
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계는 상기 열화상 이미지와, 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성할 수 있다.
한편, 본 발명의 실시예에 따른 영상 합성 장치는 열감지 대상을 향하도록 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 이미지 획득부, 상기 열화상 이미지 및 상기 실화상 이미지에서 서로 대응되는 복수의 제1 특징점 및 복수의 제2 특징점을 각각 선택하는 특징점 선택부, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점이 서로 매칭되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 이미지 보정부 및 상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 이미지 합성부를 포함한다.
상기 이미지 보정부는 상기 복수의 제1 특징점에 대한 위치 정보 및 상기 복수의 제2 특징점에 대한 위치 정보를 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
상기 이미지 보정부는 상기 복수의 제1 특징점을 연결하는 가상의 제1 선 및 상기 복수의 제2 특징점을 연결하는 가상의 제2 선을 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
상기 이미지 보정부는 상기 제1 선의 거리 정보 및 방향 정보와, 상기 제2 선의 거리 정보 및 방향 정보를 각각 계산하고, 상기 계산된 제1 선의 거리 정보 및 방향 정보가, 상기 제2 선의 거리 정보 및 방향 정보와 일치하도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
상기 이미지 보정부는 이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지에 대한 픽셀의 위치와 픽셀 값을 보정할 수 있다.
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 이미지 처리부를 더 포함할 수 있다.
상기 이미지 합성부는 상기 열화상 이미지와, 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성할 수 있다.
이와 같이 본 발명의 실시예에 따른 영상 합성 방법 및 장치에 따르면, 카메라 앵글이 서로 다른 열화상 이미지와 실화상 이미지에 대하여 양 이미지에 있는 복수의 특징점을 매칭하는 방식을 통해 동일한 카메라 앵글에서 촬영된 이미지가 되도록 보정한 후 이를 합성할 수 있기 때문에 카메라의 위치에 대응하여 열감지 대상의 모니터링 영역을 확장할 수 있는 장점이 있다. 특히, 카메라가 좌우 또는 상하 방향으로 이동 가능하게 설치된 경우, 열감지 대상의 모니터링 영역을 더욱 확장시킬 수 있는 장점이 있다.
그리고 실화상 이미지에 있는 윤곽선 영역과 열화상 이미지를 합성하여 열화상 이미지에 있는 윤곽선의 선명도를 향상시킬 수 있기 때문에 열감지 대상의 온도분포를 보다 정확하게 파악할 수 있는 장점이 있다.
이에 따라, 합성된 이미지의 품질을 향상시킬 수 있는 효과를 창출한다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 본 발명의 일 실시예에 따른 열감지 대상을 모니터링하기 위한 구성을 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시한 영상 합성 장치의 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따른 가상의 선을 이용하여 이미지를 보정하는 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상을 합성하는 과정을 보여주는 동작 흐름도이다.
도 2는 도 1에 도시한 영상 합성 장치의 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따른 가상의 선을 이용하여 이미지를 보정하는 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상을 합성하는 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 열감지 대상을 모니터링하기 위한 구성을 개략적으로 보여주는 도면을 나타낸다.
도 1에 도시한 바와 같이, 열감지 대상(10)을 모니터링하기 위한 시스템은 열화상 카메라(100), 실화상 카메라(200) 및 영상 합성 장치(300)를 포함하여 구성된다. 열감지 대상(10)은 온도분포의 확인을 위해 모니터링이 필요한 모든 대상으로서, 예컨대, 가공 및 생산 작업장, 데이터 센터, 발전소 및 변/배전 시설, 운수 및 대중교통 시설, 냉동 창고 및 각종 저장시설 등의 중요한 전기/기계 부품이나 설비 등이 될 수 있다.
열화상 카메라(100)는 열감지 대상(10)을 바라보는 제1 위치에 설치되어 열감지 대상(10)을 촬영할 수 있다. 즉 열화상 카메라(100)는 열감지 대상(10)을 촬영하여 열화상 이미지를 생성하고, 생성된 열화상 이미지를 영상 합성 장치(300)에 전송할 수 있다.
열화상 카메라(100)는 제1 위치에 고정 설치되거나, 제1 위치에서 회전 가능하게 설치될 수 있다. 보다 자세하게는, 열화상 카메라(100)는 열감지 대상(10)의 임의의 한 방향을 촬영할 수 있도록 움직이지 않게 고정 설치되거나, 제1 위치에 고정된 상태에서 상하 또는 좌우 방향으로 회전 가능하도록 설치될 수 있다. 또는, 열화상 카메라(100)는 미리 정해진 동선을 따라 움직이면서 상하 또는 좌우 방향으로 회전하여 열감지 대상(10)의 표면 온도를 골고루 측정하도록 구성될 수도 있다.
실화상 카메라(200)는 열감지 대상(10)을 바라보는 제2 위치에 설치되어 열감지 대상(10)을 촬영할 수 있다. 즉 실화상 카메라(200)는 열감지 대상(10)을 촬영하여 실화상 이미지를 생성하고, 생성된 실화상 이미지를 영상 합성 장치(300)에 전송할 수 있다.
실화상 카메라(200)는 제2 위치에 고정 설치되거나, 제2 위치에서 회전 가능하게 설치될 수 있다. 보다 자세하게는, 실화상 카메라(200)는 열감지 대상(10)의 임의의 한 방향을 촬영할 수 있도록 움직이지 않게 고정 설치되거나, 제2 위치에 고정된 상태에서 상하 또는 좌우 방향으로 회전 가능하도록 설치될 수 있다. 또는, 실화상 카메라(200)는 미리 정해진 동선을 따라 움직이면서 상하 또는 좌우 방향으로 회전하여 열감지 대상(10)을 골고루 촬영하도록 구성될 수도 있다.
실화상 카메라(200)는 열감지 대상(10)의 색에 따라 미리 정해진 픽셀 값을 가지는 일반적인 영상 데이터인 실화상 이미지를 생성할 수 있고, CCD(Charge Coupled Device) 카메라와 같이 CCD 소자를 이용한 촬상 장치나, CMOS(Complementary Metal Oxide Semiconductor) 카메라와 같이 CMOS 이미지 센서를 이용한 촬상 장치 등으로 이루어질 수 있다.
본 발명의 실시예에서는 열화상 카메라(100)와 실화상 카메라(200)가 열감지 대상(10)을 기준으로 서로 대칭되게 설치되었으나, 이는 본 발명에 따른 일실시예로서 열화상 카메라(100)와 실화상 카메라(200)는 열감지 대상(10)을 촬영할 수 있는 다양한 위치에 설치될 수 있다.
열화상 카메라(100) 및 실화상 카메라(200)는 생성된 열화상 이미지 및 실화상 이미지를 영상 합성 장치(300)에 전송하기 위하여 통신 모듈(미도시)이 각각 설치될 수 있다. 여기서, 통신 모듈은 USB 케이블 등과 같은 유선 통신 모듈 또는 무선 통신 모듈로 이루어질 수 있다. 통신 모듈이 무선 통신 모듈로 이루어질 경우 열화상 카메라(100) 및 실화상 카메라(200)는 영상 합성 장치(300)와의 거리에 구애받지 않고 열화상 이미지 및 실화상 이미지를 용이하게 영상 합성 장치(300)에 전송할 수 있다.
이하에서는 도 1에 도시된 영상 합성 장치의 구체적인 구성에 대해 도 2를 참조하여 설명하기로 한다.
도 2는 도 1에 도시한 영상 합성 장치의 세부 구성도이다.
도 2를 참조하면, 영상 합성 장치(300)는 이미지 획득부(310), 이미지 처리부(320), 특징점 선택부(330), 이미지 보정부(340) 및 이미지 합성부(350)를 포함하여 구성된다.
이미지 획득부(310)는 열감지 대상(10)의 온도에 따라 미리 정해진 색상의 픽셀 값을 가지는 열화상 이미지를 열화상 카메라(100)로부터 획득하여 이미지 처리부(320)에 전송할 수 있다. 그리고 이미지 획득부(310)는 열감지 대상(10)의 색에 따라 미리 정해진 픽셀 값을 가지는 실화상 이미지를 실화상 카메라(200)로부터 획득하여 이미지 처리부(320)에 전송할 수 있다.
이미지 처리부(320)는 열화상 이미지와 실화상 이미지에 이미지 프로세싱을 수행할 수 있다.
보다 자세하게는, 이미지 처리부(320)는 열화상 이미지 및 실화상 이미지에 있는 노이즈를 제거하거나, 열화상 이미지 및 실화상 이미지의 해상도를 조정하는 이미지 전처리를 수행할 수 있다. 예컨대, 이미지 처리부(320)는 모션 블러(motion blur)를 제거하는 알고리즘 및 이미지의 가장자리를 선명하게 하는 알고리즘 등을 이용하여 필요에 따라 이미지에 있는 노이즈를 전반적으로 줄일 수 있고, 열화상 이미지와 실화상 이미지의 해상도를 전반적으로 높일 수 있는 이미지 프로세싱을 수행할 수 있다.
그리고 이미지 처리부(320)는 열화상 이미지 및 실화상 이미지의 사이즈를 조정하는 이미지 전처리를 수행할 수 있는데, 하기에서 설명할 이미지 합성을 위하여 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 줄이는 프로세싱을 수행할 수 있다. 예컨대, 열화상 이미지가 실화상 이미지보다 크기가 작을 경우, 이미지 처리부(320)는 열화상 이미지의 크기에 맞게 실화상 이미지의 크기를 조정하여 두 이미지의 사이즈를 맞추는 프로세싱을 수행할 수 있다.
특징점 선택부(330)는 열화상 이미지 및 실화상 이미지에서 서로 대응되는 복수의 제1 특징점 및 복수의 제2 특징점을 각각 선택할 수 있다. 즉 특징점 선택부(330)는 열화상 이미지에서 복수의 제1 특징점을 선택하고, 실화상 이미지에서 복수의 제1 특징점과 서로 대응되는 복수의 제2 특징점을 선택할 수 있다. 이때, 이미지 프로세싱이 수행된 열화상 이미지 및 실화상 이미지가 출력 모듈(미도시)을 통해 화면표시수단으로 출력되면, 출력된 열화상 이미지 및 실화상 이미지를 확인한 사용자가 사용자 인터페이스 모듈을 통해 복수의 제1 특징점 및 복수의 제2 특징점을 직접 선택하도록 구성될 수 있거나, 영상 합성 장치(300)에 미리 설치되어 있는 특징점 추출 알고리즘을 통해 열화상 이미지 및 실화상 이미지에서 복수의 제1 특징점 및 복수의 제2 특징점을 자동으로 선택하도록 구성될 수 있다. 특징점 추출 알고리즘으로는 SIFT(Scale Invariant Feature Transform) 알고리즘, SURF(Speeded Up Robust Features) 알고리즘 또는 FAST(Features from Accelerated Segment Test) 알고리즘 등이 있는데, SIFT 알고리즘은 각 영상 스케일마다 라플라시안(Laplacian) 값을 계산하되 그 값이 이미지 내에서 뿐만 아니라 스케일 축으로도 극대(또는 극소)인 점들을 특징점으로 선택하는 방식이고, SURF 알고리즘은 스케일 공간(Scale space) 상에서 헤시안(Hessian) 행렬의 행렬식이 극대인 점들을 특징점으로 검출하는 방식이며, FAST 알고리즘은 임의의 점이 코너점인지를 임의의 점을 중심으로 하는 원에 있는 16개의 픽셀 값을 보고 판단하는 방식을 말한다.
이미지 보정부(340)는 복수의 제1 특징점 및 복수의 제2 특징점이 서로 매칭되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 동일한 카메라 렌즈를 통해 입사하는 가시광선과 적외선을 이용하여 열화상 이미지와 실화상 이미지를 획득한 경우라면 보정이 필요하지 않지만, 서로 다른 카메라 앵글로 설치된 열화상 카메라(100)와 실화상 카메라(200)를 이용하여 해당 이미지를 획득한 경우라면 획득한 이미지가 허용 오차 범위에 속하도록 카메라 앵글을 조정할 필요가 있다. 따라서, 이미지 보정부(340)는 열화상 이미지의 카메라 앵글을 실화상 이미지에 맞게 보정하거나, 그 반대로 보정하거나, 양 이미지가 정면 방향의 카메라 앵글에 해당되게 보정할 수 있으며, 이러한 이미지의 보정을 위하여 양 이미지에 있는 복수의 특징점을 서로 매칭하는 방식을 사용할 수 있다.
보다 구체적으로는, 이미지 보정부(340)는 복수의 제1 특징점 각각에 대한 위치 정보 및 복수의 제2 특징점 각각에 대한 위치 정보를 이용하여 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 예컨대, 이미지 보정부(340)는 열화상 이미지에서 2개의 제1 특징점(P1, P2)에 대한 위치 좌표인 P1(x11, y11) 및 P2(x12, y12)를 산출하고, 실화상 이미지에서 2개의 제1 특징점(P1, P2)에 대응되는 2개의 제2 특징점(U1, U2)에 대한 위치 좌표인 U1(x21, y21) 및 U2(x22, y22)를 산출한 후, P1(x11, y11)과 U1(x21, y21)이 서로 매칭되고, P2(x12, y12)와 U2(x22, y22)가 서로 매칭되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지의 픽셀을 조정할 수 있다.
또한 이미지 보정부(340)는 복수의 제1 특징점을 연결하는 가상의 제1 선 및 복수의 제2 특징점을 연결하는 가상의 제2 선을 이용하여 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
보다 자세하게는, 이미지 보정부(340)는 복수의 제1 특징점을 연결하는 제1 선의 거리 정보 및 방향 정보와, 복수의 제2 특징점을 연결하는 제2 선의 거리 정보 및 방향 정보를 각각 계산하고, 계산된 제1 선의 거리 정보 및 방향 정보가, 제2 선의 거리 정보 및 방향 정보와 서로 대응되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상의 선을 이용하여 이미지를 보정하는 과정을 설명하기 위한 예시도로서, 도 3을 참조하여 예를 들면, 열화상 이미지에서 2개의 제1 특징점(P1, P2)이 선택되고, 실화상 이미지에서 제1 특징점(P1, P2)에 대응되는 2개의 제2 특징점(U1, U2)이 선택될 경우, 이미지 보정부(340)는 P1과 P2를 연결하는 가상의 제1 선(L1)을 생성하고, U1과 U2를 연결하는 가상의 제2 선(L2)을 생성할 수 있다. 그리고 이미지 보정부(340)는 P1의 위치 좌표인 P1(x11, y11)과 P2의 위치 좌표인 P2(x12, y12)를 이용하여 제1 선(L1)의 거리 정보 및 방향 정보를 계산하고, U1의 위치 좌표인 U1(x21, y21)과 U2의 위치 좌표인 U2(x22, y22)를 이용하여 제2 선(L2)의 거리 정보 및 방향 정보를 계산할 수 있다. 그런 다음, 제1 선(L1)의 거리 정보 및 방향 정보가, 제2 선(L2)의 거리 정보 및 방향 정보와 서로 일치하도록 이미지 보정부(340)는 열화상 이미지의 픽셀을 조정하거나 실화상 이미지의 픽셀을 조정하여 양 이미지의 카메라 앵글이 일치하는 보정을 수행할 수 있다.
이와 같이, 제1 특징점이 두 개인 경우, 가상의 제1 선은 두 개의 제1 특징점을 연결하는 1개의 직선으로 이루어지고, 제2 특징점이 두 개인 경우, 가상의 제2 선은 두 개의 제2 특징점을 연결하는 1개의 직선으로 이루어질 수 있다. 그리고 제1 특징점이 세 개 이상인 경우, 가상의 제1 선은 세 개 이상의 제1 특징점을 연결하는 직선의 조합으로 이루어지고, 제2 특징점이 세 개 이상인 경우, 가상의 제2 선은 세 개 이상의 제2 특징점을 연결하는 직선의 조합으로 이루어질 수 있다. 이와 같이, 제1 특징점 및 제2 특징점이 세 개 이상으로 이루어질 경우, 가상의 제1 및 제2 선은 복수의 직선이 조합된 형태로 이루어질 수 있으며, 가상의 제1 선을 이루고 있는 각 직선의 거리 정보 및 방향 정보가, 가상의 제2 선을 이루고 있는 각 직선의 거리 정보 및 방향 정보와 서로 대응되도록 이미지의 픽셀을 조정할 수 있다. 예컨대, 제1 특징점이 P1, P2, P3로 이루어지고 제2 특징점이 U1, U2, U3로 이루어질 경우, 가상의 제1 선은 P1과 P2를 연결하는 직선과, P2와 P3을 연결하는 직선의 조합으로 이루어지고, 가상의 제2 선은 U1과 U2를 연결하는 직선과, U2와 U3을 연결하는 직선의 조합으로 이루어질 수 있다. 그러면 이미지 보정부(340)는 P1과 P2를 연결하는 직선과 U1과 U2를 연결하는 직선이 서로 대응되도록 하고, P2와 P3을 연결하는 직선과 U2와 U3을 연결하는 직선이 서로 대응되도록 이미지의 픽셀을 조정할 수 있다.
이미지 보정부(340)는 서로 다른 카메라 앵글에서 촬영된 이미지의 픽셀을 조정하여 카메라 앵글을 일치시키는 보정을 수행하기 위하여 다양한 알고리즘이 사용될 수 있는데, 대표적으로 이미지 워핑(Image Warping) 알고리즘이 사용될 수 있다. 이미지 워핑 알고리즘은 이미지 픽셀의 위치를 이동시켜 이미지의 형태를 가변시키는 기하학적인 처리 기술로서, 이미지의 픽셀별로 이동하는 정도를 다르게 하거나 픽셀 값을 가변시켜 원하는 영상을 얻을 수 있도록 한다. 이를 위하여 이미지 보정부(340)는 이미지 워핑 알고리즘에 따라 제1 특징점의 위치 정보 및 제2 특징점의 위치 정보에 대응하는 위치 변환 함수를 생성한 후, 생성된 위치 변환 함수를 이용하여 보정하고자 하는 이미지에 대한 픽셀의 위치를 이동시키거나 픽셀 값을 조정함으로써 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 즉 이미지 보정부(340)는 제어선, 제어점, 그물망 또는 다각형에 의한 이미지 워핑 알고리즘을 기초로 열화상 이미지와 실화상 이미지의 대응 관계를 기술하여 이미지를 보정할 수 있다.
이와 같이, 이미지 보정부(340)는 이미지 워핑 알고리즘을 이용하여 열화상 이미지와 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 보정할 수 있다.
이미지 합성부(350)는 보정된 열화상 이미지 및 실화상 이미지를 합성할 수 있다.
보다 자세하게는, 이미지 합성부(350)는 열화상 이미지와, 실화상 이미지에 있는 열감지 대상(10)의 윤곽선 영역을 합성하여 열감지 대상(10)의 윤곽선을 보다 선명하게 구분할 수 있도록 한다. 즉 이미지 합성부(350)는 열화상 이미지에 있는 온도분포 영역과, 실화상 이미지에 있는 열감지 대상(10)의 윤곽선 특징을 기반으로 이미지 매칭을 수행하여 고해상도의 열화상 이미지를 생성할 수 있다. 이를 위하여 이미지 합성부(350)는 실화상 이미지에서 열감지 대상(10)의 윤곽선 영역을 추출하고, 열화상 이미지에서는 열감지 대상(10)의 윤곽선을 제외한 온도분포 이미지를 추출한 후 이를 합성할 수 있다.
여기서, 열감지 대상의 윤곽선 영역은 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다. 보다 자세하게는, 이미지 합성부(350)는 열화상 이미지에서 열감지 대상(10)의 윤곽선 영역과 접하거나 인접한 영역의 색상을 추출한 후, 이미지의 합성 시 추출된 색상에 대비되는 색상으로 열감지 대상의 윤곽선 영역을 조정할 수 있다. 이에 따라, 합성된 이미지에 있는 윤곽선 영역의 선명도를 향상시키면서도 열감지 대상(10)의 온도분포를 보다 정확하게 파악할 수 있게 된다.
하기에서는 본 발명의 실시예에 따른 영상 합성 방법에 대하여 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 영상 합성 과정을 보여주는 동작 흐름도를 나타낸다.
도 4를 참조하면, 열감지 대상을 향하도록 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득할 수 있다(S400).
보다 자세하게는, 열감지 대상의 온도에 따라 미리 정해진 색상의 픽셀 값을 가지는 열화상 이미지를 열화상 카메라로부터 획득할 수 있고, 열감지 대상의 색에 따라 미리 정해진 픽셀 값을 가지는 실화상 이미지를 실화상 카메라로부터 획득할 수 있다.
그리고 획득된 열화상 이미지 및 실화상 이미지에 이미지 프로세싱을 수행할 수 있다(S410).
보다 자세하게는, 열화상 이미지 및 실화상 이미지에 있는 노이즈를 제거하고 해상도를 소정의 해상도로 높이는 이미지 전처리를 수행할 수 있다. 예컨대, 모션 블러(motion blur)를 제거하는 알고리즘 및 이미지의 가장자리를 선명하게 하는 알고리즘 등을 이용하여 필요에 따라 이미지에 있는 노이즈를 전반적으로 줄일 수 있고, 열화상 이미지와 실화상 이미지의 해상도를 전반적으로 높일 수 있는 이미지 프로세싱을 수행할 수 있다.
그리고 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 조정할 수 있다. 즉, 하기에서 설명할 이미지 합성을 위하여 열화상 이미지 및 실화상 이미지 중 크기가 작은 이미지를 기준으로 사이즈를 줄이는 프로세싱을 수행할 수 있다. 예컨대, 열화상 이미지가 실화상 이미지보다 크기가 작을 경우 열화상 이미지의 크기에 맞게 실화상 이미지의 크기를 조정하여 두 이미지의 사이즈를 맞추는 프로세싱을 수행할 수 있다. 이외에 열화상 이미지에 있는 열감지 대상의 크기와 실화상 이미지에 있는 열감지 대상의 크기를 동일하게 조정하는 프로세싱을 수행할 수도 있다.
다음으로, 열화상 이미지 및 실화상 이미지에서 서로 대응되는 복수의 제1 특징점 및 복수의 제2 특징점을 각각 선택할 수 있다(S420). 즉 열화상 이미지에서 복수의 제1 특징점을 선택하고, 실화상 이미지에서 복수의 제1 특징점과 서로 대응되는 복수의 제2 특징점을 선택할 수 있다. 이때, 이미지 프로세싱이 수행된 열화상 이미지 및 실화상 이미지가 출력 모듈(미도시)을 통해 화면표시수단으로 출력되면, 출력된 열화상 이미지 및 실화상 이미지를 확인한 사용자가 사용자 인터페이스 모듈을 통해 복수의 제1 특징점 및 복수의 제2 특징점을 직접 선택하도록 구성될 수 있거나, 영상 합성 장치에 미리 설치되어 있는 특징점 추출 알고리즘을 통해 열화상 이미지 및 실화상 이미지에서 복수의 제1 특징점 및 복수의 제2 특징점을 자동으로 선택하도록 구성될 수 있다. 특징점 추출 알고리즘으로는 SIFT(Scale Invariant Feature Transform) 알고리즘, SURF(Speeded Up Robust Features) 알고리즘 또는 FAST(Features from Accelerated Segment Test) 알고리즘 등이 있는데, SIFT 알고리즘은 각 영상 스케일마다 라플라시안(Laplacian) 값을 계산하되 그 값이 이미지 내에서 뿐만 아니라 스케일 축으로도 극대(또는 극소)인 점들을 특징점으로 선택하는 방식이고, SURF 알고리즘은 스케일 공간(Scale space) 상에서 헤시안(Hessian) 행렬의 행렬식이 극대인 점들을 특징점으로 검출하는 방식이며, FAST 알고리즘은 임의의 점이 코너점인지를 임의의 점을 중심으로 하는 원에 있는 16개의 픽셀 값을 보고 판단하는 방식을 말한다.
그런 다음, 복수의 제1 특징점 및 복수의 제2 특징점이 서로 매칭되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다(S430).
보다 구체적으로는, 복수의 제1 특징점 각각에 대한 위치 정보 및 복수의 제2 특징점 각각에 대한 위치 정보를 이용하여 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다. 예컨대, 열화상 이미지에서 2개의 제1 특징점(P1, P2)에 대한 위치 좌표인 P1(x11, y11) 및 P2(x12, y12)를 산출하고, 실화상 이미지에서 2개의 제1 특징점(P1, P2)에 대응하는 2개의 제2 특징점(U1, U2)에 대한 위치 좌표인 U1(x21, y21) 및 U2(x22, y22)를 산출한 후, P1(x11, y11)과 U1(x21, y21)이 서로 매칭되고, P2(x12, y12)와 U2(x22, y22)가 서로 매칭되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지의 픽셀을 조정할 수 있다.
또한, 복수의 제1 특징점을 연결하는 가상의 제1 선 및 복수의 제2 특징점을 연결하는 가상의 제2 선을 이용하여 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
보다 자세하게는, 복수의 제1 특징점을 연결하는 제1 선의 거리 정보 및 방향 정보와, 복수의 제2 특징점을 연결하는 제2 선의 거리 정보 및 방향 정보를 각각 계산하고, 계산된 제1 선의 거리 정보 및 방향 정보가, 제2 선의 거리 정보 및 방향 정보와 서로 대응되도록 열화상 이미지 및 실화상 이미지 중 적어도 하나의 이미지를 보정할 수 있다.
그 후, 보정된 열화상 이미지 및 실화상 이미지를 합성할 수 있다(S440).
보다 자세하게는, 열화상 이미지와, 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하여 열감지 대상의 윤곽선을 보다 선명하게 구분할 수 있도록 한다. 즉 열화상 이미지에 있는 온도분포 영역과, 실화상 이미지에 있는 열감지 대상의 윤곽선 특징을 기반으로 이미지 매칭을 수행하여 고해상도의 열화상 이미지를 생성할 수 있다. 이를 위하여 실화상 이미지에서 열감지 대상의 윤곽선 영역을 추출하고, 열화상 이미지에서는 열감지 대상의 윤곽선을 제외한 온도분포 이미지를 추출한 후 이를 합성할 수 있다.
여기서, 열감지 대상의 윤곽선 영역은 열화상 이미지의 색상에 보색인 색상으로 이루어질 수 있다. 보다 자세하게는, 열화상 이미지에서 열감지 대상의 윤곽선 영역과 접하거나 인접한 영역의 색상을 추출한 후, 이미지의 합성 시 추출된 색상에 대비되는 색상으로 열감지 대상의 윤곽선 영역을 조정할 수 있다. 이에 따라, 합성된 이미지에 있는 윤곽선 영역의 선명도를 향상시키면서도 열감지 대상의 온도분포를 보다 정확하게 파악할 수 있게 된다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 영상 합성 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 열화상 카메라
200: 실화상 카메라
300: 영상 합성 장치
310: 이미지 획득부
320: 이미지 처리부
330: 특징점 선택부
340: 이미지 보정부
350: 이미지 합성부
200: 실화상 카메라
300: 영상 합성 장치
310: 이미지 획득부
320: 이미지 처리부
330: 특징점 선택부
340: 이미지 보정부
350: 이미지 합성부
Claims (14)
- 열감지 대상을 향하도록 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 단계,
상기 열화상 이미지 및 상기 실화상 이미지에서 서로 대응되는 복수의 제1 특징점 및 복수의 제2 특징점을 각각 선택하는 단계,
상기 복수의 제1 특징점 및 상기 복수의 제2 특징점이 서로 매칭되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 단계, 및
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계
를 포함하는 영상 합성 방법. - 제 1 항에서,
상기 적어도 하나의 이미지를 보정하는 단계는,
상기 복수의 제1 특징점에 대한 위치 정보 및 상기 복수의 제2 특징점에 대한 위치 정보를 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 영상 합성 방법. - 제 1 항에서,
상기 적어도 하나의 이미지를 보정하는 단계는,
상기 복수의 제1 특징점을 연결하는 가상의 제1 선 및 상기 복수의 제2 특징점을 연결하는 가상의 제2 선을 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 영상 합성 방법. - 제 3 항에서,
상기 적어도 하나의 이미지를 보정하는 단계는,
상기 제1 선의 거리 정보 및 방향 정보와, 상기 제2 선의 거리 정보 및 방향 정보를 각각 계산하고,
상기 계산된 제1 선의 거리 정보 및 방향 정보가, 상기 제2 선의 거리 정보 및 방향 정보와 일치하도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 영상 합성 방법. - 제 1 항에서,
상기 적어도 하나의 이미지를 보정하는 단계는,
이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지에 대한 픽셀의 위치와 픽셀 값을 보정하는 영상 합성 방법. - 제 1 항에서,
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 단계를 더 포함하는 영상 합성 방법. - 제 1 항에서,
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 단계는,
상기 열화상 이미지와, 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하는 영상 합성 방법. - 열감지 대상을 향하도록 설치된 열화상 카메라 및 실화상 카메라로부터 열화상 이미지 및 실화상 이미지를 각각 획득하는 이미지 획득부,
상기 열화상 이미지 및 상기 실화상 이미지에서 서로 대응되는 복수의 제1 특징점 및 복수의 제2 특징점을 각각 선택하는 특징점 선택부,
상기 복수의 제1 특징점 및 상기 복수의 제2 특징점이 서로 매칭되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 이미지 보정부, 및
상기 보정된 열화상 이미지 및 상기 실화상 이미지를 합성하는 이미지 합성부
를 포함하는 영상 합성 장치. - 제 8 항에서,
상기 이미지 보정부는,
상기 복수의 제1 특징점에 대한 위치 정보 및 상기 복수의 제2 특징점에 대한 위치 정보를 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 영상 합성 장치. - 제 8 항에서,
상기 이미지 보정부는,
상기 복수의 제1 특징점을 연결하는 가상의 제1 선 및 상기 복수의 제2 특징점을 연결하는 가상의 제2 선을 이용하여 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 영상 합성 장치. - 제 10 항에서,
상기 이미지 보정부는,
상기 제1 선의 거리 정보 및 방향 정보와, 상기 제2 선의 거리 정보 및 방향 정보를 각각 계산하고,
상기 계산된 제1 선의 거리 정보 및 방향 정보가, 상기 제2 선의 거리 정보 및 방향 정보와 일치하도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지를 보정하는 영상 합성 장치. - 제 8 항에서,
상기 이미지 보정부는,
이미지 워핑(Image Warping) 알고리즘에 따라 상기 열화상 이미지 및 실화상 이미지가 동일한 카메라 앵글에서 촬영된 이미지가 되도록 상기 열화상 이미지 및 상기 실화상 이미지 중 적어도 하나의 이미지에 대한 픽셀의 위치와 픽셀 값을 보정하는 영상 합성 장치. - 제 8 항에서,
상기 획득된 열화상 이미지 및 상기 실화상 이미지에 이미지 프로세싱을 수행하는 이미지 처리부를 더 포함하는 영상 합성 장치. - 제 8 항에서,
상기 이미지 합성부는,
상기 열화상 이미지와, 상기 실화상 이미지에 있는 열감지 대상의 윤곽선 영역을 합성하는 영상 합성 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180091695A KR102096576B1 (ko) | 2018-08-07 | 2018-08-07 | 영상 합성 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180091695A KR102096576B1 (ko) | 2018-08-07 | 2018-08-07 | 영상 합성 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200016507A true KR20200016507A (ko) | 2020-02-17 |
| KR102096576B1 KR102096576B1 (ko) | 2020-04-02 |
Family
ID=69670692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180091695A KR102096576B1 (ko) | 2018-08-07 | 2018-08-07 | 영상 합성 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102096576B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113340895A (zh) * | 2021-06-04 | 2021-09-03 | 深圳中科飞测科技股份有限公司 | 检测系统的调节方法及检测系统 |
| WO2022080610A1 (ko) * | 2020-10-15 | 2022-04-21 | (주)미래환경플랜건축사사무소 | 열화상 및 실화상을 이용한 건물 외벽의 열적 이상 부위 판단 시스템과 그 방법 |
| KR20230127718A (ko) * | 2022-02-25 | 2023-09-01 | 인하대학교 산학협력단 | 열화상 데이터와 실화상 데이터간의 시야각 차이 조정 방법 및 시스템 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194826A (ja) * | 1998-12-22 | 2000-07-14 | Internatl Business Mach Corp <Ibm> | タイポイント識別装置及び方法 |
| KR100984679B1 (ko) | 2009-12-23 | 2010-10-01 | 주식회사 비츠로테크 | 열화상 카메라를 이용한 수배전반 열화 예측시스템 |
| KR20120091970A (ko) * | 2011-02-09 | 2012-08-20 | 연세대학교 산학협력단 | 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체 |
| KR20160056023A (ko) * | 2014-11-11 | 2016-05-19 | 김상수 | 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 |
| KR20160124334A (ko) * | 2015-04-17 | 2016-10-27 | (주)보강하이텍 | 다중 카메라를 이용한 영상 진단 장치 |
| KR101806045B1 (ko) * | 2016-10-17 | 2017-12-07 | 한국기초과학지원연구원 | 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 그 제어 방법 |
-
2018
- 2018-08-07 KR KR1020180091695A patent/KR102096576B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194826A (ja) * | 1998-12-22 | 2000-07-14 | Internatl Business Mach Corp <Ibm> | タイポイント識別装置及び方法 |
| KR100984679B1 (ko) | 2009-12-23 | 2010-10-01 | 주식회사 비츠로테크 | 열화상 카메라를 이용한 수배전반 열화 예측시스템 |
| KR20120091970A (ko) * | 2011-02-09 | 2012-08-20 | 연세대학교 산학협력단 | 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체 |
| KR20160056023A (ko) * | 2014-11-11 | 2016-05-19 | 김상수 | 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 |
| KR20160124334A (ko) * | 2015-04-17 | 2016-10-27 | (주)보강하이텍 | 다중 카메라를 이용한 영상 진단 장치 |
| KR101806045B1 (ko) * | 2016-10-17 | 2017-12-07 | 한국기초과학지원연구원 | 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 그 제어 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022080610A1 (ko) * | 2020-10-15 | 2022-04-21 | (주)미래환경플랜건축사사무소 | 열화상 및 실화상을 이용한 건물 외벽의 열적 이상 부위 판단 시스템과 그 방법 |
| KR20220049746A (ko) * | 2020-10-15 | 2022-04-22 | (주)미래환경플랜건축사사무소 | 열화상 및 실화상을 이용한 건물 외벽의 열적 이상 부위 판단 시스템과 그 방법 |
| CN113340895A (zh) * | 2021-06-04 | 2021-09-03 | 深圳中科飞测科技股份有限公司 | 检测系统的调节方法及检测系统 |
| KR20230127718A (ko) * | 2022-02-25 | 2023-09-01 | 인하대학교 산학협력단 | 열화상 데이터와 실화상 데이터간의 시야각 차이 조정 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102096576B1 (ko) | 2020-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10462362B2 (en) | Feature based high resolution motion estimation from low resolution images captured using an array source | |
| CN109377469B (zh) | 一种热成像融合可见光图像的处理方法、系统及存储介质 | |
| US10129490B2 (en) | Systems and approaches for thermal image corrections | |
| US9654704B2 (en) | Apparatus and method for multispectral imaging with three dimensional overlaying | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| Sinha et al. | Pan–tilt–zoom camera calibration and high-resolution mosaic generation | |
| KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
| CN103902953B (zh) | 一种屏幕检测系统及方法 | |
| CN102997891B (zh) | 场景深度的测量装置和方法 | |
| KR102096576B1 (ko) | 영상 합성 방법 및 장치 | |
| CN105741379A (zh) | 一种变电站全景巡检方法 | |
| KR102144394B1 (ko) | 영상 정합 장치 및 이를 이용한 영상 정합 방법 | |
| CN109685078A (zh) | 基于自动标注的红外图像识别方法 | |
| CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| KR20200016508A (ko) | 영상 합성 방법 및 장치 | |
| US20210335010A1 (en) | Calibration method and calibration apparatus | |
| KR20200009667A (ko) | 영상 합성 장치 및 그의 영상 합성 방법 | |
| KR101625471B1 (ko) | 보급형 열화상 카메라의 해상도 향상 방법 및 장치 | |
| KR102050418B1 (ko) | 영상 정합 장치 및 이를 이용한 영상 정합 방법 | |
| KR20140038749A (ko) | 영상 왜곡 보정 장치 및 방법 | |
| CN115035466A (zh) | 一种用于安全监视的红外全景雷达系统 | |
| KR102235018B1 (ko) | 해상도가 다른 영상을 정합하는 장치 및 방법 | |
| Hoegner et al. | Texture extraction for building models from IR sequences of urban areas | |
| KR102480209B1 (ko) | 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치 | |
| KR101514366B1 (ko) | 감시 카메라 시스템의 영상합성 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |