KR102333490B1 - Heterogeneous image processing device - Google Patents

Heterogeneous image processing device Download PDF

Info

Publication number
KR102333490B1
KR102333490B1 KR1020200058831A KR20200058831A KR102333490B1 KR 102333490 B1 KR102333490 B1 KR 102333490B1 KR 1020200058831 A KR1020200058831 A KR 1020200058831A KR 20200058831 A KR20200058831 A KR 20200058831A KR 102333490 B1 KR102333490 B1 KR 102333490B1
Authority
KR
South Korea
Prior art keywords
image
thermal
absolute reference
led
real
Prior art date
Application number
KR1020200058831A
Other languages
Korean (ko)
Other versions
KR20210142245A (en
Inventor
김용현
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020200058831A priority Critical patent/KR102333490B1/en
Publication of KR20210142245A publication Critical patent/KR20210142245A/en
Application granted granted Critical
Publication of KR102333490B1 publication Critical patent/KR102333490B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K17/00—Measuring quantity of heat
    • G01K17/003—Measuring quantity of heat for measuring the power of light beams, e.g. laser beams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258—
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00—Light-generating elements of semiconductor light sources
    • F21Y2115/10—Light-emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

본 발명을 사용하면, 대상체 주변의 밝기, 난반사, 계절, 날씨의 변화에 관계없이, 해상도가 서로 다른 열화상과 실화상을 매칭시켜, 하나의 매칭이미지를 만들 수 있다. 이러한 매칭이미지를 분석하여, 대상체의 결함, 발열 등을 정확하게 확인할 수 있다.According to the present invention, a single matching image can be created by matching a thermal image and a real image having different resolutions regardless of changes in brightness, diffuse reflection, season, or weather around an object. By analyzing the matching image, it is possible to accurately identify defects, heat, and the like of the object.

Description

이종 이미지 처리 장치{Heterogeneous image processing device}Heterogeneous image processing device

본 발명은 이종 이미지 처리 장치에 관한 것이다.The present invention relates to a heterogeneous image processing apparatus.

최근 들어, 열화상 카메라로 촬영한 열화상과, 실화상 카메라로 촬영한 실화상을 매칭시켜, 대상체(물체, 동물, 식물, 사람)의 결함, 발열 등을 파단하는 기술이 자주 사용되고 있다.Recently, a technique for breaking defects, heat, etc. of an object (object, animal, plant, person) by matching a thermal image photographed with a thermal imaging camera and a real image photographed with a real image camera has been frequently used.

일 예로, 한국등록특허(10-1948852)에는, 타겟 구조물에서 방사된 열파(thermal wave)를 계측하여 열화상 이미지들을 생성하고 타겟 구조물의 외관을 촬영하여 실화상 이미지들을 생성하는 이종영상 스캐닝 방법이 개시되어 있다.As an example, Korean Patent Registration (10-1948852) discloses a heterogeneous image scanning method for generating thermal image images by measuring a thermal wave radiated from a target structure and generating real image images by photographing the exterior of the target structure. has been disclosed.

다른 예로, 한국등록특허(10-1988486)에는, 열화상 및 실화상을 이용하여 터널 통행자가 감염 의심자에 해당하는지의 여부를 판별하고, 감염 의심자로 판별된 자의 얼굴 등을 인식 및 검출하는 지능형 감염자 상시 감지 시스템이 개시되어 있다.As another example, in Korea Patent Registration (10-1988486), an intelligent system that uses thermal images and real images to determine whether a tunnel passer is a suspect of infection, and recognizes and detects the face of a person identified as suspected of infection. A system for constantly detecting an infected person is disclosed.

또 다른 예로, 한국등록특허(10-1165415)에는, 가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계와, 적외선 촬영장치를 이용하여, 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계를 포함하는 이미지내 생체 얼굴 인식 방법이 개시되어 있다.As another example, Korean Patent Registration (10-1165415) discloses a first step of acquiring visible ray image data by photographing a specific point using a visible ray imaging device, and a first step of obtaining visible ray image data using an infrared imaging device. Disclosed is an intra-image biometric face recognition method including a second step of acquiring infrared image data by photographing the same point as the photographing point in the same direction and the same angle of view.

그러나, 실제로는, 대상체 주변의 밝기, 난반사, 계절, 날씨의 변화에 따라, 해상도가 서로 다른 열화상과 실화상을 매칭(matching)시켜, 대상체의 결함, 발열 등을 정확하게 파악하는 것이 쉽지 않았다. However, in reality, it is not easy to accurately identify defects, heat, etc. of the object by matching thermal images and real images having different resolutions according to changes in brightness, diffuse reflection, season, and weather around the object.

한국등록특허(10-1948852)Korean Patent Registration (10-1948852) 한국등록특허(10-1988486)Korean Patent Registration (10-1988486) 한국등록특허(10-1165415)Korean Patent Registration (10-1165415)

본 발명의 목적은, 대상체 주변의 밝기, 난반사, 계절, 날씨의 변화에 관계없이, 해상도가 서로 다른 열화상과 실화상을 매칭시켜, 대상체의 결함, 발열 등을 정확하게 확인할 수 있는 이종 이미지 처리 장치를 제공하는 데 있다.It is an object of the present invention to provide a heterogeneous image processing apparatus capable of accurately identifying defects, heat, etc. of an object by matching thermal images and real images having different resolutions regardless of changes in brightness, diffuse reflection, season, or weather around an object is to provide

상기 목적을 달성하기 위한 이종 이미지 처리 장치는,A heterogeneous image processing apparatus for achieving the above object,

대상체를 촬영한 열화상을 제공하는 열화상 카메라;a thermal imaging camera that provides a thermal image of an object;

상기 대상체를 촬영한 실화상을 제공하는 실화상 카메라;a real image camera that provides a real image of the object;

상기 열화상 카메라 및 상기 실화상 카메라를 향해서 가시광 및 적외선을 조사하는 LED;an LED for irradiating visible light and infrared light toward the thermal imager and the real imager;

상기 LED의 전단에 설치되어, 가시광 및 적외선의 출력 면적을 조절하는 출력조정부;an output control unit installed at the front end of the LED to adjust an output area of visible light and infrared light;

적외선이 찍힌 열화상에서의 위치를 제1절대기준좌표로 생성하고, 가시광이 찍힌 실화상에서의 위치를 제2절대기준좌표로 생성하는 제1단계와,A first step of generating a position in a thermal image in which infrared light is taken as a first absolute reference coordinate and a position in a real image in which visible light is taken as a second absolute reference coordinate;

상기 제1절대기준좌표 및 상기 제2절대기준좌표의 차이를 계산하여, 상기 대상체가 찍힌 열화상 및 실화상을 매칭시킬 수 있는 통합절대기준좌표를 결정한 후, 상기 통합절대기준좌표를 기준으로, 서로 다른 해상도를 가진 대상체가 찍힌 열화상 및 실화상을 매칭시켜, 하나의 매칭이미지를 만드는 제2단계와,After calculating the difference between the first absolute reference coordinates and the second absolute reference coordinates to determine the integrated absolute reference coordinates capable of matching the thermal image and the real image taken of the object, based on the integrated absolute reference coordinates, A second step of creating a single matching image by matching a thermal image and a real image of an object having different resolutions;

상기 매칭이미지를 판독하여, 상기 대상체의 형상과 발열정도를 확인하는 제3단계를 수행하는 제어부를 포함하는 것을 특징으로 한다.and a control unit that reads the matching image and performs a third step of confirming the shape of the object and the degree of heat generation.

본 발명을 사용하면, 대상체 주변의 밝기, 난반사, 계절, 날씨의 변화에 관계없이, 해상도가 서로 다른 열화상과 실화상을 매칭시켜, 하나의 매칭이미지를 만들 수 있다. 이러한 매칭이미지를 분석하여, 대상체의 결함, 발열 등을 정확하게 확인할 수 있다. According to the present invention, a single matching image can be created by matching a thermal image and a real image having different resolutions regardless of changes in brightness, diffuse reflection, season, or weather around an object. By analyzing the matching image, it is possible to accurately identify defects, heat, and the like of the object.

도 1은 본 발명의 일 실시예에 따른 이종 이미지 처리 장치를 나타낸 도면이다.
도 2는 LED가 가시광을 열화상 카메라와 실화상 카메라로 조사하고, 열화상 카메라와 실화상 카메라가 대상체를 촬영하는 상태를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 이종 이미지 처리 장치의 작동을 설명하기 위한 도면이다.1 is a diagram illustrating a heterogeneous image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a state in which an LED irradiates visible light with a thermal imager and a real imager, and the thermal imager and the real imager photograph an object.
3 is a diagram for explaining an operation of a heterogeneous image processing apparatus according to an embodiment of the present invention.

이하, 본 발명의 일 실시예에 따른 이종 이미지 처리 장치를 자세히 설명한다.Hereinafter, a heterogeneous image processing apparatus according to an embodiment of the present invention will be described in detail.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이종 이미지 처리 장치(10)는, 열화상 카메라(11), 실화상 카메라(12), LED(13), 출력조절부(15), 데이터베이스(16), 디스플레이(17), 제어부(100)로 구성된다.As shown in FIG. 1 , the heterogeneous image processing apparatus 10 according to an embodiment of the present invention includes a thermal image camera 11 , a real image camera 12 , an LED 13 , and an output control unit 15 . , a database 16 , a display 17 , and a control unit 100 .

열화상 카메라(11)는 대상체(3)를 촬영하여 열화상을 제공한다. 열화상 카메라(11)는 열을 추적 및 탐지하여, 온도에 따라 열을 다른 색으로 표현해, 우리 눈으로 볼 수 있게 해준다. 열화상 카메라(11)의 해상도는 최대 640x480 정도로 낮아, 대상체(3)의 형상을 제대로 파악하기 어렵다.The thermal imaging camera 11 provides a thermal image by photographing the object 3 . The thermal imaging camera 11 tracks and detects heat, and expresses the heat in different colors depending on the temperature, so that we can see it with our eyes. Since the resolution of the thermal imaging camera 11 is as low as 640x480 at most, it is difficult to properly grasp the shape of the object 3 .

실화상 카메라(12)는 대상체(3)를 촬영하여 실화상을 제공한다. 실화상 카메라(12)는 사람의 눈에 보이는 대상을 촬영하는 카메라로, 2400x1800 이상의 해상도로 인해, 대상체(3)의 형상을 쉽게 확인할 수 있다. 그러나, 대상체(3)의 발열정도는 확인할 수 없다.The real image camera 12 provides a real image by photographing the object 3 . The real image camera 12 is a camera for photographing an object visible to the human eye, and due to a resolution of 2400x1800 or higher, the shape of the object 3 can be easily checked. However, the degree of heat generation of the object 3 cannot be confirmed.

LED(13)는 열화상 카메라(11) 및 실화상 카메라(12)를 향해서 가시광 및 적외선(L, 도 2 참조)을 조사한다.The LED 13 irradiates visible light and infrared rays (L, see FIG. 2 ) toward the thermal imaging camera 11 and the real imaging camera 12 .

LED(13)는 빨강색(Red), 초록색(Green), 파랑색(Blue) 세 개의 발광 소자를 개별 또는 통합 구동이 가능하며, 3가지 색의 조합으로 원하는 색상의 가시광을 만들어 낼 수 있다. 세 가지 색상은 0~255까지 밝기를 조정할 수 있어, 이론적으로 256x256x256 가지 색상을 만들어낼 수 있다. 또한, LED(13)는 적외선을 조사할 수 있는 열 소자도 가진다.The LED 13 can individually or integratedly drive three light emitting devices of red, green, and blue, and can produce visible light of a desired color by combining the three colors. The three colors can be adjusted in brightness from 0 to 255, which in theory can produce 256x256x256 colors. In addition, the LED 13 also has a thermal element capable of irradiating infrared rays.

LED(13)가 열화상 카메라(11)에 적외선을 조사하며, 적외선이 찍힌 위치를 파악할 수 있으며, 열화상에서의 측정된 위치가 제1절대기준좌표가 된다.The LED 13 irradiates infrared rays to the thermal imaging camera 11 , and the position at which the infrared rays are captured can be identified, and the measured position in the thermal image becomes the first absolute reference coordinate.

LED(13)가 실화상 카메라(12)에 가시광을 조사하며, 가시광 실화상이 찍힌 위치를 파악할 수 있으며, 가시광 실화상에서 측정된 위치가 제2절대기준좌표가 된다.The LED 13 irradiates visible light to the real image camera 12 , and the position at which the visible light real image is taken can be grasped, and the position measured in the visible light real image becomes the second absolute reference coordinate.

이때, 대상체(3) 주변의 밝기, 난반사, 계절, 날씨의 변화에 따라, 열화상과 실화상에 가시광 및 적외선이 잘 보이지 않을 수 있다.In this case, depending on changes in brightness, diffuse reflection, season, and weather around the object 3 , visible light and infrared light may not be readily visible in thermal images and real images.

이 경우, LED(13)는 대상체(3) 주위 환경의 변화에도 가시광 및 적외선이 잘 나타날 수 있도록 광학세기 및 색조합 및 온도조절을 통해서 최적의 가시광 및 적외선(L)을 만들어낸다. 이는, 제어부(100)가 반복적인 열화상과 실화상을 얻어, 반복적인 피드백 과정을 거쳐 결정된다.In this case, the LED 13 generates optimal visible light and infrared light L through optical intensity, color combination, and temperature control so that visible light and infrared light can be well displayed even when the environment around the object 3 changes. This is determined by the controller 100 repeatedly obtaining a thermal image and a real image, and repeating a feedback process.

출력조절부(15)는 LED(13) 앞에 설치된다. 출력조절부(15)는 복수개의 렌즈와 렌즈의 앞뒤 거리를 조절하는 구동부와 조리개로 구성된다. 복수개의 렌즈는 볼록렌즈와 오목렌즈의 조합으로 만들어질 수 있다. 여기서, 반사거울이 추가될 수 있다. 출력조절부(15)는 가시광 및 적외선을 하나의 점으로 모아져, 열화상 카메라(11) 및 실화상 카메라(12)로 조사한다. 출력조절부(15)는 대상체(3) 주변의 밝기, 난반사, 계절, 날씨의 변화에 따라, 가시광 및 적외선의 폭을 조절하여, 열화상과 실화상에 가시광 및 적외선이 잘 나타나게 만든다. 최적 가시광 및 적외선의 폭은, 제어부(100)가 반복적인 열화상과 실화상을 얻어, 반복적인 피드백 과정을 거쳐 결정된다.The output control unit 15 is installed in front of the LED (13). The output control unit 15 includes a plurality of lenses, a driving unit for adjusting the front and rear distances of the lenses, and an iris. The plurality of lenses may be made of a combination of a convex lens and a concave lens. Here, a reflective mirror may be added. The output control unit 15 collects visible light and infrared light as a single point, and irradiates it with the thermal imager 11 and the real imager 12 . The output control unit 15 adjusts the widths of visible light and infrared light according to changes in brightness, diffuse reflection, season, and weather around the object 3 to make visible light and infrared light appear well in thermal images and real images. The optimal widths of visible light and infrared light are determined by the controller 100 repeatedly obtaining thermal images and real images, and repeating feedback processes.

제어부(100)는, 적외선이 찍힌 열화상에서의 위치를 제1절대기준좌표로 생성하고, 가시광이 찍힌 실화상에서의 위치를 제2절대기준좌표로 생성하는 제1단계와,The control unit 100, a first step of generating a position in a thermal image in which infrared rays are taken as first absolute reference coordinates and a position in a real image in which visible light is taken as a second absolute reference coordinate;

제1절대기준좌표 및 제2절대기준좌표의 차이를 계산하여, 대상체(3)가 찍힌 열화상 및 실화상을 매칭시킬 수 있는 통합절대기준좌표를 결정한 후, 통합절대기준좌표를 기준으로, 서로 다른 해상도를 가진 대상체(3)가 찍힌 열화상 및 실화상을 매칭시켜, 하나의 매칭이미지를 만드는 제2단계와,After calculating the difference between the first absolute reference coordinates and the second absolute reference coordinates to determine the integrated absolute reference coordinates capable of matching the thermal image and the real image taken by the object 3, based on the integrated absolute reference coordinates, each other A second step of creating a single matching image by matching a thermal image and a real image of an object 3 having different resolutions;

매칭이미지를 판독하여, 대상체(3)의 형상과 발열정도를 확인하는 제3단계를 수행한다.By reading the matching image, the third step of confirming the shape of the object 3 and the degree of heat generation is performed.

이를 위해, 제어부(100)는, 절대기준좌표생성엔진(101), LED 제어엔진(102), 대상형상인식엔진(103), 대상온도감지엔진(104), 이종이미지매칭엔진(105), 매칭이미지저장엔진(106), 매칭이미지판독엔진(107)으로 구성된다.To this end, the control unit 100, the absolute reference coordinate generating engine 101, the LED control engine 102, the target shape recognition engine 103, the target temperature detection engine 104, the heterogeneous image matching engine 105, matching It is composed of an image storage engine 106 and a matching image reading engine 107 .

절대기준좌표생성엔진(101)은, 적외선이 찍힌 열화상에서의 위치를 제1절대기준좌표로 생성하고, 가시광이 찍힌 실화상에서의 위치를 제2절대기준좌표로 생성한다.The absolute reference coordinate generating engine 101 generates a position in a thermal image in which infrared light is taken as a first absolute reference coordinate and a position in a real image in which visible light is taken as a second absolute reference coordinate.

절대기준좌표생성엔진(101)은, 열화상 정보를 확인하여, 최소~최대 온도 정보를, LED 제어엔진(102)과 대상온도감지엔진(104)로 각각 보낸다.The absolute reference coordinate generating engine 101 checks the thermal image information and sends the minimum to maximum temperature information to the LED control engine 102 and the target temperature detection engine 104 , respectively.

LED 제어엔진(102)은 열화상의 최소~최대 온도 정보를 받아, 대상체(3) 주변의 밝기, 난반사, 계절, 날씨의 변화에 따라, 열화상에 적외선이 잘 보이게 LED(13)를 제어한다.The LED control engine 102 receives the minimum to maximum temperature information of the thermal image, and controls the LED 13 to make infrared rays visible in the thermal image according to changes in brightness, diffuse reflection, season, and weather around the object 3 .

LED 제어엔진(102)은 대상체(3) 주변의 밝기, 난반사, 계절, 날씨의 변화에 따라, 실화상에 가시광이 잘 보이게 LED(13)를 제어한다.The LED control engine 102 controls the LED 13 to show visible light in a real image according to changes in brightness, diffuse reflection, season, and weather around the object 3 .

이를 위해, LED 제어엔진(102)은, 반복적으로 열화상 및 실화상을 받아서, 열화상에 적외선이 가장 잘 나타나게 적외선의 폭과 열을 결정하고, 실화상에 가시광이 잘 나타나게 가시광의 색상과 밝기와 폭을 결정한다. 이러한 열로 적외선을 조사하도록 LED(13)에게 지시하고, 이러한 색상과 밝기로 가시광을 조사하도록 LED(13)에게 지시한다.To this end, the LED control engine 102 repeatedly receives a thermal image and a real image, determines the width and heat of the infrared so that the infrared is best displayed on the thermal image, and the color and brightness of the visible light so that the visible light appears well on the real image. and determine the width. It instructs the LED 13 to irradiate infrared rays with this heat, and instructs the LED 13 to irradiate visible light with this color and brightness.

LED 제어엔진(102)은, 이러한 폭으로 적외선과 가시광을 조사하도록, 출력조절부(15)에게 지시한다.The LED control engine 102 instructs the output control unit 15 to irradiate infrared and visible light with this width.

대상형상인식엔진(103)은 대상체(3)를 촬영한 실화상 정보를 이미지 프로세싱하고 디지털화하여, 대상체(3)의 형상을 확정한다.The object shape recognition engine 103 determines the shape of the object 3 by image processing and digitizing the real image information obtained by photographing the object 3 .

대상온도감지엔진(104)은, 절대기준좌표생성엔진(101)으로부터 열화상 정보를 받아서 이미지 프로세싱하고 디지털화하여, 대상체(3)의 온도를 파악한다.The target temperature detection engine 104 receives thermal image information from the absolute reference coordinate generating engine 101 , image-processes and digitizes the image, and grasps the temperature of the object 3 .

이종이미지매칭엔진(105)은, 제1절대기준좌표 및 제2절대기준좌표의 차이를 계산하여, 대상체(3)가 찍힌 열화상 및 실화상을 매칭시킬 수 있는 통합절대기준좌표를 결정한 후, 통합절대기준좌표를 기준으로, 서로 다른 해상도를 가진 대상체(3)가 찍힌 열화상 및 실화상을 매칭시켜, 하나의 매칭이미지를 만든다. 열화상과 실화상을 매칭시켜 매칭이미지를 만드는 방법은, 가우시안필터, 중앙값필터를 사용하는 방법 등 다양한 공지기술(한국등록특허 10-1165415)을 사용하여 만들어질 수 있다.The heterogeneous image matching engine 105 calculates the difference between the first absolute reference coordinates and the second absolute reference coordinates to determine the integrated absolute reference coordinates capable of matching the thermal image and the real image taken by the object 3, Based on the integrated absolute reference coordinates, a thermal image and a real image of the object 3 having different resolutions are matched to create one matching image. A method of creating a matching image by matching a thermal image and a real image may be made using various known techniques (Korean Patent Registration No. 10-1165415), such as a method using a Gaussian filter and a median filter.

매칭이미지저장엔진(106)은 매칭이미지를 저장한다.The matching image storage engine 106 stores the matching image.

매칭이미지판독엔진(107)은, 매칭이미지를 판독하여, 대상체(3)의 형상과 발열정도를 확인한다.The matching image reading engine 107 reads the matching image and confirms the shape of the object 3 and the degree of heat generation.

이하, 본 발명의 일 실시예에 따른 이종 이미지 처리 장치의 작동을 설명한다. 도 1 및 도 3을 기본적으로 참조한다.Hereinafter, an operation of the heterogeneous image processing apparatus according to an embodiment of the present invention will be described. Reference is made basically to FIGS. 1 and 3 .

도 2에 도시된 바와 같이, LED(13)가 열화상 카메라 및 상기 실화상 카메라를 향해서 가시광 및 적외선(L)을 조사한다. 도 2에 도시된 도면부호 V1는 열화상 카메라(11)의 시야각을 나타내고, V2는 실화상 카메라(12)의 시야각을 나타낸다.As shown in FIG. 2 , the LED 13 irradiates visible light and infrared light L toward the thermal imager and the real imager. Reference numeral V1 shown in FIG. 2 denotes a viewing angle of the thermal imaging camera 11 , and V2 denotes a viewing angle of the real image camera 12 .

LED 제어엔진(102)은, 반복적으로 열화상 및 실화상을 받아서, 열화상에 적외선이 가장 잘 나타나게 적외선의 폭과 열을 결정하고, 실화상에 가시광이 잘 나타나게 가시광의 색상과 밝기와 폭을 결정한다. 이러한 열로 적외선을 조사하도록 LED(13)에게 지시하고, 이러한 색상과 밝기로 가시광을 조사하도록 LED(13)에게 지시한다. The LED control engine 102 repeatedly receives a thermal image and a real image, determines the width and heat of infrared so that infrared rays appear best on the thermal image, and adjusts the color, brightness and width of visible light so that visible light appears well on the real image. decide It instructs the LED 13 to irradiate infrared rays with this heat, and instructs the LED 13 to irradiate visible light with this color and brightness.

LED 제어엔진(102)은, 이러한 폭으로 적외선과 가시광을 조사하도록, 출력조절부(15)에게 지시한다.The LED control engine 102 instructs the output control unit 15 to irradiate infrared and visible light with this width.

절대기준좌표생성엔진(101)은, 적외선이 찍힌 열화상에서의 위치를 제1절대기준좌표로 생성하고, 가시광이 찍힌 실화상에서의 위치를 제2절대기준좌표로 생성한다.The absolute reference coordinate generating engine 101 generates a position in a thermal image in which infrared light is taken as a first absolute reference coordinate and a position in a real image in which visible light is taken as a second absolute reference coordinate.

열화상 카메라(11)는 대상체(3)를 촬영하여 열화상을 제어부(100)에 제공한다.The thermal imaging camera 11 captures the object 3 and provides a thermal image to the controller 100 .

실화상 카메라(12)는 대상체(3)를 촬영하여 실화상을 제어부(100)에 제공한다.The real image camera 12 photographs the object 3 and provides a real image to the controller 100 .

대상형상인식엔진(103)은 대상체(3)를 촬영한 실화상 정보를 이미지 프로세싱하고 디지털화하여, 대상체(3)의 형상을 확정한다.The object shape recognition engine 103 determines the shape of the object 3 by image processing and digitizing the real image information obtained by photographing the object 3 .

대상온도감지엔진(104)은, 절대기준좌표생성엔진(101)으로부터 열화상 정보를 받아서 이미지 프로세싱하고 디지털화하여, 대상체(3)의 온도를 확정한다.The target temperature detection engine 104 receives the thermal image information from the absolute reference coordinate generating engine 101, processes the image, and digitizes the image to determine the temperature of the object 3 .

이종이미지매칭엔진(105)은, 제1절대기준좌표 및 제2절대기준좌표의 차이를 계산하여 대상체(3)가 찍힌 열화상 및 실화상을 매칭시킬 수 있는 통합절대기준좌표를 결정한다. 이러한 통합절대기준좌표를 기준으로, 서로 다른 해상도를 가진 대상체(3)가 찍힌 열화상 및 실화상을 매칭시켜, 하나의 매칭이미지를 만든다.The heterogeneous image matching engine 105 calculates a difference between the first absolute reference coordinates and the second absolute reference coordinates to determine the integrated absolute reference coordinates capable of matching the thermal image and the real image of the object 3 . Based on the integrated absolute reference coordinates, a thermal image and a real image of the object 3 having different resolutions are matched to create one matching image.

매칭이미지저장엔진(106)은 매칭이미지를 저장한다.The matching image storage engine 106 stores the matching image.

매칭이미지판독엔진(107)은, 데이터베이스(16)에 저장된 대상체(3) 정보와, 매칭이미지를 판독하여, 대상체(3)의 형상과 발열정도를 확인한다.The matching image reading engine 107 reads the target object 3 information and the matching image stored in the database 16 , and confirms the shape of the object 3 and the degree of heat generation.

이종 이미지 처리 장치(10)에는, 대상체(3)의 형상과 발열정도를 저장하기 위한 데이터베이스와, 대상체(3)의 형상과 발열정도를 출력하기 위한 디스플레이가 더 구비될 수 있다.The heterogeneous image processing apparatus 10 may further include a database for storing the shape and the degree of heat generation of the object 3 , and a display for outputting the shape and degree of heat generation of the object 3 .

10: 이종 이미지 처리 장치
11: 열화상 카메라 12: 실화상 카메라
13: LED 14: 감지부
15: 출력조절부 16: 데이터베이스
17: 디스플레이 100: 제어부
101: 절대기준좌표생성엔진 102: LED 제어엔진
103: 대상형상인식엔진 104: 대상온도감지엔진
105: 이종이미지매칭엔진 106: 매칭이미지저장엔진
107: 매칭이미지판독엔진10: heterogeneous image processing device
11: Thermal camera 12: Visual camera
13: LED 14: detection unit
15: output control unit 16: database
17: display 100: control unit
101: absolute reference coordinate generation engine 102: LED control engine
103: target shape recognition engine 104: target temperature detection engine
105: heterogeneous image matching engine 106: matching image storage engine
107: matching image reading engine

Claims (3)

대상체를 촬영한 열화상을 제공하는 열화상 카메라;
상기 대상체를 촬영한 실화상을 제공하는 실화상 카메라;

3가지 색의 조합으로 원하는 색상의 가시광을 만들어 낼 수 있는 3개의 발광 소자와, 적외선을 조사할 수 있는 열 소자로 구성되어,
상기 열화상 카메라 및 상기 실화상 카메라를 향해서 가시광 및 적외선을 조사하는 LED;

상기 LED의 전단에 설치되며,
상기 대상체 주변의 밝기, 난반사, 계절, 날씨의 변화에 따라, 상기 LED로부터 조사되는 가시광 및 적외선의 폭을 조절하여, 상기 열화상 카메라와 상기 실화상 카메라에 상기 LED에서 조사된 가시광 및 적외선이 잘 나타나도록, 복수개의 렌즈와 상기 렌즈의 앞뒤 거리를 조절하는 구동부를 포함하는 출력조절부;

상기 LED가 조사하는 적외선이 찍힌 상기 열화상 카메라의 열화상 위치를 제1절대기준좌표로 생성하고, 상기 LED가 조사하는 가시광이 찍힌 상기 실화상 카메라의 실화상 위치를 제2절대기준좌표로 생성하는 절대기준좌표생성엔진과,
상기 제1절대기준좌표 및 상기 제2절대기준좌표의 차이를 계산하여, 대상체가 찍힌 열화상 및 실화상을 매칭시킬 수 있는 통합절대기준좌표를 결정한 후, 상기 통합절대기준좌표를 기준으로, 서로 다른 해상도를 가진 대상체가 찍힌 열화상 및 실화상을 매칭시켜, 하나의 매칭이미지를 만드는 이종이미지매칭엔진과,
상기 하나의 매칭이미지로부터 대상체의 형상과 발열정도를 판단하는 매칭이미지판독엔진과,
상기 대상체 주변의 밝기, 난반사, 계절, 날씨의 변화에 관계없이,
상기 제1절대기준좌표 및 상기 제2절대기준좌표를 정확하게 잡기 위해서,
상기 열화상 카메라와 상기 실화상 카메라로부터 반복적으로 열화상 및 실화상을 받아서, 상기 열화상 카메라의 열화상에 적외선이 가장 잘 나타나는 열을 선택하고, 상기 실화상 카메라의 실화상에 가시광이 잘 나타나는 색상과 밝기를 선택하여, 이러한 색상과 밝기와 열로 가시광 및 적외선을 조사하도록 상기 LED에게 지시하는 LED 제어엔진을 포함하는 제어부를 포함하는 것을 특징으로 하는 이종 이미지 처리 장치.a thermal imaging camera that provides a thermal image of an object;
a real image camera that provides a real image of the object;

It consists of three light emitting elements that can produce visible light of a desired color by combining three colors, and a thermal element that can irradiate infrared rays.
an LED for irradiating visible light and infrared light toward the thermal imager and the real imager;

It is installed in front of the LED,
By adjusting the widths of visible light and infrared light emitted from the LED according to changes in brightness, diffuse reflection, season, and weather around the object, the visible light and infrared light irradiated from the LED to the thermal imager and the real image camera are well an output control unit including a plurality of lenses and a driving unit for adjusting the front and rear distances of the lenses;

A thermal image position of the thermal imaging camera to which the infrared ray emitted by the LED is taken is generated as a first absolute reference coordinate, and a real image position of the real image camera to which the visible light irradiated by the LED is taken is generated as a second absolute reference coordinate and an absolute reference coordinate generation engine that
After calculating the difference between the first absolute reference coordinates and the second absolute reference coordinates to determine the integrated absolute reference coordinates capable of matching the thermal image and the real image taken of the object, based on the integrated absolute reference coordinates, each other A heterogeneous image matching engine that matches a thermal image and a real image of an object with different resolutions to create a single matching image;
a matching image reading engine for determining the shape and heat level of the object from the one matching image;
Regardless of changes in brightness, diffuse reflection, season, or weather around the object,
In order to accurately capture the first absolute reference coordinates and the second absolute reference coordinates,
By repeatedly receiving thermal images and real images from the thermal imager and the real image camera, select the column in which infrared rays are most prominent in the thermal image of the thermal imager, and the visible light is well displayed in the real image of the thermal imager. A heterogeneous image processing apparatus comprising: a control unit including an LED control engine that selects a color and brightness and instructs the LED to irradiate visible light and infrared light with the color, brightness and heat. 삭제delete 삭제delete
KR1020200058831A 2020-05-18 2020-05-18 Heterogeneous image processing device KR102333490B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200058831A KR102333490B1 (en) 2020-05-18 2020-05-18 Heterogeneous image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200058831A KR102333490B1 (en) 2020-05-18 2020-05-18 Heterogeneous image processing device

Publications (2)

Publication Number Publication Date
KR20210142245A KR20210142245A (en) 2021-11-25
KR102333490B1 true KR102333490B1 (en) 2021-12-01

Family

ID=78745834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200058831A KR102333490B1 (en) 2020-05-18 2020-05-18 Heterogeneous image processing device

Country Status (1)

Country Link
KR (1) KR102333490B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054746A (en) * 2015-09-10 2017-03-16 パナソニックＩｐマネジメント株式会社 Illumination system and luminaire
KR102003475B1 (en) * 2019-01-09 2019-07-24 주식회사 이오씨 Method and Apparatus for Composing Image by using Image and Thermal Image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165415B1 (en) 2010-05-24 2012-07-13 주식회사 다음커뮤니케이션 Method for recognizing human face and recognizing apparatus
KR101948852B1 (en) 2017-10-25 2019-05-29 세종대학교산학협력단 Hybrid image scanning method and apparatus for noncontact crack evaluation
KR101998639B1 (en) * 2017-11-30 2019-07-10 (주)코어센스 Intelligent system for ignition point surveillance using composite image of thermal camera and color camera
KR101988486B1 (en) 2018-10-29 2019-06-12 한국건설기술연구원 Smart Tunnel for Quarantine and Disinfection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054746A (en) * 2015-09-10 2017-03-16 パナソニックＩｐマネジメント株式会社 Illumination system and luminaire
KR102003475B1 (en) * 2019-01-09 2019-07-24 주식회사 이오씨 Method and Apparatus for Composing Image by using Image and Thermal Image

Also Published As

Publication number Publication date
KR20210142245A (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US10395097B2 (en) Method and system for biometric recognition
CN112119628B (en) Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US7095901B2 (en) Apparatus and method for adjusting focus position in iris recognition system
US8953849B2 (en) Method and system for biometric recognition
KR101205039B1 (en) Safe eye detection
US8798330B2 (en) Methods for performing biometric recognition of a human eye and corroboration of same
US8433103B2 (en) Long distance multimodal biometric system and method
JP4460782B2 (en) Intrusion monitoring device
CN108027509A (en) Inclination and offset iris imaging
CN106574831B (en) Observing system
JP2002342750A (en) Focal angle and distance display device for irs recognizing system
CN108154126B (en) Iris imaging system and method
JP6651911B2 (en) Face image processing device
KR20180134280A (en) Apparatus and method of face recognition verifying liveness based on 3d depth information and ir information
US20040120553A1 (en) Device for contactless optical acquisition of biometric characteristics of at least one body part
US11882354B2 (en) System for acquisiting iris image for enlarging iris acquisition range
JP5605565B2 (en) Object identification device and object identification method
KR102333490B1 (en) Heterogeneous image processing device
JP4451195B2 (en) Gaze detection device
US20240050153A1 (en) Depilatory device and depilation method
KR100410972B1 (en) Focusing distance display of iris recognition system
JP7318793B2 (en) Biometric authentication device, biometric authentication method, and its program
RU2667371C1 (en) Biometric system of forming images of veins
TWI706335B (en) Object characteristic locating device and laser and imaging integration system
KR102473523B1 (en) Iris recognition method and device