KR102431979B1 - Optical device - Google Patents
Optical device Download PDFInfo
- Publication number
- KR102431979B1 KR102431979B1 KR1020170112540A KR20170112540A KR102431979B1 KR 102431979 B1 KR102431979 B1 KR 102431979B1 KR 1020170112540 A KR1020170112540 A KR 1020170112540A KR 20170112540 A KR20170112540 A KR 20170112540A KR 102431979 B1 KR102431979 B1 KR 102431979B1
- Authority
- KR
- South Korea
- Prior art keywords
- emissivity
- thermal image
- thermal
- image
- real image
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 170
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 39
- 238000001931 thermography Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 230000005457 Black-body radiation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/12—Beam splitting or combining systems operating by refraction only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radiation Pyrometers (AREA)
Abstract
열화상의 정확한 온도 값 및 온도 분포를 얻기 위해, 피사체의 실화상 및 열화상을 획득하는 이미지 획득부, 상기 획득된 실화상에서 광학 패턴을 추출하는 패턴 추출부, 상기 추출된 광학 패턴에 대응되는 제1 영역에 대해 방사율을 설정하는 방사율 설정부, 상기 획득된 열화상 중 상기 제1 영역에 대한 열화상 값을 추출하는 열화상 값 추출부, 상기 추출된 제1 영역에 대한 열화상 값에 상기 설정된 방사율을 적용하여 온도 값을 계산하는 연산부 및 상기 계산된 온도 값을 출력하는 출력부를 포함하는 광학 장치를 제공한다.In order to obtain an accurate temperature value and temperature distribution of the thermal image, an image acquisition unit for acquiring a real image and a thermal image of a subject, a pattern extraction unit for extracting an optical pattern from the acquired real image, a first corresponding to the extracted optical pattern An emissivity setting unit for setting an emissivity for a region, a thermal image value extracting unit for extracting a thermal image value for the first region from the obtained thermal image, and the emissivity set in the extracted thermal image value for the first region Provided is an optical device including an arithmetic unit for calculating a temperature value by applying , and an output unit for outputting the calculated temperature value.
Description
본 발명은 열화상 및 실화상을 획득하고 피사체의 온도 값을 연산하는 광학 장치에 관한 것이다.The present invention relates to an optical device for acquiring a thermal image and a real image and calculating a temperature value of a subject.
카메라는 인식하는 빛의 파장 영역을 기준으로 실화상 카메라와 열화상 카메라로 구분한다. 실화상 카메라는 피사체에 반사된 가시광선 영역의 빛을 인식하여 이미지를 얻는 장치를 말하고, 열화상 카메라는 피사체에서 출사된 적외선 영역의 빛을 인식하여 이미지를 얻는 장치를 말한다.The camera is divided into a real image camera and a thermal image camera based on the recognized wavelength range of light. A real image camera refers to a device for obtaining an image by recognizing light in a visible ray region reflected from a subject, and a thermal imaging camera refers to a device for obtaining an image by recognizing light in an infrared region emitted from a subject.
사람의 눈에 보이는 가시광선 영역의 빛을 촬영하는 실화상 카메라는 피사체의 경계 및 색상을 인지하기에 적절하다.A real image camera that captures light in the visible region visible to the human eye is suitable for recognizing the boundary and color of a subject.
열화상 카메라는 피사체가 되는 물체의 온도를 파악하기 위한 목적으로 사용된다. 물체는 흑체 복사를 하며, 물체에서 출사 또는 반사되는 적외선 영역의 파장은 물체의 온도에 관한 정보를 포함한다. 열화상 카메라는 이러한 물체의 적외선 영역의 파장을 촬영하여 온도를 역산해 낸다.A thermal imaging camera is used for the purpose of determining the temperature of a subject object. An object emits blackbody radiation, and the wavelength of the infrared region emitted or reflected from the object contains information about the object's temperature. A thermal imaging camera takes a wavelength in the infrared region of such an object and calculates the temperature inversely.
하지만 물체의 재질 특성에 기인한 방사율 차이 때문에 물체의 열화상 만으로 해당 물체의 정확한 온도를 파악할 수 없다.However, due to the difference in emissivity due to the material characteristics of the object, the exact temperature of the object cannot be determined only by the thermal image of the object.
따라서 물체의 재질 특성에 따른 방사율을 적용하여 정확한 온도를 계산해 내는 과정이 요구된다.Therefore, the process of calculating the exact temperature by applying the emissivity according to the material characteristics of the object is required.
설명의 편의를 위해, 방사율을 적용하여 정확한 온도를 얻기 전 온도 정보를 열화상 값으로 정의하고, 방사율을 적용하여 얻은 정확한 온도를 온도 값으로 정의한다.For convenience of explanation, the temperature information before obtaining the correct temperature by applying the emissivity is defined as a thermal image value, and the accurate temperature obtained by applying the emissivity is defined as the temperature value.
열화상 값을 보정하여 온도를 계산해 내는 방법과 관련하여 물체가 단일 물질이며 획득한 열화상의 전 영역에 걸쳐 구비되는 경우에는 열화상의 전 영역에 대해 일괄적으로 해당 물질의 방사율을 적용하여 온도를 계산해내면 족하다.Regarding the method of calculating the temperature by correcting the thermal image value, if the object is a single material and is provided over the entire area of the obtained thermal image, the temperature is calculated by applying the emissivity of the material to the entire area of the thermal image. inside is enough
하지만 그렇지 않은 경우, 즉 화상 내에서 물체가 서로 다른 방사율을 갖는 복수의 물질을 포함하거나, 또는 피사체가 복수의 물체를 포함하는 경우(이는 하나의 물체와 그 배경을 의미할 수 있다.)에는 열화상에서 복수 영역에 대해 복수의 방사율을 구분하여 적용해야 한다.However, if this is not the case, that is, when an object in the image includes a plurality of materials having different emissivities, or when an object includes a plurality of objects (this may mean one object and its background), deterioration A plurality of emissivity should be applied separately for a plurality of areas in the phase.
따라서 열화상에서 물질이 달라지는 경계 또는 물체가 달라지는 경계를 인식하여 구분할 필요가 있다. 이러한 경계의 개념을 광학 패턴으로 정의한다. 또한 설명의 편의를 위해 별도의 언급이 없는 이상 단일 물체는 단일 물질로 구성되는 것으로 가정한다.Therefore, in the thermal image, it is necessary to recognize and classify the boundary where the material changes or the boundary where the object changes. The concept of this boundary is defined as an optical pattern. Also, for convenience of description, it is assumed that a single object is composed of a single material unless otherwise noted.
열화상의 광학 패턴을 인식하는 대표적인 방법에는 두 가지가 있다. 첫번째는 열화상에서 바로 광학 패턴을 인식하는 경우, 두번째는 실화상의 광학 패턴을 인식하여 열화상에 적용하는 경우이다.There are two representative methods for recognizing an optical pattern of a thermal image. The first is when an optical pattern is directly recognized from a thermal image, and the second is when an optical pattern of a real image is recognized and applied to the thermal image.
구체적으로, 첫번째 방식은 열화상에서 열화상 값이 달라지는 경계를 구분하여 광학 패턴을 인식한다.Specifically, the first method recognizes an optical pattern by dividing a boundary at which a thermal image value varies from a thermal image.
물체의 경계가 달라지는 경우 통상적으로 온도의 경계도 달라진다는 점을 근거로 열화상 값에 차이가 발생하는 경계를 구분할 수 있다.When the boundary of an object changes, the boundary at which a difference in the thermal image value occurs can be distinguished based on the fact that the boundary of the temperature is usually also changed.
다만 열화상 값은 열의 복사, 전도, 대류의 특성상 불연속 적으로 존재하지 않으며 연속적인 분포를 가진다.However, thermal image values do not exist discontinuously due to the characteristics of heat radiation, conduction, and convection, but have a continuous distribution.
따라서 물체의 경계와 열화상 값이 달라지는 경계는 정확하게 일치하지 않는다는 문제점이 존재한다. 또한 상술한 바와 같이 열화상 값 분포가 연속적이므로 정확한 열화상 값의 경계를 파악하는 것 자체가 어렵다.Therefore, there is a problem that the boundary of the object and the boundary where the thermal image value is different do not exactly match. In addition, as described above, since the thermal image value distribution is continuous, it is difficult to accurately identify the boundary between thermal image values.
나아가 물체가 복수이고, 복수의 물체가 동일하거나 유사한 열화상 값 분포를 갖는 경우 복수의 물체간 경계를 가늠하기 어렵다는 문제점이 있다.Furthermore, when there are a plurality of objects and the plurality of objects have the same or similar thermal image value distribution, there is a problem in that it is difficult to determine the boundary between the plurality of objects.
본 발명은 전술한 문제인 열화상을 통해 온도 값을 얻을 때 피사체의 물질을 고려하지 못하는 문제를 해결하는 것을 목적으로 한다.SUMMARY OF THE INVENTION An object of the present invention is to solve the above-described problem in that the material of a subject cannot be considered when obtaining a temperature value through a thermal image.
또한 본 발명은 피사체의 경계를 정확하게 파악하지 못하는 문제를 해결하는 것을 또 다른 목적으로 한다.Another object of the present invention is to solve the problem of not accurately grasping the boundary of a subject.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 피사체의 실화상 및 열화상을 획득하는 이미지 획득부, 상기 획득된 실화상에서 광학 패턴을 추출하는 패턴 추출부, 상기 추출된 광학 패턴에 대응되는 제1 영역에 대해 방사율을 설정하는 방사율 설정부, 상기 획득된 열화상 중 상기 제1 영역에 대한 열화상 값을 추출하는 열화상 값 추출부, 상기 추출된 제1 영역에 대한 열화상 값에 상기 설정된 방사율을 적용하여 온도 값을 계산하는 연산부 및 상기 계산된 온도 값을 출력하는 출력부를 포함하는 광학 장치를 제공한다.According to one aspect of the present invention to achieve the above or other objects, an image acquisition unit for acquiring a real image and a thermal image of a subject, a pattern extraction unit for extracting an optical pattern from the acquired real image, and the extracted optical pattern An emissivity setting unit for setting an emissivity of a corresponding first region, a thermal image value extracting unit for extracting a thermal image value for the first region from among the obtained thermal images, a thermal image value for the extracted first region It provides an optical device including a calculator for calculating a temperature value by applying the set emissivity to , and an output unit for outputting the calculated temperature value.
또한, 본 발명의 다른 측면에 따르면, 상기 이미지 획득부는, 상기 실화상을 얻는 실화상 소자와 상기 열화상을 얻는 열화상 소자를 포함하고, 상기 실화상 소자 및 상기 열화상 소자는 동일한 광축을 갖는 것을 특징으로 하는 광학 장치를 제공한다.Further, according to another aspect of the present invention, the image acquisition unit includes a real image element for obtaining the real image and a thermal image element for obtaining the thermal image, wherein the real image element and the thermal imager have the same optical axis It provides an optical device, characterized in that.
또한, 본 발명의 다른 측면에 따르면, 상기 출력부는, 상기 획득한 열화상 중 상기 제1 영역은 상기 계산된 온도 값에 대응하는 열화상으로 대체하여 출력하는 것을 특징으로 하는 광학 장치를 제공한다.According to another aspect of the present invention, the output unit provides an optical device, wherein the first region of the obtained thermal image is replaced with a thermal image corresponding to the calculated temperature value and output.
또한, 본 발명의 다른 측면에 따르면, 사용자 입력부를 더 포함하고, 상기 방사율 설정부는 상기 사용자 입력부를 통해 입력된 값을 상기 방사율로 설정하는 것을 특징으로 하는 광학 장치를 제공한다.According to another aspect of the present invention, there is provided an optical device further comprising a user input unit, wherein the emissivity setting unit sets a value input through the user input unit as the emissivity.
또한, 본 발명의 다른 측면에 따르면, 물체의 광학 패턴 및 방사율을 저장하는 저장부 및 상기 추출된 광학 패턴과 상기 저장된 광학 패턴을 비교하여 일치 여부를 판단하는 매칭부를 더 포함하고, 상기 방사율 설정부는, 상기 매칭부가 일치하는 것으로 판단하는 경우 상기 물체의 방사율을 상기 제1 영역에 대해 설정하는 것을 특징으로 하는 광학 장치를 제공한다.In addition, according to another aspect of the present invention, the storage unit for storing the optical pattern and the emissivity of the object, and a matching unit for determining whether or not by comparing the extracted optical pattern and the stored optical pattern to match, the emissivity setting unit , when the matching unit determines that they match, the optical device is configured to set the emissivity of the object with respect to the first area.
또한, 본 발명의 다른 측면에 따르면, 상기 물체는 복수이고, 상기 저장부는 상기 복수의 물체 각각에 대한 상기 광학 패턴 및 상기 방사율 정보를 저장하는 것을 특징으로 하는 광학 장치를 제공한다.Further, according to another aspect of the present invention, there is provided an optical device characterized in that the plurality of objects, and the storage unit stores the optical pattern and the emissivity information for each of the plurality of objects.
또한, 본 발명의 다른 측면에 따르면, 상기 저장부는, 복수의 상기 광학 패턴을 저장하고, 상기 복수의 광학 패턴은 상기 물체를 여러 방향에서 바라본 실화상을 기초로 하고, 상기 방사율 설정부는, 상기 추출된 광학 패턴과 상기 저장된 복수의 광학 패턴 중 하나가 일치하는 것으로 상기 매칭부가 판단하는 경우 상기 물체의 방사율을 상기 제1 영역에 대해 설정하는 것을 특징으로 하는 광학 장치를 제공한다.In addition, according to another aspect of the present invention, the storage unit stores a plurality of the optical patterns, the plurality of optical patterns is based on a real image viewed from various directions of the object, and the emissivity setting unit includes the extraction Provided is an optical device characterized in that the emissivity of the object is set for the first area when the matching unit determines that the selected optical pattern matches one of the stored optical patterns.
또한, 본 발명의 다른 측면에 따르면, 피사체에서 출사되거나 피사체에 반사된 빛을 수광하고 수광된 빛을 반사하는 제1 형상의 반사 렌즈, 상기 반사 렌즈에 반사된 빛 중 적외선 영역의 파장을 제1 경로로 반사시키고, 가시광선 영역의 파장을 제2 경로로 투과시키는 이색 거울(Dichroic Mirror), 상기 제1 경로의 일측에 구비되어 상기 반사된 빛의 적외선 영역의 파장에 대한 상기 열화상을 획득하는 열화상 디텍터(Detector) 및 상기 제2 경로의 일측에 구비되어 상기 투과된 빛의 가시광선 영역의 파장에 대한 상기 실화상을 획득하는 실화상 디텍터를 더 포함하는 광학 장치를 제공한다.In addition, according to another aspect of the present invention, a reflective lens of a first shape that receives light emitted from or reflected on a subject and reflects the received light, and a wavelength of an infrared region among the light reflected by the reflective lens is set to a first A dichroic mirror that reflects a path and transmits a wavelength of visible light to a second path, is provided on one side of the first path to obtain the thermal image for the wavelength of the infrared region of the reflected light It provides an optical device further comprising a thermal image detector (Detector) and a real image detector provided on one side of the second path to obtain the real image with respect to the wavelength of the visible ray region of the transmitted light.
또한, 본 발명의 다른 측면에 따르면, 피사체에서 출사되거나 피사체에 반사된 빛 중 적외선 영역의 파장을 제1 경로로 반사시키고, 가시광선 영역의 파장을 제2 경로로 투과시키는 이색 거울(Dichroic Mirror), 상기 제1 경로의 일측에 구비되어 상기 반사된 빛을 굴절 및 투과 시키는 열화상 렌즈, 상기 열화상 렌즈를 통해 투과된 빛으로부터 상기 열화상을 획득하는 열화상 디텍터(Detector), 상기 제2 경로의 일측에 구비되어 상기 투과된 빛을 굴절 및 투과 시키는 실화상 렌즈 및 상기 실화상 렌즈를 통해 투과된 빛으로부터 상기 실화상을 획득하는 실화상 디텍터를 더 포함하는 광학 장치를 제공한다.In addition, according to another aspect of the present invention, a dichroic mirror that reflects a wavelength of an infrared region among light emitted from or reflected on a subject to a first path and transmits a wavelength of a visible light region through a second path. , a thermal imaging lens provided on one side of the first path to refract and transmit the reflected light, a thermal image detector to acquire the thermal image from the light transmitted through the thermal imaging lens, and the second path It provides an optical device further comprising: a real image lens provided on one side of the to refract and transmit the transmitted light and a real image detector to obtain the real image from the light transmitted through the real image lens.
본 발명에 따른 광학 장치의 효과에 대해 설명하면 다음과 같다.The effect of the optical device according to the present invention will be described as follows.
본 발명의 실시 예들 중 적어도 하나에 의하면, 피사체의 온도 값을 정확하게 알 수 있다는 장점이 있다.According to at least one of the embodiments of the present invention, there is an advantage in that the temperature value of the subject can be accurately known.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 피사체의 물질에 따른 방사율을 고려한 정확한 온도 값을 알 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage in that it is possible to know an accurate temperature value in consideration of the emissivity according to the material of the subject.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 물체의 종류를 자동적으로 파악할 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage in that the type of the object can be automatically recognized.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 물체의 방사율을 자동적으로 파악할 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage that the emissivity of the object can be automatically determined.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 물체의 종류 또는 방사율을 갱신하여 데이터 베이스화 할 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage in that the type or emissivity of an object can be updated to form a database.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 실화상과 열화상의 싱크가 정확하게 가능하다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage that a real image and a thermal image can be accurately synchronized.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of applicability of the present invention will become apparent from the following detailed description. However, various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, so it is understood that the detailed description and specific embodiments such as preferred embodiments of the present invention are given by way of example only. should be
도 1은 본 발명과 관련된 광학 장치의 구성 개념도이다.
도 2는 본 발명과 관련된 실화상 및 열화상의 일 실시 예이다.
도 3은 방사율 설정이 자동으로 이루어질 수 있는 광학 장치의 일 실시 예를 도시한 것이다.
도 4는 방사율 설정이 자동으로 이루어질 수 있는 광학 장치의 또 다른 일 실시 예를 도시한 것이다.
도 5는 본 발명과 관련된 광학 장치에 대한 설명이다.
도 6은 본 발명과 관련된 광학 장치의 매칭부의 매칭 방식의 일 실시 예에 관한 개념도이다.
도 7은 본 발명과 관련된 광학 장치의 열화상 온도 값 연산 과정에 관한 또 다른 순서도이다.
도 8은 본 발명과 관련된 광학 장치로 획득된 실화상의 일 실시 예의 개념도이다.
도 9는 종래의 광학 장치의 개념도이다.
도 10은 본 발명과 관련된 광학 장치의 일 실시 예를 도시한 것이다.
도 11은 본 발명과 관련된 광학 장치의 또 다른 일 실시 예를 도시한 것이다.1 is a schematic diagram of the configuration of an optical device related to the present invention.
2 is an embodiment of a real image and a thermal image related to the present invention.
3 illustrates an embodiment of an optical device capable of automatically setting emissivity.
4 illustrates another embodiment of an optical device capable of automatically setting emissivity.
5 is a description of an optical device related to the present invention.
6 is a conceptual diagram illustrating an embodiment of a matching method of a matching unit of an optical device related to the present invention.
7 is another flowchart of a thermal image temperature value calculation process of the optical device according to the present invention.
8 is a conceptual diagram of an embodiment of a real image obtained by an optical device related to the present invention.
9 is a conceptual diagram of a conventional optical device.
10 illustrates an embodiment of an optical device related to the present invention.
11 illustrates another embodiment of an optical device related to the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "part" for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.
열화상 카메라는 피사체가 되는 물체의 온도를 파악하기 위한 목적으로 사용된다. 물체는 흑체 복사를 하며, 물체에서 출사 또는 반사되는 적외선 영역의 파장은 물체의 온도에 관한 정보를 포함한다. 열화상 카메라는 이러한 물체의 적외선 영역의 파장을 촬영하여 온도를 역산해 낸다.A thermal imaging camera is used for the purpose of determining the temperature of a subject object. An object emits blackbody radiation, and the wavelength of the infrared region emitted or reflected from the object contains information about the object's temperature. A thermal imaging camera takes a wavelength in the infrared region of such an object and calculates the temperature inversely.
하지만 물체의 재질 특성에 기인한 방사율(Emissivity) 차이 때문에 물체의 열화상 만으로 해당 물체의 정확한 온도를 파악할 수 없다.However, due to the difference in emissivity due to the material characteristics of the object, the exact temperature of the object cannot be determined only by the thermal image of the object.
따라서 물체의 재질 특성에 따른 방사율을 적용하여 정확한 온도를 계산해 내는 과정이 요구된다.Therefore, the process of calculating the exact temperature by applying the emissivity according to the material characteristics of the object is required.
설명의 편의를 위해, 방사율을 적용하여 정확한 온도를 얻기 전 온도 정보를 열화상 값으로 정의하고, 방사율을 적용하여 얻은 정확한 온도를 온도 값으로 정의한다.For convenience of explanation, the temperature information before obtaining the correct temperature by applying the emissivity is defined as a thermal image value, and the accurate temperature obtained by applying the emissivity is defined as the temperature value.
열화상 값을 보정하여 온도를 계산해 내는 방법과 관련하여 물체가 단일 물질이며 획득한 열화상의 전 영역에 걸쳐 구비되는 경우에는 열화상의 전 영역에 대해 일괄적으로 해당 물질의 방사율을 적용하여 온도를 계산해내면 족하다.Regarding the method of calculating the temperature by correcting the thermal image value, if the object is a single material and is provided over the entire area of the obtained thermal image, the temperature is calculated by applying the emissivity of the material to the entire area of the thermal image. inside is enough
하지만 그렇지 않은 경우, 즉 화상 내에서 물체가 서로 다른 방사율을 갖는 복수의 물질을 포함하거나, 또는 피사체가 복수의 물체를 포함하는 경우(이는 하나의 물체와 그 배경을 의미할 수 있다.)에는 열화상에서 복수 영역에 대해 복수의 방사율을 구분하여 적용해야 한다.However, if this is not the case, that is, when an object in the image includes a plurality of materials having different emissivities, or when an object includes a plurality of objects (this may mean one object and its background), deterioration A plurality of emissivity should be applied separately for a plurality of areas in the phase.
따라서 열화상에서 물질이 달라지는 경계 또는 물체가 달라지는 경계를 인식하여 구분할 필요가 있다. 이러한 경계의 개념을 광학 패턴으로 정의한다. 또한 설명의 편의를 위해 별도의 언급이 없는 이상 단일 물체는 단일 물질로 구성되는 것으로 가정한다.Therefore, in the thermal image, it is necessary to recognize and classify the boundary where the material changes or the boundary where the object changes. The concept of this boundary is defined as an optical pattern. Also, for convenience of description, it is assumed that a single object is composed of a single material unless otherwise noted.
열화상의 광학 패턴을 인식하는 대표적인 방법에는 두 가지가 있다. 첫번째는 열화상에서 바로 광학 패턴을 인식하는 경우, 두번째는 실화상의 광학 패턴을 인식하여 열화상에 적용하는 경우이다.There are two representative methods for recognizing an optical pattern of a thermal image. The first is when an optical pattern is directly recognized from a thermal image, and the second is when an optical pattern of a real image is recognized and applied to the thermal image.
구체적으로, 첫번째 방식은 열화상에서 열화상 값이 달라지는 경계를 구분하여 광학 패턴을 인식한다.Specifically, the first method recognizes an optical pattern by dividing a boundary at which a thermal image value varies from a thermal image.
물체의 경계가 달라지는 경우 통상적으로 온도의 경계도 달라진다는 점을 근거로 열화상 값에 차이가 발생하는 경계를 구분할 수 있다.When the boundary of an object changes, the boundary at which a difference in the thermal image value occurs can be distinguished based on the fact that the boundary of the temperature is usually also changed.
다만 열화상 값은 열의 복사, 전도, 대류의 특성상 불연속 적으로 존재하지 않으며 연속적인 분포를 가진다.However, thermal image values do not exist discontinuously due to the characteristics of heat radiation, conduction, and convection, but have a continuous distribution.
따라서 물체의 경계와 열화상 값이 달라지는 경계는 정확하게 일치하지 않는다는 문제점이 존재한다. 또한 상술한 바와 같이 열화상 값 분포가 연속적이므로 정확한 열화상 값의 경계를 파악하는 것 자체가 어렵다.Therefore, there is a problem that the boundary of the object and the boundary where the thermal image value is different do not exactly match. In addition, as described above, since the thermal image value distribution is continuous, it is difficult to accurately identify the boundary between thermal image values.
나아가 물체가 복수이고, 복수의 물체가 동일하거나 유사한 열화상 값 분포를 갖는 경우 복수의 물체간 경계를 가늠하기 어렵다는 문제점이 있다.Furthermore, when there are a plurality of objects and the plurality of objects have the same or similar thermal image value distribution, there is a problem in that it is difficult to determine the boundary between the plurality of objects.
두번째 방식은 열화상 및 해당 열화상에 대응하는 실화상을 얻고 실화상의 광학 패턴을 기준으로 열화상의 광학 패턴을 간접적으로 결정하는 방법이다. 실화상의 광학 패턴은 열화상의 광학 패턴과 달리 명확한 경계가 있다는 점에서 상승효과가 존재하나, 실화상과 열화상을 동일한 방향 및 구도로 얻지 않는 이상 물체의 경계가 일치하지 않는다는 문제가 있다.The second method is a method of obtaining a thermal image and a real image corresponding to the thermal image, and indirectly determining an optical pattern of the thermal image based on the optical pattern of the real image. The optical pattern of the real image has a synergistic effect in that it has a clear boundary unlike the optical pattern of the thermal image.
본 발명은 이러한 문제점들을 해결할 수 있다.The present invention can solve these problems.
실화상을 기준으로 물체 또는 물질의 경계를 파악하는 경우 열화상과 같이 연속적인 경계가 아닌 명확한 경계를 통해 광학 패턴을 인식할 수 있다는 장점이 있다.When the boundary of an object or material is identified based on a real image, there is an advantage that an optical pattern can be recognized through a clear boundary rather than a continuous boundary like a thermal image.
도 1은 본 발명과 관련된 광학 장치(100)의 구성 개념도이고, 도 2는 본 발명과 관련된 실화상(210) 및 열화상(220)의 일 실시 예이다.1 is a conceptual diagram of an
광학 장치(100)의 이미지 획득부(110)는 피사체의 실화상(210) 및 열화상(220)을 획득한다. 이때 피사체는 온도 값을 계산하기 위한 대상 전부 또는 일부 영역을 포함할 수 있다. 나아가 이러한 대상을 포함하는 배경 또는 다른 물체를 포함할 수 있다.The
실화상(210)의 광학 패턴(211)을 열화상(220)에 적용하여 정확한 결과를 얻기 위해서는 양 화상의 싱크(Sink)가 필요하다. 양 화상의 싱크라 함은 실화상(210)과 열화상(220)이 동일한 피사체를 촬영한 것이라고 가정할 때 양 피사체가 동일하게 겹칠 수 있도록 하는 기준 좌표를 잡는 과정을 말한다. 예를 들어 도 2와 같이 사각형의 피사체를 촬영한 경우, 실화상(210)의 사각형의 좌측 상단 꼭지점과 열화상(210)의 사각형의 좌측 상단 꼭지점 좌표를 대응되는 좌표로 인식하는 것을 싱크 과정이라 할 수 있다.In order to obtain an accurate result by applying the
패턴 추출부(120)는 이미지 획득부(110)를 통해 얻어진 실화상(210)에서 광학 패턴(211)을 추출할 수 있다.The
실화상(210)에서 광학 패턴(211)은 픽셀 비교를 통해 추출될 수 있다. 인접한 픽셀을 비교하여 서로 다른 색상(또는 가시광선 파장)을 갖는 픽셀을 광학 패턴(211)의 경계로 인식할 수 있다.The
실화상(210)에서 추출된 광학 패턴(211)은 특정 영역(2111)을 형성할 수 있다. 광학 패턴(211)이 형성하는 특정 영역은 연속되는 하나의 광학 패턴, 만나는 복수의 광학 패턴, 또는 적어도 하나의 광학 패턴과 화상 외곽 경계로 인해 형성되는 닫힌 영역을 의미할 수 있다. 편의상 광학 패턴(211)이 형성하는 닫힌 영역을 제1 영역(2111)으로 정의한다. 하나의 실화상(210)에는 복수의 구분되는 제1 영역(2111)이 구비될 수 있다.The
제1 영역(2111) 내부는 동일한 방사율을 갖는 동일한 물질이 분포되어 있다는 점에서 유의미하다.It is significant in that the same material having the same emissivity is distributed inside the
상기 특성을 근거로 방사율 설정부(130)는 제1 영역(2111)에 대해 특정 방사율을 일괄적으로 설정할 수 있다.Based on the above characteristics, the
특정된 제1 영역(2111)에 대한 방사율 설정은 사용자가 직접 입력할 수도 있고, 또는 광학 장치(100)의 매칭부(160)가 제1 영역(2111)이 어떤 물체에 해당하는지를 파악하고 방사율 설정부(130)가 해당 물체(또는 물질)이 갖는 방사율을 자동적으로 적용하는 방법이 있다. 매칭부(160) 및 방사율 설정부(130)를 통한 물체 분석 및 방사율 설정은 추출된 실화상의 광학 패턴(211)과 기 저장된 특정 물체의 광학 패턴을 비교하여 매칭시키는 방법, 또는 딥-러닝(Deep-Learning) 방식을 통해서 매칭시키는 방법이 있다.The emissivity setting for the specified
실화상(210)의 광학 패턴(211) 또는 제1 영역(2111)을 근거로 열화상(220)에는 광학 패턴(221) 또는 제1 영역(2211)이 할당될 수 있다.An optical pattern 221 or a
실화상(210)의 제1 영역(2111)을 근거로 설정된 방사율은 열화상(220)의 제1 영역(2211)에 적용된다.The emissivity set based on the
도 3 및 도 4는 방사율 설정이 자동으로 이루어질 수 있는 광학 장치(100)의 실시 예를 각각 도시한 것이다.3 and 4 respectively show an embodiment of the
저장부(170), 서버 또는 외부 장치(310)는 방사율 설정을 위한 적어도 하나의 물체에 대한 광학 패턴(211) 및 방사율 데이터 베이스를 형성할 수 있다. 특정 물체의 광학 패턴(211)은 광학 장치(100)의 저장부(170)에 저장되어 있을 수도 있고, 또는 광학 장치(100)가 서버(310)와 연결되어 통신부(180)를 통해 데이터를 주고 받아 비교될 수도 있다. 매칭부(160)는 추출된 광학 패턴(211)과 저장부(170) 또는 서버(310)에 저장된 광학 패턴(211)을 비교하여 양 광학 패턴(211)의 일치 여부를 판단할 수 있다.The
도 2와 함께 참조하면, 전술한 바와 같이 제1 영역(2111)에 대해 설정된 방사율은 열화상(220)의 제1 영역(2211)에 적용된다. 열화상 값 추출부(190)는 열화상의 제1 영역(2211)의 열화상 값을 추출한다. 열화상 값은 적외선 파장 영역의 파장 값을 근거로 얻어질 수 있다. 열화상 값은 제1 영역(2111) 내의 복수의 픽셀 별로 추출될 수 있다.Referring to FIG. 2 , as described above, the emissivity set for the
연산부(140)는 상기 열화상 값 추출부(190)를 통해 추출된 제1 영역(2111)에 대한 열화상 값에 상기 설정된 방사율을 적용하여 온도 값을 계산한다. 복수의 픽셀에 대응하는 각 열화상 값에 방사율을 각각 적용하여 각 픽셀에 대한 온도 값을 얻을 수 있다. 연산부(140)를 통해 얻어진 온도 값은 물질 특성에 기인하는 방사율까지 고려한 정확한 온도가 된다.The calculating
출력부(150)는 연산된 온도 값을 출력할 수 있다. 이때 온도 값은 열화상 제1 영역(2111)의 픽셀별 온도 값이 될 수 있다. 온도 값을 수치로 출력되거나, 또는 열화상 형태로 출력될 수도 있다. 열화상 형태로 출력되는 경우 이미지 획득부(110)를 통해 획득한 열화상의 제1 영역(2211)은 실제 온도 값을 갖는 보정된 열화상으로 대체될 수 있다. 보정된 열화상을 통해 사용자는 정확한 온도 분포를 한눈에 파악할 수 있다는 장점이 있다.The
경우에 따라 보정된 열화상은 광학 패턴(211)까지 함께 출력할 수 있다. 광학 패턴(211)까지 함께 출력되는 열화상은 온도 분포 및 물체의 경계까지 한눈에 파악할 수 있는 장점이 있다.In some cases, the corrected thermal image may also be output up to the
도 5는 본 발명과 관련된 광학 장치(100)에 대한 설명이다.5 is a description of the
물체의 변화를 고려하지 않은 본 발명은 상기 과정, 즉, 도 5의 광학 패턴이 변화하는지 여부를 판단하는 단계(S510)를 제외한 과정을 거치면서 수행된다(S501 내지 S508). 이하에서는 물체가 변화하는 경우 추가되는 과정을 설명한다.The present invention, which does not consider the change of the object, is performed while passing through the above process, that is, the process excluding the step (S510) of determining whether the optical pattern of FIG. 5 is changed (S501 to S508). Hereinafter, a process of adding an object when it changes will be described.
물체의 변화란 물체의 위치가 바뀌거나, 특정 물체가 없어지거나, 특정 물체가 다른 특정 물체로 대체되거나, 특정 물체에 다른 특정 물체가 추가되는 경우 등 광학 패턴의 변화가 발생하는 것을 의미한다.The change of an object means that an optical pattern changes, such as when the position of an object is changed, when a specific object disappears, when a specific object is replaced with another specific object, or when another specific object is added to a specific object.
물체가 변화하는 경우 광학 패턴이 변화하는지 판단하는 단계(S510)가 광학 패턴을 추출하는 단계(S502) 및 광학 패턴을 매칭하는 단계(S503) 사이에 추가될 수 있다.When the object changes, the step of determining whether the optical pattern changes (S510) may be added between the step of extracting the optical pattern (S502) and the step of matching the optical pattern (S503).
실화상으로부터 광학 패턴을 추출하고(S502), 이것이 기존의 광학 패턴과 다른지 판단한다(S510). 기존의 광학 패턴으로부터 변화가 발생하였다면 변화된 광학 패턴을 기준으로 저장된 광학 패턴과 매칭하는 과정을 진행한다(S503). 기존의 광학 패턴으로부터 변화가 발생하지 않았다면 실화상 및 열화상을 획득하고(S501) 실화상의 광학 패턴을 추출(S502)하는 과정을 반복적으로 수행할 수 있다.An optical pattern is extracted from the real image (S502), and it is determined whether it is different from an existing optical pattern (S510). If a change has occurred from the existing optical pattern, a process of matching the stored optical pattern with the changed optical pattern is performed (S503). If there is no change from the existing optical pattern, the process of acquiring a real image and a thermal image (S501) and extracting an optical pattern of the real image (S502) may be repeatedly performed.
이와 달리, 별도의 센서를 통해 물체가 변화하는지 인식할 수도 있다.Alternatively, it is also possible to recognize whether an object is changing through a separate sensor.
도 6은 본 발명과 관련된 광학 장치(100)의 매칭부(160)의 매칭 방식의 일 실시 예에 관한 개념도이다.6 is a conceptual diagram of an embodiment of a matching method of the
광학 패턴 추출 과정에서 물체의 변화를 인지하는 경우, 물체가 이동을 하였는지 또는 화상에 물체가 가감 되었는지에 따라 방사율 설정 영역만을 변경할 것인지 다른 방사율을 새로이 설정할 것인지가 문제된다.In the case of recognizing a change in an object during the optical pattern extraction process, there is a problem whether to change only the emissivity setting area or to set a new emissivity according to whether the object has moved or whether an object is added or subtracted from the image.
물체의 이동인지 변경인지 여부는 매칭부(160)를 이용한 방사율 설정 방식에 의해 구현될 수 있다.Whether the object is moved or changed may be implemented by the emissivity setting method using the
매칭부(160)를 이용한 방사율 설정 방식에서 하나의 물체에 대응되는 복수의 광학 패턴이 구비될 수 있다. 이때 복수의 광학 패턴은 하나의 물체를 여러 방향에서 바라본 형태의 광학 패턴을 포함할 수 있다.In the emissivity setting method using the
예를 들어, 저장부(170), 서버 또는 외부 장치(310)는 제1 물체를 여러 방향에서 바라보았을 때의 각 광학 패턴인 제1-1 광학 패턴 내지 제1-4 광학 패턴을 포함할 수 있다. 또 제2 물체를 여러 방향에서 바라보았을 때의 각 광학 패턴인 제2-1 광학 패턴 내지 제2-4 광학 패턴을 포함할 수 있다.For example, the
특정 시간에 실화상으로부터 추출한 광학 패턴 영역을 제1 시점 영역이라 하고, 제1 시점 영역의 광학 패턴을 추출한 이후 특정 시간 이후에 추출한 광학 패턴 영역을 제2 시점 영역이라 할 때, 제1 시점 영역 및 제2 시점 영역이 하나의 물체에 대응하는 복수의 광학 패턴에 포함되는 경우 두 광학 패턴은 동일 물체에 해당되는 것으로 판단하여 동일한 방사율을 유지하여 적용할 수 있다.When the optical pattern region extracted from the real image at a specific time is called a first viewpoint region, and the optical pattern region extracted after a specific time after the optical pattern of the first viewpoint region is extracted is called a second viewpoint region, the first viewpoint region and When the second viewpoint region is included in a plurality of optical patterns corresponding to one object, the two optical patterns may be determined to correspond to the same object and may be applied while maintaining the same emissivity.
하나의 물체에 대응하는 복수의 광학 패턴은 저장부(170), 서버 또는 외부 장치(310) 등에 저장되어 사용될 수 있다.A plurality of optical patterns corresponding to one object may be stored and used in the
추출한 광학 패턴의 제1 시점 영역과 제2 시점 영역이 동일한 물체의 광학 패턴에 해당되지 않는 경우 다른 물체로 대체된 것으로 인식하여 새로운 방사율을 설정을 요구하거나 자동적으로 설정할 수 있다.When the first viewpoint area and the second viewpoint area of the extracted optical pattern do not correspond to the optical pattern of the same object, it is recognized as being replaced by another object, and a new emissivity setting may be requested or automatically set.
도 7은 본 발명과 관련된 광학 장치(100)의 열화상 온도 값 연산 과정에 관한 또 다른 순서도이다.7 is another flowchart of a thermal image temperature value calculation process of the
저장부 등에 기 저장된 광학 패턴과 추출된 광학 패턴을 비교하여 일치하는 경우 방사율을 설정하는 방식을 사용하는 경우에, 새롭게 추출된 광학 패턴이 기 저장된 광학 패턴에 없는 경우(S521) 새로운 물체의 광학 패턴 또는 기존 물체의 다른 방향에서 바라본 광학 패턴으로 인식하여 저장부 등에 저장하여 갱신할 수 있다. 갱신은 추출된 광학 패턴을 저장(S522)하고, 해당 광학 패턴의 방사율을 입력 받아 저장(S523)하는 과정을 통해 수행될 수 있다. 이러한 갱신 과정은 저장부 등의 물체의 광학 패턴 및 방사율의 데이터 베이스를 늘려 높은 매칭율을 가능하게 할 수 있다.In the case of using the method of setting the emissivity by comparing the extracted optical pattern with the pre-stored optical pattern in the storage unit and the like, if the newly extracted optical pattern is not in the pre-stored optical pattern (S521), the optical pattern of a new object Alternatively, the existing object may be recognized as an optical pattern viewed from a different direction and stored in a storage unit to be updated. The update may be performed through the process of storing the extracted optical pattern (S522) and receiving and storing the emissivity of the corresponding optical pattern (S523). This update process may enable a high matching rate by increasing the database of optical patterns and emissivity of objects such as the storage unit.
도 8은 본 발명과 관련된 광학 장치(100)로 획득된 실화상(210)의 일 실시 예의 개념도이다.8 is a conceptual diagram of an embodiment of a
이미지 획득부를 통해 획득한 화상이 복수의 물체가 겹쳐 구비될 수 있다. 이 경우 겹치는 영역을 고려한 광학 패턴 매칭 및 방사율 설정 고려가 필요하다.An image acquired through the image acquisition unit may be provided by overlapping a plurality of objects. In this case, it is necessary to consider optical pattern matching and emissivity setting considering the overlapping area.
추출된 광학 패턴(211a, 211b) 중 제1 물체의 광학 패턴에 포함되는 부분을 제1 물체 광학 패턴(211a)(도 8의 원 중 실선 부분), 제2 물체의 광학 패턴에 포함되는 부분을 제2 물체 광학 패턴(211b)(도 8의 사각형 중 실선 부분)이라고 한다. 제1 물체 광학 패턴(211a)이 기 저장된 제1 물체의 광학 패턴(211)(도 8의 원의 실선 부분 및 점선 부분)의 일부이고, 제2 물체 광학 패턴(211b)이 기 저장된 제2 물체의 광학 패턴의 전부라고 가정하면, 제1 물체는 제2 물체에 가려진 화상임을 예상할 수 있다.A portion included in the optical pattern of the first object among the extracted
제1 물체가 다른 물체에 의해 가려진 것으로 판단되면, 제1 물체의 광학 패턴이 형성하는 전 영역에 대해 제1 물체의 방사율을 적용하는 것은 부적절하며 제1 물체가 노출된 것으로 판단되는 영역에만 제1 물체의 방사율이 적용되는 것이 바람직하다. 화상에서 제1 물체의 노출 영역(212)은 제1 물체 광학 패턴(211a)과 제1 물체 광학 패턴(211a)에 연결되어 닫힌 영역을 형성하는 제2 물체 광학 패턴(211b)의 일부가 형성하는 영역이 된다.When it is determined that the first object is obscured by another object, it is inappropriate to apply the emissivity of the first object to the entire area formed by the optical pattern of the first object, and it is inappropriate to apply the first object only to the area where the first object is determined to be exposed. It is preferred that the emissivity of the object is applied. The
노출 영역(212)에는 제1 물체의 방사율을 적용하고, 나머지 제2 물체 광학 패턴이 형성하는 영역(213)에는 제2 물체의 방사율을 적용한다.The emissivity of the first object is applied to the exposed
지금까지 광학 패턴을 추출하고 이를 통해 물체의 방사율을 결정하여 온도 값을 계산하는 과정을 알아 보았다. 앞서 말한 바와 같이 본 과정은 실화상의 획득한 광학 패턴의 영역을 열화상의 영역에 적용하는 것을 전제로 한다. 따라서 실화상과 열화상이 얻는 피사체가 동일 지점에서 바라본 결과 일수록 정확한 결과를 가질 수 있다.So far, the process of calculating the temperature value by extracting the optical pattern and determining the emissivity of the object has been investigated. As mentioned above, this process is premised on applying the area of the acquired optical pattern of the real image to the area of the thermal image. Therefore, the more accurate the results obtained from the real image and the thermal image viewed from the same point, the more accurate the result can be.
아래에서는 실화상과 열화상이 동일한 구도의 상을 얻기 위한 방안에 대해 설명한다.Hereinafter, a method for obtaining an image having the same composition as the real image and the thermal image will be described.
도 9는 종래의 광학 장치의 개념도이다.9 is a conceptual diagram of a conventional optical device.
도 9와 같이 피사체(401)로부터 실화상 디텍터(412)까지 도달하는 광학 경로(413) 및 열화상 디텍터(422)까지 도달하는 광학경로(423)가 상이한 경우에는 동일한 지점에서 바라본 피사체가 아니므로 열화상과 실화상이 일치하지 않는다.As shown in FIG. 9 , if the
따라서 열화상 소자(112)와 실화상 소자(111)의 광학 경로(413, 423)가 동일한 경우 상기 방사율 설정 위한 영역 구분의 정확도가 높아질 수 있다.Accordingly, when the
여기서 소자의 의미는 디텍터(412, 422) 및 피사체(401)로부터 상기 디텍터(412, 422)까지 도달하는 경로에 위치하여 빛을 굴절시키는 렌즈(411, 421)까지 포함하는 개념일 수 있다.Here, the meaning of the element may be a concept including the
도 10 및 도 11은 본 발명과 관련된 광학 장치(100)의 두 실시 예를 도시한 것이다.10 and 11 show two embodiments of the
도 10 및 도 11은 열화상 소자(112) 및 실화상 소자(111)의 광학 경로가 일치하는 광학 장치(100)의 두 실시 예를 도시한 것이다.10 and 11 illustrate two embodiments of the
도 10를 참조하면, 반사 렌즈(402)는 피사체(401)에서 출사되거나 피사체(401)에서 반사된 빛을 수광하고 수광된 빛을 반사한다. 이색 거울(Dichroic Mirror, 403)는 반사 렌즈(402)에 반사된 빛 중 적외선 영역의 파장을 제1 경로로 반사시키고, 가시광선 영역의 파장을 제2 경로로 투과시킨다.Referring to FIG. 10 , the
이색 거울은 상기 기능을 동일하게 수행하는 구성이면 무엇이든지 대체 가능하다. 일 예로, 이색거울(403) 대신 빔 스플리터(Beam Splitter)로 대체될 수도 있다.The dichroic mirror can be replaced with any configuration that performs the same function as described above. For example, instead of the
열화상 디텍터(422)는 제1 경로의 일측에 구비되어 반사된 빛의 적외선 영역 파장에 대한 열화상을 획득하고, 실화상 디텍터(412)는 제2 경로의 일측에 구비되어 투과된 빛의 가시광선 영역의 파장에 대한 실화상을 획득한다.The
상술한 바와 같이 열화상 디텍터(422) 또는 실화상 디텍터(412)로 수광되는 빛이 동일한 광학 경로(413, 423)를 공유하므로 실화상 및 열화상은 동일한 구도의 상을 얻을 수 있다. 이때, 이색 거울(403)을 지나 빛이 분리되는 것은 이미 동일한 상을 갖는 빛의 성분에 대해 파장을 분리하는 것일 뿐이므로 광학 장치(100) 전체적으로 동일한 광학 경로라고 할 수 있다.As described above, since the light received by the
상기 실시 예는 이색 거울(403)에서 적외선 파장이 반사되고 그 경로에 열화상 디텍터(422)가 구비되고, 가시광선 파장은 이색 거울(403)을 투과하여 그 경로에 실화상 디텍터(412)가 구비되는 것을 도시하고 있으나, 반대로 가시광선 파장이 반사되어 그 경로에 실화상 디텍터(412)가 구비되고, 적외선 파장은 이색 거울(403)을 투과하여 그 경로에 열화상 디텍터(422)가 구비될 수도 있다.In the above embodiment, the infrared wavelength is reflected by the
도 11을 참조하면, 이색 거울(403)은 피사체(401)에서 출사되거나 피사체(401)에 반사된 빛 중 적외선 영역의 파장을 제1 경로로 반사시키고, 가시광선 영역의 파장을 제2 경로로 투과시킨다. 열화상 렌즈(421)는 제1 경로의 일측에 구비되어 이색 거울(403)에서 반사된 빛을 굴절 및 투과시키고, 열화상 디텍터(422)는 열화상 렌즈(421)를 통해 투과된 빛으로부터 열화상을 획득한다. 실화상 렌즈(411)는 제2 경로의 일측에 구비되어 이색 거울(403)을 투과한 빛을 굴절 및 투과 시키고, 실화상 디텍터(412)는 실화상 렌즈(411)를 통해 투과된 빛으로부터 실화상을 획득한다.Referring to FIG. 11 , the
반대로, 이색 거울(403)은 가시광선 영역의 파장을 제1 경로로 반사시키고, 적외선 영역의 파장을 제2 경로로 투과시킬 수도 있다. 이 경우 열화상 렌즈(421) 및 열화상 디텍터(422)는 제2 경로상에 구비되고, 실화상 렌즈(411) 및 실화상 디텍터(412)는 제1 경로상에 구비되어야 한다.Conversely, the
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 해당 기술 분야의 통상의 기술자에게 자명하다.It is apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit and essential characteristics of the present invention.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.
100: 광학 장치 110: 이미지 획득부
111: 실화상 소자 112: 열화상 소자
120: 패턴 추출부 130: 방사율 설정부
140: 연산부 150: 출력부
160: 매칭부 170: 저장부
180: 통신부 190: 열화상 값 추출부
210: 실화상 211: 광학 패턴
2111: 제1 영역 211a: 제1 물체 광학 패턴
211b: 제2 물체 광학 패턴 212: 노출 영역
213: 제2 물체 광학 패턴이 형성하는 영역
220: 열화상 2211: 제1 영역
310: 서버, 외부 단말기 401: 피사체
402: 반사 렌즈 403: 이색 거울
411: 실화상 렌즈 412: 실화상 디텍터
421: 열화상 렌즈 422: 열화상 디텍터100: optical device 110: image acquisition unit
111: real image element 112: thermal image element
120: pattern extraction unit 130: emissivity setting unit
140: calculation unit 150: output unit
160: matching unit 170: storage unit
180: communication unit 190: thermal image value extraction unit
210: real image 211: optical pattern
2111:
211b: second object optical pattern 212: exposure area
213: a region formed by the second object optical pattern
220: thermal image 2211: first area
310: server, external terminal 401: subject
402: reflective lens 403: dichroic mirror
411: real image lens 412: real image detector
421: thermal imaging lens 422: thermal imaging detector
Claims (9)
상기 획득된 실화상에서 광학 패턴을 추출하는 패턴 추출부;
상기 추출된 광학 패턴에 대응되는 제1 영역에 대해 방사율을 설정하는 방사율 설정부;
상기 획득된 열화상 중 상기 제1 영역에 대한 열화상 값을 추출하는 열화상 값 추출부;
상기 추출된 제1 영역에 대한 열화상 값에 상기 설정된 방사율을 적용하여 온도 값을 계산하는 연산부; 및
상기 계산된 온도 값을 출력하는 출력부를 포함하는 광학 장치.an image acquisition unit comprising a real image element for obtaining a real image of a subject and a thermal image path for obtaining a thermal image of the subject, wherein the real image element and the thermal imager have the same optical axis;
a pattern extraction unit for extracting an optical pattern from the obtained real image;
an emissivity setting unit for setting an emissivity for a first region corresponding to the extracted optical pattern;
a thermal image value extractor configured to extract a thermal image value of the first region from among the acquired thermal images;
a calculating unit for calculating a temperature value by applying the set emissivity to the extracted thermal image value for the first region; and
and an output unit outputting the calculated temperature value.
상기 출력부는,
상기 획득한 열화상 중 상기 제1 영역은 상기 계산된 온도 값에 대응하는 열화상으로 대체하여 출력하는 것을 특징으로 하는 광학 장치.The method of claim 1,
the output unit,
The optical apparatus of claim 1, wherein the first region of the acquired thermal image is replaced with a thermal image corresponding to the calculated temperature value and output.
사용자 입력부를 더 포함하고,
상기 방사율 설정부는 상기 사용자 입력부를 통해 입력된 값을 상기 방사율로 설정하는 것을 특징으로 하는 광학 장치.The method of claim 1,
Further comprising a user input unit,
The emissivity setting unit sets the value input through the user input unit as the emissivity.
물체의 광학 패턴 및 방사율을 저장하는 저장부; 및
상기 추출된 광학 패턴과 상기 저장된 광학 패턴을 비교하여 일치 여부를 판단하는 매칭부를 더 포함하고,
상기 방사율 설정부는,
상기 매칭부가 일치하는 것으로 판단하는 경우 상기 물체의 방사율을 상기 제1 영역에 대해 설정하는 것을 특징으로 하는 광학 장치.The method of claim 1,
a storage unit for storing the optical pattern and emissivity of the object; and
Comparing the extracted optical pattern and the stored optical pattern further comprising a matching unit to determine whether the match,
The emissivity setting unit,
The optical device of claim 1, wherein the emissivity of the object is set with respect to the first area when the matching unit determines that they match.
상기 광학 장치는,
물체의 광학 패턴 및 방사율을 저장하는 저장부; 를 더 포함하고,
상기 물체는 복수이고,
상기 저장부는 상기 복수의 물체 각각에 대한 상기 광학 패턴 및 상기 방사율 정보를 저장하는 것을 특징으로 하는 광학 장치.The method of claim 1,
The optical device is
a storage unit for storing the optical pattern and emissivity of the object; further comprising,
the object is plural,
and the storage unit stores the optical pattern and the emissivity information for each of the plurality of objects.
상기 저장부는,
복수의 상기 광학 패턴을 저장하고, 상기 복수의 광학 패턴은 상기 물체를 여러 방향에서 바라본 실화상을 기초로 하고,
상기 방사율 설정부는,
상기 추출된 광학 패턴과 상기 저장된 복수의 광학 패턴 중 하나가 일치하는 것으로 상기 매칭부가 판단하는 경우 상기 물체의 방사율을 상기 제1 영역에 대해 설정하는 것을 특징으로 하는 광학 장치.6. The method of claim 5,
The storage unit,
storing a plurality of the optical patterns, wherein the plurality of optical patterns are based on a real image of the object viewed from various directions,
The emissivity setting unit,
When the matching unit determines that the extracted optical pattern matches one of the plurality of stored optical patterns, the emissivity of the object is set for the first region.
상기 실화상 소자 및 상기 열화상 소자는,
상기 피사체에서 출사되거나 상기 피사체에 반사된 빛을 수광하고 수광된 빛을 반사하는 제1 형상의 반사 렌즈; 및
상기 반사 렌즈로부터 반사된 빛 중 적외선 영역의 파장을 제1 경로로 반사시키고, 가시광선 영역의 파장을 제2 경로로 투과시키는 이색 거울(Dichroic Mirror);
을 포함하고,
상기 열화상 소자는, 상기 제1 경로의 일측에 구비되어 상기 제 1 경로로 반사되는 적외선 영역의 파장에 대한 상기 열화상을 획득하는 열화상 디텍터(Detector); 를 포함하고,
상기 실화상 소자는, 상기 제2 경로의 일측에 구비되어 상기 제 2 경로로 투과되는 가시광선 영역의 파장에 대한 상기 실화상을 획득하는 실화상 디텍터를 포함하는,
광학 장치.The method of claim 1,
The real image element and the thermal image element,
a reflective lens of a first shape for receiving light emitted from the subject or reflected by the subject and reflecting the received light; and
a dichroic mirror that reflects a wavelength of the infrared region among the light reflected from the reflective lens to a first path and transmits a wavelength of the visible ray region to a second path;
including,
The thermal imager may include: a thermal image detector provided on one side of the first path to acquire the thermal image with respect to a wavelength of an infrared region reflected by the first path; including,
The real image element includes a real image detector provided on one side of the second path to obtain the real image with respect to a wavelength of a visible ray region transmitted through the second path,
optical device.
상기 실화상 소자 및 상기 열화상 소자는,
상기 피사체에서 출사되거나 상기 피사체로부터 반사된 빛 중 적외선 영역의 파장을 제1 경로로 반사시키고, 가시광선 영역의 파장을 제2 경로로 투과시키는 이색 거울(Dichroic Mirror);
을 포함하고,
상기 열화상 소자는,
상기 제1 경로의 일측에 구비되어 상기 제 1 경로로 반사된 빛을 굴절 및 투과 시키는 열화상 렌즈; 및
상기 열화상 렌즈를 통해 투과된 빛으로부터 상기 열화상을 획득하는 열화상 디텍터(Detector);
를 포함하고,
상기 실화상 소자는,
상기 제2 경로의 일측에 구비되어 상기 제 2 경로로 투과된 빛을 굴절 및 투과 시키는 실화상 렌즈; 및
상기 실화상 렌즈를 통해 투과된 빛으로부터 상기 실화상을 획득하는 실화상 디텍터; 를 포함하는,
광학 장치.The method of claim 1,
The real image element and the thermal image element,
a dichroic mirror that reflects a wavelength of an infrared region among light emitted from or reflected from the subject to a first path and transmits a wavelength of a visible light region through a second path;
including,
The thermal imaging device,
a thermal imaging lens provided on one side of the first path to refract and transmit light reflected by the first path; and
a thermal image detector for acquiring the thermal image from the light transmitted through the thermal imaging lens;
including,
The real image element is
a real image lens provided on one side of the second path to refract and transmit light transmitted through the second path; and
a real image detector for obtaining the real image from the light transmitted through the real image lens; containing,
optical device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170112540A KR102431979B1 (en) | 2017-09-04 | 2017-09-04 | Optical device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170112540A KR102431979B1 (en) | 2017-09-04 | 2017-09-04 | Optical device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190026157A KR20190026157A (en) | 2019-03-13 |
KR102431979B1 true KR102431979B1 (en) | 2022-08-12 |
Family
ID=65761863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170112540A KR102431979B1 (en) | 2017-09-04 | 2017-09-04 | Optical device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102431979B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008058A (en) * | 2010-06-28 | 2012-01-12 | Meiwa E Tec:Kk | Temperature measurement device |
JP2013538334A (en) * | 2010-07-08 | 2013-10-10 | エフ・イ−・アイ・カンパニー | Charged particle beam processing system for visual and infrared imaging |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110037448A (en) * | 2009-10-07 | 2011-04-13 | (주)토핀스 | The one-axis type lens module for the thermal imaging camera |
KR101322801B1 (en) * | 2011-11-03 | 2013-11-04 | 한국 전기안전공사 | System and method for setting emissivity of infrared thermal vision camera using reference pattern |
-
2017
- 2017-09-04 KR KR1020170112540A patent/KR102431979B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008058A (en) * | 2010-06-28 | 2012-01-12 | Meiwa E Tec:Kk | Temperature measurement device |
JP2013538334A (en) * | 2010-07-08 | 2013-10-10 | エフ・イ−・アイ・カンパニー | Charged particle beam processing system for visual and infrared imaging |
Also Published As
Publication number | Publication date |
---|---|
KR20190026157A (en) | 2019-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10972721B2 (en) | Apparatus and method for multi configuration near eye display performance characterization | |
US20120307046A1 (en) | Methods and apparatus for thermographic measurements | |
CN105910712B (en) | Five-channel self-adaption two-dimensional temperature field measuring apparatus and its measurement method | |
WO2010004763A1 (en) | Three-dimensional shape measuring device, integrated circuit, and method | |
CN104272717A (en) | A method and system for performing alignment of a projection image to detected infrared (IR) radiation information | |
US20080043218A1 (en) | Range image producing method and apparatus for image taking | |
CN106454090A (en) | Automatic focusing method and system based on depth camera | |
CN109712192A (en) | Camera module scaling method, device, electronic equipment and computer readable storage medium | |
JP6991957B2 (en) | Image processing device, image pickup device and image processing method | |
US20230079693A1 (en) | Elevated temperature screening systems and methods | |
EP2635019B1 (en) | Image processing device, image processing method, and program | |
US20230054197A1 (en) | Dual-band temperature detection systems and methods | |
US20200296301A1 (en) | Image processing arrangement | |
Nocerino et al. | Geometric calibration and radiometric correction of the maia multispectral camera | |
WO2000042400A1 (en) | Surface and particle imaging pyrometer and method | |
CN105890761B (en) | A kind of channel of polarization calibrating method of polarization multi-spectrum imaging system | |
US20080123903A1 (en) | Surveying apparatus | |
KR102431979B1 (en) | Optical device | |
KR102341839B1 (en) | Data collection device for augmented reality | |
KR102251307B1 (en) | Thermal camera system with distance measuring function | |
KR102265291B1 (en) | Real time fire detection system and fire detection method using the same | |
US11204508B2 (en) | Multiple band multiple polarizer optical device | |
AU2018351819B2 (en) | Multi-spectral boresight alignment methods and systems | |
RU2684749C1 (en) | Method of compound digital images of various spectral ranges | |
JP2008128771A (en) | Apparatus and method for simultaneously acquiring spectroscopic information and shape information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |