WO2020159165A1 - Infrared stereo camera - Google Patents

Infrared stereo camera Download PDF

Info

Publication number
WO2020159165A1
WO2020159165A1 PCT/KR2020/001192 KR2020001192W WO2020159165A1 WO 2020159165 A1 WO2020159165 A1 WO 2020159165A1 KR 2020001192 W KR2020001192 W KR 2020001192W WO 2020159165 A1 WO2020159165 A1 WO 2020159165A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
camera
thermal
thermal image
information
Prior art date
Application number
PCT/KR2020/001192
Other languages
French (fr)
Korean (ko)
Inventor
이재덕
주우덕
박종명
서상원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190013901A external-priority patent/KR102668750B1/en
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020159165A1 publication Critical patent/WO2020159165A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/075—Investigating concentration of particle suspensions by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Definitions

  • the present invention relates to an infrared stereo camera.
  • the infrared stereo camera is used to acquire the temperature and position information of the subject, and it can be applied to a technical field of obtaining concentration information of a specific gas.
  • An infrared camera is a device that collects radiant energy emitted by an object without supply of light from the outside and visualizes it through appropriate conversion so that it can be easily recognized. Infrared cameras are different from conventional imaging equipment for viewing with or without visible light or reflected light intensity differences.
  • an infrared camera varies depending on the wavelength used, required performance, detector, and infrared detection method. Basically, an infrared camera is composed of an optical lens part, an infrared sensor part, and an image implementation.
  • LWIR Long Wave Infrared
  • ⁇ -Bolometer a sensor that detects Long Wave Infrared (LWIR) in the 8-14 ⁇ m wavelength band, is mainly used.
  • LWIR is a wavelength band that emits the strongest in the human body and can be useful for temperature measurement and pedestrian/animal identification.
  • the infrared camera has a high transmittance for fine particles, which is advantageous for remote monitoring, lifesaving, and tracking devices. In addition, it does not require a separate light source, so night vision can be secured, and it has excellent detection performance even in an environment such as direct sunlight, making it suitable for security and military applications. In addition, the infrared camera is capable of discriminating minute temperatures, making medical thermal diagnosis possible and suitable for monitoring in manufacturing, manufacturing, and industrial sites.
  • the stereo method refers to a method of acquiring a distance value from a camera to a subject using binocular parallax characteristics in which images are differently photographed on two or more cameras mounted at a distance from each other. Specifically, it is possible to obtain a distance value from a camera to a subject by detecting where a pattern at a specific position in one image is located in the other image, and extracting a difference between two positions, that is, binocular disparity.
  • An object of the present invention is to solve the limitation of the same resolution in measuring the distance and temperature of an object by using an infrared stereo camera, and to provide information by additionally obtaining the type and concentration of gas.
  • a first thermal imaging camera for capturing a subject and obtaining a first thermal image is provided, spaced apart from the first thermal imaging camera, and captured by the subject to capture a second thermal image And a second thermal imaging camera, a control unit connected to the first thermal imaging camera and the second thermal imaging camera, wherein the control unit includes the pixels constituting the outline of the subject and the central pixel of the subject.
  • an infrared stereo camera that is matched to the first thermal image based on and extracts distance information of the subject through a stereovision operation.
  • the central pixel of the subject provides an infrared stereo camera characterized in that the sum of the distances from the pixels constituting the contour of the subject is the minimum. do.
  • control unit correlates the center pixel of the subject between the first thermal image and the second thermal image, and the center of the subject in the first thermal image It provides an infrared stereo camera, characterized in that for correcting the outline pixels of the subject in the second thermal image through the positional relationship between the pixels and the outline pixels of the subject.
  • the controller matches the second thermal image to the first thermal image by using the corrected outline pixel of the subject and the central pixel of the subject. It provides an infrared stereo camera, characterized in that.
  • the control unit extracts the shaking information of the first thermal imaging camera through the first thermal image continuously photographed at a predetermined time difference
  • the first Provided is an infrared stereo camera, characterized in that the pixels constituting the outline of the subject extracted from the second thermal image and the center pixel of the subject are corrected based on the shaking information of the thermal camera.
  • control unit corrects the central pixel of the subject in the second thermal camera by using the shaking information of the central pixel of the subject in the first thermal camera It provides an infrared stereo camera.
  • control unit correlates the corrected center pixel in the second thermal image and the central pixel of the subject in the first thermal image, and the first thermal image Provided is an infrared stereo camera, characterized in that by correcting the outline pixel information of the subject in the second thermal image, through a positional relationship between the center pixel of the subject and the outline pixel of the subject.
  • control unit using the corrected outline pixel and the corrected center pixel of the second thermal image to the second It provides an infrared stereo camera characterized by matching to a thermal image.
  • the second thermal imaging camera further includes a filter that passes only the wavelength absorbed by a specific gas among the wavelengths emitted from the subject
  • the control unit provides an infrared stereo camera, characterized in that, by comparing the amount of light incident on a region corresponding to the filter in the first thermal image and the second thermal image, the concentration of the specific gas is measured.
  • the second thermal imaging camera includes a plurality of filters respectively corresponding to gases having different wavelengths to be absorbed, so that a corresponding region in the second thermal image is different. It provides an infrared stereo camera, characterized in that provided.
  • the second infrared camera is provided with the plurality of filters so that the area corresponding to the second thermal image forms a grid pattern.
  • control unit measures an increase in the concentration of gas generated during a fire, and detects a heat source through the first camera. Provide a camera.
  • the infrared stereo camera further includes a communication unit communicating with an external device, and the control unit increases the concentration of gas generated during a fire, and the heat source Provided is an infrared stereo camera characterized by controlling the communication unit to provide topic information to the external device when the temperature increases above a specific temperature or the area is widened.
  • the topic information includes combustion start information informing the time when combustion is started, presence/absence of life, target information of the life, distance information of the life, distance information of the combustion point , It provides an infrared stereo camera, characterized in that it comprises at least one of the motion information of the living thing.
  • the present invention provides the position and temperature information of a subject using an infrared stereo camera.
  • the present invention provides a solution capable of providing the position and temperature information of a subject using an infrared stereo camera having different resolutions.
  • the present invention provides a solution for estimating the shaking of the low-resolution infrared camera and correcting the positional information of the subject through the shaking information of the high-resolution infrared camera among the infrared stereo cameras.
  • the present invention provides a solution capable of providing presence and concentration information of a specific gas through an infrared stereo camera.
  • the present invention provides a solution that can provide information that can accurately determine whether the fire in the early stage of the fire through the temperature of the heat source and the concentration of the gas.
  • FIG. 1 is a conceptual diagram for photographing a subject using an infrared stereo camera according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an infrared stereo camera according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining disparity between thermal images taken by an infrared stereo camera according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of acquiring distance information of a subject in an infrared stereo camera according to an embodiment of the present invention.
  • FIG. 5 is a method for correcting shaking information of a low-resolution camera (second thermal camera) based on a high-resolution camera (first thermal camera) in an infrared stereo camera according to an embodiment of the present invention, and obtaining distance information of a subject This is the flow chart.
  • FIG. 6 is a view for explaining a specific wavelength band absorbed by the gas.
  • FIG. 7 is a view for explaining a method of measuring the concentration of gas by comparing the amount of light absorbed by both cameras in an infrared stereo camera according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining the arrangement of a filter for filtering a wavelength absorbed by a gas in an infrared stereo camera according to an embodiment of the present invention.
  • 9 to 12 are views for explaining a method of detecting and biometric fire detection using an infrared stereo camera according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram for photographing a subject using an infrared stereo camera 100 according to an embodiment of the present invention
  • FIG. 2 is a configuration diagram of an infrared stereo camera 100 according to an embodiment of the present invention.
  • Infrared stereo camera 100 is provided spaced apart from the first thermal imaging camera 110 and the first thermal imaging camera 110 to obtain a first thermal image by photographing the subject 300, And a second thermal imaging camera 120 that captures the subject 300 to obtain a second thermal imaging image.
  • the first camera 110 and the second camera 120 have a predetermined distance and are fixedly supported by a fixing device such as a rig or a mechanism having such a separate function.
  • a stereo camera is installed in which two cameras are separated by a distance (about 6 to 7 cm) of a person's two eyes so that a 3D stereoscopic image naturally appears to a person, but the present invention is not intended to realize a 3D stereoscopic image.
  • the distance between the first camera 110 and the second camera 120 is not limited to the distance between the eyes of a person.
  • the first thermal imaging camera 110 and the second thermal imaging camera 120 are spaced apart and provided in the infrared stereo camera 100 so that the entire shooting area 400 may include an overlapping portion 410 and a non-overlapping portion 420. have.
  • the entire imaging area 400 is an area in which the imaging area of the first thermal imaging camera 110 and the area captured by the second thermal imaging camera 120 are combined, and the overlapping portion 410 includes the first thermal imaging camera 110 and the second imaging area. Refers to an area photographed by the thermal imaging camera 120.
  • the non-overlapping portion 420 may correspond to an area photographed only by the first thermal imaging camera 110 or an area photographed only by the second thermal imaging camera 120.
  • FIG 1 illustrates an embodiment in which the first thermal imaging camera 110 and the second thermal imaging camera 120 have the same field of view (FOV), but the field of view (FOV) need not be the same.
  • the stereo infrared camera 100 can measure the distance from the entire photographing area 400 to the subject 300 located in the overlapping portion 410.
  • the first thermal imaging camera 110 and the second thermal imaging camera 120 include a lens 111 and 121 through which infrared rays emitted from a subject pass, and a temperature sensor array for detecting infrared rays passing through the lenses 111 and 121 Analog-to-digital converter (ADC, 113, 123), and image that converts the same thermal image detector (112, 122), the output of the thermal image detector (112, 122) into a digital signal Processors 114, 124 may be included.
  • ADC Analog-to-digital converter
  • the thermal imaging detectors 112 and 122 are configured to be related to the resolutions of the first thermal imaging camera 110 and the second thermal imaging camera 120, and the first thermal imaging camera 110 and the second thermal imaging camera 120 are temperature sensors. It may have a resolution corresponding to the array.
  • the thermal imaging detector 112 of the first thermal imaging camera 110 and the thermal imaging detector 122 of the second thermal imaging camera 122 may have the same temperature sensor array such that the first thermal imaging image and the second thermal imaging image have the same resolution. have.
  • the present invention is characterized in accurately measuring a distance of a subject on a high resolution basis without the same resolution limitation. In this regard, it will be described in detail through FIG. 5.
  • the image processors 114 and 124 acquire thermal images through digital signals converted by the ADCs 113 and 123. Specifically, the image processors 114 and 124 serve to perform and adjust histogram, peaking, brightness and contrast, and thermal filtering.
  • the first thermal imaging camera 110 and the second thermal imaging camera 120 may be connected to the control unit 130, and the control unit 130 may obtain a first thermal image obtained from the first thermal imaging camera 110 and the second thermal imaging camera 120.
  • the distance to the subject 300 may be measured by matching the image with the second thermal image.
  • the controller 130 includes edge detector 131 that detects the contours of the subjects 300 in the first thermal image and the second thermal image, and contour pixel information of the subjects 300 detected in the edge detector 131. It may include an image matching unit 132 for matching the first thermal image and the second thermal image, and a parallax calculator 133 for calculating the disparity between the matched images and measuring the distance of the subject.
  • the outline pixel of the subject 300 may be a pixel representing the appearance of the subject or a pixel corresponding to a keypoint among the appearance of the subject.
  • the image matching unit 132 may obtain center pixel information of the subject 300 from the contour pixel information of the subject 300 or the keypoint pixel information, and match the contour pixels and the center pixels to correspond to each other. have.
  • the central pixel information of the object 300 may be a pixel in which the sum of the distances from the pixels representing the outline of the subject is the minimum, or a pixel in which the sum of the distances from the pixels representing the key point is the minimum.
  • the parallax calculator 133 may calculate a parallax between the matched contour pixel and the center pixel, and thereby obtain a distance of the subject 300.
  • Disparity refers to the difference in position and shape within the field of view of an object felt when one object is viewed from two different points (both cameras), and the infrared stereo camera 100 and the subject ( The distance D of 300) can be obtained as follows.
  • D is the distance between the infrared stereo camera 100 and the subject 300
  • l is the distance between the first camera 110 and the second camera 120
  • fl is the focal length
  • d1+d2 is the disparity. )to be.
  • the present invention is characterized in calculating the distance of the subject 300 by matching the center pixel of the subject 300 as well as the contour pixels of the subject 300 between the first and second thermal images.
  • the center pixel of the subject 300 may improve inaccuracy due to a difference in resolution between the first thermal imaging camera 110 and the second thermal imaging camera 120.
  • the infrared stereo camera 100 is the second thermal imaging obtained from the second thermal imaging 120
  • the contour pixel information and the center pixel information of the subject 300 are extracted from and matched to the first thermal image to obtain a distance of a high-resolution camera reference subject.
  • FIG. 3 is a view for explaining disparity between thermal images taken by an infrared stereo camera according to an embodiment of the present invention.
  • FIG. 3(a) is a thermal image taken by a thermal camera on the left
  • FIG. 3(b) is a thermal image taken by a thermal camera on the right.
  • FIG. 3(a) corresponds to a first thermal image photographed by the first thermal camera 110
  • FIG. 3(b) is a second photographed by the second thermal camera 120 It will be described in correspondence with the thermal image.
  • the disparity image is an image of the corresponding pixel-to-pixel disparity.For example, when displaying two objects with different distances, a black-and-white scale is used to make objects at close distances white and objects at long distances black. Can be displayed as
  • FIG. 3 illustrates an embodiment in which disparity is calculated by matching contour pixels.
  • the resolutions of the first and second thermal images are different, matching of both pixels may be incorrect.
  • the stereo infrared camera according to the present invention intends to acquire center pixel information of a subject using contour pixel information, and offsets incorrect matching due to a difference in resolution between both cameras using center pixel information.
  • FIG. 4 is a flowchart illustrating a method of acquiring distance information of a subject in an infrared stereo camera according to an embodiment of the present invention.
  • the controller may extract contour pixel information of the subject from the first thermal image and the second thermal image.
  • the controller may extract central pixel information of the subject from the outline pixel information of the subject from each of the first and second thermal images.
  • the central pixel of the subject may be a pixel in which the sum of the distances from the outline pixels of the subject is minimal.
  • the outline pixels of the subject may be a plurality of pixels forming a closed curve, but may be a plurality of key points among the outline pixels of the subject.
  • control unit may correct the outline pixel information of the subject in the second thermal image through the positional relationship between the outline pixel and the center pixel of the subject in the first thermal image.
  • control unit correlates the center pixel of the subject in the first thermal image and the center pixel of the subject in the second thermal image, and checks the relative positional relationship between the outline pixel and the central pixel of the subject in the first thermal image, and Through the relative positional relationship, the outline pixel information of the subject may be corrected in the second thermal image.
  • the outline pixel information of the subject may include location information on plane coordinates of pixels constituting the outline of the subject.
  • the control unit may match the second thermal image to the first thermal image through the center pixel information of the subject and the corrected outline pixel information in the second thermal image.
  • matching the second thermal image to the second thermal image may use epipolar geometry used for conventional stereo vision calculation, and the center pixel information of the subject as a matching point that implements a matching matrix. And corrected outline pixel information.
  • the controller may extract distance information of the subject through a stereo vision operation. (S405)
  • the first thermal camera and the second thermal camera may be fixed at a predetermined distance and have the same degree of shaking.
  • the present invention looks at a method for more accurately obtaining distance information of a subject by correcting shaking information of a second thermal camera using a first thermal camera having a high resolution.
  • FIG. 5 is a method for correcting shaking information of a low-resolution camera (second thermal camera) based on a high-resolution camera (first thermal camera) in an infrared stereo camera according to an embodiment of the present invention, and obtaining distance information of a subject This is the flow chart.
  • the shaking information is extracted based on the first thermal imaging camera having high resolution, and through this, the shaking information of the second thermal imaging camera is corrected more accurately. You can get the distance.
  • control unit of the infrared stereo camera can acquire the shaking information of the first thermal imaging camera through the first thermal image continuously photographed at a predetermined parallax (S501).
  • the first thermal image photographed continuously at a preset parallax may be the first thermal image acquired at the Nth time and the first thermal image acquired at the N+1th time at a preset time difference.
  • the shaking information of the first thermal imaging camera may be obtained through motion information of a key point between an N-th acquired first thermal image and an N+1-th acquired first thermal image.
  • the controller may correct the center pixel information of the subject in the second thermal image using the shaking information of the first thermal camera.
  • the Nth second thermal image and the N+1 It is possible to correct the outline pixel information of the subject in the N+1 second thermal image so that the shaking information between the second second thermal image corresponds to dx_N and dy_N.
  • the center pixel information of the subject may be obtained through the outline pixel information of the subject obtained from the N+1 th second thermal image corrected to correspond to the shaking degree of the first thermal camera. That is, the center pixel of the object acquired from the N+1 th second thermal image may be corrected through the shaking information of the first thermal camera.
  • the N-th second thermal image is obtained at the same time as the N-th first thermal image
  • the N+1-th second thermal image is obtained at the same time as the N+1-th first thermal image
  • the subject distance is measured as the shaking information obtained from the first and second thermal cameras differs. This is to prevent the calculated values from being different.
  • the controller may correct the outline pixel information of the subject through the center pixel information corrected in the second thermal image.
  • S503 the center pixel of the subject obtained from the first thermal image and the corrected center pixel of the second thermal image correspond to each other, and the second image is generated through relative position information between the center pixel and the contour pixel obtained from the first thermal image. 2 It is possible to correct contour fill cell information obtained from a thermal image.
  • the control unit uses the center pixel of the subject corrected by reflecting the shaking information of the first thermal camera in the second thermal image, and the contour pixel of the subject corrected through the relative position between the center pixel and the contour pixel in the first thermal image.
  • the second thermal image may be matched to the first thermal image.
  • the matching process may be the same as S404 described in FIG. 4.
  • the controller may match the second thermal image to the first thermal image and extract distance information of the subject through stereo vision calculation.
  • the characteristics of the present invention for extracting the distance information of the subject using a thermal camera having different resolutions but using a high resolution standard were examined.
  • FIG. 6 is a view for explaining a specific wavelength band absorbed by the gas.
  • the absorbed wavelength may be different depending on the type of gas. Although different depending on the type, the wavelength absorbed by the gas is mostly in the infrared range, so using infrared as a light source may be easy to classify the type of gas.
  • the amount of light absorbed and absorbed by excluding the wavelength corresponding to the specific gas may be changed.
  • the present invention is to propose a method for checking the type and concentration of gas using two infrared cameras.
  • the second thermal imaging camera 120 may further include a filter 200 that passes only a specific wavelength range on a path that absorbs infrared rays.
  • the filter 200 may serve to pass only a specific magnetic field range absorbed by a specific gas, through which the present invention can measure the concentration of a specific gas.
  • the controller 130 may measure the concentration of a specific gas corresponding to the filter 200 by comparing the amount of light incident on the region corresponding to the filter 200 in the first thermal image and the second thermal image.
  • FIG. 7 is a view for explaining a method of measuring the concentration of gas by comparing the amount of light absorbed by both cameras in an infrared stereo camera according to an embodiment of the present invention.
  • E_t means the amount of light absorbed by the infrared camera in the wavelength band absorbed by the infrared camera.
  • E_i means the amount of light absorbed by the infrared camera in the wavelength band absorbed by a specific gas.
  • a spectral graph may be formed as shown in FIG. 7(b) according to the concentration.
  • the wavelength absorbed by the specific gas may be measured with less intensity.
  • the first graph means that the concentration of a specific gas is small
  • the second graph means that the concentration of a specific gas is large.
  • a single infrared camera can know the distribution of gas through the difference in the amount of light absorbed between pixels, but cannot determine the difference in the amount of light entering the same pixel depending on the presence or absence of gas.
  • the present invention is to provide a filter 200 corresponding to a specific gas in only two infrared cameras, and to measure the type and concentration of a specific gas through a difference in light amount between corresponding pixels in both infrared cameras.
  • 7(c) is a spectral graph corresponding to an infrared camera equipped with a filter.
  • the first graph of FIG. 7(c) is a graph corresponding to the first graph of FIG. 7(b), and the first graph of FIG. 7(b) is a spectral graph corresponding to the first thermal imaging camera.
  • the first graph of 7(c) is the spectral graph corresponding to the second thermal imaging camera.
  • the second graph of FIG. 7(c) is a graph corresponding to the second graph of FIG. 7(b), and the second graph of FIG. 7(b) is a spectral graph corresponding to the first thermal imaging camera.
  • the second graph in (c) is a spectral graph corresponding to the second thermal imaging camera.
  • the first thermal imaging camera can absorb the wavelength emitted from the subject in a state in which the intensity of light absorbed corresponding to the concentration of the specific gas is reduced in a wavelength band absorbed by the specific gas.
  • the second thermal imaging camera may absorb the intensity of light emitted from the subject in response to the concentration of the specific gas in the wavelength band absorbed by the specific gas.
  • the control unit may check the type and concentration of a specific gas through a difference in the amount of light absorbed between corresponding pixels between the first thermal imaging camera and the second thermal imaging camera.
  • the controller may control a specific gas. You can check the presence or absence.
  • the concentration of the specific gas can be calculated through conversion of the ratio of the amount of light absorbed between pixels corresponding to the first thermal imaging camera and the second thermal imaging camera.
  • FIG. 8 is a view for explaining the arrangement of a filter for filtering a wavelength absorbed by a gas in an infrared stereo camera according to an embodiment of the present invention.
  • the infrared stereo camera may include a first thermal camera 110 and a second thermal camera 120, the second thermal camera 120 absorbs the wavelength of the object emitted
  • a filter 200 that passes only wavelengths absorbed by a specific gas on the path may be included.
  • the filter 200 may be a filter targeting only one specific gas as shown in FIG. 8(a).
  • the filter 200 may filter wavelengths other than the wavelength absorbed by a specific gas in all regions of the thermal image acquired by the second thermal imaging camera, or in some regions.
  • the filter 200 may include a plurality of filters 201 to 204 targeting a plurality of specific gases, as shown in FIG. 8(b).
  • the plurality of filters 201 to 204 are filters corresponding to different specific gases, respectively, and the wavelengths of the plurality of specific gases may be different from each other.
  • the filter 200 may be provided with a plurality of filters 201 to 204 on the same plane so that corresponding regions of the thermal image are different. That is, the control unit compares the pixel information absorbing the wavelength passing through the first filter 201 in the second thermal image and the pixel information of the first thermal image corresponding to the absorbed wavelength passing through the first filter 201. It is possible to confirm the existence and concentration of a specific gas to be said.
  • a grid pattern may be formed as shown in FIG. 8(c) and provided on the same plane. This is to improve the inaccuracy of the presence and concentration of a specific gas measured when a specific gas is concentrated and distributed in a specific region in a thermal image.
  • the infrared stereo camera according to the present invention can be particularly useful in case of fire. To this end, the usefulness of the present invention is examined through FIGS. 9 to 12.
  • 9 to 12 are diagrams for explaining a method of detecting and detecting fire using infrared stereo cameras 100a to 100e according to an embodiment of the present invention.
  • the infrared stereo cameras 100a to 100e according to the present invention may be provided in the same space, a plurality of infrared stereo cameras may be provided, as shown in FIG. 9, to be more easily connected to each other.
  • the time when the plurality of infrared stereo cameras 100a to 100e senses a specific temperature or higher may be a state in which combustion has already progressed. Therefore, detecting a fire with a heat source may be late for initial response.
  • the gas generated during the fire may spread evenly over the space. Accordingly, when the gas generated during a fire is first detected through the infrared stereo camera 100a bet 100e of the present invention, the gas information can be easily used to determine whether or not a fire occurs.
  • the infrared stereo cameras 100a to 100e of the present invention detect that the concentration of gas generated during a fire increases (S601), it is possible to determine that combustion is starting in a specific space and detect a heat source (S602) .
  • infrared stereo cameras 100a to 100e of the present invention when it is confirmed that combustion is started in a specific space, it is possible to take a follow-up action in response to combustion start, flame generation, combustion maximum, flame extinction and combustion extinction time.
  • the infrared stereo cameras 100a to 100e of the present invention did not detect a temperature corresponding to a fire, it was confirmed that combustion occurred in a specific area when the concentration change of a specific gas generated during combustion was confirmed. By judging, it may enter section 1 of FIG. 10.
  • the infrared stereo camera can provide combustion start information to an external device that can communicate and can take corresponding follow-up measures.
  • Responsible follow-up measures may include provision of information on suspected fire zones, information on changes in gas concentration, and early warning of fire.
  • the second section of FIG. 10 may be entered.
  • FIG. 12 illustrates an embodiment of providing location information and temperature of a flame generated through an external device, whether a person exists in a corresponding space, and location, gas type and concentration information.
  • the information may be provided on a three-dimensional space.
  • the pre-stored person information it is possible to distinguish a person who exists in the space, and provide information to the person and related persons.
  • the infrared stereo camera according to the present invention enters section 3 of FIG. 10 through a point of change in gas concentration, and when a specific temperature is not detected, it is determined that the flame is extinguished and enters section 4 of FIG. 10 to respond follow up.
  • Continuous operation of two cameras may be undesirable for energy efficiency. Therefore, it may be desirable to operate with a single camera except when gas information or location information is required.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Dispersion Chemistry (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Radiation Pyrometers (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

The present invention relates to an infrared stereo camera. The infrared stereo camera comprises: a first thermal imaging camera obtaining a first thermal image by capturing a subject; a second thermal imaging camera provided to be spaced apart from the first thermal imaging camera and obtaining a second thermal image by capturing the subject; and a controller connected to the first thermal imaging camera and the second thermal imaging camera, wherein the controller matches the second thermal image to the first thermal image on the basis of pixel information constituting the outline of the subject and center pixel information of the subject, and extracts distance information of the subject through a stereovision operation.

Description

적외선 스테레오 카메라Infrared stereo camera
본 발명은 적외선 스테레오 카메라에 관한 것이다. 구체적으로, 적외선 스테레오 카메라를 이용해 피사체의 온도 및 위치 정보를 획득하고, 특정 가스의 농도 정보를 획득하는 기술 분야에 적용이 가능하다.The present invention relates to an infrared stereo camera. Specifically, the infrared stereo camera is used to acquire the temperature and position information of the subject, and it can be applied to a technical field of obtaining concentration information of a specific gas.
적외선 카메라는 외부로부터 빛의 공급이 없이도 물체가 방사하는 복사에너지를 모아 적절한 변환을 통해 가시화하여 쉽게 인식할 수 있도록 만들어 주는 장비이다. 적외선 카메라는 가시광선의 유무나 반사되는 빛의 세기 차이로 관측하는 기존의 영상장비와는 다르다. An infrared camera is a device that collects radiant energy emitted by an object without supply of light from the outside and visualizes it through appropriate conversion so that it can be easily recognized. Infrared cameras are different from conventional imaging equipment for viewing with or without visible light or reflected light intensity differences.
모든 물체는 절대온도 0도 이상에서 물질을 이루고 있는 기본 단위인 원자들이 미소한 진동을 하고 있다. 이러한 원자들의 진동 에너지가 적외선 영역의 에너지와 동일하기 때문에 모둔 물체는 적외선을 방출하고 있다. 물체의 온도가 높으면 높을수록 더 많은 양의 적외선이 발산하게 되는데 이러한 이유에서 적외선을 열선이라 부른다.All objects have a small vibration of atoms, the basic unit of matter at an absolute temperature of 0 degrees or more. Since the vibration energy of these atoms is the same as that of the infrared region, all objects emit infrared rays. The higher the temperature of an object, the higher the amount of infrared radiation it emits. For this reason, infrared rays are called heat rays.
적외선 카메라의 구성은 사용하는 파장, 요구되는 성능, 검출기, 적외선 검출 방법 등에 따라서 달라진다. 기본적으로 적외선 카메라는 광학렌즈부분, 적외선감지센서부분, 이미지 구현 구분으로 구성되어 있다. The configuration of the infrared camera varies depending on the wavelength used, required performance, detector, and infrared detection method. Basically, an infrared camera is composed of an optical lens part, an infrared sensor part, and an image implementation.
적외선 카메라는 적외선 중에서 8~14μm 파장 대역의 LWIR(Longwave Infrared)을 감지하는 센서인 μ-Bolometer가 주로 사용된다. LWIR은 사람의 몸에서 가장 강하게 방사하는 파장 대역으로, 온도 측정 및 보행자/동물 식별에 유용하게 이용될 수 있다.As for infrared cameras, μ-Bolometer, a sensor that detects Long Wave Infrared (LWIR) in the 8-14 μm wavelength band, is mainly used. LWIR is a wavelength band that emits the strongest in the human body and can be useful for temperature measurement and pedestrian/animal identification.
적외선 카메라의 특징은 미세 입자에 대한 투과율이 높아 원거리 감시용, 인명구조, 추적 장치에 유리하다. 또한, 별도의 광원을 필요로 하지 않아 야간 시야 확보가 가능하며, 직사광 등의 환경에서도 우수한 감지 성능이 보여, 보안 및 군사 분야 활용에 적합하다. 또한, 적외선 카메라는 미세한 온도를 식별이 가능하여 의료용 체열진단이 가능하고 제조 생산 산업현장의 모니터링에 적합하다.The infrared camera has a high transmittance for fine particles, which is advantageous for remote monitoring, lifesaving, and tracking devices. In addition, it does not require a separate light source, so night vision can be secured, and it has excellent detection performance even in an environment such as direct sunlight, making it suitable for security and military applications. In addition, the infrared camera is capable of discriminating minute temperatures, making medical thermal diagnosis possible and suitable for monitoring in manufacturing, manufacturing, and industrial sites.
또한, 최근에는 스테레오 방식의 적외선 카메라를 이용하여 상기 적외선 카메라를 통해 획득할 수 있는 정보에 3차원 정보를 추가로 획득하는 기술 분야에 대한 관심이 높다.In addition, in recent years, there is a high interest in the technical field of acquiring 3D information in addition to information obtainable through the infrared camera using a stereo infrared camera.
스테레오 방식은 서로 거리를 두어 장착된 두 개 이상의 카메라에 서로 다르게 영상이 찍히는 양안시차 특성을 이용하여 카메라에서 피사체까지의 거리 값을 획득하는 방식을 말한다. 구체적으로, 한 쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안 시차(disparity)를 추출함으로써 카메라에서 피사체까지의 거리 값을 획득할 수 있다.The stereo method refers to a method of acquiring a distance value from a camera to a subject using binocular parallax characteristics in which images are differently photographed on two or more cameras mounted at a distance from each other. Specifically, it is possible to obtain a distance value from a camera to a subject by detecting where a pattern at a specific position in one image is located in the other image, and extracting a difference between two positions, that is, binocular disparity.
기존에는 상기 연산을 수행함에 있어 정확한 거리 정보 추출을 위해 양 카메라의 해상도가 고해상도로 동일할 필요가 있었으며, 이는 사이즈 무게, 가격의 증가를 야기한다는 단점이 있다. Conventionally, in performing the above calculation, in order to extract accurate distance information, the resolutions of both cameras need to be the same in high resolution, which has the disadvantage of increasing the size, weight, and price.
또한, 기존에는 스테레오 적외선 카메라를 이용하여 3D 영상 정보를 추출하는데 활용되었으며 그 외 다른 목적으로 사용되는 실시예가 많지 않았다.In addition, conventionally, it was used to extract 3D image information using a stereo infrared camera, and there were not many embodiments used for other purposes.
또한, 기존에는 적외선 카메라를 이용하여 화재를 감지함에 있어, 온도만을 대상으로 관측하여 초기 연소 시작 시점에 화재를 감지하는데 어려움이 있었다.In addition, conventionally, in detecting a fire using an infrared camera, it was difficult to detect the fire at the beginning of the initial combustion by observing only the temperature.
본 발명은 적외선 스테레오 카메라를 이용하여, 대상체의 거리 및 온도를 측정함에 있어 해상도 동일의 제약을 해결하고, 추가적으로 가스의 종류 및 농도를 획득하여 정보를 제공하는데 목적이 있다.An object of the present invention is to solve the limitation of the same resolution in measuring the distance and temperature of an object by using an infrared stereo camera, and to provide information by additionally obtaining the type and concentration of gas.
상기 목적을 달성하기 위해 본 발명의 일 실시예에 따라 피사체를 캡쳐하여 제1 열상 이미지를 획득하는 제1 열상 카메라, 상기 제1 열상 카메라에 이격되어 구비되고, 상기 피사체를 캡쳐하여 제2 열상 이미지를 획득하는 제2 열상 카메라, 상기 제1 열상 카메라 및 상기 제2 열상 카메라에 연결된 제어부;를 포함하고, 상기 제어부는 상기 제2 열상 이미지를 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 기초로 상기 제1 열상 이미지에 정합하고, 스테레오비전 연산을 통해 상기 피사체의 거리 정보를 추출하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In order to achieve the above object, according to an embodiment of the present invention, a first thermal imaging camera for capturing a subject and obtaining a first thermal image is provided, spaced apart from the first thermal imaging camera, and captured by the subject to capture a second thermal image And a second thermal imaging camera, a control unit connected to the first thermal imaging camera and the second thermal imaging camera, wherein the control unit includes the pixels constituting the outline of the subject and the central pixel of the subject. Provided is an infrared stereo camera that is matched to the first thermal image based on and extracts distance information of the subject through a stereovision operation.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 피사체의 중심 픽셀은 상기 피사체의 윤곽을 구성하는 픽셀로부터의 거리의 합이 최소가 되는 픽셀인 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, to achieve the above object, according to another embodiment of the present invention, the central pixel of the subject provides an infrared stereo camera characterized in that the sum of the distances from the pixels constituting the contour of the subject is the minimum. do.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 열상 이미지와 상기 제2 열상 이미지간 상기 피사체의 중심 픽셀을 대응시키고, 상기 제1 열상 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 열상 이미지에서 상기 피사체의 윤곽 픽셀을 보정하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention to achieve the above object, the control unit correlates the center pixel of the subject between the first thermal image and the second thermal image, and the center of the subject in the first thermal image It provides an infrared stereo camera, characterized in that for correcting the outline pixels of the subject in the second thermal image through the positional relationship between the pixels and the outline pixels of the subject.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제어부는 상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀을 이용하여 상기 제2 열상 이미지를 상기 제1 열상 이미지에 정합하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention to achieve the above object, the controller matches the second thermal image to the first thermal image by using the corrected outline pixel of the subject and the central pixel of the subject. It provides an infrared stereo camera, characterized in that.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제어부는 기 설정 시차를 두고 연속적으로 촬영된 상기 제1 열상 이미지를 통해 상기 제1 열상 카메라의 흔들림 정보를 추출하고, 상기 제1 열상 카메라의 흔들림 정보에 기초하여 상기 제2 열상 이미지에서 추출된 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, in order to achieve the above object, according to another embodiment of the present invention, the control unit extracts the shaking information of the first thermal imaging camera through the first thermal image continuously photographed at a predetermined time difference, and the first Provided is an infrared stereo camera, characterized in that the pixels constituting the outline of the subject extracted from the second thermal image and the center pixel of the subject are corrected based on the shaking information of the thermal camera.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제1 열상 카메라에서 피사체의 중심 픽셀의 흔들림 정보를 이용하여 상기 제2 열상 카메라에서 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention to achieve the above object, the control unit corrects the central pixel of the subject in the second thermal camera by using the shaking information of the central pixel of the subject in the first thermal camera It provides an infrared stereo camera.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제어부는 상기 제2 열상 이미지에서 상기 보정된 중심 픽셀과 상기 제1 열상 이미지에서 상기 피사체의 중심 픽셀을 대응시키고, 상기 제1 열상 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 열상 이미지에서 상기 피사체의 윤곽 픽셀 정보를 보정하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention to achieve the object, the control unit correlates the corrected center pixel in the second thermal image and the central pixel of the subject in the first thermal image, and the first thermal image Provided is an infrared stereo camera, characterized in that by correcting the outline pixel information of the subject in the second thermal image, through a positional relationship between the center pixel of the subject and the outline pixel of the subject.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 제7항에 있어서, 상기 제어부는 상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 보정된 중심 픽셀을 이용하여 상기 제2 열상 이미지를 상기 제1 열상 이미지에 정합하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention to achieve the above object, the control unit, the control unit using the corrected outline pixel and the corrected center pixel of the second thermal image to the second It provides an infrared stereo camera characterized by matching to a thermal image.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 제1 항에 있어서, 상기 제2 열상 카메라는 상기 피사체에서 방사하는 파장 중 특정 가스가 흡수하는 파장만 통과하는 필터를 더 포함하고, 상기 제어부는 상기 제1 열상 이미지 및 상기 제2 열상 이미지에서 상기 필터에 대응되는 영역에 입사되는 광량을 비교하여, 상기 특정 가스의 농도를 측정하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention to achieve the above object, the second thermal imaging camera further includes a filter that passes only the wavelength absorbed by a specific gas among the wavelengths emitted from the subject, The control unit provides an infrared stereo camera, characterized in that, by comparing the amount of light incident on a region corresponding to the filter in the first thermal image and the second thermal image, the concentration of the specific gas is measured.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제2 열상 카메라는 상기 제2 열상 이미지에서 대응되는 영역이 상이하도록, 흡수하는 파장이 상이한 가스들에 각각 대응되는 복수의 필터를 구비하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, in order to achieve the above object, according to another embodiment of the present invention, the second thermal imaging camera includes a plurality of filters respectively corresponding to gases having different wavelengths to be absorbed, so that a corresponding region in the second thermal image is different. It provides an infrared stereo camera, characterized in that provided.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제2 열상 카메라는 상기 제2 열상 이미지에 대응되는 영역이 격자 패턴을 형성하도록, 상기 복수의 필터를 구비하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, in order to achieve the above object, according to another embodiment of the present invention, the second infrared camera is provided with the plurality of filters so that the area corresponding to the second thermal image forms a grid pattern. Provide a stereo camera.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 제어부는 화재 시 발생하는 가스의 농도가 증가함을 측정한 경우, 상기 제1 카메라를 통해 열원을 감지하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, in order to achieve the above object, according to another embodiment of the present invention, the control unit measures an increase in the concentration of gas generated during a fire, and detects a heat source through the first camera. Provide a camera.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 적외선 스테페오 카메라는 외부 기기와 통신하는 커뮤니케이션 유닛을 더 포함하고, 상기 제어부는 화재 시 발생하는 가스의 농고가 증가하고, 상기 열원이 특정 온도 이상으로 증가하거나 영역이 넓어지는 경우, 화제 정보를 상기 외부 기기로 제공하도록 상기 케뮤니케이션 유닛을 제어하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention to achieve the above object, the infrared stereo camera further includes a communication unit communicating with an external device, and the control unit increases the concentration of gas generated during a fire, and the heat source Provided is an infrared stereo camera characterized by controlling the communication unit to provide topic information to the external device when the temperature increases above a specific temperature or the area is widened.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 실시예에 따라 상기 화제 정보는 연소가 시작된 시간을 알리는 연소 개시 정보, 생명체 유무 정보, 상기 생명체의 대상 정보, 상기 생명체의 거리 정보, 연소 지점 거리 정보, 상기 생명체의 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 적외선 스테레오 카메라를 제공한다.In addition, according to another embodiment of the present invention in order to achieve the above object, the topic information includes combustion start information informing the time when combustion is started, presence/absence of life, target information of the life, distance information of the life, distance information of the combustion point , It provides an infrared stereo camera, characterized in that it comprises at least one of the motion information of the living thing.
본 발명은 적외선 스테레오 카메라를 이용하여 피사체의 위치 및 온도 정보를 제공한다.The present invention provides the position and temperature information of a subject using an infrared stereo camera.
본 발명은 해상도가 상이한 적외선 스테레오 카메라를 이용하여 피사체의 위치 및 온도 정보를 제공할 수 있는 솔루션을 제공한다.The present invention provides a solution capable of providing the position and temperature information of a subject using an infrared stereo camera having different resolutions.
본 발명은 적외선 스테레오 카메라 중 고해상도 적외선 카메라의 흔들림 정보를 통해 저해상도 적외선 카메라의 흔들림을 추정하고 피사체의 위치 정보를 보정하는 솔루션을 제공한다.The present invention provides a solution for estimating the shaking of the low-resolution infrared camera and correcting the positional information of the subject through the shaking information of the high-resolution infrared camera among the infrared stereo cameras.
본 발명은 적외선 스테레오 카메라를 통해 특정 가스의 존부 및 농도 정보를 제공할 수 있는 솔루션을 제공한다.The present invention provides a solution capable of providing presence and concentration information of a specific gas through an infrared stereo camera.
본 발명은 열원의 온도 및 가스의 농도를 통해 화재 초기에 정확히 화재 여부를 판단할 수 있는 정보를 제공할 수 있는 솔루션을 제공한다.The present invention provides a solution that can provide information that can accurately determine whether the fire in the early stage of the fire through the temperature of the heat source and the concentration of the gas.
도 1은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라를 이용하여 피사체를 촬영하는 개념도이다.1 is a conceptual diagram for photographing a subject using an infrared stereo camera according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예 따른 적외선 스테레오 카메라의 구성도 이다.2 is a block diagram of an infrared stereo camera according to an embodiment of the present invention.
도 3는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 촬영된 열상 이미지간 시차(disparity)를 설명하기 위한 도면이다.FIG. 3 is a view for explaining disparity between thermal images taken by an infrared stereo camera according to an embodiment of the present invention.
도 4 는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.4 is a flowchart illustrating a method of acquiring distance information of a subject in an infrared stereo camera according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 고해상도 카메라(제1 열상 카메라)를 기준으로 저해상도 카메라(제2 열상 카메라)의 흔들림 정보를 보정하고, 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.5 is a method for correcting shaking information of a low-resolution camera (second thermal camera) based on a high-resolution camera (first thermal camera) in an infrared stereo camera according to an embodiment of the present invention, and obtaining distance information of a subject This is the flow chart.
도 6은 가스가 흡수하는 특정 파장대를 설명하기 위한 도면이다. 6 is a view for explaining a specific wavelength band absorbed by the gas.
도 7은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 양 카메라에서 흡수한 광량을 비교하여 가스의 농도를 측정하는 방법을 설명하기 위한 도면이다.7 is a view for explaining a method of measuring the concentration of gas by comparing the amount of light absorbed by both cameras in an infrared stereo camera according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 가스가 흡수하는 파장을 필터링 하는 필터의 배치를 설명하기 위한 도면이다.8 is a view for explaining the arrangement of a filter for filtering a wavelength absorbed by a gas in an infrared stereo camera according to an embodiment of the present invention.
도 9내지 12는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라를 이용하여 화재 감지 및 생체 인식하는 방법을 설명하기 위한 도면이다.9 to 12 are views for explaining a method of detecting and biometric fire detection using an infrared stereo camera according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar elements are assigned the same reference numbers regardless of the reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "modules" and "parts" for components used in the following description are given or mixed only considering the ease of writing the specification, and do not have meanings or roles distinguished from each other in themselves. In addition, in the description of the embodiments disclosed herein, when it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed herein, detailed descriptions thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed in the specification is not limited by the accompanying drawings, and all modifications included in the spirit and technical scope of the present invention , It should be understood to include equivalents or substitutes.
본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.It goes without saying that the following examples of the present invention are only intended to embody the present invention and do not limit or limit the scope of the present invention. From the detailed description and examples of the present invention, what can be easily inferred by experts in the technical field to which the present invention pertains is interpreted as belonging to the scope of the present invention.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as limiting in all respects, but should be considered illustrative. The scope of the invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.
도 1은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100)를 이용하여 피사체를 촬영하는 개념도이고, 도 2는 본 발명의 일 실시예 따른 적외선 스테레오 카메라(100)의 구성도 이다.1 is a conceptual diagram for photographing a subject using an infrared stereo camera 100 according to an embodiment of the present invention, and FIG. 2 is a configuration diagram of an infrared stereo camera 100 according to an embodiment of the present invention.
본 발명의 일 실시에에 따른 적외선 스테레오 카메라(100)는 피사체(300)를 촬영하여 제1 열상 이미지를 획득하는 제1 열상 카메라(110) 및 제1 열상 카메라(110)에 이격되어 구비되고, 피사체(300)를 캡쳐하여 제2 열상 이미지를 획득하는 제2 열상 카메라(120)를 포함한다. Infrared stereo camera 100 according to an embodiment of the present invention is provided spaced apart from the first thermal imaging camera 110 and the first thermal imaging camera 110 to obtain a first thermal image by photographing the subject 300, And a second thermal imaging camera 120 that captures the subject 300 to obtain a second thermal imaging image.
본 발명에서 제 1카메라(110)와 제2 카메라(120)는 기 설정 거리를 가지고 리그(rig)와 같은 고정장치 또는 별개의 이러한 기능을 하는 기구물에 의해 고정 지지된다. In the present invention, the first camera 110 and the second camera 120 have a predetermined distance and are fixedly supported by a fixing device such as a rig or a mechanism having such a separate function.
일반적으로 스테레오 카메라는 3D 입체영상이 사람에게 자연스럽게 보이기 위해 두 개의 카메라가 사람의 두 눈의 거리(대략 6~7cm) 정도 이격되어 설치되지만, 본 발명은 3D 입체영상을 구현하는 것을 목적으로 하지 않는바, 제1 카메라(110)와 제2 카메라(120)의 이격 거리가 사람의 두 눈 거리에 한정되지 않는다. In general, a stereo camera is installed in which two cameras are separated by a distance (about 6 to 7 cm) of a person's two eyes so that a 3D stereoscopic image naturally appears to a person, but the present invention is not intended to realize a 3D stereoscopic image. Bar, the distance between the first camera 110 and the second camera 120 is not limited to the distance between the eyes of a person.
제1 열상 카메라(110) 및 제2 열상 카메라(120)는 이격되어 적외선 스테레오 카메라(100)에 구비되어 전체 촬영 영역(400)은 겹치는 부분(410)과 겹치지 않는 부분(420)을 포함할 수 있다.The first thermal imaging camera 110 and the second thermal imaging camera 120 are spaced apart and provided in the infrared stereo camera 100 so that the entire shooting area 400 may include an overlapping portion 410 and a non-overlapping portion 420. have.
전체 촬영 영역(400)은 제1 열상 카메라(110)의 촬영 영역과 제2 열상 카메라(120)가 촬영하는 영역을 합친 영역이며, 겹치는 부분(410)는 제1 열상 카메라(110) 및 제2 열상 카메라(120)로 촬영되는 영역을 말한다. 겹치지 않는 부분(420)은 제1 열상 카메라(110)로만 촬영되는 영역 또는 제2 열상 카메라(120)로만 촬영되는 영역에 대응될 수 있다.The entire imaging area 400 is an area in which the imaging area of the first thermal imaging camera 110 and the area captured by the second thermal imaging camera 120 are combined, and the overlapping portion 410 includes the first thermal imaging camera 110 and the second imaging area. Refers to an area photographed by the thermal imaging camera 120. The non-overlapping portion 420 may correspond to an area photographed only by the first thermal imaging camera 110 or an area photographed only by the second thermal imaging camera 120.
도 1에서는 제1 열상 카메라(110)와 제2 열상 카메라(120)가 동일한 화각(Field of View, FOV)을 갖는 실시예를 도시하고 있으나, 화각(FOV)이 동일할 필요는 없다. 1 illustrates an embodiment in which the first thermal imaging camera 110 and the second thermal imaging camera 120 have the same field of view (FOV), but the field of view (FOV) need not be the same.
본 발명에 따른 스테레오 적외선 카메라(100)는 전체 촬영 영역(400)에서 겹치는 부분(410)에 위치하는 피사체(300)까지의 거리를 측정할 수 있다.The stereo infrared camera 100 according to the present invention can measure the distance from the entire photographing area 400 to the subject 300 located in the overlapping portion 410.
제1 열상 카메라(110) 및 제2 열상 카메라(120)는 피사체에서 발사하는 적외선이 통과하는 렌즈(111, 121), 렌즈(111, 121)를 통과한 적외선을 감지하는 온도 센서 어레이를 포함하는 같은 열상 검출기(112, 122), 열상 검출기(112, 122)의 출력이 아날로그 신호일 경우 이를 디지털 신호로 변환하는 아날로그-디지털 변환회로(Analog-to-Digital Converter, ADC, 113, 123), 및 이미지 처리기(114, 124)를 포함할 수 있다. The first thermal imaging camera 110 and the second thermal imaging camera 120 include a lens 111 and 121 through which infrared rays emitted from a subject pass, and a temperature sensor array for detecting infrared rays passing through the lenses 111 and 121 Analog-to-digital converter (ADC, 113, 123), and image that converts the same thermal image detector (112, 122), the output of the thermal image detector (112, 122) into a digital signal Processors 114, 124 may be included.
열상 검출기(112, 122)는 제1 열상 카메라(110)와 제2 열상 카메라(120)의 해상도와 관련이 있는 구성으로, 제1 열상 카메라(110) 및 제2 열상 카메라(120)는 온도 센서 어레이에 대응되는 해상도를 가질 수 있다. The thermal imaging detectors 112 and 122 are configured to be related to the resolutions of the first thermal imaging camera 110 and the second thermal imaging camera 120, and the first thermal imaging camera 110 and the second thermal imaging camera 120 are temperature sensors. It may have a resolution corresponding to the array.
제1 열상 카메라(110)의 열상 검출기(112) 및 제2 열상 카메라(122)의 열상 검출기(122)는 제1 열상 이미지 및 제2 열상 이미지가 동일한 해상도를 가지도록 동일 온도 센서 어레이를 가질 수 있다. 다만, 본 발명에서는 동일 해상도 제약 없이 고해상도 기준으로 피사체의 거리를 정확하게 측정하는데 특징이 있다. 이와 관련하여서는 도 5를 통해 구체적으로 살펴본다. The thermal imaging detector 112 of the first thermal imaging camera 110 and the thermal imaging detector 122 of the second thermal imaging camera 122 may have the same temperature sensor array such that the first thermal imaging image and the second thermal imaging image have the same resolution. have. However, the present invention is characterized in accurately measuring a distance of a subject on a high resolution basis without the same resolution limitation. In this regard, it will be described in detail through FIG. 5.
이미지 처리기(114, 124)는 ADC(113, 123)에서 전환된 디지털 신호를 통해 열상 이미지를 획득한다. 구체적으로, 이미지 처리기(114, 124)는 히스토그램(histogram), 피킹(peaking), 휘도(brightness)와 명암대비(contrast), 열상 필터링을 행하고 조정하는 역할을 한다. The image processors 114 and 124 acquire thermal images through digital signals converted by the ADCs 113 and 123. Specifically, the image processors 114 and 124 serve to perform and adjust histogram, peaking, brightness and contrast, and thermal filtering.
제1 열상 카메라(110)와 제2 열상 카메라(120)은 제어부(130)에 연결될 수 있으며, 제어부(130)는 제1 열상 카메라(110) 제2 열상 카메라(120)에서 획득한 제1 열상 이미지와 상기 제2 열상 이미지를 정합하여 피사체(300)에 이르는 거리를 측정할 수 있다. The first thermal imaging camera 110 and the second thermal imaging camera 120 may be connected to the control unit 130, and the control unit 130 may obtain a first thermal image obtained from the first thermal imaging camera 110 and the second thermal imaging camera 120. The distance to the subject 300 may be measured by matching the image with the second thermal image.
제어부(130)는 구체적으로, 제1 열상 이미지 및 상기 제2 열상 이미지에서 피사체(300)들의 윤곽을 검출하는 에지 검출기(131), 에지 검출기(131)에서 검출된 피사체(300)들의 윤곽 픽셀 정보를 제1 열상 이미지와 제2 열상 이미지를 매칭하는 이미지 매칭부(132) 및 매칭된 이미지간 시차(disparity)를 계산하여 상기 피사체의 거리를 측정하는 시차 계산기(133)를 포함할 수 있다.Specifically, the controller 130 includes edge detector 131 that detects the contours of the subjects 300 in the first thermal image and the second thermal image, and contour pixel information of the subjects 300 detected in the edge detector 131. It may include an image matching unit 132 for matching the first thermal image and the second thermal image, and a parallax calculator 133 for calculating the disparity between the matched images and measuring the distance of the subject.
열상 이미지에서 피사체(300)의 윤곽 픽셀은 상기 피사체의 외형을 나타내는 픽셀이거나, 상기 피사체의 외형 중 특징점(keypoint)에 대응되는 픽셀 일 수 있다.In the thermal image, the outline pixel of the subject 300 may be a pixel representing the appearance of the subject or a pixel corresponding to a keypoint among the appearance of the subject.
이미지 매칭부(132)는 피사체(300)의 윤곽 픽셀 정보 또는 상기 특징점(keypoint) 픽셀 정보로부터 피사체(300)의 중심 픽셀 정보를 획득하고, 상기 윤곽 픽셀 및 상기 중심 픽셀이 각각 대응되도록 매칭할 수 있다.The image matching unit 132 may obtain center pixel information of the subject 300 from the contour pixel information of the subject 300 or the keypoint pixel information, and match the contour pixels and the center pixels to correspond to each other. have.
피사체(300)의 중심 픽셀 정보는 상기 피사체의 외형을 나타내는 픽셀들로부터의 거리 합이 최소가 되는 픽셀이거나, 상기 특징점(keypoint)를 나타내는 픽셀들로부터의 거리 합이 최소가 되는 픽셀일 수 있다.The central pixel information of the object 300 may be a pixel in which the sum of the distances from the pixels representing the outline of the subject is the minimum, or a pixel in which the sum of the distances from the pixels representing the key point is the minimum.
시차 계산기(133)는 매칭된 상기 윤곽 픽셀 및 상기 중심 픽셀을 시차를 계산하고 이를 통해 피사체(300)의 거리를 획득할 수 있다. 시차(disparity)는 하나의 물체를 서로 다른 두 지점(양쪽 카메라)에서 보았을 때 느껴지는 물체의 시야 내에서의 위치 및 모양 차이를 의미하고, 시차(disparity)를 통해 적외선 스테레오 카메라(100)와 피사체(300)의 거리(D)는 다음과 같이 구할 수 있다.The parallax calculator 133 may calculate a parallax between the matched contour pixel and the center pixel, and thereby obtain a distance of the subject 300. Disparity refers to the difference in position and shape within the field of view of an object felt when one object is viewed from two different points (both cameras), and the infrared stereo camera 100 and the subject ( The distance D of 300) can be obtained as follows.
수학식 1 Equation 1
Figure PCTKR2020001192-appb-img-000001
Figure PCTKR2020001192-appb-img-000001
여기서 D는 적외선 스테레오 카메라(100)와 피사체(300)간 거리이고, l는 제1 카메라(110)와 제2 카메라(120)간 거리이고, fl는 초점 거리이며, d1+d2가 시차(disparity)이다.Where D is the distance between the infrared stereo camera 100 and the subject 300, l is the distance between the first camera 110 and the second camera 120, fl is the focal length, and d1+d2 is the disparity. )to be.
본 발명은 제1 열상 이미지 및 제2 열상 이미지간 피사체(300)의 윤곽 픽셀뿐만 아니라 피사체(300)의 중심 픽셀을 정합하여 피사체(300)의 거리를 산출하는데 특징이 있다. 피사체(300)의 중심 픽셀은 제1 열상 카메라(110) 및 제2 열상 카메라(120)간 해상도 차이에 따른 부정확성을 개선할 수 있다.The present invention is characterized in calculating the distance of the subject 300 by matching the center pixel of the subject 300 as well as the contour pixels of the subject 300 between the first and second thermal images. The center pixel of the subject 300 may improve inaccuracy due to a difference in resolution between the first thermal imaging camera 110 and the second thermal imaging camera 120.
예를 들어, 제1 열상 카메라(110)의 해상도가 제2 열상 카메라(120)보다 좋은 경우, 본 발명에 따른 적외선 스테레오 카메라(100)는 제2 열상 이미지(120)에서 획득한 제2 열상 이미지에서 피사체(300)의 윤곽 픽셀 정보 및 중심 픽셀 정보를 추출하고, 이를 제1 열상 이미지에 정합하여 고해상도 카메라 기준 피사체의 거리를 획득할 수 있다.For example, when the resolution of the first thermal imaging camera 110 is better than that of the second thermal imaging camera 120, the infrared stereo camera 100 according to the present invention is the second thermal imaging obtained from the second thermal imaging 120 The contour pixel information and the center pixel information of the subject 300 are extracted from and matched to the first thermal image to obtain a distance of a high-resolution camera reference subject.
도 3는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 촬영된 열상 이미지간 시차(disparity)를 설명하기 위한 도면이다.FIG. 3 is a view for explaining disparity between thermal images taken by an infrared stereo camera according to an embodiment of the present invention.
도 3(a) 는 왼쪽에 있는 열상 카메라에서 촬영된 열상 이미지이며, 도 3(b)는 오른쪽에 있는 열상 카메라에서 촬영된 열상 이미지이다. 3(a) is a thermal image taken by a thermal camera on the left, and FIG. 3(b) is a thermal image taken by a thermal camera on the right.
도 1을 참고 하여, 이하에서 도 3(a) 는 제1 열상 카메라(110)에서 촬영된 제1 열상 이미지에 대응하고, 도 3(b)는 제2 열상 카메라(120)에서 촬영된 제2 열상 이미지에 대응하여 설명한다. Referring to FIG. 1, in the following, FIG. 3(a) corresponds to a first thermal image photographed by the first thermal camera 110, and FIG. 3(b) is a second photographed by the second thermal camera 120 It will be described in correspondence with the thermal image.
시차(disparity) 이미지는 대응되는 픽셀간 시차(disparity)를 영상화 한 것으로 예컨대 거리가 다른 두 물체를 표시할 때, 흑백 스케일을 사용하여 가까운도 거리의 물체를 흰색으로, 먼 거리에 물체를 검은색으로 표시할 수 있다.The disparity image is an image of the corresponding pixel-to-pixel disparity.For example, when displaying two objects with different distances, a black-and-white scale is used to make objects at close distances white and objects at long distances black. Can be displayed as
도 3은 윤곽 픽셀을 매칭하여 시차(disparity)를 계산하는 실시예를 도시하고 있는데, 제1 열상 이미지와 제2 열상 이미지의 해상도가 상이한 경우, 양 픽셀의 매칭이 부정확할 수 있다.FIG. 3 illustrates an embodiment in which disparity is calculated by matching contour pixels. When the resolutions of the first and second thermal images are different, matching of both pixels may be incorrect.
이에, 본 발명에 따른 스테레오 적외선 카메라는 윤곽 픽셀 정보를 이용하여 피사체의 중심 픽셀 정보를 획득하고, 중심 픽셀 정보를 이용하여 양 카메라간 해상도 차이로 인해 매칭이 부정확한 것을 상쇄하고자 한다.Accordingly, the stereo infrared camera according to the present invention intends to acquire center pixel information of a subject using contour pixel information, and offsets incorrect matching due to a difference in resolution between both cameras using center pixel information.
도 4 는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.4 is a flowchart illustrating a method of acquiring distance information of a subject in an infrared stereo camera according to an embodiment of the present invention.
본 발명에 따른 적외선 스테레오 카메라에서 제어부는 제1 열상 이미지 및 제2 열상 이미지에서 피사체의 윤곽 픽셀 정보를 추출할 수 있다. (S401) In the infrared stereo camera according to the present invention, the controller may extract contour pixel information of the subject from the first thermal image and the second thermal image. (S401)
여기서, 제1 열상 이미지가 제2 열상 이미지보다 해상도가 높은 경우, 제1 열상 이미지에서 피사체의 윤곽 픽셀은 제2 열상 이미지에서 피사체의 윤곽 픽셀과 매칭이 부정확할 수 있다. 이를 보정하기 위해서, 상기 제어부는 제1 열상 이미지 및 제2 열상 이미지 각각에서 피사체의 윤곽 픽셀 정보를 통해 피사체의 중심 픽셀 정보를 추출할 수 있다. (S402)Here, when the first thermal image has a higher resolution than the second thermal image, the contour pixels of the subject in the first thermal image may be incorrectly matched with the contour pixels of the subject in the second thermal image. To correct this, the controller may extract central pixel information of the subject from the outline pixel information of the subject from each of the first and second thermal images. (S402)
피사체의 중심 픽셀은 피사체의 윤곽 픽셀로부터의 거리의 합이 최소가 되는 픽셀일 수 있다. 피사체의 윤곽 픽셀은 폐곡선을 형성하는 복수의 픽셀일 수 있지만, 피사체의 윤곽 픽셀 중 복수의 특장점(keypiont)일 수 있다.The central pixel of the subject may be a pixel in which the sum of the distances from the outline pixels of the subject is minimal. The outline pixels of the subject may be a plurality of pixels forming a closed curve, but may be a plurality of key points among the outline pixels of the subject.
본 발명에 따른 적외선 스테레오 카메라에서 제어부는 제1 열상 이미지에서 피사체의 윤곽 픽셀과 중심 픽셀간 위치 관계를 통해, 제2 열상 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다. (S403)In the infrared stereo camera according to the present invention, the control unit may correct the outline pixel information of the subject in the second thermal image through the positional relationship between the outline pixel and the center pixel of the subject in the first thermal image. (S403)
구체적으로, 상기 제어부는 제1 열상 이미지에서 피사체의 중심 픽셀과 제2 열상 이미지에서 피사체의 중심 픽셀을 대응시키고, 제1 열상 이미지에서 피사체의 윤곽 픽셀과 중심 픽셀의 상대 위치 관계를 확인하고, 상기 상대 위치 관계를 통해 제2 열상 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다.Specifically, the control unit correlates the center pixel of the subject in the first thermal image and the center pixel of the subject in the second thermal image, and checks the relative positional relationship between the outline pixel and the central pixel of the subject in the first thermal image, and Through the relative positional relationship, the outline pixel information of the subject may be corrected in the second thermal image.
여기서 피사체의 윤곽 픽셀 정보는 피사체의 윤곽을 구성하는 픽셀의 평면 좌표 상의 위치 정보를 포함할 수 있다.Here, the outline pixel information of the subject may include location information on plane coordinates of pixels constituting the outline of the subject.
제어부는 제2 열상 이미지에서 피사체의 중심 픽셀 정보 및 보정된 윤곽 픽셀 정보를 통해 상기 제2 열상 이미지를 상기 제1 열상 이미지에 정합할 수 있다. (S404)The control unit may match the second thermal image to the first thermal image through the center pixel information of the subject and the corrected outline pixel information in the second thermal image. (S404)
여기서 제2 열상 이미지를 상기 제2 열상 이미지를 정합하는 것은 기존의 스테레오 비전 연산을 위해 사용되는 에피폴라 기하학(epipolar geometry)를 이용할 수 있으며, 정합 매트릭스를 구현하는 매칭 포인트로 상기 피사체의 중심 픽셀 정보 및 보정된 윤곽 픽셀 정보를 이용할 수 있다.Here, matching the second thermal image to the second thermal image may use epipolar geometry used for conventional stereo vision calculation, and the center pixel information of the subject as a matching point that implements a matching matrix. And corrected outline pixel information.
제1 열상 이미지와 상기 제2 열상 이미지를 정합한 후, 제어부는 스테레오 비전 연산을 통해 피사체의 거리 정보를 추출할 수 있다. (S405) After matching the first thermal image with the second thermal image, the controller may extract distance information of the subject through a stereo vision operation. (S405)
본 발명에 따른 적외선 스테레오 카메라는 제1 열상 카메라와 제2 열상 카메라가 기 설정 거리를 가지고 고정되어 흔들림 정도가 동일할 수 있다.In the infrared stereo camera according to the present invention, the first thermal camera and the second thermal camera may be fixed at a predetermined distance and have the same degree of shaking.
이에, 본 발명은 해상도가 높은 제1 열상 카메라를 이용하여 제2 열상 카메라의 흔들림 정보를 보정하여 피사체의 거리 정보를 보다 정확하게 획득하는 방법을 살펴본다.Accordingly, the present invention looks at a method for more accurately obtaining distance information of a subject by correcting shaking information of a second thermal camera using a first thermal camera having a high resolution.
도 5는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 고해상도 카메라(제1 열상 카메라)를 기준으로 저해상도 카메라(제2 열상 카메라)의 흔들림 정보를 보정하고, 피사체의 거리 정보를 획득하는 방법을 설명한 흐름도 이다.5 is a method for correcting shaking information of a low-resolution camera (second thermal camera) based on a high-resolution camera (first thermal camera) in an infrared stereo camera according to an embodiment of the present invention, and obtaining distance information of a subject This is the flow chart.
본 발명에 따른 적외선 스테레오 카메라가 지속적으로 움직이는 차량에 탑재 되어 있는 경우, 고해상도를 가지는 제1 열상 카메라를 기준으로 흔들림 정보를 추출하고, 이를 통해 제2 열상 카메라의 흔들림 정보를 보정함이 보다 정확하게 피사체의 거리를 획득할 수 있다.When the infrared stereo camera according to the present invention is mounted on a continuously moving vehicle, the shaking information is extracted based on the first thermal imaging camera having high resolution, and through this, the shaking information of the second thermal imaging camera is corrected more accurately. You can get the distance.
이를 위해, 본 발명에 따른 적외선 스테레오 카메라의 제어부는 기 설정 시차를 두고 연속적으로 촬영된 제1 열상 이미지를 통해 제1 열상 카메라의 흔들리 정보를 획득할 수 있다.(S501)To this end, the control unit of the infrared stereo camera according to the present invention can acquire the shaking information of the first thermal imaging camera through the first thermal image continuously photographed at a predetermined parallax (S501).
기 설정 시차를 두고 연속적으로 촬영된 제1 열상 이미지는 기 설정 시차를 두고 N번째 획득된 제1 열상 이미지 및 N+1번째 획득된 제1 열상 이미지 일 수 있다.The first thermal image photographed continuously at a preset parallax may be the first thermal image acquired at the Nth time and the first thermal image acquired at the N+1th time at a preset time difference.
제1 열상 카메라의 흔들림 정보는 N번째 획득된 제1 열상 이미지와 N+1번째 획득한 제1 열상 이미지간 특장점(keypiont)의 움직임 정보를 통해 획득할 수 있다.The shaking information of the first thermal imaging camera may be obtained through motion information of a key point between an N-th acquired first thermal image and an N+1-th acquired first thermal image.
상기 제어부는 제1 열상 카메라의 흔들림 정보를 이용하여 제2 열상 이미지에서 피사체의 중심 픽셀 정보를 보정할 수 있다. (S502)The controller may correct the center pixel information of the subject in the second thermal image using the shaking information of the first thermal camera. (S502)
예를 들어, 제1 열상 카메라가 N번째 제1 열상 이미지를 획득하고 N+1번째 제1 열상 이미지 획득하는 동안 평면 좌표상에서 dx_N, dy_N만큼 이동 하는 경우, N번째 제2 열상 이미지와 N+1 번째 제2 열상 이미지간 흔들림 정보를 dx_N, dy_N에 대응되도록 N+1번째 제2 열상 이미지에서 피사체의 윤곽 픽셀 정보를 보정할 수 있다.For example, if the first thermal imaging camera acquires the Nth first thermal image and moves by dx_N and dy_N in the plane coordinates during the N+1 first thermal image acquisition, the Nth second thermal image and the N+1 It is possible to correct the outline pixel information of the subject in the N+1 second thermal image so that the shaking information between the second second thermal image corresponds to dx_N and dy_N.
제1 열상 카메라의 흔들림 정도에 대응되도록 보정된 N+1 번째 제2 열상 이미지에서 획득한 피사체의 윤곽 픽셀 정보를 통해 피사체의 중심 픽셀 정보를 획득할 수 있다. 즉, N+1 번째 제2 열상 이미지에서 획득한 피사체의 중심 픽셀은 제1 열상 카메라의 흔들림 정보를 통해 보정될 수 있다.The center pixel information of the subject may be obtained through the outline pixel information of the subject obtained from the N+1 th second thermal image corrected to correspond to the shaking degree of the first thermal camera. That is, the center pixel of the object acquired from the N+1 th second thermal image may be corrected through the shaking information of the first thermal camera.
여기서 N번째 제2 열상 이미지는 N 번째 제1 열상 이미지와 동일 시각에 획득되며, N+1 번째 제2 열상 이미지는 N+1 번째 제1 열상 이미지와 동일 시각게 획득된다. Here, the N-th second thermal image is obtained at the same time as the N-th first thermal image, and the N+1-th second thermal image is obtained at the same time as the N+1-th first thermal image.
즉, 본 발명의 적외선 스테레오 카메라는 제1 열상 카메라와 제2 열상 카메라가 해상도가 상이하여 제1 열상 카메라에서 획득한 흔들림 정보과 제2 열상 카메라에서 획득한 흔들림 정보가 상이함에 따라 피사체 거리를 측정하는데 계산 값이 상이한 것을 방지하기 위함이다.That is, in the infrared stereo camera of the present invention, since the first thermal camera and the second thermal camera have different resolutions, the subject distance is measured as the shaking information obtained from the first and second thermal cameras differs. This is to prevent the calculated values from being different.
상기 제어부는 제2 열상 이미지에서 보정된 중심 픽셀 정보를 통해 피사체의 윤곽 픽셀 정보를 보정할 수 있다. (S503) 구체적으로, 제1 열상 이미지에서 획득한 피사체의 중심 픽셀과 제2 열상 이미지의 보정된 중심 픽셀을 대응시키고, 제1 열상 이미지에서 획득한 중심 픽셀과 윤곽 픽셀간 상대 위치 정보를 통해 제2 열상 이미지에서 획득한 윤곽 필셀 정보를 보정할 수 있다.The controller may correct the outline pixel information of the subject through the center pixel information corrected in the second thermal image. (S503) Specifically, the center pixel of the subject obtained from the first thermal image and the corrected center pixel of the second thermal image correspond to each other, and the second image is generated through relative position information between the center pixel and the contour pixel obtained from the first thermal image. 2 It is possible to correct contour fill cell information obtained from a thermal image.
상기 제어부는 제2 열상 이미지에서 제1 열상 카메라의 흔들림 정보를 반영하여 보정된 피사체의 중심 픽셀과, 제1 열상 이미지에서 중심 픽셀과 윤곽 픽셀간 상대 위치를 통해 보정된 피사체의 윤곽 픽셀을 이용하여 제2 열상 이미지를 제1 열상 이미지에 정합할 수 있다.(S504)The control unit uses the center pixel of the subject corrected by reflecting the shaking information of the first thermal camera in the second thermal image, and the contour pixel of the subject corrected through the relative position between the center pixel and the contour pixel in the first thermal image. The second thermal image may be matched to the first thermal image. (S504)
이때, 정합하는 과정은 도 4에서 설명한 S404와 동일할 수 있다.At this time, the matching process may be the same as S404 described in FIG. 4.
상기 제어부는 제2 열상 이미지를 제1 열상 이미지에 정합하고 스테레오 비전 연산을 통해 피사체의 거리 정보를 추출할 수 있다.The controller may match the second thermal image to the first thermal image and extract distance information of the subject through stereo vision calculation.
이상에서는 해상도가 상이한 열상 카메라를 이용하되, 고해상도 기준으로 피사체의 거리 정보를 추출하는 본 발명의 특징을 살펴보았다. In the above, the characteristics of the present invention for extracting the distance information of the subject using a thermal camera having different resolutions but using a high resolution standard were examined.
이하에서는 두 대의 열상 카메라를 이용하여 특정 가스의 농도를 측정하는 본 발명의 특징을 살펴본다. Hereinafter, features of the present invention for measuring the concentration of a specific gas using two thermal imaging cameras will be described.
도 6은 가스가 흡수하는 특정 파장대를 설명하기 위한 도면이다. 6 is a view for explaining a specific wavelength band absorbed by the gas.
광원이 가스에 조사되는 경우, 가스의 종류에 따라 흡수되는 파장이 다를 수 있다. 종류에 따라 상이하지만 가스에서 흡수하는 파장은 대부분 적외선 범위에 있어 적외선을 광원으로 이용함이 가스의 종류를 분류하는데 용이할 수 있다.When the light source is irradiated to the gas, the absorbed wavelength may be different depending on the type of gas. Although different depending on the type, the wavelength absorbed by the gas is mostly in the infrared range, so using infrared as a light source may be easy to classify the type of gas.
특정 가스를 통과한 적외선이 적외선 카메라에서 흡수되는 경우, 특정 가스에 대응되는 파장을 제외하여 흡수하여 흡수한 광량이 달라질 수 있다.When infrared rays that have passed through a specific gas are absorbed by the infrared camera, the amount of light absorbed and absorbed by excluding the wavelength corresponding to the specific gas may be changed.
따라서, 단일의 적외선 카메라를 통해서 가스의 분포가 상이한 영역을 살펴보면, 가스가 분포한 형태를 확인할 수 있다.Therefore, when a region in which the gas distribution is different is examined through a single infrared camera, the shape in which the gas is distributed can be confirmed.
다만, 단일의 적외선 카메라는 가스의 종류를 확인할 수 없다는 단점이 있다. 또한, 가스가 적외선 카메라를 통해 본 영역에 고르게 분포하는 경우, 가스의 존부를 확인할 수 없다는 단점이 있다. 또한, 가스가 특정 지역에 존재하는 것을 확인하였다 하더라도 해당 지역에 가스의 농도가 어떻게 되는지 확인할 수 없다는 단점이 있다.However, there is a disadvantage that a single infrared camera cannot confirm the type of gas. In addition, when the gas is evenly distributed in the area seen through the infrared camera, there is a disadvantage that it is impossible to check the presence or absence of the gas. In addition, even if it is confirmed that the gas is present in a specific region, there is a disadvantage that it is impossible to check the concentration of the gas in the region.
따라서, 본 발명은 두 대의 적외선 카메라를 이용하여 가스의 종류 및 농도를 확인할 수 있는 방법을 제안하고자 한다.Therefore, the present invention is to propose a method for checking the type and concentration of gas using two infrared cameras.
도 1을 참고하면, 제2 열상 카메라(120)는 적외선을 흡수하는 경로 상에 특정 파장 범위만을 통과시키는 필터(200)를 더 포함할 수 있다.Referring to FIG. 1, the second thermal imaging camera 120 may further include a filter 200 that passes only a specific wavelength range on a path that absorbs infrared rays.
필터(200)는 특정 가스가 흡수하는 특정 자장 범위만을 통과시키는 역할을 수행할 수 있으며, 이를 통해 본 발명은 특정 가스의 농도를 측정할 수 있다.The filter 200 may serve to pass only a specific magnetic field range absorbed by a specific gas, through which the present invention can measure the concentration of a specific gas.
제어부(130)는 제1 열상 이미지 및 제2 열상 이미지에서 필터(200)에 대응되는 영역에 입사되는 광량을 비교하여 필터(200)에 대응되는 특정 가스의 농도를 측정할 수 있다.The controller 130 may measure the concentration of a specific gas corresponding to the filter 200 by comparing the amount of light incident on the region corresponding to the filter 200 in the first thermal image and the second thermal image.
특정 가스의 농도를 측정하는 방법은 이하 도 7을 통해 살펴본다.The method of measuring the concentration of a specific gas will be described with reference to FIG. 7 below.
도 7은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 양 카메라에서 흡수한 광량을 비교하여 가스의 농도를 측정하는 방법을 설명하기 위한 도면이다.7 is a view for explaining a method of measuring the concentration of gas by comparing the amount of light absorbed by both cameras in an infrared stereo camera according to an embodiment of the present invention.
도 7(a)는 일반적으로 특정 온도의 흑체에서 방사하는 파장(λ)과 세기(I) 관계를 살펴본 분광 그래프이며, E_t는 적외선 카메라를 통해 흡수되는 파장 대역에서 적외선 카메라에서 흡수된 광량을 의미하며, e_i는 특정 가스에서 흡수되는 파장 대역에서 적외선 카메라가 흡수한 광량을 의미한다.7(a) is a spectral graph showing the relationship between the wavelength (λ) and intensity (I) emitted from a black body at a specific temperature, and E_t means the amount of light absorbed by the infrared camera in the wavelength band absorbed by the infrared camera. E_i means the amount of light absorbed by the infrared camera in the wavelength band absorbed by a specific gas.
적외선 카메라에서 적외선을 흡수하는 경로 상에 특정 가스가 존재하는 경우, 그 농도에 따라 도 7(b)와 같이 분광 그래프가 형성될 수 있다. 적외선 카메라에서 적외선을 흡수하는 경로 상에 특정 가스가 존재하는 경우 특정 가스에서 흡수하는 파장은 세기가 적게 측정될 수 있다.When a specific gas is present on a path absorbing infrared rays in an infrared camera, a spectral graph may be formed as shown in FIG. 7(b) according to the concentration. When a specific gas is present on a path absorbing infrared rays in an infrared camera, the wavelength absorbed by the specific gas may be measured with less intensity.
따라서, 특정 가스가 흡수하는 파장에서 세기가 감소하는 것을 분광 그래프에서 확인할 수 있다. 구체적으로, 도 7(b)에서 첫 번째 그래프는 특정 가스의 농도가 작은 것을 의미하며, 두 번째 그래프는 특정 가스의 농도가 큰 것을 의미한다. Therefore, it can be confirmed from the spectral graph that the intensity decreases at a wavelength absorbed by a specific gas. Specifically, in FIG. 7(b), the first graph means that the concentration of a specific gas is small, and the second graph means that the concentration of a specific gas is large.
단일의 적외선 카메라는 픽셀간 흡수하는 광량의 차이를 통해서 가스의 분포를 알 수 있지만, 가스의 유무에 따라서 동일 픽셀에 들어오는 광량의 차이를 알 수 없다. A single infrared camera can know the distribution of gas through the difference in the amount of light absorbed between pixels, but cannot determine the difference in the amount of light entering the same pixel depending on the presence or absence of gas.
따라서, 단일의 적외선 카메라는 도 7(a) 대비 도 7(b)의 E_t를 측정하여 특정 가스의 종류 및 농도를 측정할 수 없다.Therefore, a single infrared camera cannot measure the type and concentration of a specific gas by measuring E_t of FIG. 7(a) compared to FIG. 7(a).
따라서, 본 발명은 두 대의 적외선 카메라에서 하나에만 특정 가스에 대응되는 필터(200)를 구비하고, 양 적외선 카메라에서 대응 픽셀간 광량 차이를 통해 특정 가스의 종류 및 농도를 측정하고자 한다.Accordingly, the present invention is to provide a filter 200 corresponding to a specific gas in only two infrared cameras, and to measure the type and concentration of a specific gas through a difference in light amount between corresponding pixels in both infrared cameras.
도 7(c)는 필터를 구비한 적외선 카메라에 대응되는 분광 그래프이다. 7(c) is a spectral graph corresponding to an infrared camera equipped with a filter.
구체적으로, 도 7(c)의 첫 번째 그래프는 도 7(b)의 첫 번째 그래프에 대응되는 그래프로, 도 7(b)의 첫 번째 그래프는 제1 열상 카메라에 대응되는 분광 그래프이면, 도 7(c)의 첫 번째 그래프는 제2 열상 카메라에 대응되는 분광 그래프이다.Specifically, the first graph of FIG. 7(c) is a graph corresponding to the first graph of FIG. 7(b), and the first graph of FIG. 7(b) is a spectral graph corresponding to the first thermal imaging camera. The first graph of 7(c) is the spectral graph corresponding to the second thermal imaging camera.
또한, 도 7(c)의 두 번째 그래프는 도 7(b)의 두 번째 그래프에 대응되는 그래프로, 도 7(b)의 두 번째 그래프는 제1 열상 카메라에 대응되는 분광 그래프이면, 도 7(c)의 두 번째 그래프는 제2 열상 카메라에 대응되는 분광 그래프이다.In addition, the second graph of FIG. 7(c) is a graph corresponding to the second graph of FIG. 7(b), and the second graph of FIG. 7(b) is a spectral graph corresponding to the first thermal imaging camera. The second graph in (c) is a spectral graph corresponding to the second thermal imaging camera.
즉, 제1 열상 카메라는 특정 가스가 흡수하는 파장 대역에서 특정 가스의 농도에 대응하여 흡수하는 빛의 세기가 감소한 상태로 피사체에서 방사하는 파장을 흡수할 수 있다.That is, the first thermal imaging camera can absorb the wavelength emitted from the subject in a state in which the intensity of light absorbed corresponding to the concentration of the specific gas is reduced in a wavelength band absorbed by the specific gas.
이때, 제2 열상 카메라는 특정 가스가 흡수하는 파장 대역에서 특정 가스의 농도에 대응하여 피사체에서 방사하는 빛의 세기를 흡수할 수 있다.At this time, the second thermal imaging camera may absorb the intensity of light emitted from the subject in response to the concentration of the specific gas in the wavelength band absorbed by the specific gas.
제어부는 제1 열상 카메라와 제2 열상 카메라간 대응되는 픽셀간 흡수한 광량의 차이를 통해 특정 가스의 종류 및 농도를 확인 할 수 있다.The control unit may check the type and concentration of a specific gas through a difference in the amount of light absorbed between corresponding pixels between the first thermal imaging camera and the second thermal imaging camera.
예를들어, 제1 열상 카메라와 제2 열상 카메라간 대응되는 픽셀간 흡수한 광량의 차이가 제1 열상 카메라와 제2 열상 카메라의 성능 및 설정 값의 차이에 따른 것이 아니라면, 제어부는 특정 가스의 유무를 확인 할 수 있다.For example, if the difference in the amount of light absorbed between corresponding pixels between the first thermal camera and the second thermal camera is not due to a difference in performance and set values of the first thermal camera and the second thermal camera, the controller may control a specific gas. You can check the presence or absence.
또한, 제1 열상 카메라와 제2 열상 카메라간 대응되는 픽셀간 흡수한 광량의 비를 통해 해당 특정 가스의 농도를 환산하여 산출할 수 있다.In addition, the concentration of the specific gas can be calculated through conversion of the ratio of the amount of light absorbed between pixels corresponding to the first thermal imaging camera and the second thermal imaging camera.
도 8은 본 발명의 일 실시예에 따른 적외선 스테레오 카메라에서 가스가 흡수하는 파장을 필터링 하는 필터의 배치를 설명하기 위한 도면이다.8 is a view for explaining the arrangement of a filter for filtering a wavelength absorbed by a gas in an infrared stereo camera according to an embodiment of the present invention.
도 1을 참조하고 본 발명에 따른 적외선 스테레오 카메라는 제1 열상 카메라(110) 및 제2 열상 카메라(120)를 포함할 수 있으며, 제2 열상 카메라(120)는 피사체가 방사하는 파장의 흡수하는 경로 상에 특정 가스에서 흡수하는 파장만을 통과시키는 필터(200)를 포함할 수 있다.Referring to Figure 1 and the infrared stereo camera according to the present invention may include a first thermal camera 110 and a second thermal camera 120, the second thermal camera 120 absorbs the wavelength of the object emitted A filter 200 that passes only wavelengths absorbed by a specific gas on the path may be included.
필터(200)는 도 8(a)와 같이 하나의 특정 가스만을 대상으로 하는 필터일 수 있다. The filter 200 may be a filter targeting only one specific gas as shown in FIG. 8(a).
필터(200)는 제2 열상 카메라에서 획득하는 열상 이미지의 전 영역에서 특정 가스가 흡수하는 파장 외 파장을 필터링 하거나, 일부 영역에서 필터링 할 수 있다.The filter 200 may filter wavelengths other than the wavelength absorbed by a specific gas in all regions of the thermal image acquired by the second thermal imaging camera, or in some regions.
경우에 따라서, 필터(200)는 도 8(b)와 같이 복수의 특정 가스를 대상으로 하는 복수의 필터(201 내지 204)를 포함할 수 있다. 복수의 필터(201 내지 204)는 각각 상이한 특정 가스에 각각 대응되는 필터로 복수의 특정 가스는 각각 흡수하는 파장이 상이할 수 있다.In some cases, the filter 200 may include a plurality of filters 201 to 204 targeting a plurality of specific gases, as shown in FIG. 8(b). The plurality of filters 201 to 204 are filters corresponding to different specific gases, respectively, and the wavelengths of the plurality of specific gases may be different from each other.
이때, 필터(200)는 복수의 필터(201 내지 204)가 동일 평면상에 구비되어 열상 이미지에서 대응되는 영역이 상이하게 구비될 수 있다. 즉, 제어부는 제2 열상 이미지에서 제1 필터(201)을 통과한 파장을 흡수한 픽셀 정보와 이에 대응되는 제1 열상 이미지의 픽셀 정보를 비교하여 제1 필터(201)를 통과하는 파장을 흡수하는 특정 가스의 존부 및 농도를 확일 할 수 있다.At this time, the filter 200 may be provided with a plurality of filters 201 to 204 on the same plane so that corresponding regions of the thermal image are different. That is, the control unit compares the pixel information absorbing the wavelength passing through the first filter 201 in the second thermal image and the pixel information of the first thermal image corresponding to the absorbed wavelength passing through the first filter 201. It is possible to confirm the existence and concentration of a specific gas to be said.
필터(200)가 복수의 필터(201 및 202)를 포함하는 경우, 도 8(c)와 같이 격자 패턴을 형성하며 동일 평면상에 구비될 수 있다. 이는 특정 가스가 열상 이미지에서 특정 영역에 집중하여 분포하는 경우 측정된 특정 가스의 존부 및 농도의 부정확성을 개선하기 위함이다.When the filter 200 includes a plurality of filters 201 and 202, a grid pattern may be formed as shown in FIG. 8(c) and provided on the same plane. This is to improve the inaccuracy of the presence and concentration of a specific gas measured when a specific gas is concentrated and distributed in a specific region in a thermal image.
본 발명에 따른 적외선 스테레오 카메라는 화재 시 특히 유용하게 사용될 수 있다. 이를 위해 도 9 내지 도 12를 통해 본 발명의 유용성을 살펴본다.The infrared stereo camera according to the present invention can be particularly useful in case of fire. To this end, the usefulness of the present invention is examined through FIGS. 9 to 12.
도 9내지 12는 본 발명의 일 실시예에 따른 적외선 스테레오 카메라(100a 내지 100e)를 이용하여 화재 감지 및 생체 인식하는 방법을 설명하기 위한 도면이다.9 to 12 are diagrams for explaining a method of detecting and detecting fire using infrared stereo cameras 100a to 100e according to an embodiment of the present invention.
본 발명에 따른 적외선 스테레오 카메라(100a 내지 100e)는 동일 공간에 하나 구비될 수 있지만 도 9와 같이 복수 개 구비되어 서로 네트워크 연결되는 경우 보다 용이할 수 있다.Although the infrared stereo cameras 100a to 100e according to the present invention may be provided in the same space, a plurality of infrared stereo cameras may be provided, as shown in FIG. 9, to be more easily connected to each other.
경우에 따라서, 복수의 적외선 스테레오 카메라(100a 내기 100e)가 촬영하는 영역에 사각 지역이 있을 수 있다. 이 경우, 복수의 적외선 스테레오 카메라(100a 내기 100e)가 특정 온도 이상을 감지한 시점이 연소가 이미 많이 진행된 상태일 수 있다. 따라서, 열원을 가지고 화재를 감지하는 것은 초기 대응에 늦을 수 있다.In some cases, there may be a blind spot in an area photographed by the plurality of infrared stereo cameras 100a to 100e. In this case, the time when the plurality of infrared stereo cameras 100a to 100e senses a specific temperature or higher may be a state in which combustion has already progressed. Therefore, detecting a fire with a heat source may be late for initial response.
다만, 화재가 발생한 경우 화재 시 발생하는 가스는 공간에 고루 퍼질 수 있다. 따라서, 본 발명의 적외선 스테레오 카메라(100a 내기 100e)를 통해 화재시 발생하는 가스를 먼저 감지한 경우, 해당 가스 정보가 화재 여부를 판단하는데 용이하게 이용될 수 있다.However, in the event of a fire, the gas generated during the fire may spread evenly over the space. Accordingly, when the gas generated during a fire is first detected through the infrared stereo camera 100a bet 100e of the present invention, the gas information can be easily used to determine whether or not a fire occurs.
본 발명의 적외선 스테레오 카메라(100a 내지 100e)가 화재 시 발생하는 가스의 농도가 증가하는 것을 감지한 경우(S601), 특정 공간에서 연소가 개시되고 있음을 판단하고 열원을 감지할 수 있다(S602).When the infrared stereo cameras 100a to 100e of the present invention detect that the concentration of gas generated during a fire increases (S601), it is possible to determine that combustion is starting in a specific space and detect a heat source (S602) .
본 발명의 적외선 스테레오 카메라(100a 내지 100e)는 특정 공간에서 연소가 개시되어 있음을 확인 경우 연소 개시, 화염 발생, 연소 최대, 화염 소멸 및 연소 소멸 시점에 대응하여 후속 조치를 취할 수 있다.In the infrared stereo cameras 100a to 100e of the present invention, when it is confirmed that combustion is started in a specific space, it is possible to take a follow-up action in response to combustion start, flame generation, combustion maximum, flame extinction and combustion extinction time.
예를 들어, 본 발명의 적외선 스테레오 카메라(100a 내지 100e)에서 화재에 대응되는 온도를 감지하지 못하였다 하더라고, 연소 시 발생하는 특정 가스의 농도 변화를 확인 한 경우 특정 지역에 연소가 발생하고 있음을 판단하여 도 10의 1 구간에 진입할 수 있다.For example, even though the infrared stereo cameras 100a to 100e of the present invention did not detect a temperature corresponding to a fire, it was confirmed that combustion occurred in a specific area when the concentration change of a specific gas generated during combustion was confirmed. By judging, it may enter section 1 of FIG. 10.
상기 제1 구간에서 적외선 스테레오 카메라는 통신할 수 있는 외부 기기로 연소 개시 정보를 제공하고 대응되는 후속 조치를 취할 수 있도록 할 수 있다. 대응되는 후속 조치로는 화재 의심 지역 정보 제공, 가스 농도 변화 정보, 화재 초기 경보 등의 조치일 수 있다.In the first section, the infrared stereo camera can provide combustion start information to an external device that can communicate and can take corresponding follow-up measures. Responsible follow-up measures may include provision of information on suspected fire zones, information on changes in gas concentration, and early warning of fire.
화염이 발생하여 본 발명에 따른 적외선 스테레오 카메라를 통해 특정 온도 이상을 감지하게 된 경우, 도 10의 2 구간에 진입할 수 있다. 이 경우, 119 자동 신고, 특정 공간 내에 사람 존재 여부, 화염 발생 위치와 사람의 위치 정보 등을 제공할 수 있다. When a certain temperature is detected through the infrared stereo camera according to the present invention due to the occurrence of a flame, the second section of FIG. 10 may be entered. In this case, it is possible to provide 119 automatic notification, presence of a person in a specific space, location of a flame, and location information of a person.
도 12는 외부 기기를 통해 제공되는 화염 발생 위치 정보 및 온도, 해당 공간 내에 사람이 존재하는지 여부 및 그 위치, 가스 종류 및 농도 정보를 제공하는 일 실시예를 도시하고 있다. 경우에 따라서, 상기 정보는 3차원 공간 상에 제공될 수 있다. 또한, 기 저장된 사람 정보를 통해 해당 공간 내제 존재하는 사람을 분간하고, 해당 사람 및 관련 사람에게 정보를 제공할 수 있다.FIG. 12 illustrates an embodiment of providing location information and temperature of a flame generated through an external device, whether a person exists in a corresponding space, and location, gas type and concentration information. In some cases, the information may be provided on a three-dimensional space. In addition, through the pre-stored person information, it is possible to distinguish a person who exists in the space, and provide information to the person and related persons.
이후 본 발명에 따른 적외선 스테레오 카메라는 가스 농도의 변화 지점을 통해 도 10의 3구간으로 진입하고, 특정 온도 이상이 감지되지 않는 경우, 화염이 진압된 것으로 판단하고 도 10의 4구간으로 진입하여 대응되는 후속 조치를 취할 수 있다.Thereafter, the infrared stereo camera according to the present invention enters section 3 of FIG. 10 through a point of change in gas concentration, and when a specific temperature is not detected, it is determined that the flame is extinguished and enters section 4 of FIG. 10 to respond Follow up.
두 대의 카메라를 지속적으로 작동하는 것은 에너지 효율상 바람직하지 않을 수 있다. 따라서, 가스 정보 또는 위치 정보가 필요한 경우 외에는 하나의 카메라로 운영함이 바람직할 수 있다.Continuous operation of two cameras may be undesirable for energy efficiency. Therefore, it may be desirable to operate with a single camera except when gas information or location information is required.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as limiting in all respects, but should be considered illustrative. The scope of the invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Claims (14)

  1. 피사체를 캡쳐하여 제1 열상 이미지를 획득하는 제1 열상 카메라;A first thermal imaging camera capturing a subject to obtain a first thermal imaging image;
    상기 제1 열상 카메라에 이격되어 구비되고, 상기 피사체를 캡쳐하여 제2 열상 이미지를 획득하는 제2 열상 카메라;A second thermal imaging camera which is provided at a distance from the first thermal imaging camera and captures the subject to obtain a second thermal imaging image;
    상기 제1 열상 카메라 및 상기 제2 열상 카메라에 연결된 제어부;를 포함하고,Includes; a control unit connected to the first thermal imaging camera and the second thermal imaging camera,
    상기 제어부는The control unit
    상기 제2 열상 이미지를 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 기초로 상기 제1 열상 이미지에 정합하고, 스테레오비전 연산을 통해 상기 피사체의 거리 정보를 추출하는 것을 특징으로 하는 적외선 스테레오 카메라.Infrared, characterized in that the second thermal image is matched to the first thermal image based on the pixels constituting the outline of the subject and the central pixel of the subject, and the distance information of the subject is extracted through a stereovision operation. Stereo camera.
  2. 제1 항에 있어서,According to claim 1,
    상기 피사체의 중심 픽셀은 상기 피사체의 윤곽을 구성하는 픽셀로부터의 거리의 합이 최소가 되는 픽셀인 것을 특징으로 하는 적외선 스테레오 카메라.The central pixel of the subject is an infrared stereo camera, characterized in that the sum of the distance from the pixels constituting the subject is the minimum.
  3. 제1항에 있어서,According to claim 1,
    상기 제어부는The control unit
    상기 제1 열상 이미지와 상기 제2 열상 이미지간 상기 피사체의 중심 픽셀을 대응시키고, Corresponding the center pixel of the subject between the first thermal image and the second thermal image,
    상기 제1 열상 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 열상 이미지에서 상기 피사체의 윤곽 픽셀을 보정하는 것을 특징으로 하는 적외선 스테레오 카메라.Infrared stereo camera, characterized in that for correcting the outline pixel of the subject in the second thermal image, through the positional relationship between the center pixel of the subject and the outline pixel of the subject in the first thermal image.
  4. 제3항에 있어서,According to claim 3,
    상기 제어부는The control unit
    상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 피사체의 중심 픽셀을 이용하여 상기 제2 열상 이미지를 상기 제1 열상 이미지에 정합하는 것을 특징으로 하는 적외선 스테레오 카메라.And the second thermal image is matched to the first thermal image using the corrected outline pixel of the subject and the center pixel of the subject.
  5. 제1 항에 있어서,According to claim 1,
    상기 제어부는The control unit
    기 설정 시차를 두고 연속적으로 촬영된 상기 제1 열상 이미지를 통해 상기 제1 열상 카메라의 흔들림 정보를 추출하고, 상기 제1 열상 카메라의 흔들림 정보에 기초하여 상기 제2 열상 이미지에서 추출된 상기 피사체의 윤곽을 구성하는 픽셀 및 상기 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 적외선 스테레오 카메라.The shaking information of the first thermal camera is extracted through the first thermal image continuously photographed at a predetermined time difference, and the subject of the subject extracted from the second thermal image is based on the shaking information of the first thermal camera. Infrared stereo camera, characterized in that to correct the pixels constituting the contour and the center pixel of the subject.
  6. 제 5항에 있어서,The method of claim 5,
    상기 제어부는 The control unit
    상기 제1 열상 카메라에서 피사체의 중심 픽셀의 흔들림 정보를 이용하여 상기 제2 열상 카메라에서 피사체의 중심 픽셀을 보정하는 것을 특징으로 하는 적외선 스테레오 카메라.Infrared stereo camera, characterized in that for correcting the center pixel of the subject in the second thermal camera using the shaking information of the center pixel of the subject in the first thermal camera.
  7. 제6항에 있어서The method of claim 6
    상기 제어부는The control unit
    상기 제2 열상 이미지에서 상기 보정된 중심 픽셀과 상기 제1 열상 이미지에서 상기 피사체의 중심 픽셀을 대응시키고, Corresponding the corrected center pixel in the second thermal image and the central pixel of the subject in the first thermal image,
    상기 제1 열상 이미지에서 상기 피사체의 중심 픽셀과 상기 피사체의 윤곽 픽셀간 위치 관계를 통해, 상기 제2 열상 이미지에서 상기 피사체의 윤곽 픽셀 정보를 보정하는 것을 특징으로 하는 적외선 스테레오 카메라.Infrared stereo camera, characterized in that for correcting the outline pixel information of the subject in the second thermal image, through the positional relationship between the center pixel of the subject and the outline pixel of the subject in the first thermal image.
  8. 제7항에 있어서,The method of claim 7,
    상기 제어부는The control unit
    상기 보정된 상기 피사체의 윤곽 픽셀 및 상기 보정된 중심 픽셀을 이용하여 상기 제2 열상 이미지를 상기 제1 열상 이미지에 정합하는 것을 특징으로 하는 적외선 스테레오 카메라.Infrared stereo camera, characterized in that to match the second thermal image to the first thermal image using the corrected outline pixel of the subject and the corrected center pixel.
  9. 제1 항에 있어서,According to claim 1,
    상기 제2 열상 카메라는 상기 피사체에서 방사하는 파장 중 특정 가스가 흡수하는 파장만 통과하는 필터를 더 포함하고,The second thermal imaging camera further includes a filter that passes only the wavelength absorbed by a specific gas among the wavelengths emitted from the subject,
    상기 제어부는The control unit
    상기 제1 열상 이미지 및 상기 제2 열상 이미지에서 상기 필터에 대응되는 영역에 입사되는 광량을 비교하여, 상기 특정 가스의 농도를 측정하는 것을 특징으로 하는 적외선 스테레오 카메라. Infrared stereo camera, characterized in that to measure the concentration of the specific gas by comparing the amount of light incident to the area corresponding to the filter in the first thermal image and the second thermal image.
  10. 제 9항에 있어서,The method of claim 9,
    상기 제2 열상 카메라는 The second thermal imaging camera
    상기 제2 열상 이미지에서 대응되는 영역이 상이하도록, 흡수하는 파장이 상이한 가스들에 각각 대응되는 복수의 필터를 구비하는 것을 특징으로 하는 적외선 스테레오 카메라.An infrared stereo camera comprising a plurality of filters respectively corresponding to gases having different wavelengths to be absorbed, so that corresponding regions in the second thermal image are different.
  11. 제10항에 있어서,The method of claim 10,
    상기 제2 열상 카메라는The second thermal imaging camera
    상기 제2 열상 이미지에 대응되는 영역이 격자 패턴을 형성하도록, 상기 복수의 필터를 구비하는 것을 특징으로 하는 적외선 스테레오 카메라.An infrared stereo camera comprising the plurality of filters so that a region corresponding to the second thermal image forms a grid pattern.
  12. 제9항에 있어서,The method of claim 9,
    상기 제어부는The control unit
    화재 시 발생하는 가스의 농도가 증가함을 측정한 경우, 상기 제1 카메라를 통해 열원을 감지하는 것을 특징으로 하는 적외선 스테레오 카메라. When measuring the increase in the concentration of gas generated during a fire, an infrared stereo camera characterized in that it detects a heat source through the first camera.
  13. 제12항에 있어서,The method of claim 12,
    상기 적외선 스테페오 카메라는The infrared stereo camera
    외부 기기와 통신하는 커뮤니케이션 유닛을 더 포함하고,Further comprising a communication unit to communicate with the external device,
    상기 제어부는The control unit
    화재 시 발생하는 가스의 농고가 증가하고, 상기 열원이 특정 온도 이상으로 증가하거나 영역이 넓어지는 경우, 화제 정보를 상기 외부 기기로 제공하도록 상기 케뮤니케이션 유닛을 제어하는 것을 특징으로 하는 적외선 스테레오 카메라.Infrared stereo camera characterized by controlling the communication unit to provide topic information to the external device when the concentration of gas generated during a fire increases and the heat source increases above a certain temperature or the area is widened. .
  14. 13항에 있어서,The method of claim 13,
    상기 화제 정보는The topic information
    연소가 시작된 시간을 알리는 연소 개시 정보, 생명체 유무 정보, 상기 생명체의 대상 정보, 상기 생명체의 거리 정보, 연소 지점 거리 정보, 상기 생명체의 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 적외선 스테레오 카메라. Infrared stereo camera, characterized in that it comprises at least one of combustion start information, presence or absence of life information, object information of the life, distance information of the life, combustion point distance information, motion information of the life to inform the time when the combustion has started.
PCT/KR2020/001192 2019-02-01 2020-01-23 Infrared stereo camera WO2020159165A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0013901 2019-02-01
KR1020190013901A KR102668750B1 (en) 2019-02-01 Spatial information recognition device

Publications (1)

Publication Number Publication Date
WO2020159165A1 true WO2020159165A1 (en) 2020-08-06

Family

ID=71841518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001192 WO2020159165A1 (en) 2019-02-01 2020-01-23 Infrared stereo camera

Country Status (1)

Country Link
WO (1) WO2020159165A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758079A (en) * 2023-08-18 2023-09-15 杭州浩联智能科技有限公司 Harm early warning method based on spark pixels

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101012691B1 (en) * 2010-07-05 2011-02-09 주훈 3d stereo thermal imaging camera system
KR20120109057A (en) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 Image synthesis system and image synthesis method
KR20140074059A (en) * 2012-12-07 2014-06-17 (주)희스테크 Apparatus and method for measuring gas
KR101656711B1 (en) * 2015-08-31 2016-09-12 한밭대학교 산학협력단 Apparatus for detecting object dispersing heat and method for controlling the same
KR101918887B1 (en) * 2017-09-19 2018-11-14 한국과학기술원 Distance measuring device using mono infrared camera and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101012691B1 (en) * 2010-07-05 2011-02-09 주훈 3d stereo thermal imaging camera system
KR20120109057A (en) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 Image synthesis system and image synthesis method
KR20140074059A (en) * 2012-12-07 2014-06-17 (주)희스테크 Apparatus and method for measuring gas
KR101656711B1 (en) * 2015-08-31 2016-09-12 한밭대학교 산학협력단 Apparatus for detecting object dispersing heat and method for controlling the same
KR101918887B1 (en) * 2017-09-19 2018-11-14 한국과학기술원 Distance measuring device using mono infrared camera and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758079A (en) * 2023-08-18 2023-09-15 杭州浩联智能科技有限公司 Harm early warning method based on spark pixels
CN116758079B (en) * 2023-08-18 2023-12-05 杭州浩联智能科技有限公司 Harm early warning method based on spark pixels

Also Published As

Publication number Publication date
KR20200095918A (en) 2020-08-11

Similar Documents

Publication Publication Date Title
WO2012067422A9 (en) Device and method for measuring temperature using infrared array sensors
WO2017039259A1 (en) Apparatus and method for diagnosing electric power equipment using thermal imaging camera
US8427632B1 (en) Image sensor with laser for range measurements
US20150049941A1 (en) Electro-Optical System and Method for Analyzing Images of a Scene to Identify the Presence of a Target Color
WO2019182355A1 (en) Smartphone, vehicle and camera having thermal image sensor, and display and sensing method using same
GB2350510A (en) A pyroelectric sensor system having a video camera
CN102538983A (en) CCD (Charge Coupled Device) temperature measuring device
WO2020159165A1 (en) Infrared stereo camera
WO2019132131A1 (en) Multi-wavelength image analysis electro-optical system for detecting accident vessel and victim
JP2006500622A (en) Front lens shutter mounting for uniformity correction
WO2000042400A1 (en) Surface and particle imaging pyrometer and method
WO2017023151A1 (en) Image processing apparatus
WO2021187775A1 (en) Mobile communication terminal
Sosnowski et al. The calibration stand for thermal camera module with infrared focal plane array
KR101413575B1 (en) Integrated case with thermal camera and analysis processing unit
KR102078877B1 (en) Photovoltaic module thermal imaging system with trio imaging device
WO2016195464A2 (en) Complex medical imaging system
WO2014148781A1 (en) Three-dimensional shape measuring device capable of measuring color information
KR102668750B1 (en) Spatial information recognition device
JP2000134611A (en) Trespasser monitoring device
WO2017183796A1 (en) Electronic device having infrared optical device and method for controlling infrared optical device
KR960005483B1 (en) Video camera system using thermal image detecting means
WO2020159024A1 (en) Non-same camera based image processing apparatus
WO2019209025A1 (en) Method and apparatus for processing defective pixels in infrared thermal detector
WO2022131420A1 (en) Method for measuring temperature of infrared radiator for correcting temperature of thermal image camera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748175

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20748175

Country of ref document: EP

Kind code of ref document: A1