KR101323141B1 - Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor - Google Patents

Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor Download PDF

Info

Publication number
KR101323141B1
KR101323141B1 KR1020110133391A KR20110133391A KR101323141B1 KR 101323141 B1 KR101323141 B1 KR 101323141B1 KR 1020110133391 A KR1020110133391 A KR 1020110133391A KR 20110133391 A KR20110133391 A KR 20110133391A KR 101323141 B1 KR101323141 B1 KR 101323141B1
Authority
KR
South Korea
Prior art keywords
visible light
thermal image
light sensor
sensor
image sensor
Prior art date
Application number
KR1020110133391A
Other languages
Korean (ko)
Other versions
KR20130066760A (en
Inventor
황정훈
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020110133391A priority Critical patent/KR101323141B1/en
Publication of KR20130066760A publication Critical patent/KR20130066760A/en
Application granted granted Critical
Publication of KR101323141B1 publication Critical patent/KR101323141B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information

Abstract

본 발명은 가시광선센서와 열영상센서의 동시 보정장치 및 방법에 관한 것으로, 격자 무늬를 포함한 체커보드를 촬영하여 가시광선센서를 보정하고, 체커보드 격자의 모서리에서 점발열을 수행하는 점발열부의 적외선 주파수를 선택한 후, 점발열부의 열영상을 촬영하여 열영상센서를 보정하는 과정을 포함하며, 본 발명에 따르면, 가시광선센서와 열영상센서를 동시에 보정할 수 있다.The present invention relates to a device and a method for simultaneously calibrating a visible light sensor and a thermal image sensor, a point heat generating unit for calibrating a visible light sensor by photographing a checker board including a grid pattern, and performing point heating at the edge of the checker board grid After the infrared frequency is selected, the method includes calibrating the thermal image sensor by taking a thermal image of the point heating unit. According to the present invention, the visible light sensor and the thermal image sensor may be simultaneously corrected.

Description

가시광선센서와 열영상센서의 동시 보정장치 및 방법 {Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor}Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor}

본 발명은 영상센서의 보정방법에 관한 것으로서, 더욱 상세하게는 가시광선센서와 열영상센서를 동시에 보정하는 보정장치 및 방법에 관한 것이다.The present invention relates to a correction method of an image sensor, and more particularly, to a correction apparatus and method for simultaneously correcting a visible light sensor and a thermal image sensor.

피사체를 촬영하여 그 영상을 육안으로 확인하도록 하는 촬영 기술의 발달은 가시광선(visible light) 영상을 넘어 적외선(infrared ray) 영상의 촬영을 가능하게 하였다.The development of a photographing technique for photographing a subject and visually confirming the image has made it possible to capture an infrared ray image beyond a visible light image.

이러한 적외선 영상은 가시광선 영상과 달리 피사체나 배경의 열 방사(thermal radiation)에 의한 강도(intensity) 정보를 획득할 수 있기 때문에 야간 촬영에 효과적이다.Unlike the visible light image, the infrared image is effective for night photographing because it can acquire intensity information by thermal radiation of a subject or background.

그런데 이러한 촬영 장비는 측정 단위의 기준점 및 스케일에 맞게 재조정하는 보정(calibration)이 필요하다.However, such photographing equipment needs calibration to be adjusted to the reference point and scale of the unit of measurement.

각각의 촬영 장비는 오프셋(offset)이나 이득들이 약간의 오차를 가지고 있기 때문에 기준이 되는 표준 측정 포맷에 맞게 재조정해 주는 것이다.Each imaging device has a slight error in offsets or gains so it is readjusted to the reference standard measurement format.

이러한 보정 과정을 통해 가시광선 센서나 적외선 센서의 영점조정이나, 스케일 조정 등이 이루어진다.Through such a correction process, zero adjustment, scale adjustment, etc. of the visible light sensor or the infrared sensor are performed.

그런데 종래에는 가시광선센서와 적외선센서의 보정을 각각 따로 수행해야 하는 번거로움이 있었다.By the way, in the prior art, there was a hassle of separately performing the calibration of the visible light sensor and the infrared sensor.

이에, 이를 개선하기 위한 방안이 요구된다.Therefore, a method for improving this is required.

본 발명은 영상센서의 보정 기법을 제안하고자 한 것으로서, 특히 가시광선센서와 열영상센서를 함께 보정할 수 있는 가시광선센서와 열영상센서의 동시 보정장치 및 방법을 제시하고자 한다.The present invention intends to propose a calibration technique of an image sensor, and in particular, to provide an apparatus and method for simultaneously calibrating a visible light sensor and a thermal image sensor that can simultaneously correct a visible light sensor and a thermal image sensor.

상기와 같은 목적을 달성하기 위한 본 발명의 가시광선센서와 열영상센서의 동시 보정장치는, 격자 무늬를 포함한 체커보드, 상기 체커보드에 포함된 격자의 모서리에 위치하여 점발열을 수행하는 점발열부, 및 상기 점발열부의 적외선 주파수를 선택하는 제어부를 포함하는 것을 특징으로 한다.Simultaneously correcting apparatus of the visible light sensor and the thermal image sensor of the present invention for achieving the above object, checker board including a grid pattern, the point heating to perform a point heating located on the edge of the grid included in the checker board And a controller for selecting an infrared frequency of the point heating unit.

본 발명의 가시광선센서와 열영상센서의 동시 보정장치에 있어서, 상기 점발열부는 적외선 점발열을 위한 IR(InfraRed) LED를 포함하는 것을 특징으로 한다.In the simultaneous calibration device of the visible light sensor and the thermal image sensor of the present invention, the point heating unit is characterized in that it comprises an IR (InfraRed) LED for infrared point heating.

본 발명의 가시광선센서와 열영상센서의 동시 보정장치에 있어서, 상기 제어부는 상기 점발열부의 발열온도를 유지하여 발열패턴을 제어하는 것을 특징으로 한다.In the simultaneous correction device of the visible light sensor and the thermal image sensor of the present invention, the control unit is characterized in that for controlling the heating pattern by maintaining the heating temperature of the point heating unit.

상기와 같은 목적을 달성하기 위한 본 발명의 가시광선센서와 열영상센서의 동시 보정방법은, 격자 무늬를 포함한 체커보드를 촬영하여 가시광선센서를 보정하는 가시광선 보정단계, 상기 체커보드 격자의 모서리에서 점발열을 수행하는 점발열부의 적외선 주파수를 선택하는 주파수 선택단계, 및 상기 점발열부의 열영상을 촬영하여 열영상센서를 보정하는 열영상 보정단계를 포함하는 것을 특징으로 한다.Simultaneous correction method of the visible light sensor and the thermal image sensor of the present invention for achieving the above object, the visible light correction step of correcting the visible light sensor by photographing a checker board including a grid pattern, the corner of the checker board grid And a frequency selecting step of selecting an infrared frequency of the point heating unit for performing point heating, and a thermal image correcting step of correcting the thermal image sensor by taking a thermal image of the point heating unit.

본 발명의 가시광선센서와 열영상센서의 동시 보정방법에 있어서, 상기 열영상 보정단계는 상기 점발열부의 발열온도에 대응하는 발열패턴을 이용하여 보정하는 것을 특징으로 한다.In the simultaneous correction method of the visible light sensor and the thermal image sensor of the present invention, the thermal image correction step is characterized in that the correction using the heating pattern corresponding to the heating temperature of the point heating unit.

본 발명에 따르면, 가시광선센서와 열영상센서의 보정이 함께 이루어져 센서의 보정에 요구되는 시간 및 노력을 절감할 수 있으며, 이를 통해 사용자 편의와 효율성 재고를 기대할 수 있다.According to the present invention, the correction of the visible light sensor and the thermal image sensor is performed together, thereby reducing the time and effort required for the calibration of the sensor, and thus, user convenience and efficiency inventory can be expected.

도 1은 본 발명의 일 실시예에 따른 가시광선센서 보정시스템의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 열영상센서 보정시스템의 예시도이다.
도 3은 본 발명의 실시예에 따른 가시광선센서와 열영상센서를 보정하기 위한 보정판의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 가시광선센서와 열영상센서를 동시에 보정하기 위한 보정판의 구성도이다.
도 5는 본 발명의 일 실시예에 따라 가시광선센서와 열영상센서를 보정하는 과정을 나타내는 흐름도이다.1 is an illustration of a visible light sensor correction system according to an embodiment of the present invention.
2 is an exemplary diagram of a thermal image sensor correction system according to an exemplary embodiment of the present invention.
3 is a block diagram of a correction plate for correcting the visible light sensor and the thermal image sensor according to an embodiment of the present invention.
4 is a block diagram of a correction plate for simultaneously correcting the visible light sensor and the thermal image sensor according to an embodiment of the present invention.
5 is a flowchart illustrating a process of calibrating a visible light sensor and a thermal image sensor according to an exemplary embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the detailed description of known functions and configurations incorporated herein will be omitted when it may unnecessarily obscure the subject matter of the present invention. The same reference numerals are used for portions having similar functions and functions throughout the drawings.

도 1은 본 발명의 일 실시예에 따른 가시광선센서(30) 보정시스템의 예시도이다.1 is an exemplary view of a visible light sensor 30 correction system according to an embodiment of the present invention.

도 1을 참조하면, 가시광선센서(30)와 체커보드(10)가 존재한다.Referring to FIG. 1, there is a visible light sensor 30 and a checker board 10.

가시광선센서(30)는 인간의 눈으로 볼 수 있는 가시광선을 촬영하기 위한 장치이다.Visible light sensor 30 is a device for photographing visible light visible to the human eye.

가시광선센서(30)는 파장 범위 380~780nm의 가시광선을 촬영할 수 있으며, 이를 위한 카메라 등의 촬영장치를 포함할 수 있다.The visible light sensor 30 may photograph visible light having a wavelength range of 380 to 780 nm, and may include a photographing apparatus such as a camera for this purpose.

체커보드(10)는 가시광선센서(30)를 보정하는데 활용하는 보정판의 일종이다.The checker board 10 is a type of correction plate used to correct the visible light sensor 30.

도 1에서 체커보드(10)는 2차원 평면의 형태로 표현되었으나, 본 발명의 기술적 범위는 이에 한정되는 것이 아니며, 3차원의 형상을 가질 수도 있다.In FIG. 1, the checker board 10 is represented in the form of a two-dimensional plane, but the technical scope of the present invention is not limited thereto and may have a three-dimensional shape.

가시광선센서(30)에 포함된 카메라 등의 촬영 장치는 통상 렌즈 초점거리, 픽셀 크기 인자, 영상 중심의 위치, 크기요소, 렌즈 왜곡 계수 등에 따른 영상 왜곡 문제를 가진다.A photographing apparatus such as a camera included in the visible light sensor 30 generally has an image distortion problem according to a lens focal length, a pixel size factor, a position of an image center, a size factor, a lens distortion coefficient, and the like.

또한, 촬영 피사체의 회전이나 이동 등 변환에 따라 왜곡은 증대된다.In addition, the distortion increases as the rotation or movement of the photographing subject changes.

예를 들어, 방사왜곡(radial distortion)은 영상이 왜곡 중심으로부터 방사상으로 확장되거나 축소되는 현상을 의미하고, 비중심왜곡(decentering distortion)은 광학축에 대하여 렌즈 성분의 광학 중심이 동일 직선상에 존재하지 않음으로써 발생하며, 이외에도 접선왜곡(tangential distortion) 등 각종 왜곡현상이 존재한다.For example, radial distortion refers to the phenomenon in which an image expands or contracts radially from the center of distortion, and decentering distortion is in the same straight line with the optical center of the lens component with respect to the optical axis. It is caused by not doing so, and there are other distortions such as tangential distortion.

이러한 왜곡은, 촬영 영상을 수학적으로 모델링하여 왜곡의 정도를 나타내는 파라미터를 추출하고 이를 역으로 변환하여 보정할 수 있다.Such distortion may be corrected by mathematically modeling the photographed image to extract a parameter representing the degree of distortion and convert it inversely.

그리고 이러한 파라미터 추출 과정에서 체커보드(10)의 격자 무늬 등을 포함한 보정판이 이용된다.In the parameter extraction process, a correction plate including a grid pattern of the checker board 10 is used.

본 실시예에서는, 예를 들어, 가시광선센서(30)로 체커보드(10)를 촬영한 격자 무늬 패턴의 영상을 이용하여 촬영 전과 촬영 후의 패턴의 변화 정도를 측정하고, 가시광선센서(30)에 포함된 카메라 등의 세팅 정보와 체커보드(10)의 패턴 정보 등을 활용하여 왜곡 파라미터를 추출할 수 있다.In the present embodiment, for example, the degree of change of the pattern before and after photographing is measured by using a grid pattern image of the checkerboard 10 photographed by the visible light sensor 30, and the visible light sensor 30 is measured. The distortion parameter may be extracted by using setting information such as a camera included in the pattern information and pattern information of the checker board 10.

그리고 이렇게 추출한 왜곡 파라미터는 가시광선센서(30)의 왜곡을 보정하는데 활용된다.The extracted distortion parameter is used to correct the distortion of the visible light sensor 30.

열영상을 촬영하는 열영상센서(40)의 보정 과정에 대해서는 도 2를 참조하여 좀 더 상세하게 설명하기로 한다.The correction process of the thermal image sensor 40 for taking a thermal image will be described in more detail with reference to FIG. 2.

도 2는 본 발명의 일 실시예에 따른 열영상센서(40) 보정시스템의 예시도이다.2 is an exemplary diagram of a thermal image sensor 40 correction system according to an embodiment of the present invention.

도 2를 참조하면, 열영상센서(40)와 점발열부(20)가 존재한다.Referring to FIG. 2, the thermal image sensor 40 and the point heating unit 20 exist.

열영상센서(40)는 인간의 눈으로 볼 수 없는 적외선을 포함한 열영상을 촬영하기 위한 장치이다.The thermal image sensor 40 is a device for capturing a thermal image including infrared rays not visible to the human eye.

열영상센서(40)는 파장 범위 0.75~25μm의 적외선을 촬영할 수 있으며, 이를 위한 카메라 등의 촬영장치를 포함할 수 있다.The thermal image sensor 40 may photograph infrared rays in a wavelength range of 0.75 to 25 μm, and may include a photographing apparatus such as a camera for this purpose.

점발열부(20)는 제어 장치(미도시)의 제어에 따라, 열영상센서(40)를 보정하는데 활용하는 특정 주파수의 적외선 방사 기능을 수행한다.The point heating unit 20 performs an infrared radiation function of a specific frequency used to correct the thermal image sensor 40 under the control of a control device (not shown).

본 발명의 점발열부(20)는, 예를 들어, 적외선 점발열을 위한 IR(InfraRed) LED를 포함할 수 있다.The point heating unit 20 of the present invention may include, for example, an IR (InfraRed) LED for infrared point heating.

점발열부(20)에서 적외선을 방사하면 열영상센서(40)는 이를 촬영하고, 해당 촬영 결과는 왜곡의 보정에 이용된다.When the point radiating unit 20 emits infrared rays, the thermal image sensor 40 photographs the image, and the photographing result is used to correct distortion.

예를 들어, 제어 장치(미도시)는 점발열부(20)의 발열온도를 유지하여 발열패턴을 제어할 수 있으며, 이러한 발열패턴과 열영상센서(40)를 이용한 촬영 영상 간의 비교에 의해, 왜곡 파라미터를 추출할 수 있다.For example, the control device (not shown) may control the heating pattern by maintaining the heating temperature of the point heating unit 20, and by comparison between the heating pattern and the captured image using the thermal image sensor 40, Distortion parameters can be extracted.

그리고 이렇게 추출한 왜곡 파라미터는 열영상센서(40)의 보정에 활용된다.The extracted distortion parameter is used to correct the thermal image sensor 40.

본 발명에 따라 가시광선센서(30)와 열영상센서(40)를 보정하는데 활용되는 보정판의 기능에 대해서는 도 3 및 도 4를 참조하여 좀 더 상세하게 설명하기로 한다.Functions of the correction plate used to correct the visible light sensor 30 and the thermal image sensor 40 according to the present invention will be described in more detail with reference to FIGS. 3 and 4.

도 3은 본 발명의 실시예에 따라 가시광선센서(30)와 열영상센서(40)를 보정하기 위한 보정판의 구성도이다.3 is a block diagram of a correction plate for correcting the visible light sensor 30 and the thermal image sensor 40 according to an embodiment of the present invention.

도 3을 참조하면, 좌측에 가시광선센서(30)를 보정하는데 활용하는 격자 무늬의 체커보드(10)가 존재하고, 우측에는 열영상센서를 보정하는데 활용하는 점발열부(20)가 존재한다.Referring to FIG. 3, there is a checkerboard 10 having a grid pattern used to calibrate the visible light sensor 30 on the left side, and a point heating unit 20 used to calibrate the thermal image sensor on the right side. .

도 3에서 점발열부(20)는 체커보드(10)의 격자 무늬 모서리에 맞게 배열되어 있다.In FIG. 3, the point heating unit 20 is arranged to match the grid edge of the checker board 10.

도 4는 본 발명의 일 실시예에 따른 가시광선센서(30)와 열영상센서(40)를 동시에 보정하기 위한 보정판의 구성도이다.4 is a configuration diagram of a correction plate for simultaneously correcting the visible light sensor 30 and the thermal image sensor 40 according to an embodiment of the present invention.

도 4를 참조하면, 격자 무늬의 체커보드(10)와, 각 격자의 모서리에 위치하여 점발열을 수행하는 점발열부(20)가 일정 패턴으로 배열되어 있다.Referring to FIG. 4, a checkerboard 10 having a lattice pattern and a point heat generating unit 20 arranged at a corner of each lattice to perform point heating are arranged in a predetermined pattern.

본 발명에서는 제어 장치(미도시)가 점발열부(20)의 적외선 주파수와 방사 패턴을 제어하여, 일정 패턴의 적외선 방사가 이루어질 수 있다.In the present invention, the control device (not shown) may control the infrared frequency and the radiation pattern of the point heating unit 20, a predetermined pattern of infrared radiation can be made.

이 경우, 가시광선센서(30)로 보정판을 촬영하면 체커보드(10)의 촬영 영상을 이용하여 가시광선센서(30)의 보정을 할 수 있고, 열영상센서(40)로 보정판을 촬영하면 점발열부(20)의 점발열 영상을 이용하여 열영상센서(40)의 보정이 가능하다.In this case, when the correction plate is photographed by the visible light sensor 30, the visible light sensor 30 may be corrected using the photographed image of the checker board 10, and when the correction plate is photographed by the thermal image sensor 40. The thermal image sensor 40 may be corrected by using the point heating image of the heating unit 20.

이렇듯, 본 발명의 보정장치를 이용하는 경우 가시광선센서(30)와 열영상센서(40)의 동시 보정이 가능해 진다.As such, when the correction apparatus of the present invention is used, simultaneous correction of the visible light sensor 30 and the thermal image sensor 40 is possible.

즉, 가시광선센서(30)와 열영상센서(40)가 별도의 독립된 장치로서 구현되어 영상을 촬영하는 경우, 각각의 센서(30, 40)를 동시에 보정하는 것이 가능하다.That is, when the visible light sensor 30 and the thermal image sensor 40 are implemented as separate independent devices to capture an image, it is possible to simultaneously correct the respective sensors 30 and 40.

또한, 가시광선센서(30)와 열영상센서(40)가 단일 장치로서 구현되고, 촬영 영상을 파장에 따라 가시광선과 적외선으로 분리하여 각각의 영상을 구현하는 경우에도, 각 센서(30, 40)를 동시에 보정하는 것이 가능하다.In addition, even when the visible light sensor 30 and the thermal image sensor 40 are implemented as a single device, and when the captured image is separated into visible light and infrared rays according to the wavelength, each of the sensors 30 and 40 is implemented. It is possible to calibrate simultaneously.

본 발명의 일 실시예에 따라 가시광선센서(30)와 열영상센서(40)를 보정하는 과정에 대해서는 도 5를 참조하여 좀 더 상세하게 설명하기로 한다.A process of calibrating the visible light sensor 30 and the thermal image sensor 40 according to an embodiment of the present invention will be described in more detail with reference to FIG. 5.

도 5는 본 발명의 일 실시예에 따라 가시광선센서(30)와 열영상센서(40)의 보정하는 과정을 나타내는 흐름도이다.5 is a flowchart illustrating a process of calibrating the visible light sensor 30 and the thermal image sensor 40 according to an embodiment of the present invention.

도 5를 참조하면, 가시광선센서(30)를 이용하여 일정한 격자 무늬를 포함한 체커보드(10)를 촬영한다(S10).Referring to FIG. 5, the checker board 10 including a certain grid pattern is photographed using the visible light sensor 30 (S10).

그리고 단계(S10)에서 촬영한 영상을 이용하여 가시광선센서(30)를 보정한다(S20).Then, the visible light sensor 30 is corrected using the image photographed at step S10 (S20).

예를 들어, 단계(S20)에서는 가시광선센서(30)로 체커보드(10)를 촬영한 격자 무늬의 패턴을 이용하여 촬영 전과 촬영 후의 패턴의 변화 정도를 측정하고, 가시광선센서(30)에 포함된 카메라 등의 세팅 정보와 체커보드(10)의 패턴 정보 등을 활용하여 왜곡 파라미터를 추출할 수 있으며, 해당 왜곡 파라미터를 이용하여 가시광선센서(30)를 보정할 수 있다.For example, in step S20, the degree of change of the pattern before and after photographing is measured using a grid pattern obtained by photographing the checker board 10 with the visible light sensor 30, and the visible light sensor 30 is measured. The distortion parameter may be extracted using setting information of the included camera and the like, pattern information of the checker board 10, and the visible light sensor 30 may be corrected using the distortion parameter.

또한, 열영상센서(40)의 보정을 위해, 별도의 제어 장치가 체커보드(10) 격자 무늬의 모서리에서 점발열을 수행하는 점발열부(20)의 적외선 주파수를 선택한다(S30).In addition, in order to correct the thermal image sensor 40, a separate control device selects an infrared frequency of the point heating unit 20 that performs point heating at the edge of the checkerboard 10 grid (S30).

단계(S30)에서 적외선 주파수가 선택되면 점발열부(20)는 해당 주파수에 따른 적외선 방사로 점발열을 수행한다(S40).When the infrared frequency is selected in step S30, the point heating unit 20 performs point heating with infrared radiation according to the frequency (S40).

그리고 열영상센서(40)는 점발열에 따른 열영상을 촬영하고(S50), 이렇게 촬영한 열영상을 이용하여 열영상센서(40)를 보정한다(S60).Then, the thermal image sensor 40 captures a thermal image according to the point heat generation (S50), and corrects the thermal image sensor 40 by using the thermal image thus captured (S60).

단계(S40)에서 제어 장치는 점발열부(20)의 발열온도를 유지하여 발열패턴을 제어할 수 있으며, 이러한 발열패턴과 단계(S50)에서의 촬영 영상 간의 비교에 의해, 왜곡 파라미터를 추출할 수 있다.In operation S40, the control device may control the heating pattern by maintaining the heating temperature of the point heating unit 20, and extract the distortion parameter by comparison between the heating pattern and the captured image in operation S50. Can be.

그리고 단계(S60)에서는 이렇게 추출한 왜곡 파라미터를 이용하여 열영상센서(40)를 보정할 수 있다.In operation S60, the thermal image sensor 40 may be corrected using the extracted distortion parameter.

도 5를 참조하여 설명한 실시예에서는 단계(S10 내지 S20)의 가시광선센서(30) 보정 과정과, 단계(S30 내지 S60)의 열영상센서(40) 보정 과정이 순차적으로 표현되었지만, 본 발명이 기술적 범위는 이에 한정되는 것이 아니며, 양 과정은 서로 순서를 바꾸어 전후로 이루어지거나, 순서에 관계없이 동시에 이루어질 수 있다.In the exemplary embodiment described with reference to FIG. 5, the visible light sensor 30 correction process of steps S10 to S20 and the thermal image sensor 40 correction process of steps S30 to S60 are sequentially expressed. The technical scope is not limited thereto, and the two processes may be performed backwards or forwards by reversing an order or may be simultaneously performed regardless of the order.

또한, 실시예에 따라서는, 열영상센서(40)의 보정을 위한 단계(S30 내지 S60)가, 제어 장치의 주파수 선택에 따라 복수회 반복될 수 있다.In addition, according to the exemplary embodiment, steps S30 to S60 for correcting the thermal image sensor 40 may be repeated a plurality of times according to the frequency selection of the control device.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 일탈함 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.As described above and described with reference to a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as such, without departing from the scope of the technical idea Those skilled in the art will appreciate that many variations and modifications to the present invention are possible. And all such modifications and changes as fall within the scope of the present invention are therefore to be regarded as being within the scope of the present invention.

10: 체커보드
20: 점발열부
30: 가시광선센서
40: 열영상센서10: Checkerboard
20: point heating part
30: Visible light sensor
40: thermal imaging sensor

Claims (5)

격자 무늬를 포함한 체커보드;
상기 체커보드에 포함된 격자의 모서리에 위치하여 점발열을 수행하는 점발열부; 및
상기 점발열부의 적외선 주파수를 선택하는 제어부;
를 포함하고,
상기 점발열부는 적외선 점발열을 위한 IR(InfraRed) LED를 포함하는 것을 특징으로 하는 가시광선센서와 열영상센서의 동시 보정장치.Checkerboard including plaid;
A point heat generating unit for performing point heating at a corner of a grid included in the checker board; And
A controller for selecting an infrared frequency of the point heating unit;
Lt; / RTI >
The point heat generating unit is a simultaneous correction device of the visible light sensor and the thermal image sensor, characterized in that it comprises an IR (InfraRed) LED for infrared point heating. 삭제delete 제1항에 있어서
상기 제어부는 상기 점발열부의 발열온도를 유지하여 발열패턴을 제어하는 것을 특징으로 하는 가시광선센서와 열영상센서의 동시 보정장치.The method of claim 1, wherein
The controller controls the heating pattern by maintaining the heating temperature of the point heating unit simultaneous correction device of the visible light sensor and the thermal image sensor. 격자 무늬를 포함한 체커보드를 촬영하여 가시광선센서를 보정하는 가시광선 보정단계;
상기 체커보드 격자의 모서리에서 점발열을 수행하는 점발열부의 적외선 주파수를 선택하는 주파수 선택단계; 및
상기 점발열부의 열영상을 촬영하여 열영상센서를 보정하는 열영상 보정단계;
를 포함하고,
상기 점발열부는 적외선 점발열을 위한 IR(InfraRed) LED를 포함하는 것을 특징으로 하는 가시광선센서와 열영상센서의 동시 보정방법.A visible light correction step of correcting a visible light sensor by photographing a checker board including a grid pattern;
A frequency selecting step of selecting an infrared frequency of the point heating unit performing point heating at the edge of the checkerboard lattice; And
A thermal image correction step of correcting a thermal image sensor by taking a thermal image of the point heating unit;
Lt; / RTI >
The point light emitting unit is a method of correcting the visible light sensor and the thermal image sensor, characterized in that it comprises an IR (InfraRed) LED for infrared point heating. 제4항에 있어서
상기 열영상 보정단계는 상기 점발열부의 발열온도에 대응하는 발열패턴을 이용하여 보정하는 것을 특징으로 하는 가시광선센서와 열영상센서의 동시 보정방법.The method of claim 4, wherein
The thermal image correcting step is a correction method of a visible light sensor and a thermal image sensor, characterized in that for correcting by using a heating pattern corresponding to the heating temperature of the point heating unit.
KR1020110133391A 2011-12-13 2011-12-13 Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor KR101323141B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110133391A KR101323141B1 (en) 2011-12-13 2011-12-13 Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110133391A KR101323141B1 (en) 2011-12-13 2011-12-13 Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor

Publications (2)

Publication Number Publication Date
KR20130066760A KR20130066760A (en) 2013-06-21
KR101323141B1 true KR101323141B1 (en) 2013-10-30

Family

ID=48862816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110133391A KR101323141B1 (en) 2011-12-13 2011-12-13 Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor

Country Status (1)

Country Link
KR (1) KR101323141B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180076648A (en) 2016-12-28 2018-07-06 한화시스템 주식회사 Apparatus and method of sun glint correction for visible image
US10078899B2 (en) 2014-11-03 2018-09-18 Hanwha Techwin Co., Ltd. Camera system and image registration method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989225B1 (en) * 2017-06-08 2019-06-13 한국 한의학 연구원 Apparatus and method for image processing
US11940568B2 (en) 2020-08-17 2024-03-26 Argo AI, LLC Enhanced multispectral sensor calibration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293579A (en) * 2004-03-31 2005-10-20 Microsoft Corp Identification of object on interactive display by identifying coded pattern
JP2008202971A (en) * 2007-02-16 2008-09-04 Ihi Corp Device and method for adjusting infrared camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293579A (en) * 2004-03-31 2005-10-20 Microsoft Corp Identification of object on interactive display by identifying coded pattern
JP2008202971A (en) * 2007-02-16 2008-09-04 Ihi Corp Device and method for adjusting infrared camera

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
논문(2010) *
논문(2010)*
임세준 외 2명, Journal of Institute of control, Robotics and systems. vol.16(9), p. 883-890 (2010.09.16.) *
임세준 외 2명, Journal of Institute of control, Robotics and systems. vol.16(9), p. 883-890 (2010.09.16.)*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078899B2 (en) 2014-11-03 2018-09-18 Hanwha Techwin Co., Ltd. Camera system and image registration method thereof
KR20180076648A (en) 2016-12-28 2018-07-06 한화시스템 주식회사 Apparatus and method of sun glint correction for visible image

Also Published As

Publication number Publication date
KR20130066760A (en) 2013-06-21

Similar Documents

Publication Publication Date Title
JP5834615B2 (en) PROJECTOR, ITS CONTROL METHOD, ITS PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
KR102618542B1 (en) ToF (time of flight) capturing apparatus and method for processing image for decreasing blur of depth image thereof
JP6525570B2 (en) Image display system, control device, control method and program
TWI577172B (en) Image calibration system and calibration method of a stereo camera
KR101323141B1 (en) Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor
JP2017529959A5 (en)
JP5849522B2 (en) Image processing apparatus, projector, projector system, image processing method, program thereof, and recording medium recording the program
JP2014197739A5 (en)
JP2018207373A (en) Calibration apparatus of projection type display device, calibration method, program, projection type display device, and projection type display system
KR20160051473A (en) Method of setting algorithm for image registration
EP3403397B1 (en) Through-focus image combination
CN111279393A (en) Camera calibration method, device, equipment and storage medium
KR101842141B1 (en) 3 dimensional scanning apparatus and method therefor
CN106683133B (en) Method for obtaining target depth image
JP2014026062A5 (en)
JP7056131B2 (en) Image processing system, image processing program, and image processing method
JP5654298B2 (en) Calibration reference point acquisition system and calibration reference point acquisition method
JP6908357B2 (en) Position identification device and position identification method
WO2016052052A1 (en) Image-processing apparatus, image-capturing apparatus, and image-processing method
US11899342B2 (en) Interchangeable lens, information processing apparatus, information processing method, and program
JP2018054413A (en) Processing device, processing system, imaging device, processing method, program, and recording medium
JP6566800B2 (en) Imaging apparatus and imaging method
JP2014044267A5 (en)
KR102364044B1 (en) Apparatus and Method for Photographing and Correcting Wide Angle Images
JP6427926B2 (en) Color reproduction correction method, color reproduction correction apparatus, and imaging apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181008

Year of fee payment: 6