KR101989225B1 - Apparatus and method for image processing - Google Patents

Apparatus and method for image processing Download PDF

Info

Publication number
KR101989225B1
KR101989225B1 KR1020170071332A KR20170071332A KR101989225B1 KR 101989225 B1 KR101989225 B1 KR 101989225B1 KR 1020170071332 A KR1020170071332 A KR 1020170071332A KR 20170071332 A KR20170071332 A KR 20170071332A KR 101989225 B1 KR101989225 B1 KR 101989225B1
Authority
KR
South Korea
Prior art keywords
image
wavelength infrared
visible light
calibration
infrared image
Prior art date
Application number
KR1020170071332A
Other languages
Korean (ko)
Other versions
KR20180134014A (en
Inventor
최우수
장준수
김근호
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020170071332A priority Critical patent/KR101989225B1/en
Publication of KR20180134014A publication Critical patent/KR20180134014A/en
Application granted granted Critical
Publication of KR101989225B1 publication Critical patent/KR101989225B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

캘리브레이션을 수행하는 장치 및 방법에 연관되며, 보다 특정하게는 다른 파장 대역을 촬영한 영상 간의 캘리브레이션을 수행하는 장치 및 방법에 연관된다. 일실시예에 따르면, 영상 처리 장치는 점등된 패턴 LED의 영상을 포함하는 가시광 영상 및 소등된 패턴 LED의 영상을 포함하는 단파장 적외 영상을 수집하는 수집부 및 가시광 영상 및 단파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 가시광 영상 및 단파장 적외 영상 간의 캘리브레이션을 수행하는 제1 처리부를 포함할 수 있다.0001] The present invention relates to an apparatus and method for performing calibration, and more particularly to an apparatus and method for performing calibration between images photographed in different wavelength bands. According to an embodiment, the image processing apparatus includes a collecting unit for collecting a short-wavelength infrared image including an image of an illuminated pattern LED and an image of an extinguished pattern LED, and a collecting unit for collecting the visible light image and the short- And a first processing unit for performing calibration between the visible light image and the short-wavelength infrared image through the image processing for matching the shape of the patterned LED.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESSING}[0001] APPARATUS AND METHOD FOR IMAGE PROCESSING [0002]

캘리브레이션을 수행하는 장치 및 방법에 연관되며, 보다 특정하게는 다른 파장 대역을 촬영한 영상 간의 캘리브레이션을 수행하는 장치 방법에 연관된다.0001] The present invention relates to an apparatus and method for performing calibration, and more particularly to a method of performing a calibration between images of different wavelength bands.

일반적으로, 가시광 영상은 색상 정보 등을 확인하는데 사용되며, 적외 영상은 온도 및 거리 정보 등을 확인하는데 사용된다. 그러나 각 영상들은 서로 파장대가 달라, 영상들 간의 대응점을 찾는 것이 어려워 파장대가 다른 복수의 영상 간 캘리브레이션을 수행해주는 장치에 대한 연구의 필요성이 대두되고 있다.In general, a visible light image is used for checking color information, and an infrared image is used for checking temperature and distance information. However, it is difficult to find a correspondence point between images because the wavelengths of the images are different from each other. Therefore, there is a need for research on a device that performs calibration between a plurality of images having different wavelengths.

가시광 영상 및 적외 영상 간의 대응에 있어, 두 영상의 센서 간 파장대가 서로 상이하여 대응점을 쉽게 검출해내기 어려워 기구적으로 적외 카메라와 가시광 카메라의 위치를 적절히 조정하여 두 영상 간의 대응점을 찾는 것이 통상적이다.In the correspondence between the visible light image and the infrared image, it is common to find the correspondence point between the two images by appropriately adjusting the positions of the infrared camera and the visible light camera mechanically because the wavelength ranges of the two images are different from each other, .

일측에 따르면, 영상 처리 장치는 점등된 패턴 LED의 영상을 포함하는 가시광 영상 및 소등된 패턴 LED의 영상을 포함하는 단파장 적외 영상을 수집하는 수집부 및 상기 가시광 영상 및 상기 단파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 단파장 적외 영상 간의 캘리브레이션을 수행하는 제1 처리부를 포함할 수 있다.According to one aspect of the present invention, an image processing apparatus includes a collecting unit for collecting short-wavelength infrared images including a visible light image including an image of a lit pattern LED and an image of an extinguished pattern LED, and a collecting unit for collecting the visible light image and the short- And a first processing unit for performing calibration between the visible light image and the short-wavelength infrared image through image processing that matches the shape of the patterned LED.

일실시예에 따르면, 상기 수집부는 소등된 패턴 LED의 영상을 포함하는 장파장 적외 영상을 더 수집하고, 상기 가시광 영상 및 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 장파장 적외 영상 간의 캘리브레이션을 수행하는 제2 처리부를 더 포함할 수 있다.According to one embodiment, the collecting unit further collects a long-wavelength infrared image including an image of an extinguished pattern LED, and performs image processing for matching the shapes of pattern LEDs equally included in the visible light image and the long- And a second processing unit for performing calibration between the visible light image and the long-wavelength infrared image.

다른 일실시예에 따르면, 상기 제1 처리부에 의해 캘리브레이션이 수행된 상기 단파장 적외 영상 및 상기 제2 처리부에 의해 캘리브레이션이 수행된 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 캘리브레이션을 수행하는 제3 처리부를 더 포함할 수 있다.According to another embodiment of the present invention, there is provided an image processing apparatus for performing image processing for matching the shapes of pattern LEDs equally included in the short-wavelength infrared image, which has been calibrated by the first processing unit, and the long- And a third processing unit for performing the calibration through the second processing unit.

또 다른 일실시예에 따르면, 상기 가시광 영상 및 상기 단파장 적외 영상은 피사체의 영상을 더 포함할 수 있다.According to another embodiment, the visible light image and the short-wavelength infrared image may further include an image of a subject.

또 다른 일실시예에 따르면, 상기 장파장 적외 영상은 피사체의 영상을 더 포함할 수 있다.According to another embodiment, the long-wavelength infrared image may further include an image of a subject.

또 다른 일실시예에 따르면, 상기 피사체의 영상은 상기 피사체의 일정한 위치에 적어도 하나 이상의 마커를 포함할 수 있다.According to another embodiment, the image of the subject may include at least one marker at a predetermined position of the subject.

다른 일측에 따르면, 점등된 패턴 LED의 영상을 포함하는 가시광 영상 및 소등된 패턴 LED의 영상을 포함하는 장파장 적외 영상을 수집하는 수집부 및 상기 가시광 영상 및 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 장파장 적외 영상 간의 캘리브레이션을 수행하는 제1 처리부를 포함할 수 있다.According to another aspect of the present invention, there is provided an image display apparatus including a collecting unit for collecting a visible light image including an image of a lit pattern LED and an image of a long-wavelength infrared light including an image of an extinguished pattern LED, And a first processing unit for performing calibration between the visible light image and the long-wavelength infrared image through image processing for matching the shapes of the visible light image and the long-wavelength infrared image.

일실시예에 따르면, 상기 가시광 영상 및 상기 장파장 적외 영상은 피사체의 영상을 더 포함할 수 있다.According to an exemplary embodiment, the visible light image and the long-wavelength infrared image may further include an image of a subject.

다른 일실시예에 따르면, 상기 피사체의 영상은 상기 피사체의 일정한 위치에 적어도 하나 이상의 마커를 포함할 수 있다.According to another embodiment, the image of the subject may include at least one marker at a predetermined position of the subject.

또 다른 일측에 따르면, 점등된 패턴 LED의 영상을 포함하는 가시광 영상 및 소등된 패턴 LED의 영상을 포함하는 단파장 적외 영상을 수집하는 단계 및 상기 가시광 영상 및 상기 단파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 단파장 적외 영상 간의 캘리브레이션을 수행하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of manufacturing a display device, comprising the steps of: collecting a short-wavelength infrared image including a visible light image including an image of a lit pattern LED and an image of an extinguished pattern LED; And performing a calibration between the visible light image and the short-wavelength infrared image through an image processing that matches the shapes of the visible light image and the short-wavelength infrared image.

일실시예에 따르면, 상기 수집하는 단계는 소등된 패턴 LED의 영상을 포함하는 장파장 적외 영상을 수집하는 단계를 더 포함하고, 상기 가시광 영상 및 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 장파장 적외 영상 간의 캘리브레이션을 수행하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the collecting step may further include collecting a long-wavelength infrared image including an image of an extinguished pattern LED, wherein the shape of the pattern LED, which is included in the visible light image and the long- And performing calibration between the visible light image and the long-wavelength infrared image through the matching image processing.

다른 일실시예에 따르면, 캘리브레이션이 수행된 상기 단파장 적외 영상 및 캘리브레이션이 수행된 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 캘리브레이션을 수행하는 단계를 더 포함할 수 있다.According to another embodiment, the method may further include the step of performing calibration through image processing that matches the shape of the pattern LEDs equally included in the short-wavelength infrared image subjected to the calibration and the long-wavelength infrared image subjected to the calibration .

또 다른 일실시예에 따르면, 상기 가시광 영상 및 상기 단파장 적외 영상은 피사체의 영상을 더 포함할 수 있다.According to another embodiment, the visible light image and the short-wavelength infrared image may further include an image of a subject.

또 다른 일실시예에 따르면, 상기 장파장 적외 영상은 피사체의 영상을 더 포함할 수 있다.According to another embodiment, the long-wavelength infrared image may further include an image of a subject.

또 다른 일실시예에 따르면, 상기 피사체의 영상은 상기 피사체의 일정한 위치에 적어도 하나 이상의 마커를 포함할 수 있다.According to another embodiment, the image of the subject may include at least one marker at a predetermined position of the subject.

또 다른 일측에 따르면, 점등된 패턴 LED의 영상을 포함하는 가시광 영상 및 소등된 패턴 LED의 영상을 포함하는 장파장 적외 영상을 수집하는 단계 및 상기 가시광 영상 및 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 장파장 적외 영상 간의 캘리브레이션을 수행하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of illuminating a visible light image, comprising the steps of: collecting a long-wavelength infrared image including an image of an illuminated pattern LED and an image of an unlit pattern LED; And performing calibration between the visible light image and the long-wavelength infrared image through an image process of matching shapes of the visible light image and the long-wavelength infrared image.

일실시예에 따르면, 상기 가시광 영상 및 상기 장파장 적외 영상은 피사체의 영상을 더 포함할 수 있다.According to an exemplary embodiment, the visible light image and the long-wavelength infrared image may further include an image of a subject.

다른 일실시예에 따르면, 상기 피사체의 영상은 상기 피사체의 일정한 위치에 적어도 하나 이상의 마커를 포함할 수 있다.According to another embodiment, the image of the subject may include at least one marker at a predetermined position of the subject.

도 1은 일실시예에 따른 복수의 영상간 캘리브레이션 과정을 도시한다.
도 2는 일실시예에 따른 영상 처리 장치의 구성을 나타낸 블록도이다.
도 3은 일실시예에 따라 패턴 LED를 촬영한 가시광 영상 및 적외 영상을 나타낸다.
도 4는 일실시예에 따른 패턴 LED를 도시한다.
도 5는 일실시예에 따른 패턴 LED 및 피사체에 표시되는 마커를 도시한다.
도 6은 일실시예에 따라 패턴 LED의 점등 및 소등 시점에 대해 파장대가 다른 복수의 촬영기기의 촬영 시점을 상대적으로 나타낸다.
도 7은 일실시예에 따라 파장대가 다른 복수의 영상 간 캘리브레이션이 수행되는 과정을 나타내는 순서도이다.FIG. 1 illustrates a plurality of inter-image calibration processes according to an exemplary embodiment.
2 is a block diagram showing a configuration of an image processing apparatus according to an embodiment.
FIG. 3 shows a visible light image and an infrared image of a pattern LED taken according to an embodiment.
4 illustrates a pattern LED according to one embodiment.
5 illustrates a pattern LED according to an embodiment and a marker displayed on a subject.
FIG. 6 illustrates relatively photographing time points of a plurality of photographing apparatuses having different wavelength ranges with respect to the ON and OFF times of the pattern LEDs according to one embodiment.
7 is a flowchart illustrating a process of performing calibration between a plurality of images having different wavelengths according to an exemplary embodiment of the present invention.

이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the rights is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.The terms used in the following description are chosen to be generic and universal in the art to which they are related, but other terms may exist depending on the development and / or change in technology, customs, preferences of the technician, and the like. Accordingly, the terminology used in the following description should not be construed as limiting the technical thought, but should be understood in the exemplary language used to describe the embodiments.

또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.Also, in certain cases, there may be a term chosen arbitrarily by the applicant, in which case the meaning of the detailed description in the corresponding description section. Therefore, the term used in the following description should be understood based on the meaning of the term, not the name of a simple term, and the contents throughout the specification.

피사체 혹은 피사체의 특정 부위에 대해 굴곡 양상에 대한 정보와 온도 정보를 결합하여 활용하는 것은 비침습적 피사체 영상의 종합적 분석에 있어 그 활용도가 매우 높다. 다만, 굴곡 양상에 대한 정보와 온도 정보는 다른 파장대의 영상으로부터 얻을 수 있기 때문에, 다른 파장대의 영상 간 결합을 위한 캘리브레이션을 수행하는 기술이 필요하다.The combined use of information about bending aspect and temperature information on a subject or a specific part of the subject is very useful in the comprehensive analysis of noninvasive subject images. However, since information on the bending aspect and temperature information can be obtained from images of different wavelength ranges, a technique for performing calibration for combining images of different wavelength ranges is needed.

도 1은 일실시예에 따른 복수의 영상간 캘리브레이션 과정을 도시한다.FIG. 1 illustrates a plurality of inter-image calibration processes according to an exemplary embodiment.

도 1을 참조하면, 패턴 LED(160)가 장착된 검사대(150)위에 피사체(140)가 누워있으면, 적어도 하나 이상의 촬영 기기(110, 120, 130)가 피사체(140) 및 패턴 LED(160)가 포함된 영상을 촬영할 수 있다.Referring to FIG. 1, at least one photographing device 110, 120, or 130 may be mounted on the subject 140 and the pattern LED 160 when the subject 140 is laid on the inspection table 150 on which the pattern LED 160 is mounted. Can be photographed.

촬영 기기(110, 120, 130)는 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상을 각각 촬영할 수 있는 카메라일 수 있다. 임의로, 촬영 기기(110)을 가시광 영상을 촬영하는 카메라, 촬영기기(120)을 단파장 적외 영상을 촬영하는 카메라 그리고 촬영기기(130)을 장파장 적외 영상을 촬영하는 카메라로 대응시킨 후 설명하도록 하겠다.The imaging devices 110, 120, and 130 may be cameras capable of capturing a visible light image, a short-wavelength infrared image, and a long-wavelength infrared image, respectively. Optionally, a camera for photographing the visible light image of the photographing device 110, a camera for photographing the photographing device 120 for the short wavelength infrared image, and a camera for photographing the photographing device 130 for photographing the long wavelength infrared image will be described.

패턴 LED(160)가 점등된 상태에서 촬영기기(110)가 가시광 영상을 촬영할 수 있다. 그리고 패턴 LED(160)가 소등된 상태에서 촬영기기(110), 촬영기기(120) 및 촬영기기(130)가 각각 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상을 촬영할 수 있다.The photographing apparatus 110 can photograph a visible light image in a state in which the pattern LED 160 is lit. The photographing device 110, the photographing device 120, and the photographing device 130 can photograph a visible light image, a short-wavelength infrared image, and a long-wavelength infrared image, respectively, with the pattern LED 160 turned off.

패턴 LED(160)는 점등 시 광을 발생시키기 때문에 가시광 영상을 통해 색상 정보를 얻을 수 있다. 그리고 LED 광원은 점등 시 열이 발생하여 온도를 충분히 높일 수 있기 때문에 LED 광원의 소등 이후에도 적외 영상에서 LED 광원의 형상이 발견될 수 있다. 그러므로, 패턴 LED(160)의 소등 이후에 단파장 적외 영상 및 장파장 적외 영상을 촬영하는 경우, 각 영상에서 패턴 LED(160)의 영상이 관찰될 수 있다.Since the pattern LED 160 generates light upon lighting, the color information can be obtained through the visible light image. Since the LED light source generates heat when it is turned on and the temperature can be raised sufficiently, the shape of the LED light source can be found in the infrared image even after the LED light source is turned off. Therefore, when the short-wavelength infrared image and the long-wavelength infrared image are photographed after the pattern LED 160 is turned off, the image of the pattern LED 160 in each image can be observed.

패턴 LED(160)의 소등 이후 적외 영상을 촬영함에 있어, 피사체(140)를 포함하여 촬영하는 경우, 각 촬영기기(120, 130)로부터의 거리 및 피사체(140)를 구성하고 있는 성분에 따른 비열의 차이로 인해, 소등 이후 피사체의 각 위치에서의 온도 변화가 달라지게 될 수 있다. 이와 같은 원리로 적외 영상에서 피사체의 형상이 구분될 수 있다.The distance from the photographing apparatuses 120 and 130 and the specific heat amount corresponding to the components constituting the subject 140 can be reduced in the case of photographing the infrared light after the pattern LED 160 is turned off, The temperature change at each position of the subject after the lapse of time may be changed. With this principle, the shape of the subject can be distinguished from the infrared image.

각 촬영기기(110, 120, 130)로부터 얻은 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상은 영상 처리 장치(100)로 전송될 수 있다.The visible light image, the short-wavelength infrared image, and the long-wavelength infrared image obtained from each of the imaging devices 110, 120, and 130 may be transmitted to the image processing apparatus 100.

영상 처리 장치(100)는 패턴 LED(160) 및 피사체(140)의 영상을 포함하고 있는 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상 간의 캘리브레이션을 수행할 수 있다. 각 영상은 패턴 LED(160)의 영상만을 포함하고 있을 수 있다. 영상 처리 장치(100)가 캘리브레이션을 수행하는 과정은 도 2에서 상세히 설명하도록 하겠다.The image processing apparatus 100 may perform calibration between a visible light image including the images of the pattern LED 160 and the subject 140, a short-wavelength infrared image, and a long-wavelength infrared image. Each image may only include an image of the pattern LED 160. [ The process of performing the calibration by the image processing apparatus 100 will be described in detail with reference to FIG.

일실시예에 따라, 촬영기기(110)와 촬영기기(120)은 각각 가시광 영상을 촬영하는 카메라와 단파장 적외 영상을 촬영하는 카메라로, RGBD(Red Green Blue Depth) 카메라를 통해 두 영상을 모두 얻을 수 있어, RGBD 카메라는 촬영기기(110) 및 촬영기기(120)를 모두 포함하고 있다고 볼 수 있다.According to one embodiment, the photographing device 110 and the photographing device 120 are respectively a camera for photographing a visible light image and a camera for photographing a short-wavelength infrared image, and both images are obtained through an RGBD (Red Green Blue Depth) camera The RGBD camera can be regarded as including both the photographing device 110 and the photographing device 120.

패턴 LED(160)는 임의의 패턴이며, 적어도 하나 이상의 LED를 포함할 수 있다. 또한, 적어도 하나 이상의 카메라(110, 120, 130)는 패턴 LED(160)만을 촬영할 수도 있고, 피사체(140)와 패턴 LED(160)를 포함하여 함께 촬영할 수도 있다.The pattern LEDs 160 are arbitrary patterns and may include at least one or more LEDs. In addition, at least one camera 110, 120, or 130 may photograph only the pattern LED 160 or the subject 140 and the pattern LED 160 together.

도 2는 일실시예에 따른 영상 처리 장치의 구성을 나타낸 블록도이다.2 is a block diagram showing a configuration of an image processing apparatus according to an embodiment.

도 2를 참조하면, 영상 처리 장치(200)는 수집부(210), 제1 처리부(220), 제2 처리부(230) 및 제3 처리부(240)를 포함할 수 있다. 수집부(210)는 패턴 LED 및 피사체의 영상을 포함하는 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상을 수집할 수 있다. 수집부(210)는 각 영상 중 어느 하나만을 수집할 수도 있고, 임의의 조합으로 두 영상만을 수집할 수도 있다.Referring to FIG. 2, the image processing apparatus 200 may include a collecting unit 210, a first processing unit 220, a second processing unit 230, and a third processing unit 240. The collecting unit 210 may collect a visible light image, a short-wavelength infrared image, and a long-wavelength infrared image including a pattern LED and an image of a subject. The collecting unit 210 may collect only one of the images, or may collect only two images in any combination.

제1 처리부(220)는 수집부(210)로부터 가시광 영상 및 단파장 적외 영상을 전송받아 두 영상 간의 캘리브레이션을 수행할 수 있다. 두 영상은 다른 파장대역의 모습을 촬영하는 영상이기 때문에 두 영상의 다른 파장대역에서 모두 관찰될 수 있는 고정적인 패턴이 필요하다. 이러한 패턴의 역할을 패턴 LED가 수행할 수 있다. 패턴 LED는 점등된 경우, 광원으로서 가시광 영상에서 관찰될 수 있다. 또한, 패턴 LED가 소등된 경우, 패턴 LED의 점등 시 발생했던 열이 남아있어 단파장 적외 영상에서도 패턴 LED의 형상이 나타날 수 있다. 따라서, 가시광 영상 및 단파장 적외 영상에 공통적으로 나타나는 패턴 LED 형상을 영상처리를 통해 일치시키는 캘리브레이션을 통해, 가시광 영상과 단파장 적외 영상의 캘리브레이션을 수행할 수 있다. 이를 통해, 각 영상에 포함된 피사체간의 캘리브레이션도 이루어지며, 캘리브레이션이 이루어진 영상은 피사체에 대한 색상 정보 및 굴곡 양상에 대한 정보를 동시에 포함할 수 있다.The first processing unit 220 receives the visible light image and the short-wavelength infrared image from the collecting unit 210 and performs calibration between the two images. Since both images capture images of different wavelength bands, we need a fixed pattern that can be observed in different wavelength bands of both images. Pattern LEDs can play a role in this pattern. When the pattern LED is turned on, it can be observed in a visible light image as a light source. Also, when the pattern LED is turned off, the pattern LED may appear in the short-wavelength infrared image because the heat generated when the pattern LED is turned on remains. Accordingly, the calibration of the visible light image and the short-wavelength infrared image can be performed by calibrating the pattern LED shapes common to the visible light image and the short-wavelength infrared image through image processing. In this way, the calibration of the subjects included in each image is performed, and the calibrated image can simultaneously include information on the color information and the bending aspect of the subject.

제2 처리부(230)는 수집부(210)로부터 가시광 영상 및 장파장 적외 영상을 전송받아 두 영상 간의 캘리브레이션을 수행할 수 있다. 두 영상은 다른 파장대역의 모습을 촬영하는 영상이기 때문에 두 영상의 다른 파장대역에서 모두 관찰될 수 있는 고정적인 패턴이 필요하다. 이러한 패턴의 역할을 패턴 LED가 수행할 수 있다. 패턴 LED는 점등된 경우, 광원으로서 가시광 영상에서 관찰될 수 있다. 또한, 패턴 LED가 소등된 경우, 패턴 LED의 점등 시 발생했던 열이 남아있어 장파장 적외 영상에서도 패턴 LED의 형상이 나타날 수 있다. 따라서, 가시광 영상 및 장파장 적외 영상에 공통적으로 나타나는 패턴 LED 형상을 영상처리를 통해 일치시키는 캘리브레이션을 통해, 가시광 영상과 장파장 적외 영상 간의 캘리브레이션을 수행할 수 있다. 이를 통해, 각 영상에 포함된 피사체간의 캘리브레이션도 이루어지며, 캘리브레이션이 이루어진 영상은 피사체에 대한 색상 정보 및 온도 정보를 동시에 포함할 수 있다.The second processing unit 230 receives the visible light image and the long-wavelength infrared image from the collecting unit 210 and performs calibration between the two images. Since both images capture images of different wavelength bands, we need a fixed pattern that can be observed in different wavelength bands of both images. Pattern LEDs can play a role in this pattern. When the pattern LED is turned on, it can be observed in a visible light image as a light source. In addition, when the pattern LED is turned off, the pattern LED may appear in the long-wavelength infrared image because the heat generated when the pattern LED is turned on remains. Accordingly, the calibration between the visible light image and the long-wavelength infrared image can be performed by calibrating the pattern LED shape commonly appearing in the visible light image and the long-wavelength infrared image by image processing. In this way, calibrations between subjects included in each image are performed, and the calibrated image can simultaneously include color information and temperature information of the subject.

제3 처리부(240)는 제1 처리부(220)에 의해 캘리브레이션이 수행된 결과 영상과 제2 처리부(230)에 의해 캘리브레이션이 수행된 결과 영상을 전달받아, 이 두 영상 간의 캘리브레이션을 수행할 수 있다. 두 영상에 공통적으로 나타나는 패턴 LED 형상을 영상처리를 통해 일치시키는 캘리브레이션을 통해, 단파장 적외 영상 및 장파장 적외 영상 간의 캘리브레이션을 수행할 수 있다. 이를 통해, 각 영상에 포함된 피사체간의 캘리브레이션도 이루어지며, 캘리브레이션이 이루어진 영상은 피사체의 굴곡 양상에 대한 정보 및 온도 정보를 동시에 포함할 수 있다.The third processing unit 240 receives the resultant image that is calibrated by the first processing unit 220 and the resultant image that is calibrated by the second processing unit 230, and performs calibration between the two images . Calibration can be performed between the short-wavelength infrared image and the long-wavelength infrared image by calibrating the pattern LED shape common to both images through image processing. In this way, the calibration between the objects included in each image is performed, and the calibrated image can simultaneously include information on the bending aspect of the subject and temperature information.

일실시예에 따라, 패턴 LED의 형상을 포함하고 있는 단파장 적외 영상 및 장파장 적외 영상의 두 영상 간 캘리브레이션을 수행할 수도 있다. 단파장 적외 영상 및 장파장 적외 영상 각각에서도 열을 가지고 있는 패턴 LED의 형상이 동시에 포함될 수 있기 때문에, 두 패턴 LED를 일치시켜 캘리브레이션을 수행할 수 있다.According to one embodiment, calibration between two images of a short wavelength infrared image and a long wavelength infrared image including the shape of the pattern LED may be performed. Since both the short-wavelength infrared image and the long-wavelength infrared image can include the shape of the pattern LED having the heat simultaneously, the calibration can be performed by matching the two pattern LEDs.

도 3은 일실시예에 따라 패턴 LED를 촬영한 가시광 영상 및 적외 영상을 나타낸다.FIG. 3 shows a visible light image and an infrared image of a pattern LED taken according to an embodiment.

도 3을 참조하면, 영상(300)은 점등된 패턴 LED를 촬영한 가시광 영상이며, 영상(320)은 소등된 패턴 LED를 촬영한 적외 영상이다. 각 영상은, 공통된 패턴 LED를 포함할 수 있다. 영상(300)에서의 패턴 LED(310)와 영상(320)에서의 패턴 LED(330)는 동일한 패턴이며, 이러한 동일한 LED 패턴을 두 영상 간에 일치시키는 영상 처리를 통해 관측되는 파장대가 다른 두 영상 간의 캘리브레이션을 수행할 수 있다.3, the image 300 is a visible light image of a patterned LED, and the image 320 is an infrared image of a patterned LED that is turned off. Each image may include a common pattern LED. The pattern LEDs 310 in the image 300 and the pattern LEDs 330 in the image 320 are the same pattern and the pattern LEDs 330 in the image 320 have the same pattern, Calibration can be performed.

뿐만 아니라, 가시광 영상과 적외 영상 간의 캘리브레이션은 소등된 패턴 LED를 촬영한 가시광 영상과 적외 영상 간에도 이루어질 수 있다.In addition, the calibration between the visible light image and the infrared image can be performed between the visible light image and the infrared image, which are photographed with the extinguished pattern LED.

도 4는 일실시예에 따른 패턴 LED를 도시한다.4 illustrates a pattern LED according to one embodiment.

도 4를 참조하면, 검사대(150)에 임의의 패턴 LED(160)를 장착할 수 있고, 검사대(150) 상부에는 피사체(140)가 위치할 수 있다. 패턴 LED(160)는 임의의 패턴으로, 관측되는 파장대가 다른 영상 간에 동일한 패턴 LED 여부를 구분할 수 있을 정도의 패턴으로 설계될 수 있다.4, an arbitrary pattern LED 160 can be mounted on the inspection table 150, and the object 140 can be positioned on the inspection table 150. [ The pattern LEDs 160 can be designed in a pattern such that the observed wavelength band can distinguish whether or not the same pattern LED is present among different images.

도 5는 일실시예에 따른 패턴 LED 및 피사체에 표시되는 마커를 도시한다.5 illustrates a pattern LED according to an embodiment and a marker displayed on a subject.

도 5를 참조하면, 검사대(150)에 임의의 패턴 LED(160)를 장착할 수 있고, 검사대(150) 상부에는 피사체(140)가 위치할 수 있다. 패턴 LED(160)는 임의의 패턴으로, 관측되는 파장대가 다른 영상 간에 동일한 패턴 LED 여부를 구분할 수 있을 정도의 패턴으로 설계될 수 있다. 또한, 피사체의 관측 부위를 보다 정밀히 캘리브레이션 하기 위하여, 피사체의 특정 위치에 적어도 하나 이상의 마커(170)를 포함하도록 할 수 있다. 캘리브레이션 과정에서 마커의 위치를 일치시킴에 따라, 파장대가 다른 복수의 영상에서 피사체에 대한 캘리브레이션이 보다 정밀하게 이루어지도록 할 수 있다.5, an arbitrary pattern LED 160 may be mounted on the inspection table 150, and a subject 140 may be positioned on the inspection table 150. The pattern LEDs 160 can be designed in a pattern such that the observed wavelength band can distinguish whether or not the same pattern LED is present among different images. In addition, in order to more precisely calibrate the observation region of the object, at least one marker 170 may be included in a specific position of the object. By matching the positions of the markers in the calibration process, it is possible to more precisely calibrate the subject in a plurality of images having different wavelength ranges.

일실시예에 따라, 이 마커는 가시광 영상에서만 촬영될 수도 있으며, 이 경우에는, 가시광 영상과 이미 캘리브레이션이 이루어진 단파장 적외 영상과 장파장 적외 영상에 대해 마커 위치를 포함시킴으로써, 그 다음 단파장 적외 영상과 장파장 적외 영상 간의 캘리브레이션 과정에서 피사체 혹은 피사체의 특정 부위에 대한 다른 두 영상 간 캘리브레이션이 보다 정밀하게 이루어지도록 할 수 있다.According to one embodiment, the marker may be photographed only in the visible light image. In this case, by including the marker position with respect to the visible light image and the short-wavelength infrared image and the long-wavelength infrared image that have been already calibrated, The calibration between infrared images can be performed more precisely during the calibration process between the other two images of the subject or the specific area of the subject.

다른 일실시예에 따라, 이 마커는 가시광 및 적외 영상 모두에서 촬영될 수도 있으며, 이 경우에는 가시광 영상 및 단파장 적외 영상 간 캘리브레이션 과정에서 피사체 혹은 피사체의 특정 부위에 대한 다른 두 영상 간 캘리브레이션이 보다 정밀하게 이루어지도록 할 수 있다. 마찬가지로, 가시광 영상 및 장파장 적외 영상 간 캘리브레이션 과정에서 피사체 혹은 피사체의 특정 부위에 대한 다른 두 영상 간 캘리브레이션이 보다 정밀하게 이루어지도록 할 수 있다.According to another embodiment, the marker may be photographed in both visible and infrared images. In this case, during the calibration process between the visible light image and the short-wavelength infrared image, calibration between two different images of the subject or a specific region of the subject is more accurate . Likewise, during the calibration process between the visible light image and the long-wavelength infrared image, it is possible to more precisely calibrate between two different images of the subject or a specific region of the subject.

도 6은 일실시예에 따라 패턴 LED의 점등 및 소등 시점에 대해 파장대가 다른 복수의 촬영기기의 촬영 시점을 상대적으로 나타낸다.FIG. 6 illustrates relatively photographing time points of a plurality of photographing apparatuses having different wavelength ranges with respect to the ON and OFF times of the pattern LEDs according to one embodiment.

도 6을 참조하면, 패턴 LED의 점등(600) 이후에 임의의 시점 t1에서 가시광 영상(610)을 촬영할 수 있다. 그리고 패턴 LED의 소등(620) 이후에 t1과 인접한 시점인 t2에서 가시광 영상(630), 단파장 적외 영상(640) 및 장파장 적외 영상(650)을 촬영할 수 있다.Referring to FIG. 6, the visible light image 610 can be photographed at an arbitrary time point t1 after the pattern LED is turned on (600). The visible light image 630, the short-wavelength infrared image 640, and the long-wavelength infrared image 650 can be photographed after the pattern LED is turned off 620 and at a time t2 adjacent to t1.

가시광 영상(610)으로부터 피사체의 색상 정보를 얻을 수 있으며, 이 가시광 영상(610)은 단파장 적외 영상(640) 혹은 장파장 적외 영상(650)과 캘리브레이션이 수행될 수도 있다.The color information of the subject can be obtained from the visible light image 610 and the visible light image 610 can be calibrated with the short wavelength infrared image 640 or the long wavelength infrared image 650.

뿐만 아니라, 단파장 적외 영상(640) 혹은 장파장 적외 영상(650)은 패턴 LED의 소등 이후에 촬영되는 가시광 영상(620)과도 캘리브레이션이 수행될 수 있다.In addition, the short-wavelength infrared image 640 or the long-wavelength infrared image 650 can be calibrated with the visible light image 620 taken after the pattern LED is turned off.

패턴 LED의 점등(600) 시점은 패턴 LED의 점등으로 인해, 충분히 가열되어 이후 적외 영상에서 패턴 LED가 관찰될 수 있도록 하는 충분한 시간을 고려하여 결정될 수 있다.The point of lighting (600) of the pattern LED can be determined considering the sufficient time to allow the pattern LED to be observed in the infrared image after it is sufficiently heated due to the lighting of the pattern LED.

도 7은 일실시예에 따라 파장대가 다른 복수의 영상 간 캘리브레이션이 수행되는 과정을 나타내는 순서도이다.7 is a flowchart illustrating a process of performing calibration between a plurality of images having different wavelengths according to an exemplary embodiment of the present invention.

도 7을 참조하면, 패턴 LED가 점등(700)된 상태에서, 가시광 영상을 획득(710)할 수 있다. 패턴 LED가 점등된 상태에서 획득되는 가시광 영상으로부터는 피사체의 색상 정보를 얻을 수 있으며, 이후 다른 파장대역의 영상들과 캘리브레이션이 수행될 수도 있다.Referring to FIG. 7, in a state in which the pattern LED is lit (700), a visible light image may be acquired (710). The color information of the subject can be obtained from the visible light image obtained in the state that the pattern LED is lit, and then the calibration with the images of the other wavelength band may be performed.

패턴 LED가 점등된 상태로 충분한 시간이 지나, 패턴 LED의 온도가 적외 영상에서 관찰될 정도로 높아지게 되고, 즉, 주변 온도와 차이를 갖게 된 후, 패턴 LED가 소등(720)되면, 소등된 패턴 LED 및 경우에 따라 피사체를 포함하는 단파장 적외 영상(730), 가시광 영상(734) 및 장파장 적외 영상(738)을 획득할 수 있다.If the pattern LED is turned off (720) after a sufficient time has elapsed after the pattern LED is turned on, the temperature of the pattern LED becomes high enough to be observed in the infrared image, that is, And a short-wavelength infrared image 730, a visible light image 734, and a long-wavelength infrared image 738, which may include a subject as the case may be.

패턴 LED가 주변과 다른 온도를 가지고 있어, 단파장 적외 영상 및 장파장 적외 영상에서도 패턴 LED의 형상이 동일하게 관찰될 수 있다. 이를 이용하여, 가시광 영상(734)과 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 가시광 영상 및 단파장 적외 영상 간의 캘리브레이션(740)을 수행할 수 있다. 마찬가지로 가시광 영상 및 장파장 적외 영상 간의 캘리브레이션(745)을 수행할 수 있다.Since the pattern LED has a temperature different from that of the surrounding, the shape of the pattern LED can be observed in the short-wavelength infrared image and the long-wavelength infrared image as well. By using this, the calibration 740 between the visible light image and the short-wavelength infrared image can be performed through the image processing that matches the shapes of the visible light image 734 and the pattern LED. Similarly, calibration 745 between the visible light image and the long wavelength infrared image can be performed.

단파장 적외 영상(730)과 장파장 적외 영상(738)은 동일한 가시광 영상(734)으로부터 캘리브레이션이 이루어질 수 있고, 캘리브레이션이 수행된 단파장 적외 영상(740) 및 장파장 적외 영상(745) 간의 캘리브레이션(750)을 수행할 수 있다.The short wavelength infrared image 730 and the long wavelength infrared image 738 can be calibrated from the same visible light image 734 and calibrated between the calibrated short wavelength infrared image 740 and the long wavelength infrared image 745 Can be performed.

피사체에 대한 영상을 포함하고 있는 경우, 단파장 적외 영상(730)은 피사체의 굴곡 양상에 대한 정보를 가지고 있으며, 장파장 적외 영상(738)은 피사체의 부위에 대응하는 온도 정보를 가지고 있다. 따라서, 단파장 적외 영상 및 장파장 적외 영상 간 캘리브레이션(750)을 수행한 결과 영상은 피사체를 포함하고 있는 경우, 피사체의 굴곡 양상 및 온도 정보에 대한 정보를 동시에 포함(760)하고 있을 수 있다.When the image includes an image of a subject, the short-wavelength infrared image 730 has information on the bending aspect of the subject, and the long-wavelength infrared image 738 has temperature information corresponding to the part of the subject. Accordingly, when the short-wavelength infrared image and the long-wavelength infrared image 750 are calibrated, the image may include the information about the bending aspect of the subject and the temperature information at the same time (760).

다른 일실시예에 따라 캘리브레이션 과정은 단파장 적외 영상(730) 및 장파장 적외 영상(738)에서 동일한 패턴 LED의 형상을 포함하고 있으므로, 가시광 영상(734)과의 캘리브레이션을 거치지 않고, 단파장 적외 영상(730) 및 장파장 적외 영상(738)간에 직접 이루어질 수 있다.According to another embodiment, the calibration process includes the shape of the same pattern LED in the short-wavelength infrared image 730 and the long-wavelength infrared image 738, so that the short-wavelength infrared image 730 And the long-wavelength infrared image 738. [

일실시예에 따라, 패턴 LED는 이동할 수 있으며, 이동하는 패턴 LED를 복수의 시점에서 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상을 각각 촬영하고 이들의 캘리브레이션을 수행함으로써 보다 정밀하게 캘리브레이션이 이루어지도록 할 수 있다.According to one embodiment, the pattern LED can be moved, and the moving pattern LED is photographed at a plurality of points of view, visible light image, short-wavelength infrared image, and long-wavelength infrared image, respectively, .

보다 구체적으로, 이동하는 패턴 LED와 이동하지 않는 피사체를 포함하는 복수의 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상을 촬영할 수 있다. 이에 대해, 제1 가시광 영상 및 제1 단파장 적외 영상에 대해 캘리브레이션을 수행하고, 제1 가시광 영상 및 제1 장파장 적외 영상 간 캘리브레이션을 수행할 수 있다. 그리고, 두 캘리브레이션 결과 영상 간의 캘리브레이션을 수행하여 제1 캘리브레이션 결과를 얻을 수 있다.More specifically, a plurality of visible light images, short-wavelength infrared images, and long-wavelength infrared images including a moving pattern LED and a non-moving subject can be photographed. In this case, the first visible light image and the first short-wavelength infrared image may be calibrated, and the first visible light image and the first long-wavelength infrared image may be calibrated. Then, the first calibration result can be obtained by performing the calibration between the images as a result of the two calibrations.

마찬가지로 제2 가시광 영상 및 제2 단파장 적외 영상에 대해 캘리브레이션을 수행하고, 제2 가시광 영상 및 제2 장파장 적외 영상 간 캘리브레이션을 수행할 수 있다. 그리고, 두 캘리브레이션 결과 영상 간의 캘리브레이션을 수행하여 제2 캘리브레이션 결과를 얻을 수 있다.Similarly, the second visible light image and the second short wavelength infrared image may be calibrated, and the second visible light image and the second long wavelength infrared image may be calibrated. The second calibration result can be obtained by performing calibration between the images as a result of the two calibrations.

이와 같이 n개의 가시광 영상, 단파장 적외 영상 및 장파장 적외 영상에 대해 캘리브레이션을 수행하고, n개의 캘리브레이션 결과를 조합하여 보다 정밀한 캘리브레이션 결과를 얻을 수 있다. 구체적으로는, 평균 위치를 취할 수도 있고, 가장 높은 빈도를 보이는 위치를 선택할 수도 있으며 조합하여 보다 정밀한 캘리브레이션 결과를 얻는 방법은 제한되지 않는다.Calibration is performed on n visible light images, short-wavelength infrared images, and long-wavelength infrared images, and n calibration results can be combined to obtain more accurate calibration results. Specifically, it is possible to take an average position, select a position showing the highest frequency, and combine to obtain a more precise calibration result.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various modifications and variations may be made by those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (18)

점등된 패턴 LED의 영상을 포함하는 가시광 영상, 소등된 패턴 LED의 영상을 포함하는 장파장 적외 영상 및 상기 소등된 패턴 LED의 영상을 포함하는 단파장 적외 영상을 수집하는 수집부;
상기 가시광 영상 및 상기 단파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 단파장 적외 영상 간의 캘리브레이션을 수행하는 제1 처리부;
상기 가시광 영상 및 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 가시광 영상 및 상기 장파장 적외 영상 간의 캘리브레이션을 수행하는 제2 처리부; 및
상기 제1 처리부에 의해 상기 캘리브레이션이 수행된 상기 단파장 적외 영상 및 상기 제2 처리부에 의해 상기 캘리브레이션이 수행된 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해 캘리브레이션을 수행하는 제3 처리부
를 포함하고,
상기 수집부는 상기 패턴 LED가 이동하는 상태에서 복수의 상기 가시광 영상, 상기 단파장 적외 영상 및 상기 장파장 적외 영상을 수집하고,
상기 제3 처리부는 상기 제1 처리부와 상기 제2 처리부로부터 캘리브레이션이 수행된 복수의 결과를 조합하여 최종 캘리브레이션을 수행하는
영상 처리 장치.A collector for collecting a visible light image including an image of a lit pattern LED, a long-wavelength infrared image including an image of an extinguished pattern LED, and a short-wavelength infrared image including an image of the extinguished pattern LED;
A first processor for performing calibration between the visible light image and the short-wavelength infrared image through image processing that matches the shapes of pattern LEDs equally included in the visible light image and the short-wavelength infrared image;
A second processing unit for performing calibration between the visible light image and the long-wavelength infrared image through image processing that matches the shapes of pattern LEDs equally included in the visible light image and the long-wavelength infrared image; And
The short wavelength infrared image subjected to the calibration by the first processing unit and the long wavelength infrared image subjected to the calibration by the second processing unit are subjected to the calibration through the image processing of matching the shapes of the pattern LEDs equally included A third processing unit
Lt; / RTI >
Wherein the collecting unit collects the plurality of visible light images, the short-wavelength infrared images, and the long-wavelength infrared images while the pattern LED is moving,
And the third processing unit performs a final calibration by combining a plurality of results obtained by performing calibration from the first processing unit and the second processing unit
Image processing apparatus. 삭제delete 삭제delete 제1항에 있어서,
상기 가시광 영상 및 상기 단파장 적외 영상은 피사체의 영상을 더 포함하는 영상 처리 장치.The method according to claim 1,
Wherein the visible light image and the short-wavelength infrared image further include an image of a subject. 제1항에 있어서,
상기 장파장 적외 영상은 피사체의 영상을 더 포함하는 영상 처리 장치.The method according to claim 1,
Wherein the long-wavelength infrared image further includes an image of a subject. 제4항 또는 제5항 중 어느 한 항에 있어서,
상기 피사체의 영상은 상기 피사체의 일정한 위치에 적어도 하나 이상의 마커를 포함하는 영상 처리 장치.6. The method according to any one of claims 4 to 5,
Wherein the image of the subject includes at least one marker at a predetermined position of the subject. 삭제delete 삭제delete 삭제delete 점등된 패턴 LED의 영상을 포함하는 복수의 가시광 영상, 소등된 패턴 LED의 영상을 포함하는 장파장 적외 영상 및 소등된 패턴 LED의 영상을 포함하는 단파장 적외 영상을 수집하는 단계; 및
상기 복수의 가시광 영상 및 상기 단파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 복수의 가시광 영상 및 상기 단파장 적외 영상 간의 캘리브레이션을 수행하는 단계;
상기 복수의 가시광 영상 및 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 상기 복수의 가시광 영상 및 상기 장파장 적외 영상 간의 캘리브레이션을 수행하는 단계;
상기 캘리브레이션이 수행된 상기 단파장 적외 영상 및 상기 캘리브레이션이 수행된 상기 장파장 적외 영상에 동일하게 포함되는 패턴 LED의 형상을 일치시키는 영상 처리를 통해, 캘리브레이션을 수행하는 단계; 및
복수의 캘리브레이션 결과들을 조합하여 최종 캘리브레이션을 수행하는 단계
를 포함하고,
상기 수집하는 단계는 상기 패턴 LED가 이동하는 상태에서 상기 복수의 가시광 영상을 수집하는 단계인 영상 처리 방법.Collecting a plurality of visible light images including an image of a lit pattern LED, a long-wavelength infrared image including an image of an unlit pattern LED, and a short-wavelength infrared image including an image of an unlit pattern LED; And
Performing a calibration between the plurality of visible light images and the short-wavelength infrared image through image processing to match shapes of pattern LEDs equally included in the plurality of visible light images and the short-wavelength infrared images;
Performing calibration between the plurality of visible light images and the long-wavelength infrared image through an image processing for matching shapes of pattern LEDs equally included in the plurality of visible light images and the long-wavelength infrared images;
Performing a calibration through image processing of matching the shapes of the pattern LEDs equally included in the short-wavelength infrared image on which the calibration is performed and the long-wavelength infrared image on which the calibration is performed; And
Performing a final calibration by combining a plurality of calibration results
Lt; / RTI >
Wherein the collecting step is a step of collecting the plurality of visible light images while the pattern LED is moving. 삭제delete 삭제delete 제10항에 있어서,
상기 가시광 영상 및 상기 단파장 적외 영상은 피사체의 영상을 더 포함하는 영상 처리 방법.11. The method of claim 10,
Wherein the visible light image and the short-wavelength infrared image further include an image of a subject. 제10항에 있어서,
상기 장파장 적외 영상은 피사체의 영상을 더 포함하는 영상 처리 방법.11. The method of claim 10,
Wherein the long-wavelength infrared image further includes an image of a subject. 제13항 또는 제14항 중 어느 한 항에 있어서,
상기 피사체의 영상은 상기 피사체의 일정한 위치에 적어도 하나 이상의 마커를 포함하는 영상 처리 방법.15. The method according to any one of claims 13 to 14,
Wherein the image of the subject includes at least one marker at a predetermined position of the subject. 삭제delete 삭제delete 삭제delete
KR1020170071332A 2017-06-08 2017-06-08 Apparatus and method for image processing KR101989225B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170071332A KR101989225B1 (en) 2017-06-08 2017-06-08 Apparatus and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170071332A KR101989225B1 (en) 2017-06-08 2017-06-08 Apparatus and method for image processing

Publications (2)

Publication Number Publication Date
KR20180134014A KR20180134014A (en) 2018-12-18
KR101989225B1 true KR101989225B1 (en) 2019-06-13

Family

ID=64952565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170071332A KR101989225B1 (en) 2017-06-08 2017-06-08 Apparatus and method for image processing

Country Status (1)

Country Link
KR (1) KR101989225B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011010258A (en) * 2009-05-27 2011-01-13 Seiko Epson Corp Image processing apparatus, image display system, and image extraction device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101323141B1 (en) * 2011-12-13 2013-10-30 전자부품연구원 Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor
JP2014061057A (en) * 2012-09-20 2014-04-10 Sony Corp Information processor, information processing method, program, and measurement system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011010258A (en) * 2009-05-27 2011-01-13 Seiko Epson Corp Image processing apparatus, image display system, and image extraction device

Also Published As

Publication number Publication date
KR20180134014A (en) 2018-12-18

Similar Documents

Publication Publication Date Title
US10060859B2 (en) Method of inspecting foreign substance on substrate
US9560345B2 (en) Camera calibration
CN105122943B (en) A method of characterizing a light source and a mobile device
US9196027B2 (en) Automatic focus stacking of captured images
JP3884321B2 (en) 3D information acquisition apparatus, projection pattern in 3D information acquisition, and 3D information acquisition method
US20180176440A1 (en) Structured-light-based exposure control method and exposure control apparatus
KR101241175B1 (en) Mounting boards inspection apparatus and method thereof
JP2015505051A5 (en)
JP5948496B2 (en) Method for measuring the height of a three-dimensional shape measuring device
CN110657948A (en) Method, apparatus, test device, and medium for testing screen of electronic device
JP2010127739A (en) Spectral sensitivity characteristic measurement apparatus and spectral sensitivity characteristic measurement method
US10891756B2 (en) Image processing device, chart for calibration, and calibration system
TW201344748A (en) Imaging overlay metrology target and complimentary overlay metrology measurement system
KR101785202B1 (en) Automatic Calibration for RGB-D and Thermal Sensor Fusion and Method thereof
US11538193B2 (en) Methods and systems for calibrating a camera
JP2006279546A (en) Electronic camera, image processing program, and image processing method
JP5198397B2 (en) Photomask characteristic detection apparatus and photomask characteristic detection method
JP2012108130A (en) Board inspection method
KR101916753B1 (en) Apparatus for measuring the pipe bending angle
JP2008250487A (en) Camera calibration method using model matching by edge detection
KR101989225B1 (en) Apparatus and method for image processing
JP4901246B2 (en) Spectral luminance distribution estimation system and method
KR101323141B1 (en) Apparatus and method for concurrent calibration of visible light sensor and infrared ray sensor
US10721395B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
KR101740857B1 (en) Appratus and method of correcting image quality of flash image filming using color sensor and led

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)