KR102041544B1 - 3d thermal distribution display device using stereo camera and thermal camera - Google Patents

3d thermal distribution display device using stereo camera and thermal camera Download PDF

Info

Publication number
KR102041544B1
KR102041544B1 KR1020170162620A KR20170162620A KR102041544B1 KR 102041544 B1 KR102041544 B1 KR 102041544B1 KR 1020170162620 A KR1020170162620 A KR 1020170162620A KR 20170162620 A KR20170162620 A KR 20170162620A KR 102041544 B1 KR102041544 B1 KR 102041544B1
Authority
KR
South Korea
Prior art keywords
thermal
image
camera
matching
dimensional
Prior art date
Application number
KR1020170162620A
Other languages
Korean (ko)
Other versions
KR20190063671A (en
Inventor
박진하
정하형
김충일
Original Assignee
(주)코어센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코어센스 filed Critical (주)코어센스
Priority to KR1020170162620A priority Critical patent/KR102041544B1/en
Publication of KR20190063671A publication Critical patent/KR20190063671A/en
Application granted granted Critical
Publication of KR102041544B1 publication Critical patent/KR102041544B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G01N2021/1776—Colour camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 2대의 색상 카메라로 이루어진 스테레오 카메라와 1대의 열화상 카메라를 통하여 촬영되는 영상을 정합하여 3차원 입체 열영상 분포를 표시할 수 있도록 하는 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치에 관한 것이다.
본 발명에 따른 3차원 열분포 표시장치는 촬영 대상의 3차원 입체 열분포를 표시하기 위한 3차원 열분포 표시장치로서, 대상의 실영상을 각각 촬영하는 2개의 색상 카메라(111)(112)가 구비된 스테레오 카메라(110)와, 대상의 열영상을 촬영하는 열화상 카메라(120)가 구비된 카메라부(100)와; 상기 2개의 색상 카메라(111)(112)를 통하여 촬영된 실영상을 정합하여 깊이 영상을 생성하는 깊이 영상 생성부(230)와, 상기 깊이 영상 생성부(230)를 통하여 생성된 깊이 영상과 열화상 카메라(120)를 통하여 촬영된 열영상을 정합하여 깊이 영상 위에 열영상이 표시되는 3차원 입체 열영상을 생성하는 3D 열영상 생성부(240)와, 상기 3D 열영상 생성부(240)를 통하여 생성된 3차원 입체 열영상을 디스플레이부(260)에 표시하는 3D 열분포 표시부(250)가 구비된 3D 열분포 표시기(200);를 포함하여 이루어져, 신속하고 정확하게 3차원 입체 열영상을 생성하여 표시할 수 있도록 제공된다.The present invention is a three-dimensional thermal distribution display using a stereo camera and a thermal camera to match the image taken through a stereo camera consisting of two color cameras and one thermal imager to display a three-dimensional stereoscopic image distribution It is about.
The three-dimensional thermal distribution display device according to the present invention is a three-dimensional thermal distribution display device for displaying a three-dimensional three-dimensional thermal distribution of the object to be photographed, the stereo is provided with two color cameras (111, 112) to take a real image of the target, respectively A camera unit 100 and a camera unit 100 including a thermal imaging camera 120 for capturing a target thermal image; A depth image generator 230 for generating a depth image by matching real images photographed by the two color cameras 111 and 112, and a depth image and a column generated by the depth image generator 230. The 3D thermal image generator 240 and the 3D thermal image generator 240 for generating a 3D stereoscopic thermal image in which a thermal image is displayed on a depth image by matching thermal images photographed by the image camera 120. 3D thermal distribution indicator 200 is provided with a 3D thermal distribution display unit 250 for displaying a three-dimensional stereoscopic thermal image generated through the display unit 260, to generate and display a three-dimensional stereoscopic thermal image quickly and accurately Provided to do so.

Description

스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치 {3D THERMAL DISTRIBUTION DISPLAY DEVICE USING STEREO CAMERA AND THERMAL CAMERA} 3D Thermal Distribution Display Using Stereo Camera and Thermal Camera {3D THERMAL DISTRIBUTION DISPLAY DEVICE USING STEREO CAMERA AND THERMAL CAMERA}

본 발명은 3차원 열분포 표시장치에 관한 것으로, 특히 2대의 색상 카메라로 이루어진 스테레오 카메라와 1대의 열화상 카메라를 통하여 촬영되는 영상을 정합하여 3차원 입체 열영상 분포를 표시할 수 있도록 하는 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치에 관한 것이다. The present invention relates to a three-dimensional thermal distribution display device, and more particularly, to a stereo camera composed of two color cameras and a stereo camera for displaying a three-dimensional three-dimensional thermal image distribution by matching the image photographed through one thermal camera and A three-dimensional thermal distribution display device using a thermal imaging camera.

영상 처리 기술이 발전함에 따라 종래 하나의 카메라를 통하여 획득되는 영상을 단순 활용하는 것에서 벗어나, 근래에는 두 개의 카메라, 즉 스테레오 카메라를 이용하여 대상을 촬영한 후 촬영된 영상을 정합함으로써 깊이를 갖는 입체 스테레오 영상을 제작하는 방법이 이용되기도 한다. As image processing technology is developed, the conventional stereoscopic camera has a depth of three-dimensional image by matching a photographed image after capturing an object using two cameras, that is, a stereo camera. A method of producing stereo images is also used.

이러한 3차원 영상 기술은 최근 들어 차세대 멀티미디어 서비스를 이끌 핵심 기술로 주목을 받고 있는데, 깊이 영상을 기반으로 한 다시점 입체영상 기술은 다시점 영상과 다시점 깊이 영상을 이용한 영상 형식(multi-view video-plus-depth, MVD)을 이용한다. 깊이 영상은 영상의 각 화소별 3차원 거리를 나타내는 정보이므로, 각 화소를 원래의 3차원 위치로 재사영할 수 있다. 그리고 이를 이용하여 임의의 카메라 시점으로 재사영하면 임의의 시점으로 영상 합성이 가능하다. Recently, 3D image technology has attracted attention as a core technology to lead the next generation of multimedia services, and multiview stereoscopic image technology based on depth image is a multi-view video image using multiview image and multiview depth image. -plus-depth (MVD). Since the depth image is information representing a three-dimensional distance for each pixel of the image, each pixel may be reprojected to the original three-dimensional position. And when using this to re-project to an arbitrary camera point of view it is possible to synthesize the image at any point in time.

한편, 열화상 카메라(120)는 가시광선이 전혀 없는 환경에서도 선명한 이미지를 제공하는 장점이 있는데, 근래 들어 이러한 열화상 카메라 시장이 큰 폭의 성장세를 이루고 있고, 이에 따라 열 영상 기반의 사람 검출에 대한 연구 또한 활발히 진행되고 있다. On the other hand, the thermal imaging camera 120 has the advantage of providing a clear image even in the environment without visible light at all, in recent years, such a thermal imaging camera market has been growing rapidly, according to the thermal image-based detection of people Research is also actively underway.

대한민국 등록특허공보 제10-1426314호 (2014.07.29. 등록)Republic of Korea Patent Publication No. 10-1426314 (registered July 29, 2014) 대한민국 등록특허공보 제10-1528200호 (2016.06.05. 등록)Republic of Korea Patent Registration No. 10-1528200 (2016.06.05. Registration)

본 발명은 2개의 색상 카메라를 통하여 촬영되는 실영상을 정합하여 깊이 영상을 생성하고, 생성된 깊이 영상을 열화상 카메라를 통하여 촬영되는 열영상과 정합하여 3차원 입체 열영상을 생성하여 표시할 수 있도록 하는 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치를 제공하는데 그 목적이 있다. The present invention can generate a depth image by matching real images photographed through two color cameras, and generate and display a 3D stereoscopic image by matching the generated depth image with a thermal image photographed through a thermal imaging camera. It is an object of the present invention to provide a three-dimensional thermal distribution display using a stereo camera and a thermal imaging camera.

상기 목적을 달성하기 위한 본 발명에 따른 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치는 촬영 대상의 3차원 입체 열분포를 표시하기 위한 3차원 열분포 표시장치로서, 대상의 실영상을 각각 촬영하는 2개의 색상 카메라가 구비된 스테레오 카메라와, 대상의 열영상을 촬영하는 열화상 카메라가 구비된 카메라부와; 상기 2개의 색상 카메라를 통하여 촬영된 실영상을 정합하여 깊이 영상을 생성하는 깊이 영상 생성부와, 상기 깊이 영상 생성부를 통하여 생성된 깊이 영상과 열화상 카메라를 통하여 촬영된 열영상을 정합하여 깊이 영상 위에 열영상이 표시되는 3차원 입체 열영상을 생성하는 3D 열영상 생성부와, 상기 3D 열영상 생성부를 통하여 생성된 3차원 입체 열영상을 디스플레이부에 표시하는 3D 열분포 표시부가 구비된 3D 열분포 표시기;를 포함하여 이루어진다.A three-dimensional thermal distribution display using a stereo camera and a thermal imaging camera according to the present invention for achieving the above object is a three-dimensional thermal distribution display for displaying a three-dimensional three-dimensional thermal distribution of the object to be photographed, each of which captures the actual image of the target A camera unit including a stereo camera having two color cameras and a thermal imaging camera for capturing a target thermal image; A depth image generator for generating a depth image by matching real images photographed by the two color cameras, a depth image by matching a depth image generated by the depth image generator with a thermal image photographed through a thermal imaging camera 3D thermal image display unit having a 3D thermal image generating unit for generating a three-dimensional three-dimensional thermal image displaying a thermal image on the display, and a 3D thermal distribution display unit for displaying a three-dimensional three-dimensional thermal image generated by the 3D thermal image generating unit on a display It includes;

여기서, 상기 카메라부에는 스테레오 카메라를 구성하는 2개의 색상 카메라가 좌측 및 우측에 나란히 배치되고, 상기 좌측 색상 카메라와 우측 색상 카메라의 사이에 열화상 카메라가 나란히 배치되는 것이 바람직하다.Here, it is preferable that two color cameras constituting the stereo camera are arranged side by side on the left side and the right side, and the thermal imaging camera is disposed side by side between the left color camera and the right color camera.

또한, 상기 3D 열분포 표시기에는 2개의 색상 카메라를 통하여 촬영되는 실영상과 열화상 카메라를 통하여 촬영되는 열영상을 1:1 픽셀 매칭을 통해 정합하기 위해, 정합용 지그를 이용하여 각각의 카메라를 보정하는 카메라 보정부가 구비된다. In addition, the 3D thermal distribution indicator corrects each camera by using a matching jig in order to match the real image photographed by two color cameras and the thermal image photographed by the thermal imager through 1: 1 pixel matching. The camera correction unit is provided.

상기 카메라 보정부는 가로와 세로 방향으로 일정 간격으로 사각형 또는 원형 구멍이 형성된 흰색 바탕판과, 상기 흰색 바탕판의 후면에 착탈 가능하게 결합되어 흰색 바탕판에 형성된 구멍이 검은색으로 표현되도록 하는 검은색 이너판을 포함하는 정합용 지그를 이용하여 각 카메라를 보정하기 위한 보정 계수를 산출하되, 상기 흰색 바탕판과 검은색 이너판은 실온 상태 및 냉각 상태에서 각각 보관된 후 결합되어, 상기 열화상 카메라로 촬영되는 경우 흰색 바탕판과 검은색 이너판의 온도 차에 따라 검은색의 사각형 또는 원형 패턴이 추출될 수 있도록 한다. The camera correction unit is a white base plate formed with a rectangular or circular hole at regular intervals in the horizontal and vertical directions, and the black formed to be detachably coupled to the back of the white base plate to form a hole formed in the white base plate in black Compensation coefficients for calibrating each camera are calculated using a matching jig including an inner plate, wherein the white base plate and the black inner plate are respectively stored at room temperature and in a cooled state, and then coupled to each other. When shooting with a black square or circular pattern can be extracted according to the temperature difference between the white base plate and the black inner plate.

또한, 상기 카메라 보정 계수는 다음의 수학식을 통해 산출되는 카메라의 내부 변수(A) 및 외부 변수( R│t)를 포함한다.In addition, the camera correction coefficient includes an internal variable A and an external variable R | t of the camera calculated through the following equation.

Figure 112017119584448-pat00001
Figure 112017119584448-pat00001

(여기서, (fx, fy)는 X, Y축의 초점 거리, (cx, cy)는 영상의 중심을 나타내는 X, Y축의 주점, R은 두 카메라의 위치 관계를 정의하는 3×3 행렬의 회전 행렬, t는 3×1 행렬의 병진 벡터를 나타낸다) (Where (fx, fy) is the focal length of the X and Y axes, (cx, cy) is the principal point of the X and Y axes that represent the center of the image, and R is the 3 x 3 matrix of rotation that defines the positional relationship of the two cameras. , t represents a translation vector of a 3x1 matrix)

상기 산출된 카메라의 내부 변수와 외부 변수를 이용하여 2개의 색상 카메라와 1개의 열화상 카메라영상에 대한 1:1 팍셀 정합을 수행하되, 다음의 수학식을 통해 실영상 좌표가 색상 카메라 좌표계로 변환되어 3차원 지도로 표현되는 것이 바람직하다.Perform 1: 1 paxel matching between two color cameras and one thermal camera image using the calculated internal and external variables of the camera, and convert the real image coordinates to the color camera coordinate system through the following equation. Preferably expressed in a three-dimensional map.

Figure 112017119584448-pat00002
Figure 112017119584448-pat00002

(여기서, (fx, fy)는 X, Y축의 초점 거리, (cx, cy)는 영상의 중심을 나타내는 X, Y축의 주점, R은 두 카메라의 위치 관계를 정의하는 3×3 행렬의 회전 행렬, t는 3×1 행렬의 병진 벡터를 나타낸다)(Where (fx, fy) is the focal length of the X and Y axes, (cx, cy) is the principal point of the X and Y axes that represent the center of the image, and R is the 3 x 3 matrix of rotation that defines the positional relationship of the two cameras. , t represents a translation vector of a 3x1 matrix)

본 발명의 3차원 열분포 표시장치에 따르면, 2개의 색상 카메라와 1개의 열화상 카메라를 정합용 지그를 통해 동시에 보정하고, 2개의 색상 카메라를 통하여 촬영되는 실영상을 정합하여 깊이 영상을 생성하며, 생성된 깊이 영상에 화상 카메라를 통하여 촬영된 열영상을 정합하여 3차원 입체 열영상을 생성함으로써, 보다 신속하고 정확하게 3차원 입체 열영상을 생성하여 표시할 수 있는 효과가 있다. According to the 3D thermal distribution display device of the present invention, two color cameras and one thermal imager are simultaneously corrected through a matching jig, real images photographed through the two color cameras are matched, and a depth image is generated. By generating a 3D stereoscopic image by matching the generated depth image with the thermal image photographed through the image camera, the 3D stereoscopic image can be generated and displayed more quickly and accurately.

도 1은 본 발명에 따른 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치의 전체 개념도,
도 2는 본 발명에 따른 스테레오 카메라와 열화상 카메라의 배치도,
도 3은 본 발명에 따른 3D 열분포 표시기의 블럭 구성도,
도 4는 본 발명에 따른 다중 카메라의 1:1 픽셀 매칭을 위한 보정 개념도,
도 5는 본 발명에 따른 정합용 지그의 사시도,
도 6은 본 발명에 따른 정합용 지그를 통하여 특징점이 추출되는 일례,
도 7은 본 발명에 따른 3차원 열분포 표시장치를 통하여 3차원 입체 열영상이 생성되어 표시되는 과정을 나타낸 흐름도,
도 8은 본 발명에 따라 카메라 보정을 위해 정합용 지그를 촬영한 카메라부의 보정용 영상 일례,
도 9는 본 발명에 따른 카메라 변수 산출을 위한 핀홀 카메라 모델의 도식도,
도 10은 본 발명에 따른 실영상과 열영상이 1:1 픽셀 정합한 영상 일례,
도 11과 본 발명에 따른 색상 카메라 좌표로 변환된 3차원 열영상 일례,
도 12는 본 발명에 따라 디스플레이부에 표시되는 복합 영상의 일례를 나타낸 것이다. 1 is an overall conceptual diagram of a three-dimensional thermal distribution display device using a stereo camera and a thermal imaging camera according to the present invention;
2 is a layout view of a stereo camera and a thermal imaging camera according to the present invention;
3 is a block diagram of a 3D heat distribution indicator according to the present invention;
4 is a conceptual diagram of correcting for 1: 1 pixel matching of multiple cameras according to the present invention;
5 is a perspective view of a matching jig according to the present invention;
6 is an example in which feature points are extracted through a matching jig according to the present invention;
7 is a flowchart illustrating a process of generating and displaying a 3D stereoscopic image through a 3D thermal distribution display according to the present invention;
8 is an example of an image for correction of a camera unit photographing a matching jig for camera correction according to the present invention;
9 is a schematic diagram of a pinhole camera model for calculating a camera variable according to the present invention;
10 is an example of a 1: 1 pixel match between a real image and a thermal image according to the present invention;
11 and an example of a 3D thermal image converted into color camera coordinates according to the present invention,
12 illustrates an example of a composite image displayed on a display unit according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 스테레오 카메라(110)와 열화상 카메라(120)를 이용한 3차원 열분포 표시장치의 전체 개념도를 나타낸 것이다. 1 is a conceptual diagram illustrating a three-dimensional thermal distribution display using a stereo camera 110 and a thermal imaging camera 120 according to an exemplary embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 3차원 열분포 표시장치는 스테레오 카메라(110)와 열화상 카메라(120)를 통하여 대상을 촬영하는 카메라부(100)와, 상기 카메라부(100)를 통하여 촬영된 각각의 영상을 정합하여 3차원 입체 열영상을 생성하고 이를 3차원 열분포 화면으로 표시하는 3D 열분포 표시기(200)를 포함하여 이루어진다.  As shown in FIG. 1, the three-dimensional thermal distribution display according to the present invention includes a camera unit 100 for photographing an object through a stereo camera 110 and a thermal imaging camera 120, and the camera unit 100. And a 3D thermal distribution indicator 200 for generating a 3D stereoscopic image by matching each image photographed through the 3D thermal image.

상기 카메라부(100)에 구비된 스테레오 카메라(110)에는 소정 거리로 이격된 2개의 색상 카메라(111)(112)가 나란히 배치되는데, 이 스테레오 카메라(110)에 구비된 2개의 색상 카메라(111)(112)를 통하여 촬영되는 좌, 우 색상 영상(이하, "실영상"으로 명칭한다)을 정합하면 하나의 깊이 영상을 생성할 수 있게 된다. 또한, 카메라부(100)에 구비된 열화상 카메라(120)는 대상의 열분포 영상(이하, "열영상"이라 명칭한다)을 촬영하게 되는데, 이 열화상 카메라(120)를 통하여 촬영되는 대상의 열영상은 깊이 영상과 정합하는 경우 깊이 영상 위에 열영상이 표시되는 3차원 입체 열영상을 생성할 수 있게 된다. In the stereo camera 110 provided in the camera unit 100, two color cameras 111 and 112 spaced apart by a predetermined distance are arranged side by side, and two color cameras 111 provided in the stereo camera 110. When the left and right color images (hereinafter, referred to as "real images") photographed through the 112 are matched, one depth image may be generated. In addition, the thermal imaging camera 120 provided in the camera unit 100 captures a thermal distribution image (hereinafter, referred to as a “thermal image”) of the subject, and the subject to be photographed through the thermal imaging camera 120. When the thermal image is matched with the depth image, it is possible to generate a 3D stereoscopic image in which the thermal image is displayed on the depth image.

도 2는 본 발명의 실시 예에 따른 스테레오 카메라와 열화상 카메라의 배치도를 나타낸 것으로, 본 발명에서는 스테레오 카메라(110)를 구성하는 2개의 색상 카메라(111)(112) 사이에 열화상 카메라(120)를 배치하여, 3개의 카메라(111)(120)(112)가 나란히 배치되어 각각 영상을 획득하도록 하였다. 2 is a layout view of a stereo camera and a thermal imaging camera according to an exemplary embodiment of the present invention. In the present invention, the thermal imaging camera 120 is formed between two color cameras 111 and 112 constituting the stereo camera 110. ), Three cameras 111, 120, and 112 are arranged side by side to acquire images, respectively.

상기 3D 열분포 표시기(200)는 스테레오 카메라(110)로부터 전송되는 두 개의 실영상을 정합하여 깊이 영상을 생성하고, 이 깊이 영상과 열화상 카메라(120)로부터 전송되는 열영상을 정합하여 입체적인 3D 열영상을 생성하며, 생성된 3D 열영상을 통하여 3D 입체 열화상 분포를 표시하게 된다. The 3D thermal distribution indicator 200 generates a depth image by matching two real images transmitted from the stereo camera 110, and matches the depth image with the thermal image transmitted from the thermal camera 120 to generate a three-dimensional 3D column. An image is generated and a 3D stereoscopic image distribution is displayed through the generated 3D thermal image.

도 3은 본 발명의 실시 예에 따른 3D 열분포 표시기의 블럭 구성도를 나타낸 것이다. 3 is a block diagram of a 3D heat distribution indicator according to an exemplary embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명에 따른 3D 열분포 표시기(200)에는 스테레오 카메라(110)의 두 색상 카메라(111)(112) 및 열화상 카메라(120)를 보정하는 카메라 보정부(220)와, 스테레오 카메라(110)의 두 색상 카메라(111)(112)의 영상을 정합하여 깊이 영상을 생성하는 깊이 영상 생성부(230)와, 상기 깊이 영상 생성부(230)를 통하여 생성된 깊이 영상과 열화상 카메라(120)를 통하여 촬영된 열영상을 정합하여 3차원 입체 열영상을 생성하는 3D 열영상 생성부(240)와, 상기 3D 열영상 생성부(240)를 통하여 생성된 3차원 입체 열영상을 3차원 열화상 분포로 표시하는 3D 열분포 표시부(250)와, 영상을 표시하는 디스플레이부(260)와, 3D 열분포 표시기(200)의 동작을 설정하는 입력부(270)와, 외부 장치와 통신을 수행하는 통신부(280)와, 3D 열분포 표시기(200)를 통하여 생성되는 데이터를 저장하는 데이터베이스(290)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(210)가 구비된다. As shown in FIG. 3, the 3D thermal distribution indicator 200 according to the present invention includes a camera correction unit 220 for correcting two color cameras 111 and 112 and a thermal imaging camera 120 of the stereo camera 110. And a depth image generator 230 that matches images of two color cameras 111 and 112 of the stereo camera 110 to generate a depth image, and a depth image generated by the depth image generator 230. And a 3D thermal image generator 240 for generating a 3D stereoscopic image by matching the thermal images captured by the thermal imaging camera 120 and the 3D stereoscopic image generated by the 3D thermal imager 240. 3D thermal distribution display unit 250 for displaying a thermal image in a three-dimensional thermal image distribution, a display unit 260 for displaying an image, an input unit 270 for setting the operation of the 3D thermal distribution indicator 200, an external device, It is generated through the communication unit 280 for performing communication and the 3D heat distribution indicator 200 And a database 290 for storing the emitter, the central control unit 210 for controlling the operation of the respective constituent parts are provided.

상기 중앙제어부(210)는 3D 열분포 표시기(200)의 각 구성부를 제어하고 관리하는 장치로서, 이 중앙제어부(210)에는 중앙처리장치(CPU), 램(RAM), 롬(ROM) 등의 하드웨어 장치와 상기 하드웨어 장치를 인식하여 구동하는 소프트웨어가 구비되어 3D 열분포 표시기(200)의 전체적인 동작을 제어하게 된다.The central controller 210 controls and manages each component of the 3D heat distribution indicator 200. The central controller 210 includes hardware such as a CPU, a RAM, a ROM, and the like. A device and software for recognizing and driving the hardware device are provided to control the overall operation of the 3D heat distribution indicator 200.

상기 디스플레이부(260)는 중앙제어부(210)를 통해 처리되는 3D 열분포 표시기(200)의 동작 화면이 표시되는 출력장치로서, 이 디스플레이부(260)는 스테레오 카메라(110) 및 열화상 카메라(120)로 촬영된 영상과, 깊이 영상 생성부(230)를 통하여 생성된 깊이 영상과, 3D 열영상 생성부(240)를 통하여 생성된 3D 열영상을 표시하게 된다.The display unit 260 is an output device displaying an operation screen of the 3D heat distribution indicator 200 processed by the central controller 210. The display unit 260 is a stereo camera 110 and a thermal imaging camera 120. ), The depth image generated by the depth image generator 230, and the 3D thermal image generated by the 3D thermal image generator 240 are displayed.

상기 입력부(270)는 카메라부(100)로부터 실영상 또는 열화상을 제공받아 데이터베이스(290)에 등록하고, 관리자로부터 3D 열분포 표시기(200) 운영과 관련된 데이터를 입력받는 입력장치이고, 통신부(280)는 원격의 통신 장치, 예를 들면 3D 열분포 표시기(200)를 통하여 생성되는 깊이 영상이나 3D 열영상을 필요로 하는 영상처리장치 등과 통신을 설정하여 데이터를 송수신하는 통신 장치이다. The input unit 270 is an input device that receives a real image or a thermal image from the camera unit 100 and registers it in the database 290, and receives data related to the operation of the 3D heat distribution indicator 200 from an administrator, and the communication unit 280. ) Is a communication device configured to communicate with a remote communication device, for example, an image processing device requiring a 3D thermal image or a depth image generated through the 3D thermal distribution display 200, and transmit and receive data.

상기 데이터베이스(290)에는 카메라부(100)를 통하여 촬영되는 실영상 및 열영상과, 카메라 보정부(220)를 통하여 계산되는 각 카메라의 보정 정보와, 깊이 영상 생성부(230)를 통하여 생성되는 깊이 영상과, 3D 열영상 생성부(240)를 통하여 생성되는 3차원 입체 열영상 등의 데이터가 등록되어 관리된다. The database 290 includes a real image and a thermal image captured by the camera unit 100, correction information of each camera calculated through the camera correction unit 220, and a depth image generation unit 230. The depth image and data such as a 3D stereoscopic image generated through the 3D thermal image generator 240 are registered and managed.

상기 카메라 보정부(220)는 스테레오 카메라(110)의 두 색상 카메라(111)(112)와 열화상 카메라(120)의 정확한 영상 정합을 위해 카메라를 보정하는 프로그램 모듈이다. 3대의 서로 다른 카메라의 영상들을 1:1 픽셀 매칭을 하여 정합하기 위해서는, 3대의 카메라의 기준점을 찾아 기준점을 중심으로 각각 카메라 보정을 수행해야 한다. 도 4는 다중 카메라의 1:1 픽셀 매칭을 위한 보정 개념을 나타낸 것으로, 한 대의 색상 카메라(111)를 기준으로 하여 열화상 카메라(120)와 또 다른 색상 카메라(112)를 보정하게 된다. The camera correction unit 220 is a program module for correcting the camera for accurate image matching between the two color cameras 111 and 112 of the stereo camera 110 and the thermal imaging camera 120. In order to match images of three different cameras by 1: 1 pixel matching, the cameras should be calibrated by finding the reference points of the three cameras. 4 illustrates a correction concept for 1: 1 pixel matching of multiple cameras, and the thermal imaging camera 120 and another color camera 112 are corrected based on one color camera 111.

본 발명의 실시 예에서 상기 카메라 보정부(220)는 본 출원인에 의해 등록된 특허 제10-1426314호 "일반 컬러 카메라와 열상 카메라의 영상 정합용 지그"를 이용하여 카메라의 보정을 수행하게 된다. In an embodiment of the present invention, the camera correction unit 220 performs the camera calibration using Patent No. 10-1426314, "Image matching jig of a general color camera and a thermal camera," registered by the present applicant.

도 5는 본 발명에 적용된 정합용 지그의 사시도를 나타낸 것으로, 이 정합용 지그(10)는 가로와 세로 방향으로 일정 간격으로 사각형 또는 원형 구멍이 형성된 흰색 바탕판(11)과, 상기 흰색 바탕판(11)의 후면에 착탈 가능하게 결합되어 흰색 바탕판(11)에 형성된 구멍이 검은색으로 표현되도록 하는 검은색 이너판(12)을 포함하여 이루어진다. 상기의 구성으로 이루어진 정합용 지그(10)는 실온 상태의 전면 흰색 바탕판(11)과 냉각한 검은색 이너판(12)을 겹쳐놓고, 흰색 바탕판(11)과 검은색 이너판(12)의 온도차와 색상차를 이용하여 검은색의 사각형 또는 원형 패턴이 추출되도록 함으로써, 이종 카메라 간에 하나의 정합용 지그(10)를 사용하여 특징점을 뚜렷하게 구분할 수 있도록 하고 있다. Figure 5 shows a perspective view of a matching jig applied to the present invention, the matching jig 10 is a white base plate 11 is formed with a square or circular hole at regular intervals in the horizontal and vertical direction, and the white base plate Removably coupled to the rear of the (11) is made to include a black inner plate 12 so that the hole formed in the white base plate 11 is represented in black. The matching jig 10 having the above configuration overlaps the front white base plate 11 and the cooled black inner plate 12 at room temperature, and the white base plate 11 and the black inner plate 12. By using the temperature difference and the color difference of the black square or circular pattern to be extracted, by using a matching jig 10 between the heterogeneous camera to distinguish the feature points clearly.

본 발명에 적용된 정합용 지그(10)는 4×4cm의 정사각형 모양을 4cm 간격의 5×6 배열 형태로 흰색 바탕판(11)에 형성하여, 검은색 이너판(12)에 의해 격자 형태의 패턴이 형성되도록 하여, 이 패턴으로부터 코너의 특징점을 추출할 수 있도록 한다. 도 6은 정합용 지그를 통하여 특징점이 추출되는 일례를 나타낸 것으로, 이렇게 추출되는 특징점은 다중 카메라 보정을 위한 특징점으로 활용된다. 본 발명에서는 2개의 색상 카메라(111)(112)와 1개의 열화상 카메라(120)로 정합용 지그(10)를 촬영하여 보정용 영상을 획득한 후, 보정용 영상의 패턴에 따른 특징점을 추출하고, 추출된 특징점을 이용하여 각각의 카메라에 대한 보정 계수를 산출하게 된다. The matching jig 10 applied to the present invention forms a square shape of 4 × 4 cm on the white base plate 11 in a 5 × 6 arrangement in a 4 cm interval, and has a grid-shaped pattern by the black inner plate 12. Is formed so that the feature points of the corners can be extracted from this pattern. 6 shows an example in which feature points are extracted through a matching jig, and the extracted feature points are used as feature points for multi-camera correction. In the present invention, after photographing the jig 10 for registration with two color cameras 111, 112 and one thermal imaging camera 120 to obtain a correction image, and extracts the feature points according to the pattern of the correction image, The extracted feature point is used to calculate a correction factor for each camera.

상기 깊이 영상 생성부(230)는 스테레오 카메라(110)의 두 색상 카메라(111)(112)의 실영상을 정합하여 깊이 영상을 생성하는 프로그램 모듈이다. 상기 깊이 영상 생성부(230)는 스테레오 카메라(110)의 좌, 우 색상 카메라(111)(112)를 이용하여 공간의 좌, 우 실영상을 획득하고, 좌, 우 실영상으로부터 대상의 3차원 정보를 계산하여 깊이 영상을 생성하게 된다. 이때, 깊이 영상의 개별 픽셀에는 거리 정보가 인가되어 있다. 상기 깊이 영상 생성부(230)는 좌, 우 실영상의 정합시 보정(calibration)이 필요한데, 이 보정은 카메라 보정부(220)를 통하여 산출된 보정 계수를 통하여 이루어진다. The depth image generator 230 is a program module for generating a depth image by matching real images of two color cameras 111 and 112 of the stereo camera 110. The depth image generator 230 obtains a real left and right real image of the space using the left and right color cameras 111 and 112 of the stereo camera 110 and three-dimensional image of the object from the left and right real image. The depth information is generated by calculating the information. In this case, distance information is applied to individual pixels of the depth image. The depth image generator 230 needs calibration when matching the left and right real images, and the correction is performed through the correction coefficients calculated by the camera correction unit 220.

상기 3D 열영상 생성부(240)는 깊이 영상 생성부(230)를 통하여 생성된 깊이 영상에 열영상을 정합하여 3차원 입체 열영상을 생성하는 프로그램 모듈로서, 이 3D 열영상 생성부(240) 또한 깊이 영상과의 정합시 카메라 보정부(220)를 통하여 산출된 보정 계수를 이용하여 정합을 수행하게 된다. 즉, 스테레오 카메라(110)의 두 색상 카메라(111)(112)를 통하여 획득된 좌, 우 실영상과, 열화상 카메라(120)를 통하여 획득된 열영상을 정합하기 위해서는 정합 기준점이 필요한데, 카메라 보정부(220)에서 정합용 지그(10)를 통하여 카메라 간의 정합 기준점을 제공하는 각 카메라 보정 계수를 산출하기 때문에, 두 색상 카메라(111)(112)와 열화상 카메라(120)의 영상 정합시 산출된 보정 계수를 각각 적용함으로 깊이 영상 및 3D 열영상을 획득할 수 있게 되는 것이다. The 3D thermal image generator 240 is a program module for generating a 3D stereoscopic image by matching a thermal image to a depth image generated by the depth image generator 230, and the 3D thermal image generator 240. In addition, when matching with the depth image, the matching is performed using the correction coefficient calculated by the camera correction unit 220. That is, a matching reference point is required to match the left and right real images acquired through the two color cameras 111 and 112 of the stereo camera 110 with the thermal images acquired through the thermal camera 120. Since the correction unit 220 calculates each camera correction coefficient that provides a matching reference point between the cameras through the matching jig 10, when the images of the two color cameras 111 and 112 and the thermal imaging camera 120 are matched with each other. By applying the calculated correction coefficients respectively, it is possible to obtain a depth image and a 3D thermal image.

상기 3D 열분포 표시부(250)는 3D 열영상 생성부(240)를 통하여 생성된 3차원 입체 열영상을 디스플레이부(260)를 통하여 표시하는 프로그램 모듈로서, 이 3D 열분포 표시부(250)는 사용자의 선택에 따라 두 색상 카메라(111)(112) 및 열화상 카메라(120)를 통하여 획득된 실영상 및 열영상과, 좌 우 실영상이 정합된 깊이 영상과, 깊이 영상과 열영상이 정합된 3차원 입체 열영상을 선택적으로 또는 함께 디스플레이부(260)에 표시하여 사용자가 이를 확인할 수 있도록 제공한다. The 3D thermal distribution display unit 250 is a program module for displaying a 3D stereoscopic thermal image generated by the 3D thermal image generating unit 240 through the display unit 260. The 3D thermal distribution display unit 250 selects a user. Real and thermal images acquired through the two color cameras 111 and 112 and the thermal imaging camera 120, a depth image in which left and right real images are matched, and a three-dimensional depth image and a thermal image are matched. The 3D thermal image may be selectively or together displayed on the display unit 260 so that the user may check it.

이하에서는 본 발명에 따른 3차원 열분포 표시장치를 통하여 대상의 3차원 입체 열영상이 생성되어 3차원 열분포 화면으로 표시되는 과정에 대하여 설명한다.Hereinafter, a process of generating a 3D stereoscopic image of a target and displaying the 3D thermal distribution screen through the 3D thermal distribution display device according to the present invention will be described.

도 7은 본 발명의 실시 예에 따른 3차원 열분포 표시장치를 통하여 3차원 입체 열영상이 생성되어 표시되는 과정을 나타낸 흐름도이다. 7 is a flowchart illustrating a process of generating and displaying a 3D stereoscopic image through a 3D thermal distribution display according to an exemplary embodiment of the present invention.

단계 S100, S110 : 2개의 색상 카메라(111)(112)와 1개의 열화상 카메라(120)를 통하여 촬영되는 영상을 정합하기 위해, 먼저 각 카메라의 보정을 수행하게 된다. 카메라 보정을 위해 2개의 색상 카메라(111)(112)와 1개의 열화상 카메라(120)를 통하여 정합용 지그(10)를 촬영하면(S100), 열분포 표시기(200)의 카메라 보정부(220)는 촬영된 정합용 지그 영상의 패턴을 추출하여 각 카메라의 보정 계수를 산출하게 된다(S110).Steps S100 and S110: In order to match images captured by the two color cameras 111 and 112 and the one thermal imager 120, first, each camera is calibrated. When the matching jig 10 is photographed through two color cameras 111 and 112 and one thermal imager 120 for camera correction (S100), the camera correction unit 220 of the thermal distribution indicator 200 is performed. In operation S110, the pattern of the matching jig image is extracted to calculate a correction factor of each camera.

도 8은 카메라 보정을 위해 정합용 지그를 촬영한 카메라부의 보정용 영상 일례를 나타낸 것으로, 좌측과 우측은 색상 카메라(111)(112)로 촬영된 실영상을 나타내고, 중앙 영상은 열화상 카메라(120)로 촬영된 열영상을 나타내고 있다. 이렇게 다수의 카메라를 배치하여 보정하는 것을 다시점 카메라 보정이라고 하는데, 카메라 보정은 카메라 내부 변수와 외부 변수로 이루어진 보정 계수를 산출하고, 영상 정합시 이 보정 계수를 적용하여 이기종 영상 간의 정확한 정합이 이루어지도록 하는 것이다.FIG. 8 illustrates an example of an image for correction of a camera unit photographing a matching jig for camera correction, and left and right sides represent a real image photographed by the color cameras 111 and 112, and a center image is a thermal imager 120. The thermal image taken by) is shown. This multi-camera camera calibration is called multi-view camera calibration. Camera calibration calculates a correction coefficient consisting of camera internal and external variables, and applies the correction coefficients when matching images to achieve accurate matching between heterogeneous images. To lose.

본 발명에서는 각 카메라의 보정 계수를 추정하기 위해, 촬영된 정합용 지그(10)로부터 열영상 패턴과 일반 영상 패턴을 추출하고, 이렇게 추출된 패턴 정보를 이용하여 카메라 내부 변수 및 외부 변수를 산출하여 보정 계수를 추정하게 된다.In the present invention, in order to estimate the correction coefficient of each camera, the thermal image pattern and the general image pattern is extracted from the matching registration jig 10, and the camera internal and external variables are calculated using the extracted pattern information. The correction factor is estimated.

도 9는 카메라 변수 산출을 위한 핀홀 카메라 모델의 도식도를 나타낸 것이다. 9 shows a schematic diagram of a pinhole camera model for calculating camera parameters.

Figure 112017119584448-pat00003
Figure 112017119584448-pat00003

상기 수학식 1에서, A는 핀홀 카메라 모델에서 카메라의 주점, 초점거리, 왜곡을 정의하는 3×3 행렬의 카메라 내부 변수를 나타낸다. 또한, R│t는 카메라 외부 변수로서, 이 외부 변수는 두 카메라의 위치 관계를 정의하는 3×3 행렬의 회전 행렬(R)과 3×1 행렬의 병진 벡터(t)로 이루어진다. In Equation 1, A represents a camera internal variable of a 3x3 matrix that defines a principal point, a focal length, and a distortion of the camera in the pinhole camera model. Also, R | t is a camera external variable, which consists of a rotation matrix R of a 3x3 matrix and a translation vector t of a 3x1 matrix that define the positional relationship of the two cameras.

또한, (fx, fy)는 X, Y축의 초점 거리이고, (cx, cy)는 영상의 중심을 나타내는 X, Y축의 주점을 나타낸다. Also, (fx, fy) is the focal length of the X and Y axes, and (cx, cy) represents the principal points of the X and Y axes indicating the center of the image.

상기 수학식 1을 통해 추정되는 카메라 변수는 3차원 공간상의 점과 영상에 찍힌 화소의 관계를 설명한다. 예를 들어, 3차원 공간상의 한 점 Mw = [X, Y, Z]T 이 한 카메라로 투영되어 영상의 한 화소 m = [u v]T 로 사영되었을 경우, 이 두 점의 상관 관계를 다음의 수학식 2로 표현할 수 있다. The camera variable estimated through Equation 1 describes a relationship between a point in a 3D space and a pixel captured in an image. For example, if one point Mw = [X, Y, Z] T in three-dimensional space is projected by one camera and projected with one pixel m = [uv] T in the image, the correlation between these two points is It can be expressed by Equation 2.

Figure 112017119584448-pat00004
Figure 112017119584448-pat00004

이러한 기본 개념을 스테레오 카메라(110)의 두 색상 카메라(111)(112)와 중앙의 열화상 카메라(120)에 적용하면, 3차원 공간상의 한 점 Mw은 각 카메라의 영상에 다음의 수학식 3과 같이 사영된다.If this basic concept is applied to the two color cameras 111 and 112 of the stereo camera 110 and the central thermal camera 120, one point Mw in the three-dimensional space is represented by the following equation (3). Projected as

Figure 112017119584448-pat00005
Figure 112017119584448-pat00005

여기서, L, R은 왼쪽 및 오른쪽 색상 카메라(111)(112)를, t는 중앙의 열화상 카메라(120)를 표현한 것이다. Here, L and R represent left and right color cameras 111 and 112, and t represents a center thermal camera 120.

그리고 기준이 되는 정합용 지그(10)의 격자 패턴을 이용해서 두 카메라의 외부변수를 추출하고, 다음의 수학식 4를 이용하여 카메라 사이의 관계를 표현하는 회전 행렬과 병진 벡터를 구할 수 있다.The external variables of the two cameras are extracted using the grid pattern of the matching jig 10 as a reference, and a rotation matrix and a translation vector expressing the relationship between the cameras can be obtained using Equation 4 below.

Figure 112019066021616-pat00022
Figure 112019066021616-pat00022

여기서 Rcolor, tcolor과 Rdepth, tdepth는 각각 일반 색상 카메라(111)(112)와 열화상 카메라(120)의 회전 행렬 및 이동 벡터를 나타내고, Rcal, tcal은 깊이 카메라를 기준으로 한 회전 행렬 및 이동 벡터를 나타낸다. Where R color , t color , R depth , and t depth represent rotation matrices and movement vectors of the general color cameras 111, 112 and thermal imaging cameras 120, respectively, and R cal and t cal refer to the depth camera. Represent a rotation matrix and a motion vector.

이렇게 구한 카메라의 내부 변수와 외부 변수를 통해서 카메라 보정이 이루어질 수 있는데, 도 10은 실영상과 열영상이 1:1 픽셀 정합한 영상 일례를 나타낸 것이다. 그리고 다음의 수학식 5와 같이 실영상 좌표는 색상 카메라 좌표계로 변환할 수 있으며, 변환한 이후 도 11과 같이 3차원 지도로 표현할 수 있다.The camera correction may be performed through the internal and external variables of the camera, and FIG. 10 illustrates an example of a 1: 1 pixel match between a real image and a thermal image. As shown in Equation 5, the real image coordinates may be converted into a color camera coordinate system, and then converted into a 3D map as shown in FIG. 11.

Figure 112017119584448-pat00007
Figure 112017119584448-pat00007

여기서, 실영상 좌표는 (u,v), 색상 카메라(111)(112) 좌표계는 (X,Y,Z)이며, d는 실영상에 1:1 픽셀 정합된 거리 정보를 나타낸 것이다. 또한, (fx, fy)는 수학식 1에서와 같이 X, Y축의 초점 거리, (cx, cy)는 영상의 중심을 나타내는 X, Y축의 주점을 나타낸다.Here, the coordinates of the real image are (u, v), the coordinate system of the color cameras 111 and 112 is (X, Y, Z), and d represents distance information 1: 1 pixel matched to the real image. In addition, (fx, fy) represents the focal lengths of the X and Y axes, and (cx, cy) represents the principal points of the X and Y axes representing the center of the image, as in Equation 1.

단계 S120, S130 : 상기 과정을 통하여 2개의 색상 카메라(111)(112)와 1개의 화상 카메라에 대한 보정이 이루어지면, 2개의 색상 카메라(111)(112)와 1개의 열화상 카메라(120)를 통하여 대상을 촬영하여 실영상 및 열영상을 획득한 후(S120), 깊이 영상 생성부(230)는 카메라 보정부(220)를 통하여 산출된 각 색상 카메라(111)(112)의 보정 계수를 이용하여 2개의 색영상을 정합하여 하나의 깊이 영상을 생성하게 된다(S130). Steps S120 and S130: When correction is performed on the two color cameras 111 and 112 and one image camera through the above process, the two color cameras 111 and 112 and one thermal imaging camera 120 are performed. After acquiring the real image and the thermal image by capturing the target through S120, the depth image generator 230 adjusts the correction coefficients of the color cameras 111 and 112 calculated by the camera corrector 220. The two color images are matched to generate one depth image (S130).

단계 S140 : 2개의 색영상 정합을 통하여 깊이 영상이 생성되면, 3D 열영상 생성부(240)는 생성된 깊이 영상에 열영상을 정합하여 3차원 입체 열영상을 생성하게 된다. 상기 깊이 영상과 열영상의 정합시에도 카메라 보정부(220)를 통하여 산출된 화상 카메라의 보정 계수가 적용되어, 깊이 영상과 열영상이 1:1 픽셀 매칭이 이루어지게 된다. Step S140: When the depth image is generated through two color image registrations, the 3D thermal image generator 240 generates a 3D stereoscopic image by matching the thermal image to the generated depth image. When the depth image and the thermal image are matched, the correction coefficients of the image camera calculated by the camera correction unit 220 are applied to perform 1: 1 pixel matching between the depth image and the thermal image.

단계 S150 : 상기 과정을 통하여 깊이 영상과 3차원 입체 열영상이 생성되면, 3D 열분포 표시부(250)는 생성된 3차원 입체 열영상을 디스플레이부(260)에 출력하여 3차원 입체 열분포가 디스플레이될 수 있도록 한다. 도 12는 디스플레이부에 표시되는 복합 영상의 일례로서, 좌측 영상은 깊이 영상을, 중앙 영상은 열화상을, 우측 영상은 깊이 영상에 열영상이 정합된 3차원 입체 열영상을 나타낸 것이다. Step S150: When the depth image and the 3D stereoscopic image are generated through the above process, the 3D thermal distribution display unit 250 may output the generated 3D stereoscopic image to the display unit 260 to display the 3D stereoscopic thermal distribution. Make sure 12 illustrates an example of a composite image displayed on a display unit, in which a left image shows a depth image, a central image shows a thermal image, and a right image shows a 3D stereoscopic image in which a thermal image is matched to a depth image.

이와 같이, 본 발명에 따른 3차원 열분포 표시장치는 정합용 지그(10)를 통해 2개의 색상 카메라(111)(112)와 1개의 열화상 카메라(120)를 동시에 보정하고, 2개의 색상 카메라(111)(112)를 통하여 촬영되는 색영상을 정합하여 깊이 영상을 생성하며, 생성된 깊이 영상에 화상 카메라를 통하여 촬영된 열영상과 정합하여 3차원 입체 열영상을 생성하게 된다. 이렇게 생성되는 3차원 입체 열영상은 디스플레이 시 깊이 영상 위에 열영상이 함께 표시됨으로써 3차원 입체 열분포를 쉽게 파악할 수 있게 된다. As described above, the three-dimensional thermal distribution display according to the present invention simultaneously corrects two color cameras 111 and 112 and one thermal imager 120 through the matching jig 10, and two color cameras ( The depth image is generated by matching the color images photographed through 111 and 112, and the 3D stereoscopic image is generated by matching the generated depth image with the thermal image photographed through the image camera. The 3D stereoscopic image generated in this way can be easily identified by displaying the thermal image on the depth image when displayed.

이러한 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. The present invention is not limited to the above-described embodiments and various modifications and variations within the equivalent scope of the technical spirit of the present invention and the claims to be described below by those skilled in the art to which the present invention pertains. Of course this can be done.

100 : 카메라부 110 : 스테레오 카메라
111 : 색상 카메라 1 112 : 색상 카메라 2
120 : 열화상 카메라 200 : 열분포 표시기
210 : 중앙제어부 220 : 카메라 보정부
230 : 깊이 영상 생성부 240 : 3D 열영상 생성부
250 : 3D 열분포 표시부 260 : 디스플레이부
270 : 입력부 280 : 통신부
290 : 데이터베이스
10 : 정합용 지그 11 : 바탕판
12 : 이너판100: camera unit 110: stereo camera
111: color camera 1 112: color camera 2
120: thermal imaging camera 200: heat distribution indicator
210: central control unit 220: camera correction unit
230: depth image generator 240: 3D thermal image generator
250: 3D heat distribution display unit 260: display unit
270: input unit 280: communication unit
290: database
10: matching jig 11: the base plate
12: inner plate

Claims (6)

대상의 실영상을 각각 촬영하는 2개의 색상 카메라(111)(112)가 구비된 스테레오 카메라(110)와, 대상의 열영상을 촬영하는 열화상 카메라(120)가 구비된 카메라부(100)와; 상기 2개의 색상 카메라(111)(112)를 통하여 촬영된 실영상을 정합하여 깊이 영상을 생성하는 깊이 영상 생성부(230)와, 상기 깊이 영상 생성부(230)를 통하여 생성된 깊이 영상과 열화상 카메라(120)를 통하여 촬영된 열영상을 정합하여 깊이 영상 위에 열영상이 표시되는 3차원 입체 열영상을 생성하는 3D 열영상 생성부(240)와, 상기 3D 열영상 생성부(240)를 통하여 생성된 3차원 입체 열영상을 디스플레이부(260)에 표시하는 3D 열분포 표시부(250)가 구비된 3D 열분포 표시기(200);를 포함하는 3차원 열분포 표시장치로서,
상기 카메라부(100)에는 좌측 및 우측에 나란히 배치되는 2개의 색상 카메라(111)(112) 사이에 열화상 카메라(120)가 나란히 배치되고, 상기 3D 열분포 표시기(200)에는 2개의 색상 카메라(111)(112)를 통하여 촬영되는 실영상과 열화상 카메라(120)를 통하여 촬영되는 열영상을 1:1 픽셀 매칭을 통해 정합하기 위해 각각의 카메라를 보정하는 카메라 보정부(220)가 구비되어,
상기 카메라 보정부(220)는 가로와 세로 방향으로 일정 간격으로 사각형 또는 원형 구멍이 형성된 흰색 바탕판(11)과, 상기 흰색 바탕판(11)의 후면에 착탈 가능하게 결합되는 검은색 이너판(12)을 포함하는 정합용 지그(10)를 이용하여 각 카메라 보정 계수를 산출하되, 상기 흰색 바탕판(11)과 검은색 이너판(12)은 실온 상태 및 냉각 상태에서 각각 보관된 후 결합되어, 상기 열화상 카메라(120)로 촬영되는 경우 흰색 바탕판(11)과 검은색 이너판(12)의 온도 차에 따라 검은색의 사각형 또는 원형 패턴이 추출될 수 있도록 하며,
상기 카메라 보정 계수는 수학식
Figure 112019066021616-pat00023

(여기서, (fx, fy)는 X, Y축의 초점 거리, (cx, cy)는 영상의 중심을 나타내는 X, Y축의 주점, R은 두 카메라의 위치 관계를 정의하는 3×3 행렬의 회전 행렬, t는 3×1 행렬의 병진 벡터를 나타낸다)을 통해 산출되는 카메라의 내부 변수(A) 및 외부 변수( R│t)를 포함하고,
상기 산출된 카메라의 내부 변수와 외부 변수를 이용하여 2개의 색상 카메라(111)(112)와 1개의 열화상 카메라(120)영상에 대한 1:1 팍셀 정합을 수행하되, 수학식
Figure 112019066021616-pat00024

(여기서, (fx, fy)는 X, Y축의 초점 거리, (cx, cy)는 영상의 중심을 나타내는 X, Y축의 주점, (u,v)는 실영상 좌표, (X,Y,Z)는 색상 카메라 좌표계를 나타내며, d는 실영상에 1:1 픽셀 정합된 거리 정보를 나타낸다) 을 통해 실영상 좌표가 색상 카메라 좌표계로 변환되어 3차원 지도로 표현되는 것을 특징으로 하는 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치.A stereo camera 110 equipped with two color cameras 111 and 112 for capturing a real image of the subject, and a camera unit 100 provided with a thermal imaging camera 120 for capturing a subject's thermal image. ; A depth image generator 230 for generating a depth image by matching real images photographed by the two color cameras 111 and 112, and a depth image and a column generated by the depth image generator 230. The 3D thermal image generator 240 and the 3D thermal image generator 240 for generating a 3D stereoscopic thermal image in which a thermal image is displayed on a depth image by matching thermal images photographed by the image camera 120. A 3D thermal distribution display device comprising: a 3D thermal distribution display unit 200 having a 3D thermal distribution display unit 250 displaying a 3D stereoscopic thermal image generated through the display unit 260.
The thermal imaging camera 120 is disposed side by side between two color cameras 111 and 112 disposed side by side on the left and right sides of the camera unit 100, and the two color cameras are arranged on the 3D thermal distribution indicator 200. Camera correction unit 220 is provided to correct each camera to match the real image photographed through the 111 and 112 and the thermal image photographed through the thermal imaging camera 120 through 1: 1 pixel matching. ,
The camera correction unit 220 is a white base plate 11 having a rectangular or circular hole formed at regular intervals in the horizontal and vertical directions, and a black inner plate detachably coupled to the rear surface of the white base plate 11 ( Each camera correction coefficient is calculated using the matching jig 10 including 12), wherein the white base plate 11 and the black inner plate 12 are respectively stored at room temperature and in a cooled state, and then combined. When photographing with the thermal imaging camera 120, a black square or circular pattern may be extracted according to a temperature difference between the white base plate 11 and the black inner plate 12.
The camera correction coefficient is
Figure 112019066021616-pat00023

(Where (fx, fy) is the focal length of the X and Y axes, (cx, cy) is the principal point of the X and Y axes that represent the center of the image, and R is the 3 x 3 matrix of rotation that defines the positional relationship of the two cameras. , t denotes a translation vector of a 3x1 matrix) and an internal variable A and an external variable R│t,
A 1: 1 paxel matching is performed on the images of two color cameras 111 and 112 and one thermal imager 120 by using the calculated internal and external variables of the camera.
Figure 112019066021616-pat00024

(Where (fx, fy) is the focal length of the X and Y axes, (cx, cy) is the principal point of the X and Y axes representing the center of the image, (u, v) is the real image coordinates, and (X, Y, Z) Represents a color camera coordinate system, and d represents distance information that is 1: 1 pixel matched to the real image), and the stereo image and the thermal image are converted into a color camera coordinate system and represented as a 3D map. 3D thermal distribution display using a camera. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020170162620A 2017-11-30 2017-11-30 3d thermal distribution display device using stereo camera and thermal camera KR102041544B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170162620A KR102041544B1 (en) 2017-11-30 2017-11-30 3d thermal distribution display device using stereo camera and thermal camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170162620A KR102041544B1 (en) 2017-11-30 2017-11-30 3d thermal distribution display device using stereo camera and thermal camera

Publications (2)

Publication Number Publication Date
KR20190063671A KR20190063671A (en) 2019-06-10
KR102041544B1 true KR102041544B1 (en) 2019-11-06

Family

ID=66848184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170162620A KR102041544B1 (en) 2017-11-30 2017-11-30 3d thermal distribution display device using stereo camera and thermal camera

Country Status (1)

Country Link
KR (1) KR102041544B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311435B1 (en) * 2020-06-12 2021-10-12 인하대학교 산학협력단 3d thermal imaging camera
KR102309976B1 (en) * 2020-08-03 2021-10-08 주식회사 덱셀리온 System for simultaneoiusly displaying images containing different information for a scene and method therefore
KR102251307B1 (en) 2020-09-10 2021-05-13 주식회사 콕스 Thermal camera system with distance measuring function
KR102302907B1 (en) * 2020-11-09 2021-09-17 한화시스템 주식회사 Stereo awareness apparatus, and method for generating disparity map in the stereo awareness apparatus
KR102487590B1 (en) 2020-12-04 2023-01-13 주식회사 콕스 Method for measuring of object based on face-recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366953A (en) * 2001-06-11 2002-12-20 Central Res Inst Of Electric Power Ind Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method
KR101426314B1 (en) * 2014-04-24 2014-08-06 (주)코어센스 Jig for synthesizing image of color camera and thermal camera
KR101522996B1 (en) * 2015-01-30 2015-05-27 (주)코어센스 Composite video signal output device for nondestructive inspection

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528200B1 (en) 2014-12-30 2015-06-12 한국기초과학지원연구원 An apparatus for three dimensional thermal image measurement and a method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366953A (en) * 2001-06-11 2002-12-20 Central Res Inst Of Electric Power Ind Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method
KR101426314B1 (en) * 2014-04-24 2014-08-06 (주)코어센스 Jig for synthesizing image of color camera and thermal camera
KR101522996B1 (en) * 2015-01-30 2015-05-27 (주)코어센스 Composite video signal output device for nondestructive inspection

Also Published As

Publication number Publication date
KR20190063671A (en) 2019-06-10

Similar Documents

Publication Publication Date Title
KR102041544B1 (en) 3d thermal distribution display device using stereo camera and thermal camera
CN109767474B (en) Multi-view camera calibration method and device and storage medium
TWI555378B (en) An image calibration, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof
JP6764533B2 (en) Calibration device, chart for calibration, chart pattern generator, and calibration method
TWI555379B (en) An image calibrating, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN110462686A (en) For obtaining the device and method of depth information from scene
US8441518B2 (en) Imaging apparatus, imaging control method, and recording medium
JP2009524349A (en) Adjustment method of stereoscopic display system
KR102206108B1 (en) A point cloud registration method based on RGB-D camera for shooting volumetric objects
JP2010278878A (en) Stereoscopic image device and display image switching method thereof
CN112967337B (en) Biped robot control method and device and biped robot
JP6897082B2 (en) Computer program for face orientation estimation, face orientation estimation device and face orientation estimation method
CN104599317A (en) Mobile terminal and method for achieving 3D (three-dimensional) scanning modeling function
TWI676855B (en) Projector calibration method and projection system using the same
CN108090877A (en) A kind of RGB-D camera depth image repair methods based on image sequence
JP6768933B2 (en) Information processing equipment, information processing system, and image processing method
JP2022024688A (en) Depth map generation device and program thereof, and depth map generation system
EP3048581B1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
CN115797466A (en) Rapid three-dimensional space calibration method
KR102107465B1 (en) System and method for generating epipolar images by using direction cosine
CN113469886A (en) Image splicing method based on three-dimensional reconstruction
Chen et al. Human face modeling and recognition through multi-view high resolution stereopsis
CN111508071B (en) Binocular camera-based 3D modeling method and shooting terminal
CN111080689B (en) Method and device for determining face depth map
KR102049396B1 (en) Method for generating rear around view using stereo camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant