KR20200094257A - Multiple ir band sensor module system using spatial alignment and image fusion method using the same - Google Patents

Multiple ir band sensor module system using spatial alignment and image fusion method using the same Download PDF

Info

Publication number
KR20200094257A
KR20200094257A KR1020190011379A KR20190011379A KR20200094257A KR 20200094257 A KR20200094257 A KR 20200094257A KR 1020190011379 A KR1020190011379 A KR 1020190011379A KR 20190011379 A KR20190011379 A KR 20190011379A KR 20200094257 A KR20200094257 A KR 20200094257A
Authority
KR
South Korea
Prior art keywords
image
thermal infrared
module
rgb
depth
Prior art date
Application number
KR1020190011379A
Other languages
Korean (ko)
Other versions
KR102595600B1 (en
Inventor
이창훈
황호훈
이선용
신광용
김영수
김솔
현규민
Original Assignee
주식회사 유니크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유니크 filed Critical 주식회사 유니크
Priority to KR1020190011379A priority Critical patent/KR102595600B1/en
Publication of KR20200094257A publication Critical patent/KR20200094257A/en
Application granted granted Critical
Publication of KR102595600B1 publication Critical patent/KR102595600B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The present invention relates to a multiple IR band sensor module system using spatial alignment and an image fusion method using the same, and more particularly, to a multiple IR band sensor module system using spatial alignment for synchronizing spaces of images obtained from a thermal infrared sensor module, an RGB sensor module and a depth sensor module, and an image fusion method using the same. According to the multiple IR band sensor module system using spatial alignment and the image fusion method using the same of the present invention, the spaces of the images obtained from the thermal infrared sensor module, the RGB sensor module and the depth sensor module are aligned and merged to obtain accurate information from the merged image, wherein the spaces of the images may different from each other. The multiple IR band sensor module system using spatial alignment comprises a multiple IR band sensor and an image fusion module.

Description

공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법{MULTIPLE IR BAND SENSOR MODULE SYSTEM USING SPATIAL ALIGNMENT AND IMAGE FUSION METHOD USING THE SAME}Multi-IR band sensor module system using spatial alignment and image fusion method using the same{MULTIPLE IR BAND SENSOR MODULE SYSTEM USING SPATIAL ALIGNMENT AND IMAGE FUSION METHOD USING THE SAME}

본 발명은 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법에 대한 것으로서, 특히 열 적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈에서 획득되는 이미지들의 공간을 동기화하는 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법에 관한 것이다.The present invention relates to a multi-IR band sensor module system using spatial alignment and an image fusion method using the same, and in particular, multiplex using spatial alignment to synchronize the spaces of the images obtained from the thermal infrared sensor module, RGB sensor module, and depth sensor module. It relates to an IR band sensor module system and an image fusion method using the same.

다중 IR 대역 센서는 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 각각 획득하는 열 적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈로 구성된다. 또한, 각각의 센서 모듈에서 획득되는 이미지들을 융합한 후 필요한 정보를 이용한다. 여기서, 열 적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈은 서로 프레임이 상이하다. 따라서, 이러한 다중 IR 대역 센서를 차량에 적용할 경우, 센서 모듈 각각의 위치 및 각도 차이에 따라 열 적외선 이미지와 RGB 이미지 및 깊이 이미지가 정확하게 병합되지 않는 문제가 있다.The multiple IR band sensor is composed of a thermal infrared sensor module, an RGB sensor module, and a depth sensor module, which acquire thermal thermal images, RGB images, and depth images, respectively. In addition, after fusion of images obtained from each sensor module, necessary information is used. Here, the thermal infrared sensor module, the RGB sensor module, and the depth sensor module have different frames from each other. Therefore, when such a multi-IR band sensor is applied to a vehicle, there is a problem in that the thermal infrared image, the RGB image, and the depth image are not accurately merged according to the position and angle difference of each sensor module.

한국등록특허공보 제10-1711949호(2017.02.24. 등록)Korean Registered Patent Publication No. 10-1711949 (Registration on Feb. 24, 2017) 한국등록특허공보 제10-0551826호(2006.02.06. 등록)Korean Registered Patent Publication No. 10-0551826 (Registered on Feb. 2006, 2006)

본 발명의 목적은 획득되는 공간이 서로 상이한 센서 모듈에서 획득되는 이미지들을 정렬할 수 있는 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법을 제공하는 것이다.An object of the present invention is to provide a multi-IR band sensor module system using spatial alignment and an image fusion method using the same, which can align images acquired from sensor modules having different acquired spaces.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, other objects and advantages of the present invention that are not mentioned can be understood by the following description, and will be more clearly understood by embodiments of the present invention. In addition, it will be readily appreciated that the objects and advantages of the present invention can be realized by means of the appended claims and combinations thereof.

본 발명에 따른 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템은 열 적외선 이미지를 획득하는 열 적외선 센서 모듈과, RGB 이미지를 획득하는 RGB 센서 모듈, 및 깊이 이미지를 획득하는 깊이 센서 모듈을 포함하는 다중 IR 대역 센서와, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬한 후 융합하는 이미지 융합 모듈을 포함한다.The multi-IR band sensor module system using spatial alignment according to the present invention is a multi-IR including a thermal infrared sensor module for acquiring a thermal infrared image, an RGB sensor module for acquiring an RGB image, and a depth sensor module for acquiring a depth image. It includes a band sensor, and an image fusion module that superimposes, aligns, and fuses the thermal infrared image, the RGB image, and the depth image based on specific objects of the thermal infrared image, the RGB image, and the depth image.

상기 이미지 융합 모듈은, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬하는 위치 보정 모듈과, 상기 위치 보정 모듈에서 중첩되어 정렬된 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에서, 중첩되지 않는 영역을 삭제한 후 병합하여 병합 이미지를 생성하는 프레임 병합 모듈을 포함한다.The image fusion module is superimposed on the position correction module and the position correction module for superimposing and aligning the thermal infrared image and the RGB image and the depth image based on a specific object of the thermal infrared image and the RGB image and the depth image. And a frame merging module that generates a merged image by deleting non-overlapping regions from the aligned thermal infrared image, RGB image, and depth image.

상기 프레임 병합 모듈에서 병합된 병합 이미지에, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 중 가장 높은 해상도 이상인 해상도를 갖는 추가 프레임을 병합하는 프레임 추가 모듈과, 상기 추가 프레임이 병합된 병합 이미지를 상기 추가 프레임의 해상도로 리사이징하는 리사이징 모듈을 포함한다.In the merged image merged by the frame merge module, the frame add module for merging additional frames having a resolution higher than or equal to the highest resolution among the thermal infrared image, the RGB image, and the depth image, and the merged image in which the additional frames are merged are added. It includes a resizing module that resizes to the resolution of the frame.

상기 리사이징 모듈은 상기 추가 프레임의 해상도로 리사이징된 병합 이미지에서, 각각의 픽셀에 대한 정보를 추출하며, 상기 정보는 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 각각에 포함된 정보를 포함한다.The resizing module extracts information about each pixel from a merged image resized to the resolution of the additional frame, and the information includes information included in each of the thermal infrared image, the RGB image, and the depth image.

본 발명에 따른 이미지 융합 방법은, 열 적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈이 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 획득하는 단계와, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 이미지 융합 모듈이, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬한 후 융합하는 단계를 포함한다.In the image fusion method according to the present invention, a thermal infrared sensor module, an RGB sensor module, and a depth sensor module acquire thermal thermal images, RGB images, and depth images, and image fusion of the thermal infrared images, RGB images, and depth images The module includes the thermal infrared image and the RGB image and the depth of the image and overlaps them based on a specific object, and then fuses them.

상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 이미지 융합 모듈이, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬한 후 융합하는 단계는, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 위치 보정 모듈이 중첩시켜 정렬하는 단계와, 상기 위치 보정 모듈에서 중첩되어 정렬된 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에서, 프레임 병합 모듈이 중첩되지 않는 영역을 삭제한 후 병합하여 병합 이미지를 생성하는 단계를 포함한다.The step of fusing the thermal infrared image, the RGB image, and the depth image by arranging the thermal infrared image and the RGB image and the depth image by overlapping and aligning them based on a specific object, includes the thermal infrared image and the RGB image and Positioning the depth image, the thermal infrared image and the RGB image and the depth correction module based on a specific object in the depth image, and aligning the thermal infrared image and the RGB image and the depth image superimposed and aligned in the position correction module. And deleting a region in which the frame merge module does not overlap, and then merging to generate a merged image.

상기 프레임 병합 모듈에서 병합된 병합 이미지에, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 중 가장 높은 해상도 이상인 해상도를 갖는 추가 프레임을 프레임 추가 모듈이 병합하는 단계와,A step of adding a frame having a resolution higher than or equal to the highest resolution among the thermal infrared image, the RGB image, and the depth image to the merged image merged by the frame merging module;

상기 추가 프레임이 병합된 병합 이미지를 상기 추가 프레임의 해상도로 리사이징 모듈이 리사이징하는 단계를 포함한다.And a resizing module resizing the merged image in which the additional frames are merged to the resolution of the additional frames.

상기 추가 프레임이 병합된 병합 이미지를 상기 추가 프레임의 해상도로 리사이징 모듈이 리사이징하는 단계는, 상기 리사이징 모듈이 상기 추가 프레임의 해상도로 리사이징된 병합 이미지에서, 각각의 픽셀에 대한 정보를 추출하는 단계를 포함하며, 상기 정보는 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 각각에 포함된 정보를 포함한다.In the resizing module resizing the merged image in which the additional frames are merged to the resolution of the additional frame, the resizing module extracts information about each pixel from the merged image resized in the resolution of the additional frame. And the information included in each of the thermal infrared image, the RGB image, and the depth image.

본 발명에 따른 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법은 이미지가 획득되는 공간이 서로 상이할 수 있는 열 적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈에서 획득되는 이미지들의 공간을 정렬한 후 병합함으로써, 병합된 이미지에서 정확한 정보를 획득할 수 있다.The multiple IR band sensor module system using spatial alignment according to the present invention and an image fusion method using the same are the spaces of the images obtained from the thermal infrared sensor module, the RGB sensor module, and the depth sensor module, where the spaces from which the images are acquired may be different from each other. By sorting and merging, it is possible to obtain accurate information from the merged image.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.In addition to the above-described effects, the concrete effects of the present invention will be described together while describing the specific matters for carrying out the invention.

도 1은 본 발명에 따른 다중 IR 대역 센서 모듈의 개략 투영 사시도이다.
도 2는 본 발명에 따른 다중 IR 대역 센서 모듈의 블록도이다.
도 3은 본 발명에 따른 다중 IR 대역 센서 모듈에서 획득되는 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 해상도를 표현한 개념도이다.
도 4 및 도 5는 본 발명에 따른 다중 IR 대역 센서 모듈에서 위치 보정 모듈을 설명하기 위한 개념도이다.
도 6 및 도 7은 본 발명에 따른 공간 정렬을 이용한 다중 IR 대역 센서 시스템을 차량에 적용한 예시도이다.
도 8은 본 발명에 따른 이미지 융합 방법의 순서도이다.1 is a schematic projection perspective view of a multiple IR band sensor module according to the present invention.
2 is a block diagram of a multiple IR band sensor module according to the present invention.
3 is a conceptual diagram representing the resolution of a thermal infrared image, an RGB image, and a depth image obtained from a multi-IR band sensor module according to the present invention.
4 and 5 are conceptual views for explaining a position correction module in the multiple IR band sensor module according to the present invention.
6 and 7 are exemplary diagrams in which a multi-IR band sensor system using spatial alignment according to the present invention is applied to a vehicle.
8 is a flowchart of an image fusion method according to the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features, and advantages will be described in detail below with reference to the accompanying drawings, and accordingly, a person skilled in the art to which the present invention pertains can easily implement the technical spirit of the present invention. In the description of the present invention, when it is determined that detailed descriptions of known technologies related to the present invention may unnecessarily obscure the subject matter of the present invention, detailed descriptions will be omitted. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals in the drawings are used to indicate the same or similar components.

이하에서는, 본 발명의 몇몇 실시예에 따른 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템과 이를 이용한 이미지 융합 방법을 설명하도록 한다.Hereinafter, a multi-IR band sensor module system using spatial alignment and an image fusion method using the same will be described according to some embodiments of the present invention.

도 1은 본 발명에 따른 다중 IR 대역 센서 모듈의 개략 투영 사시도이고, 도 2는 본 발명에 따른 다중 IR 대역 센서 모듈의 블록도이다.1 is a schematic projection perspective view of a multiple IR band sensor module according to the present invention, and FIG. 2 is a block diagram of a multiple IR band sensor module according to the present invention.

본 발명에 따른 다중 IR 대역 센서 모듈은 도 1 및 도 2에 도시된 바와 같이, 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 획득하는 다중 IR 대역 센서(100)와, 다중 IR 센서 대역 센서(100)에서 획득된 이미지를 융합하는 이미지 융합 모듈(200)을 포함한다.The multi-IR band sensor module according to the present invention is a multi-IR band sensor 100 and a multi-IR sensor band sensor 100 for acquiring thermal infrared images, RGB images and depth images, as shown in FIGS. 1 and 2. It includes an image fusion module 200 to fuse the image obtained in the.

다중 IR 대역 센서(100)는 차량 내의 열과 빛을 획득하여 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 생성하도록 한다. 이를 위해서, 다중 IR 대역 센서(100)는 도 2에 도시된 바와 같이, 차량 내 온도 정보를 획득하는 열 적외선 센서 모듈(110)과, 차량 내 RGB 정보를 획득하는 RGB 센서 모듈(120), 및 차량 내 깊이 정보를 획득하는 깊이(3D-Depth) 센서 모듈(130)을 포함한다.The multiple IR band sensor 100 acquires heat and light in the vehicle to generate a thermal infrared image, an RGB image, and a depth image. To this end, the multi-IR band sensor 100, as shown in Figure 2, the thermal infrared sensor module 110 for obtaining the temperature information in the vehicle, and the RGB sensor module 120 for obtaining the RGB information in the vehicle, and It includes a depth (3D-Depth) sensor module 130 for obtaining the depth information in the vehicle.

열 적외선 센서 모듈(110)은 차량 내에 열적외선을 조사하여 온도 정보를 획득한다. 여기서 획득되는 온도 정보는 탑승자 체온 정보와 차량 실내 온도 정보를 포함한다. 또한, 동승자가 있을 경우 동승자 체온 정보도 포함한다.The thermal infrared sensor module 110 acquires temperature information by irradiating thermal infrared rays in the vehicle. The temperature information obtained here includes passenger temperature information and vehicle interior temperature information. In addition, if there is a passenger, the temperature information of the passenger is also included.

RGB 센서 모듈(120)은 차량 내 RGB 정보를 획득한다. 이에 따라, RGB 정보는 탑승자 및 실내 밝기 정보를 포함한다. 즉, RGB 센서 모듈(120)은 밝기 정보로 탑승자 및 사물을 표시한다.The RGB sensor module 120 acquires RGB information in the vehicle. Accordingly, the RGB information includes passenger and room brightness information. That is, the RGB sensor module 120 displays occupants and objects with brightness information.

깊이 센서 모듈(130)은 차량 내 깊이 정보를 획득한다. 여기서, 깊이 센서 모듈(130)에 의해 획득된 깊이 정보는 탑승자 상태 정보와 탑승자 체형 정보 및 탑승자 자세 정보를 포함한다.The depth sensor module 130 acquires depth information in the vehicle. Here, the depth information obtained by the depth sensor module 130 includes occupant status information, occupant body shape information, and occupant posture information.

이미지 융합 모듈(200)은 열 적외선 센서 모듈(110)에서 획득된 열 적외선 이미지 생성 모듈(210)과, RGB 센서 모듈(120) RGB 이미지 생성 모듈(220), 깊이 이미지 생성 모듈(230), 및 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합하는 이미지 병합 모듈(240)을 포함한다.The image fusion module 200 includes a thermal infrared image generation module 210 obtained from the thermal infrared sensor module 110, an RGB sensor module 120, an RGB image generation module 220, a depth image generation module 230, and And an image merging module 240 that merges the thermal infrared image, the RGB image, and the depth image.

열 적외선 이미지 생성 모듈(210)은 열 적외선 센서 모듈(110)에서 획득된 온도 정보를 기반으로 열적외선 이미지를 생성한다. 이는 열 적외선 센서 모듈(110)에서 획득된 열적외선 정보를 디지털화하여 수행할 수 있다. 여기서, 열 적외선 이미지 생성 모듈(210)에서 생성되는 열 적외선 이미지는 시간의 흐름에 따라 생성된 다수개의 열 적외선 이미지 프레임으로 구성된다.The thermal infrared image generation module 210 generates a thermal infrared image based on the temperature information obtained from the thermal infrared sensor module 110. This may be performed by digitizing the thermal infrared information obtained from the thermal infrared sensor module 110. Here, the thermal infrared image generated by the thermal infrared image generation module 210 is composed of a plurality of thermal infrared image frames generated over time.

RGB 이미지 생성 모듈(220)은 RGB 센서 모듈(120)에서 획득된 RGB 정보를 디지털화하여 RGB 이미지를 생성한다. 여기서, RGB 이미지 생성 모듈(220)에서 생성되는 RGB 이미지 역시 다수개의 RGB 이미지 프레임으로 구성된다.The RGB image generation module 220 digitizes the RGB information obtained from the RGB sensor module 120 to generate an RGB image. Here, the RGB image generated by the RGB image generation module 220 is also composed of a plurality of RGB image frames.

깊이 이미지 생성 모듈(230)은 깊이 센서 모듈(130)에서 획득된 깊이 정보를 기반으로 깊이 이미지를 생성한다. 여기서, 깊이 이미지 생성 모듈(230) 역시 깊이 센서 모듈(130)에서 획득된 깊이 정보를 디지털화하여 수행한다. 또한, 깊이 이미지 생성 모듈(230)에서 생성되는 깊이 이미지는 다수개의 깊이 이미지 프레임으로 구성된다.The depth image generation module 230 generates a depth image based on the depth information obtained from the depth sensor module 130. Here, the depth image generation module 230 is also performed by digitizing the depth information obtained from the depth sensor module 130. In addition, the depth image generated by the depth image generation module 230 is composed of a plurality of depth image frames.

이미지 병합 모듈(240)은 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합한다. 이를 위해서 이미지 병합 모듈은 위치 보정 모듈(241)과, 프레임 병합 모듈(242), 프레임 추가 모듈(243), 및 리사이징 모듈(244)을 포함한다.The image merging module 240 merges the thermal infrared image, the RGB image, and the depth image. To this end, the image merging module includes a position correction module 241, a frame merging module 242, a frame adding module 243, and a resizing module 244.

도 3은 본 발명에 따른 다중 IR 대역 센서 모듈에서 획득되는 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 해상도를 표현한 개념도이고, 도 4 및 도 5는 본 발명에 따른 다중 IR 대역 센서 모듈에서 위치 보정 모듈을 설명하기 위한 개념도이다.3 is a conceptual diagram representing the resolution of the thermal infrared image, the RGB image, and the depth image obtained from the multiple IR band sensor module according to the present invention, and FIGS. 4 and 5 are position correction modules in the multiple IR band sensor module according to the present invention It is a conceptual diagram for explaining.

위치 보정 모듈(241)은 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 위치를 보정하여 서로 동일한 공간이 되도록 한다. 이를 위해서, 위치 보정 모듈(241)은 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에서 공통으로 탐지되는 특정 사물을 인식하고, 인식된 특정 사물을 기준으로 위치를 보정한다. 예를 들어, 도 3에 도시된 바와 같이, 열 적외선 이미지(도 7의 (a))와 깊이 이미지(도 7의 (b)) 및 RGB 이미지(도 7의 (c))가 서로 상이한 해상도일 경우 이들을 결합할 때 전체 크기 및 해상도가 상이하며, 열 적외선 센서 모듈(110)과 RGB 센서 모듈(120) 및 깊이 센서 모듈(130)의 각도 차이로 특정 사물을 기준으로 서로 상이한 공간에 대한 이미지를 획득할 수 있다. 따라서, 위치 보정 모듈(241)은 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에 공통으로 인식되는 특정 사물을 기준으로 위치를 보정한다. 즉, 특정 사물이 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에 공통으로 중첩되도록 위치를 보정한다. 여기서, 특정 사물은 병합된 이미지에서 정보를 추출할 영역, 즉, 관심 영역에 위치한 사물일 수 있다.The position correction module 241 corrects the positions of the thermal infrared image, the RGB image, and the depth image so that they are the same space. To this end, the position correction module 241 recognizes a specific object commonly detected in the thermal infrared image, the RGB image, and the depth image, and corrects the position based on the recognized specific object. For example, as shown in FIG. 3, the thermal infrared image (FIG. 7(a)) and the depth image (FIG. 7(b)) and the RGB image (FIG. 7(c)) have different resolutions. When combining them, the overall size and resolution are different, and an image of a space different from each other based on a specific object is displayed due to an angle difference between the thermal infrared sensor module 110, the RGB sensor module 120, and the depth sensor module 130. Can be obtained. Accordingly, the position correction module 241 corrects the position based on a specific object commonly recognized in the thermal infrared image, the RGB image, and the depth image. That is, the position is corrected so that a specific object is commonly overlapped with the thermal infrared image, the RGB image, and the depth image. Here, the specific object may be an area to extract information from the merged image, that is, an object located in a region of interest.

프레임 병합 모듈(242)은 위치 보정 모듈(241)에서 동일 공간으로 위치가 보정된 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합하여 병합 이미지를 생성한다. 즉, 위치 보정 모듈(241)에서 특정 사물을 중심으로 위치가 보정된 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 프레임들을 병합한다. 이때, 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에서 서로 중첩되지 않는 영역은 삭제한다.The frame merging module 242 generates a merged image by merging the thermally corrected thermal infrared image and the RGB image and the depth image in the same space in the position correction module 241. That is, the position correction module 241 merges the frames of the thermal infrared image and the RGB image and the depth image whose position is corrected around a specific object. At this time, regions that do not overlap each other in the thermal infrared image, the RGB image, and the depth image are deleted.

프레임 추가 모듈(243)은 프레임 병합 모듈(242)에서 병합된 병합 이미지 상에 프레임을 추가한다. 여기서 추가되는 프레임은 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 중 가장 높은 해상도와 동일하거나 높은 해상도의 프레임이다.The frame adding module 243 adds a frame on the merged image merged by the frame merging module 242. The frame added here is a frame having the same or higher resolution than the highest resolution of the thermal infrared image, the RGB image, and the depth image.

리사이징 모듈(244)은 프레임 추가 모듈(243)에서 추가된 프레임을 기반으로 병합 이미지를 리사이징한다. 여기서, 리사이징 모듈(244)은 프레임 추가 모듈(243)에서 추가된 추가 프레임에 맞춰 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 각각의 픽셀에 대한 정보를 추출한다.The resizing module 244 resizes the merged image based on the frame added in the frame adding module 243. Here, the resizing module 244 extracts information on each pixel of the thermal infrared image, the RGB image, and the depth image according to the additional frame added by the frame adding module 243.

도 6 및 도 7은 본 발명에 따른 공간 정렬을 이용한 다중 IR 대역 센서 시스템을 차량에 적용한 예시도이다.6 and 7 are exemplary diagrams in which a multi-IR band sensor system using spatial alignment according to the present invention is applied to a vehicle.

도 6 및 도 7에 도시된 바와 같이, 본 발명에 따른 프레임 동기화를 이용한 다중 IR 대역 센서 모듈 시스템을 차량에 적용할 경우, 차량 내부 위치에 따른 온도와, 탑승자 위치, 탑승자 자세, 탑승자 상태 등의 정보를 추출하여 차량 공조에 이용하거나 다양한 경보를 발생 시킬 수 있다.6 and 7, when applying a multi-IR band sensor module system using frame synchronization according to the present invention to a vehicle, the temperature, the occupant position, the occupant posture, the occupant status, etc. It can extract information and use it for vehicle air conditioning or generate various alarms.

상술한 바와 같이, 본 발명은 이미지가 획득되는 공간이 서로 상이할 수 있는 열 적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈에서 획득되는 이미지들의 공간을 정렬한 후 병합함으로써, 병합된 이미지에서 정확한 정보를 획득할 수 있다.As described above, the present invention arranges and merges the spaces of the images obtained from the thermal infrared sensor module, the RGB sensor module, and the depth sensor module, where the spaces where the images are acquired may be different from each other, thereby merging accurate information in the merged image. Can be obtained.

다음은 본 발명에 따른 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템의 이미지 융합 방법에 대해 도면을 참조하여 설명한다. 후술될 내용 중 전술된 본 발명에 따른 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템의 설명과 중복되는 내용은 생략하거나 간략히 설명한다.Next, an image fusion method of a multi-IR band sensor module system using spatial alignment according to the present invention will be described with reference to the drawings. Among the contents to be described later, contents overlapping with the description of the multiple IR band sensor module system using the spatial alignment according to the present invention described above are omitted or briefly described.

도 8은 본 발명에 따른 이미지 융합 방법의 순서도이다.8 is a flowchart of an image fusion method according to the present invention.

본 발명에 따른 이미지 융합 방법은 도 8에 도시된 바와 같이, 이미지를 획득하는 단계(S1)와, 프레임 위치를 보정하는 단계(S2), 프레임을 병합하는 단계(S3), 프레임을 추가하는 단계(S4), 및 리사이징하는 단계(S5)를 포함한다.As shown in FIG. 8, the image fusion method according to the present invention comprises: obtaining an image (S1), correcting a frame position (S2), merging frames (S3), and adding frames (S4), and resizing (S5).

이미지를 획득하는 단계(S1)는 다중 IR 대역 센서가 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 획득한다.In the step of acquiring an image (S1), a multi-IR band sensor acquires a thermal infrared image, an RGB image, and a depth image.

프레임 위치를 보정하는 단계(S2)는 다중 IR 대역 센서가 획득한 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 프레임 위치를 보정한다. 이는 프레임 위치 보정 모듈이 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 구성하는 프레임에서 특정 사물을 기준으로 열 적외선 이미지 프레임과 RGB 이미지 프레임 및 깊이 이미지 프레임을 중첩시킨 후 중첩되지 않은 영역을 삭제하여 수행할 수 있다.Step S2 of correcting the frame position corrects the frame position of the thermal infrared image, the RGB image, and the depth image acquired by the multi-IR band sensor. This is done by the frame position correction module overlaying the thermal infrared image frame and the RGB image frame and depth image frame based on a specific object in the frames that make up the thermal infrared image and the RGB image and depth image, and then deleting the non-overlapping areas. Can.

프레임을 병합하는 단계(S3)는 프레임 위치를 보정하는 단계(S2)에서 프레임 위치가 보정된 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합하여 병합 이미지를 생성한다. 여기서, 병합 이미지는 열 적외선 이미지와 RGB 이미지 및 깊이 이미지가 순차적으로 쌓인 3개의 레이어로 구성된다.In the step S3 of merging the frames, the merged thermal infrared image, the RGB image and the depth image are generated in the step S2 of correcting the frame position to generate a merged image. Here, the merged image is composed of three layers in which a thermal infrared image, an RGB image, and a depth image are sequentially stacked.

프레임을 추가하는 단계(S4)는 프레임 추가 모듈이 프레임을 병합하는 단계(S3)에서 생성된 병합 이미지에 프레임을 추가한다. 여기서 추가되는 추가 프레임은 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 중 가장 해상도가 높은 이미지를 기준으로 해당 이미지와 해상도가 같거나 높으며, 추가 프레임이 병합 이미지 상에 놓여짐으로 인해 병합 이미지는 4개의 레이어가 쌓인 형태로 구성된다.In the step of adding a frame (S4), the frame adding module adds a frame to the merged image generated in the step S3 of merging the frames. The additional frames added here have the same or higher resolution than the thermal infrared image, the highest resolution image of the RGB image and the depth image, and because the additional frame is placed on the merged image, the merged image has 4 layers. It is composed in a stacked form.

리사이징하는 단계(S5)는 리사이징 모듈이 프레임을 추가하는 단계(S4)에서 추가 프레임이 병합된 병합 이미지를 리사이징한다. 이에 따라, 최종 병합 이미지는 해상도가 증가된 상태이며, 리사이징 모듈은 프레임 추가 모듈에서 추가된 추가 프레임에 맞춰 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 각각의 픽셀에 대한 정보를 추출한다.In the resizing step S5, the resizing module resizes the merged image in which the additional frames are merged in the step S4 of adding frames. Accordingly, the final merged image has an increased resolution, and the resizing module extracts information about each pixel of the thermal infrared image, the RGB image, and the depth image according to the additional frame added by the frame addition module.

이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.As described above, the present invention has been described with reference to the exemplified drawings, but the present invention is not limited by the examples and drawings disclosed in the present specification, and can be varied by a person skilled in the art within the scope of the technical idea of the present invention. It is obvious that modifications can be made. In addition, although the operation and effect according to the configuration of the present invention has not been explicitly described while explaining the embodiment of the present invention, it is natural that the predictable effect should also be recognized by the configuration.

100: 다중 IR 대역 센서 모듈 110: 열 적외선 센서 모듈
120: RGB 센서 모듈 130: 깊이 센서 모듈
200: 이미지 융합 모듈 210: 열 적외선 이미지 생성 모듈
220: RGB 이미지 생성 모듈 230: 깊이 이미지 생성 모듈
240: 이미지 병합 모듈 241: 위치 보정 모듈
242: 프레임 병합 모듈 243: 프레임 추가 모듈
244: 리사이징 모듈100: multiple IR band sensor module 110: thermal infrared sensor module
120: RGB sensor module 130: depth sensor module
200: image fusion module 210: thermal infrared image generation module
220: RGB image generation module 230: depth image generation module
240: image merging module 241: position correction module
242: frame merge module 243: frame addition module
244: resizing module

Claims (8)

열 적외선 이미지를 획득하는 열 적외선 센서 모듈과, RGB 이미지를 획득하는 RGB 센서 모듈, 및 깊이 이미지를 획득하는 깊이 센서 모듈을 포함하는 다중 IR 대역 센서와,
상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬한 후 융합하는 이미지 융합 모듈을 포함하는 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템.
A multi-IR band sensor including a thermal infrared sensor module for obtaining a thermal infrared image, an RGB sensor module for obtaining an RGB image, and a depth sensor module for obtaining a depth image,
A multi-IR band sensor module using spatial alignment including an image fusion module that superimposes and aligns the thermal infrared image and the RGB image and depth image based on a specific object of the thermal infrared image and the RGB image and depth image, and then fuses them. system.
제1항에 있어서,
상기 이미지 융합 모듈은,
상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬하는 위치 보정 모듈과,
상기 위치 보정 모듈에서 중첩되어 정렬된 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에서, 중첩되지 않는 영역을 삭제한 후 병합하여 병합 이미지를 생성하는 프레임 병합 모듈을 포함하는 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템.
According to claim 1,
The image fusion module,
A position correction module for superimposing and aligning the thermal infrared image and the RGB image and depth image based on a specific object of the thermal infrared image and the RGB image and depth image;
A multi-IR band sensor module using spatial alignment including a frame merging module that generates a merged image by deleting non-overlapping regions from thermal infrared images and RGB images and depth images superimposed and aligned in the position correction module. system.
제2항에 있어서,
상기 프레임 병합 모듈에서 병합된 병합 이미지에, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 중 가장 높은 해상도 이상인 해상도를 갖는 추가 프레임을 병합하는 프레임 추가 모듈과,
상기 추가 프레임이 병합된 병합 이미지를 상기 추가 프레임의 해상도로 리사이징하는 리사이징 모듈을 포함하는 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템.
According to claim 2,
A frame addition module for merging additional frames having a resolution higher than or equal to the highest resolution among the thermal infrared image, the RGB image, and the depth image, in the merged image merged by the frame merge module;
A multi-IR band sensor module system using spatial alignment including a resizing module for resizing a merged image in which the additional frames are merged to the resolution of the additional frames.
제3항에 있어서,
상기 리사이징 모듈은 상기 추가 프레임의 해상도로 리사이징된 병합 이미지에서, 각각의 픽셀에 대한 정보를 추출하며,
상기 정보는 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 각각에 포함된 정보를 포함하는 공간 정렬을 이용한 다중 IR 대역 센서 모듈 시스템.
According to claim 3,
The resizing module extracts information about each pixel from a merged image resized to the resolution of the additional frame,
The information is a multi-IR band sensor module system using spatial alignment including information included in each of the thermal infrared image, the RGB image, and the depth image.
열 적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈이 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 획득하는 단계와,
상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 이미지 융합 모듈이, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬한 후 융합하는 단계를 포함하는 이미지 융합 방법.
The thermal infrared sensor module and the RGB sensor module and the depth sensor module acquires a thermal infrared image and an RGB image and a depth image,
And fusing the thermal infrared image, the RGB image, and the depth image by arranging and overlapping the thermal infrared image and the RGB image and the depth image based on a specific object.
제5항에 있어서,
상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를 이미지 융합 모듈이, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 중첩시켜 정렬한 후 융합하는 단계는,
상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지를, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지의 특정 사물을 기준으로 위치 보정 모듈이 중첩시켜 정렬하는 단계와,
상기 위치 보정 모듈에서 중첩되어 정렬된 열 적외선 이미지와 RGB 이미지 및 깊이 이미지에서, 프레임 병합 모듈이 중첩되지 않는 영역을 삭제한 후 병합하여 병합 이미지를 생성하는 단계를 포함하는 이미지 융합 방법.
The method of claim 5,
The step of fusing the thermal infrared image, the RGB image, and the depth image by aligning and overlapping the thermal infrared image and the RGB image and the depth image based on a specific object,
Aligning the thermal infrared image and the RGB image and depth image by overlapping a position correction module based on a specific object of the thermal infrared image and the RGB image and depth image;
And in the thermal infrared image and the RGB image and the depth image superimposed and aligned in the position correction module, deleting a region where the frame merge module does not overlap and merging to generate a merged image.
제6항에 있어서,
상기 프레임 병합 모듈에서 병합된 병합 이미지에, 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 중 가장 높은 해상도 이상인 해상도를 갖는 추가 프레임을 프레임 추가 모듈이 병합하는 단계와,
상기 추가 프레임이 병합된 병합 이미지를 상기 추가 프레임의 해상도로 리사이징 모듈이 리사이징하는 단계를 포함하는 이미지 융합 방법.
The method of claim 6,
A step of adding a frame having a resolution higher than or equal to the highest resolution among the thermal infrared image, the RGB image, and the depth image to the merged image merged by the frame merging module;
And a resizing module resizing the merged image in which the additional frames are merged to a resolution of the additional frames.
제7항에 있어서,
상기 추가 프레임이 병합된 병합 이미지를 상기 추가 프레임의 해상도로 리사이징 모듈이 리사이징하는 단계는,
상기 리사이징 모듈이 상기 추가 프레임의 해상도로 리사이징된 병합 이미지에서, 각각의 픽셀에 대한 정보를 추출하는 단계를 포함하며,
상기 정보는 상기 열 적외선 이미지와 RGB 이미지 및 깊이 이미지 각각에 포함된 정보를 포함하는 이미지 융합 방법.
The method of claim 7,
The resizing module resizing the merged image in which the additional frames are merged to the resolution of the additional frames,
The resizing module extracts information about each pixel from a merged image resized to the resolution of the additional frame,
The information is an image fusion method including information included in each of the thermal infrared image and the RGB image and the depth image.
KR1020190011379A 2019-01-29 2019-01-29 Multiple ir band sensor module system using spatial alignment and image fusion method using the same KR102595600B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190011379A KR102595600B1 (en) 2019-01-29 2019-01-29 Multiple ir band sensor module system using spatial alignment and image fusion method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190011379A KR102595600B1 (en) 2019-01-29 2019-01-29 Multiple ir band sensor module system using spatial alignment and image fusion method using the same

Publications (2)

Publication Number Publication Date
KR20200094257A true KR20200094257A (en) 2020-08-07
KR102595600B1 KR102595600B1 (en) 2023-11-01

Family

ID=72050135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190011379A KR102595600B1 (en) 2019-01-29 2019-01-29 Multiple ir band sensor module system using spatial alignment and image fusion method using the same

Country Status (1)

Country Link
KR (1) KR102595600B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100551826B1 (en) 2004-04-29 2006-02-13 삼성탈레스 주식회사 Image Fusion Method for Multiple Image Sonsor
KR101051716B1 (en) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 Method for multi sensor image fusion
KR20120109057A (en) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 Image synthesis system and image synthesis method
KR101711949B1 (en) 2015-08-25 2017-03-06 아주대학교 산학협력단 Method and Apparatus for Fusing Images
KR101785202B1 (en) * 2016-04-29 2017-10-13 한국과학기술원 Automatic Calibration for RGB-D and Thermal Sensor Fusion and Method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100551826B1 (en) 2004-04-29 2006-02-13 삼성탈레스 주식회사 Image Fusion Method for Multiple Image Sonsor
KR101051716B1 (en) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 Method for multi sensor image fusion
KR20120109057A (en) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 Image synthesis system and image synthesis method
KR101711949B1 (en) 2015-08-25 2017-03-06 아주대학교 산학협력단 Method and Apparatus for Fusing Images
KR101785202B1 (en) * 2016-04-29 2017-10-13 한국과학기술원 Automatic Calibration for RGB-D and Thermal Sensor Fusion and Method thereof

Also Published As

Publication number Publication date
KR102595600B1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
EP3356887B1 (en) Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
US9940695B2 (en) Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
JP5055402B2 (en) Object display device, object display system, and object display method
US20200058130A1 (en) Image processing method, electronic device and computer-readable storage medium
TWI383680B (en) Integrated image surveillance system and manufacturing method thereof
JP2008187564A (en) Camera calibration apparatus and method, and vehicle
KR20140146337A (en) Image adjustment apparatus and image sensor for synchronous image and non-synchronous image
EP3280133B1 (en) Imaging device
JP2008187566A (en) Camera calibration apparatus and method and vehicle
CN101506850A (en) Modeling and texturing digital surface models in a mapping application
US20110157328A1 (en) Three-dimensional display device and method as well as program
WO2019161814A3 (en) Panoramic imaging system and method
CN110505468B (en) Test calibration and deviation correction method for augmented reality display equipment
KR20160051473A (en) Method of setting algorithm for image registration
EP3606059B1 (en) Projector calibration method and projection system using the same
KR101801100B1 (en) Video providing apparatus and method for supporting production of immersive contents
JP5304465B2 (en) Mosaic image generation method, apparatus and program
KR20200094257A (en) Multiple ir band sensor module system using spatial alignment and image fusion method using the same
JPH11164292A (en) Image generating device, image presentation device, image generating method and image synthetic method
JP2019032600A (en) Three-dimensional image generation device, three-dimensional image generation method, and three-dimensional image generation program
JP5885974B2 (en) Corresponding point setting method, corresponding point setting device, and corresponding point setting program for aerial photo image data
WO2021111733A1 (en) Image processing device, image processing method, and image projection system
CN109429018B (en) Image processing device and method
JP4757679B2 (en) Video composition device
KR102629808B1 (en) Active smart seat control system based on heterogeneous sensor and active smart seat control method using the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant