KR102170795B1 - Data visualization apparatus and method - Google Patents

Data visualization apparatus and method Download PDF

Info

Publication number
KR102170795B1
KR102170795B1 KR1020180164726A KR20180164726A KR102170795B1 KR 102170795 B1 KR102170795 B1 KR 102170795B1 KR 1020180164726 A KR1020180164726 A KR 1020180164726A KR 20180164726 A KR20180164726 A KR 20180164726A KR 102170795 B1 KR102170795 B1 KR 102170795B1
Authority
KR
South Korea
Prior art keywords
depth image
agricultural environment
environment data
depth
visualizing
Prior art date
Application number
KR1020180164726A
Other languages
Korean (ko)
Other versions
KR20200076056A (en
Inventor
신동인
전세웅
김승훈
조민영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020180164726A priority Critical patent/KR102170795B1/en
Publication of KR20200076056A publication Critical patent/KR20200076056A/en
Application granted granted Critical
Publication of KR102170795B1 publication Critical patent/KR102170795B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Abstract

본 발명은 화재 현장과 같은 농연 환경에서 물체 인지, 피난 방향 등을 쉽게 인지할 수 있도록 하는 농연 환경 데이터 시각화 장치 및 방법에 관한 것이다. 본 발명에 따른 농연 환경 데이터 시각화 장치는 복수의 열화상 카메라를 포함하는 센싱부, 복수의 열화상 카메라로부터 측정된 영상을 통해 공간을 표시하는 표시부, 복수의 열화상 카메라를 통해 생성된 영상을 스테레오 매칭하여 깊이 영상을 생성하고, 생성된 깊이 영상에서 블록 단위로 깊이 값에 대한 평균값을 적용하고, 블록 단위로 깊이 값이 존재하지 않는 영역에 대하여 인접한 복수의 블록에 대한 평균값을 적용하여 보정된 깊이 영상을 생성하고, 보정된 깊이 영상을 상기 표시부에 표시하도록 제어하는 제어부를 포함한다.The present invention relates to an apparatus and method for visualizing agricultural environment data to easily recognize object recognition, evacuation direction, etc. in an agricultural environment such as a fire site. The apparatus for visualizing agricultural environment data according to the present invention includes a sensing unit including a plurality of thermal imaging cameras, a display unit displaying a space through images measured from a plurality of thermal imaging cameras, and an image generated by a plurality of thermal imaging cameras. Corrected depth by matching to generate a depth image, applying an average value for the depth value in block units in the generated depth image, and applying an average value for a plurality of adjacent blocks in an area where a depth value does not exist in block units And a control unit that generates an image and controls the corrected depth image to be displayed on the display unit.

Description

농연 환경 데이터 시각화 장치 및 방법{Data visualization apparatus and method}Agricultural environment data visualization apparatus and method TECHNICAL FIELD

본 발명은 데이터 시각화 장치에 관한 것으로, 더욱 상세하게는 화재 현장과 같은 농연 환경에서 물체 인지, 피난 방향 등을 쉽게 인지할 수 있도록 하는 농연 환경 데이터 시각화 장치 및 방법에 관한 것이다.The present invention relates to a data visualization device, and more particularly, to an agricultural environment data visualization device and method for easily recognizing an object recognition, an evacuation direction, etc. in an agricultural environment such as a fire site.

화재가 발생한 현장에는 화염과 연소가스 때문에 큰 피해를 입게 되는데, 특히 고온의 화염이 발생하고 폭발 위험이 있는 경우에는 소방관이 화재 현장에 투입되어도 효과적으로 화재 현장을 제압할 수 없을 뿐만 아니라, 화염이 심한 경우에는 화재 현장에 접근을 할 수 없는 경우도 있다.The fire site is subject to great damage due to flames and combustion gases. In particular, if a high-temperature flame is generated and there is a risk of explosion, firefighters cannot effectively suppress the fire site even if they are put into the fire site. In some cases, access to the fire site may not be possible.

이에 따라 화재 현장에 사람 대신에 투입할 수 있는 로봇이 사용되고 있다. 이러한 로봇은 카메라가 장착되어 조종자가 카메라로부터 획득한 영상을 보면서 조종되게 된다.Accordingly, robots that can be put in place of people at the fire site are being used. Such a robot is equipped with a camera, and the manipulator is controlled while viewing the image acquired from the camera.

그러나 화재 현장과 같은 농연 환경에서는 카메라로 촬영된 영상만으로는 장애물이나 구조 파악이 힘든 문제점이 있었다.However, in an agricultural environment such as a fire site, there is a problem that it is difficult to identify obstacles or structures only with images taken with a camera.

이에 따라 융합 센서를 이용하여 화재 현장 등과 같은 농연 환경에서 정확도 높은 영상을 얻기 위한 연구가 진행되고 있다.Accordingly, research is being conducted to obtain high-accuracy images in an agricultural environment such as a fire site using a fusion sensor.

한편 한국등록특허 제10-1785202호에는 열상 센서와 RGB-D 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법에 대하여 개시하고 있다.Meanwhile, Korean Patent No. 10-1785202 discloses an automatic calibration system and method for fusion of a thermal sensor and an RGB-D sensor.

개시된 캘리브레이션 시스템은 피사체의 열 영상을 획득하는 열상 센서, 피사체의 RGB 영상을 획득하는 RGB 센서, 열상 센서와 RGB 센서를 통해 획득한 열 영상과 RGB 영상을 자동으로 매칭하는 매칭부를 포함하고, 매칭부는 열 영상과 RGB 영상에서의 피사체 영역을 검출하는 검출부, 피사체 영역의 가장자리(edge) 또는 중점을 서로 매칭이 되는 픽셀로 가정하는 픽셀 설정부 및 픽셀을 다수 개 획득하여 열 영상과 상기 RGB 영상의 캘리브레이션(calibration)을 위한 변환행렬을 구하는 변환행렬 산출부를 포함하는 내용을 개시하고 있다.The disclosed calibration system includes a thermal sensor that acquires a thermal image of a subject, an RGB sensor that acquires an RGB image of a subject, a matching unit that automatically matches the thermal image and the RGB image acquired through the thermal sensor and the RGB sensor, and the matching unit A detection unit that detects a subject area in a thermal image and an RGB image, a pixel setting unit that assumes that an edge or center of the subject area is a pixel that matches each other, and a plurality of pixels are acquired to calibrate the thermal image and the RGB image Disclosed is a content including a conversion matrix calculator that obtains a conversion matrix for (calibration).

개시된 캘리브레이션 시스템은 RGB 영상과 열상 영상을 매칭하는 내용을 개시하고 있으나, RGB 영상에 에지(edge) 정보를 추출하여 열화상 데이터에 오버레이 하는 정도로 화재 현장과 같은 농연 환경에서는 정확한 영상을 얻기 힘든 문제점이 있었다.The disclosed calibration system discloses the content of matching the RGB image and the thermal image, but it is difficult to obtain an accurate image in a agricultural environment such as a fire site, as it extracts edge information from the RGB image and overlays it on the thermal image data. there was.

따라서 본 발명의 목적은 화재 현장과 같은 농연 환경에서 물체 인지, 피난 방향 등을 쉽게 인지할 수 있도록 하는 농연 환경 데이터 시각화 장치 및 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an apparatus and method for visualizing agricultural environment data so that object recognition and evacuation direction can be easily recognized in an agricultural environment such as a fire site.

본 발명에 따른 농연 환경 데이터 시각화 장치는 복수의 열화상 카메라를 포함하는 센싱부, 상기 복수의 열화상 카메라로부터 측정된 영상을 통해 공간을 표시하는 표시부, 상기 복수의 열화상 카메라를 통해 생성된 영상을 스테레오 매칭하여 깊이 영상을 생성하고, 생성된 상기 깊이 영상에서 블록 단위로 깊이 값에 대한 평균값을 적용하고, 상기 블록 단위로 깊이 값이 존재하지 않는 영역에 대하여 인접한 복수의 블록에 대한 평균값을 적용하여 보정된 깊이 영상을 생성하고, 상기 보정된 깊이 영상을 상기 표시부에 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.The apparatus for visualizing agricultural environment data according to the present invention includes a sensing unit including a plurality of thermal imaging cameras, a display unit displaying a space through images measured from the plurality of thermal imaging cameras, and an image generated through the plurality of thermal imaging cameras. A depth image is generated by stereo matching, and an average value for a depth value is applied in block units of the generated depth image, and an average value for a plurality of adjacent blocks is applied to an area where the depth value does not exist in the block unit. And a controller configured to generate a corrected depth image and to display the corrected depth image on the display unit.

본 발명에 따른 농연 환경 데이터 시각화 장치에 있어서, 상기 제어부는 상기 복수의 열화상 카메라로부터 측정된 영상을 통해 화점을 검출하여 상기 표시부에 표시하는 것을 특징으로 한다.In the apparatus for visualizing agricultural environment data according to the present invention, the control unit is characterized in that the control unit detects a fire point through the images measured from the plurality of thermal imaging cameras and displays it on the display unit.

본 발명에 따른 농연 환경 데이터 시각화 장치에 있어서, 상기 제어부는 상기 보정된 깊이 영상을 통해 물체의 엣지를 검출하고, 물체의 엣지를 강조하여 상기 표시부에 표시하는 것을 특징으로 한다.In the apparatus for visualizing agricultural environment data according to the present invention, the controller detects an edge of an object through the corrected depth image, highlights the edge of the object, and displays it on the display unit.

본 발명에 따른 농연 환경 데이터 시각화 장치에 있어서, 상기 제어부는 상기 보정된 깊이 영상을 통해 기 설정된 거리 별로 색상을 달리하여 상기 표시부에 표시하는 것을 특징으로 한다.In the apparatus for visualizing agricultural environment data according to the present invention, the control unit displays the corrected depth image on the display unit by varying colors according to preset distances.

본 발명에 따른 농연 환경 데이터 시각화 장치에 있어서, 제어부는 상기 보정된 깊이 영상을 통해 거리에 따른 1차원 깊이 정보를 상기 표시부에 표시하는 것을 특징으로 한다.In the apparatus for visualizing agricultural environment data according to the present invention, the control unit displays one-dimensional depth information according to a distance on the display unit through the corrected depth image.

본 발명에 따른 농연 환경 데이터 시각화 장치에 있어서, 상기 센싱부는 레이저 펄스를 통해 거리를 측정하는 라이다 센서를 더 포함하는 것을 특징으로 한다.In the apparatus for visualizing agricultural environment data according to the present invention, the sensing unit further comprises a lidar sensor measuring a distance through a laser pulse.

본 발명에 따른 농연 환경 데이터 시각화 장치에 있어서, 상기 제어부는 상기 라이다 센서를 통해 측정된 거리 정보를 통해 상기 1차원 깊이 정보를 보정하는 것을 특징으로 한다.In the apparatus for visualizing agricultural environment data according to the present invention, the control unit may correct the one-dimensional depth information through distance information measured through the lidar sensor.

본 발명에 따른 농연 환경 데이터 시각화 방법은 데이터 시각화 장치가 복수의 열화상 카메라를 통해 생성된 영상을 스테레오 매칭하여 깊이 영상을 생성하는 단계, 데이터 시각화 장치가 생성된 상기 깊이 영상에서 블록 단위로 깊이 값에 대한 평균값을 적용하는 단계, 상기 데이터 시각화 장치가 상기 블록 단위로 깊이 값이 존재하지 않는 영역에 대하여 인접한 복수의 블록에 대한 평균값을 적용하여 보정된 깊이 영상을 생성하는 단계, 상기 데이터 시각화 장치가 상기 보정된 깊이 영상을 표시부에 표시하는 단계를 포함하는 것을 특징으로 한다.The method for visualizing agricultural environment data according to the present invention comprises the steps of generating a depth image by stereo matching images generated by a data visualization device through a plurality of thermal imaging cameras, and a depth value in block units from the depth image generated by the data visualization device. Applying an average value of, by the data visualization device, generating a corrected depth image by applying an average value of a plurality of adjacent blocks to an area in which the depth value does not exist in units of the block, the data visualization device And displaying the corrected depth image on a display unit.

본 발명에 따른 농연 환경 데이터 시각화 장치는 복수의 열화상 카메라를 통해 깊이 영상을 생성하고, 이를 보정하여 보정된 깊이 영상을 생성함으로써, 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공할 수 있다.The apparatus for visualizing agricultural environment data according to the present invention may generate a depth image through a plurality of thermal imaging cameras and correct it to generate a corrected depth image, thereby providing an image with high accuracy in an agricultural environment such as a fire site.

또한 본 발명에 따른 농연 환경 데이터 시각화 장치는 표시부를 통해 화점, 물체의 엣지, 컬러맵, 1차원 거리 정보를 제공함으로써, 사용자가 쉽고 빠르게 장애물, 화점, 피난 위치 등을 인지하도록 할 수 있다.In addition, the apparatus for visualizing agricultural environment data according to the present invention provides a fire point, an edge of an object, a color map, and one-dimensional distance information through a display unit, so that a user can easily and quickly recognize an obstacle, a fire point, and an evacuation location.

도 1 본 발명의 실시예에 따른 농연 환경 데이터 시각화 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 열화상 카메라를 통한 깊이 영상 후처리 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 표시부의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 1차원 깊이 정보 보정 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 농연 환경 데이터 시각화 방법을 나타낸 순서도이다.1 is a block diagram showing the configuration of an agricultural and agricultural environment data visualization apparatus according to an embodiment of the present invention.
2 is a view for explaining a depth image post-processing process using a thermal imaging camera according to an embodiment of the present invention.
3 is a diagram showing a configuration of a display unit according to an exemplary embodiment of the present invention.
4 is a diagram illustrating a process of correcting 1D depth information according to an embodiment of the present invention.
5 is a flowchart illustrating a method of visualizing agricultural and agricultural environment data according to an embodiment of the present invention.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.In the following description, it should be noted that only parts necessary for understanding the embodiments of the present invention will be described, and descriptions of other parts will be omitted without distracting the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to a conventional or dictionary meaning, and the inventor is appropriate as a concept of terms in order to describe his own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention on the basis of the principle that it can be defined. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, and various equivalents that can replace them at the time of application And it should be understood that there may be variations.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.

도 1 본 발명의 실시예에 따른 농연 환경 데이터 시각화 장치의 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 열화상 카메라를 통한 깊이 영상 후처리 과정을 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 표시부의 구성을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 1차원 깊이 정보 보정 과정을 설명하기 위한 도면이다.1 is a block diagram showing the configuration of an apparatus for visualizing agricultural environment data according to an embodiment of the present invention, and FIG. 2 is a view for explaining a post-processing process of a depth image through a thermal imaging camera according to an embodiment of the present invention. 3 is a diagram illustrating a configuration of a display unit according to an exemplary embodiment of the present invention, and FIG. 4 is a diagram illustrating a process of correcting one-dimensional depth information according to an exemplary embodiment of the present invention.

도 1 내지 도 4를 참조하면, 본 발명의 실시예에 따른 농연 환경 데이터 시각화 장치(100)는 센싱부(10), 입력부(20), 표시부(30), 저장부(40) 및 제어부(50)를 포함한다.1 to 4, the apparatus 100 for visualizing agricultural environment data according to an embodiment of the present invention includes a sensing unit 10, an input unit 20, a display unit 30, a storage unit 40, and a control unit 50. ).

센싱부(10)는 농연 환경에서 공간에 대한 열화상 영상을 생성하는 복수의 열화상 카메라를 포함할 수 있다. 여기서 센싱부(10)는 제1 열화상 카메라(11) 및 제2 열화상 카메라(12)를 포함할 수 있다. 또한 센싱부(10)는 레이저 펄스를 이용하여 거리를 측정하는 라이다 센서(13)를 더 포함할 수 있다.The sensing unit 10 may include a plurality of thermal imaging cameras that generate thermal images of a space in an agricultural environment. Here, the sensing unit 10 may include a first thermal imaging camera 11 and a second thermal imaging camera 12. In addition, the sensing unit 10 may further include a lidar sensor 13 that measures a distance using a laser pulse.

제1 및 제2 열화상 카메라(11, 12)는 물체 표면에서부터 직접적으로 방사되는 눈에 보이지 않는 적외선 복사 에너지를 사용하며, 표적의 외부 온도가 높을수록 그 표적은 복사에너지의 방출량이 많기 때문에 영상에서 밝게 표현된다. 여기서 제1 및 제2 열화상 카메라(11, 12)를 스테레오 매칭하여 깊이 영상을 생성할 수 있다.The first and second thermal imaging cameras 11 and 12 use invisible infrared radiation energy directly radiated from the surface of the object, and the higher the external temperature of the target, the greater the amount of radiant energy emitted by the target. It is expressed brightly in Here, a depth image may be generated by stereo matching the first and second thermal imaging cameras 11 and 12.

라이다 센서(13)는 레이저 펄스를 공간을 향해 발사해 그 반사파를 측정함으로써, 공간에 포함된 장애물 까지의 거리를 측정할 수 있다. 여기서 라이다 센서(13)는 제1 및 제2 열화상 카메라(11, 12)가 촬영하고 있는 공간에 대하여 스캔할 수 있으며, 공간을 기 설정된 거리로 분할하여 반사파를 통해 분할된 각 영역의 거리를 측정할 수 있다.The lidar sensor 13 can measure a distance to an obstacle included in the space by emitting a laser pulse toward the space and measuring the reflected wave. Here, the lidar sensor 13 can scan the space being photographed by the first and second thermal imaging cameras 11 and 12, and divide the space by a preset distance, and the distance of each region divided through the reflected wave Can be measured.

입력부(20)는 숫자 및 문자 정보 등의 다양한 정보를 입력받고, (100)의 기능 제어와 관련한 입력되는 신호를 제어부(50)로 전달한다. 특히 입력부(20)는 후술할 깊이 영상 생성, 평균값 적용 및 후처리 과정에서 필요한 설정값 및 입력값들을 입력받을 수 있다.The input unit 20 receives various information such as number and character information, and transmits an input signal related to the function control of the 100 to the controller 50. In particular, the input unit 20 may receive set values and input values necessary for generating a depth image, applying an average value, and post-processing to be described later.

표시부(30)는 농연 환경 데이터 시각화 장치(100)의 기능 수행 중에 발생하는 동작 상태 및 동작 결과 등에 대한 정보를 표시할 수 있다. 이러한 표시부(30)는 열화상 카메라(13)를 통해 측정된 영상을 통해 공간을 표시하되, 표시된 공간 상에 화점, 물체의 엣지 강조, 거리 별 색상을 달리하여 표시하고, 깊이 영상을 통해 거리에 따른 1차원 깊이 정보를 표시할 수 있다.The display unit 30 may display information on an operation state and an operation result that occur while the apparatus 100 for visualizing agricultural environment data is performing a function. Such a display unit 30 displays a space through an image measured by the thermal imaging camera 13, but displays a spot on the displayed space, highlighting the edge of an object, and displays different colors for each distance. The corresponding one-dimensional depth information can be displayed.

여기서 입력부(20) 및 표시부(30)는 농연 환경 데이터 시각화 장치(100)에 구비될 수 있으나, 이에 한정된 것은 아니고, 농연 환경 데이터 시각화 장치(100)가 인체 또는 로봇 등에 탑재될 경우, 통신망을 제어부(50)와 통신하여 원격지에 구비되도록 할 수 있다.Here, the input unit 20 and the display unit 30 may be provided in the agricultural and agricultural environment data visualization apparatus 100, but are not limited thereto, and when the agricultural and agricultural environmental data visualization apparatus 100 is mounted on a human body or a robot, the communication network is controlled. By communicating with (50), it can be provided in a remote location.

저장부(40)는 데이터를 저장하기 위한 장치로, 농연 환경 데이터 시각화 장치(100)의 기능 동작에 필요한 다양한 응용 프로그램을 저장한다. 특히 저장부(40)는 센싱부(10)를 통해 깊이 영상을 생성하기 위한 프로그램, 생성된 깊이 영상에 평균값을 적용하고 후처리하기 위한 프로그램, 표시부(30)에 보정된 깊이 영상 및 다양한 기능을 표시하는 프로그램 등을 저장할 수 있다.The storage unit 40 is a device for storing data, and stores various application programs required for functional operation of the agricultural environment data visualization apparatus 100. In particular, the storage unit 40 provides a program for generating a depth image through the sensing unit 10, a program for applying and post-processing an average value to the generated depth image, a depth image corrected on the display unit 30, and various functions. You can store programs to be displayed.

제어부(50)는 본 발명의 실시예에 따른 농연 환경 데이터 시각화 장치(100)의 전반적인 기능을 제어하기 위한 구성으로, 깊이 영상 생성 모듈(51), 평균값 적용 모듈(52) 및 후처리 모듈(53)을 포함하여 구성될 수 있다.The control unit 50 is a configuration for controlling the overall functions of the agricultural environment data visualization apparatus 100 according to an embodiment of the present invention, and includes a depth image generation module 51, an average value application module 52, and a post-processing module 53. ) Can be included.

깊이 영상 생성 모듈(51)은 제1 및 제2 열화상 카메라(11, 12)를 통해 생성된 영상을 스테레오 매칭하여 깊이 영상을 생성할 수 있다. 즉 깊이 영상 생성 모듈(51)은 기준 영상에서의 한점에 대한 동일한 점을 목표 영상에서 찾아 가는 방식으로 깊이 영상을 생성할 수 있다. 스테레오 매칭과 관련한 기술은 기 공지된 기술이므로 상세한 설명은 생략하도록 한다. 즉 깊이 영상 생성 모듈(51)은 도 2의 (a)에 도시된 바와 같이, 깊이 영상을 생성한다. 이때, 생성된 깊이 영상은 도시된 바와 같이 두 영상이 서로 다른 위치에서 획득되기 때문에 한 영역에서는 보이지만 다른 영역에서는 가려져서 보이지 않는 폐색 영역인 홀들이 존재하게 된다.The depth image generation module 51 may generate a depth image by stereo matching images generated through the first and second thermal imaging cameras 11 and 12. That is, the depth image generation module 51 may generate the depth image by finding the same point in the target image for one point in the reference image. Since a technology related to stereo matching is a known technology, a detailed description will be omitted. That is, the depth image generation module 51 generates a depth image, as shown in FIG. 2A. At this time, in the generated depth image, as the two images are acquired at different positions as shown, holes, which are obstructed areas that are visible in one area, but are hidden and not visible in the other area, exist.

이에 따라 평균값 적용 모듈(52)은 이러한 폐색 영역인 홀을 제거하는 역할을 수행한다. 즉 평균값 적용 모듈(52)은 생성된 깊이 영상에서 블록 단위로 깊이 값에 대한 평균값을 적용한다. 예를 들어 평균값 적용 모듈(52)은 도시된 바와 같이, 깊이 영상을 매크로 블록 단위로 지정한다. 그리고 한 블록에 존재하는 다양한 깊이 값 예컨데, 0, 32, 33, 35와 같은 값을 가지는 깊이 값이 존재할 수 있다. 여기서 평균값 적용 모듈(52)은 32, 33, 35에 대한 평균값인 33을 적용하여 홀 영역인 0 값을 매워주는 역할을 수행할 수 있다. 이와 같은 방식으로 평균값 적용 모듈(52)은 도 2의 (b)와 같은 영역을 획득할 수 있다. 여기서 블록 단위로 깊이값이 존재하지 않는 영역이 발생될 수 있다. 즉 하나의 매크로 블록에서 모두 0 값을 가져 평균값을 취할 수 없는 영역이 존재한다.Accordingly, the average value application module 52 serves to remove the hole, which is such a blocked area. That is, the average value application module 52 applies the average value for the depth value in block units from the generated depth image. For example, the average value application module 52 designates the depth image in units of macroblocks, as shown. In addition, there may be various depth values that exist in one block, for example, depth values having values such as 0, 32, 33, and 35. Here, the average value application module 52 may perform a role of filling a 0 value, which is a hole area, by applying an average value of 33 to 32, 33, and 35. In this way, the average value application module 52 may acquire an area as shown in FIG. 2B. Here, a region in which the depth value does not exist may be generated in units of blocks. In other words, there is an area where the average value cannot be taken because all of them have 0 values in one macroblock.

이에 따라 후처리 모듈(53)은 평균값 적용 모듈(52)에서 평균값을 취하지 못한 영역에 대하여 후처리하는 역할을 수행한다. 즉 후처리 모듈(53)은 도시된 바와 같이, 블록 단위로 깊이 값이 존재하지 않는 영역에 대하여 인접한 복수의 블록에 대한 평균값을 적용하여 보정된 깊이 영상을 생성할 수 있다. 예를 들어 후처리 모듈(53)은 도시된 바와 같이, 인접한 두개의 블록 값이 35, 65일 경우, 두 블록의 평균 깊이값인 50을 적용하여 깊이 값이 없는 영역을 매워주는 역할을 수행할 수 있다. 즉 후처리 모듈(53)은 인접한 블록 중 값이 존재하는 모든 블록에 대하여 평균값을 취하여 깊이 값이 없는 영역을 채울 수 있다.Accordingly, the post-processing module 53 performs a role of post-processing an area for which the average value is not taken by the average value application module 52. That is, as illustrated, the post-processing module 53 may generate a corrected depth image by applying an average value of a plurality of adjacent blocks to an area where the depth value does not exist in block units. For example, as shown, when the values of two adjacent blocks are 35 and 65, the post-processing module 53 applies an average depth value of 50 of the two blocks to fill an area without a depth value. I can. That is, the post-processing module 53 may fill an area without a depth value by taking an average value of all blocks in which a value exists among adjacent blocks.

또한 제어부(50)는 보정된 깊이 영상을 표시부(30)에 표시하도록 제어할 수 있다.In addition, the controller 50 may control to display the corrected depth image on the display unit 30.

여기서 제어부(50)는 제1 및 제2 열화상 카메라(11, 12)를 통해 측정된 영상을 통해 화점을 검출하여 표시부(30)에 표시하도록 제어할 수 있다. 즉 제어부(50)는 도 3의 (a)에 도시된 바와 같이 화점에 대하여 시각화 하여 사용자가 화점을 정확히 인식하도록 할 수 있다.Here, the controller 50 may control to detect a spot through an image measured by the first and second thermal imaging cameras 11 and 12 and display it on the display unit 30. That is, the control unit 50 may visualize the point of view as shown in (a) of FIG. 3 so that the user can accurately recognize the point of view.

또한 제어부(50)는 보정된 깊이 영상을 통해 물체의 엣지를 검출하고, 물체의 엣지를 강조하여 표시부(30)에 표시하도록 제어할 수 있다. 즉 본 발명의 실시예에 따른 농연 환경 시각화 장치(100)는 열화상 카메라를 통해 깊이 영상을 획득하기 때문에 물체의 엣지가 정확히 표현되지 않는다. 이에 따라 제어부(50)는 상술한 후처리 과정을 통해 도 3의 (b)에 도시된 바와 같이, 깊이 영상의 엣지를 보정하여 강조할 수 있다.In addition, the controller 50 may control to detect an edge of an object through the corrected depth image, highlight the edge of the object and display it on the display unit 30. That is, since the agricultural environment visualization apparatus 100 according to an embodiment of the present invention acquires a depth image through a thermal imaging camera, the edge of an object is not accurately represented. Accordingly, the control unit 50 may correct and emphasize the edge of the depth image as shown in FIG. 3B through the above-described post-processing process.

또한 제어부(50)는 보정된 깊이 영상을 통해 기설정된 거리 별로 색상을 달리하여 표시부(30)에 표시할 수 있다. 예를 들어 제어부(50)는 도 3의 (c)에 도시된 바와 같이, 거리를 근거리 물체(충돌 위험), 중거리 물체(조심), 원거리 물체 3단계로 색상을 달리하여 시각화 함으로써, 사용자가 위험 물체를 직관적으로 인지 하도록 할 수 있다.In addition, the controller 50 may display on the display unit 30 different colors for each preset distance through the corrected depth image. For example, as shown in (c) of FIG. 3, the control unit 50 visualizes the distance in three steps: a near object (a collision risk), a medium distance object (attention), and a distant object. You can intuitively recognize objects.

또한 제어부(50)는 보정된 깊이 영상을 통해 거리에 따른 1차원 깊이 정보를 표시부(30)에 표시하도록 제어할 수 있다. 즉 제어부(50)는 도 3의 (d)에 도시된 바와 같이, 특정 영역 x 좌표 상에서 거리 y 좌표를 그래프로 표시하도록 함으로써, 사용자가 직관적으로 농연 환경에서 거리를 인지하도록 할 수 있다. 여기서 (e) 영역은 거리 여유가 있는 공간으로 사용자가 진입 가능 공간으로 인지할 수 있다.In addition, the controller 50 may control to display 1D depth information according to a distance on the display unit 30 through the corrected depth image. In other words, as shown in (d) of FIG. 3, the control unit 50 allows the user to intuitively recognize the distance in the nongyeon environment by displaying the distance y coordinate as a graph on the specific area x coordinate. Here, the area (e) is a space with a distance, and the user can recognize it as an accessible space.

여기서 제어부(50)는 라이다 센서(13)를 통해 측정된 거리 정보를 통해 1차원 깊이 정보를 보정할 수 있다. 즉 도 4에 도시된 바와 같이, 열화상 카메라를 이용한 1차원 깊이 데이터는 화점을 거리로 인식하기 때문에 화점 뒤에 공간이 있다고 하더라도 막힌 공간으로 인식하게 된다.Here, the controller 50 may correct 1D depth information through distance information measured through the lidar sensor 13. That is, as shown in FIG. 4, since one-dimensional depth data using a thermal imaging camera recognizes a point as a distance, even if there is a space behind the point, it is recognized as a closed space.

이에 따라 제어부(50)는 화점을 통과하여 거리를 측정할 수 있는 라이다 센서(13)를 이용하여 화점 뒤의 공간에 대한 거리 정보를 획득하고, 라이다 센서(13)로부터 획득된 정보를 도 4의 (a)와 같이 보정하여 표시부(30)에 표시하도록 제어할 수 있다.Accordingly, the controller 50 obtains distance information about the space behind the fire point by using the lidar sensor 13 capable of measuring the distance through the fire point, and maps the information obtained from the lidar sensor 13. It can be controlled to be displayed on the display unit 30 by correcting as in (a) of 4(a).

이와 같이, 본 발명의 실시예에 따른 농연 환경 데이터 시각화 장치(100)는 복수의 열화상 카메라(11, 12)를 통해 깊이 영상을 생성하고, 이를 보정하여 보정된 깊이 영상을 생성함으로써, 화재 현장과 같은 농연 환경에서 정확도 높은 영상을 제공할 수 있다.As described above, the apparatus 100 for visualizing agricultural environment data according to an embodiment of the present invention generates a depth image through a plurality of thermal imaging cameras 11 and 12, and corrects it to generate a corrected depth image, thereby High-accuracy images can be provided in an agricultural environment such as.

또한 본 발명의 실시예에 따른 농연 환경 데이터 시각화 장치(100)는 표시부(30)를 통해 화점, 물체의 엣지, 컬러맵, 1차원 거리 정보를 제공함으로써, 사용자가 쉽고 빠르게 장애물, 화점, 피난 위치 등을 인지하도록 할 수 있다.In addition, the apparatus 100 for visualizing agricultural environment data according to an embodiment of the present invention provides a fire point, an object edge, a color map, and one-dimensional distance information through the display unit 30, so that a user can easily and quickly provide an obstacle, fire point, and evacuation location. You can make your back aware.

이하 본 발명의 실시예에 따른 농연 환경 데이터 시각화 방법에 대하여 설명하도록 한다.Hereinafter, a method for visualizing agricultural environment data according to an embodiment of the present invention will be described.

도 5는 본 발명의 실시예에 따른 농연 환경 데이터 시각화 방법을 나타낸 순서도이다.5 is a flowchart illustrating a method of visualizing agricultural and agricultural environment data according to an embodiment of the present invention.

도 5를 참조하면, 먼저 S10 단계에서 농연 환경 데이터 시각화 장치는 복수의 열화상 카메라를 통해 생성된 영상을 스테레오 매칭하여 깊이 영상을 생성할 수 있다. 즉 농연 환경 데이터 시각 장치는 기준 영상에서의 한점에 대한 동일한 점을 목표 영상에서 찾아 가는 방식으로 깊이 영상을 생성할 수 있다.Referring to FIG. 5, first, in step S10, the apparatus for visualizing agricultural environment data may generate a depth image by stereo matching images generated through a plurality of thermal imaging cameras. That is, the nongyeon environment data visual apparatus may generate a depth image by finding the same point in the target image for a point in the reference image.

다음으로 S20 단계에서 농연 환경 데이터 시각화 장치는 생성된 깊이 영상에서 블록 단위로 깊이 값에 대한 평균값을 적용한다. 즉 농연 환경 데이터 시각화 장치는 깊이 영상을 매크로 블록 단위로 지정한다. 그리고 한 블록에 존재하는 다양한 깊이값에 대한 평균값을 적용하여 홀 영역을 매워주는 역할을 수행할 수 있다. Next, in step S20, the apparatus for visualizing agricultural environment data applies the average value of the depth value in block units from the generated depth image. That is, the nongyeon environment data visualization apparatus designates the depth image in units of macroblocks. In addition, the hole area may be filled by applying an average value for various depth values existing in one block.

다음으로 S30 단계에서 농연 환경 데이터 시각화 장치는 S20 단계에서 평균값을 취하지 못한 영역에 대하여 후처리하는 역할을 수행한다. 즉 농연 환경 데이터 시각화 장치는 블록 단위로 깊이 값이 존재하지 않는 영역에 대하여 인접한 복수의 블록에 대한 평균값을 적용하여 보정된 깊이 영상을 생성할 수 있다.Next, in step S30, the apparatus for visualizing agricultural environment data performs a post-processing on the area where the average value is not taken in step S20. That is, the apparatus for visualizing nongyeon environment data may generate a corrected depth image by applying an average value of a plurality of adjacent blocks to a region in which the depth value does not exist in block units.

그리고 S40 단계에서 농연 환경 데이터 시각화 장치는 보정된 깊이 영상과 더불어 보정된 깊이 영상을 통해 획득한 데이터를 사용자가 직관적으로 인지할 수 있도록 화면 상에 표시할 수 있다.In step S40, the apparatus for visualizing agricultural environment data may display the corrected depth image as well as data acquired through the corrected depth image on the screen so that the user can intuitively recognize it.

즉 농연 환경 데이터 시각화 장치는 복수의 열화상 카메라를 통해 측정된 영상을 통해 화점을 검출하여 화면 상에 표시하도록 제어할 수 있다. That is, the apparatus for visualizing agricultural environment data may control to detect a spot through images measured through a plurality of thermal imaging cameras and display them on the screen.

또한 농연 환경 데이터 시각화 장치는 보정된 깊이 영상을 통해 물체의 엣지를 검출하고, 물체의 엣지를 강조하여 화면 상에 표시하도록 제어할 수 있다.In addition, the apparatus for visualizing nongyeon environment data may detect an edge of an object through the corrected depth image, and control to highlight the edge of the object and display it on the screen.

또한 농연 환경 데이터 시각화 장치는 보정된 깊이 영상을 통해 기설정된 거리 별로 색상을 달리하여 화면 상에 표시할 수 있다.In addition, the apparatus for visualizing agricultural environment data may display on the screen by changing colors according to preset distances through the corrected depth image.

또한 농연 환경 데이터 시각화 장치는 보정된 깊이 영상을 통해 거리에 따른 1차원 깊이 정보를 화면 상에 표시하도록 제어할 수 있다.In addition, the apparatus for visualizing agricultural environment data may control to display 1D depth information according to a distance on the screen through the corrected depth image.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.On the other hand, the embodiments disclosed in the specification and drawings are only presented specific examples to aid understanding, and are not intended to limit the scope of the present invention. It is obvious to those of ordinary skill in the art that other modifications based on the technical idea of the present invention may be implemented in addition to the embodiments disclosed herein.

10 : 센싱부 11 : 제1 열화상 카메라
12 : 제2 열화상 카메라 13 : 라이다 센서
20 : 입력부 30 : 표시부
40 : 저장부 50 : 제어부
51 : 깊이 영상 생성 모듈 52 : 평균값 적용 모듈
53 : 후처리 모듈 100 : 농연 환경 데이터 시각화 장치10: sensing unit 11: first thermal imaging camera
12: second thermal imaging camera 13: lidar sensor
20: input unit 30: display unit
40: storage unit 50: control unit
51: depth image generation module 52: average value application module
53: post-processing module 100: agricultural environment data visualization device

Claims (8)

복수의 열화상 카메라를 포함하는 센싱부;
상기 복수의 열화상 카메라로부터 측정된 영상을 통해 공간을 표시하는 표시부;
상기 복수의 열화상 카메라를 통해 생성된 영상을 스테레오 매칭하여 깊이 영상을 생성하고, 생성된 상기 깊이 영상에서 블록 단위로 깊이 값에 대한 평균값을 적용하고, 상기 블록 단위로 깊이 값이 존재하지 않는 영역에 대하여 인접한 복수의 블록에 대한 평균값을 적용하여 보정된 깊이 영상을 생성하고, 상기 보정된 깊이 영상을 상기 표시부에 표시하도록 제어하는 제어부;
를 포함하는 것을 특징으로 하는 농연 환경 데이터 시각화 장치.A sensing unit including a plurality of thermal imaging cameras;
A display unit displaying a space through images measured from the plurality of thermal imaging cameras;
A depth image is generated by stereo matching the images generated by the plurality of thermal imaging cameras, and an average value of the depth value is applied in block units in the generated depth image, and the depth value does not exist in the block unit. A controller configured to generate a corrected depth image by applying an average value of a plurality of adjacent blocks to and to display the corrected depth image on the display;
Agricultural environment data visualization device comprising a. 제1항에 있어서,
상기 제어부는,
상기 복수의 열화상 카메라로부터 측정된 영상을 통해 화점을 검출하여 상기 표시부에 표시하는 것을 특징으로 하는 농연 환경 데이터 시각화 장치.The method of claim 1,
The control unit,
An apparatus for visualizing agricultural environment data, characterized in that, through the images measured from the plurality of thermal imaging cameras, a spot is detected and displayed on the display. 제1항에 있어서,
상기 제어부는,
상기 보정된 깊이 영상을 통해 물체의 엣지를 검출하고, 물체의 엣지를 강조하여 상기 표시부에 표시하는 것을 특징으로 하는 농연 환경 데이터 시각화 장치.The method of claim 1,
The control unit,
The apparatus for visualizing agricultural environment data, characterized in that the edge of the object is detected through the corrected depth image, and the edge of the object is emphasized and displayed on the display unit. 제1항에 있어서,
상기 제어부는,
상기 보정된 깊이 영상을 통해 기 설정된 거리 별로 색상을 달리하여 상기 표시부에 표시하는 것을 특징으로 하는 농연 환경 데이터 시각화 장치.The method of claim 1,
The control unit,
The apparatus for visualizing agricultural environment data, characterized in that different colors are displayed on the display unit according to preset distances through the corrected depth image. 제1항에 있어서,
상기 제어부는,
상기 보정된 깊이 영상을 통해 거리에 따른 1차원 깊이 정보를 상기 표시부에 표시하는 것을 특징으로 하는 농연 환경 데이터 시각화 장치.The method of claim 1,
The control unit,
The apparatus for visualizing agricultural environment data, comprising displaying on the display unit one-dimensional depth information according to a distance through the corrected depth image. 제5항에 있어서,
상기 센싱부는,
레이저 펄스를 통해 거리를 측정하는 라이다 센서;
를 더 포함하는 것을 특징으로 하는 농연 환경 데이터 시각화 장치.The method of claim 5,
The sensing unit,
A lidar sensor measuring distance through laser pulses;
Agricultural environment data visualization device comprising a further. 제6항에 있어서,
상기 제어부는,
상기 라이다 센서를 통해 측정된 거리 정보를 통해 상기 1차원 깊이 정보를 보정하는 것을 특징으로 하는 농연 환경 데이터 시각화 장치.The method of claim 6,
The control unit,
The apparatus for visualizing agricultural environment data, comprising correcting the one-dimensional depth information through distance information measured through the lidar sensor. 데이터 시각화 장치가 복수의 열화상 카메라를 통해 생성된 영상을 스테레오 매칭하여 깊이 영상을 생성하는 단계;
상기 데이터 시각화 장치가 생성된 상기 깊이 영상에서 블록 단위로 깊이 값에 대한 평균값을 적용하는 단계;
상기 데이터 시각화 장치가 상기 블록 단위로 깊이 값이 존재하지 않는 영역에 대하여 인접한 복수의 블록에 대한 평균값을 적용하여 보정된 깊이 영상을 생성하는 단계;
상기 데이터 시각화 장치가 상기 보정된 깊이 영상을 표시부에 표시하는 단계;
를 포함하는 것을 특징으로 하는 농연 환경 데이터 시각화 방법.Generating, by a data visualization device, a depth image by stereo matching images generated by a plurality of thermal imaging cameras;
Applying, by the data visualization device, an average value of a depth value in block units of the generated depth image;
Generating, by the data visualization apparatus, a corrected depth image by applying an average value of a plurality of adjacent blocks to an area in which the depth value does not exist for each block;
Displaying, by the data visualization device, the corrected depth image on a display unit;
Agricultural environment data visualization method comprising a.
KR1020180164726A 2018-12-19 2018-12-19 Data visualization apparatus and method KR102170795B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180164726A KR102170795B1 (en) 2018-12-19 2018-12-19 Data visualization apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164726A KR102170795B1 (en) 2018-12-19 2018-12-19 Data visualization apparatus and method

Publications (2)

Publication Number Publication Date
KR20200076056A KR20200076056A (en) 2020-06-29
KR102170795B1 true KR102170795B1 (en) 2020-10-27

Family

ID=71401304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164726A KR102170795B1 (en) 2018-12-19 2018-12-19 Data visualization apparatus and method

Country Status (1)

Country Link
KR (1) KR102170795B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007105147A (en) 2005-10-12 2007-04-26 Konica Minolta Holdings Inc Data detecting apparatus and method
JP2009530930A (en) 2006-03-22 2009-08-27 ピルツ ゲーエムベーハー アンド コー．カーゲー Method and apparatus for determining correspondence, preferably three-dimensional reconstruction of a scene
JP2015185176A (en) 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ Expression method and system for virtual object in visual field of reality environment
JP2018514748A (en) 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ Optical imaging system and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709282B1 (en) * 2011-11-15 2017-02-24 삼성전자주식회사 Image sensor, operation method therof,and apparatuses including the same
KR102214193B1 (en) * 2014-03-25 2021-02-09 삼성전자 주식회사 Depth camera device, 3d image display system having the same and control methods thereof
KR102457724B1 (en) * 2015-09-22 2022-10-24 삼성전자주식회사 Method for performing image process and electronic device thereof
KR20180068578A (en) * 2016-12-14 2018-06-22 삼성전자주식회사 Electronic device and method for recognizing object by using a plurality of senses
KR101947782B1 (en) * 2017-02-22 2019-02-13 한국과학기술원 Apparatus and method for depth estimation based on thermal image, and neural network learning method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007105147A (en) 2005-10-12 2007-04-26 Konica Minolta Holdings Inc Data detecting apparatus and method
JP2009530930A (en) 2006-03-22 2009-08-27 ピルツ ゲーエムベーハー アンド コー．カーゲー Method and apparatus for determining correspondence, preferably three-dimensional reconstruction of a scene
JP2015185176A (en) 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ Expression method and system for virtual object in visual field of reality environment
JP2018514748A (en) 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ Optical imaging system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
조민영, 신동인, and 전세웅. "화재 특성 고찰을 통한 농연 극복 센서 모듈." 한국재료학회지 28.11 (2018.11.)*

Also Published As

Publication number Publication date
KR20200076056A (en) 2020-06-29

Similar Documents

Publication Publication Date Title
US11328446B2 (en) Combining light-field data with active depth data for depth map generation
KR101949950B1 (en) Depth mapping with structured lighting and flight time
US9835445B2 (en) Method and system for projecting a visible representation of infrared radiation
US10091489B2 (en) Image capturing device, image processing method, and recording medium
CN104272717B (en) For performing projected image to the method and system of the alignment of infrared ray (IR) radiation information detected
US8167483B2 (en) Temperature measurement instruments and methods for identifying a selected target area
US10317311B2 (en) Laser scanning leak detection and visualization apparatus
US11514650B2 (en) Electronic apparatus and method for controlling thereof
US20180184071A1 (en) Photographing device and method for obtaining depth information
KR101523046B1 (en) Distance measurement apparatus of an image processing-based
US10310619B2 (en) User gesture recognition
CN107728410B (en) Image distortion correction method for laser projector and laser projector
US10509513B2 (en) Systems and methods for user input device tracking in a spatial operating environment
KR20150069927A (en) Device, method for calibration of camera and laser range finder
EP3736728A1 (en) Augmented reality system and method of determining model and installation location of a motion sensor
KR102170795B1 (en) Data visualization apparatus and method
KR102518535B1 (en) Apparatus and method for processing image of vehicle
JP2015173891A (en) Measuring apparatus, image display apparatus, and control method therefor
CN113240745A (en) Point cloud data calibration method and device, computer equipment and storage medium
KR102347226B1 (en) Fusion sensor data visualization device and method
KR102059114B1 (en) Image compensation device for matching virtual space and real space and image matching system using the same
US8988663B2 (en) Laser range finding
KR20220089473A (en) System and method for measuring long distance precision temperature using thermal imaging
CN111123625A (en) Projector and projection method
US11645771B2 (en) Measuring system and recording medium storing thereon a measuring program

Legal Events

Date Code Title Description
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant