KR20210030230A - Data collection device for augmented reality - Google Patents
Data collection device for augmented reality Download PDFInfo
- Publication number
- KR20210030230A KR20210030230A KR1020200114258A KR20200114258A KR20210030230A KR 20210030230 A KR20210030230 A KR 20210030230A KR 1020200114258 A KR1020200114258 A KR 1020200114258A KR 20200114258 A KR20200114258 A KR 20200114258A KR 20210030230 A KR20210030230 A KR 20210030230A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- rgb
- depth
- target object
- thermal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H04N9/045—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 증강현실을 위한 데이터 수집 장치에 관한 것으로서, 더욱 상세하게는 RGB 영상에 인식된 객체에 대한 다양한 정보를 증강하기 위한 데이터 수집 장치에 관한 것이다.The present invention relates to a data collection device for augmented reality, and more particularly, to a data collection device for augmenting various information on an object recognized in an RGB image.
일반적인 증강현실(AR)은 실사 영상으로부터 검출, 식별된 특정 대상 객체로부터 상대적인 위치에 상태 정보, 이미지 등과 같은 가상 콘텐츠를 겹쳐 보여주는 것으로, 그 대상의 검출 및 상태 정보 획득이 시각적으로 구분 가능한 것으로 한정된다. In general augmented reality (AR), virtual content such as status information and images are superimposed on a relative position from a specific target object detected and identified from a real-life image, and the detection of the target and acquisition of status information are limited to those that can be visually distinguished. .
최근 인공지능 기술의 발달로 영상기반 객체 인식 기술의 인식률 향상 및 대상 종류의 확장 등의 성과를 이루고 있지만, 여전히 증강현실 어플리케이션에서는, 시각적으로 구별 가능한 객체로부터 획득한 정보 등을 증강하는 것으로 제한된다. 이에 따라, 특히, 특정 객체의 상태 정보를 증강시켜 보여주는 산업용이나 관리용 증강현실 분야에서는, 콘텐츠 적용에 한계가 있다. Recently, with the development of artificial intelligence technology, the recognition rate of image-based object recognition technology has been improved and the target type has been expanded. However, in augmented reality applications, information obtained from visually distinguishable objects is limited to augmentation. Accordingly, in particular, in the field of industrial or management augmented reality that augments and shows state information of a specific object, there is a limit to content application.
일예로, 실사 영상, 즉 RGB 영상에 열화상 카메라로부터 획득한 객체 표면의 온도 정보를 증강하기 위해서는, RGB 영상과 열화상의 정합이 필요한데, RGB 카메라와 열화상 카메라에 대한 광축이 일치하지 않을 경우, RGB 영상과 열화상의 정합이 어려운 문제가 있다. 정합을 위한 별도의 연산을 통해, RGB 영상과 열화상을 정합시킬 수 있지만, 높은 연산량과 정확한 캘리브레이션 작업이 필요하다. 영상의 프레임 레이트(frame rate)를 낮춰 연산량을 줄일 수 있지만, 이 경우 만족할만한 성능을 발휘하기 어렵다.As an example, in order to augment the temperature information of the object surface obtained from the thermal imaging camera in the real-life image, that is, the RGB image, it is necessary to match the RGB image and the thermal image. When the optical axes of the RGB camera and the thermal imaging camera do not coincide, There is a problem that it is difficult to match the RGB image and the thermal image. Through a separate operation for registration, the RGB image and the thermal image can be matched, but a high amount of computation and accurate calibration are required. Although the amount of computation can be reduced by lowering the frame rate of an image, it is difficult to achieve satisfactory performance in this case.
관련 선행문헌으로 대한민국 등록특허 제10-1997770호 및 제10-1962755호가 있다.Related prior documents include Korean Patent Registration Nos. 10-1997770 and 10-1962755.
본 발명은 증강 현실을 위해 필요한 영상 데이터를 수집하는 데이터 수집 장치를 제공하기 위한 것이다.The present invention is to provide a data collection device for collecting image data necessary for augmented reality.
또한 본 발명은 증강 현실에 이용되는 영상을 용이하게 정합시킬 수 있는, 증강현실을 위한 데이터 수집 장치를 제공하기 위한 것이다. In addition, the present invention is to provide a data collection device for augmented reality that can easily match images used in augmented reality.
또한 본 발명은 누락된 깊이 정보를 용이하게 보정할 수 있는 증강현실을 위한 데이터 수집 장치를 제공하기 위한 것이다. In addition, the present invention is to provide a data collection device for augmented reality that can easily correct the missing depth information.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, RGB 영상을 생성하는 비전 센서; 열화상을 생성하며, 상기 RGB 카메라로부터 이격되어 배치되는 열화상 카메라; 상기 비전 센서 및 상기 열화상 카메라의 광축을 일치시키는 광학계; 및 상기 RGB 영상에 상기 열화상을 증강하는 영상 처리부를 포함하는 증강현실을 위한 데이터 수집 장치가 제공된다. According to an embodiment of the present invention for achieving the above object, a vision sensor for generating an RGB image; A thermal imaging camera that generates a thermal image and is spaced apart from the RGB camera; An optical system that matches the optical axis of the vision sensor and the thermal imaging camera; And an image processing unit for augmenting the thermal image on the RGB image.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, RGB 영상을 생성하는 RGB 카메라; 열화상을 생성하며, 상기 RGB 카메라로부터 이격되어 배치되는 열화상 카메라; 깊이 영상을 생성하며, 상기 RGB 카메라 및 열화상 카메라와 이격되어 배치되는 깊이 카메라; 상기 RGB 카메라, 상기 열화상 카메라 및 상기 깊이 카메라의 광축을 일치시키는 광학계; 및 상기 RGB 영상에 상기 열화상 또는 깊이 영상을 증강하는 영상 처리부를 포함하는 증강현실을 위한 데이터 수집 장치가 제공된다.In addition, according to another embodiment of the present invention for achieving the above object, an RGB camera for generating an RGB image; A thermal imaging camera that generates a thermal image and is spaced apart from the RGB camera; A depth camera that generates a depth image and is spaced apart from the RGB camera and the thermal imaging camera; An optical system that matches optical axes of the RGB camera, the thermal imaging camera, and the depth camera; And an image processing unit for augmenting the thermal image or the depth image on the RGB image.
본 발명의 일실시예에 따르면, RGB 카메라, 열화상 카메라 및 깊이 카메라의 광축이 일치된 상태로 RGB 영상, 열화상 영상 및 깊이 영상이 수집됨으로써, RGB 영상과 열화상 영상 및 깊이 영상 사이의 정합이 용이하게 이루어질 수 있다.According to an embodiment of the present invention, by collecting an RGB image, a thermal image, and a depth image while the optical axes of the RGB camera, the thermal image camera, and the depth camera are matched, matching between the RGB image, the thermal image, and the depth image This can be done easily.
또한 본 발명의 일실시예에 따르면, 정합된 영상을 이용하여, 누락된 깊이 정보를 획득할 수 있다.In addition, according to an embodiment of the present invention, missing depth information may be obtained by using the matched image.
또한 본 발명의 일실시예에 따르면, 타겟 객체에 대한 3차원 모델링 결과를 타겟 객체의 인식에 이용함으로써, 객체 인식의 정확도를 향상시킬 수 있다.In addition, according to an embodiment of the present invention, the accuracy of object recognition may be improved by using the 3D modeling result of the target object for recognition of the target object.
도 1은 본 발명의 일실시예에 따른 증강현실을 위한 데이터 수집 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 처리부를 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시예에 따른, 데이터 수집 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 영상 처리부를 설명하기 위한 도면이다.
도 5는 RGB 영상에서 일부가 가려진 타겟 객체의 에지를 나타내는 도면이다.
도 6은 RGB 영상 및 깊이 영상에서의 타겟 객체를 나타내는 도면이다.
도 7은 깊이 영상에서 홀 영역이 나타난 도면이다.1 is a view for explaining a data collection device for augmented reality according to an embodiment of the present invention.
2 is a diagram illustrating an image processing unit according to an embodiment of the present invention.
3 is a view for explaining a data collection device according to another embodiment of the present invention.
4 is a diagram illustrating an image processing unit according to another embodiment of the present invention.
5 is a diagram illustrating an edge of a target object in which a part of the RGB image is covered.
6 is a diagram illustrating a target object in an RGB image and a depth image.
7 is a diagram illustrating a hole area in a depth image.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.
본 발명은 RGB 영상에 증강하기 위한 데이터를 수집하는 장치에 관한 발명이다.The present invention relates to an apparatus for collecting data for augmentation on an RGB image.
본 발명의 일실시예에 따르면, RGB 영상에 증강할 데이터는 RGB 영상에 포함된 객체의 표면에 대한 온도 정보나, 깊이 정보와 같이, 객체 인식을 위한 3차원 기하 정보나 시각 특징 정보일 수 있으며, 사용되는 카메라나 센서에 따라서, 다른 타입의 데이터가 수집되어 증강될 수도 있다.According to an embodiment of the present invention, data to be augmented in an RGB image may be 3D geometric information or visual feature information for object recognition, such as temperature information or depth information on the surface of an object included in the RGB image. , Depending on the camera or sensor used, other types of data may be collected and augmented.
일실시예로서, 객체의 표면에 대한 온도 정보를 획득하기 위해서 열화상 카메라가 이용될 수 있는데, RGB 영상에 이러한 온도 정보를 증강하기 위해서는, RGB 영상과 열화상의 정합이 필요하다. 본 발명의 일실시예는 이러한 정합을 위한 별도의 데이터 처리없이 정합된 영상을 획득하기 위해, 서로 다른 위치에 배치된 RGB 카메라와 열화상 카메라에 대한 광축을 서로 일치시킨다.As an embodiment, a thermal imaging camera may be used to obtain temperature information on a surface of an object. In order to augment such temperature information in an RGB image, it is necessary to match the RGB image with the thermal image. According to an embodiment of the present invention, in order to obtain a matched image without separate data processing for such registration, the optical axes of the RGB cameras and the thermal imaging cameras disposed at different positions are matched with each other.
RGB 카메라와 열화상 카메라의 광축이 일치되지 않은 상태에서 획득된 RGB 영상과 열화상에는 동일 객체가 서로 다른 지점에 위치하기 때문에, 영상 정합을 위한 별도의 보정 과정이 필요하지만, RGB 카메라와 열화상 카메라의 광축이 일치된 상태에서는 동일 객체가 서로 다른 영상에서 동일한 지점에 위치하기 때문에, 정합을 위한 별도의 보정 과정없이도 정합된 영상을 획득할 수 있다.Since the same object is located at different points in the RGB image and the thermal image acquired while the optical axes of the RGB camera and the thermal imaging camera are not aligned, a separate correction process is required for image matching, but the RGB camera and the thermal imaging camera Since the same object is located at the same point in different images when the optical axes of are matched, a matched image can be obtained without a separate correction process for registration.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 증강현실을 위한 데이터 수집 장치를 설명하기 위한 도면이다. 1 is a view for explaining a data collection device for augmented reality according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 데이터 수집 장치는 비전 센서(110), 열화상 카메라(120), 광학계(130) 및 영상 처리부(140)를 포함한다. 일실시예로서 비전 센서는 RGB 카메라 또는 RGB 영상과 깊이 영상을 동시에 생성하는 RGB-D 카메라일 수 있다. Referring to FIG. 1, a data collection device according to an embodiment of the present invention includes a
RGB 영상을 생성하는 비전 센서(110)와, 열화상(thermal image)을 생성하는 열화상 카메라(120)는 서로 이격되어 배치되며, 광학계(130)는 비전 센서(110) 및 열화상 카메라(120)의 광축(optical axis)을 일치시킨다.The
일실시예로서, 광학계(130)는, 비전 센서(110)의 광축에 대응되는 제1경로(161)로 진행하며 광학계(130)로 입력된 빔을, 제2경로(162)로 진행하는 원적외선 파장 대역의 빔 및 제1경로(161)로 진행하는 나머지 파장 대역의 빔으로 분리하는 빔 스플리터(131)를 포함한다. 원적외선 파장 대역의 빔은 열화상 카메라(120)의 광축에 대응되는 제2경로(162)를 따라서 열화상 카메라(120)로 입력되며, 나머지 파장 대역의 빔은 제1경로(161)를 따라서 비전 센서(110)로 입력된다. 나머지 파장 대역의 빔에는 가시광선 파장 대역의 빛이 포함된다.As an embodiment, the
도 1에 도시된 바와 같이, 비전 센서(110)의 광축이라는 동일한 광축에 대응되는 경로를 따라 이동하는 빛이 빔 스플리터(131)에 의해 2개의 빔으로 분할되어, 각각 비전 센서(110) 및 열화상 카메라(120)로 입력되므로, 열화상 카메라(120)로 입력되는 빔은 비전 센서(110)의 광축을 따라 진행한 빔이라고 볼 수 있다. 따라서, 비전 센서(110) 및 열화상 카메라(120)의 광축은, 비전 센서(110)의 광축으로 일치된다고 볼 수 있다.As shown in FIG. 1, light moving along a path corresponding to the same optical axis called the optical axis of the
이 때, 제1경로(161)에서, 빔 스플리터(131)로부터 비전 센서(110)까지의 거리(L1)는, 제2경로의 거리(L2), 즉 제2경로(162)에서 빔 스플리터(131)로부터 열화상 카메라(120)까지의 거리와 동일할 수 있다.At this time, in the
따라서, 본 발명의 일실시예에 따르면, RGB 영상과 열화상이 정합될 뿐만 아니라, 원근감의 차이없이 동일한 크기의 객체들을 포함하는 RGB 영상과 열화상이 획득될 수 있다.Accordingly, according to an embodiment of the present invention, not only an RGB image and a thermal image are matched, but an RGB image and a thermal image including objects of the same size may be obtained without a difference in perspective.
다른 실시예로서, 비전 센서와 열화상 카메라의 위치는 서로 반대가 될 수 있다. 이 경우, 광학계는 열화상 카메라의 광축에 대응되는 제1경로로 진행하며 광학계로 입력된 빔을, 제1경로로 진행하는 원적외선 파장 대역의 빔 및 비전 센서의 광축에 대응되는 제2경로로 진행하는 나머지 파장 대역의 빔으로 분리하는 빔 스플리터를 포함할 수 있다. 그리고 이때 열화상 카메라의 광축에 대응되는 제1경로에서, 빔 스플리터로부터 열화상 카메라까지의 길이는, 비전 센서의 광축에 대응되는 제2경로의 길이와 동일할 수 있다.As another embodiment, the positions of the vision sensor and the thermal imaging camera may be opposite to each other. In this case, the optical system proceeds to the first path corresponding to the optical axis of the thermal imaging camera, and the beam input to the optical system proceeds to the far-infrared wavelength band beam traveling to the first path and the second path corresponding to the optical axis of the vision sensor. It may include a beam splitter for separating the beams of the remaining wavelength band. In this case, in the first path corresponding to the optical axis of the thermal imaging camera, the length from the beam splitter to the thermal imaging camera may be the same as the length of the second path corresponding to the optical axis of the vision sensor.
영상 처리부(140)는 비전 센서(110) 및 열화상 카메라(120)로부터, RGB 영상 및 열화상을 입력받아, RGB 영상에 열화상을 증강한다. 실시예에 따라서, 열화상 전체를 RGB 영상에 증강할 수도 있으며, 또는 타겟 객체에 대한 열화상 일부를 RGB 영상에 포함된 타겟 객체에 증강할 수도 있다. The
만일 RGB-D 카메라가 비전 센서로 사용된 경우, 영상 처리부(140)는 깊이 영상을 RGB 영상에 증강할 수도 있다.If the RGB-D camera is used as a vision sensor, the
도 2는 본 발명의 일실시예에 따른 영상 처리부를 설명하기 위한 도면이다.2 is a diagram illustrating an image processing unit according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 영상 처리부(140)는 영상 인식부(142) 및 증강 처리부(143)를 포함할 수 있으며, 실시예에 따라서 영상 정합부(141)를 더 포함할 수 있다.Referring to FIG. 2, the
영상 정합부(141)는 RGB 영상과 열화상을 정합한다. 전술된 바와 같이, 광학계를 통해 정합된 RGB 영상과 열화상을 획득할 수 있는데, 보다 정확한 정합을 위한 후처리를 위해, 영상 정합부(141)가 이용될 수 있다.The image matching
영상 정합부(141)는 RGB 영상과 열화상의 특징점을 이용하여 정합을 수행할 수 있으며, RGB 카메라(110) 및 열화상 카메라(120)의 화각이 다를 경우, 화각에 대한 캘리브레이션을 수행한 후, 이미지 워핑(image warping)을 통해 RGB 영상과 열화상을 정합할 수 있다.The image matching
영상 인식부(142)는 RGB 영상 및 열화상에서, 타겟 객체를 인식하고 분할한다. RGB 카메라(110)와 열화상 카메라(120)는 동일한 광축으로 진행하는 빔을 입력받기 때문에, RGB 영상 및 열화상은, 동일한 타겟 객체를 포함한다.The
영상 인식부(142)는 특징점 검출, 에지 검출 등을 이용하는 다양한 객체 인식 알고리즘을 통해 RGB 영상에 포함된 객체를 인식할 수 있으며, 시맨틱 세그멘테이션(semantic segmentation)과 같은 기계 학습 알고리즘을 이용하여 객체 인식과 분할을 동시에 수행할 수도 있다.The
일실시예로서, 영상 인식부(142)는 RGB 영상에서 객체 인식 및 분할을 수행한 후, 객체 인식 및 분할 결과를, RGB 영상에 정합된 열화상에 적용함으로써, 열화상에 대한 객체 인식 및 분할을 수행할 수 있다.As an embodiment, the
증강 처리부(143)는 RGB 영상에 포함된 타겟 객체에, 타겟 객체에 대한 열화상을 증강한다. 예컨대, RGB 영상에 제1 및 제2객체가 포함되고 제1객체가 타겟 객체일 경우, 증강 처리부(143)는 RGB 영상의 제1객체에 열화상을 오버랩할 수 있으며, 제2객체는 RGB 영상에서의 RGB 화소값으로 표현된다.The
한편, 본 발명의 일실시예에 따르면, 비전 센서(110), 열화상 카메라(120), 광학계(130) 및 영상 처리부(140)는, 도 1에 도시된 바와 같이, 외부의 빛이 들어올 수 있도록 일부분이 오픈된 하드웨어 프레임(150)의 내부에 배치될 수 있으며, 이러한 하드웨어 프레임(150)은 다양한 타입의 거치 장치가 부착된 상태로, 다양한 장소에서 활용될 수 있다.Meanwhile, according to an embodiment of the present invention, the
일실시예로서, 거치 장치는 마운트(mount), 손잡이, 안경 프레임 등일 수 있으며, 본 발명의 일실시예에 따른 데이터 수집 장치는 하네스, 백팩 등에 결합되어 사용되거나, 사용자의 몸에 착용되어 이용될 수 있다.As an embodiment, the mounting device may be a mount, a handle, a glasses frame, etc., and the data collection device according to an embodiment of the present invention is used in combination with a harness, a backpack, etc., or worn on the user's body. I can.
다시 도 2로 돌아가, 본 발명의 일실시예에 따른 데이터 수집 장치는 디스플레이나 온도 센서, 습도 센서, 관성 센서 등을 더 포함할 수 있다. 증강 처리부(143)에서 생성된, 타겟 객체에 대한 열화상이 증강된 RGB 영상은 디스플레이에서 표시될 수 있다. 영상 처리부(140)는 열화상이 증강된 RGB 영상에, 온도 센서 및 습도 센서의 센싱 데이터를 추가적으로 표시할 수 있다. 그리고 관성 센서를 통해 객체 위치가 정확하게 계산될 수 있으며, 후술되는 3차원 모델링의 정확도가 향상될 수 있다.Returning to FIG. 2 again, the data collection device according to an embodiment of the present invention may further include a display, a temperature sensor, a humidity sensor, an inertial sensor, and the like. An RGB image generated by the
도 3은 본 발명의 다른 실시예에 따른, 데이터 수집 장치를 설명하기 위한 도면이다. 3 is a view for explaining a data collection device according to another embodiment of the present invention.
도 3을 참조하면, 본 발명의 일실시예에 따른 데이터 수집 장치는 RGB 카메라(110), 열화상 카메라(120), 깊이 카메라(170), 광학계(330) 및 영상 처리부(340)를 포함한다. 도 3에서는 깊이 카메라가 추가적으로 이용되는 실시예가 설명되나, 실시예에 따라서, 깊이 카메라 이외 또 다른 정보를 획득할 수 있는 카메라가 이용될 수 있다.Referring to FIG. 3, a data collection device according to an embodiment of the present invention includes an
도 1과 비교하여, 도 3에 도시된 실시예는 RGB 카메라인 비전 센서(110) 및 열화상 카메라(120)와 이격되어 배치되는, 깊이 카메라(170)를 더 포함한다. 깊이 카메라(170)는 근적외선 빛을 조사하여 객체로부터 반사된 근적외선 빛을 수신하여 깊이 영상을 생성한다.Compared with FIG. 1, the embodiment illustrated in FIG. 3 further includes a
그리고 깊이 카메라(170)가 추가됨에 따라서, 광학계(330)는 RGB 카메라(110), 열화상 카메라(120) 및 깊이 카메라(170)의 광축을 일치시키며, 이를 위해 추가적으로 제2빔 스플리터(132)를 더 포함할 수 있다.And as the
전술된 바와 같이, 제1빔 스플리터(131)는 광학계(330)로 입력된 빔을, 원적외선 파장 대역의 빔 및 나머지 파장 대역의 빔으로 분리한다. 그리고 제2빔 스플리터(132)는 제1빔 스플리터(131)에 의해 분리된 나머지 파장 대역의 빔을 가시광선 대역의 빔 및 근적외선 파장 대역의 빔으로 분리한다.As described above, the
일실시예로서, 제1빔 스플리터(131)는 RGB 카메라(110)의 광축에 대응되는 제1경로(161)로 진행하며 광학계로 입력된 빔을, 열화상 카메라(120)의 광축에 대응되는 제2경로(162)로 진행하는 원적외선 파장 대역의 빔 및 제1경로(161)로 진행하는 나머지 파장 대역의 빔으로 분리한다. 그리고 제2빔 스플리터(132)는 RGB 카메라(110)의 광축에 대응되는 제1경로(161)로 진행하는 나머지 파장 대역의 빔을, 깊이 카메라(170)의 광축에 대응되는 제3경로(163)로 진행하는 근적외선 파장 대역의 빔 및 제1경로(161)로 진행하는 가시광선 파장 대역의 빔으로 분리한다.As an embodiment, the
원적외선 파장 대역의 빔은 제2경로(162)를 따라서 열화상 카메라(120)로 입력되며, 근적외선 파장 대역의 빔은 제3경로(163)를 따라서, 깊이 카메라(170)로 입력된다. 그리고 가시광선 파장 대역의 빔은 제1경로(161)를 따라서, RGB 카메라(110)로 입력된다.The beam of the far-infrared wavelength band is input to the
도 3에 도시된 바와 같이, RGB 카메라(110)의 광축이라는 동일한 광축에 대응되는 경로를 따라 이동하는 빛이 빔 스플리터(131, 132)에 의해 3개의 빔으로 분할되어, 각각 RGB 카메라 (110), 열화상 카메라(120) 및 깊이 카메라(170)로 입력되므로, 열화상 카메라(120) 및 깊이 카메라(170)로 입력되는 빔은 모두 RGB 카메라(110)의 광축을 따라 진행한 빔이라고 볼 수 있다. 따라서, RGB 카메라(110), 열화상 카메라(120) 및 깊이 카메라(170)의 광축은, 모두 RGB 카메라(110)의 광축으로 일치된다고 볼 수 있다.As shown in FIG. 3, light moving along a path corresponding to the same optical axis called the optical axis of the
이 때, 제1빔 스플리터(131)에서 RGB 카메라(110)로 이동하는 빔의 이동 경로의 거리(L0 + L1)는, 제1빔 스플리터(131)에서 열화상 카메라(120)로 이동하는 빔의 이동 경로의 거리(L2)와 동일하고, 제1빔 스플리터(131)에서 깊이 카메라(170)로 이동하는 빔의 이동 경로의 거리(L0 + L3)와 동일할 수 있다. 다시 말해, 제1경로(161)에서, 제1빔 스플리터(131)로부터 RGB 카메라(110)까지의 거리(L0 + L1)는, 제2경로의 거리(L2)와 동일하고, 또한 제1경로(161)에서 제1빔 스플리터(131)로부터 제2빔 스플리터(132)까지의 거리(L0)와, 제3경로의 거리(L3)의 합과 동일하다.At this time, the distance (L0 + L1) of the moving path of the beam moving from the
따라서, 본 발명의 일실시예에 따르면, RGB 영상, 열화상 및 깊이 영상이 정합될 뿐만 아니라, 원근감의 차이없이 동일한 크기의 객체들을 포함하는 RGB 영상, 열화상 및 깊이 영상이 획득될 수 있다.Accordingly, according to an embodiment of the present invention, not only the RGB image, the thermal image, and the depth image are matched, but an RGB image, a thermal image, and a depth image including objects of the same size may be obtained without a difference in perspective.
다른 실시예로서, RGB 카메라, 열화상 카메라 및 깊이 카메라의 위치는 서로 변경될 수 있다. 이 경우, 광학계는 깊이 카메라 또는 열화상 카메라의 광축에 대응되는 경로로 진행하며 광학계로 입력된 빔이, 나머지 카메라로 입력되도록 빔을 분리할 수 있다.As another embodiment, the positions of the RGB camera, the thermal imaging camera, and the depth camera may be changed to each other. In this case, the optical system proceeds in a path corresponding to the optical axis of the depth camera or the thermal imaging camera, and the beam input to the optical system may be separated so that the beam is input to the remaining cameras.
한편, 전술된 바와 같이, 광학계(330)는 RGB 카메라(110), 열화상 카메라(120) 및깊이 카메라(170)의 배치 위치에 따라서, 분리된 빔이 각각 RGB 카메라(110), 열화상 카메라(120) 및 깊이 카메라(170)로 입력되도록, 렌즈, 미러 등 같은 또다른 광학 소자를 더 포함할 수 있다.Meanwhile, as described above, in the
또한 영상 처리부(340)는 RGB 영상에 열화상을 증강하거나 또는 RGB 영상에 깊이 영상을 증강한다. 영상 처리부(340)는 실시예에 따라서, 깊이 영상 전체를 RGB 영상에 증강할 수도 있으며, 또는 타겟 객체에 대한 깊이 영상 일부를 RGB 영상에 포함된 타겟 객체에 증강할 수도 있다. 영상 처리부(340)는 열화상 또는 깊이 영상이 증강된 RGB 영상에, 온도 센서 및 습도 센서의 센싱 데이터를 추가적으로 표시할 수 있다.In addition, the
도 4는 본 발명의 다른 실시예에 따른 영상 처리부를 설명하기 위한 도면이며, 도 5는 RGB 영상에서 일부가 가려진 타겟 객체의 에지를 나타내는 도면이다. 그리고 도 6은 RGB 영상 및 깊이 영상에서의 타겟 객체를 나타내는 도면이며, 도 7은 깊이 영상에서 홀 영역이 나타난 도면이다.FIG. 4 is a diagram for explaining an image processing unit according to another embodiment of the present invention, and FIG. 5 is a diagram illustrating an edge of a target object in which a part of an RGB image is covered. 6 is a diagram illustrating a target object in an RGB image and a depth image, and FIG. 7 is a diagram illustrating a hole area in the depth image.
도 4를 참조하면, 본 발명의 일실시예에 따른 영상 처리부(340)는 영상 인식부(342) 및 증강 처리부(343)를 포함할 수 있으며, 실시예에 따라서 영상 정합부(341)를 더 포함할 수 있다.Referring to FIG. 4, the
전술된 바와 같이, 보다 정확한 영상의 정합을 위한 후처리를 위해, 영상 정합부(341)가 이용될 수 있으며, 영상 정합부(341)는 특징점을 이용하여 RGB 영상, 열화상 및 깊이 영상을 정합하거나, 화각에 대한 캘리브레이션을 수행할 수 있다.As described above, for post-processing for more accurate image registration, the
영상 인식부(342)는 RGB 영상, 깊이 영상 및 열화상 중 적어도 하나에서, 타겟 객체를 인식하고 분할한다.The
일실시예로서, 영상 인식부(342)는 RGB 영상에서 객체 인식 및 분할을 수행한 후, 객체 인식 및 분할 결과를, RGB 영상에 정합된 열화상 또는 깊이 영상에 적용함으로써, 열화상 또는 깊이 영상에 대한 객체 인식 및 분할을 수행할 수 있다.As an embodiment, the
또한 영상 인식부(342)는 깊이 영상에 포함된 타겟 객체에 대한 깊이값 즉3차원 기하 정보를 이용하여, 인식 및 분할된 타겟 객체에 대한 3차원 모델을 생성할 수 있다. 일예로서, 영상 인식부(342)는 포인트 클라우드를 이용하거나 복셀(voxel)을 이용하는 모델링 기법을 이용하여, 타겟 객체에 대한 3차원 모델을 생성할 수 있다. In addition, the
증강 처리부(343)는 RGB 영상에 포함된 타겟 객체에, 타겟 객체에 대한 열화상 또는 깊이 영상을 증강한다. 예컨대, RGB 영상에 제1 및 제2객체가 포함되고 제1객체가 타겟 객체일 경우, 증강 처리부(143)는 RGB 영상의 제1객체에 깊이 영상 또는 열화상을 오버랩할 수 있으며, 제2객체는 RGB 영상에서의, RGB 화소값으로 표현될 수 있다.The
만일 타겟 객체에 대한 3차원 모델이 생성된 경우, 증강 처리부(343)는 3차원 모델에, 타겟 객체에 대한 열화상 또는 깊이 영상을 증강할 수 있다.If a 3D model for the target object is generated, the
한편, 본 발명의 다른 실시예에 따르면 영상 인식부(342)는 RGB 영상, 깊이 영상 및 열화상을 이용하여, 깊이 영상의 타겟 객체 영역에서 깊이값이 누락된 홀(hole) 영역에 대한 깊이값을 보정할 수 있다. 전술된 바와 같이, 깊이 영상은 객체로부터 객체로부터 반사된 근적외선 빛을 이용하여 생성되므로 전반사가 발생하는 부분에 대해서는 깊이값이 획득되지 않을 수 있으며 또는 다른 객체에 의해 가려져 깊이값이 획득되지 않을 수도 있다. 도 7에서 좌측 영상은 RGB 영상, 우측 영상은 RGB 영상에 대한 깊이 영상으로서, 전반사에 의해 깊이값이 누락된 홀 영역(710)과, 가려짐에 의해 깊이값이 누락된 홀 영역(720)이 나타나 있다. 영상 인식부(342)는 RGB 영상 및 열화상을 이용하여, 깊이 영상에서 이러한 홀 영역을 검출하고, 홀 영역에 대한 깊이값을 보정할 수 있다.Meanwhile, according to another embodiment of the present invention, the
일실시예로서 영상 인식부(342)는 에지 결정부(3421), 홀 탐색부(3422) 및 깊이값 생성부(3423)를 포함할 수 있다.As an embodiment, the
에지 결정부(3421)는 RGB 영상 및 열화상을 이용하여, 타겟 객체에 대한 에지를 결정한다. 타겟 객체의 가려진 영역이 존재할 경우, RGB 영상에서는 타겟 객체의 에지가 정확히 추출되지 않을 수 없지만, 열화상에서는 타겟 객체의 가려진 영역이 표시될 수 있으므로, 에지 결정부(3421)는 RGB 영상 및 열화상을 상보적으로 이용하여, 타겟 객체에 대한 에지를 결정할 수 있다.The
일실시예로서 에지 결정부(3421)는 RGB 영상에서 타겟 객체를 인식 및 분할하고, 분할된 타겟 객체에 대응되는 열화상의 타겟 객체 영역을 이용하여, 타겟 객체의 에지를 보정할 수 있다. 에지 결정부(3421)는 RGB 영상에서 추출된 타겟 객체의 에지와 동일한 형상의 타겟 객체 영역을 열화상 영상에서 결정하고, 열화상 영상의 타겟 객체 영역 및 타겟 객체 영역 주변의 화소값을 이용하여, 타겟 객체의 에지를 보정할 수 있다. As an embodiment, the
예컨대, 도 5(a)와 같은 사각형 형상의 타겟 객체(510)의 오른쪽 하단부가, 다른 객체 의해 가려질 경우, 도 5(b)와 같이 RGB 영상(520)에서 추출된 타겟 객체의 에지(530)의 형상은, 타겟 객체(510)의 형상과 같은 사각형 형상이 아닐 수 있다. 이 때, 열화상 영상의 타겟 객체 영역 및 타겟 객체 영역 주변의 화소값 중에서, 동일하거나 유사한 화소값이 분포된 영역의 형상이 사각형이라면, 에지 결정부(3421)는 타겟 객체의 에지를 도 5(a)와 같은 사각형으로 보정할 수 있다. For example, when the lower right portion of the
또는 에지 결정부(3421)는 열화상 영상을 이용하여, 타겟 객체를 인식하고, 인식된 타겟 객체에 대한 에지를 RGB 영상에서 검출할 수 있다.Alternatively, the
홀 탐색부(3422)는 에지 결정부(3421)에서 결정된 타겟 객체에 대한 에지를 이용하여, 에지에 대응되는 깊이 영상의 타겟 객체 영역에서 홀 영역을 결정한다. 도 6(a)와 같이 RGB 영상(610)에서 삼각형 형상의 타겟 객체에 대한 에지(620)가 결정된 경우, 홀 탐색부(3422)는 에지(620)를 이용하여, 도 6(b)와 같이 깊이 영상(630)에서 에지(620)에 대응되는 타겟 객체 영역(640)을 추출한다. 타겟 객체 영역(640)에서 빗금친 부분이 깊이값이 존재하는 영역이며, 홀 탐색부(3422)는 타겟 객체 영역(640)에서 깊이값이 존재하지 않는 홀 영역(650)을 결정할 수 있다.The
일실시예로서, 홀 탐색부(3422)는 추출된 타겟 객체 영역에서의 깊이값으로부터 결정되는 임계값과 타겟 객체 영역에서의 깊이값을 비교하여, 홀 영역을 결정할 수 있다. 예컨대, 임계값은 타겟 객체 영역에 포함된 임계값의 평균값이나 최대값일 수 있으며, 일반적으로 깊이값이 존재하지 않는 홀 영역의 화소값은 0이거나 0에 가까운 값이므로, 홀 탐색부(3422)는 타겟 객체 영역에서 임계값보다 작은 화소값을 포함하는 영역을 홀 영역으로 결정할 수 있다.As an embodiment, the
또는 홀 탐색부(3422)는 타겟 객체 영역의 경계선으로부터 미리 설정된 거리 내에 위치한 영역에서 홀 영역을 결정할 수 있다. 이는 일반적으로 홀 영역이 에지 부근에 많이 발생한다는 점에 착안한 것이다. 홀 탐색부(3422)는 타겟 객체 영역의 경계선으로부터 미리 설정된 거리 내에 위치한 영역에서, 임계값보다 작은 화소값을 포함하는 영역을 홀 영역으로 결정할 수 있다. Alternatively, the
깊이값 생성부(3423)는 홀 탐색부(3422)에서 결정된 홀 영역 주변의 깊이값을 이용하여, 홀 영역에 대한 깊이값을 생성한다.The
일실시예로서, 깊이값 생성부(3423)는 홀 영역에 인접한 영역의 깊이값을 홀 영역에 대한 깊이값으로 결정하거나 또는 홀 영역에 인접한 영역의 깊이값에 대한 평균값을 홀 영역에 대한 깊이값으로 결정할 수 있다.In one embodiment, the
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , If a person of ordinary skill in the field to which the present invention belongs, various modifications and variations are possible from these descriptions. Therefore, the spirit of the present invention is limited to the described embodiments and should not be defined, and all things that are equivalent or equivalent to the claims as well as the claims to be described later fall within the scope of the spirit of the present invention. .
Claims (15)
열화상을 생성하며, 상기 RGB 카메라로부터 이격되어 배치되는 열화상 카메라;
상기 비전 센서 및 상기 열화상 카메라의 광축을 일치시키는 광학계; 및
상기 RGB 영상에 상기 열화상을 증강하는 영상 처리부
를 포함하는 증강현실을 위한 데이터 수집 장치.
A vision sensor that generates an RGB image;
A thermal imaging camera that generates a thermal image and is spaced apart from the RGB camera;
An optical system that matches the optical axis of the vision sensor and the thermal imaging camera; And
An image processing unit to augment the thermal image on the RGB image
Data collection device for augmented reality comprising a.
상기 광학계는
상기 비전 센서의 광축에 대응되는 제1경로로 진행하며 상기 광학계로 입력된 빔을, 상기 열화상 카메라의 광축에 대응되는 제2경로로 진행하는 원적외선 파장 대역의 빔 및 상기 제1경로로 진행하는 나머지 파장 대역의 빔으로 분리하는 빔 스플리터
를 포함하는 증강현실을 위한 데이터 수집 장치.
The method of claim 1,
The optical system
A beam of a far-infrared wavelength band proceeding to a first path corresponding to the optical axis of the vision sensor and input to the optical system to a second path corresponding to the optical axis of the thermal imaging camera and the first path Beam splitter that separates the beams of the remaining wavelength bands
Data collection device for augmented reality comprising a.
상기 제1경로에서, 상기 빔 스플리터로부터 상기 비전 센서까지의 거리는,
상기 제2경로에서, 상기 빔 스플리터로부터 상기 열화상 카메라까지의 거리와 동일한
증강현실을 위한 데이터 수집 장치.
The method of claim 2,
In the first path, the distance from the beam splitter to the vision sensor is,
In the second path, the same as the distance from the beam splitter to the thermal imaging camera
Data collection device for augmented reality.
상기 광학계는
상기 열화상 카메라의 광축에 대응되는 제1경로로 진행하며 상기 광학계로 입력된 빔을, 상기 제1경로로 진행하는 원적외선 파장 대역의 빔 및 상기 비전 센서의 광축에 대응되는 제2경로로 진행하는 나머지 파장 대역의 빔으로 분리하는 빔 스플리터
를 포함하는 증강현실을 위한 데이터 수집 장치.
The method of claim 1,
The optical system
Proceeding to a first path corresponding to the optical axis of the thermal imaging camera and proceeding to a beam input to the optical system in a far-infrared wavelength band traveling to the first path and a second path corresponding to the optical axis of the vision sensor. Beam splitter that separates the beams of the remaining wavelength bands
Data collection device for augmented reality comprising a.
상기 제1경로에서, 상기 빔 스플리터로부터 상기 열화상 카메라까지의 길이는,
상기 제2경로의 길이와 동일한
증강현실을 위한 데이터 수집 장치.
The method of claim 4,
In the first path, the length from the beam splitter to the thermal imaging camera is,
Equal to the length of the second path
Data collection device for augmented reality.
상기 영상 처리부는
상기 RGB 영상 및 상기 열화상에서, 타겟 객체를 인식하고 분할하는 영상 인식부; 및
상기 RGB 영상에 포함된 상기 타겟 객체에, 상기 타겟 객체에 대한 열화상을 증강하는 증강 처리부
를 포함하는 증강현실을 위한 데이터 수집 장치.
The method of claim 1,
The image processing unit
An image recognition unit for recognizing and segmenting a target object in the RGB image and the thermal image; And
An augmentation processing unit for augmenting a thermal image of the target object on the target object included in the RGB image
Data collection device for augmented reality comprising a.
온도 센서 및 습도 센서를 더 포함하며,
상기 영상 처리부는
상기 열화상이 증강된 RGB 영상에, 상기 온도 센서 및 습도 센서의 센싱 데이터를 표시하는
증강현실을 위한 데이터 수집 장치.
The method of claim 1,
Further comprising a temperature sensor and a humidity sensor,
The image processing unit
Displaying the sensing data of the temperature sensor and the humidity sensor on the RGB image in which the thermal image is augmented
Data collection device for augmented reality.
열화상을 생성하며, 상기 RGB 카메라로부터 이격되어 배치되는 열화상 카메라;
깊이 영상을 생성하며, 상기 RGB 카메라 및 열화상 카메라와 이격되어 배치되는 깊이 카메라;
상기 RGB 카메라, 상기 열화상 카메라 및 상기 깊이 카메라의 광축을 일치시키는 광학계; 및
상기 RGB 영상에 상기 열화상 또는 깊이 영상을 증강하는 영상 처리부
를 포함하는 증강현실을 위한 데이터 수집 장치.
An RGB camera that generates an RGB image;
A thermal imaging camera that generates a thermal image and is spaced apart from the RGB camera;
A depth camera that generates a depth image and is spaced apart from the RGB camera and the thermal imaging camera;
An optical system that matches optical axes of the RGB camera, the thermal imaging camera, and the depth camera; And
Image processing unit to augment the thermal image or the depth image on the RGB image
Data collection device for augmented reality comprising a.
상기 영상 처리부는
상기 RGB 영상, 상기 깊이 영상 및 상기 열화상 중 적어도 하나에서, 타겟 객체를 인식하고 분할하는 영상 인식부; 및
상기 RGB 영상에 포함된 상기 타겟 객체에, 상기 타겟 객체에 대한 열화상 또는 깊이 영상을 증강하는 증강 처리부
를 포함하는 증강현실을 위한 데이터 수집 장치.
The method of claim 8,
The image processing unit
An image recognition unit for recognizing and segmenting a target object from at least one of the RGB image, the depth image, and the thermal image; And
An augmentation processing unit for augmenting a thermal image or a depth image of the target object on the target object included in the RGB image
Data collection device for augmented reality comprising a.
상기 영상 인식부는
상기 RGB 영상, 상기 깊이 영상 및 상기 열화상을 이용하여, 상기 깊이 영상의 타겟 객체 영역에서 깊이값이 누락된 홀 영역에 대한 깊이값을 보정하는
증강현실을 위한 데이터 수집 장치.
The method of claim 9,
The image recognition unit
Using the RGB image, the depth image, and the thermal image, correcting a depth value for a hole area in which the depth value is missing from the target object area of the depth image
Data collection device for augmented reality.
상기 영상 인식부는
상기 RGB 영상 및 상기 열화상을 이용하여, 상기 타겟 객체에 대한 에지를 결정하는 에지 결정부;
상기 에지를 이용하여, 상기 깊이 영상의 타겟 객체 영역에서 상기 홀 영역을 결정하는 홀 탐색부; 및
상기 홀 영역 주변의 깊이값을 이용하여, 상기 홀 영역에 대한 깊이값을 생성하는 깊이값 생성부
를 포함하는 증강현실을 위한 데이터 수집 장치.
The method of claim 10,
The image recognition unit
An edge determiner for determining an edge of the target object using the RGB image and the thermal image;
A hole search unit for determining the hole area in the target object area of the depth image by using the edge; And
A depth value generator that generates a depth value for the hole area by using a depth value around the hole area
Data collection device for augmented reality comprising a.
상기 홀 탐색부는
상기 에지를 이용하여, 상기 깊이 영상에서 상기 타겟 객체 영역을 추출하고,
추출된 상기 타겟 객체 영역에서의 깊이값으로부터 결정되는 임계값과 상기 타겟 객체 영역에서의 깊이값을 비교하여, 상기 홀 영역을 결정하는
증강현실을 위한 데이터 수집 장치.
The method of claim 11,
The hole search unit
Using the edge, extracting the target object region from the depth image,
Comparing the threshold value determined from the extracted depth value in the target object area with the depth value in the target object area, determining the hole area
Data collection device for augmented reality.
상기 홀 탐색부는
상기 에지를 이용하여, 상기 깊이 영상에서 상기 타겟 객체 영역을 추출하고,
상기 타겟 객체 영역의 경계선으로부터 미리 설정된 거리 내에 위치한 영역에서 상기 홀 영역을 결정하는
증강현실을 위한 데이터 수집 장치.
The method of claim 11,
The hole search unit
Using the edge, extracting the target object region from the depth image,
Determining the hole area in an area located within a preset distance from the boundary line of the target object area
Data collection device for augmented reality.
상기 광학계는
상기 광학계로 입력된 빔을, 원적외선 파장 대역의 빔 및 나머지 파장 대역의 빔으로 분리하는 제1빔 스플리터; 및
상기 나머지 파장 대역의 빔을 가시광선 파장 대역의 빔 및 상기 근적외선 파장 대역의 빔으로 분리하는 제2빔 스플리터를 포함하며,
상기 제1빔 스플리터에서 상기 RGB 카메라로 이동하는 빔의 이동 경로의 거리는
상기 제1빔 스플리터에서 상기 열화상 카메라로 이동하는 빔의 이동 경로의 거리 및 상기 제1빔 스플리터에서 상기 깊이 카메라로 이동하는 빔의 이동 경로의 거리와 동일한
증강현실을 위한 데이터 수집 장치.
The method of claim 9,
The optical system
A first beam splitter for separating the beam input into the optical system into a beam of a far infrared wavelength band and a beam of a remaining wavelength band; And
And a second beam splitter for separating the beam of the remaining wavelength band into a beam of a visible wavelength band and a beam of the near-infrared wavelength band,
The distance of the moving path of the beam moving from the first beam splitter to the RGB camera is
The same as the distance of the moving path of the beam moving from the first beam splitter to the thermal imaging camera and the moving path of the beam moving from the first beam splitter to the depth camera
Data collection device for augmented reality.
온도 센서 및 습도 센서를 더 포함하며,
상기 영상 처리부는
상기 열화상 또는 깊이 영상이 증강된 RGB 영상에, 상기 온도 센서 및 습도 센서의 센싱 데이터를 표시하는
증강현실을 위한 데이터 수집 장치.
The method of claim 8,
Further comprising a temperature sensor and a humidity sensor,
The image processing unit
Displaying sensing data of the temperature sensor and the humidity sensor on the RGB image in which the thermal image or the depth image is augmented
Data collection device for augmented reality.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190111306 | 2019-09-09 | ||
KR20190111306 | 2019-09-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210030230A true KR20210030230A (en) | 2021-03-17 |
KR102341839B1 KR102341839B1 (en) | 2021-12-21 |
Family
ID=75245731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200114258A KR102341839B1 (en) | 2019-09-09 | 2020-09-08 | Data collection device for augmented reality |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102341839B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022231251A1 (en) * | 2021-04-28 | 2022-11-03 | 삼성전자 주식회사 | Image processing method and electronic device for supporting same |
WO2023033565A1 (en) * | 2021-09-03 | 2023-03-09 | 삼성전자 주식회사 | Augmented reality device and method for acquiring depth map using depth sensor |
KR20230060687A (en) * | 2021-10-28 | 2023-05-08 | 전남대학교산학협력단 | Automatic image registration system of fusion sensor |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100914802B1 (en) * | 2001-06-12 | 2009-09-02 | 지멘스 일렉트로닉스 어셈블리 시스템즈 게엠베하 운트 콤파니 카게 | Optical sensor device |
JP2009533885A (en) * | 2006-04-17 | 2009-09-17 | オムニビジョン シーディーエム オプティクス, インコーポレイテッド | Arrayed imaging system and related method |
JP2011082856A (en) * | 2009-10-08 | 2011-04-21 | Hoya Corp | Imaging apparatus |
KR20160000224A (en) * | 2014-06-24 | 2016-01-04 | 주식회사 레드로버 | Three-dimensional imaging system |
-
2020
- 2020-09-08 KR KR1020200114258A patent/KR102341839B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100914802B1 (en) * | 2001-06-12 | 2009-09-02 | 지멘스 일렉트로닉스 어셈블리 시스템즈 게엠베하 운트 콤파니 카게 | Optical sensor device |
JP2009533885A (en) * | 2006-04-17 | 2009-09-17 | オムニビジョン シーディーエム オプティクス, インコーポレイテッド | Arrayed imaging system and related method |
JP2011082856A (en) * | 2009-10-08 | 2011-04-21 | Hoya Corp | Imaging apparatus |
KR20160000224A (en) * | 2014-06-24 | 2016-01-04 | 주식회사 레드로버 | Three-dimensional imaging system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022231251A1 (en) * | 2021-04-28 | 2022-11-03 | 삼성전자 주식회사 | Image processing method and electronic device for supporting same |
WO2023033565A1 (en) * | 2021-09-03 | 2023-03-09 | 삼성전자 주식회사 | Augmented reality device and method for acquiring depth map using depth sensor |
KR20230060687A (en) * | 2021-10-28 | 2023-05-08 | 전남대학교산학협력단 | Automatic image registration system of fusion sensor |
Also Published As
Publication number | Publication date |
---|---|
KR102341839B1 (en) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11749025B2 (en) | Eye pose identification using eye features | |
US9286694B2 (en) | Apparatus and method for detecting multiple arms and hands by using three-dimensional image | |
KR102341839B1 (en) | Data collection device for augmented reality | |
KR102667740B1 (en) | Device and method for matching image | |
JP6377863B2 (en) | Enhancement of depth map representation by reflection map representation | |
US9031315B2 (en) | Information extraction method, information extraction device, program, registration device, and verification device | |
US11580662B2 (en) | Associating three-dimensional coordinates with two-dimensional feature points | |
KR101510312B1 (en) | 3D face-modeling device, system and method using Multiple cameras | |
JP6855872B2 (en) | Face recognition device | |
KR20170092533A (en) | A face pose rectification method and apparatus | |
CN111272144B (en) | Depth Sensing Camera System | |
KR20130070340A (en) | Optical flow accelerator for the motion recognition and method thereof | |
JP2022133133A (en) | Generation device, generation method, system, and program | |
CN112712059A (en) | Living body face recognition method based on infrared thermal image and RGB image | |
JP2008203995A (en) | Object shape generation method, object shape generation device and program | |
US8447080B2 (en) | Surface extraction method, surface extraction device, and program | |
KR101316316B1 (en) | Apparatus and method for extracting the pupil using streo camera | |
KR102428362B1 (en) | Camera Apparatus having multi-cameras and optical band pass filter for detection and recognition of object | |
Ntawiniga | Head motion tracking in 3D space for drivers | |
Shinozuka et al. | [POSTER] Consistency between Reflection on the Glass and Virtual Object in Augmented Reality | |
Dai et al. | Informal Technical Report Current Status of Avatar Project and Potential Improvement Directions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |