KR20160098814A - Device for obtaining 3d information and method for obtaining 3d information using the same - Google Patents

Device for obtaining 3d information and method for obtaining 3d information using the same Download PDF

Info

Publication number
KR20160098814A
KR20160098814A KR1020150020889A KR20150020889A KR20160098814A KR 20160098814 A KR20160098814 A KR 20160098814A KR 1020150020889 A KR1020150020889 A KR 1020150020889A KR 20150020889 A KR20150020889 A KR 20150020889A KR 20160098814 A KR20160098814 A KR 20160098814A
Authority
KR
South Korea
Prior art keywords
information
estimating
dimensional information
infrared
dimensional
Prior art date
Application number
KR1020150020889A
Other languages
Korean (ko)
Other versions
KR101707939B1 (en
Inventor
권인소
최경민
박재식
유윙타이
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150020889A priority Critical patent/KR101707939B1/en
Publication of KR20160098814A publication Critical patent/KR20160098814A/en
Application granted granted Critical
Publication of KR101707939B1 publication Critical patent/KR101707939B1/en

Links

Images

Classifications

    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H04N13/0007—
    • H04N13/0037—
    • H04N13/004—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

A method for obtaining 3D information according to the present invention, in a method for allowing a device for obtaining 3D information, includes a step of obtaining the data of an object by an infrared camera and estimating depth information on the object and 3D information with obtained data, a step of estimating surface reflectivity by using the obtained data, a step of correcting the depth information on the object by using the estimated surface reflectivity, and a step of updating the 3D information estimated by the corrected depth information. So, accurate 3D information can be obtained by an infrared shade image.

Description

3차원 정보 획득 장치 및 이를 이용한 3차원 정보 획득 방법{DEVICE FOR OBTAINING 3D INFORMATION AND METHOD FOR OBTAINING 3D INFORMATION USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to a three-dimensional information obtaining apparatus and a three-dimensional information obtaining method using the same.

본 발명은 3차원 정보 획득 장치 및 이를 이용한 3차원 정보 획득 방법에 관한 것이다. The present invention relates to a three-dimensional information obtaining apparatus and a three-dimensional information obtaining method using the same.

기존에는 물체의 정밀한 3차원 정보(깊이)를 획득하기 위해서 저가형의 적외선 깊이 센서와 RGB의 칼라 영상을 결합하는 방법을 이용하였다. 그리고, 적외선 영상은 초기 깊이 값을 계산하는 데에만 쓰이고 후처리 방법에는 쓰이지 않았다. 그러나 최근에는 적외선 영상을 초기 깊이 값 계산뿐만 아니라 정밀한 3차원 정보로 개선하기 위해서 후처리 과정에도 사용할 필요가 있다.In the past, we used a method of combining low-cost infrared depth sensor and RGB color images to obtain accurate three-dimensional information (depth) of an object. The infrared image is used only for calculating the initial depth value and not for the post-processing method. However, in recent years, it is necessary to use an infrared image in post-processing to improve not only the initial depth value but also the accurate three-dimensional information.

칼라 영상을 이용하는 기존의 방법은 넓은 주파수 밴드의 영상을 이용하기에 실내의 다양한 조명 조건에 따라 조명 모델이 달라질 수 있다. 따라서, 칼라 영상을 사용하는 기존의 방법은 형광등이나 LED 등과 같은 실내 조명 조건에서 간단하게 모델링하기 힘든 어려움이 있다.In the conventional method using a color image, an illumination model may be changed according to a variety of lighting conditions in a room because a wide frequency band image is used. Therefore, existing methods using color images have difficulty in simply modeling in an indoor lighting condition such as a fluorescent lamp or an LED.

또한, 칼라 영상을 사용하는 기존의 방법은 3차원 정보를 정밀하게 추정하지 못하는 어려움이 있으므로, 보다 정밀하게 정보를 추정하여 3차원 모델을 형성할 수 있는 환경이 요구된다. Also, existing methods using color images have difficulty in accurately estimating three-dimensional information, and therefore, an environment capable of accurately estimating information and forming a three-dimensional model is required.

본 발명은 적외선 음영 영상을 이용해서 정밀한 3차원 정보를 획득할 수 있는 3차원 정보 획득 장치 및 이를 이용한 차원 정보 획득 방법을 제안하고자 한다.The present invention proposes a three-dimensional information obtaining apparatus capable of obtaining accurate three-dimensional information by using an infrared ray shadow image and a method of obtaining a dimensional information using the apparatus.

본 발명의 3차원 정보 획득 방법은 3차원 정보 획득 장치가 물체에 대한 3차원 정보를 획득하는 방법에서, 적외선 카메라로 물체의 데이터를 획득하고, 획득된 데이터로 상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계, 획득된 상기 데이터를 이용해서 표면 반사도를 추정하는 단계, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 깊이 정보를 수정하는 단계, 그리고 수정된 상기 깊이 정보를 이용해서 추정된 상기 3차원 정보를 업데이트하는 단계를 포함 한다.A three-dimensional information obtaining method of the present invention is a method in which a three-dimensional information obtaining apparatus obtains three-dimensional information about an object. The method includes obtaining data of an object with an infrared camera, Estimating the surface reflectance using the obtained data, modifying the depth information on the object using the estimated surface reflectance, estimating the depth information using the corrected depth information, And updating the three-dimensional information.

상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계는, 상기 물체에 대한 적외선 음영 영상을 획득하고, 적외선 대역이 갖는 특성을 이용해서 상기 적외선 음영 영상으로부터 상기 깊이 정보를 추정하는 단계, 그리고 추정된 상기 깊이 정보를 이용해서 상기 3차원 정보를 추정하는 단계를 포함할 수 있다.Estimating depth information and three-dimensional information on the object includes obtaining an infrared shadow image for the object, estimating the depth information from the infrared shadow image using characteristics of the infrared band, And estimating the three-dimensional information using the depth information.

상기 표면 반사도를 추정하는 단계는, 상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하는 단계, 그리고 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정하는 단계를 포함할 수 있다.Wherein estimating the surface reflectivity comprises estimating a global surface reflectivity when the object is made of one material and estimating a local surface reflectivity if the object has a mixture of materials having at least one surface reflectivity Step < / RTI >

상기 3차원 정보를 업데이트하는 단계는, 상기 물체의 표면 법선 벡터, 상기 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성하는 단계를 포함할 수 있다.The updating of the three-dimensional information may include forming a three-dimensional model by using at least one of a surface normal vector of the object, the surface reflectance, a direction of the light source by the infrared camera, and a distance between the light source and a surface point. .

본 발명의 3차원 정보 획득 방법은 3차원 정보 획득 장치가 물체를 3차원 정보를 획득하는 방법에서, 적외선 카메라로 물체의 적외선 음영 영상을 단계, 획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하는 단계, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 깊이 정보를 계산하는 단계, 그리고 상기 깊이 정보를 이용해서 상기 3차원 정보를 획득하는 단계를 포함한다.A three-dimensional information obtaining method of the present invention is a method for obtaining three-dimensional information of an object by a three-dimensional information obtaining apparatus, comprising the steps of: obtaining an infrared ray image of an object with an infrared ray camera; estimating a surface reflectance by using the obtained infrared ray image; Calculating the depth information for the object using the estimated surface reflectivity, and obtaining the three-dimensional information using the depth information.

본 발명의 3차원 정보 획득 장치는 물체에 대한 적외선 음영 영상을 획득하는 영상 획득부, 그리고 획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하여 상기 물체에 대한 3차원 정보를 업데이트하는 3차원 정보 획득부를 포함한다.The three-dimensional information obtaining apparatus of the present invention comprises an image obtaining unit for obtaining an infrared ray shade image of an object, and a controller for estimating the surface reflectance using the obtained infrared ray shadow image, And a three-dimensional information obtaining unit for calculating depth information and updating three-dimensional information about the object.

상기 영상 획득부는, 적어도 하나 이상의 적외선 카메라로 상기 물체를 촬영하고, 복수의 방향에서의 적외선 음영 영상을 획득할 수 있다.The image obtaining unit may photograph the object with at least one infrared camera and obtain an infrared shadow image in a plurality of directions.

상기 3차원 정보 획득부는, 획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하는 표면 반사도 추정부, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하는 깊이 정보 계산부, 그리고 상기 물체에 대한 3차원 모델을 형성하는 모델링부를 포함할 수 있다.The three-dimensional information obtaining unit may include a surface reflectivity estimating unit that estimates a surface reflectance using the obtained infrared ray shadow image, a depth information calculating unit that calculates depth information on the object using the estimated surface reflectance, And a modeling unit for forming a three-dimensional model of the object.

상기 표면 반사도 추정부는, 상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정할 수 있다.The surface reflectivity estimator may estimate a global surface reflectivity when the object is made of one material and estimate a local surface reflectivity if the object has a mixture of materials having at least one surface reflectivity.

상기 모델링부는, 상기 물체의 표면 법선 벡터, 상기 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성할 수 있다.The modeling unit may form a three-dimensional model by using at least one of a surface normal vector of the object, the surface reflectivity, a direction of the light source by the infrared camera, and a distance between the light source and a surface point.

본 발명에 따르면, 깊이 센서의 적외선 카메라로 다시점에서 촬영한 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 제안한 적외선 광원모델 식에 기반하여 부정확한 초기 3차원 모델의 점들의 좌표를 업데이트 함으로써, 보다 정밀하게 표면 정보를 추정하고 3차원 모델을 형성할 수 있는 환경을 제공한다.According to the present invention, the surface reflectance is estimated using an infrared shadow image taken at a point again by the infrared camera of the depth sensor, and the coordinates of the inaccurate initial three-dimensional model are updated based on the proposed infrared light source model expression, Thereby providing an environment capable of estimating surface information more precisely and forming a three-dimensional model.

또한, 본 발명은 적외선 카메라가 사용하는 좁은 주파수 밴드의 영상을 이용함으로써, 불필요한 가시광 영역의 조명 효과를 필터링하고, 실내의 조명 조건을 간단히 모델링할 수 있는 환경을 제공한다.In addition, the present invention uses an image of a narrow frequency band used by an infrared camera to filter an unnecessary light effect of a visible light region and provide an environment that can easily model lighting conditions of a room.

도 1은 본 발명의 한 실시예에 따른 3차원 정보 획득 장치의 구조를 간략히 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 복수개의 적외선 카메라로 대상 물체의 영상을 획득하는 예를 도시한 도면이다.
도 3은 본 발명의 한 실시예에 따라 3차원 정보 획득 장치가 3차원 정보를 획득하는 과정을 간략히 도시한 흐름도이다.
도 4는 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 획득한 적외선 영상의 예를 도시한 도면이다.
도 5는 본 발명의 한 실시예에 따라 메쉬 꼭지점들(mesh vertices)을 시각화한 도면이다.1 is a view schematically showing a structure of a three-dimensional information obtaining apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an example of acquiring an image of a target object with a plurality of infrared cameras according to an embodiment of the present invention.
FIG. 3 is a flowchart briefly illustrating a process of acquiring three-dimensional information by a three-dimensional information obtaining apparatus according to an embodiment of the present invention.
4 is a diagram illustrating an example of an infrared image acquired by the 3D information acquiring apparatus according to an embodiment of the present invention.
Figure 5 is a visualization of mesh vertices according to one embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

또한, 명세서에 기재된 "…부", "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms of " part ", "... module" in the description mean units for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.

이제 도 1 내지 도 5를 참고하여 본 발명의 한 실시예에 따른 3차원 정보 획득 장치 및 이를 이용한 차원 정보 획득 방법에 대하여 상세하게 설명한다.Now, a three-dimensional information obtaining apparatus according to an embodiment of the present invention and a method for obtaining dimension information using the apparatus will be described in detail with reference to FIGS. 1 to 5. FIG.

도 1은 본 발명의 한 실시예에 따른 3차원 정보 획득 장치의 구조를 간략히 도시한 도면이다. 이때, 3차원 정보 획득 장치는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.1 is a view schematically showing a structure of a three-dimensional information obtaining apparatus according to an embodiment of the present invention. At this time, the 3D information acquiring device only shows the schematic configuration necessary for the explanation according to the embodiment of the present invention, and is not limited to this configuration.

우선, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 깊이 센서인 적외선 카메라로부터 얻은 적외선 음영 영상을 사용하여 3차원 모델을 개선한다. 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 표면 법선 벡터, 반사도, 광원의 방향 그리고 광원과 표면 점 사이의 거리의 함수로 근거리 적외선 조명 모델을 정립한다.First, a three-dimensional information obtaining apparatus 100 according to an embodiment of the present invention improves a three-dimensional model by using an infrared ray image obtained from an infrared ray camera as a depth sensor. The 3D information acquisition apparatus 100 according to an embodiment of the present invention establishes a near infrared illumination model as a function of the surface normal vector, the reflectivity, the direction of the light source, and the distance between the light source and the surface point.

도 1을 참조하면, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 데이터 획득부(110) 및 3차원 정보 획득부(120)을 포함한다. Referring to FIG. 1, a 3D information obtaining apparatus 100 according to an embodiment of the present invention includes a data obtaining unit 110 and a 3D information obtaining unit 120.

데이터 획득부(110)는 물체를 촬영하고 물체에 대한 적외선 영상 데이터를 획득한다. 데이터 획득부(110)는 적어도 하나 이상의 적외선 카메라로 물체를 촬영하고, 복수의 방향에서의 적외선 음영 영상을 획득할 수 있다. 여기서, 적외선은 800nm 내지 2500nm 사이의 파장대역을 가지는 근적외선을 포함한다.The data obtaining unit 110 photographs an object and obtains infrared image data on the object. The data acquisition unit 110 may capture an object with at least one infrared camera and acquire an infrared shadow image in a plurality of directions. Here, the infrared rays include near-infrared rays having a wavelength band between 800 nm and 2500 nm.

데이터 획득부(110)는 본 발명의 한 실시예에 따라 촬영부(112) 및 영상 획득부(114)를 포함한다.The data obtaining unit 110 includes a photographing unit 112 and an image obtaining unit 114 according to an embodiment of the present invention.

촬영부(112)는 다양한 각도에서 물체를 촬영하는 적어도 하나 이상의 적외선 카메라를 포함한다.The photographing unit 112 includes at least one infrared camera for photographing an object at various angles.

영상 획득부(114)는 촬영부(112)에서 촬영된 영상으로부터 물체에 대한 적외선 음영 영상을 획득한다. 그리고, 영상 획득부(114)는 획득된 데이터를 이용해서 물체에 대한 깊이 정보 및 3차원 정보를 추정할 수도 있다.The image acquiring unit 114 acquires an infrared ray image of the object from the image photographed by the photographing unit 112. Then, the image obtaining unit 114 may estimate the depth information and the three-dimensional information about the object using the obtained data.

3차원 정보 획득부(120)는 데이터 획득부(110)에서 획득된 물체에 대한 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 추정된 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하여 물체에 대한 3차원 정보를 업데이트한다.The three-dimensional information obtaining unit 120 estimates the surface reflectance of the object obtained by the data obtaining unit 110 using the infrared ray shadow image, calculates the depth information of the object using the estimated surface reflectance, Dimensional information on the three-dimensional image.

3차원 정보 획득부(120)는 본 발명의 한 실시예에 따라 표면 반사도 추정부(122), 깊이 정보 계산부(124) 및 모델링부(126)를 포함한다.The 3D information obtaining unit 120 includes a surface reflectivity estimating unit 122, a depth information calculating unit 124, and a modeling unit 126 according to an embodiment of the present invention.

표면 반사도 추정부(122)는 영상 획득부(114)에서 획득된 상기 적외선 음영 영상을 이용해서 물체에 대한 표면 반사도를 추정한다. 이때, 물체가 한가지 물질로 만들어진 경우, 표면 반사도 추정부(122)는 글로벌(global)한 표면 반사도(albedo)를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬(local)한 표면 반사도를 추정할 수 있다.The surface reflectivity estimating unit 122 estimates the surface reflectance of the object using the infrared ray image acquired by the image acquiring unit 114. [ At this time, when the object is made of one material, the surface reflectivity estimating unit 122 estimates a global surface albedo, and if the object has a mixture of materials having at least one surface reflectance, ) One surface reflectivity can be estimated.

깊이 정보 계산부(124)는 표면 반사도 추정부(122)에서 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산한다. The depth information calculation unit 124 calculates depth information on the object using the surface reflectivity estimated by the surface reflectivity estimating unit 122. [

모델링부(126)는 표면 반사도 추정부(122)에서 추정된 표면 반사도 및 깊이 정보 계산부(124)에서 계산된 깊이 정보를 이용해서 물체에 대한 3차원 모델을 형성한다.The modeling unit 126 forms a three-dimensional model of the object using the surface reflectivity estimated by the surface reflectivity estimating unit 122 and the depth information calculated by the depth information calculating unit 124. [

모델링부(126)는 물체의 표면 법선 벡터, 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성할 수 있다.The modeling unit 126 may form a three-dimensional model using a function using at least one of a surface normal vector of an object, a surface reflectance, a direction of a light source by the infrared camera, and a distance between the light source and a surface point.

도 2는 본 발명의 한 실시예에 따라 3차원 정보 획득 장치가 3차원 정보를 획득하는 과정을 간략히 도시한 흐름도이다. 이하의 흐름도는 도 1의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.FIG. 2 is a flowchart briefly illustrating a process of acquiring three-dimensional information by a three-dimensional information obtaining apparatus according to an embodiment of the present invention. The following flowchart will be described using the same reference numerals in conjunction with the configuration of Fig.

도 2를 참조하면, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 적어도 하나 이상의 적외선 카메라로 물체를 촬영하고, 상기 물체에 대한 적외선 음영 영상을 획득한다(S102, S104).Referring to FIG. 2, the 3D information obtaining apparatus 100 according to an embodiment of the present invention captures an object with at least one infrared camera and obtains an infrared shadow image with respect to the object (S102, S104).

그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 획득된 데이터를 이용해서 상기 물체에 대한 깊이 정보 및 3차원 정보를 추정한다(S106). 여기서, 3차원 정보 획득 장치(100)는 적외선 대역이 갖는 특성을 이용해서 적외선 음영 영상으로부터 상기 깊이 정보를 추정하고, 추정된 깊이 정보를 이용해서 상기 3차원 정보를 추정할 수 있다.The 3D information obtaining apparatus 100 according to an embodiment of the present invention estimates depth information and three-dimensional information about the object using the obtained data (S106). Here, the three-dimensional information obtaining apparatus 100 can estimate the depth information from an infrared ray image using the characteristics of the infrared band and estimate the three-dimensional information using the estimated depth information.

또한, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 적외선 음영 영상을 이용해서 표면 반사도를 추정한다(S108). 여기서, 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정할 수 있다.In addition, the 3D information obtaining apparatus 100 according to an embodiment of the present invention estimates the surface reflectance using an infrared ray shadow image (S108). Here, when an object is made of one material, a global surface reflectivity can be estimated, and if the object has a mixture of materials having at least one surface reflectivity, local surface reflectivity can be estimated.

본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 추정된 표면 반사도를 이용해서 추정된 깊이 정보를 수정하고, 수정된 깊이 정보를 이용해서 추정된 3차원 정보를 업데이트한다(S110, S112). 여기서, 3차원 정보 획득 장치(100)는 상기 물체의 표면 법선 벡터, 표면 반사도, 적외선 카메라에 의한 광원의 방향 및 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성할 수 있다.The 3D information acquisition apparatus 100 according to an embodiment of the present invention modifies the estimated depth information using the estimated surface reflectivity and updates the estimated 3D information using the modified depth information (S110, S112). Here, the three-dimensional information obtaining apparatus 100 can form a three-dimensional model by using at least one of the surface normal vector of the object, the surface reflectance, the direction of the light source by the infrared camera, and the distance between the light source and the surface point have.

이하에는 도 3 내지 도 5를 참조하여 3차원 정보 획득 장치(100)가 3차원 정보를 획득하는 과정을 상세히 설명한다.Hereinafter, the process of acquiring three-dimensional information by the 3D information obtaining apparatus 100 will be described in detail with reference to FIGS. 3 to 5. FIG.

도 3은 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 복수개의 적외선 카메라로 대상 물체의 영상을 획득하는 예를 도시한 도면이다.3 is a diagram illustrating an example in which a three-dimensional information obtaining apparatus according to an embodiment of the present invention acquires an image of a target object with a plurality of infrared cameras.

본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 복수의 적외선 카메라(112a 내지 112g)로 물체(10)를 촬영하고, 물체(10)에 대한 적외선 음영 영상을 획득한다. 복수의 적외선 카메라(112a 내지 112g)는 물체(10)를 촬영하는 광원(S1 내지 S7)을 포함한다.The three-dimensional information obtaining apparatus 100 according to an embodiment of the present invention captures an object 10 with a plurality of infrared cameras 112a to 112g and obtains an infrared shade image of the object 10. [ The plurality of infrared cameras 112a to 112g include light sources S1 to S7 for photographing the object 10.

본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 근적외선 파장을 방사하는 광원으로서 가장 쉽게 구할 수 있는 백열전구를 사용할 수 있다. 차원 정보 획득 장치(100)는 가시광이 전혀 방사되지 않는 순수 근적외선 광원을 사용하여 강인하게 작동시킬 수 있다.The three-dimensional information obtaining apparatus 100 according to an embodiment of the present invention can use an incandescent lamp which is most readily available as a light source emitting near-infrared wavelengths. The dimension information obtaining apparatus 100 can operate robustly using a pure near infrared light source in which no visible light is emitted at all.

가시광 영역의 조명은 대부분 필터링되고, 근적외선 주파수에 해당하는 조명만이 영상 화소 값 결정에 영향을 주기 때문에, 추가적인 백열전구 하나로 조명 조건에 무관한 낮은 복잡도의 광원 모델링이 가능하다. Since the illumination in the visible light region is mostly filtered and only the illumination corresponding to the near-infrared frequency affects the determination of the pixel value of the image, it is possible to model the light source with low complexity irrespective of the illumination condition with one additional incandescent lamp.

그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 획득된 데이터를 이용해서 물체(10)에 대한 깊이 정보 및 3차원 정보를 추정한다.The 3D information obtaining apparatus 100 according to an embodiment of the present invention estimates depth information and three-dimensional information about the object 10 using the obtained data.

3차원 정보 획득 장치(100)는 아래의 수학식 1과 같은 적외선 음영 모델을 이용해서 깊이 정보 및 3차원 정보를 추정할 수 있다.The three-dimensional information obtaining apparatus 100 can estimate the depth information and the three-dimensional information using an infrared ray shading model as shown in Equation (1) below.

Figure pat00001
Figure pat00001

여기서, I(u) 는 영상 좌표에서 관측된 밝기 값이고, c는 광역적 밝기 수준, ρ는 표면 반사도, d는 물체의 3차원 점과 적외선 카메라의 광원 사이의 거리를 나타낸다. n은 물체의 표면 법선 벡터, l은 적외선 광원의 방향 벡터를 지칭한다. Here, I ( u ) is the brightness value observed in the image coordinates, c is the global brightness level, rho is the surface reflectivity, and d is the distance between the three-dimensional point of the object and the light source of the infrared camera. n is the surface normal vector of the object, and 1 is the direction vector of the infrared light source.

그리고, 실내 조명은 적외선 대역인 본 발명의 한 실시예에 따른 광원 모델에 영향을 주지 못하므로, IAmbient는 무시할 수 있다.Also, since the indoor lighting does not affect the light source model according to the embodiment of the present invention, which is an infrared band, I Ambient can be ignored.

그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)가 데이터를 획득 과정은 크게 두 가지 과정으로 구성된다. 첫째로, 키넥트 퓨전을 통한 초기 메쉬 모델의 생성하고, 두 번째는 몇 가지의 특정 카메라 위치에서의 적외선 영상의 획득하며, 이 두 과정은 동시에 진행된다.The process of acquiring data by the 3D-information acquisition apparatus 100 according to an embodiment of the present invention is roughly divided into two processes. First, we generate an initial mesh model through Kinect Fusion, and second, we acquire infrared images at several specific camera positions.

도 4는 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 획득한 적외선 영상의 예를 도시한 도면이다.4 is a diagram illustrating an example of an infrared image acquired by the 3D information acquiring apparatus according to an embodiment of the present invention.

도 4의 (a)는 획득된 적외선 음영 영상을 보여준다. 3차원 정보 획득 장치(100)는 몇 가지의 특정 카메라 위치에서의 적외선 영상의 획득한다. 도 4의 (b)의 초기 메쉬 모델의 3차원 점들을 적외선 영상으로 투영한 영상이고, 도 4의 (c)는 초기 메쉬 모델에서 추정한 뎁스맵(Depth map)을 도시한 영상이다.4 (a) shows the obtained infrared ray shadow image. The three-dimensional information obtaining apparatus 100 obtains infrared images at several specific camera positions. FIG. 4 (c) is an image showing a depth map estimated by the initial mesh model, and FIG. 4 (c) is an image showing a depth map estimated by the initial mesh model.

그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 적외선 음영 영상을 이용해서 표면 반사도를 추정한다. 여기서, 물체가 다양한 표면 반사도 없이 한가지의 일정한 물질로 만들어 졌다면, 아래의 수학식 2을 사용하여 글로벌(global)한 표면 반사도(cρ)를 추정한다. The three-dimensional information obtaining apparatus 100 according to an embodiment of the present invention estimates the surface reflectance using an infrared ray shadow image. Here, if an object is made of one constant material without varying surface reflectance, we estimate the global surface reflectivity cρ using the following equation (2).

Figure pat00002
Figure pat00002

N은 3차원 모델을 이루는 점들의 총 갯수, M은 해당 3차원 점이 출현하는 다중 적외선영상의 갯수(V는 visibility), d는 물체의 3차원 점과 적외선 카메라의 광원 사이의 거리를 나타낸다. 또한, n은 물체의 표면 법선 벡터, l은 적외선 광원의 방향벡터를 지칭한다. 그리고, I는 관측된 적외선 밝기 값을 의미하며, Z는 수치의 평준화를 의미한다. N is the total number of points forming the 3D model, M is the number of multiple infrared images (V is visibility) where the corresponding 3D point appears, and d is the distance between the 3D point of the object and the light source of the infrared camera. N is the surface normal vector of the object, and 1 is the direction vector of the infrared light source. I denotes the observed infrared brightness value, and Z denotes the leveling of the numerical value.

이때, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 개선하고자 하는 물체가 다양한 표면 반사도를 갖는 물질이 섞여 있다면, 아래의 수학식 3을 사용하여 로컬(local)한 표면 반사도를 추정한다. In this case, if the object to be improved is a mixture of materials having various surface reflectivities, the three-dimensional information obtaining apparatus 100 according to an embodiment of the present invention can calculate the local surface reflectance .

Figure pat00003
Figure pat00003

N은 3차원 모델을 이루는 점들의 총 갯수, M은 해당 3차원 점이 출현하는 다중 적외선영상의 갯수(V는 visibility), d는 물체의 3차원 점과 적외선 카메라의 광원 사이의 거리를 나타낸다. 또한, n은 물체의 표면 법선 벡터, l은 적외선 광원의 방향벡터를 지칭한다. 그리고, I는 관측된 적외선 밝기 값을 의미하며, Z는 수치의 평준화를 의미한다. N is the total number of points forming the 3D model, M is the number of multiple infrared images (V is visibility) where the corresponding 3D point appears, and d is the distance between the 3D point of the object and the light source of the infrared camera. N is the surface normal vector of the object, and 1 is the direction vector of the infrared light source. I denotes the observed infrared brightness value, and Z denotes the leveling of the numerical value.

이와 같이, 3차원 정보 획득 장치(100)는 모든 3차원 점들에 대한 로컬한 표면 반사도가 추정되었으므로, K 평균 클러스터링(K mean clustering)을 통해 그룹을 나눈다. 그룹의 개수는 PCA 방법을 이용하며,

Figure pat00004
의 특징 스페이스(feature Space)가 95퍼센트 이상 차지하는 크기(dimension)를 계산하는 방법으로 찾는다. As described above, since the local surface reflectance of all the three-dimensional points is estimated, the three-dimensional information obtaining apparatus 100 divides the group by K mean clustering. The number of groups uses the PCA method,
Figure pat00004
By calculating the dimension that occupies more than 95 percent of the feature space.

그리고, 3차원 정보 획득 장치(100)는 보다 더 정밀한 그룹을 나누기 위해 다중 라벨 최적화(multi-label optimization) 방법을 이용하며, 이는 아래의 수학식 4와 같다.The three-dimensional information obtaining apparatus 100 uses a multi-label optimization method to divide the group into more precise groups, as shown in Equation 4 below.

Figure pat00005
Figure pat00005

여기서 D는 최적화 식의 데이터 항이고 V는 이웃한 레이블의 관계를 정의하는 항이다. 그리고, p는 3차원점의 인덱스이고, q는 p에 이웃하는 점들을 지칭하며, L은 레이블을 의미한다. N은 앞에서와 마찬가지로 점의 총 갯수이다. Where D is the data term of the optimization equation and V is a term that defines the relationship of neighboring labels. P is an index of a three-dimensional point, q is a point adjacent to p, and L is a label. N is the total number of points as before.

그리고, 3차원 정보 획득 장치(100)는 추정된 표면 반사도를 이용해서 깊이 정보 및 3차원 정보를 업데이트한다.Then, the 3D information obtaining apparatus 100 updates the depth information and the 3D information using the estimated surface reflectance.

도 5는 본 발명의 한 실시예에 따라 메쉬 꼭지점들(mesh vertices)을 시각화한 도면이다.Figure 5 is a visualization of mesh vertices according to one embodiment of the present invention.

본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 표면 반사도가 일정한 값을 가진다고 가정하고, 수학식 1에서 적외선 음영 모델에 기반하여 최적화 하는 식을 설계한다. The three-dimensional information obtaining apparatus 100 according to an embodiment of the present invention is designed to optimize an equation based on an infrared ray model in Equation 1, assuming that the surface reflectance has a constant value.

본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 도 5 및 아래의 수학식 5, 6, 7, 8을 최소화 하는 방향으로 3차원 정보를 최적화한다. 주어진 식의 비용을 최소화 하는 조건을 만족시키도록 이동 변위(델타)를 업데이트한다. The three-dimensional information obtaining apparatus 100 according to an embodiment of the present invention optimizes the three-dimensional information in the direction of minimizing the equations (5), (6), (7) and (8) below. (Delta) to satisfy the condition that minimizes the cost of a given expression.

Figure pat00006
Figure pat00006

Figure pat00007
Figure pat00007

Figure pat00008
Figure pat00008

Figure pat00009
Figure pat00009

위의 수학식 5는 세가지의 항으로 구성된다. Ep는 데이터 항, Es는 부드러움(Smoothness) 항, Er은 정규화(Regularization) 항이다. 그리고, P는 3차원 점의 개수이고, V는 가시성(visibility), N은 이웃한 점들의 집합, δ는 각 점들의 법선 벡터 방향 이동 변위를 의미한다. 또한, λ는 적절하게 설정한 가중치값이며 w는 n과 l의 내적으로 정의된다. The above equation (5) consists of three terms. Ep is a data term, Es is a term of smoothness, and Er is a term of regularization. P is the number of 3D points, V is the visibility, N is the set of neighboring points, and δ is the displacement vector of each point in the normal vector direction. Also, l is an appropriately set weight value, and w is internally defined as n and l.

3차원 정보 획득 장치(100)는 최적화 식인 수학식 5를 최소화 하는 방향으로 각 점들의 3차원 좌표를 업데이트하고, 이를 통해서 최종적으로 개선된 모델을 얻는다.The 3D information acquisition apparatus 100 updates the three-dimensional coordinates of each point in the direction of minimizing the optimization equation (5), thereby obtaining a finally improved model.

이와 같이, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치는 적외선 카메라로 다시점에서 촬영한 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 깊이 정보 및 3차원 정보를 업데이트 함으로써, 보다 정밀하게 표면 정보를 추정하고 3차원 모델을 형성할 수 있는 환경을 제공한다.As described above, the three-dimensional information obtaining apparatus according to an embodiment of the present invention estimates the surface reflectance by using the infrared shadow image taken at an additional point by the infrared camera, updates the depth information and the three-dimensional information, And provides an environment for estimating surface information and forming a three-dimensional model.

본 발명은 적외선 카메라가 사용하는 좁은 주파수 밴드의 영상을 이용함으로써, 불필요한 가시광 영역의 조명 효과를 필터링하고, 실내의 조명 조건을 간단히 모델링하며, 형광등이나 LED 등 일반적인 실내의 조명 조건 하에서도 효과적으로 3차원 정보를 획득할 수 있는 환경을 제공한다.The present invention uses an image of a narrow frequency band used by an infrared camera to filter illumination effects of an unnecessary visible light region, to easily model the lighting conditions of the room, Provide an environment to acquire information.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded. Such a recording medium can be executed not only on a server but also on a user terminal.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (10)

3차원 정보 획득 장치가 물체에 대한 3차원 정보를 획득하는 방법에서,
적외선 카메라로 물체의 데이터를 획득하고, 획득된 데이터로 상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계,
획득된 상기 데이터를 이용해서 표면 반사도를 추정하는 단계,
추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 깊이 정보를 수정하는 단계, 그리고
수정된 상기 깊이 정보를 이용해서 추정된 상기 3차원 정보를 업데이트하는 단계
를 포함하는 3차원 정보 획득 방법.In a method in which a three-dimensional information obtaining apparatus obtains three-dimensional information about an object,
Acquiring data of an object with an infrared camera, estimating depth information and three-dimensional information on the object with the obtained data,
Estimating the surface reflectance using the obtained data,
Modifying the depth information for the object using the estimated surface reflectivity, and
Updating the estimated three-dimensional information using the modified depth information
Dimensional information. 제1항에서,
상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계는,
상기 물체에 대한 적외선 음영 영상을 획득하고, 적외선 대역이 갖는 특성을 이용해서 상기 적외선 음영 영상으로부터 상기 깊이 정보를 추정하는 단계, 그리고
추정된 상기 깊이 정보를 이용해서 상기 3차원 정보를 추정하는 단계
를 포함하는 3차원 정보 획득 방법.The method of claim 1,
Wherein the step of estimating the depth information and the three-
Obtaining an infrared ray image of the object and estimating the depth information from the infrared ray image using a characteristic of the infrared ray band,
Estimating the three-dimensional information using the estimated depth information
Dimensional information. 제1항에서,
상기 표면 반사도를 추정하는 단계는,
상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하는 단계, 그리고
상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정하는 단계
를 포함하는 3차원 정보 획득 방법.The method of claim 1,
Wherein the step of estimating the surface reflectivity comprises:
Estimating a global surface reflectivity when the object is made of one material, and
If the object has a mixture of at least one surface reflectivity material, estimating the local surface reflectivity
Dimensional information. 제1항에서,
상기 3차원 정보를 업데이트하는 단계는,
상기 물체의 표면 법선 벡터, 상기 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성하는 단계
를 포함하는 3차원 정보 획득 방법.The method of claim 1,
Wherein the updating of the three-
Forming a three-dimensional model using a function using at least one of a surface normal vector of the object, the surface reflectivity, a direction of the light source by the infrared camera, and a distance between the light source and the surface point
Dimensional information. 3차원 정보 획득 장치가 물체를 3차원 정보를 획득하는 방법에서,
적외선 카메라로 물체의 적외선 음영 영상을 단계,
획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하는 단계,
추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 깊이 정보를 계산하는 단계, 그리고
상기 깊이 정보를 이용해서 상기 3차원 정보를 획득하는 단계
를 포함하는 3차원 정보 획득 방법.In a method in which a three-dimensional information obtaining apparatus obtains three-dimensional information of an object,
The infrared camera shakes the infrared image of the object in steps,
Estimating surface reflectivity using the obtained infrared ray image,
Calculating the depth information for the object using the estimated surface reflectivity, and
Acquiring the three-dimensional information using the depth information
Dimensional information. 물체에 대한 적외선 음영 영상을 획득하는 영상 획득부, 그리고
획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하여 상기 물체에 대한 3차원 정보를 업데이트하는 3차원 정보 획득부
를 포함하는 3차원 정보 획득 장치.An image acquiring unit for acquiring an infrared shade image of an object, and
Dimensional information obtaining unit for estimating the surface reflectance using the obtained infrared ray shadow image and calculating the depth information for the object using the estimated surface reflectance to update the three-
Dimensional information. 제6항에서,
상기 영상 획득부는,
적어도 하나 이상의 적외선 카메라로 상기 물체를 촬영하고, 복수의 방향에서의 적외선 음영 영상을 획득하는 3차원 정보 획득 장치.The method of claim 6,
The image acquiring unit may acquire,
A three-dimensional information obtaining apparatus for photographing an object with at least one infrared camera and obtaining an infrared shadow image in a plurality of directions. 제6항에서,
상기 3차원 정보 획득부는,
획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하는 표면 반사도 추정부,
추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하는 깊이 정보 계산부, 그리고
상기 물체에 대한 3차원 모델을 형성하는 모델링부
를 포함하는 3차원 정보 획득 장치.The method of claim 6,
Wherein the three-
A surface reflectivity estimating unit that estimates surface reflectivity using the obtained infrared ray shadow image,
A depth information calculation unit for calculating depth information on the object using the estimated surface reflectance, and
A modeling unit for forming a three-dimensional model of the object,
Dimensional information. 제8항에서,
상기 표면 반사도 추정부는,
상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정하는
3차원 정보 획득 장치.9. The method of claim 8,
The surface reflectivity estimator may include:
Estimating a global surface reflectivity when the object is made of one material and estimating a local surface reflectivity if the object has a mixture of materials having at least one surface reflectivity
3 - D information acquisition device. 제8항에서,
상기 모델링부는,
상기 물체의 표면 법선 벡터, 상기 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성하는
3차원 정보 획득 장치.9. The method of claim 8,
The modeling unit,
Dimensional model as a function using at least one of a surface normal vector of the object, the surface reflectance, a direction of the light source by the infrared camera, and a distance between the light source and the surface point
3 - D information acquisition device.
KR1020150020889A 2015-02-11 2015-02-11 Device and method for obtaining accurate 3d information using depth sensor and infrared shading cues KR101707939B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150020889A KR101707939B1 (en) 2015-02-11 2015-02-11 Device and method for obtaining accurate 3d information using depth sensor and infrared shading cues

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020889A KR101707939B1 (en) 2015-02-11 2015-02-11 Device and method for obtaining accurate 3d information using depth sensor and infrared shading cues

Publications (2)

Publication Number Publication Date
KR20160098814A true KR20160098814A (en) 2016-08-19
KR101707939B1 KR101707939B1 (en) 2017-02-17

Family

ID=56874887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020889A KR101707939B1 (en) 2015-02-11 2015-02-11 Device and method for obtaining accurate 3d information using depth sensor and infrared shading cues

Country Status (1)

Country Link
KR (1) KR101707939B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865886B1 (en) * 2016-12-09 2018-06-08 한국과학기술원 Method and system for estimating surface geometry and reflectance

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009400B1 (en) * 2017-12-20 2019-08-12 김기효 Method for providing realistic type image contents and server using the same
US11823327B2 (en) 2020-11-19 2023-11-21 Samsung Electronics Co., Ltd. Method for rendering relighted 3D portrait of person and computing device for the same

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Lap-Fai 외, 'Shading-based Shape Refinement of RGB-D Images', IEEE CVPR, 2013* *
Martin 외, 'Shading constraint improves accuracy of time-of-flight measurements', computer vision and Image Understanding 114(2010), Sep 2010* *
S.Izadi외, ‘KinectFusion:Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera’, UIST’11, Oct 2011* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865886B1 (en) * 2016-12-09 2018-06-08 한국과학기술원 Method and system for estimating surface geometry and reflectance

Also Published As

Publication number Publication date
KR101707939B1 (en) 2017-02-17

Similar Documents

Publication Publication Date Title
US11869139B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
US11115633B2 (en) Method and system for projector calibration
US10582121B2 (en) System and method for fusing outputs of sensors having different resolutions
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US10755417B2 (en) Detection system
Ackermann et al. Photometric stereo for outdoor webcams
CN104284119B (en) The equipment, system and method for projected image on the predefined part of object
US20180262737A1 (en) Scan colorization with an uncalibrated camera
EP3069100B1 (en) 3d mapping device
JP2014178957A (en) Learning data generation device, learning data creation system, method and program
WO2019047985A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
CN111091592A (en) Image processing method, image processing apparatus, electronic device, and readable storage medium
JP7173133B2 (en) Camera calibration method, camera calibration device, camera calibration system and camera calibration program
KR101707939B1 (en) Device and method for obtaining accurate 3d information using depth sensor and infrared shading cues
JP7092615B2 (en) Shadow detector, shadow detection method, shadow detection program, learning device, learning method, and learning program
JP6884219B2 (en) Image analysis technique
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
US11803982B2 (en) Image processing device and three-dimensional measuring system
JP6369897B2 (en) Self-position calculation device and self-position calculation method
WO2019024498A1 (en) Positioning system and positioning method
KR101537075B1 (en) The apparatus and method of indoor positioning with indoor posioning moudule
CN107025636A (en) With reference to the image defogging method and device and electronic installation of depth information
US11688040B2 (en) Imaging systems and methods for correcting visual artifacts caused by camera straylight
US20240073505A1 (en) Illumination system and photography system
US20170070712A1 (en) Lighting device, lighting system, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 4