KR101707939B1 - 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법 - Google Patents

깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법 Download PDF

Info

Publication number
KR101707939B1
KR101707939B1 KR1020150020889A KR20150020889A KR101707939B1 KR 101707939 B1 KR101707939 B1 KR 101707939B1 KR 1020150020889 A KR1020150020889 A KR 1020150020889A KR 20150020889 A KR20150020889 A KR 20150020889A KR 101707939 B1 KR101707939 B1 KR 101707939B1
Authority
KR
South Korea
Prior art keywords
information
dimensional
estimating
dimensional information
infrared
Prior art date
Application number
KR1020150020889A
Other languages
English (en)
Other versions
KR20160098814A (ko
Inventor
권인소
최경민
박재식
유윙타이
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150020889A priority Critical patent/KR101707939B1/ko
Publication of KR20160098814A publication Critical patent/KR20160098814A/ko
Application granted granted Critical
Publication of KR101707939B1 publication Critical patent/KR101707939B1/ko

Links

Images

Classifications

    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H04N13/0007—
    • H04N13/0037—
    • H04N13/004—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명에 따른 3차원 정보 획득 방법은 3차원 정보 획득 장치가 물체에 대한 3차원 정보를 획득하는 방법에서, 적외선 카메라로 물체의 데이터를 획득하고, 획득된 데이터로 상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계, 획득된 상기 데이터를 이용해서 표면 반사도를 추정하는 단계, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 깊이 정보를 수정하는 단계, 그리고 수정된 상기 깊이 정보를 이용해서 추정된 상기 3차원 정보를 업데이트하는 단계를 포함 한다.

Description

깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법{DEVICE AND METHOD FOR OBTAINING ACCURATE 3D INFORMATION USING DEPTH SENSOR AND INFRARED SHADING CUES}
본 발명은 3차원 정보 획득 장치 및 이를 이용한 3차원 정보 획득 방법에 관한 것이다.
기존에는 물체의 정밀한 3차원 정보(깊이)를 획득하기 위해서 저가형의 적외선 깊이 센서와 RGB의 칼라 영상을 결합하는 방법을 이용하였다. 그리고, 적외선 영상은 초기 깊이 값을 계산하는 데에만 쓰이고 후처리 방법에는 쓰이지 않았다. 그러나 최근에는 적외선 영상을 초기 깊이 값 계산뿐만 아니라 정밀한 3차원 정보로 개선하기 위해서 후처리 과정에도 사용할 필요가 있다.
칼라 영상을 이용하는 기존의 방법은 넓은 주파수 밴드의 영상을 이용하기에 실내의 다양한 조명 조건에 따라 조명 모델이 달라질 수 있다. 따라서, 칼라 영상을 사용하는 기존의 방법은 형광등이나 LED 등과 같은 실내 조명 조건에서 간단하게 모델링하기 힘든 어려움이 있다.
또한, 칼라 영상을 사용하는 기존의 방법은 3차원 정보를 정밀하게 추정하지 못하는 어려움이 있으므로, 보다 정밀하게 정보를 추정하여 3차원 모델을 형성할 수 있는 환경이 요구된다.
본 발명은 적외선 음영 영상을 이용해서 정밀한 3차원 정보를 획득할 수 있는 3차원 정보 획득 장치 및 이를 이용한 차원 정보 획득 방법을 제안하고자 한다.
본 발명의 3차원 정보 획득 방법은 3차원 정보 획득 장치가 물체에 대한 3차원 정보를 획득하는 방법에서, 적외선 카메라로 물체의 데이터를 획득하고, 획득된 데이터로 상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계, 획득된 상기 데이터를 이용해서 표면 반사도를 추정하는 단계, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 깊이 정보를 수정하는 단계, 그리고 수정된 상기 깊이 정보를 이용해서 추정된 상기 3차원 정보를 업데이트하는 단계를 포함 한다.
상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계는, 상기 물체에 대한 적외선 음영 영상을 획득하고, 적외선 대역이 갖는 특성을 이용해서 상기 적외선 음영 영상으로부터 상기 깊이 정보를 추정하는 단계, 그리고 추정된 상기 깊이 정보를 이용해서 상기 3차원 정보를 추정하는 단계를 포함할 수 있다.
상기 표면 반사도를 추정하는 단계는, 상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하는 단계, 그리고 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정하는 단계를 포함할 수 있다.
상기 3차원 정보를 업데이트하는 단계는, 상기 물체의 표면 법선 벡터, 상기 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성하는 단계를 포함할 수 있다.
본 발명의 3차원 정보 획득 방법은 3차원 정보 획득 장치가 물체를 3차원 정보를 획득하는 방법에서, 적외선 카메라로 물체의 적외선 음영 영상을 단계, 획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하는 단계, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 깊이 정보를 계산하는 단계, 그리고 상기 깊이 정보를 이용해서 상기 3차원 정보를 획득하는 단계를 포함한다.
본 발명의 3차원 정보 획득 장치는 물체에 대한 적외선 음영 영상을 획득하는 영상 획득부, 그리고 획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하여 상기 물체에 대한 3차원 정보를 업데이트하는 3차원 정보 획득부를 포함한다.
상기 영상 획득부는, 적어도 하나 이상의 적외선 카메라로 상기 물체를 촬영하고, 복수의 방향에서의 적외선 음영 영상을 획득할 수 있다.
상기 3차원 정보 획득부는, 획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하는 표면 반사도 추정부, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하는 깊이 정보 계산부, 그리고 상기 물체에 대한 3차원 모델을 형성하는 모델링부를 포함할 수 있다.
상기 표면 반사도 추정부는, 상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정할 수 있다.
상기 모델링부는, 상기 물체의 표면 법선 벡터, 상기 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성할 수 있다.
본 발명에 따르면, 깊이 센서의 적외선 카메라로 다시점에서 촬영한 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 제안한 적외선 광원모델 식에 기반하여 부정확한 초기 3차원 모델의 점들의 좌표를 업데이트 함으로써, 보다 정밀하게 표면 정보를 추정하고 3차원 모델을 형성할 수 있는 환경을 제공한다.
또한, 본 발명은 적외선 카메라가 사용하는 좁은 주파수 밴드의 영상을 이용함으로써, 불필요한 가시광 영역의 조명 효과를 필터링하고, 실내의 조명 조건을 간단히 모델링할 수 있는 환경을 제공한다.
도 1은 본 발명의 한 실시예에 따른 3차원 정보 획득 장치의 구조를 간략히 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 복수개의 적외선 카메라로 대상 물체의 영상을 획득하는 예를 도시한 도면이다.
도 3은 본 발명의 한 실시예에 따라 3차원 정보 획득 장치가 3차원 정보를 획득하는 과정을 간략히 도시한 흐름도이다.
도 4는 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 획득한 적외선 영상의 예를 도시한 도면이다.
도 5는 본 발명의 한 실시예에 따라 메쉬 꼭지점들(mesh vertices)을 시각화한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이제 도 1 내지 도 5를 참고하여 본 발명의 한 실시예에 따른 3차원 정보 획득 장치 및 이를 이용한 차원 정보 획득 방법에 대하여 상세하게 설명한다.
도 1은 본 발명의 한 실시예에 따른 3차원 정보 획득 장치의 구조를 간략히 도시한 도면이다. 이때, 3차원 정보 획득 장치는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.
우선, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 깊이 센서인 적외선 카메라로부터 얻은 적외선 음영 영상을 사용하여 3차원 모델을 개선한다. 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 표면 법선 벡터, 반사도, 광원의 방향 그리고 광원과 표면 점 사이의 거리의 함수로 근거리 적외선 조명 모델을 정립한다.
도 1을 참조하면, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 데이터 획득부(110) 및 3차원 정보 획득부(120)을 포함한다.
데이터 획득부(110)는 물체를 촬영하고 물체에 대한 적외선 영상 데이터를 획득한다. 데이터 획득부(110)는 적어도 하나 이상의 적외선 카메라로 물체를 촬영하고, 복수의 방향에서의 적외선 음영 영상을 획득할 수 있다. 여기서, 적외선은 800nm 내지 2500nm 사이의 파장대역을 가지는 근적외선을 포함한다.
데이터 획득부(110)는 본 발명의 한 실시예에 따라 촬영부(112) 및 영상 획득부(114)를 포함한다.
촬영부(112)는 다양한 각도에서 물체를 촬영하는 적어도 하나 이상의 적외선 카메라를 포함한다.
영상 획득부(114)는 촬영부(112)에서 촬영된 영상으로부터 물체에 대한 적외선 음영 영상을 획득한다. 그리고, 영상 획득부(114)는 획득된 데이터를 이용해서 물체에 대한 깊이 정보 및 3차원 정보를 추정할 수도 있다.
3차원 정보 획득부(120)는 데이터 획득부(110)에서 획득된 물체에 대한 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 추정된 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하여 물체에 대한 3차원 정보를 업데이트한다.
3차원 정보 획득부(120)는 본 발명의 한 실시예에 따라 표면 반사도 추정부(122), 깊이 정보 계산부(124) 및 모델링부(126)를 포함한다.
표면 반사도 추정부(122)는 영상 획득부(114)에서 획득된 상기 적외선 음영 영상을 이용해서 물체에 대한 표면 반사도를 추정한다. 이때, 물체가 한가지 물질로 만들어진 경우, 표면 반사도 추정부(122)는 글로벌(global)한 표면 반사도(albedo)를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬(local)한 표면 반사도를 추정할 수 있다.
깊이 정보 계산부(124)는 표면 반사도 추정부(122)에서 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산한다.
모델링부(126)는 표면 반사도 추정부(122)에서 추정된 표면 반사도 및 깊이 정보 계산부(124)에서 계산된 깊이 정보를 이용해서 물체에 대한 3차원 모델을 형성한다.
모델링부(126)는 물체의 표면 법선 벡터, 표면 반사도, 상기 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성할 수 있다.
도 2는 본 발명의 한 실시예에 따라 3차원 정보 획득 장치가 3차원 정보를 획득하는 과정을 간략히 도시한 흐름도이다. 이하의 흐름도는 도 1의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.
도 2를 참조하면, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 적어도 하나 이상의 적외선 카메라로 물체를 촬영하고, 상기 물체에 대한 적외선 음영 영상을 획득한다(S102, S104).
그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 획득된 데이터를 이용해서 상기 물체에 대한 깊이 정보 및 3차원 정보를 추정한다(S106). 여기서, 3차원 정보 획득 장치(100)는 적외선 대역이 갖는 특성을 이용해서 적외선 음영 영상으로부터 상기 깊이 정보를 추정하고, 추정된 깊이 정보를 이용해서 상기 3차원 정보를 추정할 수 있다.
또한, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 적외선 음영 영상을 이용해서 표면 반사도를 추정한다(S108). 여기서, 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정할 수 있다.
본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 추정된 표면 반사도를 이용해서 추정된 깊이 정보를 수정하고, 수정된 깊이 정보를 이용해서 추정된 3차원 정보를 업데이트한다(S110, S112). 여기서, 3차원 정보 획득 장치(100)는 상기 물체의 표면 법선 벡터, 표면 반사도, 적외선 카메라에 의한 광원의 방향 및 광원과 표면 점 사이의 거리 중 적어도 하나를 이용한 함수로 3차원 모델을 형성할 수 있다.
이하에는 도 3 내지 도 5를 참조하여 3차원 정보 획득 장치(100)가 3차원 정보를 획득하는 과정을 상세히 설명한다.
도 3은 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 복수개의 적외선 카메라로 대상 물체의 영상을 획득하는 예를 도시한 도면이다.
본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 복수의 적외선 카메라(112a 내지 112g)로 물체(10)를 촬영하고, 물체(10)에 대한 적외선 음영 영상을 획득한다. 복수의 적외선 카메라(112a 내지 112g)는 물체(10)를 촬영하는 광원(S1 내지 S7)을 포함한다.
본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 근적외선 파장을 방사하는 광원으로서 가장 쉽게 구할 수 있는 백열전구를 사용할 수 있다. 차원 정보 획득 장치(100)는 가시광이 전혀 방사되지 않는 순수 근적외선 광원을 사용하여 강인하게 작동시킬 수 있다.
가시광 영역의 조명은 대부분 필터링되고, 근적외선 주파수에 해당하는 조명만이 영상 화소 값 결정에 영향을 주기 때문에, 추가적인 백열전구 하나로 조명 조건에 무관한 낮은 복잡도의 광원 모델링이 가능하다.
그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 획득된 데이터를 이용해서 물체(10)에 대한 깊이 정보 및 3차원 정보를 추정한다.
3차원 정보 획득 장치(100)는 아래의 수학식 1과 같은 적외선 음영 모델을 이용해서 깊이 정보 및 3차원 정보를 추정할 수 있다.
Figure 112015014535660-pat00001
여기서, I(u) 는 영상 좌표에서 관측된 밝기 값이고, c는 광역적 밝기 수준, ρ는 표면 반사도, d는 물체의 3차원 점과 적외선 카메라의 광원 사이의 거리를 나타낸다. n은 물체의 표면 법선 벡터, l은 적외선 광원의 방향 벡터를 지칭한다.
그리고, 실내 조명은 적외선 대역인 본 발명의 한 실시예에 따른 광원 모델에 영향을 주지 못하므로, IAmbient는 무시할 수 있다.
그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)가 데이터를 획득 과정은 크게 두 가지 과정으로 구성된다. 첫째로, 키넥트 퓨전을 통한 초기 메쉬 모델의 생성하고, 두 번째는 몇 가지의 특정 카메라 위치에서의 적외선 영상의 획득하며, 이 두 과정은 동시에 진행된다.
도 4는 본 발명의 한 실시예에 따른 3차원 정보 획득 장치가 획득한 적외선 영상의 예를 도시한 도면이다.
도 4의 (a)는 획득된 적외선 음영 영상을 보여준다. 3차원 정보 획득 장치(100)는 몇 가지의 특정 카메라 위치에서의 적외선 영상의 획득한다. 도 4의 (b)의 초기 메쉬 모델의 3차원 점들을 적외선 영상으로 투영한 영상이고, 도 4의 (c)는 초기 메쉬 모델에서 추정한 뎁스맵(Depth map)을 도시한 영상이다.
그리고, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 적외선 음영 영상을 이용해서 표면 반사도를 추정한다. 여기서, 물체가 다양한 표면 반사도 없이 한가지의 일정한 물질로 만들어 졌다면, 아래의 수학식 2을 사용하여 글로벌(global)한 표면 반사도(cρ)를 추정한다.
Figure 112015014535660-pat00002
N은 3차원 모델을 이루는 점들의 총 갯수, M은 해당 3차원 점이 출현하는 다중 적외선영상의 갯수(V는 visibility), d는 물체의 3차원 점과 적외선 카메라의 광원 사이의 거리를 나타낸다. 또한, n은 물체의 표면 법선 벡터, l은 적외선 광원의 방향벡터를 지칭한다. 그리고, I는 관측된 적외선 밝기 값을 의미하며, Z는 수치의 평준화를 의미한다.
이때, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 개선하고자 하는 물체가 다양한 표면 반사도를 갖는 물질이 섞여 있다면, 아래의 수학식 3을 사용하여 로컬(local)한 표면 반사도를 추정한다.
Figure 112015014535660-pat00003
N은 3차원 모델을 이루는 점들의 총 갯수, M은 해당 3차원 점이 출현하는 다중 적외선영상의 갯수(V는 visibility), d는 물체의 3차원 점과 적외선 카메라의 광원 사이의 거리를 나타낸다. 또한, n은 물체의 표면 법선 벡터, l은 적외선 광원의 방향벡터를 지칭한다. 그리고, I는 관측된 적외선 밝기 값을 의미하며, Z는 수치의 평준화를 의미한다.
이와 같이, 3차원 정보 획득 장치(100)는 모든 3차원 점들에 대한 로컬한 표면 반사도가 추정되었으므로, K 평균 클러스터링(K mean clustering)을 통해 그룹을 나눈다. 그룹의 개수는 PCA 방법을 이용하며,
Figure 112015014535660-pat00004
의 특징 스페이스(feature Space)가 95퍼센트 이상 차지하는 크기(dimension)를 계산하는 방법으로 찾는다.
그리고, 3차원 정보 획득 장치(100)는 보다 더 정밀한 그룹을 나누기 위해 다중 라벨 최적화(multi-label optimization) 방법을 이용하며, 이는 아래의 수학식 4와 같다.
Figure 112015014535660-pat00005
여기서 D는 최적화 식의 데이터 항이고 V는 이웃한 레이블의 관계를 정의하는 항이다. 그리고, p는 3차원점의 인덱스이고, q는 p에 이웃하는 점들을 지칭하며, L은 레이블을 의미한다. N은 앞에서와 마찬가지로 점의 총 갯수이다.
그리고, 3차원 정보 획득 장치(100)는 추정된 표면 반사도를 이용해서 깊이 정보 및 3차원 정보를 업데이트한다.
도 5는 본 발명의 한 실시예에 따라 메쉬 꼭지점들(mesh vertices)을 시각화한 도면이다.
본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 표면 반사도가 일정한 값을 가진다고 가정하고, 수학식 1에서 적외선 음영 모델에 기반하여 최적화 하는 식을 설계한다.
본 발명의 한 실시예에 따른 3차원 정보 획득 장치(100)는 도 5 및 아래의 수학식 5, 6, 7, 8을 최소화 하는 방향으로 3차원 정보를 최적화한다. 주어진 식의 비용을 최소화 하는 조건을 만족시키도록 이동 변위(델타)를 업데이트한다.
Figure 112015014535660-pat00006
Figure 112015014535660-pat00007
Figure 112015014535660-pat00008
Figure 112015014535660-pat00009
위의 수학식 5는 세가지의 항으로 구성된다. Ep는 데이터 항, Es는 부드러움(Smoothness) 항, Er은 정규화(Regularization) 항이다. 그리고, P는 3차원 점의 개수이고, V는 가시성(visibility), N은 이웃한 점들의 집합, δ는 각 점들의 법선 벡터 방향 이동 변위를 의미한다. 또한, λ는 적절하게 설정한 가중치값이며 w는 n과 l의 내적으로 정의된다.
3차원 정보 획득 장치(100)는 최적화 식인 수학식 5를 최소화 하는 방향으로 각 점들의 3차원 좌표를 업데이트하고, 이를 통해서 최종적으로 개선된 모델을 얻는다.
이와 같이, 본 발명의 한 실시예에 따른 3차원 정보 획득 장치는 적외선 카메라로 다시점에서 촬영한 적외선 음영 영상을 이용해서 표면 반사도를 추정하고, 깊이 정보 및 3차원 정보를 업데이트 함으로써, 보다 정밀하게 표면 정보를 추정하고 3차원 모델을 형성할 수 있는 환경을 제공한다.
본 발명은 적외선 카메라가 사용하는 좁은 주파수 밴드의 영상을 이용함으로써, 불필요한 가시광 영역의 조명 효과를 필터링하고, 실내의 조명 조건을 간단히 모델링하며, 형광등이나 LED 등 일반적인 실내의 조명 조건 하에서도 효과적으로 3차원 정보를 획득할 수 있는 환경을 제공한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 3차원 정보 획득 장치가 물체에 대한 3차원 정보를 획득하는 방법에서,
    복수의 적외선 카메라로 복수의 방향에서의 물체의 적외선 음영 영상를 획득하고, 적외선 대역이 갖는 특성을 이용해서 획득된 적외선 음영 영상으로 상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계,
    획득된 상기 적외선 음영 영상를 이용해서 각각의 복수의 방향에서 표면 반사도를 추정하는 단계,
    추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 각각의 복수의 방향에서 상기 깊이 정보를 수정하는 단계, 그리고
    수정된 상기 깊이 정보를 이용해서 추정된 상기 3차원 정보를 업데이트하는 단계
    를 포함하며,
    상기 3차원 정보를 업데이트하는 단계는,
    상기 각각의 복수의 방향에서의 상기 물체의 표면 법선 벡터, 상기 각각의 복수의 방향에서의 표면 반사도, 각각의 복수의 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리를 이용한 함수로 3차원 모델을 형성하는 단계, 그리고
    상기 3차원 모델로부터 상기 3차원 정보를 업데이트 하되, 상기 3차원 모델을 이루는 각 점들에 대한 법선 벡터 방향의 이동 변위를 업데이트 하는 단계
    를 포함하는 3차원 정보 획득 방법.
  2. 제1항에서,
    상기 물체에 대한 깊이 정보 및 3차원 정보를 추정하는 단계는,
    상기 적외선 음영 영상으로부터 상기 깊이 정보를 추정하는 단계, 그리고
    추정된 상기 깊이 정보를 이용해서 상기 3차원 정보를 추정하는 단계
    를 포함하는 3차원 정보 획득 방법.
  3. 제1항에서,
    상기 표면 반사도를 추정하는 단계는,
    상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하는 단계, 그리고
    상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정하는 단계
    를 포함하는 3차원 정보 획득 방법.
  4. 삭제
  5. 3차원 정보 획득 장치가 물체를 3차원 정보를 획득하는 방법에서,
    복수의 적외선 카메라로 복수의 방향에서 물체의 적외선 음영 영상을 획득하는 단계,
    획득된 상기 적외선 음영 영상을 이용해서 각각의 복수의 방향에서 표면 반사도를 추정하는 단계,
    추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 상기 각각의 복수의 방향에서 깊이 정보를 계산하는 단계, 그리고
    상기 깊이 정보를 이용해서 상기 3차원 정보를 획득하는 단계
    를 포함하며,
    상기 3차원 정보를 획득하는 단계는,
    상기 각각의 복수의 방향에서의 상기 물체의 표면 법선 벡터, 상기 각각의 복수의 방향에서의 표면 반사도, 각각의 복수의 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리를 이용한 함수로 3차원 모델을 형성하는 단계, 그리고
    상기 3차원 모델로부터 상기 3차원 정보를 업데이트 하되, 상기 3차원 모델을 이루는 각 점들에 대한 법선 벡터 방향의 이동 변위를 업데이트 하는 단계
    를 포함하는 3차원 정보 획득 방법.
  6. 물체에 대한 적외선 음영 영상을 획득하되, 복수의 적외선 카메라로 상기 물체를 촬영하고, 복수의 방향에서의 적외선 음영 영상을 획득하는 영상 획득부, 그리고
    획득된 상기 적외선 음영 영상을 이용해서 각각의 복수의 방향에서 표면 반사도를 추정하고, 추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하여 상기 물체에 대한 3차원 정보를 업데이트하는 3차원 정보 획득부
    를 포함하며,
    상기 3차원 정보 획득부는,
    상기 물체에 대한 3차원 모델을 형성하는 모델링부를 포함하며,
    상기 모델링부는,
    상기 각각의 복수의 방향에서의 상기 물체의 표면 법선 벡터, 상기 각각의 복수의 방향에서의 표면 반사도, 각각의 복수의 적외선 카메라에 의한 광원의 방향 및 상기 광원과 표면 점 사이의 거리를 이용한 함수로 3차원 모델을 형성하며,
    상기 3차원 정보 획득부는,
    상기 3차원 모델로부터 상기 3차원 정보를 업데이트 하되, 상기 3차원 모델을 이루는 각 점들에 대한 법선 벡터 방향의 이동 변위를 업데이트 하는 3차원 정보 획득 장치.
  7. 삭제
  8. 제6항에서,
    상기 3차원 정보 획득부는,
    획득된 상기 적외선 음영 영상을 이용해서 표면 반사도를 추정하는 표면 반사도 추정부, 그리고
    추정된 상기 표면 반사도를 이용해서 상기 물체에 대한 깊이 정보를 계산하는 깊이 정보 계산부
    를 더 포함하는 3차원 정보 획득 장치.
  9. 제8항에서,
    상기 표면 반사도 추정부는,
    상기 물체가 한가지 물질로 만들어진 경우, 글로벌한 표면 반사도를 추정하고, 상기 물체가 적어도 하나 이상의 표면 반사도를 갖는 물질이 섞여 있다면, 로컬한 표면 반사도를 추정하는
    3차원 정보 획득 장치.
  10. 삭제
KR1020150020889A 2015-02-11 2015-02-11 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법 KR101707939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150020889A KR101707939B1 (ko) 2015-02-11 2015-02-11 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020889A KR101707939B1 (ko) 2015-02-11 2015-02-11 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160098814A KR20160098814A (ko) 2016-08-19
KR101707939B1 true KR101707939B1 (ko) 2017-02-17

Family

ID=56874887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020889A KR101707939B1 (ko) 2015-02-11 2015-02-11 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101707939B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074911A (ko) * 2017-12-20 2019-06-28 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
US11823327B2 (en) 2020-11-19 2023-11-21 Samsung Electronics Co., Ltd. Method for rendering relighted 3D portrait of person and computing device for the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865886B1 (ko) * 2016-12-09 2018-06-08 한국과학기술원 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Lap-Fai 외, 'Shading-based Shape Refinement of RGB-D Images', IEEE CVPR, 2013*
Martin 외, 'Shading constraint improves accuracy of time-of-flight measurements', computer vision and Image Understanding 114(2010), Sep 2010*
S.Izadi외, ‘KinectFusion:Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera’, UIST’11, Oct 2011*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074911A (ko) * 2017-12-20 2019-06-28 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR102009400B1 (ko) * 2017-12-20 2019-08-12 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
US11823327B2 (en) 2020-11-19 2023-11-21 Samsung Electronics Co., Ltd. Method for rendering relighted 3D portrait of person and computing device for the same

Also Published As

Publication number Publication date
KR20160098814A (ko) 2016-08-19

Similar Documents

Publication Publication Date Title
US20230154105A1 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
US11115633B2 (en) Method and system for projector calibration
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US10582121B2 (en) System and method for fusing outputs of sensors having different resolutions
US10755417B2 (en) Detection system
US8718326B2 (en) System and method for extracting three-dimensional coordinates
CN104284119B (zh) 在对象的预定义部分上投影图像的设备、系统和方法
US20180262737A1 (en) Scan colorization with an uncalibrated camera
CN105049784B (zh) 用于基于图像的视距估计的方法和设备
EP3069100B1 (en) 3d mapping device
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
US9852519B2 (en) Detection system
US11803982B2 (en) Image processing device and three-dimensional measuring system
KR101707939B1 (ko) 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법
JP7173133B2 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
JP6884219B2 (ja) 画像解析技法
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
US20190287272A1 (en) Detection system and picturing filtering method thereof
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
CN107025636A (zh) 结合深度信息的图像去雾方法及装置和电子装置
KR101537075B1 (ko) 실내위치인식모듈을 통한 사용자 실내위치인식 장치 및 방법
US11688040B2 (en) Imaging systems and methods for correcting visual artifacts caused by camera straylight
US20240073505A1 (en) Illumination system and photography system
CN107483814A (zh) 拍照模式设置方法、装置及移动设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 4