KR20130126439A - 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 - Google Patents

깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 Download PDF

Info

Publication number
KR20130126439A
KR20130126439A KR1020120122345A KR20120122345A KR20130126439A KR 20130126439 A KR20130126439 A KR 20130126439A KR 1020120122345 A KR1020120122345 A KR 1020120122345A KR 20120122345 A KR20120122345 A KR 20120122345A KR 20130126439 A KR20130126439 A KR 20130126439A
Authority
KR
South Korea
Prior art keywords
depth
depth image
value
lost
view
Prior art date
Application number
KR1020120122345A
Other languages
English (en)
Other versions
KR101913321B1 (ko
Inventor
심현정
이승규
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201310148336.8A priority Critical patent/CN103390289B/zh
Priority to JP2015511361A priority patent/JP6250035B2/ja
Priority to PCT/KR2013/004008 priority patent/WO2013168996A1/en
Priority to EP13787830.2A priority patent/EP2848003B1/en
Priority to US13/891,457 priority patent/US9245344B2/en
Publication of KR20130126439A publication Critical patent/KR20130126439A/ko
Application granted granted Critical
Publication of KR101913321B1 publication Critical patent/KR101913321B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

반사(specular) 객체의 형상을 취득하는 방법이 제공된다. 단일시점 깊이 영상 기반 반사 객체 형상 취득 방법은 깊이 영상을 입력 받는 단계, 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계, 손실된 깊이 값을 보정하는 단계를 포함한다. 다시점 깊이 영상 기반 반사 객체 형상 취득 방법은 다시점 깊이 영상을 입력 받는 단계, 다시점 깊이 영상을 정합(calibration)하는 단계, 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 단계, 에러 영역의 손실된 깊이 값을 보정하는 단계를 포함한다.

Description

깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치{METHOD OF GEOMETRY ACQUISITION FOR SPECULAR OBJECT BASED ON DEPTH SENSOR AND THE DEVICE THEREOF}
아래의 실시예들은 3차원 이미징, 3차원 디스플레이용 컨텐츠 제작, 방송용 3차원 저작물 제작, 영화 효과, 3차원 게임, 가상 내지 증강 현실 등에 사용하기 위하여 반사 객체의 형상을 깊이 센서에 기반하여 취득하는 방법 및 장치에 관한 것이다.
3차원 이미징 기술은 다양한 센서의 개발과 함께 3차원 영상 관련 산업에 중요한 축을 담당하고 있다. 최근 새로운 깊이(depth) 센싱 방식 및 아크(Architecutre)가 등장함에 따라 깊이 센서 기반의 3차원 이미징 기술이 다양한 어플리케이션에 활용되는 추세를 보이고 있다.
현재 시장에서 각광받는 3차원 센서에는 크게 ToF(Time-of-Flight) 원리에 기반하는 센서 타입과 구조광(Structured light) 원리에 기반하는 센서 타입으로 양분된다. 이 두 가지 방식의 센서는 각기 다른 특성과 장단점을 갖고 있어 사용하고자 하는 어플리케이션에 따라 선택적으로 사용되고 있다.
일실시예에 따르면 깊이 영상을 입력 받는 단계, 상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계 및 상기 손실된 깊이 값을 보정하는 단계를 포함하는 반사(specular) 객체의 형상을 취득하는 방법이 제공될 수 있다.
다른 일실시예에 따르면 상기 로컬 영역은, 깊이 값이 손실된 지점을 중심으로 하는 영역으로 정의되는, 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 깊이 영상은, 포화(saturation)형태의 값이 출력되는 현상이 발생한 깊이 영상인 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는, 상기 손실된 깊이 값이 상기 로컬 영역의 평균에 대해 유사성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는, 상기 손실된 깊이 값이 주변 화소와의 관계에서 연속성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는, 상기 손실된 깊이 값이 상기 깊이 영상 내의 패턴에 대해 주기성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는, 상기 손실된 깊이 값이 로컬 영역의 평균에 대해 유사성, 주변 화소와의 관계에서 연속성 및 상기 깊이 영상 내의 패턴에 대해 주기성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계 및 상기 유사성, 상기 연속성 및 상기 주기성에 대해 각각 가중치를 부여하고 전체 코스트(cost)가 가장 적은 값으로 상기 손실된 깊이 값을 결정하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
일실시예에 따르면 다시점 깊이 영상을 입력 받는 단계, 상기 다시점 깊이 영상을 정합(calibration)하는 단계, 상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 단계 및 상기 에러 영역의 손실된 깊이 값을 보정하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
다른 일실시예에 따르면 상기 에러 영역의 손실된 깊이 값을 보정하는 단계는, 상기 다시점 깊이 영상으로부터 시점 독립적 화소와 시점 의존적 화소를 분리하여 상기 다시점 깊이 영상을 상기 시점 독립적 화소와 상기 시점 의존적 화소의 합으로 나타내는 단계 및 상기 시점 독립적 화소와 상기 시점 의존적 화소에 각각 다른 반사 모델을 적용하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 다시점 깊이 영상을 정합(calibration)하는 단계는, 격자 패턴으로부터 추출한 특징점 간의 매칭(matching)을 수행하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 다시점 깊이 영상은, M개의 시점 영상이고(M은 2이상의 자연수), 상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 단계는, 상기 다시점 깊이 영상으로부터 3차원 포인트(3D point)의 M개의 깊이 값에 대한 분포도를 산출하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 다시점 깊이 영상으로부터 3차원 포인트(3D point)의 M개의 깊이 값에 대한 분포도를 산출하는 단계는, 상기 3차원 포인트 주변의 이웃 3차원 포인트에서 관측된 M개의 깊이 값에 대한 분포도를 산출하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 단계는, 상기 분포도에서 다중 피크(multiple peak)가 존재하는 3차원 포인트를 에러 영역으로 검출하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 분포도는, K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅을 통해 산출되고, 상기 에러 영역의 손실된 깊이 값을 보정하는 단계는, 상기 K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅에 따른 다수의 클러스터로부터 주요 클러스터를 결정하는 단계, 상기 주요 클러스터 내의 샘플의 임의의 값, 평균값, 웨이트 섬(weight sum) 또는 중앙값(median)을 사용하여 상기 3차원 포인트의 깊이 값을 결정하는 단계 및 상기 결정된 깊이 값으로 상기 손실된 깊이 값을 대체하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
또 다른 일실시예에 따르면 상기 K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅에 따른 다수의 클러스터로부터 주요 클러스터를 결정하는 단계는, 다수의 클러스터 중 내부에 속한 샘플의 수가 많고 바리에이션(variation)이 적은 클러스터를 주요 클러스터로 결정하는 단계를 포함하는 반사 객체의 형상을 취득하는 방법이 제공될 수 있다.
일실시예에 따르면 깊이 영상을 입력 받는 단일시점 깊이 영상 입력부, 상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단일시점 깊이 값 추론부 및 상기 손실된 깊이 값을 보정하는 단일시점 깊이 값 보정부를 포함하는 반사 객체의 형상을 취득하는 장치가 제공될 수 있다.
다른 일실시예에 따르면 상기 단일시점 깊이 값 추론부는, 상기 손실된 깊이 값이 로컬 영역의 평균에 대해 유사성, 주변 화소와의 관계에서 연속성 및 상기 깊이 영상 내의 패턴에 대해 주기성을 유지하도록 상기 손실된 깊이 값을 추론하고, 상기 유사성, 상기 연속성 및 상기 주기성에 대해 각각 가중치를 부여하고 전체 코스트(cost)가 가장 적은 값으로 상기 손실된 깊이 값을 결정하는 단일시점 깊이 값 결정부를 더 포함하는 반사 객체의 형상을 취득하는 장치가 제공될 수 있다.
일실시예에 따르면 다시점 깊이 영상을 입력 받는 다시점 깊이 영상 입력부, 상기 다시점 깊이 영상을 정합(calibration)하는 다시점 깊이 영상 정합부, 상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 다시점 깊이 영상 에러 검출부 및 상기 에러 영역의 손실된 깊이 값을 보정하는 다시점 깊이 영상 보정부를 포함하는 반사 객체의 형상을 취득하는 장치가 제공될 수 있다.
다른 일실시예에 따르면 상기 다시점 깊이 영상은, M개의 시점 영상이고(M은 2이상의 자연수), 상기 다시점 깊이 영상 에러 검출부는, 상기 다시점 깊이 영상으로부터 3차원 포인트(3D point)의 M개의 깊이 값 및 상기 3차원 포인트 주변의 이웃 3차원 포인트에서 관측된 M개의 깊이 값에 대한 분포도를 산출하는 다시점 깊이 영상 분포도 산출부를 포함하는 반사 객체의 형상을 취득하는 장치가 제공될 수 있다.
또 다른 일실시예에 따르면 상기 다시점 깊이 영상 분포도 산출부는, K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅을 통해 상기 분포도를 산출하고, 상기 다시점 깊이 영상 보정부는, 상기 K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅에 따른 다수의 클러스터 중 내부에 속한 샘플의 수가 많고 바리에이션(variation)이 적은 클러스터를 주요 클러스터로 결정하는 주요 클러스터 결정부, 상기 주요 클러스터 내의 샘플의 임의의 값, 평균, 웨이트 섬(weight sum) 또는 중앙값(median)을 사용하여 상기 3차원 포인트의 깊이 값을 결정하는 다시점 깊이 값 결정부 및 상기 결정된 깊이 값으로 상기 손실된 깊이 값을 대체하는 다시점 깊이 값 대체부를 포함하는 반사 객체의 형상을 취득하는 장치가 제공될 수 있다.
도 1은 람베르시안(Lambertian) 재질의 깊이 복원 방법을 도시한 도면이다.
도 2는 반사(Specular) 재질의 깊이 복원 방법을 도시한 도면이다.
도 3 및 도 4는 각각 ToF(Time-of-Flight) 방식 및 구조광(Structured light) 방식을 이용한 반사 재질 객체의 그레이 스케일(gray scale) 영상 및 깊이 영상을 도시한 도면이다.
도 5는 ToF 방식을 이용한 반사 재질 객체의 깊이 영상에서 오리엔테이션(orientation)에 따른 오차를 도시한 도면이다.
도 6은 일실시예에 따른 단일시점 깊이 영상 기반 반사 객체 형상 취득 방법을 도시한 도면이다.
도 7은 일실시예에 따른 단일시점 깊이 영상 기반의 형상 복원 결과를 도시한 도면이다.
도 8은 일실시예에 따른 다시점(Multiview) 깊이 영상 기반의 형상 복원 방법을 도시한 도면이다.
도 9는 일실시예에 따른 반사 모델을 적용한 다시점 깊이 영상 기반의 형상 복원 방법을 도시한 도면이다.
도 10는 일실시예에 따른 다시점 깊이 영상으로부터 시점 의존적 화소의 분리를 도시한 도면이다.
도 11은 일실시예에 따른 다시점 깊이 영상의 시점 의존적 화소와 시점 독립적 화소에 다른 반사 모델을 적용하는 것을 도시한 도면이다.
도 12는 일실시예에 따른 반사 모델로부터 추출한 상수에 의해 노이즈가 감소한 오리엔테이션 맵을 도시한 도면이다.
도 13은 일실시예에 따른 반사 모델을 적용하여 오리엔테이션 및 재질에 의한 오차가 감소한 깊이 맵을 도시한 도면이다.
도 14는 일실시예에 따른 단일시점 깊이 영상 기반 반사 객체 형상 취득 장치의 세부적인 구성을 도시한 블럭도이다.
도 15는 일실시예에 따른 다시점 깊이 영상 기반 반사 객체 형상 취득 장치의 세부적인 구성을 도시한 블럭도이다.
센서의 성능 향상에도 불구하고, 통용되는 깊이 센서는 모두 반사 객체(Specular object) (일례로 반짝이는 재질의 객체)의 깊이 값을 취득하는데 한계를 보일 수 있다. 이는 반사 반사의 특성상 반사된 빛이 특정 방향으로만 수광되기 때문에, 센서에서 감지되는 반사신호의 세기가 지나치게 크거나 혹은 지나치게 적은 상황이 발생하기 때문일 수 있다. 현재 동작원리와 관계없이 모든 깊이 센서는 반사 신호를 감지하여 깊이 값을 추론하고 있는데, 이와 같은 방식의 모든 깊이 센서는 반사 객체의 반사 값을 처리하는데 문제가 발생할 수 있다.
이하 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 람베르시안(Lambertian) 재질의 깊이 복원 방법을 도시한 도면이다.
현재 모든 깊이(depth) 센서는 객체의 재질이 람베르시안(Lambertian)이라는 이상적 특성을 갖는다는 가정하에서 잘 작동할 수 있다. 람베르시안 재질의 경우, 도 1에 도시된 바와 같이 입력 신호를 전방향으로 동일한 양을 반사시키는 현상을 보일 수 있다. 여기서 깊이 센서는 깊이 카메라를 포함할 수 있다.
도 1a에 도시된 ToF(Time-of-Flight) 방식의 경우 IR광 조사부(121)에서 빛을 방출하면, 반사 객체(110) 표면에서 반사를 일으켜 결국 반사된 신호가 센서(131)로 돌아오는 시간을 측정하여 그 거리를 추산할 수 있다. 재질이 전방향으로 동일한 빛을 방사하는 람베르시안 객체의 경우, 센서의 위치와 무관하게 항상 일정양의 빛을 수광할 수 있게 되고, 결과적으로 깊이 값을 측정할 수 있다.
도 1b에 도시된 구조광(Structured-light) 방식의 경우, 프로젝터(122)가 패턴광을 방출하여 객체(110)의 표면점마다 특징적 패턴을 할당하고, 이를 센서(132)에서 감지할 수 있다. 이로부터 프로젝터에서 대상 표면점간을 잇는 직선과 해당 표면점이 감지된 센서 화소에서 센서 중심점간을 잇는 직선간의 교차점을 구하여 그 3차원 위치를 도출할 수 있다. 대상 객체가 람베르시안 재질일 경우, 프로젝터에서 방출된 빛이 항상 일정양 이상 센서에서 감지되어 결국 특징적 패턴을 감지할 수 있게 되고, 결과적으로 깊이 값을 계산할 수 있다.
도 2는 반사(Specular) 재질의 깊이 복원 방법을 도시한 도면이다.
객체(210)의 재질이 반사 특성을 갖게 되면, 도 2에 도시된 현상이 발생할 수 있다. 도 2는 구형의 거울을 대상 객체로 하는 빛의 반사 현상을 표현한 것이다.
ToF 센서(231)의 경우, 도 2a에 도시된 바와 같이 IR LED(221)에서 방출된 빛이 거울 객체(210)에 도달하면, 거울 객체는 입사된 빛을 특정 방향(일례로 거울 반사, 정반사)으로만 반사할 수 있다. 결과적으로 반사된 방향에 센서가 위치하지 않을 경우, 해당 표면점에 관하여 반사된 빛을 얻지 못하게 되며, 해당 깊이 값을 측정하지 못할 수 있다. 반면에 ToF 센서가 IR 광의 반사방향에 위치하는 경우, 빛의 세기가 센서의 수광 능력을 벗어나 인지된 센서 값이 포화(Saturation)되는 현상이 발생할 수 있다. 이에 따라 객체가 입사 패턴광을 특정 방향으로만 반사시켜 센서가 그 반사광을 수광할 수 없거나 센서의 수광능력을 벗어나는 표면점들이 상당수를 차지하게 되어 깊이 값을 복원하는데 실패할 수 있다. 이러한 문제는 도2b에 도시된 바와 같이 프로젝터(222)로부터 방출되어 객체(210)로부터 반사되는 빛을 수광하는 구조광 방식 센서(232)에서도 발생할 수 있다.
상술한 도 1 및 도 2에서 도시된 바와 같이, 반사 재질 특성을 갖는 객체의 경우 현재 상용화된 어떤 깊이 센서를 이용하더라도 그 깊이 값을 추론하는데 한계가 나타날 수 있다.
일실시예에 따르면 기존의 센서에서 감지할 수 없었던 고반사 재질의 형상 값을 복원하기 위해, 한 장의 깊이 영상에서 깊이 값을 추론하는 방식과 다시점(Multiview)의 깊이 영상들을 이용하여 깊이 값을 정확히 복원할 수 있다. 여기서 한 장의 깊이 영상 기반의 방식은 단일시점 깊이 영상 기반의 방식과 동일한 의미로 사용될 수 있다.
구체적으로 단일시점 깊이 영상 기반의 방식의 경우, 깊이 값이 갖는 연속성 및 반복성을 가정하여 손실된 깊이 값을 유추할 수 있다. 다시점 깊이 영상 기반의 방식은 각 단일 시점에서 손실된 깊이 값을 주변 시점의 깊이 영상에서 측정된 값을 이용하여 정확하게 복원할 수 있다. 이 때, 단일시점 깊이 영상 내지 다시점 깊이 영상을 ToF 방식 혹은 구조광 방식을 통해 측정될 수 있다.
이는 다양한 상용 깊이 센서에서 공통적으로 발생하는 센싱 한계를 극복하는 방법인 바 향후 3차원 이미징 장비에 적용되어 3차원 영상 획득 및 생성에 기여할 것을 기대할 수 있다. 더 나아가 향후 비안경식3차원 TV에 활용되는 컨텐츠 확보에 사용될 수 있고, 임의의 씬(scene)을 다양한 시각 및 빛 조건 하에서 합성할 수 있다. 또한, 가상 객체를 실사 영상에 알맞게 렌더링 하여 혼합, 합성하거나 증강현실(Augmented reality)에 활용될 수 있다.
하기 도면을 참조하여 단일시점 깊이 영상 기반 방식 및 다시점 깊이 영상 기반 방식을 상세히 설명한다.
도 3 및 도 4는 각각 ToF(Time-of-Flight) 방식 및 구조광(Structured light) 방식을 이용한 반사 재질 객체의 그레이 스케일(gray scale) 영상(320, 420) 및 깊이 영상(310, 410)을 도시한 도면이다. 여기서 각 깊이 영상(310, 410)은 각 그레이 스케일 영상(320, 420)의 깊이를 나타낼 수 있다. 이 때 ToF 방식 카메라는 그레이 스케일 영상과 깊이 영상을 같이 제공할 수 있다, 일실시예에 따르면 그레이 스케일 영상은 IR 세기(IR intensity) 영상일 수 있다.
도 3 및 도 4에 도시된 바와 같이 반사 재질 객체의 경우, 해당 깊이 영상에 포화 형태의 값이 출력되는 현상이 발생할 수 있다. 그 원인은 상술한 바와 같이, 입사된 IR 포인트(IR point)광 혹은 IR 구조광(structured light)이 표면에서 반사되어 센서에 감지될 때, 그 값이 한 방향으로 밀집되어 그 절대적 값이 센서가 감지하는 범위를 벗어나기 때문일 수 있다. 컬러 영상의 경우, 태양광 혹은 조명 근처에서 영상에 포화가 발생하는 것과 유사할 수 있다. 예를 들어, 도 3 및 도 4에 도시된 바와 같이 그레이 스케일 영상에서 고반사에 의해 밝게 측정된 부분(321, 421)이 깊이 영상에서는 깊이 값이 포화되어 검은 부분(311) 또는 밝은 부분(411)으로 나타날 수 있다.
도 5는 ToF 방식을 이용한 반사 재질 객체의 깊이 영상에서 오리엔테이션(orientation)에 따른 오차를 도시한 도면이다.
기존 센서 방식, 즉 ToF 방식은 대상 객체에 입사한 IR광의 전기 신호 딜레이(delay)를 측정하여 깊이 값을 도출하여 총 반사값을 나타내는 IR영상이 출력되나, 깊이 값을 도출할 때는 IR영상을 추가로 활용하지 않을 수 있다.
이에 따라 도 5a에 도시된 바와 같은 객체에 대해 도 5b에 도시된 바와 같이 오리엔테이션에 따른 오차가 발생할 수 있다. 여기서 오리엔테이션에 따른 오차에 의한 깊이 값의 손실은 예를 들어, 밝은 점으로 표시된 부분(510)이나 형상이 유실된 부분(520)과 같이 나타날 수 있다. 이러한 오리엔테이션에 따른 오차를 극복하는 방법은 하기 도 10 내지 도 13에서 상세히 설명한다.
도 6은 일실시예에 따른 단일시점 깊이 영상 기반 반사 객체 형상 취득 방법을 도시한 도면이다. 여기서 도 6a는 일실시예에 따른 단일시점 깊이 영상 기반 반사 객체 형상 취득 방법을 도시한 흐름도이고, 도 6b는 일실시예에 따른 깊이 값 최적화를 위한 세가지 코스트(Cost) 함수 내에서 사용되는 노테이션(notation)을 도시한 도면이다.
단계(S610)에서는 깊이 영상을 입력 받을 수 있다. 일실시예에 따르면 깊이 영상은 ToF 방식으로 측정한 IR 영상일 수 있다.
그리고 단계(S620)에서는 깊이 영상에서 로컬(Local) 영영 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론할 수 있다. 일실시예에 따르면 연관성은 연속성, 주기성 및 유사성을 포함할 수 있다.
이어서 단계(S630)에서는 손실된 깊이 값을 보정할 수 있다. 일실시예에 따르면 손실된 깊이 갚을 상술한 단계(S620)에서 추론한 깊이 값으로 대체하여 보정할 수 있다.
일실시예에 따르면 입력 깊이 영상 내에서 주변 값과의 연관성, 예를 들어 연속성, 주기성 및 유사성을 유지시키는 주변의 다른 깊이 값을 찾아, 이를 참조하여 손실된 깊이 값을 대체하는 것으로 손실된 깊이 값을 복원할 수 있다.
손실된 깊이 값을 추론하기 위해서, 값의 유사성, 연속성(예를 들어 표면 변화의 유사성), 주기성(예를 들어, 깊이 영상 내에 유사 분포도를 갖는 깊이 값이 존재함을 가정)을 정의하는 코스트 함수(Cost function)를 정의할 수 있다. 코스트 함수의 일례로 아래의 수학식 1이 이용될 수 있다.
Figure pat00001
Figure pat00002
는 깊이의 예측 값이며, 그 외의 다른 상수를 도 6을 참조하여 설명하면 다음과 같다. L이 소실된 깊이 값을 중심으로 하는 로컬(Local) 영역이라고 할 때 로컬 영역을 양자화하여 영역 내의 총 깊이 개수를 N이라 정할 수 있다. 로컬 영역은 일정한 크기의 공간상 박스(Box)일 수 있고, 혹은 그 외 다른 큐(Cue)(일례로, 텍스쳐 위의 색상)에 의해 매 소실된 깊이 값 마다 다르게 설정될 수 있다. Z_와, Z+는 복원하고자 하는 소실된 깊이 값의 주변 깊이 값으로, 소실되지 않은 값을 의미할 수 있다. Zs는 연속된 깊이 값을 갖는 패치(Patch) 혹은 세그먼트(Segment)로서 패치 또는 세그먼트 내의 변화량을 비교하여 가장 적은 값으로 최적화할 수 있다.
상기 수학식 1의 각 항(Term)이 의미하는 바는 다음과 같을 수 있다.
Figure pat00003
는 유사성으로서, 복원하고자 하는 깊이 값이 Local 영역의 평균과 유사한 지 여부를 나타낼 수 있다.
Figure pat00004
는 깊이 값과 그 주변 화소와의 관계가 연속성을 유지하는 지 여부를 나타낼 수 있다. 다른 측면으로, 표면의 굴곡율을 유지시키는 효과를 의미할 수도 있다.
Figure pat00005
는 주기성으로서, 깊이 영상내의 패턴이 유사한 영역이 존재하는 지 여부를 나타낼 수 있는 바, 깊이 영상의 분포도에 의해 복원하고자 하는 깊이 값이 받는 영향을 의미할 수 있다.
상술한 각 항에 대해 α, β, γ로 가중치를 조정하여 전체의 코스트(Cost)를 최소화하는 Z값을 찾을 수 있다. 이는 상기 수학식 1에 의해 최적화될 수 있다. 이에 따라 상술한 과정을 소실된 깊이 데이터 마다 반복적으로 수행하여 그 값을 복원할 수 있다.
도 7은 일실시예에 따른 단일시점 깊이 영상 기반의 형상 복원 결과를 도시한 도면이다.
도 7a는 기존 방식을 이용하여 반사 객체의 형상을 취득한 것으로서, 등반사 재질 객체의 형상 정보를 취득하는 방식으로 국한되어 비등방성 반사 성질을 지니는 불투명 재질의 객체 형상에 대해서는 도시된 바와 같이 일부분(710)의 깊이 값이 유실되어 밝게 측정되는 한계를 보일 수 있다. 이는 CE용 기기로서 반짝임(Specularity)이 존재하는 객체의 형상을 취득하는데 한계로 작용할 수 있다.
도 7b는 일실시예에 따른 단일시점 깊이 영상 기반의 형상 복원 결과를 도시한 도면으로서 도 6에서 상술한 방법을 통해 영상 내 주변 공간 화소를 참조하여 오차값을 복원함으로써 과도하게 밝게 측정됐던 부분이 주변과 연속적인 깊이 값을 가지게 되어 객체의 형상이 보다 완전한 모습(720)으로 취득될 수 있다.
도 8은 일실시예에 따른 다시점 깊이 영상 기반의 형상 복원 방법을 도시한 도면이다.
상술한 한 대의 깊이 카메라를 이용하여 소실된 깊이 값을 구하는, 단일시점 기반 방식의 경우, 깊이 값이 포화에 의해 무의미한 값으로 출력된 경우에 유용한 방식인데 반해, 다시점 깊이 영상 기반의 형상 복원 방식은 포화에 의한 값의 손실 뿐만 아니라 노이즈(Noise)에 의해 감소한 정확도까지 보상해줄 수 있다.
일실시예에 따르면 다시점 깊이 영상 기반 방식의 반사 객체의 형상을 취득하는 방법은, 다시점 깊이 영상의 정합(Calibration), 에러(Error) 영역 검출, 깊이 값 보정의 순서로 수행될 수 있다.
단계(S810)에서는 다시점 깊이 영상을 입력 받을 수 있다. 일실시예에 따르면 다시점 깊이 영상은 M개 시점의 깊이 영상을 입력 받을 수 있다.
이어서 단계(S820)에서는 다시점 깊이 영상의 정합은 일반적인 카메라 교정(Camera calibration) 방식인 격자 패턴으로부터 추출한 특징점 간의 매칭(Matching)으로 수행할 수 있다. 기존 방식으로 오픈시브이(opencv) 혹은 장의 교정 툴박스(Zhang's calibration toolbox)를 적용할 수 있다.
그리고 카메라 정보가 교정(Calibration)에 의해 주어지면 다시점 깊이 영상간 정합이 가능할 수 있고, 영상 정합에 의해 동일 3차원 포인트(3D point)를 측정한 다른 시점에서의 깊이 값을 구할 수 있다. 즉, M개의 시점 영상이 주어질 때, 각 3차원 포인트마다 M개의 측정값이 존재할 수 있다. 대상 객체가 전방향으로 동일하게 IR를 반사시키는 재질인 퓨어 람베르시안(Pure Lambertian)의 경우, M개의 측정값은 동일한 3차원 포인트 값을 기록할 수 있다. 반사 재질의 경우, 반사 특성상 특정 방향으로 빛이 수렴하여 감지되므로 M개의 값 중, 의미 있는 깊이를 기록한 값과 포화 혹은 노이즈를 측정한 값이 모두 포함될 수 있다. 따라서, M개의 샘플을 분석하여 의미 있는, 정확한 깊이 값을 추론하는 과정이 필요할 수 있다.
이어서 단계(S830)에서는 다시점 깊이 영상으로부터 에러 영역을 검출할 수 있다. 이를 위해, M개의 깊이 값과 해당 3차원 포인트 주변의 이웃 3차원 포인트에서 관측된 M개의 깊이 값을 모두 포함한 분포도를 구할 수 있다. 깊이의 분포도는 특정 값을 중심으로 피크(Peak)를 이룰 수 있는 바, 이는 기존 K-평균 클러스터링(K-mean Clustering) 알고리즘, 혹은 가우스 혼합 모형 피팅(Gaussian mixture model fitting) 등을 통해 구할 수 있다. 이 분포도에서 다중 피크(Multiple peak)이 존재하는 3차원 포인트는 에러를 포함한 측정값으로 볼 수 있다.
그리고 단계(S840)에서는 에러 영역의 손실된 깊이 값을 보정할 수 있다. 일실시예에 따르면, 다수의 클러스터(Cluster) 혹은 가우스 피팅(Gaussian fitting)을 통해 가장 주요한 클러스터를 확정할 수 있다. 구체적으로는 클러스터 내부에 속한 샘플의 수가 많고, 클러스터 샘플의 바리에이션(Variation)이 적은 클러스터를 주요 클러스터(Main Cluster)로 결정할 수 있다. 그 후, 확정된 클러스터 내의 샘플 값을 평균 또는 비선형 웨이트 섬(weighted sum)을 사용하여 깊이 값을 결정할 수 있다.
상술한 알고리즘은, 계산상 유리함을 위해, 주변 포인트를 고려하지 않고 오직 해당 3차원 포인트를 관측하는 M개 시점의 깊이 값으로만 클러스터를 구성할 수 있고, 클러스터 구성시 웨이트 섬(Weight sum) 혹은 평균값 대신, 중앙값(Median)을 사용하거나, 클러스터 내의 임의의 값을 사용할 수 있다.
도 9은 일실시예에 따른 반사 모델을 적용한 다시점 깊이 영상 기반의 형상 복원 방법을 도시한 도면이다. 여기서 ToF 방식으로 제공된 IR 영상에 빛의 반사 모델을 적용하여 깊이 값의 함수로 다음과 같이 수학식 2 내지 수학식 4로서 표현할 수 있다.
Figure pat00006
Figure pat00007
Figure pat00008
상술한 수학식 2 내지 수학식 4에서
Figure pat00009
는 IR영상의 세기(intensity)일 수 있다.
Figure pat00010
는 시점 독립적 화소이고,
Figure pat00011
는 시점 의존적 화소일 수 있다.
Figure pat00012
는 깊이 값,
Figure pat00013
는 값이 클수록 매끈한 표면을 나타내고 값이 작을 수록 거친 표면을 나타내는 재질의 거칠기(roughness),
Figure pat00014
는 시점 의존적 재질 상수로서 일실시예에 따르면 반사(specular) 재질 상수,
Figure pat00015
는 시점 독립적 재질 상수로서 일실시예에 따르면 디퓨즈(diffuse) 재질 상수를 나타낼 수 있다. 여기서
Figure pat00016
는 상기 수학식 1에 사용된 기호 α와 다른 의미로 사용된 것일 수 있다.
np과 rp은 미지수인 p의 함수로서 각각 오리엔테이션(orientation)과 반사 시점의 형상을 나타내는 노멀 벡터(normal vector) 및 반사광 벡터(reflected vector)를 나타낼 수 있다. 여기서 p는 도 9에 도시된 바와 같을 수 있다. 일실시예에 따르면 ToF 방식 카메라의 경우, 상술한 수학식 3 내지 수학식 4에서 l은 조명 벡터로서 빛의 방향이고, v는 시점 벡터로서 시점의 방향을 나타낼 수 있다. 이 때 조사되는 IR이 주어지면 l, v는 값이 이미 결정될 수 있고, 이 값은 방향 벡터로서 단위는 없을 수 있다.
여기서 IR 영상에 빛의 반사 모델을 적용하는 방법은 다음과 같을 수 있다.
우선 다시점 IR 영상들로부터 시점 의존적 화소를 시점 독립적 화소와 분리하여 해당 IR영상들을 시점 의존적 화소와 시점 독립적 화소의 합으로 표현할 수 있다.
그리고 반사 모델을 적용하기 위해 다시점 IR 영상을 이용하여 깊이 값, 오리엔테이션, 밝기 및 재질 상수를 추출할 수 있다.
이하 상술한 단계의 구체적인 수행 방법은 하기 도 10 내지 도 11에서 상세히 설명한다.
도 10는 일실시예에 따른 다시점 깊이 영상으로부터 시점 의존적 화소의 분리를 도시한 도면이다. 일실시예에 따르면 IR LED(1020)에서 방출된 광선이 반사 객체(1010)에 반사된 영상에 대해 시점 독립적 성분(
Figure pat00017
)(1051)을 측정한 카메라(1031) 및 시점 의존적 성분(
Figure pat00018
)(1052)을 측정한 카메라(1032)가 있을 수 있다. 여기서 각 카메라는 시점 독립적 성분으로부터 시점 독립적 화소를, 시점 의존적 성분으로부터 시점 의존적 화소를 추출할 수 있다. 상술한 카메라들(1030)의 시점 의존적 화소와 시점 독립적 화소를 합하여 일반적 반사 현상에 의해 수광된 IR 영상을 표현할 수 있다. 여기서 시점 독립적 성분을 측정한 카메라(1031)는
Figure pat00019
+
Figure pat00020
=
Figure pat00021
+0가 되므로
Figure pat00022
에 의해서만 영향을 받을 수 있고, 시점 의존적 성분을 측정한 카메라(1032)는
Figure pat00023
및
Figure pat00024
성분 모두에 의해 영향을 받을 수 있다.
도 11은 일실시예에 따른 다시점 깊이 영상의 시점 의존적 화소와 시점 독립적 화소에 다른 반사 모델을 적용하는 것을 도시한 도면이다. 일실시예에 따르면 시점 의존적 화소에 대해서는 Phong/TS 모델을, 시점 독립적 화소에 대해서는 람베르시안 모델을 적용할 수 있다. 구체적으로는 다음과 같은 단계를 수행할 수 있다.
우선, M개의 깊이 및 IR 세기(Intensity)를 촬영할 수 있다. 이 때, 각 표면점 p마다 M개 시점의 깊이 및 IR 세기 값이 존재할 수 있다. 여기서 p는 반사 객체(1110)의 표면에 존재하는 지점일 수 있고, M개 시점의 깊이 및 IR 세기는 M개의 센서(1131, 1132, 1133)에 의해 측정될 수 있다. 아래의 수학식 5는 측정치와 예측치를 비교하여 최적화하는 모델상수를 구하기 위한 것일 수 있다. 수학식 5의
Figure pat00025
는 측정치와 예측치를 비교하는 것을 나타내며, 다음 단계에서는, p의 초기값으로 촬영된 깊이 값을 활용하여 순차적으로 상술한 수학식 5를 최적화하여 깊이 값, 오리엔테이션, 밝기, 재질 상수(constraint)를 추출할 수 있다.
Figure pat00026
여기서 Q(1134)는 p가 위치할 수 있는 광선(ray)이고, 나머지
Figure pat00027
,
Figure pat00028
,
Figure pat00029
,
Figure pat00030
, I, np, rp, l 및 v는 상술한 수학식 2 내지 수학식 4에서와 동일한 의미로 사용될 수 있다.
도 12는 일실시예에 따른 반사 모델로부터 추출한 상수에 의해 노이즈가 감소한 오리엔테이션 맵을 도시한 도면이다. 일실시예에 따르면 IR 영상이 빛의 반사 모델에 따르는 현상을 상수로 수식에 적용함으로써 오리엔테이션 맵의 성능을 향상시킬 수 있다.
도 12a는 원본 깊이에 의한 오리엔테이션 맵으로서 측정 오차 및 노이즈로 인해 표면이 반짝이는 것처럼 측정되는 스파클(sparkle) 노이즈가 관측될 수 있다. 반면에 도 12b는 IR영상과 빛의 반사 모델을 적용하여 구한 오리엔테이션 맵으로서 노이즈에 강건한 오리엔테이션 맵이 확보되었음을 확인할 수 있다.
도 13은 일실시예에 따른 반사 모델을 적용하여 오리엔테이션 및 재질에 의한 오차가 감소한 깊이 맵을 도시한 도면이다. 일실시예에 따르면 IR 영상이 빛의 반사 모델에 따르는 현상을 상수로 수식에 적용함으로써 오리엔테이션 맵의 성능을 향상시킬 수 있다.
도 13a는 원본 깊이 맵으로서 오프-페이스 오리엔테이션(off-face orientation)을 가지는 물체 및 고반사 재질의 물체 에 대한 깊이 맵이 도시될 수 있다. 일실시예에 따르면 물체의 표면 오리엔테이션(surface orientation)이 카메라 시점 벡터와 이루는 각이 일직선 상의 수평에서 벗어날 수록 오프-페이스 오리엔테이션으로 볼 수 있다. 여기서 오프-페이스 오리엔테이션(1310) 영역에서 유실된 깊이 값에 의해 검게 측정되는 노이즈 및 고반사 재질에 의해 깊이 값이 유실되어 검게 측정되는 노이즈(1320)가 관측되는 바, 오리엔테이션 및 재질에 의한 깊이 오차가 발생할 수 있다. 반면에 도 13b는 IR영상과 빛의 반사 모델을 적용한 것으로서 오프-페이스 오리엔테이션 및 고반사 재질에도 강건한 깊이 맵이 취득된 것을 확인할 수 있다.
도 14는 일실시예에 따른 단일시점 깊이 영상 기반 반사 객체 형상 취득 장치(1400)의 세부적인 구성을 도시한 블럭도이다. 일실시예에 따르면 단일시점 깊이 영상 기반 반사 객체 형상 취득 장치(1400)는 단일시점 깊이 영상 입력부(1410), 단일시점 깊이 값 추론부(1420) 및 단일시점 깊이 값 보정부(1430)를 포함할 수 있다.
단일시점 깊이 영상 입력부(1410)는 깊이 영상을 입력 받을 수 있다. 일실시예에 따르면 단일시점 깊이 영상 입력부는 깊이 카메라 내지 깊이 센서를 포함할 수 있다. 여기서 깊이 영상은 IR영상을 포함할 수 있다.
단일시점 깊이 값 추론부(1420)는 깊이 영상에서 로컬 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론할 수 있다. 일실시예에 따르면 연관성은 깊이 값에 대한 유사성, 연속성 및 주기성의 세가지 코스트 함수를 최적화함으로써 유지될 수 있다. 구체적으로는 단일시점 깊이 값 추론부는 상술한 수학식 1에서 가중치 α, β, γ를 조정하여 전체의 코스트를 최소화하여 손실된 깊이 값을 결정하는 단일시점 깊이 값 결정부를 포함할 수 있고, 상술한 과정은 소실된 깊이 데이터마다 프로세서(processor)에 의해 반복적으로 수행될 수 있다.
단일시점 깊이 값 보정부(1430)는 손실된 깊이 값을 보정할 수 있다. 일실시예에 따르면 손실된 깊이 값이 상술한 단일시점 깊이 값 추론부가 추론한 깊이 값으로 프로세서에 의해 대체됨으로써 단시점 깊이 영상에서 반사 재질의 형상 정보를 추출할 수 있다.
도 15은 일실시예에 따른 다시점 깊이 영상 기반 반사 객체 형상 취득 장치(1500)의 세부적인 구성을 도시한 블럭도이다. 다시점 깊이 영상 기반 반사 객체 형상 취득 장치(1500)는 다시점 깊이 영상 입력부(1510), 다시점 깊이 영상 정합부(1520), 다시점 깊이 영상 에러 검출부(1530) 및 다시점 깊이 영상 보정부(1540)를 포함할 수 있다.
다시점 깊이 영상 입력부(1510)는 M개 시점의 다시점 깊이 영상을 입력 받을 수 있다. 일실시예에 따르면 깊이 영상은 ToF 방식에 따른 IR영상일 수 있으나 반드시 이에 한정하는 것은 아니다. 여기서 다시점 깊이 영상 입력부는 예를 들어, 깊이 카메라 내지 깊이 센서를 포함할 수 있다
다시점 깊이 영상 정합부(1520)는 M개 시점의 다시점 깊이 영상을 카메라 교정할 수 있다. 여기서 카메라 교정은 카메라의 위치나 앵글, 이동 등의 작업에 의해 피사체를 효과적으로 포착하기 위하여 보정하는 작업으로서 일실시예에 따르면 오픈시브이 또는 장의 교정 툴박스를 프로세서를 통해 적용할 수 있다. 구체적으로 오픈시브이 방식은 체스보드 형태의 타겟을 여러 장 촬영 후, 각각의 이미지에서 추출한 체스보드 코너 정보를 이용해 정합(calibration)을 수행할 수 있다.
다시점 깊이 영상 에러 검출부(1530)는 다시점 깊이 영상으로부터 에러 영역을 검출할 수 있다. 일실시예에 따르면 프로세서에 의해 K-평균 클러스터링 알고리즘 혹은 가우스 혼합 모델 피팅으로부터 분포도가 산출되고, 해당 분포도에서 다중 피크가 존재하는 3차원 포인트가 에러 영역으로 검출될 수 있다.
여기서 다시점 깊이 영상 에러 검출부는 다시점 깊이 영상으로부터 3차원 포인트 및 주변의 이웃 3차원 포인트에서 관측된 M개의 깊이 값에 대한 분포도를 산출하는 다시점 깊이 영상 분포도 산출부를 포함할 수 있다.
다시점 깊이 영상 보정부(1540)는 일실시예에 따르면 분포도로부터 주요 클러스터를 결정하는 주요 클러스터 결정부 및 주요 클러스터 내의 임의의 값, 평균값, 웨이트 섬 또는 중앙값을 사용하여 3차원 포인트의 손실된 깊이 값을 결정하는 다시점 깊이 값 결정부를 포함할 수 있으며, 프로세서를 통해 결정된 값으로 깊이 값을 대체하여 다시점 깊이 영상을 보정할 수 있다. 이에 따라 다시점 깊이 영상에서 반사 재질의 형상 정보를 추출할 수 있다.
다른 일실시예에 따르면 다시점 깊이 영상 보정부는 다시점 깊이 영상으로부터 시점 독립적 화소와 시점 의존적 화소를 분리하는 화소 분리부 및 상술한 시점 독립적 화소 및 시점 의존적 화소에 각각 다른 반사 모델을 적용하는 과정이 프로세서를 통해 수행되는 반사 모델 적용부를 포함할 수 있다.
이러한 반사 모델의 적용에 의해 종래에는 취득할 수 없었던 오리엔테이션 및 재질 성분까지 취득할 수 있게 되어 컬러 영상과 함께 사용시 조명 추출 기술로도 활용할 수 있다. 이는 깊이 센서의 측정값에 존재하는 정확도의 한계를 반사 모델의 적용을 통해 보정하는 것으로서 반사 객체의 형상 정보를 보다 정밀하게 취득할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1500: 다시점 깊이 영상 기반 반사 객체 형상 취득 장치
1510: 다시점 깊이 영상 입력부
1520: 다시점 깊이 영상 정합부
1530: 다시점 깊이 영상 에러 검출부
1540: 다시점 깊이 영상 보정부

Claims (20)

  1. 반사(specular) 객체의 형상을 취득하는 방법에 있어서,
    깊이 영상을 입력 받는 단계;
    상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계; 및
    상기 손실된 깊이 값을 보정하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  2. 제1항에 있어서,
    상기 로컬 영역은,
    깊이 값이 손실된 지점을 중심으로 하는 영역으로 정의되는,
    반사 객체의 형상을 취득하는 방법.
  3. 제1항에 있어서,
    상기 깊이 영상은,
    포화(saturation)형태의 값이 출력되는 현상이 발생한 깊이 영상,
    인 반사 객체의 형상을 취득하는 방법.
  4. 제1항에 있어서,
    상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는,
    상기 손실된 깊이 값이 상기 로컬 영역의 평균에 대해 유사성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  5. 제1항에 있어서,
    상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는,
    상기 손실된 깊이 값이 주변 화소와의 관계에서 연속성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  6. 제1항에 있어서,
    상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는,
    상기 손실된 깊이 값이 상기 깊이 영상 내의 패턴에 대해 주기성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  7. 제1항에 있어서,
    상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단계는,
    상기 손실된 깊이 값이 로컬 영역의 평균에 대해 유사성, 주변 화소와의 관계에서 연속성 및 상기 깊이 영상 내의 패턴에 대해 주기성을 유지하도록 상기 손실된 깊이 값을 추론하는 단계; 및
    상기 유사성, 상기 연속성 및 상기 주기성에 대해 각각 가중치를 부여하고 전체 코스트(cost)가 가장 적은 값으로 상기 손실된 깊이 값을 결정하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  8. 반사(specular) 객체의 형상을 취득하는 방법에 있어서,
    다시점 깊이 영상을 입력 받는 단계;
    상기 다시점 깊이 영상을 정합(calibration)하는 단계;
    상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 단계; 및
    상기 에러 영역의 손실된 깊이 값을 보정하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  9. 제8항에 있어서,
    상기 에러 영역의 손실된 깊이 값을 보정하는 단계는,
    상기 다시점 깊이 영상으로부터 시점 독립적 화소와 시점 의존적 화소를 분리하여 상기 다시점 깊이 영상을 상기 시점 독립적 화소와 상기 시점 의존적 화소의 합으로 나타내는 단계; 및
    상기 시점 독립적 화소와 상기 시점 의존적 화소에 각각 다른 반사 모델을 적용하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  10. 제8항에 있어서,
    상기 다시점 깊이 영상을 정합(calibration)하는 단계는,
    격자 패턴으로부터 추출한 특징점 간의 매칭(matching)을 수행하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  11. 제8항에 있어서,
    상기 다시점 깊이 영상은,
    M개의 시점 영상이고(M은 2이상의 자연수),
    상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 단계는,
    상기 다시점 깊이 영상으로부터 3차원 포인트(3D point)의 M개의 깊이 값에 대한 분포도를 산출하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  12. 제11항에 있어서,
    상기 다시점 깊이 영상으로부터 3차원 포인트(3D point)의 M개의 깊이 값에 대한 분포도를 산출하는 단계는,
    상기 3차원 포인트 주변의 이웃 3차원 포인트에서 관측된 M개의 깊이 값에 대한 분포도를 산출하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  13. 제11항에 있어서,
    상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 단계는,
    상기 분포도에서 다중 피크(multiple peak)가 존재하는 3차원 포인트를 에러 영역으로 검출하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  14. 제11항에 있어서,
    상기 분포도는,
    K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅을 통해 산출되고,
    상기 에러 영역의 손실된 깊이 값을 보정하는 단계는,
    상기 K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅에 따른 다수의 클러스터로부터 주요 클러스터를 결정하는 단계;
    상기 주요 클러스터 내의 샘플의 임의의 값, 평균값, 웨이트 섬(weight sum) 또는 중앙값(median)을 사용하여 상기 3차원 포인트의 깊이 값을 결정하는 단계; 및
    상기 결정된 깊이 값으로 상기 손실된 깊이 값을 대체하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  15. 제14항에 있어서,
    상기 K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅에 따른 다수의 클러스터로부터 주요 클러스터를 결정하는 단계는,
    다수의 클러스터 중 내부에 속한 샘플의 수가 많고 바리에이션(variation)이 적은 클러스터를 주요 클러스터로 결정하는 단계
    를 포함하는 반사 객체의 형상을 취득하는 방법.
  16. 깊이 영상을 입력 받는 단일시점 깊이 영상 입력부;
    상기 깊이 영상에서 로컬(local) 영역 내의 주변 값과의 연관성에 기초하여 손실된 깊이 값을 추론하는 단일시점 깊이 값 추론부; 및
    상기 손실된 깊이 값을 보정하는 단일시점 깊이 값 보정부
    를 포함하는 반사 객체의 형상을 취득하는 장치.
  17. 제16항에 있어서,
    상기 단일시점 깊이 값 추론부는,
    상기 손실된 깊이 값이 로컬 영역의 평균에 대해 유사성, 주변 화소와의 관계에서 연속성 및 상기 깊이 영상 내의 패턴에 대해 주기성을 유지하도록 상기 손실된 깊이 값을 추론하고,
    상기 유사성, 상기 연속성 및 상기 주기성에 대해 각각 가중치를 부여하고 전체 코스트(cost)가 가장 적은 값으로 상기 손실된 깊이 값을 결정하는 단일시점 깊이 값 결정부
    를 더 포함하는 반사 객체의 형상을 취득하는 장치.
  18. 다시점 깊이 영상을 입력 받는 다시점 깊이 영상 입력부;
    상기 다시점 깊이 영상을 정합(calibration)하는 다시점 깊이 영상 정합부;
    상기 정합된 다시점 깊이 영상으로부터 에러 영역을 검출하는 다시점 깊이 영상 에러 검출부; 및
    상기 에러 영역의 손실된 깊이 값을 보정하는 다시점 깊이 영상 보정부
    를 포함하는 반사 객체의 형상을 취득하는 장치.
  19. 제18항에 있어서,
    상기 다시점 깊이 영상은,
    M개의 시점 영상이고(M은 2이상의 자연수),
    상기 다시점 깊이 영상 에러 검출부는,
    상기 다시점 깊이 영상으로부터 3차원 포인트(3D point)의 M개의 깊이 값 및 상기 3차원 포인트 주변의 이웃 3차원 포인트에서 관측된 M개의 깊이 값에 대한 분포도를 산출하는 다시점 깊이 영상 분포도 산출부
    를 포함하는 반사 객체의 형상을 취득하는 장치.
  20. 제19항에 있어서,
    상기 다시점 깊이 영상 분포도 산출부는,
    K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅을 통해 상기 분포도를 산출하고,
    상기 다시점 깊이 영상 보정부는,
    상기 K-평균 클러스터링 알고리즘 또는 가우스 혼합 모형 피팅에 따른 다수의 클러스터 중 내부에 속한 샘플의 수가 많고 바리에이션(variation)이 적은 클러스터를 주요 클러스터로 결정하는 주요 클러스터 결정부;
    상기 주요 클러스터 내의 샘플의 임의의 값, 평균, 웨이트 섬(weight sum) 또는 중앙값(median)을 사용하여 상기 3차원 포인트의 깊이 값을 결정하는 다시점 깊이 값 결정부; 및
    상기 결정된 깊이 값으로 상기 손실된 깊이 값을 대체하는 다시점 깊이 값 대체부
    를 포함하는 반사 객체의 형상을 취득하는 장치.
KR1020120122345A 2012-05-10 2012-10-31 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 KR101913321B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310148336.8A CN103390289B (zh) 2012-05-10 2013-04-25 基于深度传感器获得镜面对象的几何形状的方法和设备
JP2015511361A JP6250035B2 (ja) 2012-10-31 2013-05-08 奥行きセンサベース反射物体の形状取得方法及び装置
PCT/KR2013/004008 WO2013168996A1 (en) 2012-05-10 2013-05-08 Method and apparatus for acquiring geometry of specular object based on depth sensor
EP13787830.2A EP2848003B1 (en) 2012-05-10 2013-05-08 Method and apparatus for acquiring geometry of specular object based on depth sensor
US13/891,457 US9245344B2 (en) 2012-05-10 2013-05-10 Method and apparatus for acquiring geometry of specular object based on depth sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261645228P 2012-05-10 2012-05-10
US61/645,228 2012-05-10

Publications (2)

Publication Number Publication Date
KR20130126439A true KR20130126439A (ko) 2013-11-20
KR101913321B1 KR101913321B1 (ko) 2018-10-30

Family

ID=49854540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120122345A KR101913321B1 (ko) 2012-05-10 2012-10-31 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치

Country Status (5)

Country Link
US (1) US9245344B2 (ko)
EP (1) EP2848003B1 (ko)
KR (1) KR101913321B1 (ko)
CN (1) CN103390289B (ko)
WO (1) WO2013168996A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180125683A (ko) * 2017-05-16 2018-11-26 연세대학교 산학협력단 프로젝터에 부착되는 자동 초점 조절 장치

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428866B1 (ko) * 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
US10848642B2 (en) * 2013-04-18 2020-11-24 Infineon Technologies Ag Apparatus for generating trusted image data, an apparatus for authentication of an image and a method for generating trusted image data
US20150302648A1 (en) * 2014-02-18 2015-10-22 Sulon Technologies Inc. Systems and methods for mapping an environment using structured light
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
US9582888B2 (en) 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
US10169909B2 (en) * 2014-08-07 2019-01-01 Pixar Generating a volumetric projection for an object
US9664507B2 (en) * 2014-09-17 2017-05-30 Canon Kabushiki Kaisha Depth value measurement using illumination by pixels
WO2016053271A1 (en) 2014-09-30 2016-04-07 Hewlett-Packard Development Company L. P. Identification of an object on a touch-sensitive surface
WO2016077057A2 (en) * 2014-10-24 2016-05-19 Bounce Imaging, Inc. Imaging systems and methods
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
US9948920B2 (en) * 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) * 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9613406B2 (en) 2015-03-31 2017-04-04 Nokia Technologies Oy Method and apparatus for providing specular surface reconstruction
GB2537831A (en) * 2015-04-24 2016-11-02 Univ Oxford Innovation Ltd Method of generating a 3D representation of an environment and related apparatus
US10698072B2 (en) 2015-05-15 2020-06-30 Hewlett Packard Enterprise Development Lp Correcting time-of-flight measurements
US10055881B2 (en) 2015-07-14 2018-08-21 Microsoft Technology Licensing, Llc Video imaging to assess specularity
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US9958259B2 (en) * 2016-01-12 2018-05-01 Canon Kabushiki Kaisha Depth value measurement
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
CN106709904A (zh) * 2016-11-21 2017-05-24 天津大学 一种基于主动视觉的高值目标细微变化检测方法
WO2018104464A1 (en) 2016-12-07 2018-06-14 Sony Semiconductor Solutions Corporation Apparatus and method
DE102018208202B3 (de) * 2018-05-24 2019-07-18 Siemens Healthcare Gmbh Schwächungskarte für eine kombinierte Magnetresonanz-Positronenemissions-Tomographie
JP2020046326A (ja) * 2018-09-20 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 三次元形状計測装置、三次元形状計測方法
CN109507685B (zh) * 2018-10-15 2023-06-27 天津大学 phong式光照模型的TOF传感器模型的测距方法
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
JP7334458B2 (ja) * 2019-04-24 2023-08-29 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
US11074708B1 (en) 2020-01-06 2021-07-27 Hand Held Products, Inc. Dark parcel dimensioning
CN111260544B (zh) * 2020-01-20 2023-11-03 浙江商汤科技开发有限公司 数据处理方法及装置、电子设备和计算机存储介质
DE102020104536A1 (de) 2020-02-20 2021-08-26 Carl Zeiss Vision International Gmbh Verfahren und Vorrichtungen zur dreidimensionalen Augenrekonstruktion
CN113269689B (zh) * 2021-05-25 2023-08-29 西安交通大学 一种基于法向量和高斯权重约束的深度图像补全方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606403B2 (en) * 2002-10-17 2009-10-20 Intel Corporation Model-based fusion of scanning probe microscopic images for detection and identification of molecular structures
US7916932B2 (en) * 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
US7450220B2 (en) * 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
JP4321540B2 (ja) * 2006-03-30 2009-08-26 株式会社豊田中央研究所 物体検出装置
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8326025B2 (en) 2006-09-04 2012-12-04 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
KR100914033B1 (ko) 2007-02-28 2009-08-28 성균관대학교산학협력단 기하학 조건을 이용한 구조 광 기반의 거리 영상 측정 방법및 시스템
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
KR101626072B1 (ko) * 2009-11-13 2016-06-13 삼성전자주식회사 영상 보정 장치 및 영상 보정 방법
KR101291071B1 (ko) 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
JP5150698B2 (ja) 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180125683A (ko) * 2017-05-16 2018-11-26 연세대학교 산학협력단 프로젝터에 부착되는 자동 초점 조절 장치

Also Published As

Publication number Publication date
CN103390289B (zh) 2017-12-15
EP2848003A1 (en) 2015-03-18
KR101913321B1 (ko) 2018-10-30
US9245344B2 (en) 2016-01-26
EP2848003A4 (en) 2016-01-13
CN103390289A (zh) 2013-11-13
US20130301908A1 (en) 2013-11-14
WO2013168996A1 (en) 2013-11-14
EP2848003B1 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
KR101913321B1 (ko) 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
JP6244407B2 (ja) 深度測定の品質の向上
CN109477710B (zh) 基于点的结构化光系统的反射率图估计
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP6456156B2 (ja) 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US9679384B2 (en) Method of detecting and describing features from an intensity image
WO2016181687A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
JP5795384B2 (ja) 映像処理装置、照明処理装置及びその方法
KR101666854B1 (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
US10607350B2 (en) Method of detecting and describing features from an intensity image
US11803982B2 (en) Image processing device and three-dimensional measuring system
JPWO2019021569A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6250035B2 (ja) 奥行きセンサベース反射物体の形状取得方法及び装置
Bylow et al. Robust camera tracking by combining color and depth measurements
Kwon et al. Automatic sphere detection for extrinsic calibration of multiple RGBD cameras
Weinmann et al. Semi-automatic image-based co-registration of range imaging data with different characteristics
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
WO2022096127A1 (en) A device and method for image processing
Torres-Mendez et al. Statistical inference and synthesis in the image domain for mobile robot environment modeling
Kennedy Stereo vision for real-time obstacle detection
Mufti et al. Specularity detection using time-of-flight cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant