KR101681095B1 - 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치 - Google Patents

컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101681095B1
KR101681095B1 KR1020100081898A KR20100081898A KR101681095B1 KR 101681095 B1 KR101681095 B1 KR 101681095B1 KR 1020100081898 A KR1020100081898 A KR 1020100081898A KR 20100081898 A KR20100081898 A KR 20100081898A KR 101681095 B1 KR101681095 B1 KR 101681095B1
Authority
KR
South Korea
Prior art keywords
image
depth
disparity
depth image
color image
Prior art date
Application number
KR1020100081898A
Other languages
English (en)
Other versions
KR20120018915A (ko
Inventor
최욱
김용선
임화섭
이기창
이승규
강병민
김도균
김창용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100081898A priority Critical patent/KR101681095B1/ko
Publication of KR20120018915A publication Critical patent/KR20120018915A/ko
Application granted granted Critical
Publication of KR101681095B1 publication Critical patent/KR101681095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Abstract

컬러 영상과 시점 및 해상도가 동일한 깊이 영상을 생성하는 장치 및 방법을 제공한다. 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환하는 시점 변환부, 상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 업샘플링부, 상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 경계 영역 보상부 및 상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 최종 깊이 값 결정부를 포함한다.

Description

컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치{APPARATUS AND METHOD FOR GENERATING DEPTH IMAGE THAT HAVE SAME VIEWPOINT AND SAME RESOLUTION WITH COLOR IMAGE}
기술분야는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상을 생성하는 장치 및 방법에 관한 것이다.
깊이 카메라는 3차원 정보 이외에도 신(scene)에서 빛이 반사되어 들어온 광도(intensity) 정보를 함께 제공한다. 이때, 광도 정보는 적외선(Infrared, IR) 대역에 관한 것이어서, 다양한 대역의 컬러 정보를 포함하지 않는다. 따라서, 깊이 카메라에서 획득된 깊이 영상으로부터 스테레오 영상 또는 가상시점 영상을 생성하기 위해서는 적어도 한 장의 컬러 영상이 필요하다.
스테레오 영상 및 가상시점 영상을 생성하는 과정에서 중요한 것은 기준시점에서 획득된 깊이 영상과 컬러 영상간의 시점 변화를 최소화 하는 것이다. 시점 변화가 작은 경우에 기준시점에서 획득된 컬러 영상 및 깊이 영상에 공통된 부분이 존재하기 때문이다.
일 측면에 있어서, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환하는 시점 변환부, 상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 업샘플링부, 상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 경계 영역 보상부 및 상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 최종 깊이 값 결정부를 포함한다.
상기 시점 변환부는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다.
상기 업샘플링부는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 에지 생성부를 포함할 수 있다.
상기 업샘플링부는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 좌표 계산부, 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 정렬부 및 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 처리부를 포함할 수 있다.
상기 경계 영역 보상부는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 디스패리티 변환부 및 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 디스패리티 최적화부를 포함할 수 있다.
상기 디스패리티 최적화부는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 데이터 패널티부 및 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 유사 가중치 적용부를 포함할 수 있다.
상기 디스패리티 최적화부는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다.
상기 최종 깊이 값 결정부는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 역변환부 및 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 선택적 가중치 적용부를 포함할 수 있다.
일 측면에 있어서, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법은 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점을 변환하는 단계, 상기 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 단계, 상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 단계 및 상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정하는 단계를 포함한다.
상기 시점을 변환하는 단계는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득하는 단계를 포함할 수 있다.
상기 업샘플링 하는 단계는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 단계를 포함할 수 있다.
상기 업샘플링 하는 단계는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 단계, 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 단계 및 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 단계를 포함할 수 있다.
상기 경계 영역을 보상하는 단계는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 단계 및 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 단계를 포함할 수 있다.
상기 디스패리티를 최적화하는 단계는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 단계 및 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용하는 단계를 포함할 수 있다.
상기 최종 깊이 값을 결정하는 단계는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 단계 및 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용하는 단계를 포함할 수 있다.
시점이 유사하지만 차이가 있는, 깊이 영상 촬영장치와 컬러 영상 촬영장치에서 획득된 깊이 영상에 기초하여 동시에 획득된 컬러 영상과 해상도 및 시점이 동일한 깊이 영상을 생성할 수 있다.
또한, 깊이 영상 촬영장치에서 관찰된 3차원 점들을 에지로 연결하여 메쉬화하고, 메쉬화된 깊이 영상을 컬러 영상의 좌표계로 변환하고, 역투영 함으로써, 깊이 영상을 컬러 영상 촬영장치의 좌표계로 변환하는 과정에서 발생하는 가리움 현상을 보상할 수 있다.
또한, 업샘플링된 깊이 영상을 디스패리티(disparity) 영상으로 변환 및 최적화함으로써, 깊이 영상에 촬영된 물체의 경계부분의 오차를 개선할 수 있다.
또한, 업샘플링된 깊이 영상, 디스패리티 영상, 윈도우 내의 주변 픽셀간의 컬러 값, 주변 픽셀간의 위치 차이에 기초하여 깊이 값을 결정함으로써, 깊이 영상에서 물체의 경계를 정확히 구별하고, 컬러 값이 유사한 영역을 좀 더 정확하게 구별하게 할 수 있다.
또한, 컬러 영상과 시점이 동일한 깊이 영상을 이용하여 물체의 경계에서 오차가 적은 스테레오 영상 또는 가상시점 영상을 생성할 수 있다.
또한, 3D 게임 또는 증강 현실에 적용할 수 있는 컬러 값과 깊이 값이 동시에 구비된 3차원 모델을 생성할 수 있다.
도 1은 시점 변화를 최소화하는 컬러 영상 촬영장치 및 깊이 영상 촬영장치의 위치 및 획득 영상을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 시점 변환부의 구체적 일 예를 나타낸 도면이다.
도 4a 내지 도 4d는 본 발명의 일실시예에 따른 업샘플링부의 구체적 일 예를 나타낸 도면이다.
도 5a 내지 도 5c는 본 발명의 일실시예에 따른 경계 영역 보상부의 구체적 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 최종 깊이 값 결정부의 구체적 일 예를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 컬러 영상과 해상도가 동일한 깊이 영상에 기초한 스테레오 영상을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법의 흐름도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 시점 변화를 최소화하는 컬러 영상 촬영장치 및 깊이 영상 촬영장치의 위치 및 획득 영상을 나타낸 도면이다.
영상 촬영장치는 카메라를 포함한다. 깊이 카메라는 빛을 방출하여 수신되는 광선의 세기에 따라 광도 영상(Amplitude Image) 및 깊이 영상(Depth Image)을 측정할 수 있다. 광도 영상은 물체로부터 반사 및 굴절된 광선에 세기를 통하여 측정되므로 물체의 식별을 가능하게 하고, 깊이 영상은 물체가 깊이 카메라로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다.
도 1을 참조하면, (A)는 컬러 카메라(110) 및 깊이 카메라(120)의 위치, (B)는 512 x384 크기의 컬러 영상, (C)는 176x144 크기의 깊이 영상을 나타낸다. (A)는 가상시점 영상 생성시, 깊이 영상과 컬러 영상 간의 시점 변화를 최소화 하기 위해 물리적으로 가장 근거리에 위치시킨 구조이다. (B)와 (C)를 비교해 보면, 컬러 영상과 깊이 영상의 시점 및 해상도가 서로 다를 뿐만 아니라 깊이 영상의 화각(field of view)은 컬러 영상의 화각보다 더 넓다. 또한, 컬러 카메라와 깊이 카메라 간의 약간의 시점 차이로 인하여, 컬러 영상에서는 관찰되지만, 깊이 영상에서는 관찰되지 않는 부분이 존재하고, 깊이 영상에서는 관찰되지만 컬러 영상에서는 관찰되지 않는 부분이 존재한다.
도 2는 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 시점 변환부(210), 업샘플링부(220), 경계영역 보상부(230) 및 최종 깊이 값 결정부(240)를 포함한다.
시점 변환부(210)는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환한다. 시점 변환부(210)는 깊이 카메라의 시점에서 표현된 3차원 점 X'을 컬러 카메라의 시점에서 표현된 동일한 점 X로 회전(Rotation) 파라미터 R과 이동(Translation) 파라미터 T를 이용한다. 또한, 시점 변환부(210)는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다. 시점 변환부(210)는 컬러 카메라의 시점에서 표현된 3차원 점 X가 컬러 영상의 픽셀 위치 x에 투영되기 위한 변환 F(X)를 이용한다. 컬러 카메라에 방사 왜곡(radial distortion)이 없는 경우에 F(X)는 초점거리, 영상 중심 좌표 등으로 이루어진 행렬 K로 표현될 수 있고, 다음과 같은 관계가 성립한다. X = RX'+ T, x = KX/Z 여기서, Z는 X = (X,Y,Z)의 Z축 방향 좌표 값 Z를 의미하고, x는 동차(homogeneous) 좌표계에서의 픽셀 좌표를 의미한다. 보다 자세한 사항은 도 3에서 설명한다.
업샘플링부(220)는 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링한다. 시점 변환부(210)에 의해 깊이 카메라에서 관찰된 3차원 점들은 컬러 카메라의 좌표계에서 표현될 수 있다. 일반적으로, 깊이 카메라의 해상도는 컬러 카메라의 해상도보다 낮다. 따라서, 컬러 영상의 많은 픽셀들에 대응하는 깊이 카메라에서 관찰된 3차원 점들이 존재하지 않게 된다. 또한, 깊이 영상에서는 서로 가리지 않았던 두 3차원 점들이 컬러 영상에서는 가까운 점이 먼 점을 가리는 현상, 즉 가리움(occlusion) 현상이 발생한다. 업샘플링부(220)는 다음의 과정을 통해 컬러 영상의 해상도에 대응하도록 3차원 점들을 할당하고, 가리움 현상이 발생하는 경우, 가까운 점이 컬러 영상의 픽셀에 할당되도록 한다.
업샘플링부(220)는 에지 생성부(221), 좌표 계산부(223), 정렬부(225), 처리부(227)를 포함할 수 있다.
에지 생성부(221)는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결할 수 있다. 에지 생성부(221)는 깊이 영상의 각 픽셀들의 3차원 점들을 꼭지점(vertex)으로 놓고, 꼭지점과 꼭지점 사이를 에지(edge)로 이어서 깊이 영상을 메쉬(mesh)화 한다. 깊이 영상을 메쉬화하는 과정은 도 4b에서 좀더 상세하게 설명한다.
좌표 계산부(223)는 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산할 수 있다. 에지 생성부(221)에 의해 깊이 영상의 메쉬화가 종료된 후, 좌표 계산부(223)는 메쉬화를 통해 생성된 제1 삼각형들을 위상을 유지하면서 컬러 영상의 좌표계로 변환된 제2 삼각형들을 생성할 수 있다. 또한, 좌표 계산부(223)는 컬러 영상의 좌표계로 변환된 제2 삼각형들의 중심의 3차원 좌표를 계산할 수 있다.
정렬부(225)는 상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬할 수 있다. 정렬부(225)는 좌표 계산부(223)에서 계산된 제2 삼각형들의 중심의 3차원 좌표에 대하여 Z값, 즉 깊이 값이 증가하는 방향으로 제2 삼각형들의 순서를 정렬할 수 있다.
처리부(227)는 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리할 수 있다. 처리부(227)는 컬러 카메라로부터 가장 가까운 제2 삼각형에서 먼 제2 삼각형의 순서로 컬러 영상에 투영할 수 있다. 처리부(227)는 컬러 영상에 투영된 제2 삼각형 내부에 존재하는 픽셀들에 대하여 시점 변환부(210)에서 변환되어 할당된 3차원 점이 있는지 여부를 판단할 수 있다. 처리부(227)는 컬러 영상에 투영된 제2 삼각형 내부에 존재하는 픽셀들에 대하여 할당된 3차원 점이 없으면, 상기 픽셀들로부터 상기 정렬된 제2 삼각형으로 역투영할 수 있다. 처리부(227)는 상기 픽셀들로부터 상기 정렬된 제2 삼각형으로 역투영된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 계산할 수 있다. 처리부(227)는 계산된 제2 삼각형과 만나는 점을 해당 픽셀의 3차원 점으로 할당할 수 있다. 보다 자세한 과정은 도 4c에서 설명한다.
경계영역 보상부(230)는 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상한다. 업샘플링부(220)에서 업샘플링 된 제1 깊이 영상은 컬러 영상의 모든 픽셀에 대응하여 3차원 점이 존재하며, 시점 및 화각이 일치한다. 그러나 물체의 경계 부분에서 오차가 발생할 수 있다. 경계영역 보상부(230)는 다음의 과정을 통해 물체 경계 부분의 오차를 보상할 수 있다. 먼저, 경계영역 보상부(230)는 컬러 영상의 한 픽셀을 중심으로, 부정확성을 고려한 너비 W, 높이 H인 윈도우를 사용하며, 상기 픽셀의 깊이 값은 상기 윈도우 내에 존재한다고 가정한다.
경계영역 보상부(230)는 디스패리티 변환부(231) 및 디스패리티 최적화부(233)를 포함할 수 있다.
디스패리티 변환부(231)는 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성할 수 있다. 깊이 값은 실수 값을 가지면 연속적으로 변하기 때문에, 주변 픽셀과의 유사도를 판단하여 최적의 깊이 값을 찾는 것은 상당한 계산량이 요구된다. 하지만, 깊이 값을 정수 값으로 표현되는 디스패리티(disparity)로 변환하여 최적의 깊이 값을 찾는 것은 계산량이 상대적으로 적다. 따라서, 디스패리티 변환부(231)는 제1 깊이 영상의 깊이 값을 d=f*b/Z를 이용하여 디스패리티로 변환할 수 있다. 여기서 d는 디스패리티, f는 초점 거리, b는 양안 시차, Z는 해당 픽셀의 깊이 값을 의미한다. 상기 식을 만족시키는 d는 실수 값을 갖게 되는데, 가장 가까운 정수로 반올림하면 정수로 표현되는 디스패리티를 계산할 수 있다. 결과적으로 디스패리티 변환부(231)는 디스패리티 영상을 생성할 수 있다.
디스패리티 최적화부(233)는 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비(W)와 높이(H)를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화할 수 있다. 상기 임의의 픽셀은 상기 윈도우 내 픽셀들의 디스패리티 값 중 하나의 값을 갖는다. 여기서, 디스패리티 최적화부(233)는 데이터 패널티부(도시되지 않음) 및 유사 가중치 적용부(도시되지 않음)를 포함할 수 있다.
데이터 패널티부(도시되지 않음)는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용할 수 있다. 데이터 패널티부(도시되지 않음)는 다음의 [수학식 1]을 이용한다.
[수학식 1]
Figure 112010054496429-pat00001
여기서, di는 픽셀 i의 디스패리티를 의미하고, 픽셀 i를 중심으로 한 윈도우 내에 디스패리티 값이 존재하는 경우, 픽셀 i의 디스패리티를 di로 결정하면 패널티는 0이되고, 윈도우 내에 디스패리티 값이 존재하지 않는 경우에 패널티는 1이 된다. 경계영역의 보상은 윈도우의 크기가 작을수록 더욱 정확하게 이루어질 수 있다.
유사 가중치 적용부(도시되지 않음)는 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용할 수 있다. 데이터 패널티부(도시되지 않음)에서 사용되는 윈도우 내에 여러 디스패리티가 존재할 수 있으므로, 패널티 만으로는 각각의 픽셀들의 디스패리티를 유일하게 결정할 수 없다. 유사 가중치 적용부(도시되지 않음)는 컬러가 유사한 이웃한 픽셀들은 동일한 물체에 속하고, 동일한 디스패리티를 갖는다는 가정을 반영한다. 유사 가중치 적용부(도시되지 않음)는 다음의 [수학식 2]를 반영하여 가중치를 적용할 수 있다.
[수학식 2]
Figure 112010054496429-pat00002
여기서, i 와 j는 서로 이웃한 두 픽셀, di와 dj는 두 픽셀들 각각의 디스패리티, λ와 σ는 임의의 양의 상수, ci와 cj는 두 픽셀들 각각의 컬러 값을 의미한다. 즉, 유사 가중치 적용부(도시되지 않음)는 이웃한 두 픽셀의 디스패리티가 동일하면, 가중치(V(di, dj))는 0이지만, 이웃한 두 픽셀의 디스패리티가 서로 다르고, 컬러 값이 유사할수록 큰 가중치를 적용한다.
디스패리티 최적화부(233)는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다. 디스패리티 최적화부(233)는 디스패리티 영상의 모든 픽셀 및 이웃한 픽셀에 대해서 [수학식 1] 및 [수학식 2]를 적용한 전역 목적함수 E를 최소화하여 최적화를 수행할 수 있다. 이때, 디스패리티 최적화부(233)는 전역 목적함수 E의 최소값을 계산하기 위해 그래프 컷 알고리즘 또는 빌리프 전파 알고리즘을 사용할 수 있다. 전역 목적함수 E는 다음의 [수학식 3]으로 표현될 수 있다.
[수학식 3]
Figure 112010054496429-pat00003
여기서, N은 디스패리티 영상 내에서 서로 이웃한 두 픽셀들의 집합을 의미한다.
최종 깊이 값 결정부(240)는 깊이 값이 디스패리티로 변환된 영상을 역변환 한 제2 깊이 영상 및 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정한다. 경계 영역 보상부(230)에서 경계 영역이 보상된 디스패리티 영상은 컬러 값이 차이가 나는 경계에서는 정확하게 경계 영역이 보상된다. 반면, 컬러 값이 유사하여 경계가 모호한 영역에서는 디스패리티 영상에서 경계가 부정확해질 수 있다. 최종 깊이 값 결정부(240)는 컬러 값이 유사한 경우의 경계를 정확하게 보상할 수 있다.
최종 깊이 값 결정부(240)는 역 변환부(241) 및 선택적 가중치 적용부(243)를 포함할 수 있다.
역 변환부(241)는 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환 할 수 있다. 역 변환부(241)는 최적화 된 디스패리티 영상을 Z = f*b/d 관계식에 기초하여 제2 깊이 영상으로 역변환 할 수 있다. 제2 깊이 영상은 물체 대부분의 경계가 분명하지만, 컬러가 유사한 부분에서는 경계가 오히려 불분명할 수 있다. 제1 깊이 영상은 컬러 영상과 동일한 해상도의 업샘플링 된 깊이 영상으로 물체의 세부적인 부분이 잘 표현되어 있지만, 경계가 불분명하다.
선택적 가중치 적용부(243)는 제1 깊이 영상 및 제2 깊이 영상의 장점을 반영하여 최종 깊이 값을 결정할 수 있다. 선택적 가중치 적용부(243)는 제1 깊이 영상 및 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용할 수 있다. 선택적 가중치 적용부(243)는 두 픽셀의 깊이 값, 컬러 값 및 위치 값에 의해 가중치를 선택적으로 적용한다는 의미에서 선택적 삼자 필터(Selective Trilateral Filter)라고 칭할 수 있다. 선택적 가중치 적용부(243)는 다음의 [수학식 4]를 이용하여 최종 깊이 값을 결정할 수 있다.
[수학식 4]
Figure 112010054496429-pat00004
여기서, t는 반복 횟수, Zi는 픽셀 i의 깊이 값, F는 필터링 윈도우, wij는 픽셀 i와 j사이의 선택적 가중치 함수를 의미한다. 즉, Zi는 주변 픽셀 j의 깊이 값으로부터 일정한 크기의 필터링 윈도우를 통하여 적용된 선택적 가중치에 의하여 결정될 수 있다. 선택적 가중치 함수(wij)는 [수학식 5]와 같이 정의될 수 있다.
[수학식 5]
Figure 112010054496429-pat00005
여기서, τd, βZ, βc, βr은 임의의 양의 상수, Zi'은 픽셀 i의 역변환된 디스패리티 영상, 즉 제2 깊이 영상, ci와 cj는 픽셀 i와 j의 컬러 값, xi와 xj는 픽셀 i와 픽셀 j의 영상 위치를 나타낸다. 또한, 가중치들의 합
Figure 112010054496429-pat00006
Figure 112010054496429-pat00007
은 1이 되도록 정규화(normalization) 된다. 선택적 가중치 함수(wij)에서 디스패리티 차이가 큰 픽셀들의 경우에, 가중치를 0으로 하여 필터링에 고려되지 않는다. 또한, 시간 t에서의 깊이 값 Zi (t) 과 제2 깊이 영상의 깊이 값 Zi'중에서 어떤 값이 실제의 깊이 값과 유사한지 정확하지 않으므로, 이웃 픽셀의 깊이 값과의 차이 중에서 더 작은 경우
Figure 112010054496429-pat00008
Figure 112010054496429-pat00009
, 즉 가중치를 더 크게 만들어 주는 값을 사용하여 가중치를 적용한다. 즉, 선택적 가중치 함수(wij)는 필터링 윈도우 내에서 주변 픽셀의 깊이 값, 컬러 값 및 픽셀 위치 값이 유사할수록 큰 값을 갖는다. t는 보통 5 정도의 값을 사용할 수 있고, Zi (0)는 제1 깊이 영상의 깊이 값으로 초기화 될 수 있다.
도 3은 본 발명의 일실시예에 따른 시점 변환부(210)의 구체적 일 예를 나타낸 도면이다.
깊이 카메라(310)에서 촬영된 깊이 영상의 픽셀(xi')은 깊이 영상의 좌표계에 의한 3차원 점(X i ')이 투영된 것이다. 깊이 영상의 좌표계에 의한 3차원 점(X i ')은 X i = RX i ' + T i 의 관계식에 의하여 컬러 영상의 좌표계에 의한 3차원 점(X i )으로 변환될 수 있다. 여기서 R은 회전 파라미터, T는 이동 파라미터를 나타낸다. 또한, 컬러 영상의 좌표계에 의한 3차원 점(X i )은 xi = KX i /Zi의 관계식에 의하여 컬러 영상에 투영된 픽셀 좌표(xi)로 변환될 수 있다. 즉, 시점 변환부(210)는 상기 관계식을 통하여 동일한 객체의 3차원 점에 대하여 깊이 영상의 좌표계로부터 컬러 영상의 좌표계로 변환될 수 있고, 컬러 영상의 좌표계로 변환된 3차원 점을 컬러 영상에 투영하여 해당 픽셀의 좌표를 획득할 수 있다.
도 4a 내지 도 4d는 본 발명의 일실시예에 따른 업샘플링부(220)의 구체적 일 예를 나타낸 도면이다.
도 4a는 깊이 영상(410)에 촬영된 3차원 점을 컬러 영상(420)의 좌표계로 변환하여 컬러 영상(420)으로 투영하는 경우에 발생하는 가리움(occlusion)현상을 나타낸다. 깊이 영상(410)은 컬러 영상(420)에 비해 해상도가 낮기 때문에 컬러 영상(420)의 픽셀에 대응하는 정보를 모두 가지고 있지 않다. 또한, 깊이 영상(410)에서는 서로 가리지 않았던 두 3차원 점들(Xi', Xj')이 컬러 영상(420)에서는 가까운 점(Xj)이 먼 점(Xi)을 가리는 현상, 즉 가리움 현상이 발생할 수 있다.
도 4b는 깊이 영상에서 메쉬 생성 방법을 나타낸다. 에지 생성부(221)는 컬러 영상의 모든 픽셀들에 대응하는 3차원 점들을 생성하기 위한 첫 단계로 깊이 영상을 메쉬화한다. 에지 생성부(221)는 깊이 영상(430)의 각 픽셀들의 3차원 점들(440)을 꼭지점으로 놓고, 꼭지점과 꼭지점 사이를 에지로 연결한다. 에지 생성부(221)는 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 3차원 점들 사이를 에지로 연결한다(440에서 빨간색). 에지 생성부(221)는 대각선 방향으로 위치한 점들 사이에서 두 가지 가능한 경우 중에 깊이 값의 차이가 적은 경우에 대해서 에지를 연결한다(440에서 파란색). 도 4b를 참조하면, 대각선 방향으로 위치한 점들 사이는 Z1과 Z3, Z2와 Z4 두 가지 경우가 있다. 두 경우 중에서 |Z1- Z3|>|Z2- Z4|인 경우에, Z2와 Z4 값이 차이가 작으므로 Z2와 Z4 간에 에지가 연결된다. 에지 생성부(221)는 깊이 값의 차이가 작은 경우를 에지로 연결하여 삼각형을 형성함에 따라 유사한 깊이 값을 가지는 영역끼리 메쉬화할 수 있다.
도 4c는 에지를 연결하여 생성된 삼각형을 컬러 영상(450)의 좌표계로 변환하여 컬러 영상(450)에 투영 및 역투영하고, 컬러 영상(450)에 대응하는 픽셀에 3차원 점이 할당되는 경우를 나타낸다. 좌표 계산부(223)는 에지를 연결하여 생성된 제1 삼각형을 컬러 영상의 좌표계로 위상(topology)을 유지하면서 변환하여 제2 삼각형을 생성한다. 정렬부(225)는 제2 삼각형의 중심 좌표에 따라 작은 값을 가지는 것부터 순서대로 정렬한다. 처리부(227)는 중심 좌표가 작은 값을 가지는 제2 삼각형부터 컬러 영상(450)에 투영한다. 처리부(227)는 투영된 제2 삼각형 내부의 픽셀(460)에 이미 할당된 3차원 점이 없으면, 상기 픽셀(460)로부터 역투영된 직선이 제2 삼각형과 만나는 점을 계산하여, 상기 만나는 점(470)을 해당 픽셀의 3차원 점으로 할당한다. 처리부(227)를 통하여 컬러 영상의 모든 픽셀에 3차원 점이 할당될 수 있다.
도 4d는 컬러 영상과 업샘플링부(220)를 통하여 컬러 영상과 동일한 해상도 및 시점을 가지는 깊이 영상을 나타낸다. (A)는 기준 시점에서 촬영된 컬러 영상을 나타내고, (B)는 기준 시점에서 촬영된 깊이 영상을 시점 변환 및 업샘플링하여 컬러 영상과 동일한 해상도를 가지는 깊이 영상을 나타낸다. (B)를 보면 컬러 영상의 모든 픽셀에 대하여 3차원 점이 존재하며, 시점 및 화각이 거의 일치함을 알 수 있다. 하지만, 어깨나 머리카락의 경계 부분에서는 불분명한 값을 가져 오차가 발생함을 알 수 있다.
도 5a 내지 도 5c는 본 발명의 일실시예에 따른 경계 영역 보상부(230)의 구체적 일 예를 나타낸 도면이다.
도 5a는 업샘플링 된 제1 깊이 영상과 제1 깊이 영상을 디스패리티로 변환한 디스패리티 영상을 나타낸다. (A)는 제1 깊이 영상을 나타내고, (B)는 디스패리티 영상을 나타낸다. 경계 영역 보상부(230)는 제1 깊이 영상을 디스패리티 영상으로 변환하고, 디스패리티 영상을 최적화함으로써 물체의 경계 영역을 보상할 수 있다. 깊이 값은 실수 값을 가지며 연속적으로 변하기 때문에 주변 픽셀과의 유사도를 판단하여 최적의 깊이 값을 찾는 것은 많은 계산량을 요구한다. 따라서, 경계 영역 보상부(230)는 깊이 값을 정수 값으로 표현되는 디스패리티로 변환하여 계산량을 줄일 수 있다.
도 5b는 컬러 영상과 임의의 한 픽셀을 중심으로 너비(W)와 높이(H)를 가지는 윈도우를 나타낸다. (A)는 컬러 영상을 나타낸다. 컬러 영상에서 머리카락 경계 영역(510)을 살펴보면, x를 중심으로 한 윈도우(520)에서 컬러 값이 차이가 나타나고, 윈도우(530)에서는 컬러 값이 상이함에도 깊이 값이 모호한 것을 알 수 있다. 경계 영역 보상부(230)는 임의의 한 픽셀을 중심으로 너비(W)와 높이(H)를 가지는 윈도우를 사용하여 임의의 한 픽셀의 깊이 값은 윈도우 내에 존재한다는 가정하에, 윈도우 내에서 정확한 깊이 값을 찾는 것을 목적으로 한다.
도 5c는 최적화 전의 디스패리티 영상과 최적화 후의 디스패리티 영상을 나타낸다. (A)는 컬러 영상, (B)는 최적화 전 디스패리티 영상, (C)는 최적화 후 디스패리티 영상을 나타낸다. 최적화 전의 디스패리티 영상에서의 윈도우(550)에서 x픽셀 주변의 경계는 모호한 값을 가진다. 최적화 후의 디스패리티 영상에서의 윈도우(560)에서는 머리카락 주변의 경계가 컬러 영상의 경계(540)에 맞게 보상되었다. 그러나 컬러 값이 유사하여 컬러 영상의 경계가 모호한 부분(570)에서는 최적화 후의 디스패리티 영상의 경계가 불분명해짐을 알 수 있다.
도 6은 본 발명의 일실시예에 따른 최종 깊이 값 결정부(240)의 구체적 일 예를 나타낸 도면이다.
도 6을 참조하면, (A)는 컬러 영상, (B)는 업샘플링된 제1 깊이 영상, (C)는 디스패리티 영상이 역변환된 제2 깊이 영상, (D)는 최종 깊이 값 결정부(240)에 의해 최종 깊이 값이 결정된 깊이 영상을 나타낸다. 최종 깊이 값 결정부(240)는 필터링 윈도우를 설정하고, 필터링 윈도우 내부의 픽셀들 간에 깊이 값, 컬러 값, 픽셀 위치 값이 유사함에도 디스패리티 값이 상이한 경우, 가중치를 적용하여 최종 깊이 값을 결정한다. 특히, 제1 깊이 영상은 물체의 세부적인 부분이 잘 묘사되어 있고, 제2 깊이 영상은 물체의 경계가 분명하다. 최종 깊이 값 결정부(240)는 제1 깊이 영상 및 제2 깊이 영상의 장점을 취합하여 최종 깊이 값을 결정할 수 있다. (D)는 컬러 경계와 일치하는 깊이 경계를 보여 줄 뿐만 아니라, 컬러 값이 유사한 영역에서도 분리된 깊이 값을 가지는 것을 알 수 있다.
도 7은 본 발명의 일실시예에 따른 컬러 영상과 해상도가 동일한 깊이 영상에 기초한 스테레오 영상을 나타낸 도면이다.
(A)는 컬러 카메라에서 촬영된 컬러 영상으로 스테레오 영상에서 왼쪽 영상을 나타낸다. (B)는 깊이 영상에 기초하여 컬러 영상과 동일한 해상도를 가지도록 생성된 영상이다. (B)는 스테레오 영상에서 오른쪽 영상을 나타낸다. 컬러 카메라의 오른쪽에 깊이 카메라를 위치시키고, 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치를 이용한다. 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 카메라에서 촬영된 깊이 영상에 기초하여 컬러 영상과 동일한 해상도를 가지는 깊이 영상을 생성할 수 있다. (B)는 (A) 및 동일한 해상도의 깊이 영상에 의해 생성될 수 있다. (B)는 왼쪽 영상의 컬러 경계와 일치하는 깊이 경계를 보여 줄 뿐만 아니라, 컬러 값이 유사한 영역에서도 분리된 깊이 값을 가지는 것을 알 수 있다.
도 8은 본 발명의 일실시예에 따른 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법의 흐름도이다.
810단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점을 변환한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득할 수 있다.
820단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 영상을 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 제2 삼각형들을 깊이 값이 작은 순서대로 정렬할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리할 수 있다.
830단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값이 유사할수록 가중치를 크게 적용할 수 있다.
840단계에서 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 깊이 값이 디스패리티로 변환된 영상을 역변환 한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 픽셀의 최종 깊이 값을 결정한다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환 할 수 있다. 또한, 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치는 상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값이 유사할수록 가중치를 크게 적용할 수 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점 변환하는 시점 변환부;
    상기 깊이 영상을 상기 깊이 영상의 3차원 점들 사이를 에지로 연결한 하나 이상의 삼각형들을 이용하여 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 업샘플링부;
    상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 경계 영역 보상부; 및
    상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하여, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값에 의한 가중치를 선택적으로 적용하여 픽셀의 최종 깊이 값을 결정하는 최종 깊이 값 결정부
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  2. 제1항에 있어서,
    상기 시점 변환부는
    상기 컬러 영상의 좌표계로 시점 변환된 3차원 점들을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득하는
    컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  3. 제1항에 있어서,
    상기 업샘플링부는
    상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 에지 생성부
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  4. 제1항에 있어서,
    상기 업샘플링부는
    상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 좌표 계산부;
    상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 정렬부; 및
    상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 처리부
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  5. 제1항에 있어서,
    상기 경계 영역 보상부는
    상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 디스패리티 변환부; 및
    상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 디스패리티 최적화부
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  6. 제5항에 있어서,
    상기 디스패리티 최적화부는
    상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 데이터 패널티부; 및
    상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값의 차이가 작을수록 가중치를 크게 적용하는 유사 가중치 적용부
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  7. 제5항에 있어서,
    상기 디스패리티 최적화부는
    그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행하는 것을 특징으로 하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  8. 제1항에 있어서,
    상기 최종 깊이 값 결정부는
    상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 역변환부; 및
    상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값의 차이가 작을수록 가중치를 크게 적용하는 선택적 가중치 적용부
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 장치.
  9. 동일한 신(scene)을 서로 상이한 시점에서 촬영한 깊이 영상 및 컬러 영상에서, 상기 깊이 영상에 촬영된 상기 동일한 신(scene)의 3차원 점들을 상기 컬러 영상의 좌표계로 시점을 변환하는 단계;
    상기 깊이 영상을 상기 깊이 영상의 3차원 점들 사이를 에지로 연결한 하나 이상의 삼각형들을 이용하여 메쉬(mesh)화하고, 상기 메쉬화된 깊이 영상을 상기 컬러 영상의 좌표계로 시점 변환하여, 상기 컬러 영상과 동일한 해상도의 제1 깊이 영상으로 업샘플링하는 단계;
    상기 제1 깊이 영상의 깊이 값을 디스패리티(disparity)로 변환하여 물체의 경계 영역을 보상하는 단계; 및
    상기 깊이 값이 디스패리티로 변환된 영상을 역변환한 제2 깊이 영상 및 상기 제1 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하여, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값에 의한 가중치를 선택적으로 적용하여 픽셀의 최종 깊이 값을 결정하는 단계
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.
  10. 제9항에 있어서,
    상기 시점을 변환하는 단계는
    상기 컬러 영상의 좌표계로 시점 변환된 3차원 점을 상기 컬러 영상에 투영하여, 해당 픽셀의 좌표를 획득하는 단계
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.
  11. 제9항에 있어서,
    상기 업샘플링 하는 단계는
    상기 깊이 영상에서 서로 수평 또는 수직 방향으로 위치한 상기 3차원 점들 사이를 에지로 연결하고, 대각선 방향으로 위치한 상기 3차원 점들 사이는 깊이 값의 차이가 적은 방향으로 에지를 연결하는 단계
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.
  12. 제9항에 있어서,
    상기 업샘플링 하는 단계는
    상기 깊이 영상의 3차원 점들 사이를 에지로 연결하여 생성된 제1 삼각형들을, 위상을 유지하며 상기 컬러 영상의 좌표계로 변환하여 제2 삼각형들을 생성하고, 상기 제2 삼각형들의 중심 좌표를 계산하는 단계;
    상기 제2 삼각형들을 깊이 값이 작은 순서대로 정렬하는 단계; 및
    상기 정렬된 제2 삼각형들을 깊이 값이 작은 삼각형부터 상기 컬러 영상에 투영한 후, 상기 투영된 삼각형 내부의 픽셀들에 이미 할당된 3차원 점이 없으면, 상기 삼각형 내부 픽셀들로부터 역투영 된 직선이 상기 정렬된 제2 삼각형과 만나는 점을 상기 삼각형 내부 픽셀들의 3차원 점으로 처리하는 단계
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.
  13. 제9항에 있어서,
    상기 경계 영역을 보상하는 단계는
    상기 제1 깊이 영상의 깊이 값을 소정의 관계식을 만족하는 디스패리티로 변환하여 디스패리티 영상을 생성하는 단계; 및
    상기 디스패리티 영상에서 임의의 픽셀을 중심으로 소정의 너비와 높이를 가진 윈도우를 사용하여 상기 임의의 픽셀 디스패리티를 최적화하는 단계
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.
  14. 제13항에 있어서,
    상기 디스패리티를 최적화하는 단계는
    상기 윈도우 내에 상기 임의의 픽셀 디스패리티에 대응하는 디스패리티가 있으면 패널티를 작게 적용하고, 상기 윈도우 내에 상기 임의의 픽셀의 디스패리티에 대응하는 디스패리티가 없으면 패널티를 크게 적용하는 단계; 및
    상기 디스패리티 영상에서 서로 이웃한 두 픽셀의 디스패리티가 상이하면, 상기 두 픽셀의 컬러 값의 차이가 작을수록 가중치를 크게 적용하는 단계
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.
  15. 제9항에 있어서,
    상기 최종 깊이 값을 결정하는 단계는
    상기 깊이 값이 디스패리티로 변환된 영상을 상기 제2 깊이 영상으로 역변환하는 단계; 및
    상기 제1 깊이 영상 및 상기 제2 깊이 영상에 기초하여 임의의 픽셀을 중심으로 한 윈도우를 사용하고, 상기 윈도우 내에서 두 픽셀의 깊이 값, 컬러 값 및 위치 값의 차이가 작을수록 가중치를 크게 적용하는 단계
    를 포함하는 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법.
KR1020100081898A 2010-08-24 2010-08-24 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치 KR101681095B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100081898A KR101681095B1 (ko) 2010-08-24 2010-08-24 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100081898A KR101681095B1 (ko) 2010-08-24 2010-08-24 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120018915A KR20120018915A (ko) 2012-03-06
KR101681095B1 true KR101681095B1 (ko) 2016-12-02

Family

ID=46127997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100081898A KR101681095B1 (ko) 2010-08-24 2010-08-24 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101681095B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
KR101893771B1 (ko) * 2012-05-10 2018-08-31 삼성전자주식회사 3d 정보 처리 장치 및 방법
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
EP3021584A4 (en) 2013-07-12 2017-03-15 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector
KR101524808B1 (ko) * 2013-10-15 2015-06-03 고려대학교 산학협력단 피부 진단을 위한 촉감 전달 시스템 및 방법
KR101603412B1 (ko) * 2014-03-28 2016-03-15 경희대학교 산학협력단 깊이 정보를 이용한 비디오 부호화 방법 및 장치
US9769481B2 (en) * 2014-03-28 2017-09-19 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
CN108475408A (zh) * 2015-12-01 2018-08-31 索尼公司 图像处理设备和图像处理方法
KR102192347B1 (ko) * 2019-03-12 2020-12-17 한국과학기술원 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
CN116778095B (zh) * 2023-08-22 2023-10-27 苏州海赛人工智能有限公司 一种基于人工智能的三维重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163718A (ja) * 2007-12-10 2009-07-23 Fujifilm Corp 距離画像再生装置および方法並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843084B1 (ko) * 2006-06-22 2008-07-02 삼성전자주식회사 노이즈 저감 방법 및 장치
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163718A (ja) * 2007-12-10 2009-07-23 Fujifilm Corp 距離画像再生装置および方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D object-based depth estimation from steroscopic image sequences, Proc. Workshop on Stereoscopic and 3D Imaging’95(1995)*

Also Published As

Publication number Publication date
KR20120018915A (ko) 2012-03-06

Similar Documents

Publication Publication Date Title
KR101681095B1 (ko) 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
JP6143747B2 (ja) 深度測定の品質の向上
US8452081B2 (en) Forming 3D models using multiple images
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
US8447099B2 (en) Forming 3D models using two images
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
JP5442111B2 (ja) 画像から高速に立体構築を行なう方法
CN112308963B (zh) 一种无感三维人脸重建方法及采集重建系统
JP2016075637A (ja) 情報処理装置およびその方法
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN114746715A (zh) 三维模型生成方法、信息处理装置及程序
US20130272600A1 (en) Range image pixel matching method
KR102407137B1 (ko) 영상 처리 방법 및 장치
JP2019120591A (ja) 視差値算出装置、視差値算出方法及びプログラム
JP2021520008A (ja) 車両検査システムとその方法
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN108876861B (zh) 一种地外天体巡视器的立体匹配方法
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
US11348271B2 (en) Image processing device and three-dimensional measuring system
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
Lhuillier Toward flexible 3d modeling using a catadioptric camera
KR101904170B1 (ko) 구면 모델링을 통한 깊이 정보 보정 및 부호화 방법과 부호화장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant