KR101892737B1 - 다시점 스테레오 장치 및 방법 - Google Patents

다시점 스테레오 장치 및 방법 Download PDF

Info

Publication number
KR101892737B1
KR101892737B1 KR1020160032259A KR20160032259A KR101892737B1 KR 101892737 B1 KR101892737 B1 KR 101892737B1 KR 1020160032259 A KR1020160032259 A KR 1020160032259A KR 20160032259 A KR20160032259 A KR 20160032259A KR 101892737 B1 KR101892737 B1 KR 101892737B1
Authority
KR
South Korea
Prior art keywords
depth map
dense
depth
consistency
unit
Prior art date
Application number
KR1020160032259A
Other languages
English (en)
Other versions
KR20170108410A (ko
Inventor
임한신
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160032259A priority Critical patent/KR101892737B1/ko
Priority to US15/397,853 priority patent/US20170272724A1/en
Publication of KR20170108410A publication Critical patent/KR20170108410A/ko
Application granted granted Critical
Publication of KR101892737B1 publication Critical patent/KR101892737B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 다시점 스테레오 장치로, 희소 깊이 지도로부터 컬러 정보와 메쉬 기반으로 초기의 조밀한 깊이 지도를 생성하는 초기 조밀 깊이 지도 생성부와, 상기 조밀한 깊이지도에 점을 추가한 희소 깊이 지도로부터 조밀한 깊이 지도를 재생성하는 조밀 깊이 지도 개선부를 포함한다.

Description

다시점 스테레오 장치 및 방법{Apparatus and Method for Multi-View Stereo}
본 발명은 3차원 모델링 기술에 관한 것으로, 특히 다시점 영상들의 조밀한 깊이 지도를 구하는 다시점 스테레오(Multi-View Stereo) 장치 및 방법에 관한 것이다.
최근 컬러 영상 및 깊이 영상으로부터 물체의 3차원 구조를 복원하고 모델링하는 기술의 개발이 활발히 진행되고 있다. 이러한 물체의 3차원 구조 복원 및 모델링을 보다 정확히 하기 위해서는 3차원 상에서 보다 정확하고 조밀한 점 클라우드(Point Cloud)를 생성하는 작업이 필요하다. 그리고 이러한 정확하고 조밀한 점 클라우드를 구하는 핵심 기술 중의 하나가 다시점 스테레오 방법이다.
다시점 스테레오 방법을 통하여 3차원 점 클라우드를 생성하는데 있어서 점 클라우드의 정확도를 향상시키기 위한 가장 핵심적인 내용 중의 하나는 3차원 공간상의 점들을 2차원 영상 평면상에 투영하여 만들어진 희소 깊이 지도(sparse depth map)로부터 보다 높은 정확도를 가지고 영상들 간의 깊이 일관성(Consistency)을 가지는 조밀한 깊이지도(dense depth map)를 생성하는 것이다.
본 발명은 3차원 공간상의 점들을 2차원 영상 평면상에 투영하여 구하여지는 희소 깊이 지도(sparse depth map)로부터 원 영상의 컬러 정보와 메쉬 정보를 이용하여 영상 평면의 각 위치의 깊이 값을 예측하여 구함으로써 깊이 일관성을 가지고 조밀한 깊이지도를 생성하는 다시점 스테레오 장치 및 방법을 제공한다.
본 발명은 다시점 스테레오 장치로, 희소 깊이 지도로부터 컬러 정보와 메쉬 기반으로 초기의 조밀한 깊이 지도를 생성하는 초기 조밀 깊이 지도 생성부와, 상기 희소 깊이 지도에 연결점을 추가하고 조밀한 깊이 지도를 재생성하는 조밀 깊이 지도 개선부를 포함한다.
일 실시 예에 따라, 상기 초기 조밀 깊이 지도 생성부는 3차원 공간상의 점들을 2차원 영상 평면상에 투영한 희소 깊이 지도를 생성하는 희소 깊이 지도 생성부와, 컬러 정보와 메쉬 기반으로 상기 희소 깊이 지도로부터 조밀한 깊이 지도를 생성하는 조밀 깊이 지도 생성부를 포함한다.
일 실시 예에 따라, 상기 조밀 깊이 지도 생성부는 상기 희소 깊이 지도에서 투영된 2차원 점들을 획득하는 연결점 추출부와, 상기 추출된 점들을 연결하여 메쉬를 생성하는 메쉬 생성부와, 원 컬러 영상의 컬러 일관성과 메쉬 정보를 이용하여 각각의 컬러 영상에 대응하는 영상 평면에서 초기의 조밀한 깊이지도를 생성하는 깊이 지도 생성부를 포함한다.
일 실시 예에 따라, 상기 조밀 깊이 지도 개선부는 상기 조밀한 깊이지도들간의 깊이 일관성을 확인하는 깊이 일관성 확인부와, 상기 깊이 일관성 확인부의 확인 결과에 따라 상기 희소 깊이 지도에 연결점을 추가하고, 컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 개선하는 깊이 지도 수정부를 포함한다.
일 실시 예에 따라, 상기 깊이 일관성 확인부는 조밀한 깊이지도의 영상 평면상의 각 픽셀을 깊이값 만큼 3차원 공간상의 위치에 배치하고, 주변 영상평면으로 재투영하여, 주변 영상평면에 투영된 위치에서의 깊이값과 재투영한 3차원 공간상의 점의 깊이 값의 차이가 임계치 이하일 경우 일관성이 있다고 판단하고, 임계치를 초과할 경우 일관성이 없다고 판단한다.
일 실시 예에 따라, 상기 조밀 깊이 지도 수정부는 상기 깊이 일관성 확인부의 확인 결과에 따라 상기 조밀 깊이 지도에 점을 추가하는 연결점 추가부와, 추가한 연결점들을 포함하는 희소 깊이 지도에서 기존의 연결점과 추가한 연결점을 포함한 메쉬를 구성하는 메쉬 재구성부와, 컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 재생성하는 깊이 지도 생성부를 포함한다.
일 실시 예에 따라, 상기 연결점 추가부는 상기 깊이 일관성 확인 결과들로부터 메쉬의 각 단위에서 각 단위에 포함되는 픽셀들 중 깊이 일관성이 최저인 픽셀의 주변 픽셀들 중에서 주변 영상들과의 신뢰성 있는 일치점을 검색하고, 검색된 일치점들로부터 3차원 공간상의 일치점의 위치를 구하고, 일치점의 깊이값을 구하고 연결점으로 추가한다.
일 실시 예에 따라, 상기 조밀 깊이 지도 개선부는 상기 재생성된 조밀 깊이 지도를 상기 깊이 일관성 확인부에 전달하고, 상기 깊이 일관성 확인부는 상기 재생성된 조밀 깊이 지도의 일관성 확인 결과 만족하는지의 여부에 따라 조밀 깊이 지도 수정부에 전달하거나, 최종 조밀 깊이 지도를 출력한다.
본 발명은 다시점 스테레오 방법으로, 희소 깊이 지도로부터 컬러 정보와 메쉬 기반으로 초기 조밀한 깊이 지도를 생성하는 단계와, 상기 희소 깊이 지도에 연결점을 추가하고 조밀한 깊이 지도를 재생성하는 단계를 포함한다.
일 실시 예에 따라, 상기 생성하는 단계는 3차원 공간상의 점들을 2차원 영상 평면상에 투영한 희소 깊이 지도를 생성하는 단계와, 컬러 정보와 메쉬 기반으로 상기 희소 깊이 지도로부터 조밀한 깊이 지도를 생성하는 단계를 포함한다.
일 실시 예에 따라, 상기 조밀한 깊이 지도를 생성하는 단계는 상기 희소 깊이 지도에서 투영된 2차원 점들을 획득하는 단계와, 상기 추출된 점들을 연결하여 메쉬를 생성하는 단계와, 원 컬러 영상의 컬러 일관성과 메쉬 정보를 이용하여 각각의 컬러 영상에 대응하는 영상 평면에서 조밀한 깊이지도를 생성하는 단계를 포함한다.
일 실시 예에 따라, 상기 재생성하는 단계는 상기 조밀한 깊이지도들 사이의 일관성을 확인하는 단계와, 상기 일관성 확인 결과에 따라 상기 희소 깊이 지도에 점을 추가하고, 컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 개선하는 단계를 포함한다.
일 실시 예에 따라, 상기 일관성을 확인하는 단계는 조밀한 깊이지도의 영상 평면상의 각 픽셀을 깊이값 만큼 3차원 공간상의 위치에 배치하는 단계와, 주변 영상평면으로 재투영하는 단계와, 주변 영상평면에 투영된 위치에서의 깊이값과 재투영한 3차원 공간상의 점의 깊이 값의 차이를 산출하는 단계와, 상기 산출된 차이가 임계치 이하일 경우 일관성이 있다고 판단하고, 임계치를 초과할 경우 일관성이 없다고 판단하는 단계를 포함한다.
일 실시 예에 따라, 상기 조밀한 깊이 지도를 개선하는 단계는 상기 깊이 일관성 확인부의 확인 결과에 따라 상기 희소 깊이 지도에 점을 추가하는 단계와, 추가한 연결점들을 포함하는 희소 깊이 지도에서 기존의 연결점과 추가한 연결점을 포함한 메쉬를 구성하는 단계와, 컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 재생성하는 단계를 포함한다.
일 실시 예에 따라, 상기 연결점을 추가하는 단계는 상기 깊이 일관성 확인 결과들로부터 메쉬의 각 단위에서 각 단위에 포함되는 픽셀들 중 깊이 일관성이 최저인 픽셀의 주변 픽셀들 중에서 주변 영상들과의 신뢰성 있는 일치점을 검색하고, 검색된 일치점들로부터 3차원 공간상의 일치점의 위치를 구하고, 일치점의 깊이값을 구하고 연결점으로 추가한다.
일 실시 예에 따라, 상기 재생성하는 단계는 상기 재생성된 조밀 깊이 지도의 일관성 확인 결과 만족하는지의 여부에 따라 조밀 깊이 지도 수정 단계를 반복한다.
본 발명에 따르면, 컬러 정보와 메쉬기반의 깊이지도 생성방법을 사용하여 희소 깊이 지도부터 기존 방법보다 깊이 불일치 영역의 표현 등에서 더욱 정확하고 영상들 사이의 깊이 일관성이 있는 조밀한 깊이지도를 생성할 수 있기 때문에 이로부터 더욱 정확한 물체의 3D 구조의 복원 및 모델링이 가능하다.
또한, 컬러 일관성과 메쉬정보를 모두 사용함으로써 컬러영상이 균일하여 초기 3차원 공간상의 점의 개수가 적게 주어졌을 때에도 기존의 방법에 비해 신뢰할 수 있는 조밀한 깊이지도의 생성이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 다시점 스테레오 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 초기 조밀 깊이 지도 생성부의 블록 구성도이다.
도 3은 3차원 공간상의 점들을 투영하여 만들어진 희소 깊이 지도(sparse depth map)의 예를 도시한 도면이다.
도 4는 원래의 컬러 영상의 컬러 일관성과 메쉬 정보를 이용한 깊이지도 생성 과정의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 조밀 깊이 지도 개선부의 상세 블록 구성도이다.
도 6은 본 발명에 따른 깊이 일관성 확인 과정의 예를 도시한 도면이다.
도 7은 본 발명에 따른 조밀 깊이 지도 수정 과정의 예를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 다시점 스테레오 방법의 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 초기 깊이 지도 생성 단계의 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 깊이 지도 재생성 단계를 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 다시점 스테레오 장치의 블록 구성도이다.
도 1을 참조하면, 다시점 스테레오 장치는 희소 깊이 지도로부터 컬러 정보와 메쉬 기반으로 조밀한 깊이 지도를 생성하는 초기 조밀 깊이 지도 생성부(100)와, 상기 조밀한 깊이지도들 사이의 일관성 여부에 따라, 점을 추가한 희소 깊이 지도로부터 조밀한 깊이 지도를 재생성하는 조밀 깊이 지도 개선부(200)를 포함한다.
도 2는 본 발명의 일 실시 예에 따른 초기 조밀 깊이 지도 생성부의 블록 구성도이고, 도 3은 3차원 공간상의 점들을 투영하여 만들어진 희소 깊이 지도(sparse depth map)의 예를 도시한 도면이고, 도 4는 원래의 컬러 영상의 컬러 일관성과 메쉬 정보를 이용한 깊이지도 생성 과정의 예를 도시한 도면이다.
도 2를 참조하면, 초기 조밀 깊이 지도 생성부(100)는 희소 깊이 지도 생성부(110) 및 조밀 깊이 지도 생성부(120)를 포함한다.
희소 깊이 지도 생성부(110)는 3차원 공간상의 점들을 2차원 영상 평면상에 투영하여 만들어진 희소 깊이 지도(sparse depth map)를 생성한다. 도 3을 참조하면, 3차원 공간상의 점
Figure 112016025876245-pat00001
은 2차원 영상 평면
Figure 112016025876245-pat00002
상의 점
Figure 112016025876245-pat00003
으로 투영되고, 3차원 공간상의 점
Figure 112016025876245-pat00004
은 2차원 영상 평면
Figure 112016025876245-pat00005
상의 점
Figure 112016025876245-pat00006
으로 투영되고, 3차원 공간상의 점
Figure 112016025876245-pat00007
은 2차원 영상 평면
Figure 112016025876245-pat00008
상의 점
Figure 112016025876245-pat00009
에 투영된다.
Figure 112016025876245-pat00010
은 2차원 영상 평면
Figure 112016025876245-pat00011
에 대응하는 초점이다.
조밀 깊이 지도 생성부(120)는 컬러 정보와 메쉬 기반의 깊이지도 생성 방법을 이용한 조밀한 깊이지도(dense depth map)를 생성한다. 상세하게는 연결점 추출부(121), 메쉬 생성부(122) 및 깊이 지도 생성부(123)를 포함한다.
연결점 추출부(121)는 도 4의 (a)에 도시된 바와 같이 희소 깊이 지도(sparse depth map)에서 투영된 2차원 점들을 추출한다. 메쉬 생성부(122)는 도 4의 (b)에 도시된 바와 같이 2차원 점들을 연결점(node)으로 하는 메쉬를 생성한다. 깊이 지도 생성부(123)는 도 4의 (c)에 도시된 바와 같이 원래의 컬러 영상의 컬러 일관성과 메쉬 정보를 이용한 깊이지도 생성 방법을 이용하여 각각의 컬러 영상에 대응하는 영상 평면에서 조밀한 깊이지도를 생성한다.
도 5는 본 발명의 일 실시 예에 따른 조밀 깊이 지도 개선부의 상세 블록 구성도이고, 도 6은 본 발명에 따른 깊이 일관성 확인 과정의 예를 도시한 도면이고, 도 7은 본 발명에 따른 조밀 깊이 지도 수정 과정의 예를 도시한 도면이다.
도 5를 참조하면, 조밀 깊이 지도 개선부(200)는 깊이 일관성 확인부(210) 및 조밀 깊이 지도 수정부(220)를 포함한다.
깊이 일관성 확인부(210)는 조밀한 깊이지도들 사이의 깊이 일관성 확인(Inter-frame consistency checking) 작업을 수행한다. 도 6을 참조하면, 각각의 초기 조밀한 깊이지도의 영상 평면(Image
Figure 112016025876245-pat00012
) 상의 각 픽셀(
Figure 112016025876245-pat00013
)을 구하여진 깊이값 만큼 3차원 공간상의 위치에 두고(
Figure 112016025876245-pat00014
) 주변 영상평면(Image
Figure 112016025876245-pat00015
)으로 재투영하여(
Figure 112016025876245-pat00016
) 주변 영상평면에 투영된 위치(
Figure 112016025876245-pat00017
)에서의 초기 깊이 값의 크기와 재투영한 3차원 공간상의 점의 깊이 값의 크기의 차이를 <수학식 1>을 이용하여 산출한다.
<수학식 1>
Figure 112016025876245-pat00018
여기서 d(A, B)는 A와 B사이의 거리이다. 상기 <수학식 1>에 의해 산출된 깊이값의 차이가 임계치(thres) 이하이면 일관성이 있다고 판단하고, 임계치(thres) 이상이면 일관성이 없다고 판단함으로써 조밀한 깊이지도들 사이의 깊이 일관성 확인(Inter-frame consistency checking) 작업을 수행할 수 있다.
조밀 깊이 지도 수정부(220)는 깊이 일관성 확인부(210)의 확인 결과에 따라 조밀 깊이 지도에 점을 추가하고, 컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 개선한다. 상세하게는 연결점 추가부(221), 메쉬 재생성부(222) 및 깊이 지도 생성부(223)를 포함한다.
연결점 추가부(221)는 메쉬의 각 단위에서 각 단위에 포함되는 픽셀들 중 깊이 일관성이 가장 떨어지는 픽셀의 주변 픽셀들 중에서 주변 영상들과의 신뢰성 있는 일치점을 찾아내고 이렇게 찾아낸 영상들 사이의 일치점들로부터 3차원 공간상의 일치점의 위치를 구하고, 이로부터 도 7의 (a)에 도시된 바와 같이 일치점의 깊이값을 구하고 연결점(70)으로 추가한다. 이로써 초기의 조밀한 깊이지도들 사이의 깊이 일관성 확인 결과들로부터 각각의 깊이지도의 정확도와 깊이지도들 사이의 깊이 일관성을 향상시킬 수 있다.
메쉬 재생성부(222)는 도 7의 (b)에 도시된 바와 같이 추가한 연결점(70)을 포함하는 희소 깊이 지도에서 기존의 연결점과 추가한 연결점을 포함한 메쉬를 재구성한다.
깊이 지도 생성부(223)는 도 7의 (c)에 도시된 바와 같이 컬러 일관성과 메쉬 정보를 이용한 깊이지도 생성방법을 다시 수행하여 조밀한 깊이지도의 개선을 수행한다.
조밀 깊이 지도 개선부(200)는 깊이 일관성 확인부(210)에서 일관성값을 만족시킬 때까지 조밀 깊이 지도 수정부(220)에서의 동작을 반복적으로 수행할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 다시점 스테레오 방법의 순서도이다.
도 8을 참조하면, 다시점 스테레오 장치는 희소 깊이 지도로부터 컬러 정보와 메쉬 기반으로 조밀한 깊이 지도를 생성하는 단계(S810, 도 9 참조)와, 조밀한 깊이지도의 정확도와 깊이지도들 사이의 일관성 여부에 따라, 점을 추가한 희소 깊이 지도로부터 조밀한 깊이 지도를 재생성하는 단계(S820, 도 10 참조)를 포함한다.
도 9는 본 발명의 일 실시 예에 따른 초기 깊이 지도 생성 단계의 순서도이다.
도 9를 참조하면, 다시점 스테레오 장치는 3차원 공간상의 점들을 2차원 영상 평면상에 투영하여 만들어진 희소 깊이 지도(sparse depth map)를 생성한다(S910).
다시점 스테레오 장치는 컬러 정보와 메쉬 기반의 깊이지도 생성 방법을 이용한 조밀한 깊이지도(initial dense depth map)를 생성한다(S920~S930). 상세하게는 도 4의 (a)에 도시된 바와 같이 희소 깊이 지도(sparse depth map)에서 투영된 2차원 점들을 도 4의 (b)에 도시된 바와 같이 연결점(node)으로 하는 메쉬를 생성(S920)하고, 도 4의 (c)에 도시된 바와 같이 원래의 컬러 영상의 컬러 일관성과 메쉬 정보를 이용한 깊이지도 생성 방법을 이용하여 각각의 컬러 영상에 대응하는 영상 평면에서 초기의 조밀한 깊이지도를 생성한다(S930).
도 10은 본 발명의 일 실시 예에 따른 깊이 지도 재생성 단계를 설명하기 위한 순서도이다.
도 10을 참조하면, 다시점 스테레오 장치는 조밀한 깊이지도들 사이의 깊이 일관성 확인(Inter-frame consistency checking) 작업을 수행한다(S1010). 즉, 조밀한 깊이지도의 영상 평면상의 각 픽셀을 깊이값 만큼 3차원 공간상의 위치에 배치하고, 주변 영상평면으로 재투영하여, 주변 영상평면에 투영된 위치에서의 깊이값과 재투영한 3차원 공간상의 점의 깊이 값의 차이가 임계치 이하일 경우 일관성이 있다고 판단하고, 임계치를 초과할 경우 일관성이 없다고 판단한다.
다시점 스테레오 장치는 일관성 확인 결과, 일관성이 소정 임계치 이상이 아닐 경우, 조밀 깊이 지도에 점을 추가한다(S1030). 즉, 다시점 스테레오 장치는 메쉬의 각 단위에서 각 단위에 포함되는 픽셀들 중 깊이 일관성이 가장 떨어지는 픽셀의 주변 픽셀들 중에서 주변 영상들과의 신뢰성 있는 일치점을 찾아내고 이렇게 찾아낸 영상들 사이의 일치점들로부터 3차원 공간상의 일치점의 위치를 구하고 이로부터 일치점의 깊이값을 구하고 연결점으로 추가한다. 이로써 조밀한 깊이지도들 사이의 깊이 일관성 확인 결과들로부터 각각의 깊이지도의 정확도와 깊이지도들 사이의 깊이 일관성을 향상시킬 수 있다.
그런 후, 다시점 스테레오 장치는 추가한 연결점들을 포함하는 희소 깊이 지도에서 기존의 연결점과 추가한 연결점을 포함한 메쉬를 재구성한다(S1040).
다시점 스테레오 장치는 컬러 일관성과 메쉬 정보를 이용한 깊이지도 생성방법을 다시 수행하여 조밀한 깊이지도의 개선을 수행한다(S1050).
한편, 다시점 스테레오 장치는 S1020에서 일관성이 소정 임계치 이상일 경우 최종 깊이 지도를 출력(S1060)하고, 이상이 아닐 경우 조밀 깊이 지도 수정(S1030~S1050))의 동작을 반복적으로 수행될 수 있다.

Claims (16)

  1. 희소 깊이 지도로부터 컬러 정보와 메쉬 기반으로 초기의 조밀한 깊이 지도를 생성하는 초기 조밀 깊이 지도 생성부와,
    상기 조밀한 깊이지도에 점을 추가한 희소 깊이 지도로부터 조밀한 깊이 지도를 재생성하는 조밀 깊이 지도 개선부를 포함하되,
    상기 조밀 깊이 지도 개선부는 상기 조밀한 깊이지도의 일관성을 확인하는 깊이 일관성 확인부와, 상기 깊이 일관성 확인부의 확인 결과에 따라 상기 희소 깊이 지도에 점을 추가하고, 컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 개선하는 깊이 지도 수정부를 포함하고,
    상기 조밀 깊이 지도 개선부는 상기 깊이 일관성 확인 결과들로부터 메쉬의 각 단위에서 각 단위에 포함되는 픽셀들 중 깊이 일관성이 최저인 픽셀의 주변 픽셀들 중에서 주변 영상들과의 신뢰성 있는 일치점을 검색하고, 검색된 일치점들로부터 3차원 공간상의 일치점의 위치를 구하고, 일치점의 깊이값을 구하고 연결점으로 추가함을 특징으로 하는 다시점 스테레오 장치.
  2. 제1 항에 있어서, 상기 초기 조밀 깊이 지도 생성부는
    3차원 공간상의 점들을 2차원 영상 평면상에 투영한 희소 깊이 지도를 생성하는 희소 깊이 지도 생성부와,
    컬러 정보와 메쉬 기반으로 상기 희소 깊이 지도로부터 조밀한 깊이 지도를 생성하는 조밀 깊이 지도 생성부를 포함함을 특징으로 하는 다시점 스테레오 장치.
  3. 제2 항에 있어서, 상기 조밀 깊이 지도 생성부는
    상기 희소 깊이 지도에서 투영된 2차원 점들을 추출하는 연결점 추출부와,
    상기 추출된 점들을 연결하여 메쉬를 생성하는 메쉬 생성부와,
    원 컬러 영상의 컬러 일관성과 메쉬 정보를 이용하여 각각의 컬러 영상에 대응하는 영상 평면에서 조밀한 깊이지도를 생성하는 깊이 지도 생성부를 포함함을 특징으로 하는 다시점 스테레오 장치.
  4. 삭제
  5. 제1 항에 있어서, 상기 깊이 일관성 확인부는
    조밀한 깊이지도의 영상 평면상의 각 픽셀을 깊이값 만큼 3차원 공간상의 위치에 배치하고, 주변 영상평면으로 재투영하여, 주변 영상평면에 투영된 위치에서의 깊이값과 재투영한 3차원 공간상의 점의 깊이 값의 차이가 임계치 이하일 경우 일관성이 있다고 판단하고, 임계치를 초과할 경우 일관성이 없다고 판단함을 특징으로 하는 다시점 스테레오 장치.
  6. 제1 항에 있어서, 상기 조밀 깊이 지도 생성부는
    상기 깊이 일관성 확인부의 확인 결과에 따라 상기 희소 깊이 지도에 점을 추가하는 연결점 추가부와,
    추가한 연결점들을 포함하는 희소 깊이 지도에서 기존의 연결점과 추가한 연결점을 포함한 메쉬를 구성하는 메쉬 재구성부와,
    컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 재생성하는 깊이 지도 생성부를 포함함을 특징으로 하는 다시점 스테레오 장치.
  7. 삭제
  8. 제1 항에 있어서, 상기 조밀 깊이 지도 개선부는
    상기 재생성된 조밀 깊이 지도를 상기 깊이 일관성 확인부에 전달하고,
    상기 깊이 일관성 확인부는
    상기 재생성된 조밀 깊이 지도의 일관성 확인 결과 만족하는지의 여부에 따라 조밀 깊이 지도 수정부에 전달하거나, 최종 조밀 깊이 지도를 출력함을 특징으로 하는 다시점 스테레오 장치.
  9. 초기 희소 깊이 지도로부터 컬러 정보와 메쉬 기반으로 초기 조밀한 깊이 지도를 생성하는 단계와,
    상기 초기 희소 깊이지도에 점을 추가한 희소 깊이 지도로부터 조밀한 깊이 지도를 재생성하는 단계를 포함하되,
    상기 조밀한 깊이 지도를 재생성하는 단계는 상기 조밀한 깊이지도의 정확도와 깊이지도들 사이의 일관성을 확인하는 단계와, 상기 일관성 확인 결과에 따라 상기 희소 깊이 지도에 점을 추가하고, 컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 개선하는 단계를 포함하고,
    상기 조밀한 깊이 지도를 재생성하는 단계는, 상기 깊이 일관성 확인 결과들로부터 메쉬의 각 단위에서 각 단위에 포함되는 픽셀들 중 깊이 일관성이 최저인 픽셀의 주변 픽셀들 중에서 주변 영상들과의 신뢰성 있는 일치점을 검색하고, 검색된 일치점들로부터 3차원 공간상의 일치점의 위치를 구하고, 일치점의 깊이값을 구하고 연결점으로 추가함을 특징으로 하는 다시점 스테레오 방법.
  10. 제9 항에 있어서, 상기 생성하는 단계는
    3차원 공간상의 점들을 2차원 영상 평면상에 투영한 희소 깊이 지도를 생성하는 단계와,
    컬러 정보와 메쉬 기반으로 상기 희소 깊이 지도로부터 조밀한 깊이 지도를 생성하는 단계를 포함함을 특징으로 하는 다시점 스테레오 방법.
  11. 제10 항에 있어서, 상기 조밀한 깊이 지도를 생성하는 단계는
    상기 희소 깊이 지도에서 투영된 2차원 점들을 추출하는 단계와,
    상기 추출된 점들을 연결하여 메쉬를 생성하는 단계와,
    원 컬러 영상의 컬러 일관성과 메쉬 정보를 이용하여 각각의 컬러 영상에 대응하는 영상 평면에서 조밀한 깊이지도를 생성하는 단계를 포함함을 특징으로 하는 다시점 스테레오 방법.
  12. 삭제
  13. 제9 항에 있어서, 상기 일관성을 확인하는 단계는
    초기 조밀한 깊이지도의 영상 평면상의 각 픽셀을 깊이값 만큼 3차원 공간상의 위치에 배치하는 단계와,
    주변 영상평면으로 재투영하는 단계와,
    주변 영상평면에 투영된 위치에서의 깊이값과 재투영한 3차원 공간상의 점의 깊이 값의 차이를 산출하는 단계와,
    상기 산출된 차이가 임계치 이하일 경우 일관성이 있다고 판단하고, 임계치를 초과할 경우 일관성이 없다고 판단함을 특징으로 하는 다시점 스테레오 방법.
  14. 제9 항에 있어서, 상기 조밀한 깊이 지도를 개선하는 단계는
    상기 깊이 일관성 확인부의 확인 결과에 따라 상기 희소 깊이 지도에 점을 추가하는 단계와,
    추가한 연결점들을 포함하는 희소 깊이 지도에서 기존의 연결점과 추가한 연결점을 포함한 메쉬를 구성하는 단계와,
    컬러 일관성과 상기 메쉬 정보를 이용한 깊이지도 생성방법을 재수행하여 조밀한 깊이지도를 재생성하는 단계를 포함함을 특징으로 하는 다시점 스테레오 방법.
  15. 삭제
  16. 제9 항에 있어서, 상기 재생성하는 단계는
    상기 재생성된 조밀 깊이 지도의 일관성 확인 결과 만족하는지의 여부에 따라 조밀 깊이 지도 수정 단계를 반복함을 특징으로 하는 다시점 스테레오 방법.
KR1020160032259A 2016-03-17 2016-03-17 다시점 스테레오 장치 및 방법 KR101892737B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160032259A KR101892737B1 (ko) 2016-03-17 2016-03-17 다시점 스테레오 장치 및 방법
US15/397,853 US20170272724A1 (en) 2016-03-17 2017-01-04 Apparatus and method for multi-view stereo

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160032259A KR101892737B1 (ko) 2016-03-17 2016-03-17 다시점 스테레오 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170108410A KR20170108410A (ko) 2017-09-27
KR101892737B1 true KR101892737B1 (ko) 2018-08-28

Family

ID=59848048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160032259A KR101892737B1 (ko) 2016-03-17 2016-03-17 다시점 스테레오 장치 및 방법

Country Status (2)

Country Link
US (1) US20170272724A1 (ko)
KR (1) KR101892737B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368047B2 (en) * 2017-02-15 2019-07-30 Adone Inc. Six-degree of freedom video playback of a single monoscopic 360-degree video
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US11244464B2 (en) 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
CN109300190B (zh) 2018-09-06 2021-08-10 百度在线网络技术（北京）有限公司 三维数据的处理方法、装置、设备和存储介质
US10832487B1 (en) 2018-09-27 2020-11-10 Apple Inc. Depth map generation
FR3088510A1 (fr) * 2018-11-09 2020-05-15 Orange Synthese de vues
US10929995B2 (en) * 2019-06-24 2021-02-23 Great Wall Motor Company Limited Method and apparatus for predicting depth completion error-map for high-confidence dense point-cloud
CN113034562B (zh) * 2019-12-09 2023-05-12 百度在线网络技术（北京）有限公司 用于优化深度信息的方法和装置
CN110992271B (zh) * 2020-03-04 2020-07-07 腾讯科技（深圳）有限公司 图像处理方法、路径规划方法、装置、设备及存储介质
WO2022000266A1 (en) * 2020-06-30 2022-01-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for creating depth map for stereo moving image and electronic device
KR102665543B1 (ko) 2021-02-22 2024-05-16 한국전자통신연구원 다시점 영상으로부터의 깊이지도 생성 장치 및 방법
EP4414814A1 (en) * 2023-02-08 2024-08-14 Apple Inc. Temporal blending of depth maps

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146971A1 (en) * 2013-11-27 2015-05-28 Autodesk, Inc. Mesh reconstruction from heterogeneous sources of data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146971A1 (en) * 2013-11-27 2015-05-28 Autodesk, Inc. Mesh reconstruction from heterogeneous sources of data

Also Published As

Publication number Publication date
US20170272724A1 (en) 2017-09-21
KR20170108410A (ko) 2017-09-27

Similar Documents

Publication Publication Date Title
KR101892737B1 (ko) 다시점 스테레오 장치 및 방법
KR101676830B1 (ko) 영상 처리 장치 및 방법
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
JP5106375B2 (ja) ３次元形状復元装置及びそのプログラム
US20150254502A1 (en) Apparatus and method for creating three-dimensional personalized figure
KR101428627B1 (ko) 개선된 이미지 매칭을 위한 방법 및 장치
CN107924571A (zh) 从点云中对人耳进行三维重建
CN101933335A (zh) 将二维图像数据转换为立体图像数据的方法和系统
KR20080108430A (ko) 2ｄ 영상들로부터 3ｄ 안면 재구성
CN114445256B (zh) 一种数字水印的训练方法、装置、设备及存储介质
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
JP2012208759A (ja) ３次元形状モデル高精度化方法およびプログラム
KR100603602B1 (ko) 조밀하지 않은 비정렬 3차원 측정점들을 이용한 3차원메쉬 생성 방법
KR20200075380A (ko) 보로노이 테셀레이션 및 k-최근접 이웃 알고리즘을 이용한 포인트 클라우드 재추출 방법 및 시스템
KR20170111135A (ko) 양자화된 뎁스-맵을 이용한 이미지-홀로그램 변환 방법 및 시스템
KR102115928B1 (ko) 스테레오 매칭 기법과 딥러닝 알고리즘을 이용한 안개 제거 방법 및 장치
KR102665543B1 (ko) 다시점 영상으로부터의 깊이지도 생성 장치 및 방법
EP2966867A1 (en) Methods and devices for encoding and decoding a sequence of frames representing a 3D scene, and corresponding computer program products and computer-readable medium
Chen et al. Bipartite polar classification for surface reconstruction
KR101850649B1 (ko) 센서스 변환 기반의 스테레오 정합 장치 및 방법
Peng et al. Projective reconstruction with occlusions
KR101794709B1 (ko) 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치
CN111372081B (zh) 基于丢失块修复的分布式多视点视频解码的方法和装置
KR100779113B1 (ko) 적응적 변이 추정 알고리즘을 이용한 스테레오 영상 워터마킹 방법 및 시스템
KR101355894B1 (ko) 적응적 깊이 융합을 이용한 2차원 영상의 3차원 영상 변환장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant