KR20200107217A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20200107217A
KR20200107217A KR1020190026005A KR20190026005A KR20200107217A KR 20200107217 A KR20200107217 A KR 20200107217A KR 1020190026005 A KR1020190026005 A KR 1020190026005A KR 20190026005 A KR20190026005 A KR 20190026005A KR 20200107217 A KR20200107217 A KR 20200107217A
Authority
KR
South Korea
Prior art keywords
depth
point
reliability
points
cluster
Prior art date
Application number
KR1020190026005A
Other languages
English (en)
Other versions
KR102407137B1 (ko
Inventor
엄기문
윤정일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190026005A priority Critical patent/KR102407137B1/ko
Priority to US16/799,086 priority patent/US20200288102A1/en
Publication of KR20200107217A publication Critical patent/KR20200107217A/ko
Application granted granted Critical
Publication of KR102407137B1 publication Critical patent/KR102407137B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 깊이 클러스터링을 통해 다시점 깊이맵을 3차원 공간 상에서 결합하여 3D 가상 시점 영상을 생성하는 영상 처리 방법 및 장치를 제공한다.
본 발명의 실시예에 따른 영상 처리 방법 및 장치는 깊이 클러스터별로 컬러와 깊이 정보를 저장하여 가상 시점 영상의 생성 시에 차폐 영역 및 홀 영역으로 인한 영향을 최소화한다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR IMAGE PROCESSING}
본 발명은 영상 처리 방법 및 장치에 관한 것으로, 상세하게는 깊이 클러스터링을 통해 다시점 깊이맵을 3차원 공간 상에서 결합하여 3D 가상 시점 영상을 생성하는 영상 처리 방법 및 장치에 관한 것이다.
3D 영상을 구현하는 경우에는 서로 다른 시점의 영상 간 시차를 이용하여 깊이감을 생성한다. 다시점 영상을 생성하기 위해, 좌우의 컬러 영상과 깊이 영상으로부터 가상 시점의 영상을 생성하거나, 세 시점 이상의 영상을 기반으로 렌더링을 통해 가상 시점의 영상을 생성할 수 있다.
이와 같은 종래 기술은 깊이 정보 추출을 위하여 좌우 영상을 정합하는 과정이나 또는 컬러가 비슷한 영역이 많은 영상에서 깊이 정보 추출 시에 깊이 오류가 쉽게 발생한다.
또한 종래의 다중 영상 기반으로 다중 깊이맵을 생성하고, 이로부터 중간 시점 영상 생성을 생성하는 기술은 차폐영역의 존재와 깊이 불연속의 존재로 인해 중간 시점 영상 생성시 artifact 및 hole 발생으로 인한 화질 저하가 발생하는 문제점이 있다.
전술한 문제를 해결하기 위하여, 본 발명은 깊이 클러스터링을 통해 다시점 깊이맵을 3차원 공간 상에서 결합하여 3D 가상 시점 영상을 생성하는 영상 처리 방법 및 장치를 제공한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
본 발명의 실시예에 따른 영상 처리 방법은, 복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 깊이맵의 각 포인트의 깊이 신뢰도를 결정하는 단계, 각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑하는 단계, 상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성하는 단계 및 상기 3D 포인트 구름의 각 3D 포인트를 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성하는 단계를 포함한다.
깊이 신뢰도는 상기 복수의 시점 영상의 시점 영상을 두 개씩 매칭하여 찾은 대응점 간의 유사도이다.
본 발명의 실시예에 따른 영상 처리 방법은, 복수의 시점 영상 간의 대응점 관계를 결정하는 단계, 상기 대응점 관계에 따라 서로 대응하는 포인트의 공통 깊이값을 선택하는 단계 및 상기 공통 깊이값을 상기 3D 포인트 구름에 반영하는 단계를 더 포함한다.
상기 공통 깊이값을 선택하는 단계는, 상기 서로 대응하는 포인트의 깊이값 중 가장 많은 표를 획득한 깊이값 또는 상기 깊이 신뢰도가 가장 높은 깊이값을 상기 공통 깊이값으로 선택한다.
상기 3D 포인트 구름으로 매핑하는 단계는, 카메라 정보에 기반하여 상기 다시점 깊이맵을 상기 기준 좌표계 상의 3D 포인트 구름으로 매핑할 수 있다.
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는, 상기 기준 좌표계의 깊이축에 수직한 XY평면 상에 위치한 제 1 포인트를 제 1 깊이 클러스터에 추가하는 단계, 상기 XY 평면을 상기 깊이축을 따라 이동시키면서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는 단계 및 상기 제1 포인트 및 상기 제2 포인트의 깊이 신뢰도가 기준 신뢰도 이상이고, 상기 제 1 포인트 및 상기 제2 포인트 간의 컬러 차이가 기준 컬러차 이하이면 상기 제 2 포인트를 상기 제 1 깊이 클러스터에 추가하는 단계를 포함한다.
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는, 상기 제1 포인트 및 상기 제2 포인트의 깊이 신뢰도 중 적어도 하나가 기준 신뢰도 이하인 경우, 또는 상기 제1 포인트 및 상기 제2 포인트의 깊이 신뢰도가 모두 기준 신뢰도 이상이고 제 1 포인트 및 상기 제2 포인트 간의 컬러 차이가 기준 컬러차 이상인 경우, 상기 제 2 포인트를 상기 제 1 깊이 클러스터에 추가하지 않는 단계를 더 포함한다.
상기 제 2 포인트를 찾는 단계는, 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축을 따라 이동시키면서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는다.
상기 가상 시점 영상을 생성하는 단계는, 상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터의 깊이값이 감소하는 방향으로 진행하면서 깊이 클러스터별로 각각 상기 가상 시점으로 투영하는 단계를 포함한다.
상기 가상 시점 영상을 생성하는 단계는, 복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계 및 상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차 이상인 경우, 상기 두 개의 3D포인트 중 상기 가상 시점의 방향으로 최전방에 위치한 3D 포인트의 컬러를 상기 XY 위치의 컬러로 결정하는 단계를 포함한다.
상기 가상 시점 영상을 생성하는 단계는, 복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계 및 상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차 미만인 경우, 상기 두 개의 3D 포인트의 깊이 신뢰도를 가중치로 하여 상기 두 개의 3D 포인트의 컬러를 블렌딩한 컬러를 상기 XY 위치의 컬러로 결정하는 단계를 포함한다.
상기 가상 시점 영상을 생성하는 단계는, 생성된 가상 시점 영상에서 투영되지 않은 3D 포인트는, 상기 가상 시점 영상에 이미 투영된 3D 포인트 중에 가상 시점 방향으로 가장 멀리 있는 3D 포인트의 컬러로 보간하는 단계를 포함한다.
본 발명의 실시예에 따른 깊이 클러스터링 기반 영상 처리 방법은 복수의 시점 영상을 3D 좌표 공간 상의 3D 포인트 구름으로 매핑하는 단계 및 상기 3D 좌표 공간의 깊이축에 수직한 XY 평면을 상기 깊이축을 따라 이동시키면서, 상기 3D 포인트 구름의 각 포인트의 깊이 신뢰도 및 컬러 차이에 기반하여 각 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성하는 단계를 포함한다.
상기 적어도 하나의 깊이 클러스터를 생성하는 단계는 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축을 따라 이동시키면서 각 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성한다.
본 발명의 실시예에 따른 영상 처리 장치는, 서로 다른 시점 영상을 촬영하는 복수의 카메라 및 프로세서를 포함하고, 상기 프로세서는,
복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 깊이맵의 각 포인트의 깊이 신뢰도를 결정하고, 각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑하고, 상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성하고, 상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성하도록 설정된다.
본 발명은 3차원 공간 상에 적어도 하나의 깊이 클러스터를 생성하고, 깊이 클러스터별로 컬러와 깊이 정보를 저장하여 가상 시점 영상을 생성 시에 홀 영역에서의 artifact를 최소화할 수 있는 영상 처리 방법 및 장치를 제공한다.
또한 본 발명의 영상 처리 방법 및 장치는 깊이 클러스터링을 통해 다중 컬러 영상과 깊이맵을 결합하여 3D 가상 시점 영상을 생성하므로 차폐 영역을 최소화하고 3D 영상의 품질을 제고한다.
도 1은 실시예에 따른 영상 처리 시스템을 개략적으로 도시한다.
도 2는 실시예에 따른 영상 처리 방법의 과정을 도시하는 순서도이다.
도 3은 일 예에 따른 영상 처리 방법의 세부 과정을 도시하는 순서도이다.
도 4는 일 예에 따른 깊이 클러스터링 과정을 도시하는 순서도이다.
도 5는 실시예에 따른 영상 처리 장치를 도시한 블록도이다.
본 발명이 구현되는 양상을 이하의 바람직한 각 실시예를 들어 설명한다. 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 본 발명의 기술적 사상의 범주 내에서 그 외의 다른 다양한 형태로 구현될 수 있음은 자명하다. 본 명세서에서 사용된 용어 역시 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 요소가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 요소의 존재 또는 추가됨을 배제하지 않는다.
이하, 첨부 도면을 참조하여 바람직한 각 실시예를 통해 본 발명의 구성에 대하여 상세히 설명한다. 본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
도 1은 실시예에 따른 영상 처리 시스템을 개략적으로 도시한다.
예시적인 영상 처리 시스템은 영상 처리 장치(100), 복수의 카메라(110), 출력 장치(120)을 포함한다.
복수의 카메라(110)는 서로 다른 시점의 위치에 배열된 카메라군으로서, 일렬 또는 2D 어레이와 같은 형태로 배열된 카메라군을 포함한다. 또한 복수의 카메라(110)는 적어도 하나의 깊이 카메라를 포함할 수 있다.
영상 처리 장치(100)는 복수의 카메라(110)에서 촬영한 다시점 영상을 입력받아서 본 발명에 따른 영상 처리 방법을 수행하고 결과로 생성된 3D 영상을 출력 장치(120)로 전달한다. 이하에서 도 2 내지 도 4를 참조하여 본 발명의 실시예에 따른 영상 처리 방법을 살펴본다.
도 2는 실시예에 따른 영상 처리 방법의 과정을 도시하는 순서도이다.
도 5를 참조하여 영상 처리 장치(100)의 입력부(510)는 서로 다른 시점에서 촬영된 복수의 시점 영상을 영상 처리 장치(100)에 제공한다.
단계(210)에서 도 5를 참조하여 영상 처리 장치(100)의 깊이 결정부(520)는 입력부(510)를 통해 수신한 복수의 시점 영상의 다시점 깊이맵을 획득하고 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정한다.
복수의 시점 영상은 서로 시점이 다른 시점 영상을 복수 개만큼 포함한다. 깊이 결정부(520)는 복수의 시점 영상에 포함된 각 시점 영상별로 깊이맵을 생성한다. 시점 영상의 깊이맵은 관찰 시점에서 보았을 때 촬영 대상의 표면과의 거리를 나타내는 값인 깊이값을 시점 영상의 각 지점(예를 들어 픽셀)별로 저장한 영상 또는 영상의 한 채널이다. 다시점 깊이맵은 서로 시점이 다른 시점 영상의 깊이맵의 집합을 의미한다. 깊이 결정부(520)는 복수의 시점 영상의 다시점 깊이맵을 생성하거나 또는 외부에서 생성된 다시점 깊이맵을 입력부(510)를 통해 수신한다. 깊이 결정부(520)가 다시점 깊이맵을 생성하는 경우, 깊이 카메라에서 얻은 깊이값을 사용하거나 및/또는 복수의 카메라에서 촬영한 다시점 영상을 스테레오 매칭하여 얻은 변이값을 깊이값으로 변환하여 사용한다.
다시점 깊이맵의 각 포인트의 깊이 신뢰도는 해당 포인트의 깊이값에 대한 신뢰도를 의미한다. 깊이 신뢰도 결정에 대하여는 도 3을 참조하여 살펴본다.
단계(220)에서 도 5를 참조하여 영상 처리 장치(100)의 3D 포인트 투영부(530)는 각 시점 영상을 기준 좌표계 상의3D 포인트 구름(point cloud)으로 매핑한다. 즉, 단계(220)에서 3D 포인트 투영부(530)는 복수의 시점 영상을 3D 좌표 공간 상의 3D 포인트 구름으로 매핑한다.
3D 포인트 구름은 3D 좌표 공간에 매핑된 3D 포인트의 집합으로서, 복수의 시점 영상의 모든 포인트를 포함한다.
단계(230)에서 도 5를 참조하여 영상 처리 장치(100)의 깊이 클러스터 생성부(540)는 단계(210)에서 결정한 깊이 신뢰도에 기반하여 단계(220)에서 매핑된 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성한다. 즉, 깊이 클러스터 생성부(540)는 3D 좌표 공간의 깊이축에 수직한 XY 평면을 깊이축을 따라 이동시키면서, 단계(220)에서 매핑된 3D 포인트 구름의 각 3D 포인트의 깊이 신뢰도 및 컬러 차이에 기반하여 각 3D 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성한다. 깊이 클러스터링에 관하여는 도 4를 참조하여 후술한다.
단계(240)에서 도 5를 참조하여 영상 처리 장치(100)의 가상 시점 영상 생성부(550)는 3D 포인트 구름의 각 3D 포인트를 단계(230)에서 생성된 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성한다.
가상 시점 영상은 가상 시점에서 대상물을 바라본 영상으로서, 복수의 카메라에 의해 실제로 촬영된 다시점 영상을 이용하여 만든 실제로 촬영되지 않은 가상의 시점의 영상이다. 예를 들어, 가상 시점 영상은 카메라와 카메라 사이의 중간 시점에서 대상물을 바라본 중간 시점 영상을 포함한다.
도 3은 일 예에 따른 영상 처리 방법의 세부 과정을 도시하는 순서도이다. 도 3의 각 단계의 동작을 도 5의 영상 처리 장치를 참조하여 살펴본다.
단계(310)에서 깊이 결정부(520)는 복수의 시점 영상의 다시점 깊이맵을 획득한다. 추가적으로 깊이 결정부(520)는 복수의 시점 영상에 포함된 각 시점 영상의 변이맵을 획득한다.
깊이 결정부(520)가 깊이맵 또는 변이맵을 결정하는 경우, 깊이 결정부(520)는 복수의 시점 영상을 두 개씩(pairwise) 매칭하는 스테레오 매칭을 통해 변이값을 추정하여 변이맵 또는 깊이맵을 각각 생성한다. 대안적으로 깊이 결정부(520)는 입력부(510)를 통해 다시점 깊이맵 또는 변이맵을 수신할 수 있다. 예를 들어, 깊이 결정부(520)는 복수의 시점 영상의 인접하는 두 시점 영상에 대하여 스테레오 매칭을 진행한다. 대안적인 예에서, 깊이 결정부(520)는 복수의 시점 영상의 서로 다른 두 시점 영상의 모든 쌍에 대하여 스테레오 매칭을 진행할 수 있다.
단계(315)에서 깊이 결정부(520)는 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정한다. 추가적으로 깊이 결정부(520)는 다시점 변이맵의 각 포인트의 변이 신뢰도를 결정한다.
깊이 신뢰도는 복수의 시점 영상의 시점 영상을 두 개씩 매칭하여 찾은 대응점 간의 유사도이다. 예를 들어, 깊이 신뢰도는 한 쌍의 시점 영상의 대응점 간의 매칭의 정도를 수치화한 값이다.
복수의 시점 영상의 시점 영상을 두 개씩 스테레오 매칭 시에, 제 1 영상의 제 1 포인트에 대응하는 제 2 영상의 제 2 포인트를 결정하기 위하여 깊이 결정부(520)는 제 2 영상의 일부를 탐색 영역으로 선택한다. 선택된 탐색 영역의 각 포인트는 제 2 포인트가 될 가능성이 있는 후보 포인트가 된다. 깊이 결정부(520)는 후보 포인트와 제 1 포인트의 유사도를 사전설정된 유사도 함수에 따라 계산하고 사전설정된 임계치보다 높은 크기의 유사도를 갖는 포인트 중에 유사도가 가장 높은 후보 포인트를 제 2 포인트로 결정한다. 여기서, 유사도 함수는 대응하는 한 쌍의 포인트의 예를 들어 컬러 유사도, 컬러 분포 및/또는 그래디언트(gradient) 값을 비교하여 두 포인트 간의 유사도를 계산하는 함수이다. 이와 유사한 방식으로 깊이 결정부(520)는 변이맵의 각 포인트의 변이 신뢰도를 결정한다.
일 예에서, 단계(310) 및 단계(315)는 동시에 진행된다.
단계(320)에서 깊이 결정부(520)는 단계(310)에서 획득한 변이맵 또는 깊이맵에 대한 후처리를 수행한다. 즉, 깊이 결정부(520)는 단계(320)에서 좌우 일관성 검사(L-R Consistency Check)를 수행하여 차폐 영역(occlusion region)을 검출하고 검출된 차폐 영역의 각 포인트를 바이너리 값으로 표시한 마스크(mask)를 생성한다. 좌우 일관성 검사는 예를 들어 좌 영상에 대한 우 영상의 일관성 검사 및 우 영상에 대한 좌 영상의 일관성 검사를 교차 수행한다. 깊이 결정부(520)는 생성된 마스크를 이용하여 복수의 시점 영상을 두 개씩 정합하는 과정에서 발생한 오정합된 변이나 깊이를 제거할 수 있다. 일 예에서, 단계(320)은 선택적으로 수행될 수 있다. 즉, 단계(320)은 설정에 따라 생략될 수 있다.
단계(325)에서 깊이 결정부(520)는 복수의 시점 영상 간의 대응점 관계를 결정한다. 대응점 관계는 깊이 신뢰도를 결정하는 단계인 단계(315)에서 제 1 시점 영상의 제 1 포인트와 가장 유사한 제 2 시점 영상의 제 2 포인트의 대응 관계를 의미한다. 예를 들어, 제 1 포인트의 대응점은 제 2 포인트이다. 마찬가지로, 제 2 시점 영상의 제 2 포인트와 대응점 관계에 있는 제 3 시점 영상의 제 3 포인트를 결정한다. 예를 들어, 복수의 시점 영상이 N 개의 시점 영상을 포함하는 경우, 제 1 시점 영상의 제 1 포인트, 제 2 시점 영상의 제 2 포인트, 제 3 시점 영상의 제 3 포인트, 내지 제 N 시점 영상의 제 N 포인트는 대응점 관계에 있다. 즉, 대응점 관계는 복수의 시점 영상에 걸쳐서 정의된다. 대응점 관계는 복수의 시점 영상에 걸쳐서 복수의 포인트를 연결한다. 대응점 관계는 예를 들어 순서 리스트(linked list) 또는 트리(tree) 구조로 표현된다.
대안적으로, 깊이 결정부(520)는 단계(315)에서 복수의 시점 영상 간의 대응점 관계를 결정하고, 단계(325)에서는 해당 대응점 관계를 저장한다.
단계(330)에서 3D 포인트 투영부(530)는 각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑한다.
구체적으로, 3D 포인트 투영부(530)는 카메라 정보에 기반하여 다시점 깊이맵의 각 포인트의 좌표를 기준 좌표계의 3D 좌표로 변환한다. 여기서 다시점 깊이맵은 단계(310)에서 결정되고 선택적으로 단계(320)에서 후처리된 다시점 깊이맵이다. 카메라 정보는 예를 들어 복수의 시점 영상을 촬영한 복수의 카메라의 상호 위치 관계, 각 시점 영상을 촬영한 카메라의 위치 정보, 자세 정보 및 베이스 라인 길이 정보를 포함한다. 예를 들어, 카메라 정보는 카메라 캘리브레이션을 통해 얻을 수 있다. 다른 예에서, 3D 포인트 투영부(530)는 다시점 변이맵을 변환하여 획득한 다시점 깊이맵의 각 포인트의 좌표를 기준 좌표계의 3D 좌표로 변환한다.
대안적으로, 3D 포인트 투영부(530)는 다시점 변이맵으로부터 직접 각 포인트의 좌표를 기준 좌표계의 3D 좌표로 변환할 수 있다. 즉, 단계(330)에서 3D 포인트 투영부(530)는 변이맵 상의 각 점을 촬영한 각 카메라 정보를 이용하여 해당 점을 기준 좌표계로 투영한다.. 여기서 변이맵은 단계(310)에서 결정되고 선택적으로 단계(320)에서 후처리된 변이맵이다.
기준 좌표계는 기준 영상의 3D좌표계를 의미한다. 기준 영상은 복수의 시점 영상 중 3D 포인트 구름 매핑 시에 사용할 3D 좌표계를 정의하기 위한 기준이 되는 영상이다. 예를 들어 기준 영상은 중앙 시점 영상이다. 기준 영상은 추출된 카메라 정보에 따라 결정될 수 있다. 예를 들어, 기준 영상은 추출된 카메라 정보에 따라 복수의 카메라 중 중앙에 위치한 카메라로 촬영한 시점 영상이다.
그 후, 3D 포인트 투영부(530)는 변환된 3D 좌표에 따라 각 시점 영상의 각 포인트를 기준 좌표계 상의 3D 포인트 구름으로 매핑한다. 이로써, 복수의 시점 영상은 3차원 공간에 3D 포인트 구름으로 통합되어 매핑된다. 예를 들어, 3D 포인트 투영부(530)는 카메라 정보에 기반하여 다시점 깊이맵을 기준 좌표계 상의 3D 포인트 구름으로 매핑한다.
단계(335)에서 3D 포인트 투영부(530)는 단계(330)에서 매핑된 3D 포인트 구름을 기준 영상을 기준으로 하여 복수의 깊이 단위로 분할한다. 깊이 단위는 고정된 상수이거나 조절가능한 변수이다.
각 깊이 단위에 따라 분할된 3D 포인트 구름은 각각 별도의 3차원 깊이 볼륨(depth volume)을 형성한다. 예를 들어, 3차원 깊이 볼륨은 직육면체 형태의 복셀 공간이다.
깊이 단위는 단계(345)에서 살펴볼 깊이 클러스터링의 단위를 결정한다. 단계(345)에서 깊이 클러스터링은 각 깊이 단위에 따라 분할된 복셀 공간 단위로 진행된다. 즉, 깊이 단위의 크기가 클수록 단계(345)에서 더 깊은 범위의 깊이값을 가지는 3D 포인트들에 대하여 깊이 클러스터링을 진행하게 된다. 예를 들어, 깊이 단위가 8비트인 경우에, 분할된 복셀 공간의 깊이는 0 내지 255가 되고, 해당 복셀 공간 내의 3D 포인트들에 대하여 깊이 클러스터링을 진행한다. 결과적으로, 깊이 단위에 따라 분할된 하나의 복셀 공간 당 하나의 깊이 클러스터를 생성한다.
단계(340)에서 3D 포인트 투영부(530)는 단계(325)에서 결정한 대응점 관계에 따라 서로 대응하는 포인트의 공통 깊이값을 선택한다.
예를 들어, 3D 포인트 투영부(530)는 대응점 관계에 따라 서로 대응하는 포인트의 깊이값 중 가장 많은 표를 획득한 깊이값을 공통 깊이값으로 선택한다. 이를 위하여 3D 포인트 투영부(530)는 복수의 시점 영상에 걸쳐서 서로 대응하는 포인트들에 대하여 깊이값 voting을 수행하여 가장 많이 득표한 깊이값을 공통 깊이값으로 선택한다. 예를 들어, 서로 대응하는 각 포인트의 깊이값이 등장한 횟수를 카운팅하여 가장 많이 등장한 깊이값을 공통 깊이값으로 선택한다.
다른 예로, 3D 포인트 투영부(530)는 서로 대응하는 포인트의 깊이값 중에 깊이 신뢰도가 가장 높은 깊이값을 공통 깊이값으로 선택한다.
단계(340)에서 3D 포인트 투영부(530)는 선택된 공통 깊이값을 단계(330)에서 매핑된 3D 포인트 구름에 반영한다.
단계(345)에서 깊이 클러스터 생성부(540)는 단계(315)에서 계산한 깊이 신뢰도에 기반하여3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성한다. 즉, 깊이 클러스터 생성부(540)는 3차원 공간 상에 매핑된 3D 포인트 구름의 모든 3D 포인트에 대하여 각 (x,y) 위치 마다 깊이값 z를 증가하면서, 깊이축 방향으로 중첩 매핑된 3D 포인트가 없을 때까지 깊이 클러스터링을 수행하여 깊이 클러스터를 생성한다. 구체적인 깊이 클러스터링 과정은 도 4를 참조하여 이하에서 살펴본다.
도 4는 일 예에 따른 깊이 클러스터링 과정을 도시하는 순서도이다.
단계(410)에서 깊이 클러스터 생성부(540)는 기준 좌표계의 깊이축에 수직한 XY평면 상에 위치한 제 1 포인트를 제 1 깊이 클러스터에 추가한다. 즉, 깊이 클러스터 생성부(540)는 깊이값 Z=0부터 시작하여 XY 평면 상의 현재 XY위치에서 제 1 포인트를 찾을 때까지 Z를 증가시킨다. 제 1 포인트를 발견하면 새로운 클러스터를 생성하여 제 1 포인터를 생성된 클러스터에 추가하고, 전체 클러스터의 개수와 생성된 클러스터의 3D 포인트의 개수를 하나씩 증가시킨다. 말하자면, 깊이 클러스터 생성부(540)는 XY 평면을 깊이값이 증가하는 방향으로 깊이축을 따라 이동시키면서 각 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성한다.
단계(415)에서 깊이 클러스터 생성부(540)는 XY 평면을 깊이축을 따라 이동시키면서 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는다. 단계(420)에서 제 1 포인트와 동일한 XY 좌표를 갖는 제 2 포인트를 찾을 때까지 Z를 증가시킨다. 예를 들어, 단계(415)에서 깊이 클러스터 생성부(540)는 제 1 포인트의 앞뒤 깊이(Z±1)에 제 1 포인트와 동일한 XY 좌표를 갖는 제 2 포인트가 존재하는 지 판단하고 단계(420)에서 위와 같은 제 2 포인트가 존재할 때까지 Z를 증가시킨다.
즉, 단계(415)에서 깊이 클러스터 생성부(540)가 제 2 포인트를 찾는 과정은, XY 평면을 깊이값이 증가하는 방향으로 깊이축을 따라 이동시키면서 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는다.
단계(415)에서 제 2 포인트가 존재하면, 깊이 클러스터 생성부(540)는 단계(430)에서 제1 포인트 및 제2 포인트의 깊이 신뢰도가 기준 신뢰도 이상인 지 여부(조건 1) 및 제 1 포인트 및 제2 포인트 간의 컬러 차이가 기준 컬러차 이하인 지 여부(조건 2)를 판단한다.
단계(430)의 제 1 포인트 및 제 2 포인트가 조건 1 및 조건 2를 모두 만족하는 경우에, 깊이 클러스터 생성부(540)는 단계(435)에서 제 2 포인트를 제 1 포인트와 동일한 깊이 클러스터에 추가한다. 즉, 제 1 포인트와 제 2 포인트 간의 깊이 신뢰도 및 컬러 차이를 비교하여, 제 1 포인트 및 제 2 포인트의 깊이 신뢰도가 임계값(Th1) 이상이고, 양 포인트 간의 컬러 차이가 임계값(Th2) 이하이면 현재 제 1 포인트가 속한 클러스터에 제 2 포인트를 추가한다.
단계(450)에서 깊이 클러스터 생성부(540)는 제1 포인트 및 제2 포인트의 깊이 신뢰도 중 적어도 하나가 기준 신뢰도 이하인 경우에 해당 포인트를 깊이 클러스터에 추가하지 않는다. 즉, 깊이 클러스터 생성부(540)는 제 1 포인트 및 제 2 포인트 중 어느 하나라도 깊이 신뢰도가 임계값(Th1) 미만이면 해당 포인트를 깊이 클러스터에 추가하지 않고 제거한다.
단계(460)에서 깊이 클러스터 생성부(540)는 제 1 포인트 및 제 2 포인트의 깊이 신뢰도가 모두 기준 신뢰도 이상이고 제 1 포인트 및 제2 포인트 간의 컬러 차이가 기준 컬러차 이상이면, 제 2 포인트를 제 1 깊이 클러스터에 추가하지 않는다. 이 경우, 깊이 클러스터 생성부(540)는 제 2 포인트를 제 1 포인트와는 다른 객체에 속한 3D 포인트 또는 배경으로 간주하고 현재 깊이 클러스터에 추가하지 않는다.
단계(440)에서 깊이 클러스터 생성부(540)는 현재 깊이 단계 내의 모든 3D 포인트를 조사하였는 지를 확인한다. 단계(440)에서 현재 깊이 단계 내에 조사하지 않은 3D 포인트가 있는 경우, 단계(410)으로 돌아간다.
단계(440)에서 현재 깊이 단계 내의 모든 3D 포인트를 조사한 경우, 현재 XY 위치에 3D 포인트가 남아있는 지를 확인한다. 현재 XY 위치에 3D 포인트가 남아있는 경우, 다음 깊이 단계로 진행하여 단계(410)으로 돌아간다. 이 경우에, Z를 0으로 리셋하고 단계(410)을 수행한다.
현재 XY 위치에 3D 포인트가 남아있지 않은 경우, 단계(445)에서 깊이 클러스터 생성부(540)는 다음 XY 위치로 진행하여 단계(410)으로 돌아간다. 이 경우에, Z를 0으로 리셋하고 단계(410)을 수행한다. 즉, 현재 XY 위치 내에 3D 포인트가 없을 때까지 단계(410) 이하를 반복한다.
더 이상 새로운 클러스터가 생성되지 않고 3D 포인트 구름에 매핑된 3D 포인트가 남아있지 않거나 또는 가장 먼 깊이 단계까지 조사가 완료된 경우 단계(345)의 깊이 클러스터링을 종료한다.
다시 도 3으로 돌아와서, 단계(350)에서 가상 시점 영상 생성부(550)는3D 포인트 구름의 각 3D 포인트를 단계(345)에서 생성된 깊이 클러스터별로 가상 시점으로 투영하는 단계를 포함한다.
단계(350)에서 가상 시점 영상 생성부(550)는 3D 포인트 구름의 각 3D 포인트를 단계(345)에서 생성된 깊이 클러스터의 깊이값이 감소하는 방향으로 진행하면서 깊이 클러스터별로 각각 가상 시점으로 투영한다. 즉, 단계(345)의 깊이 클러스터링 수행이 완료된 후에, 가상 시점 영상 생성부(550)는 단계(350)에서 3D 포인트 구름의 각 3D 포인트를 가상 시점 방향으로 깊이가 뒤인 클러스터에서 앞으로 오면서 각 클러스터 별로 순차적으로 해당 가상 시점으로 투영한다. 동일 클러스터 내에서도 깊이가 뒤인 3D 포인트에서 앞으로 오면서 가상 시점으로 투영한다. 깊이가 뒤인 클러스터에서 앞으로 오면서 각 클러스터 별로 가상 시점으로 투영함으로써 배경, 원거리 객체 및 근거리 객체의 순으로 가상 시점 영상이 생성된다. 이에 따라, 차폐 영역이나 홀을 효과적으로 메꾸는 것이 가능하다.
단계(355)에서 가상 시점 영상 생성부(550)는 단계(350)에서 가상 시점으로 투영된 3D 포인트의 컬러를 결정한다. 가상 시점 영상 생성부(550)는 복수의 3D 포인트가 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 해당 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도(Th1) 이상인 3D 포인트를 선별한다. 가상 시점 영상 생성부(550)는 이와 같이 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 결정된 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차(Th3) 이상인 경우, 두 개의 3D포인트 중 상기 가상 시점의 방향으로 최전방에 위치한 3D 포인트의 컬러를 해당 XY 위치의 컬러로 결정한다. 반면에, 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차(Th3) 미만인 경우, 두 개의 3D 포인트의 깊이 신뢰도를 가중치로 하여 두 개의 3D 포인트의 컬러를 블렌딩한 컬러를 해당 XY 위치의 컬러로 결정한다.
단계(360)에서 가상 시점 영상 생성부(550)는 단계(350) 및 단계(355)를 통하여 생성된 가상 시점 영상에서 투영되지 않은 3D 포인트는, 가상 시점 영상에 이미 투영된 3D 포인트 중에 가상 시점 방향으로 가장 멀리 있는 3D 포인트의 컬러로 보간한다. 다른 예로, 투영되지 않은 3D 포인트 주변에 채워진 점들의 컬러를 투영되지 않은 3D 포인트로부터 주변 점들까지의 거리를 가중치로 하여 블렌딩한 컬러로 투영되지 않은 3D 포인트의 컬러를 보간할 수 있다. 또는 인페인팅(inpainting) 기법을 사용하여 투영되지 않은 3D 포인트의 컬러를 보간할 수 있다.
도 5는 실시예에 따른 영상 처리 장치를 도시한 블록도이다. 영상 처리 장치(100)는 서로 다른 시점 영상을 촬영하는 복수의 카메라를 포함한다. 다른 예에서, 영상 처리 장치(100)는 복수의 카메라를 포함하지 않고, 외부에 위치한 복수의 카메라가 촬영한 복수의 시점 영상을 네트워크를 통해 입력부(510)를 통해 획득한다.
영상 처리 장치(100)는 프로세서(미도시)를 포함한다. 예를 들어, 프로세서는 CPU 또는 GPU와 같은 마이크로 프로세서를 적어도 하나 포함한다.
프로세서는 입력부(510)를 통해 입력받은 복수의 시점 영상의 다시점 깊이맵을 획득하고 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정하는 깊이 결정부를 실행한다.
프로세서는 각 시점 영상의 각 포인트를 기준 좌표계 상의3D 포인트 구름으로 매핑하는 3D 포인트 투영부를 실행한다.
프로세서는 깊이 신뢰도에 기반하여 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성하는 깊이 클러스터 생성부(540)를 실행한다.
프로세서는 3D 포인트 구름의 각 3D 포인트를 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성하는 가상 시점 영상 생성부(550)를 실행한다.
영상 처리 장치(100)는 저장부(560)를 포함한다. 예를 들어 저장부는 복수의 시점 영상, 깊이맵, 변이맵, 대응점 관계, 3D 포인트 구름, 깊이 클러스터 정보 및 가상 시점 영상 관련 정보를 저장한다.
본 발명에 따른 영상 처리 방법 및 장치는 다중 컬러 영상과 깊이 영상을 기준 시점 영상을 중심으로 한 3차원 공간 상에 매핑하고 깊이 신뢰도 기반 깊이 voting 및 깊이 클러스터링을 수행하여 결합함으로써 차폐 영역 및 홀의 영향을 최소화하여 정확하고 현실감 있는 가상 시점 영상을 생성할 수 있다.
한편, 본 발명의 실시예에 따른 영상 처리 방법 및 장치는 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 영상 처리 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 영상 처리 방법은 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 영상 처리 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명을 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양하게 변경 또는 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명을 위한 예시적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 영상 처리 장치
110: 카메라
510: 입력부
520: 깊이 결정부
530: 3D 포인트 투영부
540: 깊이 클러스터 생성부
550: 가상 시점 영상 생성부
560: 저장부

Claims (15)

  1. 복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정하는 단계;
    각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑하는 단계;
    상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성하는 단계; 및
    상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 깊이 신뢰도는 상기 복수의 시점 영상의 시점 영상을 두 개씩 매칭하여 찾은 대응점 간의 유사도인, 영상 처리 방법.
  3. 제 1 항에 있어서,
    복수의 시점 영상 간의 대응점 관계를 결정하는 단계;
    상기 대응점 관계에 따라 서로 대응하는 포인트의 공통 깊이값을 선택하는 단계; 및
    상기 공통 깊이값을 상기 3D 포인트 구름에 반영하는 단계
    를 더 포함하는 영상 처리 방법.
  4. 제 3 항에 있어서,
    상기 공통 깊이값을 선택하는 단계는,
    상기 서로 대응하는 포인트의 깊이값 중 가장 많은 표를 획득한 깊이값 또는 상기 깊이 신뢰도가 가장 높은 깊이값을 상기 공통 깊이값으로 선택하는 것인, 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 3D 포인트 구름으로 매핑하는 단계는,
    카메라 정보에 기반하여 상기 다시점 깊이맵을 상기 기준 좌표계 상의 3D 포인트 구름으로 매핑하는, 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 깊이 클러스터를 생성하는 단계는,
    상기 기준 좌표계의 깊이축에 수직한 XY평면 상에 위치한 제 1 포인트를 제 1 깊이 클러스터에 추가하는 단계;
    상기 XY 평면을 상기 깊이축을 따라 이동시키면서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는 단계; 및
    상기 제 1 포인트 및 상기 제 2 포인트의 깊이 신뢰도가 기준 신뢰도 이상이고, 상기 제 1 포인트 및 상기 제 2 포인트 간의 컬러 차이가 기준 컬러차 이하이면 상기 제 2 포인트를 상기 제 1 깊이 클러스터에 추가하는 단계
    를 포함하는 것인, 영상 처리 방법.
  7. 제 6 항에 있어서,
    상기 적어도 하나의 깊이 클러스터를 생성하는 단계는,
    상기 제 1 포인트 및 상기 제 2 포인트의 깊이 신뢰도 중 적어도 하나가 기준 신뢰도 이하인 경우, 또는 상기 제 1 포인트 및 상기 제 2 포인트의 깊이 신뢰도가 모두 기준 신뢰도 이상이고 제 1 포인트 및 상기 제 2 포인트 간의 컬러 차이가 기준 컬러차 이상인 경우, 상기 제 2 포인트를 상기 제 1 깊이 클러스터에 추가하지 않는 단계
    를 더 포함하는 것인, 영상 처리 방법.
  8. 제 6 항에 있어서,
    상기 제 2 포인트를 찾는 단계는, 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축을 따라 이동시키면서 상기 제 1 포인트와 동일한 XY좌표를 갖는 제 2 포인트를 찾는 것인, 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 가상 시점 영상을 생성하는 단계는,
    상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터의 깊이값이 감소하는 방향으로 진행하면서 깊이 클러스터별로 각각 상기 가상 시점으로 투영하는 단계를 포함하는, 영상 처리 방법.
  10. 제 1 항에 있어서,
    상기 가상 시점 영상을 생성하는 단계는,
    복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계; 및
    상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차 이상인 경우, 상기 두 개의 3D포인트 중 상기 가상 시점의 방향으로 최전방에 위치한 3D 포인트의 컬러를 상기 XY 위치의 컬러로 결정하는 단계
    를 포함하는 영상 처리 방법.
  11. 제 1 항에 있어서,
    상기 가상 시점 영상을 생성하는 단계는,
    복수의 3D 포인트가 상기 가상 시점 영상의 동일한 XY 위치에 투영되는 경우에, 상기 복수의 3D 포인트 중 깊이 신뢰도가 기준 신뢰도 이상인 3D 포인트를 선별하는 단계; 및
    상기 선별된 3D 포인트 중 깊이값이 작은 순으로 두 개의 3D 포인트를 결정하고, 상기 두 개의 3D 포인트 간의 깊이 차이가 기준 깊이차 미만인 경우, 상기 두 개의 3D 포인트의 깊이 신뢰도를 가중치로 하여 상기 두 개의 3D 포인트의 컬러를 블렌딩한 컬러를 상기 XY 위치의 컬러로 결정하는 단계
    를 포함하는, 영상 처리 방법.
  12. 제 1 항에 있어서,
    상기 가상 시점 영상을 생성하는 단계는,
    생성된 가상 시점 영상에서 투영되지 않은 3D 포인트는, 상기 가상 시점 영상에 이미 투영된 3D 포인트 중에 가상 시점 방향으로 가장 멀리 있는 3D 포인트의 컬러로 보간하는 단계
    를 포함하는, 영상 처리 방법.
  13. 복수의 시점 영상을 3D 좌표 공간 상의 3D 포인트 구름으로 매핑하는 단계; 및
    상기 3D 좌표 공간의 깊이축에 수직한 XY 평면을 상기 깊이축을 따라 이동시키면서, 상기 3D 포인트 구름의 각 3D 포인트의 깊이 신뢰도 및 컬러 차이에 기반하여 각 3D 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성하는 단계
    를 포함하는 깊이 클러스터링 기반 영상 처리 방법.
  14. 제 13 항에 있어서,
    상기 적어도 하나의 깊이 클러스터를 생성하는 단계는 상기 XY 평면을 깊이값이 증가하는 방향으로 상기 깊이축을 따라 이동시키면서 각 포인트를 그룹핑하여 적어도 하나의 깊이 클러스터를 생성하는 것인, 영상 처리 방법.
  15. 영상 처리 장치에 있어서,
    서로 다른 시점 영상을 촬영하는 복수의 카메라; 및
    프로세서를 포함하고, 상기 프로세서는,
    복수의 시점 영상의 다시점 깊이맵을 획득하고 상기 다시점 깊이맵의 각 포인트의 깊이 신뢰도를 결정하고,
    각 시점 영상을 기준 좌표계 상의3D 포인트 구름으로 매핑하고,
    상기 깊이 신뢰도에 기반하여 상기 3D 포인트 구름의 각 3D 포인트에 대하여 깊이 클러스터링을 수행하여 적어도 하나의 깊이 클러스터를 생성하고,
    상기 3D 포인트 구름의 각 3D 포인트를 상기 깊이 클러스터별로 가상 시점으로 투영하여 가상 시점 영상을 생성하도록 설정된 영상 처리 장치.
KR1020190026005A 2019-03-06 2019-03-06 영상 처리 방법 및 장치 KR102407137B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190026005A KR102407137B1 (ko) 2019-03-06 2019-03-06 영상 처리 방법 및 장치
US16/799,086 US20200288102A1 (en) 2019-03-06 2020-02-24 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190026005A KR102407137B1 (ko) 2019-03-06 2019-03-06 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200107217A true KR20200107217A (ko) 2020-09-16
KR102407137B1 KR102407137B1 (ko) 2022-06-10

Family

ID=72334722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190026005A KR102407137B1 (ko) 2019-03-06 2019-03-06 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US20200288102A1 (ko)
KR (1) KR102407137B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346019A (zh) * 2022-09-06 2022-11-15 南京航空航天大学 一种点云圆孔几何参数测量方法、装置及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288842B2 (en) 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
US11670063B2 (en) * 2020-11-20 2023-06-06 Samsung Electronics Co., Ltd. System and method for depth map guided image hole filling
WO2023272531A1 (zh) * 2021-06-29 2023-01-05 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
CN116957911A (zh) * 2023-09-19 2023-10-27 苏州元脑智能科技有限公司 深度图像存储方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122419A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 깊이 에지를 사용한 영상 합성 장치 및 방법
KR20170081964A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122419A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 깊이 에지를 사용한 영상 합성 장치 및 방법
KR20170081964A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346019A (zh) * 2022-09-06 2022-11-15 南京航空航天大学 一种点云圆孔几何参数测量方法、装置及系统

Also Published As

Publication number Publication date
KR102407137B1 (ko) 2022-06-10
US20200288102A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
KR102407137B1 (ko) 영상 처리 방법 및 장치
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
US8611641B2 (en) Method and apparatus for detecting disparity
US9013482B2 (en) Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
KR102156402B1 (ko) 영상 처리 방법 및 장치
KR100748719B1 (ko) 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
Kang et al. Two-view underwater structure and motion for cameras under flat refractive interfaces
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
JP2018515825A (ja) Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
KR101681095B1 (ko) 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
KR102381462B1 (ko) 장면의 계층적 깊이 데이터를 생성하기 위한 방법
Oliveira et al. Selective hole-filling for depth-image based rendering
US20120050485A1 (en) Method and apparatus for generating a stereoscopic image
US20160210776A1 (en) Image Processing Apparatus, System, Method and Computer Program Product for 3D Reconstruction
JP6285686B2 (ja) 視差画像生成装置
CN107610070B (zh) 基于三摄像采集的自由立体匹配方法
KR20210141922A (ko) 객체의 3d 재구성 방법
KR101632069B1 (ko) 양안 기반에서 굴절 매질을 이용한 깊이 지도 생성 방법 및 장치
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
KR20220071904A (ko) 입사각에 따라 다른 컬러 값을 가지는 플렌옵틱 복셀데이터의 2차원 영상 투영 방법
Gong et al. Real-time backward disparity-based rendering for dynamic scenes using programmable graphics hardware
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right