KR101993962B1 - 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법 - Google Patents

중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법 Download PDF

Info

Publication number
KR101993962B1
KR101993962B1 KR1020160176828A KR20160176828A KR101993962B1 KR 101993962 B1 KR101993962 B1 KR 101993962B1 KR 1020160176828 A KR1020160176828 A KR 1020160176828A KR 20160176828 A KR20160176828 A KR 20160176828A KR 101993962 B1 KR101993962 B1 KR 101993962B1
Authority
KR
South Korea
Prior art keywords
image
view image
intermediate view
hole
filling
Prior art date
Application number
KR1020160176828A
Other languages
English (en)
Other versions
KR20180073215A (ko
Inventor
김병균
황영배
최병호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160176828A priority Critical patent/KR101993962B1/ko
Publication of KR20180073215A publication Critical patent/KR20180073215A/ko
Application granted granted Critical
Publication of KR101993962B1 publication Critical patent/KR101993962B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

중간시점 영상합성에서의 N-시점 블렌딩 기반 홀 채움 방법이 제공된다. 본 발명의 실시예에 따른 홀 채움 방법은 제1 레퍼런스 영상으로부터 제1 중간시점 영상을 합성하는 단계; 제2 레퍼런스 영상으로부터 합성한 제2 중간시점 영상을 이용하여, 제1 중간시점 영상에 발생한 홀을 채우는 단계;를 포함한다.
이에 의해, 중간시점 영상합성에서 여러 시점의 데이터를 활용함으로서 선명하고 실감있는 3D 콘텐츠 제작을 가능하게 한다.

Description

중간시점 영상합성에서의 N-시점 블렌딩 기반 홀 채움 방법{N-View Blending-based Hole Filling Method for Intermediate View Image}
본 발명은 홀 채움 방법에 관한 것으로, 더욱 상세하게는 중간시점 영상합성에서 홀 채움 방법에 관한 것이다.
중간시점 영상합성에서 발생하는 홀 영역에 대해, Modified Joint Bilateral Filter를 사용하여 배경 객체의 깊이를 기준으로 홀 채움을 수행하고 있다.
그러나 이러한 홀 채움 방법은 홀 영역에 대한 정확한 데이터를 보장할 수 없고 또한 occlusion 영역으로 인해 발생하는 boundary noise를 효과적으로 제거할 수 없다.
따라서 3D 영상합성에서 중요한 오브젝트 간의 경계 부분의 정보가 정확하지 않음으로 최종적으로 합성하는 3D 영상 콘텐츠의 3차원 효과를 극대화하지 못하는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 정확한 중간시점 영상합성을 위한 방안으로, 중간시점 영상합성에서 전-배경 객체간의 Occlusion 영역으로 인해 발생하는 홀 영역을 여러 시점의 데이터의 정보를 이용하여 채우는 N-시점 블렌딩 기반 홀 채움 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, Occlusion 영역의 홀 주변에서 발생하는 Boundary noise를 제거하기 위한 방안으로, Boundary noise region을 지정하여 다른 시점의 합성 데이터로부터 값을 할당하여 중간시점 영상의 화질을 개선하는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 홀 채움 방법은 제1 레퍼런스 영상으로부터 제1 중간시점 영상을 합성하는 단계; 제2 레퍼런스 영상으로부터 합성한 제2 중간시점 영상을 이용하여, 제1 중간시점 영상에 발생한 홀을 채우는 단계;를 포함한다.
본 발명에 따른 홀 채움 방법은 제1 중간시점 영상을 이용하여, 제2 중간시점 영상에 발생한 홀을 채우는 단계;를 더 포함할 수 있다.
제1 중간시점 영상에 발생한 홀을 채우는 단계는, 제2 레퍼런스 영상을 더 이용할 수 있다.
제2 중간시점 영상에 발생한 홀을 채우는 단계는, 제1 레퍼런스 영상을 더 이용할 수 있다.
본 발명에 따른 홀 채움 방법은 제1 중간시점 영상에서 Occlusion 홀 주변의 경계 부분에 발생한 노이즈를 제거하는 단계;를 더 포함할 수 있다.
경계 부분은, 제1 중간시점 영상의 깊이 영상을 이용하여 지정할 수 있다.
노이즈를 제거하는 단계는, 제2 중간시점 영상을 이용하여, 노이즈를 제거할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 다시점 영상 시스템은 제1 레퍼런스 영상과 제2 레퍼런스 영상을 생성하는 생성부; 및 제1 레퍼런스 영상으로부터 제1 중간시점 영상을 합성하고, 제2 레퍼런스 영상으로부터 합성한 제2 중간시점 영상을 이용하여 제1 중간시점 영상에 발생한 홀을 채우는 영상 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 중간시점 영상합성에서 여러 시점의 데이터를 활용함으로서 선명하고 실감있는 3D 콘텐츠 제작을 가능하게 한다.
또한, 본 발명의 실시예들에 따르면, Boundary noise region을 지정하여 다른 시점의 합성 데이터로부터 값을 할당하여, 중간시점 영상에서 Occlusion 영역의 홀 주변에서 발생하는 Boundary noise를 제거할 수 있게 된다.
도 1은 N 번째 레퍼런스 영상으로부터 합성한 중간시점 영상,
도 2는 N+1 번째 레퍼런스 영상으로부터 합성한 중간시점 영상,
도 3은, 도 1과 도 2의 중간시점 영상들에서 발생한 홀 영역을 Red와 Green으로 각각 마스킹한 결과,
도 5는 홀 영역과 전-배경 객체 사이에 발생할 수 있는 Boundary noise region을 정의한 결과,
도 6은 홀 주변부에 Boundary noise가 나타난 중간시점 영상,
도 7은 다른 레퍼런스 영상으로부터 합성한 중간시점 영상으로부터 Boundary noise를 제거한 결과,
도 8은 기존 방식에 해당하는 M-JBF를 이용한 홀 채움 결과,
도 9는 본 발명의 일 실시예에 따른 N-View Blending 기반 홀 채움 결과,
도 10은 본 발명의 다른 실시예에 따른 다시점 영상 생성 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 일 실시예에 따른 N-View Blending 기반 홀 채움(Hole-Filling) 방법에서는, 기준이 되는 레퍼런스 영상으로부터 합성된 중간시점의 홀 영역을 그와 다른 레퍼런스 영상으로부터 합성된 중간시점 영상을 이용하여 보간한다.
나아가, 기준이 되는 레퍼런스 영상으로부터 합성된 중간시점의 홀 영역 채움은, 다른 레퍼런스 영상을 더 이용할 수도 있다. 즉, 기준 레퍼런스 영상으로부터 합성된 중간시점의 홀 영역 채움은, 다른 레퍼런스 영상 및/또는 다른 레퍼런스 영상으로부터 합성된 중간시점 영상을 참조하여 수행할 수 있는 것이다.
도 1은 N 번째 레퍼런스 영상으로부터 합성한 중간시점 영상이고, 도 2는 N+1 번째 레퍼런스 영상으로부터 합성한 중간시점 영상이다.
도 1과 도 2에 나타난 바와 같이, 각각의 레퍼런스 영상들로부터 합성된 중간시점 영상들에는 Occlusion 영역의 홀이 발생하는데, 각각의 홀은 다른 중간시점 영상에 해당 정보가 존재한다.
도 3은, 도 1의 중간시점 영상에서 발생한 홀 영역을 Red로, 도 2의 중간시점 영상에서 발생한 홀 영역을 Green으로, 각각 마스킹한 결과이다. 이때, 마스킹된 영역의 정보는 다른 레퍼런스 영상으로부터 합성된 중간시점으로부터 채우며, 그 결과는 도 4와 같다.
한편, 깊이 영상은 전경과 배경의 분리가 뚜렷하나 컬러 영상의 경우 객체의 경계 부분에서 픽셀 값이 부드러워지는 경향이 있다. 이러한 차이로 인해 깊이 영상을 이용한 3차원 워핑시 Occlusion 홀 주변의 경계 부분에 노이즈가 발생하게 되며, 이로 인해 합성되는 중간시점 영상의 화질의 저하가 발생하게 된다.
따라서 boundary noise를 제거해야 영상 화질을 개선할 수 있으며, 이러한 boundary noise 영역을 사전에 정의해야 한다. 아래 식은 각각의 레퍼런스 영상으로부터 합성된 중간시점 영상의 깊이 영상으로부터 Occlusion 홀을 정의하고, 정의된 Occlusion 홀로부터 마스크 영상에 Boundary noise region을 지정하는 식이다.
Figure 112016126313580-pat00001
3차원 워핑으로 발생하는 홀 영역이 모두 전-배경 객체의 Occlusion으로 인해 발생되는 것은 아니며, 홀 주변픽셀의 값의 차이가 크다면 그것은 전-배경 객체의 Occlusion으로 발생하는 홀로 정의할 수 있다.
그러한 홀 주변부에 대해서만 Boundary noise region으로 정의할 수 있으며, 그러한 주변부 픽셀을 다른 레퍼런스 영상으로부터 합성한 중간시점 영상의 데이터를 적용하여 Boundary noise를 제거할 수 있다.
도 5는 홀 영역과 전-배경 객체 사이에 발생할 수 있는 Boundary noise region을 정의한 결과이고, 도 6은 홀 주변부에 Boundary noise가 나타난 중간시점 영상이며, 도 7에는 다른 레퍼런스 영상으로부터 합성한 중간시점 영상으로부터 Boundary noise를 제거한 결과를 나타내었다.
이러한 결과는 종래에 단일 레퍼런스 영상으로부터 합성된 중간시점 영상의 홀을 M-JBF 알고리즘을 통해 홀 채움을 한 결과와 비교하여 볼때, 텍스쳐와 경계부분의 픽셀정보가 개선된 것을, 도 8과 도 9를 통해 확인할 수 있다.
도 8은 기존 방식에 해당하는 M-JBF를 이용한 홀 채움 결과이고, 도 9는 본 발명의 일 실시예에 따른 N-View Blending 기반 홀 채움 결과이다.
지금까지, N-View Blending 기반 홀 채움 방법에 대해, 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 일 실시예에 따른 N-View Blending 기반 홀 채움 방법은, 하나의 레퍼런스 데이터로부터 새로운 정보를 만들던 방식에서 다른 레퍼런스 데이터를 이용함으로 새로운 데이터를 생성하는 것이 아닌 실제하는 데이터로부터 Occlusion 영역을 다루는 방식으로, 3D 콘텐츠 생성에 있어 중요한 전-배경 객체사이의 경계의 정확도를 향상시킴으로 실감있는 콘텐츠 생성에 기여할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 다시점 영상 생성 시스템의 블럭도이다. 본 발명의 실시예에 따른 다시점 영상 생성 시스템은, 도 10에 도시된 바와 같이, 다시점 영상 생성부(110), 영상 프로세서(120), 영상 출력부(130) 및 저장부(140)를 포함한다.
다시점 영상 생성부(110)는 다수의 카메라로 다시점 영상들을 생성하고, 영상 프로세서(120)는 다시점 영상들을 레퍼런스 영상들로 하여 중간시점 영상들을 생성하는데, 이 과정에서 전술한 홀 채움 방법이 적용된다.
영상 출력부(130)는 생성된 영상들을 디스플레이, 외부기기, 네트워크 등으로 출력한다. 저장부(140)는 생성된 영상들을 저장하는 한편, 영상 프로세서(120)가 중간시점 영상을 생성함에 있어 필요한 저장공간을 제공한다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 다시점 영상 생성부
120 : 영상 프로세서
130 : 영상 출력부
140 : 저장부

Claims (8)

  1. 제1 레퍼런스 영상으로부터 제1 중간시점 영상을 합성하는 단계;
    제2 레퍼런스 영상으로부터 합성한 제2 중간시점 영상을 이용하여, 제1 중간시점 영상에 발생한 홀을 채우는 단계; 및
    제2 중간시점 영상을 이용하여, 제1 중간시점 영상에서 Occlusion 홀 주변의 경계 부분에 발생한 노이즈를 제거하는 단계;를 포함하고,
    제1 중간시점 영상에 발생한 홀을 채우는 단계는,
    제1 중간시점 영상을 합성하는데 이용되지 않은 제2 레퍼런스 영상을 더 이용하며,
    경계 부분은,
    제1 중간시점 영상의 깊이 영상에서 주변 픽셀 간의 값 차이가 임계치를 초과하는 영역인 것을 특징으로 하는 홀 채움 방법.
  2. 청구항 1에 있어서,
    제1 중간시점 영상을 이용하여, 제2 중간시점 영상에 발생한 홀을 채우는 단계;를 더 포함하는 것을 특징으로 하는 홀 채움 방법.
  3. 삭제
  4. 청구항 1에 있어서,
    제2 중간시점 영상에 발생한 홀을 채우는 단계는,
    제1 레퍼런스 영상을 더 이용하는 것을 특징으로 하는 홀 채움 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1 레퍼런스 영상과 제2 레퍼런스 영상을 생성하는 생성부; 및
    제1 레퍼런스 영상으로부터 제1 중간시점 영상을 합성하고, 제2 레퍼런스 영상으로부터 합성한 제2 중간시점 영상을 이용하여 제1 중간시점 영상에 발생한 홀을 채우는 영상 프로세서;를 포함하고,
    제1 중간시점 영상에 발생한 홀을 채우는 단계는,
    제1 중간시점 영상을 합성하는데 이용되지 않은 제2 레퍼런스 영상을 더 이용하며,
    영상 프로세서는,
    제2 중간시점 영상을 이용하여, 제1 중간시점 영상에서 Occlusion 홀 주변의 경계 부분에 발생한 노이즈를 제거하고,
    경계 부분은,
    제1 중간시점 영상의 깊이 영상에서 주변 픽셀 간의 값 차이가 임계치를 초과하는 영역인 것을 특징으로 하는 다시점 영상 시스템.
KR1020160176828A 2016-12-22 2016-12-22 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법 KR101993962B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160176828A KR101993962B1 (ko) 2016-12-22 2016-12-22 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160176828A KR101993962B1 (ko) 2016-12-22 2016-12-22 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법

Publications (2)

Publication Number Publication Date
KR20180073215A KR20180073215A (ko) 2018-07-02
KR101993962B1 true KR101993962B1 (ko) 2019-07-01

Family

ID=62913850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160176828A KR101993962B1 (ko) 2016-12-22 2016-12-22 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법

Country Status (1)

Country Link
KR (1) KR101993962B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210086812A (ko) * 2019-12-30 2021-07-09 삼성전자주식회사 동영상 처리 방법 및 이를 지원하는 전자 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2327059B1 (en) * 2008-10-02 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
KR101798408B1 (ko) * 2011-01-03 2017-11-20 삼성전자주식회사 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치

Also Published As

Publication number Publication date
KR20180073215A (ko) 2018-07-02

Similar Documents

Publication Publication Date Title
US20180300937A1 (en) System and a method of restoring an occluded background region
JP5985910B2 (ja) ホールレンダリングを用いるマルチビュー映像処理方法及び装置
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP4644669B2 (ja) マルチビュー画像の生成
US9013482B2 (en) Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
KR101676830B1 (ko) 영상 처리 장치 및 방법
KR102380862B1 (ko) 영상 처리 방법 및 장치
KR20130084850A (ko) 시차 값을 생성하는 영상 처리 방법 및 장치
JP4796072B2 (ja) 画像セグメンテーションに基づく画像レンダリング
EP2444936A2 (en) Disparity estimation system, apparatus, and method for estimating consistent disparity from multi-viewpoint video
EP2221763A1 (en) Image generation method, device, its program and recording medium stored with program
CN107636728B (zh) 用于确定图像的深度图的方法和装置
US20120050283A1 (en) Rendering apparatus and method for generating multi-views
TW202037169A (zh) 基於視訊的點雲壓縮的區塊分段的方法及裝置
JP2017091298A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR100989435B1 (ko) 다시점 영상 처리 방법 및 장치
US20130071008A1 (en) Image conversion system using edge information
KR20080047673A (ko) 입체영상 변환 장치 및 그 방법
TW201528775A (zh) 景深圖校正方法及系統
KR101993962B1 (ko) 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법
KR100960694B1 (ko) 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체
KR20170046434A (ko) 영상 처리 방법 및 영상 처리 장치
TWI499278B (zh) 影像重建方法
KR101993961B1 (ko) 임의시점 영상의 홀 채움 방법
JP5254297B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)