KR102551274B1 - 장면의 계층적 깊이 데이터를 생성하기 위한 방법 - Google Patents

장면의 계층적 깊이 데이터를 생성하기 위한 방법 Download PDF

Info

Publication number
KR102551274B1
KR102551274B1 KR1020227010349A KR20227010349A KR102551274B1 KR 102551274 B1 KR102551274 B1 KR 102551274B1 KR 1020227010349 A KR1020227010349 A KR 1020227010349A KR 20227010349 A KR20227010349 A KR 20227010349A KR 102551274 B1 KR102551274 B1 KR 102551274B1
Authority
KR
South Korea
Prior art keywords
information
image
blocking
depth
field content
Prior art date
Application number
KR1020227010349A
Other languages
English (en)
Other versions
KR20220045242A (ko
Inventor
디디에 도옌
기욤 부아송
실뱅 띠에보
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Priority to KR1020237021910A priority Critical patent/KR20230106714A/ko
Publication of KR20220045242A publication Critical patent/KR20220045242A/ko
Application granted granted Critical
Publication of KR102551274B1 publication Critical patent/KR102551274B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 계층적 깊이 데이터에 관한 것이다. 다-시점 이미지들에서, 이미지들 사이에 대량의 리던던시가 존재한다. 계층적 깊이 비디오(Layered Depth Video) 포맷은 이미지들 사이의 리던던트 정보의 양을 감소시키는, 다-시점 이미지들을 포맷팅하기 위한 널리 공지된 포맷팅 솔루션이다. LDV에서, 레퍼런스 중앙 이미지가 선택되고, 주로 중앙 이미지에서 차단된 구역들인 다-시점 이미지들 중 다른 이미지들에 의해 가져온 정보가 제공된다. 그러나, LDV 포맷은 단일 수평 차단 계층을 포함하고, 그에 따라, 다중 계층 비-차단들을 언커버하는 시점들을 렌더링하는데 실패한다. 본 발명은, 모든 각각의 방향들에서 불일치들을 제공하고, 고려되는 이미지의 뷰잉 방향과 다른 복수의 방향들에서 시점의 변화를 가능하게 하는 라이트-필드 콘텐츠를 사용하여, 넓은 축 간격으로 뷰잉되는 복잡한 장면들에 대해 발생할 수 있는 다중 계층 비-차단들을 언커버할 수 있는 시점들을 렌더링하는 것을 가능하게 한다.

Description

장면의 계층적 깊이 데이터를 생성하기 위한 방법{A METHOD FOR GENERATING LAYERED DEPTH DATA OF A SCENE}
본 발명은 계층적 깊이 데이터에 관한 것으로, 더 정확하게는, 라이트-필드 콘텐츠가 비디오이든 픽처들이든, 라이트-필드 콘텐츠(light field content)의 특성들을 활용하는 계층적 포맷에 관한 것이다.
스테레오 또는 다-시점 시스템에서, 데이터를 포맷팅할 때, 장면의 수평 차원만이 고려된다. 예컨대, 카메라들이 수평으로 정렬된 카메라 리그들로 구성된 취득 시스템들의 경우에, 3D 뷰(view)들 사이의 수평 불일치만이 추출될 수 있다. 깊이 이미지 기반 렌더링 기법들은 캡처된 뷰들 사이의 중간 뷰들을 보간하지만 항상 수평 방향으로 보간하는 것으로 널리 공지되어 있다.
다-시점 이미지들에서, 이미지들 사이에 대량의 리던던시(redundancy)가 존재한다. 계층적 깊이 비디오(Layered Depth Video) 포맷 또는 LDV는 이미지들 사이의 리던던트(redundant) 정보의 양을 감소시키는, 다-시점 이미지들을 포맷팅하기 위한 널리 공지된 포맷팅 솔루션이다. LDV에서, 레퍼런스 중앙 이미지가 선택되고, 주로 중앙 이미지에서 차단된 구역들인 다-시점 이미지들 중 다른 이미지들에 의해 가져온 정보가 제공된다. 이어서, LDV 포맷은 다-시점 이미지들을 프로세싱하기 위해 필요한 정보를 나타내는 4개의 계층들로 구성된다:
- 선택된 중앙 이미지,
- 선택된 중앙 이미지에 연관된 깊이 맵,
- 차단(occlusion) 이미지, 및
- 깊이 차단 맵.
따라서, 리던던트하지 않는 정보만이 렌더링 디바이스로 송신된다. 이들 정보는 깊이 차단 맵으로부터 생성되는 차단 마스크에 포함된다.
다-시점 컨텍스트에서 사용되는 다른 포맷들의 경우와 마찬가지로, LDV 포맷은 단일 수평 차단 계층을 포함하고, 그에 따라, 넓은 축 간격으로 보여지는 복잡한 장면들에 대해 발생할 수 있는 다중 계층 비-차단(dis-occlusion)들을 언커버(uncover)하는 시점들을 렌더링하는데 실패한다.
본 발명은 전술된 바를 유념하여 고안되었다.
본 발명의 제1 양태에 따르면, 장면의 계층적 깊이 데이터를 생성하기 위한 컴퓨터 구현 방법이 제공되며, 그 방법은,
- 장면을 나타내는 라이트-필드 콘텐츠로부터의 이미지의 깊이 맵을 컴퓨팅하는 단계 ― 이미지는 주어진 뷰잉 방향에 따라 뷰잉됨 ―;
- 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향과 다른 제1 방향에서, 라이트-필드 콘텐츠로부터의 이미지와 연관된 제1 세트의 차단 정보를 컴퓨팅하는 단계;
- 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향 및 제1 방향과 다른 적어도 제2 방향에서, 라이트-필드 콘텐츠로부터의 이미지와 연관된 적어도 제2 세트의 차단 정보를 컴퓨팅하는 단계; 및
- 장면의 계층적 깊이 데이터를 생성하기 위해, 라이트-필드 콘텐츠로부터의 이미지, 깊이 맵, 제1 세트의 차단 정보, 및 제2 세트의 차단 정보를 어그리게이팅하는 단계를 포함한다.
본 발명의 실시예에 따른 방법은 광학 디바이스에 의해 직접 취득되는 라이트-필드 콘텐츠로 제한되지 않는다. 이들 콘텐츠는, 주어진 장면 표현을 위해 컴퓨터에 의해 전체적으로 또는 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지(Computer Graphics Image)(CGI)들일 수 있다. 라이트-필드 콘텐츠의 다른 소스는, 광학 디바이스 또는 CGI로부터 획득되는 변형된, 예컨대 컬러 그레이딩된 라이트-필드 콘텐츠인 사후-생성된 데이터일 수 있다. 또한, 영화 산업에서는, 광학 취득 디바이스를 사용하여 취득된 데이터와 CGI 데이터 둘 모두의 혼합인 데이터를 갖는 것이 이제 일반적이다.
본 발명의 실시예에 따른 방법은, 모든 각각의 방향들에서 불일치들을 제공하고, 고려되는 이미지의 뷰잉 방향과 다른 복수의 방향들에서 시점의 변화를 가능하게 하는 라이트-필드 콘텐츠의 사용에 의존한다.
라이트-필드 콘텐츠의 사용에 의존하는 그러한 방법은, 넓은 축 간격으로 뷰잉되는 복잡한 장면들에 대해 발생할 수 있는 다중 계층 비-차단들을 언커버할 수 있는 시점들을 렌더링할 수 있게 한다.
위에서 언급된 방법에 따라 생성되는 계층적 깊이 데이터는 라이트-필드 콘텐츠로부터의 적어도 하나의 이미지, 이미지에 연관된 깊이 맵, 이미지에 연관된 제1 세트의 차단 정보 및 제2 세트의 차단 정보를 포함한다.
본 발명의 실시예에서, 라이트-필드 콘텐츠는 비디오 콘텐츠일 수 있다.
계층적 깊이 데이터를 생성하기 위한 방법의 실시예에 따르면, 제1 세트의 차단 정보와 제2 세트의 차단 정보는 제3 세트의 차단 정보를 생성하기 위해 함께 병합되며, 제3 세트의 정보는 장면의 계층적 깊이 데이터를 생성하기 위해 라이트-필드 콘텐츠로부터의 이미지 및 깊이 맵과 어그리게이팅된다.
제1 및 제2 세트의 차단 정보를 병합하는 것은 송신될 데이터의 양 및 수신자 측에서 프로세싱될 데이터의 양을 감소시킬 수 있다. 제1 및 제2 세트들의 차단 정보의 병합은, 2개의 고려되는 방향들에서 차단 정보를 나타내는 고유한 차단 정보의 형태를 취할 수 있는 제3 세트의 차단 정보를 생성한다.
계층적 깊이 데이터를 생성하기 위한 방법의 실시예에 따르면, 제1 세트의 차단 정보를 컴퓨팅하는 것 및 제2 세트의 차단 정보를 컴퓨팅하는 것은 각각 제1 방향 및 제2 방향에서, 라이트-필드 콘텐츠의 이미지를 라이트-필드 콘텐츠로부터의 다른 인접 이미지와 비교하는 것에 존재한다.
예컨대, 제1 방향을 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향에 대하여 수평 방향인 것으로 간주하면, 제1 세트의 차단 정보는 수평 방향에서, 라이트-필드 콘텐츠의 이미지를 라이트-필드 콘텐츠로부터의 인접 이미지와 비교함으로써 획득된다.
제2 방향을 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향에 대하여 수직 방향인 것으로 간주하면, 제2 세트의 차단 정보는 수직 방향에서, 라이트-필드 콘텐츠의 이미지를 라이트-필드 콘텐츠로부터의 인접 이미지와 비교함으로써 획득된다.
본 발명의 다른 목적은 장면의 계층적 깊이 데이터를 생성하기 위한 장치에 관한 것이며, 그 장치는 프로세서를 포함하고, 그 프로세서는:
- 장면을 나타내는 라이트-필드 콘텐츠로부터의 이미지의 깊이 맵을 컴퓨팅하고 ― 이미지는 주어진 뷰잉 방향에 따라 뷰잉됨 ―;
- 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향과 다른 제1 방향에서, 라이트-필드 콘텐츠로부터의 이미지와 연관된 제1 세트의 차단 정보를 컴퓨팅하고;
- 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향 및 제1 방향과 다른 적어도 제2 방향에서, 라이트-필드 콘텐츠로부터의 이미지와 연관된 적어도 제2 세트의 차단 정보를 컴퓨팅하며,
- 장면의 계층적 깊이 데이터를 생성하기 위해, 라이트-필드 콘텐츠로부터의 이미지, 깊이 맵, 제1 세트의 차단 정보, 및 제2 세트의 차단 정보를 어그리게이팅하도록 구성된다.
장면의 계층적 깊이 데이터를 생성하기 위한 장치의 실시예에 따르면, 제1 세트의 차단 정보와 제2 세트의 차단 정보는 제3 세트의 차단 정보를 생성하기 위해 함께 병합되며, 제3 세트의 정보는 장면의 계층적 깊이 데이터를 생성하기 위해 라이트-필드 콘텐츠로부터의 이미지 및 깊이 맵과 어그리게이팅된다.
장면의 계층적 깊이 데이터를 생성하기 위한 장치의 실시예에 따르면, 제1 세트의 차단 정보를 컴퓨팅하는 것 및 제2 세트의 차단 정보를 컴퓨팅하는 것은 각각 제1 방향 및 제2 방향에서, 라이트-필드 콘텐츠의 이미지를 라이트-필드 콘텐츠로부터의 다른 인접 이미지와 비교하는 것에 존재한다.
본 발명의 다른 목적은 장면을 나타내는 라이트-필드 콘텐츠를 프로세싱하기 위한 방법에 관한 것이며, 상기 방법은, 장면의 라이트-필드 콘텐츠에 연관된 장면의 계층적 깊이 데이터에 기초하여, 라이트-필드 콘텐츠를 프로세싱하는 단계를 포함하며, 계층적 깊이 데이터는 라이트-필드 콘텐츠로부터의 이미지의 깊이 맵, 라이트-필드 콘텐츠로부터의 이미지와 연관되고 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향과 다른 제1 방향에서 컴퓨팅된 제1 세트의 차단 정보, 및 라이트-필드 콘텐츠로부터의 이미지와 연관되고 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향과 다른 제2 방향에서 컴퓨팅된 적어도 제2 세트의 차단 정보를 포함한다.
본 발명의 다른 목적은 장면의 계층적 깊이 데이터를 생성할 수 있는 제1 장치에 의해, 장면의 계층적 깊이 데이터를 프로세싱할 수 있는 제2 장치로 송신된 신호에 관한 것이며, 상기 신호는 장면의 계층적 깊이 데이터를 포함하는 메시지를 반송하며, 계층적 깊이 데이터는 장면의 라이트-필드 콘텐츠로부터의 이미지의 깊이 맵, 라이트-필드 콘텐츠로부터의 이미지와 연관되고 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향과 다른 제1 방향에서 컴퓨팅된 제1 세트의 차단 정보, 및 라이트-필드 콘텐츠로부터의 이미지와 연관되고 라이트-필드 콘텐츠로부터의 이미지의 뷰잉 방향과 다른 제2 방향에서 컴퓨팅된 적어도 제2 세트의 차단 정보를 포함하고, 제2 장치에 의한 캡처된 이미지의 프로세싱은 계층적 깊이 데이터에 기초한다.
본 발명의 엘리먼트들에 의해 구현되는 일부 프로세스들은 컴퓨터 구현될 수 있다. 따라서, 그러한 엘리먼트들은 전체적인 하드웨어 실시예, 전체적인 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 소프트웨어와 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있으며, 이들은 모두 일반적으로, “회로", "모듈", 또는 "시스템"이라고 본원에서 지칭될 수 있다. 게다가, 그러한 엘리먼트들은, 매체에 구현된 컴퓨터 사용가능 프로그램 코드를 갖는 임의의 유형 표현 매체에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명의 엘리먼트들이 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적합한 캐리어 매체 상에서 프로그래머블 장치로 제공하기 위한 컴퓨터 판독가능 코드로서 구현될 수 있다. 유형 캐리어 매체는 저장 매체, 이를테면, 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스, 또는 솔리드 스테이트 메모리 디바이스 등을 포함할 수 있다. 일시적 캐리어 매체는 신호, 이를테면, 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호, 또는 전자기 신호, 예컨대 마이크로파 또는 RF 신호를 포함할 수 있다.
본 발명의 실시예들은, 단지 예로서, 그리고 다음의 도면들을 참조하여 이제 설명될 것이다.
도 1a는 플렌옵틱 카메라를 개략적으로 나타낸다.
도 1b는 카메라 리그의 개략도를 나타낸다.
도 2a는 적어도 5개의 카메라들을 포함하는 카메라들의 어레이의 수평 방향으로 정렬된 3개의 카메라들(C1, C2, C3) 뿐만 아니라 이들 카메라들에 의해 취득된 공간 부분을 나타낸다.
도 2b는 적어도 5개의 카메라들을 포함하는 카메라들의 어레이의 수직 방향으로 정렬된 3개의 카메라들(C4, C2, C5) 뿐만 아니라 이들 카메라들에 의해 취득된 공간 부분을 예시한다.
도 3은 본 개시내용의 실시예에 따른, 장면의 계층적 깊이 데이터를 획득하기 위한 장치의 예를 예시하는 개략적인 블록도이다.
도 4는 본 발명의 실시예에 따른, 장면의 계층적 깊이 데이터를 생성하기 위한 프로세스를 설명하기 위한 흐름도이다.
도 5a는 본 발명의 제1 실시예에 따라 생성된 장면의 계층적 깊이 데이터를 나타낸다.
도 5b는 본 발명의 제2 실시예에 따라 생성된 장면의 계층적 깊이 데이터를 나타낸다.
당업자에 의해 인식될 바와 같이, 본 원리들의 양태들은 시스템, 방법, 또는 컴퓨터 판독가능 매체로서 구현될 수 있다. 따라서, 본 원리들의 양태들은 전체적인 하드웨어 실시예, 전체적인 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 소프트웨어와 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있으며, 이들은 모두 일반적으로, "회로", "모듈", 또는 "시스템"이라고 본원에서 지칭될 수 있다. 게다가, 본 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 또는 그 초과의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 활용될 수 있다.
플렌옵틱 카메라는, 주 렌즈와 센서 사이에 마이크로렌즈 어레이를 배열함으로써, 센서와 교차하는 각각의 광선 다발을 따라 이동하는 광의 양을 측정할 수 있다. 그러한 카메라에 의해 취득되는 데이터는 라이트-필드 데이터 또는 라이트-필드 콘텐츠라고 호칭된다. 이들 라이트-필드 데이터는 상이한 시점들로부터의 장면의 이미지들을 재구성하기 위해 사후-프로세싱될 수 있다. 라이트-필드 데이터는 상이한 리-포커싱 깊이를 각각 갖는 이미지들의 집합을 포함하는 초점 스택을 생성하기 위해 사용될 수 있다. 결과로서, 사용자는 이미지들의 초점을 변화시킬 수 있다. 종래의 카메라와 비교하면, 플렌옵틱 카메라는 사후-프로세싱에 의해 리-포커싱 깊이 및 상이한 시점들로부터의 장면의 이미지들의 재구성을 달성하기 위한 부가적인 정보를 획득할 수 있다.
따라서, 계층적 깊이 비디오의 컨텍스트에서 라이트-필드 데이터의 이들 특수성들을 사용하는 것이 가능하다.
도 1a는 플렌옵틱 카메라(100)를 개략적으로 나타내는 도면이다. 라이트-필드 카메라들은 4-차원(또는 4D) 라이트-필드 데이터를 레코딩할 수 있다. 플렌옵틱 카메라(100)는 주 렌즈(101), 마이크로렌즈 어레이(102), 및 이미지 센서(104)를 포함한다.
도 1b는 카메라 리그(110)의 개략도를 나타낸다. 카메라 리그(110)는 복수의 센서들(114)을 포함하며, 복수의 센서들(114) 각각은 렌즈(112)에 연관된다.
도 1a에 도시된 바와 같은 플렌옵틱 카메라(100)의 예에서, 주 렌즈(101)는 주 렌즈(101)의 대상 필드 내의 대상(도면 상에 도시되지 않음)으로부터 광을 수용하고, 주 렌즈(101)의 이미지 필드를 통해 광을 통과시킨다. 마이크로렌즈 어레이(102)는 2-차원 어레이로 배열된 복수의 마이크로렌즈들(103)을 포함한다.
라이트-필드 카메라에 의해 캡처된 데이터는 상이한 시점들로부터의 장면의 이미지들을 재구성하기 위해 사후-프로세싱될 수 있다. 라이트-필드 카메라가 약간 변화된 시점들로부터의 동일한 장면의 부분 뷰들의 집합을 캡처할 수 있기 때문에, 이들 상이한 부분 뷰들을 결합함으로써, 커스터마이징된 포커스 평면을 갖는 이미지를 생성하는 것이 가능하다.
도 2a 및 도 2b는 수평 방향으로 정렬된 3개의 카메라들(C1, C2, C3) 및 수직 방향으로 정렬된 3개의 카메라들(C4, C2, C5)을 포함하는 카메라들의 어레이 뿐만 아니라 이들 카메라들에 의해 취득된 공간 부분을 나타낸다. 당연히, 카메라들의 수는 5개로 제한되지 않으며, 카메라들의 어레이에 5개 미만의 카메라들 또는 5개 초과의 카메라들이 임베딩될 수 있다.
도 2a 상에서, 카메라들(C1, C2, 및 C3)은 수평 축을 따라 정렬된다. 스크린(20)의 제1 영역(200)은 카메라(C1)로부터 볼 수 있지만 카메라들(C2 및 C3)로부터는 볼 수 없으며, 스크린(20)의 제2 영역(201)은 카메라(C3)로부터 볼 수 있지만 카메라들(C2 및 C1)로부터는 볼 수 없다.
도 2a의 레퍼런스(202)는 카메라(C1)에 의해 뷰잉된 장면의 이미지이다. 이미지(202)의 제1 부분(2020)은 카메라(C1)와 카메라(C2) 둘 모두에 의해 뷰잉된다. 이미지(202)의 제2 부분(2021)은 카메라(C1)에 의해 뷰잉되고, 카메라(C2)로부터는 차단된다.
도 2a 상의 레퍼런스(203)는 카메라(C2)에 의해 뷰잉된 장면의 이미지이다.
도 2a 상의 레퍼런스(204)는 카메라(C3)에 의해 뷰잉된 장면의 이미지이다. 이미지(204)의 제1 부분(2040)은 카메라(C3)와 카메라(C2) 둘 모두에 의해 뷰잉된다. 이미지(204)의 제2 부분(2041)은 카메라(C3)에 의해 뷰잉되고, 카메라(C2)로부터는 차단된다.
도 2b 상에서, 카메라들(C4, C2, 및 C5)은 수평 축을 따라 정렬된다. 스크린(20)의 제1 영역(210)은 카메라(C4)로부터 볼 수 있지만 카메라(C2)로부터는 볼 수 없으며, 스크린(20)의 제2 영역(211)은 카메라(C5)로부터 볼 수 있지만 카메라(C2)로부터는 볼 수 없다.
도 2b 상의 레퍼런스(212)는 카메라(C4)에 의해 뷰잉된 장면의 이미지이다. 이미지(212)의 제1 부분(2120)은 카메라(C4)와 카메라(C2) 둘 모두에 의해 뷰잉된다. 이미지(212)의 제2 부분(2121)은 카메라(C4)에 의해 뷰잉되고, 카메라(C2)로부터는 차단된다.
도 2b 상의 레퍼런스(203)는 카메라(C2)에 의해 뷰잉된 장면의 이미지이다.
도 2b 상의 레퍼런스(214)는 카메라(C5)에 의해 뷰잉된 장면의 이미지이다. 이미지(214)의 제1 부분(2140)은 카메라(C5)와 카메라(C2) 둘 모두에 의해 뷰잉된다. 이미지(214)의 제2 부분(2141)은 카메라(C5)에 의해 뷰잉되고, 카메라(C2)로부터는 차단된다.
도 3은 본 개시내용의 실시예에 따른, 장면의 계층적 깊이 데이터를 생성하기 위한 장치의 예를 예시하는 개략적인 블록도이다.
장치(300)는 프로세서(301), 저장 유닛(302), 입력 디바이스(303), 디스플레이 디바이스(304), 및 인터페이스 유닛(305)을 포함하고, 이들은 버스(306)에 의해 연결된다. 당연히, 컴퓨터 장치(300)의 구성 엘리먼트들은 버스 연결 이외의 연결에 의해 연결될 수 있다.
프로세서(301)는 장치(300)의 동작들을 제어한다. 저장 유닛(302)은 프로세서(301)에 의해 실행될 적어도 하나의 프로그램 및 다양한 데이터를 저장하며, 그 다양한 데이터는 라이트-필드 카메라에 의해 캡처 및 제공되는 4D 라이트-필드 이미지들의 데이터, 프로세서(301)에 의해 수행되는 컴퓨테이션들에 의해 사용되는 파라미터들, 프로세서(301)에 의해 수행되는 컴퓨테이션들의 중간 데이터 등을 포함한다. 프로세서(301)는 임의의 공지되고 적합한 하드웨어, 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 형성될 수 있다. 예컨대, 프로세서(301)는 전용 하드웨어, 이를테면 프로세싱 회로에 의해, 또는 프로그래머블 프로세싱 유닛의 메모리에 저장된 프로그램을 실행하는 프로그래머블 프로세싱 유닛, 이를테면 CPU(Central Processing Unit)에 의해 형성될 수 있다.
저장 유닛(302)은 임의의 적합한 저장소, 또는 컴퓨터-판독가능 방식으로 프로그램 또는 데이터 등을 저장할 수 있는 수단에 의해 형성될 수 있다. 저장 유닛(302)의 예들은 비-일시적 컴퓨터-판독가능 저장 매체들, 이를테면 반도체 메모리 디바이스들, 및 판독 및 기록 유닛 내에 로딩되는 자기, 광학, 또는 광자기 레코딩 매체들을 포함한다. 프로그램은 프로세서(301)로 하여금, 도 5를 참조하여 이하 설명되는 바와 같이, 본 개시내용의 실시예에 따라, 이미지의 흐릿함의 레벨을 나타내는 레지스트레이션 에러 맵(registration error map)을 획득하기 위한 프로세스를 수행하게 한다.
입력 디바이스(303)는 리-포커싱 표면을 정의하기 위해 사용되는 관심 대상의 3-차원(또는 3D) 모델들의 사용자의 선택들을 행하기 위하여, 커맨드들을 입력하기 위해 사용자가 사용하기 위한 키보드 또는 포인팅 디바이스, 이를테면 마우스 등에 의해 형성될 수 있다. 출력 디바이스(304)는, 예컨대, 그래픽 사용자 인터페이스(Graphical User Interface)(GUI), 본 개시내용의 실시예에 따라 생성된 이미지들을 디스플레이하기 위한 디스플레이 디바이스에 의해 형성될 수 있다. 입력 디바이스(303) 및 출력 디바이스(304)는, 예컨대, 터치스크린 패널에 의해 일체로 형성될 수 있다.
인터페이스 유닛(305)은 장치(300)와 외부 장치 사이의 인터페이스를 제공한다. 인터페이스 유닛(305)은 케이블 또는 무선 통신을 통해 외부 장치와 통신 가능할 수 있다. 실시예에서, 외부 장치는 라이트-필드 카메라일 수 있다. 이 경우에, 라이트-필드 카메라에 의해 캡처된 4D 라이트-필드 이미지들의 데이터가 라이트-필드 카메라로부터 인터페이스 유닛(305)을 통해 장치(300)로 입력될 수 있고, 그 후, 저장 유닛(302)에 저장될 수 있다.
이 실시예에서, 장치(300)는, 장치(300)가 라이트-필드 카메라로부터 분리되고, 이들이 케이블 또는 무선 통신을 통해 서로 통신 가능한 것으로 예시적으로 논의되지만, 장치(300)가 라이트-필드 카메라와 통합될 수 있음이 유의되어야 한다. 이러한 후자의 경우에, 장치(300)는, 예컨대, 라이트-필드 카메라를 임베딩하는 스마트폰 또는 태블릿과 같은 휴대용 디바이스일 수 있다.
도 4는 본 개시내용의 실시예에 따른, 장면의 계층적 깊이 데이터를 생성하기 위한 프로세스를 설명하기 위한 흐름도이다.
단계(401)에서, 장치(300)의 프로세서(301)는, 라이트-필드 카메라에 의해 캡처 및 제공되거나 또는 장치(300)의 저장 유닛(302)에 저장된 장면의 라이트-필드 콘텐츠를 검색한다. 이러한 후자의 경우에, 라이트-필드 콘텐츠는, 예컨대, 주어진 장면 표현을 위해 컴퓨터에 의해 전체적으로 또는 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지(Computer Graphics Image)(CGI)들이다.
단계(402)에서, 장치(300)의 프로세서(301)는 검색된 라이트-필드 콘텐츠의 적어도 하나의 시점에 대해 깊이 맵을 컴퓨팅한다. 라이트-필드 콘텐츠로부터의 고려되는 시점은 장면의 주어진 뷰잉 방향에 대응한다. 주어진 이미지에 대해, 깊이에 관한 정보는 시점-간 불일치(inter-view disparity)에 관련된다. 시점-간 불일치는, 라이트-필드 콘텐츠를 취득하기 위해 사용되는, 실제 또는 가상의, 라이트-필드 카메라들의 광학 시스템들의 축 간격들 및 초점 길이들에 따른 스케일 인자에 대한 깊이의 역함수이다. 시점-간 불일치는 대응 분석을 실행함으로써 픽셀 단위로 계층적으로 추정되며, 이는, 예컨대, V. Drazic, N. Sabater에 의한 "A precise real-time stereo algorithm"(Proceedings of the 2Th Conference on Image and Vision Computing New Zealand)에서 설명된다. 컴퓨팅된 깊이 맵에서 첨예한 에지들과 함께 스무스한 깊이 변화들을 제시하기 위해, 적절한 정규화 비용을 사용하여 깊이 맵의 컴퓨테이션 동안, 또는 예컨대 양방향 필터링을 이용하여 사후-프로세싱으로서, 정규화가 수행될 수 있다.
이용 가능한 모든 각각의 뷰잉 방향에 대해 깊이 맵이 컴퓨팅된다. 예컨대, 도 2a 및 도 2b 상에서 나타낸 카메라들의 어레이에 의해 라이트-필드 콘텐츠가 취득되는 경우, 고려되는 이미지는 카메라(C2)에 의해 취득되는 이미지(202)이다. 좌측-대-우측 불일치 추정은 카메라(C2)의 좌측에 위치된 카메라(C1)에 의해 취득되는 이미지(202)에 대응하는 깊이 맵을 얻기 위해 수행된다. 우측-대-좌측 불일치 추정은 카메라(C2)의 우측에 위치된 카메라(C3)에 의해 취득되는 이미지(204)에 대응하는 깊이 맵을 얻기 위해 수행된다.
이어서, 상단-대-하단 불일치 추정은 카메라(C2)의 상단에 위치된 카메라(C4)에 의해 취득되는 이미지(212)에 대응하는 깊이 맵을 얻기 위해 수행된다. 하단-대-상단 불일치 추정은 카메라(C2)의 하단에 위치된 카메라(C5)에 의해 취득되는 이미지(214)에 대응하는 깊이 맵을 얻기 위해 수행된다.
단계(403)에서, 프로세서(301)는 이미지(203)의 뷰잉 방향과 다른 제1 방향에서 이미지(203)와 연관된 제1 세트의 차단 정보를 컴퓨팅한다.
차단은, 예컨대 이미지들(202 및 203)과 같은 2개의 인접 이미지들에 연관된 깊이 맵들을 비교함으로써 검출된다. 차단은 2개의 인접 이미지들(203 및 202)에 연관된 깊이 맵들이 불일치하는 영역들에서 발생한다. 이들은 카메라(C1)에 의해 뷰잉되고 카메라(C2)에 대해 차단된 이미지(202)의 제2 부분(2021)에 대응한다. 이미지(202)의 부분(2021)에 대응하는 깊이 맵들의 그러한 부분들은 비어 있는 것으로 표시되는데, 이는 대응 분석에 의해 추정된 깊이는 신뢰할 수 없기 때문이며, 이어서, 이들은 깊이 기울기들 및 곡률들을 보존하여, 예컨대 배경 전파에 기초하는 종래의 방법으로 채워진다.
단계(403) 동안, 이미지들(203 및 204)과 같은 2개의 인접 이미지들에 연관된 깊이 맵들을 비교함으로써, 다른 세트의 차단 정보가 컴퓨팅될 수 있다.
단계(404)에서, 프로세서(301)는 이미지(203)의 뷰잉 방향과 다르고 제1 방향과 다른 제2 방향에서 이미지(203)와 연관된 제2 세트의 차단 정보를 컴퓨팅한다.
예컨대 이미지들(212 및 203)과 같은 2개의 인접 이미지들에 연관된 깊이 맵들이 컴퓨팅된다. 차단은 2개의 인접 이미지들(203 및 212)에 연관된 깊이 맵들이 불일치하는 영역들에서 발생한다. 이들은 카메라(C4)에 의해 뷰잉되고 카메라(C2)에 대해 차단된 이미지(212)의 제2 부분(2121)에 대응한다.
단계(404) 동안, 이미지들(213 및 214)과 같은 2개의 인접 이미지들에 연관된 깊이 맵들을 비교함으로써, 다른 세트의 차단 정보가 컴퓨팅될 수 있다.
프로세서(301)는 이미지(203)의 뷰잉 방향과 다르고 제1 방향과 다른 다른 방향들에서 이미지(203)와 연관된 2개 초과의 세트들의 차단 정보를 컴퓨팅할 수 있다. 단계(405)에서, 프로세서(301)는 장면의 계층적 깊이 데이터를 생성한다. 위에서 언급된 방법에 따라 생성되는 계층적 깊이 데이터는 라이트-필드 콘텐츠로부터의 적어도 하나의 이미지, 상기 이미지에 연관된 깊이 맵, 상기 이미지에 연관된 제1 세트의 차단 정보 및 제2 세트의 차단 정보를 포함한다.
본 발명의 실시예에서, 라이트-필드 콘텐츠는 비디오 콘텐츠일 수 있다.
도 5a 상에 나타낸 제1 실시예에서, 장면의 계층적 깊이 데이터는, 이미지(203), 이미지(203)에 연관된 깊이 맵(50), 차단 마스크(51)의 형태의 제1 세트의 차단 정보, 및 차단 마스크(52)의 형태의 제2 세트의 차단 정보를 어그리게이팅함으로써 생성된다. 도 5b 상에 나타낸 제2 실시예에서, 장면의 계층적 깊이 데이터는, 이미지(203), 이미지(203)에 연관된 깊이 맵(50), 및 차단 마스크(53)의 형태의 제3 세트의 차단 정보를 어그리게이팅함으로써 생성된다.
이 제3 세트의 차단 정보는 제1 차단 정보와 제2 세트의 차단 정보를 병합함으로써 컴퓨팅된다.
예컨대, 제3 세트의 차단 정보는 제1 및 제2 차단 정보의 평균 값들을 포함할 수 있다. 2개 초과의 세트들의 차단 정보가 이용 가능한 경우에, 프로세서(301)는, 예컨대, 연관된 신뢰 기준들에 기초하여, 계층적 깊이 데이터를 생성하기 위해 사용될 차단 정보의 세트로서 이들 중 하나를 선택할 수 있다.
단계(406)에서, 이어서, 계층적 깊이 데이터는 렌더링 디바이스 또는 프로세싱 디바이스 쪽으로 송신된다.
본 발명이 특정 실시예들을 참조하여 위에서 설명되었지만, 본 발명은 특정 실시예들로 제한되지 않으며, 본 발명의 범위 내에 놓인 변형들이 당업자에게 자명할 것이다.
전술된 예시적인 실시예들을 참조할 시 다수의 추가적인 변형들 및 변화들이 당업자에게 제안될 것이며, 그 전술된 실시예들은 단지 예로서 제공된 것이고, 첨부된 청구항들에 의해서만 결정되는 본 발명의 범위를 제한하는 것으로 의도되지 않는다. 특히, 상이한 실시예들의 상이한 특징부들은 적절한 경우 상호 교환될 수 있다.

Claims (20)

  1. 장치로서,
    상기 장치는 프로세서를 포함하는 회로를 포함하며,
    상기 프로세서는:
    장면의 참조 뷰를 포함하는 라이트 필드 콘텐츠를 수신하고 - 제1 세트의 부가적인 뷰들은 제1 방향을 따라 상기 참조 뷰와 시점이 상이하고, 제2 세트의 부가적인 뷰들은 제2 방향을 따라 상기 참조 뷰와 시점이 상이하며, 상기 제2 방향은 상기 제1 방향과 상이함 -,
    상기 참조 뷰와, 상기 제1 세트의 부가적인 뷰들 중에서 적어도 하나의 부가적인 뷰 사이의 불일치 분석을 사용하여 제1 깊이 맵을 생성하고,
    상기 참조 뷰와, 상기 제2 세트의 부가적인 뷰들 중에서 적어도 하나의 부가적인 뷰 사이의 불일치 분석을 사용하여 제2 깊이 맵을 생성하고,
    상기 제1 깊이 맵을 사용하여 상기 제1 방향에 대한 제1 차단 정보를 생성하고 - 상기 제1 차단 정보는 제1 차단 깊이 정보 및 제1 차단 컬러 정보를 포함함 -,
    상기 제2 깊이 맵을 사용하여 상기 제2 방향에 대한 제2 차단 정보를 생성하고 - 상기 제2 차단 정보는 제2 차단 깊이 정보 및 제2 차단 컬러 정보를 포함함 -,
    상기 제2 차단 깊이 정보와 조합된 적어도 상기 제1 차단 깊이 정보를 사용하여 깊이 이미지를 생성하고,
    상기 제2 차단 컬러 정보와 조합된 적어도 상기 제1 차단 컬러 정보를 사용하여 컬러 이미지를 생성하도록 구성되는, 장치.
  2. 제1항에 있어서,
    상기 장치는 상기 라이트 필드 콘텐츠를 캡처하기 위한 캡처 디바이스를 추가적으로 포함하는, 장치.
  3. 제1항에 있어서,
    상기 라이트 필드 콘텐츠는 광학 디바이스에 의해 취득되는 라이트 필드 콘텐츠, 컴퓨터에 의해 적어도 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지, 광학 디바이스로부터 획득된 라이트-필드 콘텐츠에 관하여 추후 생성된 데이터, 컴퓨터에 의해 적어도 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지에 관하여 추후 생성된 데이터, 그리고 전술된 것들 중 적어도 두개의 조합 중 임의의 것을 포함하는, 장치.
  4. 제1항에 있어서,
    적어도 상기 장면의 참조 뷰, 상기 라이트 필드 콘텐츠의 상기 제1 세트의 부가적인 뷰들 및 상기 제2 세트의 부가적인 뷰들은 각각의 깊이 정보 및 이미지 정보를 포함하는, 장치.
  5. 제4항에 있어서,
    상기 각각의 이미지 정보는 컬러 정보를 포함하는, 장치.
  6. 제1항에 있어서,
    상기 참조 뷰는 중앙 뷰인, 장치.
  7. 제1항에 있어서,
    상기 장치는 휴대용 디바이스, 태블릿, 및 스마트폰 중 임의의 것인, 장치.
  8. 비일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 판독가능 매체는 프로세서로 하여금:
    장면의 참조 뷰를 포함하는 라이트 필드 콘텐츠를 수신하고 - 제1 세트의 부가적인 뷰들은 제1 방향을 따라 상기 참조 뷰와 시점이 상이하고, 제2 세트의 부가적인 뷰들은 제2 방향을 따라 상기 참조 뷰와 시점이 상이하며, 상기 제2 방향은 상기 제1 방향과 상이함 -,
    상기 참조 뷰와, 상기 제1 세트의 부가적인 뷰들 중에서 적어도 하나의 부가적인 뷰 사이의 불일치 분석을 사용하여 제1 깊이 맵을 생성하고,
    상기 참조 뷰와, 상기 제2 세트의 부가적인 뷰들 중에서 적어도 하나의 부가적인 뷰 사이의 불일치 분석을 사용하여 제2 깊이 맵을 생성하고,
    상기 제1 깊이 맵을 사용하여 상기 제1 방향에 대한 제1 차단 정보를 생성하고 - 상기 제1 차단 정보는 제1 차단 깊이 정보 및 제1 차단 컬러 정보를 포함함 -,
    상기 제2 깊이 맵을 사용하여 상기 제2 방향에 대한 제2 차단 정보를 생성하고 - 상기 제2 차단 정보는 제2 차단 깊이 정보 및 제2 차단 컬러 정보를 포함함 -,
    상기 제2 차단 깊이 정보와 조합된 적어도 상기 제1 차단 깊이 정보를 사용하여 깊이 이미지를 생성하고,
    상기 제2 차단 컬러 정보와 조합된 적어도 상기 제1 차단 컬러 정보를 사용하여 컬러 이미지를 생성하게 하는 명령어들을 저장하는, 비일시적 컴퓨터 판독가능 매체.
  9. 제8항에 있어서,
    상기 라이트 필드 콘텐츠는 광학 디바이스에 의해 취득되는 라이트 필드 콘텐츠, 컴퓨터에 의해 적어도 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지, 광학 디바이스로부터 획득된 라이트 필드 콘텐츠에 관하여 추후 생성된 데이터, 컴퓨터에 의해 적어도 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지에 관하여 추후 생성된 데이터, 그리고 전술된 것들 중 적어도 두개의 조합 중 임의의 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  10. 제8항에 있어서,
    적어도 상기 장면의 참조 뷰, 상기 라이트 필드 콘텐츠의 상기 제1 세트의 부가적인 뷰들 및 상기 제2 세트의 부가적인 뷰들은 각각의 깊이 정보 및 이미지 정보를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  11. 제10항에 있어서,
    상기 각각의 이미지 정보는 컬러 정보를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  12. 제8항에 있어서,
    상기 참조 뷰는 중앙 뷰인, 비일시적 컴퓨터 판독가능 매체.
  13. 방법으로서,
    장면의 참조 뷰를 포함하는 라이트 필드 콘텐츠를 수신하는 단계 - 제1 세트의 부가적인 뷰들은 제1 방향을 따라 상기 참조 뷰와 시점이 상이하고, 제2 세트의 부가적인 뷰들은 제2 방향을 따라 상기 참조 뷰와 시점이 상이하며, 상기 제2 방향은 상기 제1 방향과 상이함 -;
    상기 참조 뷰와, 상기 제1 세트의 부가적인 뷰들 중에서 적어도 하나의 부가적인 뷰 사이의 불일치 분석을 사용하여 제1 깊이 맵을 생성하는 단계;
    상기 참조 뷰와, 상기 제2 세트의 부가적인 뷰들 중에서 적어도 하나의 부가적인 뷰 사이의 불일치 분석을 사용하여 제2 깊이 맵을 생성하는 단계;
    상기 제1 깊이 맵을 사용하여 상기 제1 방향에 대한 제1 차단 정보를 생성하는 단계 - 상기 제1 차단 정보는 제1 차단 깊이 정보 및 제1 차단 컬러 정보를 포함함 -;
    상기 제2 깊이 맵을 사용하여 상기 제2 방향에 대한 제2 차단 정보를 생성하는 단계 - 상기 제2 차단 정보는 제2 차단 깊이 정보 및 제2 차단 컬러 정보를 포함함 -;
    상기 제2 차단 깊이 정보와 조합된 적어도 상기 제1 차단 깊이 정보를 사용하여 깊이 이미지를 생성하는 단계; 및
    상기 제2 차단 컬러 정보와 조합된 적어도 상기 제1 차단 컬러 정보를 사용하여 컬러 이미지를 생성하는 단계를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 라이트 필드 콘텐츠는 광학 디바이스에 의해 취득되는 라이트 필드 콘텐츠, 컴퓨터에 의해 적어도 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지, 광학 디바이스로부터 획득된 라이트 필드 콘텐츠에 관하여 추후 생성된 데이터, 컴퓨터에 의해 적어도 부분적으로 시뮬레이팅된 컴퓨터 그래픽 이미지에 관하여 추후 생성된 데이터, 그리고 전술된 것들 중 적어도 두개의 조합 중 임의의 것을 포함하는, 방법.
  15. 제13항에 있어서,
    적어도 상기 장면의 참조 뷰, 상기 라이트 필드 콘텐츠의 상기 제1 세트의 부가적인 뷰들 및 상기 제2 세트의 부가적인 뷰들은 각각의 깊이 정보 및 이미지 정보를 포함하는, 방법.
  16. 제15항에 있어서,
    상기 각각의 이미지 정보는 컬러 정보를 포함하는, 방법.
  17. 제13항에 있어서,
    상기 참조 뷰는 중앙 뷰인, 방법.
  18. 삭제
  19. 삭제
  20. 삭제
KR1020227010349A 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법 KR102551274B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237021910A KR20230106714A (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP16305933.0A EP3273686A1 (en) 2016-07-21 2016-07-21 A method for generating layered depth data of a scene
EP16305933.0 2016-07-21
KR1020197004739A KR102381462B1 (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법
PCT/EP2017/068525 WO2018015555A1 (en) 2016-07-21 2017-07-21 A method for generating layered depth data of a scene

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004739A Division KR102381462B1 (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237021910A Division KR20230106714A (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법

Publications (2)

Publication Number Publication Date
KR20220045242A KR20220045242A (ko) 2022-04-12
KR102551274B1 true KR102551274B1 (ko) 2023-07-05

Family

ID=56683857

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197004739A KR102381462B1 (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법
KR1020237021910A KR20230106714A (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법
KR1020227010349A KR102551274B1 (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020197004739A KR102381462B1 (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법
KR1020237021910A KR20230106714A (ko) 2016-07-21 2017-07-21 장면의 계층적 깊이 데이터를 생성하기 위한 방법

Country Status (7)

Country Link
US (2) US11127146B2 (ko)
EP (2) EP3273686A1 (ko)
JP (2) JP7184748B2 (ko)
KR (3) KR102381462B1 (ko)
CN (2) CN109644280B (ko)
BR (1) BR112019001046A2 (ko)
WO (1) WO2018015555A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3273686A1 (en) * 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
EP3416371A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data
EP3416381A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
EP3598389A1 (en) * 2018-07-19 2020-01-22 Thomson Licensing Method for detecting occlusions in an image, corresponding device and computer program product
US11252392B2 (en) * 2019-02-22 2022-02-15 Avalon Holographies Inc. Layered scene decomposition CODEC with layered depth imaging
CN115202174B (zh) * 2022-07-14 2023-11-10 浙江理工大学 基于光场图像的全息体视图获取方法、系统和应用

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6726596A (en) * 1995-03-22 1996-10-08 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
EP2005757B1 (en) * 2006-03-31 2016-08-24 Koninklijke Philips N.V. Efficient encoding of multiple views
US7940268B2 (en) * 2007-06-29 2011-05-10 Microsoft Corporation Real-time rendering of light-scattering media
KR101484487B1 (ko) * 2007-10-11 2015-01-28 코닌클리케 필립스 엔.브이. 깊이-맵을 프로세싱하는 방법 및 디바이스
JP5544361B2 (ja) * 2008-08-26 2014-07-09 コーニンクレッカ フィリップス エヌ ヴェ 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
EP2180449A1 (en) 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
JP2012507181A (ja) * 2008-10-28 2012-03-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像特性のための遮蔽データの発生
AU2010215135B2 (en) * 2009-02-17 2016-05-12 Koninklijke Philips Electronics N.V. Combining 3D image and graphical data
US9167226B2 (en) * 2009-10-02 2015-10-20 Koninklijke Philips N.V. Selecting viewpoints for generating additional views in 3D video
US9197799B2 (en) * 2009-10-19 2015-11-24 Pixar Super light field lens with focus control and non spherical lenslet arrays
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
KR20120049636A (ko) 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
KR20120129313A (ko) * 2011-05-19 2012-11-28 한국전자통신연구원 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법
KR102002165B1 (ko) * 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9237330B2 (en) * 2012-02-21 2016-01-12 Intellectual Ventures Fund 83 Llc Forming a stereoscopic video
ITTO20120413A1 (it) 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
US20150237323A1 (en) * 2012-07-23 2015-08-20 Thomlson Licensing 3d video representation using information embedding
US9092890B2 (en) * 2012-12-20 2015-07-28 Ricoh Company, Ltd. Occlusion-aware reconstruction of three-dimensional scenes from light field images
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
CN106165387A (zh) 2013-11-22 2016-11-23 维迪诺蒂有限公司 光场处理方法
KR101561525B1 (ko) * 2013-12-30 2015-10-20 재단법인대구경북과학기술원 스테레오 깊이 영상 생성 장치 및 방법
EP3101892A4 (en) * 2014-05-21 2017-07-26 Sony Corporation Image processing apparatus and method
US10567464B2 (en) * 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10136116B2 (en) * 2016-03-07 2018-11-20 Ricoh Company, Ltd. Object segmentation from light field data
EP3273686A1 (en) * 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene

Also Published As

Publication number Publication date
CN109644280B (zh) 2023-10-31
JP7184748B2 (ja) 2022-12-06
EP3273686A1 (en) 2018-01-24
JP2022174085A (ja) 2022-11-22
KR20190032440A (ko) 2019-03-27
US20220005216A1 (en) 2022-01-06
CN109644280A (zh) 2019-04-16
US20190385323A1 (en) 2019-12-19
KR20220045242A (ko) 2022-04-12
US11803980B2 (en) 2023-10-31
US11127146B2 (en) 2021-09-21
WO2018015555A1 (en) 2018-01-25
KR20230106714A (ko) 2023-07-13
EP3488608A1 (en) 2019-05-29
BR112019001046A2 (pt) 2019-04-30
CN117596411A (zh) 2024-02-23
KR102381462B1 (ko) 2022-04-01
JP2019527425A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
KR102551274B1 (ko) 장면의 계층적 깊이 데이터를 생성하기 위한 방법
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
CA2668941C (en) System and method for model fitting and registration of objects for 2d-to-3d conversion
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
KR101907945B1 (ko) 다중 시점 장면에서의 그래픽 표시
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
KR102156402B1 (ko) 영상 처리 방법 및 장치
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
US20200137376A1 (en) Method for generating a light-field 3d display unit image and a generating device
JP7285834B2 (ja) 三次元再構成方法および三次元再構成装置
Jain et al. Efficient stereo-to-multiview synthesis
Kim et al. Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera
KR20200107217A (ko) 영상 처리 방법 및 장치
JP6717576B2 (ja) 映像レンダリング装置及び方法
Schmeing et al. Depth image based rendering
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
Gurbuz et al. 3D imaging for glasses-free multiview 3D displays
Adhikarla et al. View synthesis for lightfield displays using region based non-linear image warping
Kovács et al. Analysis and optimization of pixel usage of light-field conversion from multi-camera setups to 3D light-field displays
EP3267682A1 (en) Multiview video encoding
JP2009151747A (ja) 自由視点映像生成方法および記録媒体
Jeong Autostereoscopic 3D Display Rendering from Stereo Sequences

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right