KR20190052089A - 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스 - Google Patents

명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20190052089A
KR20190052089A KR1020197010888A KR20197010888A KR20190052089A KR 20190052089 A KR20190052089 A KR 20190052089A KR 1020197010888 A KR1020197010888 A KR 1020197010888A KR 20197010888 A KR20197010888 A KR 20197010888A KR 20190052089 A KR20190052089 A KR 20190052089A
Authority
KR
South Korea
Prior art keywords
parameters
representing
pixel
scene
ray
Prior art date
Application number
KR1020197010888A
Other languages
English (en)
Inventor
발터 드라직
디디에 도옌
뽈 께르비리우
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP16306287.0A external-priority patent/EP3301926A1/en
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Publication of KR20190052089A publication Critical patent/KR20190052089A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 장면을 표현하는 포인트 클라우드의 재구성과 관련된다. 포인트 클라우드 데이터는, 저장을 곤란하게 하고 프로세싱을 덜 효율적이 되게 하는 많은 양의 저장 공간을 차지한다. 이를 위해, 센서 상에 맵핑된 센서의 상이한 픽셀들에 의해 감지된 광선들을 표현하는 파라미터들을 포함하는 장면을 표현하는 신호를 인코딩하기 위한 방법이 제안된다. 센서의 상이한 픽셀들에 의해 감지된 광선들을 표현하는 파라미터들로부터 명시야 컨텐츠를 재구성하기 위한 제2 세트의 인코딩된 파라미터들, 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 깊이를 표현하는 제3 세트의 파라미터들이 사용되고, 수신기 측에서 포인트 클라우드를 재구성하기 위해 컬러 데이터를 표현하는 제4 세트의 파라미터가 사용된다.

Description

명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스
본 발명은 데이터 및 메타데이터의 세트들의 송신에 관한 것이고, 더 상세하게는 장면을 표현하는 포인트 클라우드의 재구성을 가능하게 하는 데이터의 송신에 관한 것이다.
포인트 클라우드는 컴퓨터 그래픽에서 3D(3차원) 장면을 표현하기 위해 널리-공지된 방법이다. 장면을 포인트 클라우드로서 표현하는 것은 이러한 장면의 상이한 시점을 보는 것을 돕는다. 좌표들 (x,y,z)의 각각의 포인트에 대한 포인트 클라우드에서, 3D 공간의 a는 RGB 값에 대응한다. 그러나, 장면은 강한 연속성 없이 오직 공간 내의 포인트의 집합물로서 표현된다.
포인트 클라우드를 표현하는 데이터를 압축하는 것은 용이한 작업이 아니다. 실제로, 포인트 클라우드에 속하는 모든 포인트들은 표준 비디오에서와 같이 단순한 직사각형 형상으로 위치되지 않기 때문에, 이러한 데이터를 인코딩하는 방식은 간단하지 않다.
또한, 포인트 클라우드 표현은, 저장을 곤란하게 하고 프로세싱을 덜 효율적이 되게 하는 많은 양의 저장 공간을 차지한다.
본 발명은 상기 내용을 고려하여 고안되었다.
본 발명의 제1 양태에 따르면, 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 컴퓨터에 의해 구현되는 방법이 제공되며, 상기 방법은 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
- 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
- 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
- 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
- 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들을 인코딩하는 단계를 포함하고,
상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것이다.
본 발명의 일 실시예에 따른 인코딩 방법에 따라 송신되는 파라미터들은, 수신 디바이스에 의해 송신 및 프로세싱되도록 의도된 장면을 포착하기 위해 사용되는 광학 시스템과 독립적이다.
본 발명의 일 실시예에 따른 방법에서, 광학 시스템의 센서의 상이한 픽셀들에 의해 감지된 광선들을 표현하는 파라미터들, 즉 제1 세트의 파라미터들의 파라미터들은 센서 상에 맵핑된다. 따라서, 이러한 파라미터들은 픽처들로 간주될 수 있다. 예를 들어, 광학 시스템의 픽셀에 의해 감지된 광선이 4 개의 파라미터들로 표현되는 경우, 광학 시스템의 센서의 픽셀들에 의해 감지된 광선들을 표현하는 파라미터들은 4 개의 픽처들로 그룹화된다.
이러한 픽처는 MPEG-4 part 10 AVC(또한 h264로 지칭됨), h265/HEVC 또는 이들의 가능한 후속 h266과 같은 비디오 표준들에 따라 인코딩 및 송신되고, 결합된 비디오 비트스트림으로 송신될 수 있다. 제2 인코딩된 세트는 보충 강화 정보(SEI) 메시지들을 사용하여 인코딩될 수 있다. 본 발명의 일 실시예에 따른 방법에서 정의된 포맷은 어떠한 강한 에러를 도입함이 없이(무손실 코딩) 또는 제한된 양의 에러들로(손실 코딩), 송신될 데이터의 강한 압축을 가능하게 한다.
본 발명의 일 실시예에 따른 방법은 광학 디바이스에 의해 직접 포착된 데이터로 제한되지 않는다. 이러한 데이터는 주어진 장면 설명을 위해 컴퓨터에 의해 전체적으로 또는 부분적으로 시뮬레이션되는 컴퓨터 그래픽 이미지(CGI)일 수 있다. 데이터의 다른 소스는, 수정된 사후-생성된 데이터, 예를 들어, 광학 디바이스 또는 CGI로부터 획득되어 색상 등급화된 명시야 데이터일 수 있다. 또한, 광학 포착 디바이스를 사용하여 포착된 데이터 및 CGI 데이터 둘 모두의 혼합물인 데이터를 갖는 것이 현재 영화 산업에서 통상적이다. 센서의 픽셀은 컴퓨터 생성 장면 시스템에 의해 시뮬레이션될 수 있고, 확장에 의해 전체 센서가 상기 시스템에 의해 시뮬레이션될 수 있음을 이해해야 한다. 이로부터, "센서의 픽셀" 또는 "센서"에 대한 임의의 참조는 광학적 포착 디바이스에 부착된 물리적 물체 또는 컴퓨터 생성 장면 시스템에 의해 획득된 시뮬레이션된 실체 중 어느 하나일 수 있음이 이해된다.
이러한 인코딩 방법은 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위해 콤팩트한 포맷 데이터에서 인코딩하는 것을 가능하게 한다.
인코딩 방법의 일 실시예에 따르면, 제1 세트의 파라미터들 중 적어도 하나의 파라미터는, 상기 광선의 좌표와 상기 광학 시스템의 복수의 픽셀들에 의해 감지된 복수의 광선들의 좌표 세트를 피팅(fitting)하는 평면 사이의 거리를 표현하고, 제2 세트의 파라미터들 중 적어도 하나의 파라미터는 피팅 평면의 좌표를 표현한다.
광선의 좌표와 센서의 상이한 픽셀들에 의해 감지된 복수의 광선들의 좌표 세트를 피팅하는 평면 사이의 거리를 인코딩하는 것은 송신될 데이터를 압축하는 것을 가능하게 하는데, 이는, 컴퓨팅된 거리들의 상이한 값들 사이의 진폭이 통상적으로 좌표들의 상이한 값들 사이의 진폭보다 작기 때문이다.
인코딩 방법의 일 실시예에 따르면, 제1 세트의 파라미터들 중 적어도 하나의 파라미터는,
- 상기 픽셀에 의해 감지된 광선을 표현하는 값과 센서의 행에서 상기 픽셀에 선행하는 다른 픽셀에 의해 감지된 광선을 표현하는 값 사이의 차이, 또는
- 상기 픽셀이 센서의 행의 첫번째 픽셀인 경우, 상기 픽셀에 의해 감지된 광선을 표현하는 값과 상기 픽셀이 속하는 행에 선행하는 행의 제1 픽셀에 의해 감지된 광선을 표현하는 값 사이의 차이를 표현한다.
광선을 표현하는 값은 광선을 표현하는 좌표이거나, 또는 센서의 상이한 픽셀들에 의해 감지된 복수의 광선들의 좌표 세트를 피팅하는 좌표들과 평면들 사이의 거리일 수 있다.
이는, 송신될 파라미터들의 상이한 값들 사이의 진폭을 감소시킴으로써 데이터를 압축하는 것을 가능하게 한다.
인코딩 방법의 일 실시예에 따르면, 제1 세트의 파라미터들의 파라미터들을 인코딩하기 위해 독립적 코덱들이 사용된다.
인코딩 방법의 일 실시예에 따르면, 제2 세트의 파라미터들이 제1 세트의 파라미터들의 마지막 송신 이후 제1 세트의 파라미터들이 불변임을 표시하는 파라미터를 포함하는 경우, 오직 상기 제2 세트의 파라미터들만이 송신된다.
이는 디코딩 디바이스들에 송신될 데이터의 양을 감소시키는 것을 가능하게 한다.
본 발명의 다른 목적은 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 디바이스에 관한 것이고, 상기 디바이스는 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
- 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
- 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
- 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
- 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들을 인코딩하도록 구성된 프로세서를 포함하고,
상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것이다.
본 발명의 다른 양태는 광학 디바이스로부터 획득된 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법에 관한 것이고, 상기 방법은,
- 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
디코딩된 제1 세트의 파라미터들로부터 명시야 컨텐츠를 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들
적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들을 포함하는 신호를 디코딩하는 단계,
- 디코딩된 제1 세트의 파라미터들, 디코딩된 제2 세트의 파라미터들, 디코딩된 제3 세트의 파라미터들 및 디코딩된 제4 세트의 파라미터들에 기초하여 상기 포인트 클라우드를 재구성하는 단계를 포함한다.
본 발명의 실시예에 따르면, 상기 포인트 클라우드를 재구성하는 단계는,
- 센서의 적어도 하나의 픽셀에 대해,
적어도 상기 장면의 오브젝트와 상기 광선의 교차점에 대응하는 포인트의 3차원 공간에서의 위치,
광학 디바이스에 의해 상기 포인트가 뷰잉되고 있는 뷰잉 방향을 컴퓨팅하는 단계,
- 센서의 상기 픽셀에 의해 감지되는 컬러 데이터를 표현하는 파라미터를 상기 컴퓨팅된 포인트에 연관시키는 단계로 이루어진다.
본 발명의 다른 양태는 광학 디바이스로부터 획득된 장면을 표현하는 포인트 클라우드를 재구성하기 위한 디바이스에 관한 것이고, 상기 디바이스는,
- 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
디코딩된 제1 세트의 파라미터들로부터 명시야 컨텐츠를 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들
적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들을 포함하는 신호를 디코딩하고,
- 디코딩된 제1 세트의 파라미터들, 디코딩된 제2 세트의 파라미터들, 디코딩된 제3 세트의 파라미터들 및 디코딩된 제4 세트의 파라미터들에 기초하여 상기 포인트 클라우드를 재구성하도록 구성된 프로세서를 포함한다.
본 발명의 다른 양태는 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 디바이스에 의해 송신된 신호에 관한 것이고, 상기 신호는, 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
- 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
- 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
- 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
- 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들을 포함하는 메시지를 반송하고,
상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것이다.
본 발명의 다른 목적은 광학 디바이스로부터 획득된 장면을 표현하는 데이터를 포함하는 디지털 파일이고, 상기 데이터는 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
- 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
- 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
- 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
- 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들을 포함하고,
상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것이다.
본 발명의 엘리먼트들에 의해 구현되는 일부 프로세스들은 컴퓨터로 구현될 수 있다. 따라서, 이러한 엘리먼트들은 완전한 하드웨어 실시예, 완전한 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함함), 또는 모두가 일반적으로 본원에서 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 결합한 실시예의 형태를 취할 수 있다. 또한, 이러한 엘리먼트들은 매체에 구현되는 컴퓨터 사용가능 프로그램 코드를 갖는 표현의 임의의 유형의 매체로 구현되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명의 엘리먼트들은 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적절한 캐리어 매체 상에서 프로그래밍가능 장치로의 제공을 위한 컴퓨터 판독가능 코드로서 구현될 수 있다. 유형의 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 솔리드 스테이트 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다. 일시적인 캐리어 매체는 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 들어, 마이크로파 또는 RF 신호와 같은 신호를 포함할 수 있다.
이제, 본 발명의 실시예들이 단지 예시의 방식으로, 하기 도면들을 참조하여 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른 명시야 카메라 디바이스의 블록도이다.
도 2는 명시야 데이터 포맷팅 모듈의 잠재적인 구현에 대한 특정 실시예를 예시하는 블록도이다.
도 3은 파라미터화를 위해 사용되는 2개의 기준 평면들 P1 및 P2를 통과하는 광선을 예시한다.
도 4는 공지된 깊이들 z3에 위치된 기준 평면 P3을 통과하는 광선을 예시한다.
도 5는 본 발명의 일 실시예에 따른 명시야 데이터를 포맷팅하는 방법의 단계들을 예시하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 방법의 단계들을 예시하는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 명시야 데이터를 포맷팅하는 방법의 단계들을 예시하는 흐름도이다.
도 8은 4개의 독립적인 모노크롬 코덱들을 사용하여 수신기에 송신되는 경우의
Figure pct00001
맵들,
Figure pct00002
맵들 또는
Figure pct00003
맵들을 표현한다.
도 9는 단일 이미지에서 그룹화되는 경우의
Figure pct00004
맵들,
Figure pct00005
맵들 또는
Figure pct00006
맵들을 표현한다.
도 10은 본 발명의 일 실시예에 따른 3D 공간에서 포인트를 재구성하기 위해 사용되는 2개의 기준 평면들 P1 및 P2를 통과하는 광선을 표현한다.
도 11은 본 개시내용의 일 실시예에 따라 포인트 클라우드를 재구성하기 위한 장치의 예를 예시하는 개략적인 블록도이다.
도 12는 본 발명의 일 실시예에 따른 광학 디바이스로부터 획득된 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법의 단계들을 예시하는 흐름도이다.
본 기술분야의 통상의 기술자에 의해 인식될 바와 같이, 본 원리들의 양태들은 시스템, 방법 또는 컴퓨터 판독가능 매체로서 구현될 수 있다. 따라서, 본 원리들의 양태들은 완전한 하드웨어 실시예, 완전한 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 모두가 일반적으로 본원에서 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 결합한 실시예의 형태를 취할 수 있다. 또한, 본 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 활용될 수 있다.
본 발명의 실시예들은 장면을 표현하는 포인트 클라우드를 재구성하기 위한 명시야 데이터의 포맷팅에 의존한다. 이러한 포인트 클라우드는 리포커싱, 뷰포인트 변경 등과 같은 추가적인 프로세싱 애플리케이션들에 대해 사용될 것이다. 제공된 포맷팅은 명시야 데이터를 프로세싱하기 위한 수신기 측에서 명시야 데이터 및 포인트 클라우드의 적절하고 용이한 재구성을 가능하게 한다. 제공된 포맷의 이점은, 이것이 명시야 데이터를 포착하기 위해 사용되는 디바이스에 불가지론적이고, 콤팩트한 포맷으로 장면을 표현하는 포인트 클라우드의 재구성에 필수적인 모든 데이터의 송신을 가능하게 한다는 점이다.
도 1은 본 발명의 일 실시예에 따른 명시야 카메라 디바이스의 블록도이다. 명시야 카메라는 애퍼처/셔터(102), 메인(대물) 렌즈(101), 마이크로 렌즈 어레이(110) 및 광센서 어레이를 포함한다. 일부 실시예들에서, 명시야 카메라는 대상 또는 장면의 명시야 이미지를 캡처하기 위해 활성화되는 셔터 릴리즈를 포함한다.
광센서 어레이(120)는 명시야 데이터 포맷팅 모듈(150)에 의한 명시야 데이터 포맷의 생성 및/또는 명시야 데이터 프로세서(155)에 의한 프로세싱을 위해 LF 데이터 포착 모듈(140)에 의해 포착된 명시야 이미지 데이터를 제공한다. 명시야 데이터는 포착 후 및 프로세싱 후에, 원시 데이터 포맷으로, 하위 애퍼처 이미지들 또는 초점 스택들로서, 또는 본 발명의 실시예들에 따른 명시야 데이터 포맷으로 메모리(190)에 저장될 수 있다.
예시된 예에서, 명시야 데이터 포맷팅 모듈(150) 및 명시야 데이터 프로세서(155)는 명시야 카메라(100)에 배치되거나 그에 통합된다. 본 발명의 다른 실시예들에서, 명시야 데이터 포맷팅 모듈(150) 및/또는 명시야 데이터 프로세서(155)는 명시야 포착 카메라 외부의 별개의 컴포넌트에 제공될 수 있다. 별개의 컴포넌트는 명시야 이미지 캡처 디바이스에 대해 로컬 또는 원격일 수 있다. 임의의 적합한 유선 또는 무선 프로토콜이 포맷팅 모듈(150) 또는 명시야 데이터 프로세서(155)에 명시야 이미지 데이터를 송신하기 위해 사용될 수 있는 것이 인식될 것인데; 예를 들어, 명시야 데이터 프로세서는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, Bluetooth® 통신 프로토콜 및/또는 임의의 다른 적절한 수단을 통해 캡처된 명시야 이미지 데이터 및/또는 다른 데이터를 전송할 수 있다.
명시야 데이터 포맷팅 모듈(150)은 본 발명의 실시예들에 따라, 포착된 명시야를 표현하는 데이터를 생성하도록 구성된다. 명시야 데이터 포맷팅 모듈(150)은 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
명시야 데이터 프로세서(155)는 예를 들어 본 발명의 실시예들에 따라 포맷팅된 데이터 및 메타데이터를 생성하기 위해 LF 데이터 포착 모듈(140)로부터 직접 수신된 원시 명시야 이미지 데이터에 대해 동작하도록 구성된다. 예를 들어, 캡처된 장면의 정지 이미지들, 2D 비디오 스트림들 등과 같은 출력 데이터가 생성될 수 있다. 명시야 데이터 프로세서는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
적어도 하나의 실시예에서, 명시야 카메라(100)는 또한 사용자가 제어기(170)에 의해 카메라(100)의 동작을 제어하기 위해 사용자 입력을 제공할 수 있게 하는 사용자 인터페이스(160)를 포함할 수 있다. 카메라의 제어는 셔터 속도와 같은 카메라의 광학 파라미터들의 제어, 또는 조절가능한 명시야 카메라의 경우, 마이크로 렌즈 어레이와 광센서 사이의 상대적 거리 또는 대물 렌즈들과 마이크로 렌즈 어레이 사이의 상대적 거리의 제어 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 명시야 카메라의 광학 엘리먼트들 사이의 상대적 거리들은 수동으로 조절될 수 있다. 카메라의 제어는 또한 다른 명시야 데이터 포착 파라미터들, 명시야 데이터 포맷팅 파라미터들 또는 카메라의 명시야 프로세싱 파라미터들의 제어를 포함할 수 있다. 사용자 인터페이스(160)는 터치스크린, 버튼들, 키보드, 포인팅 디바이스 등과 같은 임의의 적절한 사용자 입력 디바이스(들)를 포함할 수 있다. 이러한 방식으로, 사용자 인터페이스에 의해 수신된 입력은 데이터 포맷팅을 제어하기 위한 LF 데이터 포맷팅 모듈(150), 포착된 명시야 데이터의 프로세싱을 제어하기 위한 LF 데이터 프로세서(155) 및 명시야 카메라(100)를 제어하기 위한 제어기(170)를 제어 및/또는 구성하기 위해 사용될 수 있다.
명시야 카메라는 하나 이상의 교체가능한 또는 재충전가능한 배터리들과 같은 전원(180)을 포함한다. 명시야 카메라는 캡처된 명시야 데이터 및/또는 프로세싱된 명시야 데이터 또는 본 발명의 실시예들의 방법들을 구현하기 위한 소프트웨어와 같은 다른 데이터를 저장하기 위한 메모리(190)를 포함한다. 메모리는 외부 및/또는 내부 메모리를 포함할 수 있다. 적어도 하나의 실시예에서, 메모리는 카메라(100)와 별개인 디바이스 및/또는 위치에 제공될 수 있다. 일 실시예에서, 메모리는 메모리 스틱과 같은 제거가능한/스와핑가능한 저장 디바이스를 포함한다.
명시야 카메라는 또한 캡처 이전에 카메라 전방의 장면을 뷰잉하기 위한 그리고/또는 이전에 캡처된 및/또는 렌더링된 이미지들을 뷰잉하기 위한 디스플레이 유닛(165)(예를 들어, LCD 스크린)을 포함할 수 있다. 스크린(165)은 또한 하나 이상의 메뉴 또는 다른 정보를 사용자에게 디스플레이하기 위해 사용될 수 있다. 명시야 카메라는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, Bluetooth® 통신 프로토콜 및/또는 임의의 다른 적절한 수단을 통한 데이터 통신을 위해 파이어와이어 또는 범용 직렬 버스(USB) 인터페이스들 또는 유선 또는 무선 통신 인터페이스들과 같은 하나 이상의 I/O 인터페이스들(195)을 더 포함할 수 있다. I/O 인터페이스(195)는 본 발명의 실시예들에 따른 LF 데이터 포맷팅 모듈에 의해 생성된 명시야 표현 데이터 및 원시 명시야 데이터 또는 LF 데이터 프로세서(155)에 의해 프로세싱된 데이터와 같은 명시야 데이터를, 애플리케이션들을 렌더링하기 위한 컴퓨터 시스템들 또는 디스플레이 유닛들과 같은 외부 디바이스들로 그리고 외부 디바이스들로부터 전송하기 위해 사용될 수 있다.
도 2는 명시야 데이터 포맷팅 모듈(250) 및 명시야 데이터 프로세서(253)의 잠재적인 구현에 대한 특정 실시예를 예시하는 블록도이다.
회로(200)는 메모리(290), 메모리 제어기(245), 및 하나 이상의 프로세싱 유닛들(CPU(들))을 포함하는 프로세싱 회로(240)를 포함한다. 하나 이상의 프로세싱 유닛들(240)은 메모리(290)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 실행하여, 명시야 데이터 포맷팅 및 명시야 데이터 프로세싱을 포함하는 다양한 기능들을 수행하도록 구성된다. 메모리에 저장된 소프트웨어 컴포넌트들은 본 발명의 실시예들에 따라 포착된 광 데이터를 표현하는 데이터를 생성하기 위한 데이터 포맷팅 모듈(또는 명령어들의 세트)(250) 및 본 발명의 실시예들에 따라 명시야 데이터를 프로세싱하기 위한 명시야 데이터 프로세싱 모듈(또는 명령어들의 세트)(255)를 포함한다. 일반적인 시스템 작업들(예를 들어, 전력 관리, 메모리 관리)을 제어하기 위한 그리고 디바이스(200)의 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 용이하게 하기 위한 운영 시스템 모듈(251) 및 I/O 인터페이스 포트들을 통한 다른 디바이스들과의 통신을 제어 및 관리하기 위한 인터페이스 모듈(252)과 같은 명시야 카메라 디바이스의 애플리케이션들을 위한 다른 모듈들이 메모리에 포함될 수 있다.
본 발명의 실시예들은 카메라의 센서의 픽셀들에 의해 감지되거나 컴퓨터 생성 장면 시스템 및 공간에서 이들의 배향에 의해 시뮬레이션되는 광선들에 기초하여 명시야 데이터의 또는 더 일반적으로 광학 디바이스의 센서의 표현에 의존하고 있다. 실제로, 명시야 데이터의 다른 소스는, 수정된 사후-생성된 데이터, 예를 들어, 광학 디바이스 또는 CGI로부터 획득되어 색상 등급화된 명시야 데이터일 수 있다. 또한, 광학 포착 디바이스를 사용하여 포착된 데이터 및 CGI 데이터 둘 모두의 혼합물인 데이터를 갖는 것이 현재 영화 산업에서 통상적이다. 센서의 픽셀은 컴퓨터 생성 장면 시스템에 의해 시뮬레이션될 수 있고, 확장에 의해 전체 센서가 상기 시스템에 의해 시뮬레이션될 수 있음을 이해해야 한다.
이로부터, "센서의 픽셀" 또는 "센서"에 대한 임의의 참조는 광학적 포착 디바이스에 부착된 물리적 물체 또는 컴퓨터 생성 장면 시스템에 의해 획득된 시뮬레이션된 실체 중 어느 하나일 수 있음이 이해된다.
포착 시스템의 타입이 무엇이든, 상기 포착 시스템의 센서의 픽셀이 포착 시스템 외부의 공간에서 적어도 선형 광 궤적 또는 광선에 대응하는 것을 알면, 3 차원(또는 3D) 공간에서 광선을 표현하는 데이터가 컴퓨팅된다.
제1 실시예에서, 도 3은 서로 평행하게 위치되고 공지된 깊이들 z1 및 z2에 각각 위치되는 파라미터화를 위해 사용되는 2개의 기준 평면들 P1 및 P2를 통과하는 광선을 예시한다. z 방향 또는 깊이 방향은 명시야 데이터를 획득하기 위해 사용되는 광학 디바이스의 광학 축의 방향에 대응한다.
광선은 교차점(x1, y1)에서 깊이 z1에서 제1 기준 평면 P1과 교차하고 교차점(x2, y2)에서 깊이 z2에서 제2 기준 평면 P2와 교차한다. 이러한 방식으로, z1 및 z2가 주어지면, 4개의 좌표(x1, y1, x2, y2)로 광선이 식별될 수 있다. 따라서, 명시야는 본원에서 파라미터화 평면들로서 또한 지칭되는 파라미터화를 위한 기준 평면들의 쌍 P1, P2에 의해 파라미터화될 수 있고, 각각의 광선은 4D 광선 공간에서 포인트
Figure pct00007
로서 표현된다.
도 4에 표현된 제2 실시예에서, 광선은 공지된 깊이들 z3에 위치된 기준 평면 P3과 광선 사이의 교차점에 의해 파라미터화된다. 광선은 교차점(x3, y3)에서 깊이 z3에서 기준 평면 P3과 교차한다. 공간에서 광선의 방향을 제공하는 정규화된 벡터 v는 다음 좌표들
Figure pct00008
를 갖고,
Figure pct00009
이기 때문에, vz는 포지티브로 가정되고, vx 및 vy를 알면 재계산될 수 있고, 벡터는 이의 2개의 제1 좌표들 (vx, vy)에 의해서만 설명될 수 있다.
이러한 제2 실시예에 따르면, 광선은 4 개의 좌표
Figure pct00010
에 의해 식별될 수 있다. 따라서, 명시야는 본원에서 파라미터화 평면으로서 또한 지칭되는 파라미터화를 위한 기준 평면 P3에 의해 파라미터화될 수 있고, 각각의 광선은 4D 광선 공간에서 포인트
Figure pct00011
로서 표현된다.
4D 광선 공간에서 광선을 표현하는 파라미터들은 명시야 데이터 포맷팅 모듈(150)에 의해 컴퓨팅된다. 도 5는 본 발명의 일 실시예에 따른 카메라(100)에 의해 포착되는 명시야 데이터를 포맷팅하는 방법의 단계들을 예시하는 흐름도이다. 이러한 방법은 명시야 데이터 포맷팅 모듈(150)에 의해 실행된다.
명시야 포착 시스템이 핀홀 모델을 사용하여 교정되는 경우, 왜곡없이 기본적 투영 모델은 다음 수식에 의해 주어진다:
Figure pct00012
· f는 카메라(100)의 메인 렌즈의 초점 길이이고,
·
Figure pct00013
및
Figure pct00014
는 카메라(100)의 광학 축과 센서의 교차점의 좌표이고,
·
Figure pct00015
는 카메라에 의해 감지된 공간에서 포인트의 카메라 좌표계에서의 위치이고,
·
Figure pct00016
는 센서 좌표계에서, 카메라의 센서 상의 카메라 좌표계에서 좌표가
Figure pct00017
인 포인트의 투영 좌표이다.
단계(501)에서, 명시야 데이터 포맷팅 모듈(150)은 센서 좌표계에서 좌표가
Figure pct00018
인 센서의 픽셀에 의해 감지되는 공간에서 광선의 방향을 표현하는 벡터 V의 좌표를 컴퓨팅한다. 센서 좌표계에서 벡터 V의 좌표는:
Figure pct00019
이다.
핀홀 모델에서, 좌표가
Figure pct00020
인 픽셀에 의해 감지된 광선과 센서 평면에 평행하고 핀홀로부터 좌표 Z1에 배치된 평면과의 교차점의 좌표는
Figure pct00021
이고, 단계(502) 동안 컴퓨팅된다.
몇몇 포착들이 혼합되면, 즉, 상이한 타입들의 카메라들에 의한 명시야 데이터의 포착의 경우, 단일 좌표계가 사용된다. 이러한 상황에서, 포인트들과 벡터들의 좌표의 수정은 그에 따라 수정되어야 한다.
본 발명의 일 실시예에 따르면, 카메라의 센서의 픽셀들에 의해 감지되고 단계들(501 및 502) 동안 컴퓨팅된 광선들을 정의하는 좌표의 세트들은 맵들에 재그룹화된다. 다른 실시예에서, 광선들은 광선들의 전파를 시뮬레이션하는 컴퓨터 생성 장면 시스템에 의해 직접 컴퓨팅된다.
본 발명의 일 실시예에서, 이러한 맵들은 수신기에 송신될 장면의 컬러 맵 및 깊이 맵과 연관된다. 따라서, 이러한 실시예에서, 카메라의 센서의 각각의 픽셀 (u, v)은 주어진 픽셀에 의해 감지된 광선과 연관된 깊이 데이터를 표현하는 파라미터 및 동일한 주어진 픽셀에 의해 감지된 동일한 광선과 연관된 컬러 데이터를 표현하는 파라미터 및 광선이 파라미터화를 위한 기준 평면들의 쌍 P1, P2에 의해 파라미터화되는 경우
Figure pct00022
또는 광선이 정규화된 벡터에 의해 파라미터화되는 경우
Figure pct00023
에 대응하는 부동 소수점 값들
Figure pct00024
의 쿼드러플릿(quadruplet)에 대응한다. 하기 설명에서 부동 소수점 값들
Figure pct00025
은,
Figure pct00026
로 주어진다.
다른 실시예에서, 포착 시스템은 핀홀 모델을 사용하여 교정되지 않고, 결과적으로 2개의 평면들에 의한 파라미터화는 모델로부터 재교정되지 않는다. 그 대신, 2개의 평면들에 의한 파라미터화는 카메라의 교정 동작 동안 측정되어야 한다. 이것은, 예를 들어 메인 렌즈와 카메라의 센서 사이에 마이크로 렌즈 어레이를 포함하는 플렌옵틱 카메라의 경우일 수 있다.
또 다른 실시예에서, 이러한 맵들은 컴퓨터 생성 장면 시스템에 의해 직접 시뮬레이션되거나 또는 포착된 데이터로부터 사후-생성된다.
카메라의 센서의 픽셀에 의해 감지된 광선은 부동 소수점의 쿼드러플릿
Figure pct00027
에 의해 표현되기 때문에, 이러한 4 개의 파라미터들을 파라미터들의 4개의 맵들, 예를 들어, 카메라의 센서의 픽셀에 의해 감지된 각각의 광선의 파라미터
Figure pct00028
를 포함하는 제1 맵, 파라미터
Figure pct00029
를 포함하는 제2 맵, 파라미터
Figure pct00030
를 포함하는 제3 맵 및 파라미터
Figure pct00031
를 포함하는 제4 맵에 넣는 것이 가능하다. 상기 언급된 4 개의 맵들 각각은
Figure pct00032
맵들로 지칭되며, 포착된 명시야 이미지 자체와 동일한 크기를 갖지만 부동 소수점 컨텐츠를 갖는다.
인접한 픽셀들에 의해 감지된 광선을 표현하는 파라미터들 사이의 강한 상관을 고려하고 광선들 및 결과적으로 이들을 표현하는 파라미터들의 파퓰레이션을 배열하면, 이러한 4 개의 맵들은 비디오 데이터에 대한 것과 유사한 툴을 사용하여 압축될 수 있다.
부동 소수점들의 값들
Figure pct00033
을 압축하고, 따라서 송신될
Figure pct00034
맵들의 크기를 감소시키기 위해, 명시야 데이터 포맷팅 모듈(150)은 단계(503)에서 각각의
Figure pct00035
맵에 대해,
Figure pct00036
맵들에 포함된 상기 파라미터
Figure pct00037
의 값들을 피팅하는 평면의 수식을 컴퓨팅한다. 파라미터
Figure pct00038
에 대한 피팅 평면의 수식은,
Figure pct00039
로 주어지고, 여기서, u와 v는 카메라의 센서의 주어진 픽셀의 좌표이다.
단계(504)에서, 각각의
Figure pct00040
맵에 대해, 파라미터
Figure pct00041
는 에러를 최소화하도록 컴퓨팅된다:
Figure pct00042
단계(504)의 계산의 결과는 파라미터:
Figure pct00043
이고, 이는 파라미터
Figure pct00044
의 값의 차이에 대응하고, 상기 파라미터
Figure pct00045
의 값들을 피팅하는 평면은
Figure pct00046
맵에 포함된 값들의 진폭의 훨씬 더 낮은 범위를 도출한다.
단계(505)에서,
Figure pct00047
를 컴퓨팅함으로써 값
Figure pct00048
를 압축하는 것이 가능하다.
그 다음, 단계(506)에서, 이전 파라미터
Figure pct00049
의 값
Figure pct00050
는, 파라미터
Figure pct00051
의 값이 0 내지 2N-1(포함적)의 범위이도록 컴퓨팅될 수 있고, 여기서 N은 전송될 명시야 데이터를 인코딩하기 위해 사용되도록 의도된 인코더의 용량에 대응하는 선택된 비트들의 수이다. 파라미터
Figure pct00052
의 값은
Figure pct00053
로 주어진다.
단계(507)에서, 명시야 데이터 포맷팅 모듈(150)은 카메라의 센서의 픽셀들에 의해 감지된 광선들을 표현하는 파라미터들
Figure pct00054
각각에 대응하는 4 개의 맵들, 즉,
Figure pct00055
맵,
Figure pct00056
맵,
Figure pct00057
맵 및
Figure pct00058
맵을 생성한다.
단계(508)에서, 명시야 데이터 포맷팅 모듈(150)은 SEI(Supplemental Enhancement Information) 메시지의 컨텐츠를 생성한다. 다음의 고정된 파라미터들
Figure pct00059
을 포함하는 SEI 메시지의 상기 컨텐츠는 원래의
Figure pct00060
맵을 검색하기 위해 수신기 측에서의 역 계산 동안 사용되도록 의도된다. 이러한 4 개의 파라미터들은 SEI 메시지에서 전달되는 메타데이터로 간주되며 그 컨텐츠는 다음의 표에 주어진다.
[표 1]
Figure pct00061
수신기 측에서, 원래의
Figure pct00062
맵들을 검색할 수 있게 하는 역 계산은
i.
Figure pct00063
ii.
Figure pct00064
에 의해 주어진다.
도 6은 본 발명의 일 실시예에 따른 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 방법의 단계들을 예시하는 흐름도이다. 이러한 방법은 예를 들어, 명시야 데이터 프로세서 모듈(155)에 의해 실행된다.
단계(601)에서, 명시야 데이터 프로세서 모듈(155)은 단계(507) 동안 명시야 데이터 포맷팅 모듈(150)에 의해 생성된 4개의
Figure pct00065
맵들을 검색한다. 4개의
Figure pct00066
맵들은 메시지에 임베딩될 수 있거나 또는 메모리로부터 검색될 수 있는 식이다.
단계(602)에서, 명시야 데이터 프로세서 모듈(155)은 원래의
Figure pct00067
맵들을 검색하기 위해 수신기 측 상에서의 역 계산 동안 사용되도록 의도된 하기 고정 파라미터들
Figure pct00068
을 포함하는 SEI 메시지를 생성한다.
단계(603)에서, 명시야 데이터 프로세서 모듈(155)은 명시야 컨텐츠와 연관된 장면의 오브젝트의 깊이 정보를 포함하는 깊이 맵을 검색한다. 깊이 맵은 카메라의 센서의 각각의 픽셀에 대한 깊이 정보를 포함한다. 깊이 맵은 다른 디바이스로부터 수신될 수 있거나 또는 메모리로부터 검색될 수 있는 식이다.
센서의 픽셀과 연관된 깊이 정보는 예를 들어, 적어도 상기 장면의 오브젝트와 상기 픽셀에 의해 감지된 광선의 교차점의, 광학 디바이스의 광학 축을 따른 위치이다.
이러한 깊이 맵은, 예를 들어, 인터-카메라 디스패리티 추정에 의해 계산될 수 있고, 그 다음, 복수의 카메라들을 포함하는 실시예에서 교정 데이터로 인해 깊이로 변환될 수 있다. 깊이 맵들이 특정 교정에 의해 각각의 카메라와 정렬될, 시스템 내의 깊이 센서가 존재할 수 있다.
연관된 깊이 데이터는 모노크롬 포맷으로 저장될 수 있고, 비디오 코더(MPEG-4 AVC, HEVC, h266,.) 또는 이미지 코더(JPEG, JPEG2000, MJEG)로 코딩될 수 있다. 몇몇 센서들이 존재하는 경우, 컬러 데이터 및 깊이 데이터는 3DHEVC(멀티 뷰 코딩 + 깊이) 코덱을 사용하여 함께 코딩될 수 있다.
깊이 정보는 z 방향에서 2개의 상이한 기준을 가질 수 있고, 상기 z 방향은 장면을 획득하기 위해 사용되는 광학 디바이스의 광학 축 방향에 대응한다. 깊이 정보는 평면의 위치 또는 세계 좌표계와 관련하여 정의될 수 있다. 상기 정보는 메타데이터 메시지에서 정의된다:
Figure pct00069
단계(604)에서, 명시야 데이터 프로세서 모듈(155)은 예를 들어, 명시야 컨텐츠와 연관된 장면의 오브젝트의 RGB 정보를 포함하는 컬러 맵을 검색한다. 컬러 맵은 카메라의 센서의 각각의 픽셀에 대한 컬러 정보를 포함한다. 컬러 맵들은 다른 디바이스로부터 수신될 수 있거나 또는 메모리로부터 검색될 수 있는 식이다.
단계(605)에서,
Figure pct00070
맵들, 컬러 맵, 깊이 맵 및 SEI 메시지는 적어도 수신기에 송신되고, 이러한 데이터는, 상기 포인트의 배향과 관련된 정보, 즉, 센서의 픽셀에 의해 포인트가 감지되는 시점과 함께 3D(3차원) 공간에서의 포인트의 형태로 명시야 컨텐츠를 렌더링하기 위해 프로세싱된다.
수신기로의 이들의 송신 전에, 명시야 데이터를 표현하는 맵들의 크기를 추가로 감소시키는 것이 가능하다. 다음 실시예들은 에러를 최소화하는 것으로 구성된 것을 보완한다:
Figure pct00071
도 7에 표현된 제1 실시예에서,
Figure pct00072
맵들은 낮은 공간적 주파수들을 갖는 값들을 포함하기 때문에, 공간에서의 방향에서 오직 신호의 미분만을 송신하는 것이 가능하다.
예를 들어, 좌표 (0,0)의 픽셀과 연관된 파라미터
Figure pct00073
의 값
Figure pct00074
이 주어지면, 명시야 데이터 포맷팅 모듈(150)은 단계(601)에서, 좌표 (1,0)의 픽셀과 연관된 파라미터
Figure pct00075
의 값
Figure pct00076
과 좌표 (0,0)의 픽셀과 연관된 파라미터
Figure pct00077
의 값
Figure pct00078
사이의 차이
Figure pct00079
를 컴퓨팅한다:
Figure pct00080
더 일반적으로, 단계(701) 동안, 센서의 주어진 픽셀과 연관된 파라미터
Figure pct00081
의 값과 명시야 데이터 포맷팅 모듈(150)은 광학 시스템의 또는 컴퓨터 생성 장면 시스템의 센서의 행에서 주어진 픽셀에 선행하는 다른 픽셀과 연관된 파라미터
Figure pct00082
의 값 사이의 차이를 컴퓨팅한다:
Figure pct00083
주어진 픽셀이 센서의 행의 제1 픽셀인 경우, 명시야 데이터 포맷팅 모듈(150)은 주어진 픽셀과 연관된 파라미터
Figure pct00084
의 값과 그 주어진 픽셀이 속한 행에 선행하는 행의 제1 픽셀과 연관된 파라미터
Figure pct00085
의 값 사이의 차이를 컴퓨팅한다:
Figure pct00086
단계(702)에서, 단계(602) 동안 생성된
Figure pct00087
맵, 컬러 맵, 깊이 맵 및 SEI 메시지는 적어도, 명시야 컨텐츠를 렌더링하기 위해 이러한 데이터가 프로세싱되는 수신기에 송신된다.
제2 실시예에서,
Figure pct00088
맵들,
Figure pct00089
맵들 또는
Figure pct00090
맵들은 매우 느린 공간적 주파수들을 갖는 값들을 포함하기 때문에,
Figure pct00091
맵의 두 차원들 모두에서 공간적 다운샘플링을 수행하는 것, 및 그 다음 상기
Figure pct00092
맵들의 송신된 샘플들 사이에서 선형 보간을 행함으로써 수신기 측에서 전체
Figure pct00093
맵을 복원하는 것이 가능하다.
예를 들어, 맵들의 크기를 N_rows*M_columns로부터 N_rows/2 * M_columns/2까지 감소시킬 수 있다면, 수신 시에 맵들은 원래의 크기로 확장될 수 있고, 생성된 홀들은 보간 방법(또는 소위 업샘플링 프로세스)에 의해 채워질 수 있다. 간단한 바이리니어(bilinear) 보간이 일반적으로 충분하다.
Figure pct00094
도 8에 표현된 제3 실시예에서, 각각의
Figure pct00095
맵들,
Figure pct00096
맵들 또는
Figure pct00097
맵들은 예를 들어 h265/HEVC와 같은 4 개의 독립적인 모노크롬 코덱을 사용하여 수신기에 송신될 수 있다.
제4 실시예에서,
Figure pct00098
맵들,
Figure pct00099
맵들 또는
Figure pct00100
맵들은 도 9에 표현된 바와 같이 단일 이미지로 그룹화될 수 있다. 이러한 목적에 도달하기 위해, 일 방법은 제2 실시예에서와 같이 서브샘플링 방법을 사용하여 팩터 2만큼 맵들의 크기를 감소시키는 것, 및 그 다음, 컬러 맵과 동일한 크기를 갖는 이미지의 사분면에서
Figure pct00101
맵들,
Figure pct00102
맵들 또는
Figure pct00103
맵들 각각을 결합시키는 것으로 이루어진다. 이러한 방법은 통상적으로, 몇몇 프레임을 단일 프레임으로 패킹하기 때문에 "프레임 패킹"으로 지칭된다. 디코더가 프레임들을 적절히 언패킹할 수 있도록, 프레임 패킹이 수행되었던 방식을 시그널링하기 위해, 예를 들어 SEI 메시지에서 적절한 메타데이터가 송신되어야 한다. 그 다음, 단일 프레임으로 패킹된 맵들은 예를 들어, h265/HEVC와 같은(그러나 이에 제한되는 것은 아닌) 단일 모노크롬 코덱을 사용하여 송신될 수 있다.
이러한 경우, 표 1에 제시된 바와 같은 SEI 메시지는, 프레임 패킹 방법이 단일 맵에 4 개의 맵들을 패킹하기 위해 사용되었음을 표시하는 플래그를 포함해야 한다(표 1b 참조).
[표 1b]
Figure pct00104
리그(rig)를 형성하기 위해 몇몇 카메라들이 그룹화되는 경우, 모든 카메라들에 대해 공통된 단일 세계 좌표계 및 2개의 파라미터화 평면들을 정의하는 것이 더 양호하고 더 일관성이 있다. 그 다음, 설명 메시지(예를 들어, SEI)는 공통 정보(표현 타입, z1 및 z2) 및 표 2에 나타난 바와 같은 각각의 카메라에 대한 4 개의 맵들(
Figure pct00105
맵들,
Figure pct00106
맵들 또는
Figure pct00107
)의 설명 파라미터들을 포함할 수 있다.
그러한 경우
Figure pct00108
맵들,
Figure pct00109
맵들 또는
Figure pct00110
맵들은 예를 들어, MPEG 멀티 뷰 비디오 코딩(MVC) 또는 MPEG 멀티 뷰 고효율 비디오 코딩(MV-HEVC)과 같은 구성의 멀티 뷰 양태를 고려하여 모노크롬 코덱들을 사용하여 수신기에 송신될 수 있다.
[표 2]
Figure pct00111
제5 실시예에서, 소정의 시간양 동안
Figure pct00112
맵들,
Figure pct00113
맵들 또는
Figure pct00114
맵들의 수정이 널(null)인 경우, 이러한
Figure pct00115
맵들,
Figure pct00116
맵들 또는
Figure pct00117
는 스킵된 것으로 표시되고 수신기에 전송되지 않는다. 이러한 경우, SEI 메시지는
Figure pct00118
맵들,
Figure pct00119
맵들 또는
Figure pct00120
에 대해 이들의 마지막 송신 이후에 어떠한 변경도 발생하지 않았음을 수신기에 표시하는 플래그를 플래그를 포함한다. 이러한 SEI 메시지의 컨텐츠는 표 3에 나타난다.
[표 3]
Figure pct00121
제6 실시예에서,
Figure pct00122
맵들,
Figure pct00123
맵들 또는
Figure pct00124
에 표현된 포착 시스템 파라미터들의 수정이 시간에 따라 느리게 수정되기 때문에, 컬러 맵의 프레임 레이트보다 느린 프레임 레이트로 이들을 수신기에 송신하는 것이 가치가 있다.
Figure pct00125
맵들,
Figure pct00126
맵들 또는
Figure pct00127
의 송신 빈도는 적어도 IDR 프레임 중 하나이어야 한다.
제7 실시예에서, 컬러 맵들은 YUV 또는 RGB 포맷을 사용하고, MPEG-4 AVC, h265/HEVC 또는 h266 등과 같은 비디오 코더 또는 JPEG, JPEG2000, MJEG와 같은 이미지 코더로 코딩된다. 명시야 컨텐츠를 포착하기 위해 몇몇 카메라들이 사용되는 경우, 컬러 맵들은 MV-HEVC 코덱을 사용하여 상대적으로 코딩될 수 있다.
도 10은 광학 디바이스의 센서의 픽셀에 의해 감지된 광선 R을 표현하고, 상기 광선 R은 본 발명의 일 실시예에 따라 광학 디바이스로부터 획득된 장면의 포인트 클라우드를 재구성하기 위해 사용된 2개의 기준 평면들 P1 및 P2를 통과한다. 광선 R은 상기 장면의 오브젝트 O와 교차한다.
Figure pct00128
에 의해 표시된 방향은 광학 디바이스의 광학 축 방향에 대응한다.
도 11은 본 개시내용의 일 실시예에 따른 장면을 표현하는 포인트 클라우드를 재구성하기 위한 장치의 예를 예시하는 개략적인 블록도이다.
장치(1100)는 버스(1106)에 의해 접속되는 프로세서(1101), 저장 유닛(1102), 입력 디바이스(1103), 디스플레이 디바이스(1104) 및 인터페이스 유닛(1105)을 포함한다. 물론, 컴퓨터 장치(1100)의 구성 엘리먼트는 버스 접속 이외의 접속에 의해 접속될 수 있다.
프로세서(1101)는 장치(1100)의 동작을 제어한다. 저장 유닛(1102)은 프로세서(1101)에 의해 실행될 적어도 하나의 프로그램, 및 명시야 카메라에 의해 캡처되고 저장되는 4D 명시야 이미지들의 데이터, 프로세서(1101)에 의해 수행되는 계산들에 의해 사용되는 파라미터들, 프로세서(1101)에 의해 수행되는 계산들의 중간적 데이터 등을 포함하는 다양한 데이터를 저장한다. 프로세서(1101)는 임의의 공지되고 적합한 하드웨어, 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 형성될 수 있다. 예를 들어, 프로세서(1101)는 프로세싱 회로와 같은 전용 하드웨어에 의해 또는 메모리에 저장된 프로그램을 실행하는 CPU(Central Processing Unit)와 같은 프로그래밍가능 프로세싱 유닛에 의해 형성될 수 있다.
저장 유닛(1102)은 프로그램, 데이터 등을 컴퓨터 판독가능 방식으로 저장할 수 있는 임의의 적절한 스토리지 또는 수단에 의해 형성될 수 있다. 저장 유닛(1102)의 예는 반도체 메모리 디바이스와 같은 비일시적 컴퓨터 판독가능 저장 매체, 및 판독 및 기록 유닛에 로딩된 자기, 광학 또는 광-자기 기록 매체를 포함한다. 프로그램은 프로세서(1101)로 하여금 도 12를 참조하여 설명된 바와 같이 본 개시내용의 일 실시예에 따라 장면을 표현하는 포인트 클라우드를 재구성하게 한다.
입력 디바이스(1103)는 커맨드들을 입력하기 위해 사용자에 의해 사용되는 키보드, 포인팅 디바이스, 예를 들어, 마우스 등에 의해 형성될 수 있다. 출력 디바이스(1104)는, 본 개시내용의 실시예에 따라 생성된 포인트 클라우드를 디스플레이하기 위한 디스플레이 디바이스, 예를 들어, 그래픽 사용자 인터페이스(GUI)에 의해 형성될 수 있다. 입력 디바이스(1103) 및 출력 디바이스(1104)는 예를 들어 터치스크린 패널에 의해 일체형으로 형성될 수 있다.
인터페이스 유닛(1105)은 장치(1100)와 외부 장치 사이의 인터페이스를 제공한다. 인터페이스 유닛(1105)은 케이블 또는 무선 통신을 통해 외부 장치와 통신가능할 수 있다. 일 실시예에서, 외부 장치는 명시야 카메라일 수 있다. 이러한 경우, 명시야 카메라에 의해 캡처된 4D 명시야 이미지들의 데이터는 명시야 카메라로부터 인터페이스 유닛(1105)을 통해 장치(1100)에 입력되고, 그 다음 저장 유닛(1102)에 저장될 수 있다.
이러한 실시예에서, 장치(1100)는 명시야 카메라와 별개이고, 케이블 또는 무선 통신을 통해 서로 통신가능한 것으로 예시적으로 논의되지만, 장치(1100)는 이러한 명시야 카메라와 통합될 수 있는 것을 주목해야 한다. 이러한 후자의 경우, 장치(1100)는 예를 들어, 명시야 카메라를 임베딩하는 태블릿 또는 스마트폰과 같은 휴대용 디바이스일 수 있다.
도 12는 본 발명의 일 실시예에 따른 광학 디바이스로부터 획득된 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법의 단계들을 예시하는 흐름도이다. 이러한 방법은 예를 들어, 장치(1100)의 프로세서(1101)에 의해 실행된다.
단계(1201)에서, 장치(1100)는
Figure pct00129
맵들, 컬러 맵, 깊이 맵 및 광학 디바이스에 의해 획득된 장면과 연관된 SEI 메시지들을 수신한다.
단계(1202)에서, 프로세서(1101)는 센서의 각각의 픽셀에 대해, 장면의 오브젝트를 표현하는 3D(3차원) 공간에서의 포인트를 재구성하기 위해,
Figure pct00130
맵들, 컬러 맵, 깊이 맵 및 SEI 메시지에 포함된 고정 파라미터들
Figure pct00131
을 프로세싱하며, 상기 포인트는 센서의 상기 픽셀에 의해 감지된다.
실제로, 3D 공간에서 포인트 P의 좌표들 xp 및 yp를 발견하여 이의 깊이 zp를 아는 것이 가능하다. 이러한 경우, 4개의 파라미터들
Figure pct00132
은 2개의 파라미터화 평면들 P1 및 P2와, 고려된 픽셀에 의해 감지된 광선의 교차점의 2개의 포인트들을 정의하도록 허용한다.
포인트 P는 도 9에 도시된 바와 같이 2개의 파라미터화 평면들 P1 및 P2와의 교차점의 이러한 2개의 포인트들에 의해 정의되는 광선에 속하며, 장치(1100)에 의해 수신된 깊이 맵에서의 픽셀과 연관된 깊이 값인 깊이 z = zp에 위치된다. 그 다음
Figure pct00133
를 획득하기 위한 수식은
Figure pct00134
이다.
즉,
Figure pct00135
포인트 P는 주어진 뷰잉 방향 하에서 광학 디바이스에 의해 뷰잉된다.
Figure pct00136
맵들 및 고정 파라미터들
Figure pct00137
이 명시야 데이터이기 때문에, 포인트 P가 카메라에 의해 뷰잉되는 방향 하에서 뷰잉 방향을 정의하는 벡터
Figure pct00138
를 컴퓨팅하는 것이 가능하다.
따라서, 단계(1203)에서, 프로세서(1101)는 벡터
Figure pct00139
의 좌표들을 다음과 같이 컴퓨팅한다:
Figure pct00140
단계들(1201 내지 1203)은 광학 디바이스로부터 획득된 장면을 표현하는 포인트 클라우드를 생성하기 위해 광학 디바이스의 센서의 모든 픽셀들에 대해 수행된다.
주어진 장면의 모든 픽셀들에 대해 컴퓨팅된 포인트들 P의 세트는 포인트 클라우드로 지칭된다. 포인트 당 뷰잉 방향과 연관된 포인트 클라우드는 "배향된" 포인트 클라우드로 지칭된다. 포인트 클라우드로 구성된 포인트들의 상기 배향은 카메라의 센서의 픽셀들에 의해 감지된 광선들을 표현하는 파라미터들
Figure pct00141
각각에 대응하는 4개의 맵들,
Figure pct00142
맵,
Figure pct00143
맵,
Figure pct00144
맵 및
Figure pct00145
맵에 의해 획득된다.
상대적 위치들이 교정된 몇몇 카메라들에 의해 장면이 뷰잉되는 경우, 동일한 포인트 P에 대해, 상이한 카메라들과 연관된 상이한 뷰잉 방향들 및 컬러들을 얻는 것이 가능하다. 그것은 장면에 대한 더 많은 정보를 도출하고, 예를 들어, 광 위치 및/또는 재료의 반사 특성들의 추출을 도울 수 있다. 물론, 2개의 상이한 카메라들에 의해 포착된 데이터의 재-투사는 동일한 포인트 P에 정확히 매칭되지 않을 것이다. 이러한 범위에서 2개의 재-투사들이 공간의 동일한 포인트와 연관되는 것을 고려하기 위해 주어진 위치 주위의 근사화가 정의된다.
본 발명은 특정 실시예를 참조하여 위에서 설명되었지만, 본 발명은 특정 실시예로 제한되지 않으며, 본 발명의 범위 내에 있는 수정은 본 기술분야의 통상의 기술자에게 자명할 것이다.
단지 예로서 주어지며 본 발명의 범위를 제한하도록 의도되지 않고 첨부된 청구항에 의해서만 결정되는 전술된 예시적인 실시예를 참조할 때 본 기술분야의 통상의 기술자에게 많은 추가적인 수정 및 변경이 착안될 것이다. 특히, 상이한 실시예로부터의 상이한 특징부는 적절한 경우에 상호교환될 수 있다.

Claims (13)

  1. 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 컴퓨터에 의해 구현되는 방법으로서,
    상기 방법은 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
    - 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
    - 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
    - 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 상기 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
    - 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들
    을 인코딩하는 단계를 포함하고,
    상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것인, 방법.
  2. 제1항에 있어서,
    상기 제1 세트의 파라미터들 중 적어도 하나의 파라미터는, 상기 광선의 좌표와 상기 광학 시스템의 복수의 픽셀들에 의해 감지된 복수의 광선들의 좌표 세트를 피팅(fitting)하는 평면 사이의 거리를 표현하고, 상기 제2 세트의 파라미터들 중 적어도 하나의 파라미터는 상기 피팅 평면의 좌표들을 표현하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제1 세트의 파라미터들 중 적어도 하나의 파라미터는,
    - 상기 픽셀에 의해 감지된 광선을 표현하는 값과 상기 센서의 행에서 상기 픽셀에 선행하는 다른 픽셀에 의해 감지된 광선을 표현하는 값 사이의 차이, 또는
    - 상기 픽셀이 상기 센서의 행의 첫번째 픽셀인 경우, 상기 픽셀에 의해 감지된 광선을 표현하는 값과 상기 픽셀이 속하는 행에 선행하는 행의 제1 픽셀에 의해 감지된 광선을 표현하는 값 사이의 차이를 표현하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 세트의 파라미터들의 파라미터들을 인코딩하기 위해 독립적 코덱들이 사용되는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제2 세트의 파라미터들이 상기 제1 세트의 파라미터들의 마지막 송신 이후 상기 제1 세트의 파라미터들이 불변임을 표시하는 파라미터를 포함하는 경우, 오직 상기 제2 세트의 파라미터들만이 송신되는, 방법.
  6. 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 디바이스로서,
    상기 디바이스는 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
    - 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
    - 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
    - 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 상기 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
    - 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들을 인코딩하도록
    구성된 프로세서를 포함하고,
    상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것인, 디바이스.
  7. 광학 디바이스로부터 획득된 장면을 표현하는 포인트 클라우드를 재구성하기 위한 컴퓨터에 의해 구현되는 방법으로서, 상기 방법은,
    - ㆍ 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
    ㆍ 디코딩된 제1 세트의 파라미터들로부터 명시야 컨텐츠를 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
    ㆍ 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 상기 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
    ㆍ 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들
    을 포함하는 신호를 디코딩하는 단계,
    - 디코딩된 제1 세트의 파라미터들, 디코딩된 제2 세트의 파라미터들, 디코딩된 제3 세트의 파라미터들 및 디코딩된 제4 세트의 파라미터들에 기초하여 상기 포인트 클라우드를 재구성하는 단계를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 포인트 클라우드를 재구성하는 단계는,
    - 상기 센서의 적어도 하나의 픽셀에 대해,
    ㆍ 적어도 상기 장면의 오브젝트와 상기 광선의 교차점에 대응하는 포인트의 3차원 공간에서의 위치,
    ㆍ 광학 디바이스에 의해 상기 포인트가 뷰잉되고 있는 뷰잉 방향
    을 컴퓨팅하는 단계,
    - 상기 센서의 상기 픽셀에 의해 감지되는 컬러 데이터를 표현하는 파라미터를 상기 컴퓨팅된 포인트에 연관시키는 단계로 이루어지는, 방법.
  9. 광학 디바이스로부터 획득된 장면을 표현하는 포인트 클라우드를 재구성하기 위한 디바이스로서, 상기 디바이스는,
    - ㆍ 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
    ㆍ 디코딩된 제1 세트의 파라미터들로부터 명시야 컨텐츠를 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
    ㆍ 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 상기 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
    ㆍ 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들
    을 포함하는 신호를 디코딩하고,
    - 디코딩된 제1 세트의 파라미터들, 디코딩된 제2 세트의 파라미터들, 디코딩된 제3 세트의 파라미터들 및 디코딩된 제4 세트의 파라미터들에 기초하여 상기 포인트 클라우드를 재구성하도록
    구성된 프로세서를 포함하는, 디바이스.
  10. 광학 디바이스로부터 획득된 장면을 표현하는 신호를 인코딩하기 위한 디바이스에 의해 송신된 신호로서, 상기 신호는, 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
    - 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
    - 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
    - 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 상기 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
    - 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들
    을 포함하는 메시지를 반송하고,
    상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것인, 신호.
  11. 광학 디바이스로부터 획득된 장면을 표현하는 데이터를 포함하는 디지털 파일로서,
    상기 데이터는 상기 광학 디바이스의 센서의 적어도 하나의 픽셀에 대해,
    - 상기 픽셀에 의해 감지된 광선을 표현하는 제1 세트의 파라미터들,
    - 제1 세트의 파라미터들로부터 상기 광선을 재구성하기 위해 사용되도록 의도된 제2 세트의 파라미터들,
    - 적어도 상기 장면의 오브젝트와 상기 제1 세트의 파라미터들에 의해 표현된 상기 광선의 교차점의, 상기 광학 디바이스의 광학 축을 따른 위치를 표현하는 제3 세트의 파라미터들,
    - 상기 픽셀에 의해 감지된 상기 장면의 상기 오브젝트의 컬러 데이터를 표현하는 제4 세트의 파라미터들
    을 포함하고,
    상기 제3 세트의 파라미터들은 상기 제4 세트의 파라미터들 및 상기 재구성된 광선과 함께 상기 장면을 표현하는 포인트 클라우드를 재구성하기 위한 것인, 디지털 파일.
  12. 컴퓨터 프로그램으로서,
    상기 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제5항 중 어느 한 항에 따른 방법의 구현을 위한 프로그램 코드 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  13. 컴퓨터 프로그램으로서,
    상기 프로그램이 프로세서에 의해 실행될 때 제7항 내지 제8항 중 어느 한 항에 따른 방법의 구현을 위한 프로그램 코드 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020197010888A 2016-09-19 2017-09-14 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스 KR20190052089A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP16306193 2016-09-19
EP16306193.0 2016-09-19
EP16306287.0 2016-09-30
EP16306287.0A EP3301926A1 (en) 2016-09-30 2016-09-30 A method and a device for reconstructing a point cloud representative of a scene using light-field data
PCT/EP2017/073077 WO2018050725A1 (en) 2016-09-19 2017-09-14 A method and a device for reconstructing a point cloud representative of a scene using light-field data

Publications (1)

Publication Number Publication Date
KR20190052089A true KR20190052089A (ko) 2019-05-15

Family

ID=59856540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197010888A KR20190052089A (ko) 2016-09-19 2017-09-14 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스

Country Status (6)

Country Link
US (1) US20190387211A1 (ko)
EP (1) EP3516873A1 (ko)
JP (1) JP2019534606A (ko)
KR (1) KR20190052089A (ko)
CN (1) CN109792528A (ko)
WO (1) WO2018050725A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256244A1 (ko) * 2019-06-21 2020-12-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022005116A1 (ko) * 2020-06-29 2022-01-06 삼성전자 주식회사 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
KR102537946B1 (ko) * 2018-04-17 2023-05-31 삼성전자주식회사 포인트 클라우드에 관한 데이터를 프로세싱하기 위한 방법 및 장치
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
CN110708529B (zh) * 2018-07-09 2020-08-14 上海交通大学 动态点云投影压缩方法、系统、装置及介质
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
EP3671628A1 (en) * 2018-12-18 2020-06-24 InterDigital CE Patent Holdings A method and a device for obtaining data representative of a scene from a plurality of three-dimensional (3d) points representing said scene
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
EP4156685A4 (en) * 2020-07-21 2023-06-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. LIGHT FIELD IMAGE PROCESSING METHODS, LIGHT FIELD IMAGE ENCODERS AND DECODERS AND STORAGE MEDIA
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9700384D0 (sv) * 1997-02-04 1997-02-04 Biacore Ab Analytical method and apparatus
JPH11353496A (ja) * 1998-06-10 1999-12-24 Ken Nishimura 光線追跡のための交点探索装置
CN1316427C (zh) * 2001-07-12 2007-05-16 杜莱布斯公司 产生与装置链的装置的缺陷相关的格式化信息的方法和系统
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
US8538166B2 (en) * 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US20100328308A1 (en) * 2008-07-10 2010-12-30 C-True Ltd. Three Dimensional Mesh Modeling
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8983449B1 (en) * 2011-09-26 2015-03-17 Klone Mobile, LLC End user controlled temporary mobile phone service device swapping system and method
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
CN103856777A (zh) * 2012-12-04 2014-06-11 中山大学深圳研究院 一种基于光场渲染的视频编解码方法
US10269104B2 (en) * 2013-04-29 2019-04-23 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
US9912884B2 (en) * 2014-03-03 2018-03-06 Photoneo, s.r.o. Methods and apparatus for superpixel modulation
DE102014005181A1 (de) * 2014-04-03 2015-10-08 Astrium Gmbh Positions- und Lagebestimmung von Objekten
CN104469343B (zh) * 2014-11-26 2017-02-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
US20170353711A1 (en) * 2016-06-04 2017-12-07 Shape Labs Inc. System for capturing a textured 3d scan of a human body
EP3261347A1 (en) * 2016-06-22 2017-12-27 Thomson Licensing A method and a device for encoding a signal representative of a light-field content
CN107662869B (zh) * 2016-07-29 2021-06-29 奥的斯电梯公司 用于乘客运送装置的大数据分析处理系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256244A1 (ko) * 2019-06-21 2020-12-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022005116A1 (ko) * 2020-06-29 2022-01-06 삼성전자 주식회사 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치

Also Published As

Publication number Publication date
CN109792528A (zh) 2019-05-21
EP3516873A1 (en) 2019-07-31
JP2019534606A (ja) 2019-11-28
WO2018050725A1 (en) 2018-03-22
US20190387211A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
KR20190052089A (ko) 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스
US10499033B2 (en) Apparatus, a method and a computer program for coding and rendering volumetric video
CN106131531B (zh) 视频处理方法和装置
US11979546B2 (en) Method and apparatus for encoding and rendering a 3D scene with inpainting patches
US11721044B2 (en) Method and apparatus for decoding three-dimensional scenes
US11968349B2 (en) Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content
EP4038576A1 (en) A method and apparatus for encoding, transmitting and decoding volumetric video
KR102505130B1 (ko) 명시야 컨텐츠를 표현하는 신호를 인코딩하기 위한 방법 및 디바이스
EP3301926A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
WO2021122881A1 (en) Volumetric video with auxiliary patches
EP3709659A1 (en) A method and apparatus for encoding and decoding volumetric video
EP3713237A1 (en) A method and apparatus for depth encoding and decoding
CN115086635B (zh) 多视角视频的处理方法、装置、设备及存储介质
US20220345681A1 (en) Method and apparatus for encoding, transmitting and decoding volumetric video
WO2022218981A1 (en) Volumetric video with long-term patch entity memory
EP4320596A1 (en) Volumetric video supporting light effects
EP4133738A1 (en) Different atlas packings for volumetric video

Legal Events

Date Code Title Description
WITB Written withdrawal of application