KR20180067426A - 희소 행렬을 재구성하기 위한 신호 수송 데이터를 인코딩하는 방법 및 장치 - Google Patents

희소 행렬을 재구성하기 위한 신호 수송 데이터를 인코딩하는 방법 및 장치 Download PDF

Info

Publication number
KR20180067426A
KR20180067426A KR1020170167674A KR20170167674A KR20180067426A KR 20180067426 A KR20180067426 A KR 20180067426A KR 1020170167674 A KR1020170167674 A KR 1020170167674A KR 20170167674 A KR20170167674 A KR 20170167674A KR 20180067426 A KR20180067426 A KR 20180067426A
Authority
KR
South Korea
Prior art keywords
parameter
matrix
dimension
parameters
index
Prior art date
Application number
KR1020170167674A
Other languages
English (en)
Inventor
뽈 께르비리우
미트라 당가니앙
올리비에 뷔헬레
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180067426A publication Critical patent/KR20180067426A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Complex Calculations (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 콤팩트한 방식으로 희소 행렬들을 저장하고 전송하는 방법에 관한 것이다. 디바이스 상에서 희소 행렬들을 저장하고 조작할 때, 행렬의 희소 구조를 이용하는 특수 알고리즘들 및 데이터 구조들을 이용하는 것이 유익하고 종종 필요하다. 트레이드-오프는 개별 요소들에 액세스하는 것이 더욱 복잡해지고 원래의 행렬을 분명하게 복구할 수 있는 추가 구조들이 필요하다는 것이다. 본 발명의 실시예예 따른 방법은 인코딩될 정보의 양을 제한하고 그에 따라 전송될 데이터의 양을 감소시키도록 순서화된 방식으로 비-널 요소들의 행렬에서의 위치를 결정할 수 있게 하는 인덱스들을 저장하는 것에 있다. 인코딩된 정보는 수신기에서 행렬의 재구성을 가능하게 하는 데에 충분하다.

Description

희소 행렬을 재구성하기 위한 데이터를 수송하는 신호를 인코딩하는 방법 및 장치{A METHOD AND AN APPARATUS FOR ENCODING A SIGNAL TRANSPORTING DATA FOR RECONSTRUCTING A SPARSE MATRIX}
본 발명은 콤팩트한 방식으로 희소 행렬들을 저장하고 전송하는 방법에 관한 것이다. 보다 상세하게는, 본 발명은 라이트 필드 콘텐츠(light-field content)를 나타내는 데이터를 포함하는 희소 행렬들을 콤팩트한 방식으로 저장 및 전송하는 것에 관한 것이다.
희소 행렬은 요소들 대부분이 널(null)인 - 즉, 요소들의 값이 0인 - 행렬이다. 널 요소들의 수를 요소들의 총수로 나눈 것은 행렬의 희소도(sparsity)라고 불린다.
디바이스 상에서 희소 행렬들을 저장하고 조작할 때, 행렬의 희소 구조(sparse structure)를 이용하는 특수 알고리즘들 및 데이터 구조들을 이용하는 것이 유익하고 종종 필요하다. 표준의 조밀 행렬(dense-matrix) 구조들 및 알고리즘들을 사용하는 연산들은, 큰 희소 행렬들에 적용될 때, 느리고 비효율적인데, 그 이유는 처리 및 메모리가 널 요소들에 낭비되기 때문이다. 희소 데이터(sparse data)는 본래 보다 쉽게 압축되고 따라서 상당히 더 적은 저장소를 요구한다. 일부 매우 큰 희소 행렬들은 표준의 조밀 행렬 알고리즘들을 사용하여 조작할 수 없다.
행렬은 전형적으로 2차원 어레이로서 저장된다. 어레이 내의 각각의 엔트리는 행렬의 요소 ai,j를 표현하고, 2개의 인덱스들 i 및 j에 의해 액세스된다. 종래에는, i는, 위에서 아래로 번호가 매겨지는, 행 인덱스이고, j는, 좌에서 우로 번호가 매겨지는, 열 인덱스이다. m x n 행렬의 경우, 행렬을 이 포맷으로 저장하는 데 요구되는 메모리의 양은, 행렬의 차원들이 또한 저장될 필요가 있다는 사실을 무시하면, m x n에 비례한다.
희소 행렬의 경우, 비-널(non-null) 엔트리들만을 저장하는 것에 의해 상당한 메모리 요구사항 감소가 실현될 수 있다. 비-널 엔트리들의 수 및 분포에 따라, 상이한 데이터 구조들이 사용될 수 있고 기본적인 접근법과 비교할 때 엄청난 메모리 절감을 가져올 수 있다. 트레이드-오프는 개별 요소들에 액세스하는 것이 더욱 복잡해지고 원래의 행렬을 분명하게 복구할 수 있는 추가 구조들이 필요하다는 것이다.
CSR(Compressed Sparse Row)이라고 불리는 희소 행렬을 저장하는 제1 방법은 Tinney, William F., and John W. Walker. "Direct solutions of sparse network equations by optimally ordered triangular factorization."　Proceedings of the IEEE　55.11 (1967): 1801-1809에 개시되어 있다. 이 방법은, 비-널 값들, 행들의 범위(extent)들, 및 열 인덱스들을 각각 포함하는, 3개의 1차원 어레이들에 의해 2차원 행렬 M을 표현하는 것에 있다. 이 방법은 행 인덱스들, 따라서 이름(name)을 압축하는 것을 가능하게 한다. 이 방법은 고속 행 액세스 및 행렬-벡터 곱셈(matrix-vector multiplication)들을 가능하게 한다.
희소 행렬들을 저장하는 제2 방법은 CSC(Compressed Sparse Column)라고 불리며, 값들이 먼저 열별로(by column) 판독되고, 각각의 값에 대해 행 인덱스가 저장되며, 열 포인터(column pointer)들이 저장되는 것을 제외하고는, CSR과 유사하다. 즉, CSC 방법에서, 포맷은 (val, row_ind, col_ptr)이고, 여기서 val은 행렬의 (위에서 아래로, 좌에서 우로) 비-널 요소들의 어레이이고; row_ind는 요소들에 대응하는 행 인덱스들이며; col_ptr는 각각의 열이 시작되는 val 인덱스들의 리스트이다. 이 포맷은 산술 연산들, 열 슬라이싱(column slicing), 및 행렬-벡터 곱(matrix-vector product)들에 효율적이다.
4차원 또는 4D 라이트 필드 데이터의 취득 - 4D 라이트 필드의 샘플링, 즉 광선(light ray)들의 기록이라고 볼 수 있음 - 은 the conference proceedings of ECCV 2008에 발표된, Anat Levin 등의 논문 "Understanding camera trade-offs through a Bayesian analysis of light field projections"에 설명되어 있다.
카메라로부터 획득된 고전적인 2차원 또는 2D 이미지들과 비교하여, 4D 라이트 필드 데이터는 사용자가 이미지들의 렌더링 및 사용자와의 상호작용성(interactivity)을 향상시키는 보다 많은 후처리 특징들에 액세스할 수 있게 한다. 예를 들어, 4D 라이트 필드 데이터를 사용하면, 자유롭게 선택된 초점화 거리(distance of focalization)들로 이미지들을 리포커싱(refocusing)하는 것 - 초점면(focal plane)의 위치가 사후에 지정/선택될 수 있음을 의미함 - 은 물론, 이미지의 장면에서의 시점(point of view)을 약간 변경하는 것을 수행하는 것이 가능하다.
4D 라이트 필드 데이터를 표현하는 몇 가지 방식들이 있다. 그들 중 하나는 4D 라이트 필드 데이터를 4차원 희소 행렬들에 저장하는 것에 있다.
그렇지만, 희소 행렬들을 저장 및 전송하는 방법들은 2개 초과의 차원들을 갖는 행렬들을 저장 및 전송하는 데 적절하지 않다.
본 발명은 전술한 바를 염두에 두고 고안되었다.
본 발명의 제1 양태에 따르면, 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 데이터를 수송하는 신호를 인코딩하는 컴퓨터 구현 방법이 제공되고, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 방법은:
- 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
- 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관(association)에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
- 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -
을 인코딩하는 단계를 포함한다.
이러한 방법은 희소 행렬들, 보다 상세하게는 거대 행렬들을 콤팩트한 방식으로 저장하는 것을 가능하게 한다. 실제로, 본 발명의 실시예예 따른 방법은 인코딩될 정보의 양을 제한하고 그에 따라 전송될 데이터의 양을 감소시키도록 순서화된 방식으로(in an ordered way) 비-널 요소들의 행렬에서의 위치를 결정할 수 있게 하는 인덱스들을 저장하는 것에 있다. 인코딩된 정보는 수신기에서 행렬의 재구성을 가능하게 하는 데에 충분하다.
예를 들어, 3차원 행렬의 경우에, 제1 식별자 X는 제1 차원을 식별해주고, 제2 식별자 Y는 제2 차원을 식별해주며, 제3 식별자 Z는 제3 차원을 식별해준다. 제1 차원에서, 행렬은, 예를 들어, 4개의 요소들을 포함하며, 즉 4개의 인덱스들 0, 1, 2, 및 3이 있다. 제2 차원에서, 행렬은, 예를 들어, 3개의 요소들을 포함하며, 즉 3개의 인덱스들 0, 1, 2가 있다. 제3 차원에서, 행렬은, 예를 들어, 3개의 요소들을 포함하며, 즉 3개의 인덱스들 0, 1, 2가 있다. 환언하면, 행렬은 4x3x3 행렬이다.
먼저, 제1 파라미터가 인코딩된다. 이 파라미터는 제1 차원의 식별자 X, 및 이 차원에서의 제1 인덱스 0을 포함한다.
이어서, 제2 파라미터가 인코딩된다. 이 파라미터는 제2 차원의 식별자 Y, 및 행렬의 비-널 요소의 위치에 대응하는 이 차원에서의 인덱스, 예컨대, 2를 포함한다.
이어서, 제3 파라미터가 인코딩된다. 이 파라미터는 제3 차원의 식별자 Z, 및 행렬의 비-널 요소의 위치에 대응하는 이 차원에서의 인덱스, 예컨대, 0을 포함한다. 따라서, 이 비-널 요소의 위치는 삼중항(triplet)(X, 0; Y, 2; Z, 0)에 의해 주어진다.
이어서, 행렬의 다른 비-널 요소의 위치를 정의하는 다른 제3 파라미터가 인코딩된다. 이 파라미터는 제3 차원의 식별자 Z, 및 행렬의 비-널 요소의 위치에 대응하는 이 차원에서의 인덱스, 예컨대, 2를 포함한다. 따라서, 이 비-널 요소의 위치는 삼중항(X, 0; Y, 2; Z, 2)에 의해 주어진다.
그 2개의 비-널 요소들이 제1 차원 및 제2 차원에서 동일한 좌표들을 공유하기 때문에, 콤팩트 포맷(compact format)을 제공하기 위해 그 정보는 한 번만 인코딩된다.
이어서, 방법이 제1 차원에서의 다음 인덱스에 대해 실행되며, 즉 제1 파라미터는 제1 차원의 식별자 X, 및 이 차원에서의 제2 인덱스 1 등을 포함한다.
앞서 설명된 방법의 다른 장점은 2개 이상의 차원들의 행렬들에 적용된다는 것이다.
본 발명의 일 실시예에 따르면, 제3 파라미터는 데이터 파일에 저장된 상기 행렬의 요소들의 값들을 가리키는 포인터(pointer)이다.
이러한 구현은 행렬에서의 상기 요소들의 위치들에 관련된 정보와 함께 행렬의 비-널 요소들의 값들을 인코딩하는 것을 회피한다. 이는 행렬에서의 상기 요소들의 위치들에 관련된 정보 및 행렬의 상이한 요소들의 값들을 포함하는 데이터 파일을 개별적으로 처리하는 것을 가능하게 한다. 이것은 이 상이한 유형들의 데이터를 처리하는 데 유연성을 제공한다.
본 발명의 일 실시예에 따르면, 본 방법은 제1, 제2, 및 제3 파라미터 세트들로부터 상기 행렬을 재구성하는 데 사용되도록 의도된 제4 파라미터 세트를 인코딩하는 단계를 추가로 포함한다.
이 제4 파라미터 세트는, 인코딩될 제1 차원의 식별자, 차원들이 인코딩되는 순서, 예컨대, X, Y, Z 또는 Z, Y, X 등, 주어진 차원에서의 인덱스들이 정렬(sort)되는 순서 등과 같은, 인코딩된 신호로부터 행렬을 재구성할 수 있게 하는 정보를 포함한다.
본 발명의 일 실시예에 따르면, 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 본 방법은:
- 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 제1 파라미터,
- 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하는 제2 파라미터,
- 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
- 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현함 -, 및
- 복수의 제3 파라미터들 - 각각의 제3 파라미터는 상기 행렬의 요소에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선에 대응하는 상기 광학 디바이스의 센서의 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현함 -
을 인코딩하는 단계를 포함한다.
본 발명의 일 실시예에 따른 방법에서, 파라미터들은 광학 시스템의 센서의 상이한 픽셀들에 의해 감지된 광선들을 표현한다.
본 발명의 일 실시예에 따른 방법은 광학 디바이스에 의해 직접 취득된 데이터에 한정되지 않는다. 이들 데이터는 주어진 장면 기술(scene description)을 위해 컴퓨터에 의해 전체적으로 또는 부분적으로 시뮬레이트된 CGI(Computer Graphics Image)일 수 있다. 다른 데이터 소스는 수정되는 사후 생성된 데이터(post-produced data), 예를 들어, 광학 디바이스 또는 CGI로부터 획득되는 컬러 그레이딩된 라이트 필드 데이터(colour graded, light-field data)일 수 있다. 광학 취득 디바이스(optical acquisition device)를 사용하여 취득된 데이터 및 CGI 데이터 둘 다의 혼합(mix)인 데이터를 갖는 것이 또한 이제 영화 산업에서 흔한 일이다. 센서의 픽셀이 컴퓨터 생성 장면 시스템(computer-generated scene system)에 의해 시뮬레이트될 수 있고, 확장에 의해, 센서 전체가 상기 시스템에 의해 시뮬레이트될 수 있다는 것이 이해될 것이다. 여기로부터, "센서의 픽셀" 또는 "센서"에 대한 임의의 언급이 광학 취득 디바이스에 부착된 물리적 객체(physical object) 또는 컴퓨터 생성 장면 시스템에 의해 획득된 시뮬레이트된 엔티티일 수 있다는 것이 이해된다.
이러한 인코딩 방법은 라이트 필드 데이터를 재구성하기 위한 콤팩트 포맷 데이터(compact format data)로 인코딩하는 것을 가능하게 한다.
본 발명의 일 실시예에 따르면, 본 방법은 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관으로부터 상기 광선들을 재구성하는 데 사용되도록 의도된 제7 파라미터 세트를 인코딩하는 단계를 추가로 포함한다.
그 파라미터들은 광학 디바이스의 교정(calibration)으로부터 획득된다.
본 발명의 일 실시예에 따르면, 제3 파라미터들은, 컬러 데이터를 표현하고 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는, 상기 행렬의 연관된 요소들이 인코딩되는 순서로 배열된다.
광선들을 표현하는 파라미터들은 광학 디바이스의 기하학적 형태(geometry)를 반영한다. 결과적으로, 이 파라미터들은 시간의 경과에 따라 변하지 않거나, 극히 드물게, 예를 들어, 줌잉(zooming)이 수행될 때 변한다. 그 파라미터들은 광학 디바이스의 교정으로부터 획득된다.
따라서, 예컨대, 광학 디바이스에 의해 취득된 모든 이미지에 대해, 시간의 경과에 따라 변하는 컬러 데이터를 표현하는 파라미터를, 기하학적 형태 데이터(geometry data)가 인코딩되는 순서와 동일한 순서로 배열하는 것이 보다 편리하다.
본 발명의 다른 목적은 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 데이터를 수송하는 신호를 인코딩하기 위한 디바이스에 관한 것이고, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 디바이스는:
- 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
- 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
- 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -
을 인코딩하도록 구성되는 프로세서를 포함한다.
이러한 디바이스는, 예를 들어, 광학 취득 디바이스, 예컨대, 카메라, 스마트폰, 태블릿 등, 또는 라이트 필드 데이터 또는 거대 희소 행렬들과 같은 데이터 파일들을 저장할 수 있는 저장 디바이스, 예컨대, USB 키(USB key)들, 하드 디스크 드라이브들 등이다.
본 발명의 일 실시예에 따르면, 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 프로세서는:
- 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 제1 파라미터,
- 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하는 제2 파라미터,
- 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
- 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현함 -, 및
- 복수의 제3 파라미터들 - 각각의 제3 파라미터는 상기 행렬의 요소에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선에 대응하는 상기 광학 디바이스의 센서의 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현함 -
을 인코딩하도록 추가로 구성된다.
본 발명의 다른 목적은 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 컴퓨터 구현 방법에 관한 것이고, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 방법은:
- 신호를 디코딩하는 단계 - 신호는
Figure pat00001
상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
Figure pat00002
복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
Figure pat00003
복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -,
Figure pat00004
제1, 제2, 및 제3 파라미터 세트들로부터 상기 행렬을 재구성하는 데 사용되도록 의도된 제4 파라미터 세트를 포함함 -, 및
- 디코딩된 제1 파라미터 세트, 디코딩된 제2 파라미터 세트, 디코딩된 제3 파라미터 세트 및 디코딩된 제4 파라미터 세트에 기초하여 상기 행렬을 재구성하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 디코딩될 신호는:
- 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
- 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현함 -,
- 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 센서의 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 제3 파라미터들을 추가로 포함한다.
본 발명은 또한 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 디바이스에 관한 것이고, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 디바이스는
- 신호를 디코딩하고 - 신호는
Figure pat00005
상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
Figure pat00006
복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
Figure pat00007
복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -,
Figure pat00008
제1, 제2, 및 제3 파라미터 세트들로부터 상기 행렬을 재구성하는 데 사용되도록 의도된 제4 파라미터 세트를 포함함 -,
- 디코딩된 제1 파라미터 세트, 디코딩된 제2 파라미터 세트, 디코딩된 제3 파라미터 세트 및 디코딩된 제4 파라미터 세트에 기초하여 상기 행렬을 재구성하도록 구성되는 프로세서를 포함한다.
본 발명의 일 실시예에 따르면, 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 프로세서는:
- 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
- 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현함 -,
- 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 센서의 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 제3 파라미터들을 디코딩하도록 추가로 구성된다.
본 발명의 다른 목적은 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 데이터를 수송하는 신호이고, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 신호는 인코딩 디바이스에 의해 전송되고 적어도 메시지를 포함하며, 메시지는:
- 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
- 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
- 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 - 을 포함한다.
본 발명의 일 실시예에 따르면, 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 메시지는:
- 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
- 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현함 -,
- 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 센서의 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 제3 파라미터들을 추가로 포함한다.
본 발명은 적어도 2개의 차원들(2D)을 갖는 행렬을 나타내는 데이터를 포함하는 디지털 파일에 관한 것이고, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 데이터는:
- 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
- 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
- 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 - 을 포함한다.
본 발명의 일 실시예에 따르면, 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 데이터는:
- 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
- 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현함 -,
- 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 센서의 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 제3 파라미터들을 추가로 포함한다.
본 발명의 요소들에 의해 구현된 일부 프로세스들은 컴퓨터로 구현(computer implemented)될 수 있다. 그에 따라, 이러한 요소들은 전적으로 하드웨어인 실시예(entirely hardware embodiment), 전적으로 소프트웨어인 실시예(entirely software embodiment)(펌웨어, 상주 소프트웨어, 마이크로 코드(micro-code) 등을 포함함) 또는 소프트웨어 및 하드웨어 양태들을 겸비하는 실시예 - 이들 모두는 일반적으로 본원에서 "회로", "모듈", 또는 "시스템"이라고 지칭될 수 있음 - 의 형태를 취할 수 있다. 게다가, 이러한 요소들은 임의의 유형적 표현 매체에 포함된(embodied) 컴퓨터 프로그램 제품 - 매체에 포함된 컴퓨터 사용가능 프로그램 코드를 가짐 - 의 형태를 취할 수 있다.
본 발명의 요소들이 소프트웨어로 구현될 수 있기 때문에, 본 발명은 프로그래밍가능 장치에 제공하기 위한 컴퓨터 판독가능 코드로서 임의의 적합한 캐리어 매체(carrier medium) 상에 구현될 수 있다. 유형적 캐리어 매체(tangible carrier medium)는, 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 솔리드 스테이트 메모리 디바이스(solid state memory device) 등과 같은, 저장 매체를 포함할 수 있다. 일시적 캐리어 매체(transient carrier medium)는, 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예컨대 마이크로파 또는 RF 신호와 같은, 신호를 포함할 수 있다.
본 발명의 실시예들이 이제부터 하기의 도면들을 참조하여, 단지 예로서, 설명될 것이다.
도 1은 본 발명의 실시예에 따른, 라이트 필드 카메라 디바이스의 블록도,
도 2는 라이트 필드 데이터 포맷팅 모듈(light-field data formatting module)의 잠재적 구현의 특정 실시예를 예시하는 블록도,
도 3은 파라미터화(parameterization)를 위해 사용되는, 기지의 깊이들(z1 및 z2)에 위치된 2개의 기준 평면(각각, P1 및 P2)을 통과하는 광선을 예시하는 도면,
도 4는 기지의 깊이(z3)에 위치된 기준 평면(P3)을 통과하는 광선을 예시한 도면,
도 5는 본 발명의 실시예에 따른, 이산화(discretize)될 때의 2개의 기준 평면들(P1 및 P2)을 나타낸 도면,
도 6은 본 발명의 실시예에 따른, 광선들의 좌표들을 이산화하기 위한 방법의 단계들을 예시한 플로차트,
도 7은 본 발명의 실시예에 따른, 희소 행렬을 저장 및 전송하기 위한 방법의 단계들을 예시한 플로차트,
도 8은 본 발명의 실시예에 따른, 저장된 3개의 행들 및 4개의 열들을 갖는 2차원 행렬을 나타낸 도면,
도 9는 본 발명의 실시예에 따른, 행렬에서 비-널 요소를 위치결정하는(locate) 것을 가능하게 하는 정보를 포함하는 데이터 스트림을 나타낸 도면,
도 10은 본 개시내용의 실시예에 따른, 행렬을 재구성하기 위한 장치의 일 예를 예시하는 개략 블록도,
도 11은 본 발명의 실시예에 따른, 희소 행렬을 재구성하기 위한 방법의 단계들을 예시한 플로차트.
본 기술분야의 통상의 기술자에 의해 이해될 것인 바와 같이, 본 원리들의 양태들은 시스템, 방법 또는 컴퓨터 판독가능 매체로서 구현될 수 있다. 그에 따라, 본 원리들의 양태들은 전적으로 하드웨어인 실시예, 전적으로 소프트웨어인 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함) 또는 소프트웨어 및 하드웨어 양태들을 겸비하는 실시예 - 이들 모두는 일반적으로 본원에서 "회로", "모듈", 또는 "시스템"이라고 지칭될 수 있음 - 의 형태를 취할 수 있다. 게다가, 본 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 이용될 수 있다.
도 1은 본 발명의 실시예에 따른, 라이트 필드 카메라 디바이스의 블록도이다. 라이트 필드 카메라는 조리개/셔터(aperture/shutter)(102), 메인(대물) 렌즈(main (objective) lens)(101), 마이크로 렌즈 어레이(micro lens array)(110) 및 광센서 어레이(photosensor array)를 포함한다. 일부 실시예들에서, 라이트 필드 카메라는 피사체 또는 장면의 라이트 필드 이미지를 캡처하기 위해 활성화되는 셔터 릴리스(shutter release)를 포함한다.
광센서 어레이(120)는 라이트 필드 데이터 포맷팅 모듈(150)에 의한 라이트 필드 데이터 포맷의 생성을 위해 그리고/또는 라이트 필드 데이터 프로세서(155)에 의한 처리를 위해 LF 데이터 취득 모듈(140)에 의해 취득되는 라이트 필드 이미지 데이터를 제공한다. 라이트 필드 데이터는, 취득 후에 그리고 처리 후에, 원시 데이터 포맷(raw data format)으로, 서브 조리개 이미지(sub aperture images)들 또는 초점 스택(focal stack)들로서, 또는 본 발명의 실시예들에 따른 라이트 필드 데이터 포맷으로 메모리(190)에 저장될 수 있다.
예시된 예에서, 라이트 필드 데이터 포맷팅 모듈(150) 및 라이트 필드 데이터 프로세서(155)는 라이트 필드 카메라(100) 내에 배치되거나 그 내에 통합된다. 본 발명의 다른 실시예들에서, 라이트 필드 데이터 포맷팅 모듈(150) 및/또는 라이트 필드 데이터 프로세서(155)는 라이트 필드 캡처 카메라의 외부에 있는 별도의 컴포넌트에 제공될 수 있다. 별도의 컴포넌트는 라이트 필드 이미지 캡처 디바이스에 대해 로컬 또는 원격일 수 있다. 라이트 필드 이미지 데이터를 포맷팅 모듈(150) 또는 라이트 필드 데이터 프로세서(155)에게 전송하기 위해 임의의 적당한 유선 또는 무선 프로토콜이 사용될 수 있고; 예를 들어, 라이트 필드 데이터 프로세서가 캡처된 라이트 필드 이미지 데이터 및/또는 다른 데이터를 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스® 통신 프로토콜, 및/또는 임의의 다른 적당한 수단을 통해 전송할 수 있다는 것이 이해될 것이다.
라이트 필드 데이터 포맷팅 모듈(150)은, 본 발명의 실시예들에 따라, 취득된 라이트 필드를 나타내는 데이터를 생성하도록 구성된다. 라이트 필드 데이터 포맷팅 모듈(150)은 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
라이트 필드 데이터 프로세서(155)는, 예를 들어, 본 발명의 실시예들에 따라 포맷팅된 데이터 및 메타데이터를 생성하기 위해 LF 데이터 취득 모듈(140)로부터 직접 수신된 원시 라이트 필드 이미지 데이터를 조작(operate on)하도록 구성된다. 예를 들어, 캡처된 장면의 스틸 이미지(still image)들, 2D 비디오 스트림들 등과 같은, 출력 데이터가 생성될 수 있다. 라이트 필드 데이터 프로세서는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
적어도 하나의 실시예에서, 라이트 필드 카메라(100)는 또한 사용자가 제어기(170)에 의해 카메라(100)의 동작을 제어하기 위해 사용자 입력을 제공할 수 있게 하는 사용자 인터페이스(160)를 포함할 수 있다. 카메라의 제어는 셔터 속도와 같은 카메라의 광학 파라미터들의 제어, 또는 조절가능 라이트 필드 카메라의 경우에, 마이크로 렌즈 어레이와 광센서 사이의 상대 거리, 또는 대물 렌즈와 마이크로 렌즈 어레이 사이의 상대 거리의 제어 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 라이트 필드 카메라의 광학 요소들 사이의 상대 거리들이 수동으로 조절될 수 있다. 카메라의 제어는 또한 카메라의 다른 라이트 필드 데이터 취득 파라미터들, 라이트 필드 데이터 포맷팅 파라미터들 또는 라이트 필드 처리 파라미터들의 제어를 포함할 수 있다. 사용자 인터페이스(160)는 터치스크린, 버튼들, 키보드, 포인팅 디바이스, 및/또는 기타와 같은 임의의 적당한 사용자 입력 디바이스(들)를 포함할 수 있다. 이러한 방식으로, 사용자 인터페이스에 의해 수신된 입력은 데이터 포맷팅을 제어하기 위한 LF 데이터 포맷팅 모듈(150), 취득된 라이트 필드 데이터의 처리를 제어하기 위한 LF 데이터 프로세서(155) 및 라이트 필드 카메라(100)를 제어하기 위한 제어기(170)를 제어 및/또는 구성하는 데 사용될 수 있다.
라이트 필드 카메라는, 하나 이상의 교체가능 또는 충전가능 배터리들과 같은, 전원(180)을 포함한다. 라이트 필드 카메라는 캡처된 라이트 필드 데이터 및/또는 처리된 라이트 필드 데이터 또는 본 발명의 실시예들의 방법들을 구현하기 위한 소프트웨어와 같은 다른 데이터를 저장하기 위한 메모리(190)를 포함한다. 메모리는 외부 및/또는 내부 메모리를 포함할 수 있다. 적어도 하나의 실시예에서, 메모리는 카메라(100)와 별도의 디바이스 및/또는 위치에 제공될 수 있다. 일 실시예에서, 메모리는 메모리 스틱(memory stick)과 같은 이동식(removable)/스왑가능(swappable) 저장 디바이스를 포함한다.
라이트 필드 카메라는 또한 캡처 이전에 카메라 전방의 장면들을 보기 위한 그리고/또는 이전에 캡처된 및/또는 렌더링된 이미지들을 보기 위한 디스플레이 유닛(165)(예컨대, LCD 스크린)을 포함할 수 있다. 스크린(165)은 또한 하나 이상의 메뉴들 또는 다른 정보를 사용자에게 디스플레이하는 데 사용될 수 있다. 라이트 필드 카메라는, FireWire 또는 USB(Universal Serial Bus) 인터페이스들과 같은, 하나 이상의 I/O 인터페이스들(195), 또는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스® 통신 프로토콜, 및/또는 임의의 다른 적당한 수단을 통한 데이터 통신을 위한 유선 또는 무선 통신 인터페이스들을 추가로 포함할 수 있다. I/O 인터페이스(195)는, 애플리케이션들을 렌더링하기 위해, 본 발명의 실시예들에 따라 LF 데이터 포맷팅 모듈에 의해 생성된 라이트 필드 대표 데이터(light-field representative data) 그리고 원시 라이트 필드 데이터 또는 LF 데이터 프로세서(155)에 의해 처리된 데이터와 같은 라이트 필드 데이터와 같은, 데이터를 컴퓨터 시스템들 또는 디스플레이 유닛들과 같은 외부 디바이스들로 그리고 그 외부 디바이스들로부터 전송하는 데 사용될 수 있다.
도 2는 라이트 필드 데이터 포맷팅 모듈(250) 및 라이트 필드 데이터 프로세서(253)의 잠재적 구현의 특정 실시예를 예시하는 블록도이다.
회로(200)는 메모리(290), 메모리 제어기(245), 및 하나 이상의 처리 유닛들(CPU(들))을 포함하는 처리 회로부(240)를 포함한다. 하나 이상의 처리 유닛들240)은, 라이트 필드 데이터 포맷팅 및 라이트 필드 데이터 처리를 비롯한 다양한 기능들을 수행하기 위해, 메모리(290)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어 세트들을 실행하도록 구성된다. 메모리에 저장된 소프트웨어 컴포넌트들은 본 발명의 실시예들에 따라 취득된 라이트 필드 데이터를 나타내는 데이터를 생성하기 위한 데이터 포맷팅 모듈(또는 명령어 세트)(250) 및 본 발명의 실시예들에 따라 라이트 필드 데이터를 처리하기 위한 라이트 필드 데이터 처리 모듈(또는 명령어 세트)(255)을 포함한다. 일반적인 시스템 태스크(system task)들(예컨대, 전력 관리, 메모리 관리)을 제어하기 위한 그리고 디바이스(200)의 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 용이하게 하기 위한 운영 체제 모듈(251), 및 I/O 인터페이스 포트들을 통한 다른 디바이스들과의 통신을 제어 및 관리하기 위한 인터페이스 모듈(252)과 같은 라이트 필드 카메라 디바이스의 애플리케이션들을 위한 다른 모듈들이 메모리에 포함될 수 있다.
본 발명의 실시예들은 카메라의 센서의, 또는 보다 일반적으로는 광학 디바이스의 센서의 픽셀들에 의해 감지되거나 컴퓨터 생성 장면 시스템에 의해 시뮬레이트된 광선들 및 그들의 공간에서의 배향에 기초한 라이트 필드 데이터의 표현에 의존한다. 실제로, 라이트 필드 데이터의 다른 소스는 수정되는 사후 생성된 데이터, 예를 들어, 광학 디바이스 또는 CGI로부터 획득되는 컬러 그레이딩된 라이트 필드 데이터일 수 있다. 광학 취득 디바이스를 사용하여 취득된 데이터 및 CGI 데이터 둘 다의 혼합인 데이터를 갖는 것이 또한 이제 영화 산업에서 흔한 일이다. 센서의 픽셀이 컴퓨터 생성 장면 시스템에 의해 시뮬레이트될 수 있고, 확장에 의해, 센서 전체가 상기 시스템에 의해 시뮬레이트될 수 있다는 것이 이해될 것이다. 여기로부터, "센서의 픽셀" 또는 "센서"에 대한 임의의 언급이 광학 취득 디바이스에 부착된 물리적 객체 또는 컴퓨터 생성 장면 시스템에 의해 획득된 시뮬레이트된 엔티티일 수 있다는 것이 이해된다.
취득 시스템의 유형이 무엇이든, 상기 취득 시스템의 센서의 픽셀이 취득 시스템 외부의 공간에서의 적어도 선형 광 궤적(linear light trajectory) 또는 광선에 대응한다는 것을 알면, 3차원(또는 3D) 공간에서의 광선을 표현하는 데이터가 계산된다.
본 발명이 플렌옵틱 카메라(plenoptic camera)들에 의해 취득된 데이터에 한정되지 않고, 종래의 카메라들, 카메라 리그(camera rig)들에 의해, 그리고 보다 일반적으로는 임의의 유형의 카메라에 의해 취득된 데이터를 처리하는 데 사용될 수 있다는 것이 이해될 것이다.
제1 실시예에서, 도 3은 서로 평행하게 배치되고 기지의 깊이들(z1 및 z2)에 위치된, 파라미터화를 위해 사용되는 2개의 기준 평면들(각각, P1 및 P2)을 통과하는 광선을 예시하고 있다. z 방향 또는 깊이 방향은 라이트 필드 데이터를 획득하는 데 사용되는 광학 디바이스의 광학 축의 방향에 대응한다.
광선이 깊이(z1)에 있는 제1 기준 평면(P1)과 교차점(x1, y1)에서 교차하고, 깊이(z2)에 있는 제2 기준 평면(P2)과 교차점(x2, y2)에서 교차한다. 이러한 방식으로, z1 및 z2가 주어지면, 광선이 4개의 좌표들 (x1, y1, x2, y2)에 의해 식별될 수 있다. 라이트 필드가 따라서 파라미터화를 위한 한 쌍의 기준 평면들(P1, P2) - 본원에서 파라미터화 평면들이라고도 지칭됨 - 에 의해 파라미터화될 수 있고, 각각의 광선은 4D 광선 공간(4D ray space)에서 점
Figure pat00009
로서 표현된다.
도 4에 나타낸 제2 실시예에서, 광선이 기지의 깊이들(z3)에 위치된 기준 평면(P3)과 광선 간의 교차점에 의해 파라미터화된다.
광선이 깊이(z3)에 있는 기준 평면(P3)과 교차점(x3, y3)에서 교차한다. 공간에서의 광선의 방향을 제공하는 정규화된 벡터 v는 하기의 좌표들을 가지며:
Figure pat00010
,
Figure pat00011
이기 때문에, vz 는 포지티브인 것으로 가정되고, vx 및 vy를 알면 재계산될 수 있으며, 벡터는 그의 처음 2개의 좌표들 (vx, vy)에 의해서만 기술될 수 있다.
이 제2 실시예에 따르면, 광선이 4개의 좌표들 (x3, y3, vx, vy)에 의해 식별될 수 있다. 라이트 필드가 따라서 파라미터화를 위한 기준 평면(P3) - 본원에서 파라미터화 평면이라고도 지칭됨 - 에 의해 파라미터화될 수 있고, 각각의 광선은 4D 광선 공간에서 점
Figure pat00012
로서 표현된다.
본 발명은 정보의 양을 감소시키는 것, 및 부동 소수점 수들을 사용하여 코딩될 때보다 덜 포괄적인 공간(less generic space)에서의 좌표들을 코딩하는 것에 있다.
이를 위해, 포맷팅 모듈(250)은 각각의 좌표들 (x1, y1, x2, y2)을 이산화하고, 부동 소수점 수들 대신에 정수들인, 인덱스들을 저장한다. 이것은, 작은 양자화 오차가 유입된다는 것을 알면서, 각각의 좌표들을 인코딩하는 데 사용되는 비트들의 수를 감소시키는 것을 가능하게 한다.
포맷팅 모듈(250)은 광선을 기술하는 4D 좌표들 (x1, y1, x2, y2)을 4D 인덱스들의 세트 (ix1, iy1, ix2, iy2)로 대체하며, 유일한 제약조건은 2개의 구별되는 광선들이 4개의 동일한 인덱스들을 갖는 것이 허용되지 않는다는 것이다.
도 5는 본 발명의 실시예에 따른, 각각의 좌표들 (x1, y1, x2, y2)이 이산화될 때의 2개의 기준 평면들(P1 및 P2)을 나타내고 있다.
이 제1 실시예에서, 각각의 방향에서 일정한 수의 샘플들이 선택되며, 즉 각각의 차원이 2N개의 샘플들로 분할된다. 실제로, 가능한 한 가장 작은 오차를 얻기 위해, 2개의 구별되는 광선들이 4개의 동일한 인덱스들을 가져서는 안된다는 이상의 제약조건을 존중하도록 숫자 N이 선택되고, 광선을 표현하는 4개의 인덱스들을 저장하는 데 요구되는 비트들의 수를 최소화하기 위해 N이 충분히 작아야만 한다.
제2 실시예에서, N은 임의적인 것으로 선택된다. 이어서, 포맷팅 모듈(250)은 N이 제약조건들을 존중하는지 여부를 체크한다.
도 6은 본 발명의 실시예에 따른, 광선들의 좌표들을 이산화하기 위한 방법의 단계들을 예시한 플로차트이다.
라이트 필드 취득 시스템이 핀홀 모델(pinhole model)을 사용하여 교정(calibrate)되는 경우, 왜곡없는 기본 투영 모델(basic projection model)은 하기의 방정식에 의해 제공되고:
Figure pat00013
여기서
Figure pat00014
f는 카메라(100)의 메인 렌즈의 초점 거리이고,
Figure pat00015
cu 및 cv는 카메라(100)의 광학 축과 센서의 교차점의 좌표들이며,
Figure pat00016
(Xc, Yc, Zc, 1)T는 카메라에 의해 감지된 공간 내의 점의 카메라 좌표계(camera coordinate system)에서의 위치이고,
Figure pat00017
(u, v, 1)T는 카메라 좌표계에서의 좌표들이 (Xc, Yc, Zc, 1)T인 점의 카메라의 센서 상으로의 투영의, 센서 좌표계에서의, 좌표들이다.
라이트 필드 데이터 포맷팅 모듈(150)은 센서 좌표계에서의 좌표들이 (u, v, 1)T인 센서의 픽셀에 의해 감지되는 공간에서의 광선의 방향을 표현하는 벡터 V의 좌표들을 계산한다. 센서 좌표계에서, 벡터 V의 좌표들은 다음과 같다:
Figure pat00018
핀홀 모델에서, 핀홀로부터 좌표 Z1에 위치되고 센서 평면과 평행인 평면에 대해, 좌표들이 (u, v, 1)T인 픽셀에 의해 감지된 광선의 교차점의 좌표들은 다음과 같다:
Figure pat00019
몇 개의 취득, 즉 상이한 유형의 카메라들에 의한 라이트 필드 데이터의 취득이 혼합되더라도, 단일 좌표계가 사용된다. 이 상황에서, 점들 및 벡터들의 좌표들의수정들이 그에 따라 핸들링되어야만 한다.
본 발명의 일 실시예에 따르면, 카메라의 센서의 픽셀들에 의해 감지된 광선들을 정의하는 좌표 세트들이 4개의 차원들을 갖는 행렬로 재그룹화된다. 다른 실시예에서, 광선들이 광선들의 전파를 시뮬레이트하는 컴퓨터 생성 장면 시스템에 의해 직접 계산된다.
본 발명의 일 실시예에서, 이 행렬은 수신기에게 전송될 장면의 컬러 맵(colour map)과 연관된다. 이와 같이, 이 실시예에서, 카메라의 센서의 각각의 픽셀 (u, v)은 상기 픽셀에 의해 감지된 광선 및 동일한 주어진 픽셀에 의해 감지된 동일한 광선에 연관된 컬러 데이터를 나타내는 파라미터 및 광선이 파라미터화를 위한 한 쌍의 기준 평면들(P1, P2)에 의해 파라미터화될 때의 (x1, y1, x2, y2) 또는 광선이 정규화된 벡터에 의해 파라미터화될 때의 (x3, y3, vx, vy)에 대응하는 부동 소수점 값들의 사중항(quadruplet)
Figure pat00020
에 대응한다. 이하의 설명에서, 부동 소수점 값들의 사중항
Figure pat00021
은 다음과 같이 주어진다:
Figure pat00022
다른 실시예에서, 취득 시스템이 핀홀 모델을 사용하여 교정되지 않으며, 결과적으로 2개의 평면들에 의한 파라미터화가 모델로부터 재계산되지 않는다. 그 대신에, 2개의 평면들에 의한 파라미터화가 카메라의 교정 동작 동안 측정되어야만 한다. 이것은, 예를 들어, 메인 렌즈와 카메라의 센서 사이에 마이크로 렌즈 어레이를 포함하는 플렌옵틱 카메라에 대한 경우일 수 있다.
또 다른 실시예에서, 행렬은 컴퓨터 생성 장면 시스템에 의해 직접 시뮬레이트되거나 취득된 데이터로부터 사후 생성된다.
단계(601)에서, 광선의 각각의 좌표(
Figure pat00023
)에 대해, 포맷팅 모듈(250)은 하기의 변환들을 계산하고:
Figure pat00024
여기서
Figure pat00025
및
Figure pat00026
는 주어진 차원에서의 실제 좌표(real coordinate)들의 최솟값 및 최댓값이다. 이 파라미터들은, 광선들의 실제 4D 좌표들을 검색하는 데 사용되기 때문에 메타데이터로서 전송되기 위해, 이어서 단계(602)에서 메모리(290)에 저장된다.
단계(603)에서, 포맷팅 모듈(250)은 각각의 광선들을 표현하는 인덱스들 (ix1, iy1, ix2, iy2)을 4개의 차원들을 갖는 행렬로 저장한다.
본 발명의 다른 실시예는 라이트 필드를 정의하는 데 사용되는 4개의 차원들 전부에 대해 동일한 메트릭 간격(metric interval)을 찾아내는 것에 있다. 목표는 2개의 구별되는 광선들을 분리시키는 것을 가능하게 하는 최대 간격을 찾아내는 것이다.
단계(610)에서, 포맷팅 모듈(250)은 적어도 2개의 광선들(i 및 i')의 좌표들 사이의 최대 차이를 결정한다:
Figure pat00027
이어서, 포맷팅 모듈(250)은, 단계(611)에서, 모든
Figure pat00028
값들 중에서 최솟값(min)을 셀들에 대한 간격으로서 선택하고:
Figure pat00029
여기서
Figure pat00030
은, 예를 들어,
Figure pat00031
과 같이 선택될 수 있는 작은 숫자이다. 이 감소분(reduction)
Figure pat00032
은 간격이 가장 작은 차이보다 더 작도록 하는 것을 가능하게 한다.
이어서, 단계(612)에서, 포맷팅 모듈(250)은 각각의 차원에 대해 샘플들의 수를 계산한다:
Figure pat00033
(x1, y1, x2, y2)에서의 차원
Figure pat00034
에서의 인덱스가, 단계(613)에서, 하기의 방정식을 사용해 포맷팅 모듈(250)에 의해 획득된다:
Figure pat00035
따라서, 광선의 좌표들 (x1, y1, x2, y2)이 4개의 인덱스들의 세트 (ix1, iy1, ix2, iy2)로 변환된다.
카메라의 센서의 픽셀에 의해 감지된 광선이 인덱스들의 사중항 (ix1, iy1, ix2, iy2)에 의해 표현되기 때문에, 이 4개의 파라미터들을 4개의 차원들을 갖는 행렬로 저장하는 것이 가능하고, 카메라의 센서의 픽셀에 의해 감지되는 광선에 대응하는 인덱스 ix1은 행렬의 제1 차원에서의 제1 인덱스이고, 카메라의 센서의 픽셀에 의해 감지되는 동일한 광선에 대응하는 인덱스 iy1은 행렬의 제2 차원에서의 제2 인덱스이며, 카메라의 센서의 픽셀에 의해 감지되는 동일한 광선에 대응하는 인덱스 ix2는 행렬의 제3 차원에서의 제3 인덱스이고, 카메라의 센서의 픽셀에 의해 감지되는 동일한 광선에 대응하는 인덱스 iy2는 행렬의 제4 차원에서의 제4 인덱스이다.
이러한 행렬로 저장된 데이터가 4D 라이트 필드 데이터이기 때문에, 행렬의 셀들 대부분은 비어 있으며, 즉 행렬의 요소들 대부분이 널이다.
도 7은 본 발명의 일 실시예에 따른, 희소 행렬을 저장 및 전송하기 위한 방법의 단계들을 예시한 플로차트이다. 본 발명의 일 실시예에 따른 방법에 의해 처리되는 행렬들은 희소 행렬들이다. 일 예에서, 이 행렬들은 라이트 필드 데이터를 포함하지만, 임의의 다른 유형의 데이터를 포함할 수 있다.
단계(701)에서, 포맷팅 모듈(250)은 저장 및 전송할 희소 행렬을 검색한다. 예를 들어, 라이트 필드 데이터의 경우에, 이러한 행렬은 도 6을 참조하여 설명된 방법으로부터 또는 이러한 라이트 필드 데이터를 취득하기 위해 사용되는 카메라의 교정 데이터로부터 획득된다.
본 발명의 일 실시예에 따른 방법에서, 행렬에서의 요소의 위치를 표현하는 인덱스들 (ix1, iy1, ix2, iy2)을 코딩하기 위해 특정 신택스(syntax)가 사용된다. 4차원 행렬의 경우에, 하기의 표에 나타낸 바와 같이, 행렬의 각각의 차원을 식별해주는 인덱스를 코딩하기 위해 2 비트가 사용될 수 있다:
Figure pat00036
예를 들어, 행렬의 차원을 식별해주는 인덱스는 데이터 패킷의 2개의 최상위 비트(MSB)들로서 인코딩된다.
차원의 인덱스(j)는 고정된 이진 포맷으로 코딩될 수 있고, 따라서 차원 N의 공간에 대해, 이 차원을 코딩하는 데 필요한 비트들의 수는 log2(N)이다.
예를 들어, 4개의 차원들을 갖는 행렬의 경우에, 인덱스는 32 비트를 사용하여 인코딩될 수 있고, 2개의 최상위 비트들은 차원 (ix1, iy1, ix2, iy2)을 표시하고 하위 30개의 비트들은 차원에서의 인덱스를 포함한다.
단계(702)에서, 포맷팅 모듈(250)은 차원 N-1부터 시작하여, 이어서 N-2 등에서, 차원 0에 이르기까지 계층적으로 인덱스들을 정렬한다. 4차원 행렬의 경우에, 이것은 먼저 제4 차원의 인덱스들(iy2), 이어서 제3 차원의 인덱스들(ix2), 이어서 제2 차원의 인덱스들(iy1), 그리고 마지막으로 제1 차원의 인덱스들(ix1)을 정렬하는 것에 있다.
인덱스들의 리스트는 하기의 알고리즘을 사용하여 저장된다:
Figure pat00037
상위 차원(higher dimension)에서의 인덱스를 저장함,
Figure pat00038
순차적인 하위 차원(lower dimension)들의 인덱스들을 저장함.
예를 들어, 도 8은 3개의 행들과 4개의 열들을 갖는 2차원 행렬을 나타내고 있다. 이 예에서, 차원은 1 비트 - log2(2) = 1이기 때문에, 행 차원에 대해 0, 열 차원에 대해 1 - 를 사용하여 코딩된다.
이 예에서, 상위 차원은 행 차원이다. 행렬의 비-널 요소들을 저장하기 위해, 포맷팅 모듈(250)은 차원을 표현하는 파라미터(81) - 여기서 도 8의 제1 데이터 스트림(80) 상의 0이고, 0은 제1 차원이 행 차원임을 의미함 - 를 먼저 인코딩한다. 이어서, 포맷팅 모듈(250)은 차원에서의 인덱스(82) - 이 예에서 0이고, 행렬의 첫 번째 행을 식별해줌 - 를 인코딩한다. 포맷팅 모듈은 이어서 계속하여 제2 차원을 표현하는 파라미터(83) - 여기서 1이고, 1은 열 차원을 표시함 -, 그리고 이어서 비-널 요소가 행렬에서 위치되어 있는 이 차원에서의 인덱스(84) - 여기서 인덱스 값은 1이고, 1은 요소가 행렬의 두 번째 열에 위치되어 있음을 의미함 - 를 인코딩하는 것에 의해 데이터 스트림(80)을 생성한다. 포맷팅 모듈(250)은 이어서 계속하여 제2 차원을 표현하는 파라미터(85) - 여기서 1이고, 1은 열 차원을 표시함 -, 그리고 이어서 비-널 요소가 행렬에서 위치되어 있는 이 차원에서의 인덱스(86) - 여기서 인덱스 값은 3임 - 를 인코딩하는 것에 의해 데이터 스트림(80)을 생성한다.
따라서, 데이터 스트림(80)은 행렬의 첫 번째 행에 위치된 행렬의 모든 비-널 요소들의 위치를 포함한다. 정보가 콤팩트한 방식으로 코딩되는데, 그 이유는 중복적인 정보가 없고, 행렬의 모든 비-널 요소들 간의 공통 파라미터, 즉 행렬의 행이 한 번만 코딩되기 때문이다.
이어서, 포맷팅 모듈(250)은 상위 차원에서 인덱스를 증가시키고, 행렬에서 비-널 요소들을 위치결정하는 데이터를 계속하여 인코딩한다.
이어서, 단계(703)에서, 포맷팅 모듈(250)은 행렬의 요소의 값을 행렬에서의 상기 요소의 위치를 표현하는 데이터에 연관시킨다. 상기 연관(association)은, 예를 들어, 행렬의 요소들의 값들을 포함하는 파일을 가리키는 포인터이다. 도 8을 참조하면, 파라미터(81), 인덱스(82) 및 파라미터(83) 및 인덱스(84)에 의해 주어진, 제1 위치는 값 1을 가리키고, 파라미터(81), 인덱스(82) 및 파라미터(85) 및 인덱스(86)에 의해 주어진, 제2 위치는 값 2를 가리킨다.
라이트 필드 데이터의 경우에, 각각의 사중항 (ix1, iy1, ix2, iy2)은 취득 디바이스의 센서의 픽셀에 대응한다.
라이트 필드 데이터를 처리할 때, 상위 차원은 y2 차원, 이어서 x2 차원, 이어서 y1 차원 그리고 이어서 x1 차원이다. 라이트 필드 데이터를 표현하는 행렬의 비-널 요소들을 저장하기 위해, 포맷팅 모듈(250)은, 취득 디바이스의 센서의 픽셀들에 의해 감지된 광선들에 대응하는, 행렬의 비-널 요소들의 위치를 포함하는 데이터 스트림을 먼저 생성한다. 이러한 데이터 스트림(90)이 도 9에 나타내어져 있다.
포맷팅 모듈(250)은 차원 y2를 표현하는 제1 파라미터(91) - 예컨대, 표 1에서 언급된 바와 같이 11 - 를 인코딩한다. 이어서, 포맷팅 모듈(250)은 y2 차원에서의 인덱스를 인코딩한다. 이어서, 포맷팅 모듈은 제2 차원(x2)의 파라미터(92) - 여기서 표 1에서의 10 -, 그리고 이어서 이 x2 차원에서의 인덱스를 인코딩한다. 이어서, 포맷팅 모듈은 제3 차원(y1)의 파라미터(93) - 여기서 표 1에서의 01 -, 그리고 이어서 이 y1 차원에서의 인덱스를 인코딩한다. 이어서, 포맷팅 모듈(250)은 제4 차원(x1)의 파라미터(94) - 여기서 표 1에서의 00 -, 그리고 이어서 이 x1 차원에서의 인덱스를, 동일한 삼중항 (y2, x2, y1)을 공유하는 행렬 내의 비-널 요소들이 있는 만큼의 횟수로 - 여기서 3회 - 인코딩한다.
이어서, 포맷팅 모듈(250)은 제3 차원에서 인덱스(95)를 증가시키고, 행렬에서 비-널 요소들을 위치결정하는 데이터를 계속하여 인코딩한다. 이어서, 포맷팅 모듈(250)은 제4 차원에서의 행렬의 다음 비-널 요소의 위치를 인코딩한다.
이어서, 포맷팅 모듈(250)은 제2 차원에서 인덱스를 증가시키고, 행렬에서 비-널 요소들을 위치결정하는 데이터를 계속하여 인코딩하며, 이하 마찬가지이다.
따라서, 행렬의 비-널 요소들의 위치가 하기의 데이터 구조 - 데이터 스트림에 대한, 도 9를 참조하여 주어진 것과는 구별되는, 다른 예임 - 를 사용하여 인코딩될 수 있으며, 여기서 IdDim은 차원을 식별해주는 파라미터이고 DimInd는 고려된 차원에서의 인덱스이며, 각각의 차원은 3개의 인덱스를 갖는다:
Figure pat00039
Figure pat00040
Figure pat00041
단계(704)에서, 인덱스(96)는 대응하는 값을 행렬의 각각의 비-널 요소에 연관시키는, 광학 취득 디바이스에 의해 취득된 바와 같은, 이미지를 가리킨다. 그렇게 하는 것은 행렬의 비-널 요소들과 동일한 편성(organization)으로 이미지 데이터를 재배열하는 것을 가능하게 한다. 라이트 필드 데이터의 경우에, 행렬의 요소들의 값은 상이한 광선들을 감지한 센서의 픽셀들에 의해 취득된 RGB 값들이고, 따라서 이 RBG 값들은 시간에 따라 계속하여 변하는 반면, 행렬에서의 비-널 요소들의 위치인 카메라의 기하학적 형태는 동일한 채로 있다.
단계(705)에서, 포맷팅 모듈은 원래 행렬(original matrix)을 검색하기 위해 수신기측에서 역수 계산(reciprocal computation) 동안 사용되도록 의도된 파라미터들의 세트를 포함하는 메시지를 생성한다. 그 파라미터들은, 예를 들어, 행렬의 차원들의 수, 행렬의 각각의 차원을 식별해주는 인덱스들을 인코딩하는 데 사용되는 신택스 - 예컨대, 표 1 -, 및 어느 것이 행렬의 최상위 차원인지를 결정하는 것을 가능하게 하는 파라미터들 - 예컨대, y2가 최상위 차원이고, 이어서 x2 등등임 - 을 포함한다.
라이트 필드 데이터를 표현하는 행렬의 경우에, 메시지는 또한,
Figure pat00042
,
Figure pat00043
및 Δ와 같은, 각각의 광선들의 원래 좌표들
Figure pat00044
을 그들의 인덱스들 (ix1, iy1, ix2, iy2)로부터 계산하는 것을 가능하게 하는 파라미터들의 세트를 포함한다.
단계(706)에서, 데이터 스트림들(80, 90), 포인터들(96) 및 메시지가 적어도 수신기에게 전송되고, 수신기에서, 행렬 및 그의 콘텐츠를 렌더링하기 위해, 이들 데이터가 처리된다.
도 10은 본 발명의 실시예에 따른, 행렬을 재구성하기 위한 장치의 일 예를 예시하는 개략 블록도이다.
장치(1000)는, 버스(1006)에 의해 연결되는, 프로세서(1001), 저장 유닛(1002), 입력 디바이스(1003), 디스플레이 디바이스(1004), 및 인터페이스 유닛(1005)을 포함한다. 물론, 컴퓨터 장치(1000)의 구성 요소들은 버스 연결부(bus connection) 이외의 연결부에 의해 연결될 수 있다.
프로세서(1001)는 장치(1000)의 동작들을 제어한다. 저장 유닛(1002)은 프로세서(1001)에 의해 실행될 적어도 하나의 프로그램과, 라이트 필드 카메라에 의해 캡처되어 제공되는 4D 라이트 필드 이미지들의 데이터, 프로세서(1001)에 의해 수행되는 계산들에 의해 사용되는 파라미터들, 프로세서(1001)에 의해 수행되는 계산들의 중간 데이터 등을 포함한 다양한 데이터를 저장한다. 프로세서(1001)는 임의의 공지되고 적당한 하드웨어, 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 형성될 수 있다. 예를 들어, 프로세서(1001)는 처리 회로와 같은 전용 하드웨어에 의해 또는 그의 메모리에 저장된 프로그램을 실행하는 CPU(Central Processing Unit)와 같은 프로그래밍가능 처리 유닛에 의해 형성될 수 있다.
저장 유닛(1002)은 프로그램, 데이터 등을 컴퓨터 판독가능 방식으로 저장할 수 있는 임의의 적당한 저장소 또는 수단에 의해 형성될 수 있다. 저장 유닛(1002)의 예들은 반도체 메모리 디바이스들과 같은 비일시적 컴퓨터 판독가능 저장 매체, 그리고 판독 및 기입 유닛 내에 로딩되는 자기, 광학, 또는 자기-광학 기록 매체들을 포함한다. 프로그램은 프로세서(1001)로 하여금 본 개시내용의 일 실시예에 따라 도 11을 참조하여 설명되는 바와 같이 행렬을 재구성하게 한다.
입력 디바이스(1003)는, 커맨드들을 입력하기 위해 사용자가 사용하기 위한, 키보드, 마우스와 같은 포인팅 디바이스 등에 의해 형성될 수 있다. 출력 디바이스(1004)는, 예를 들어, 그래픽 사용자 인터페이스(GUI), 본 개시내용의 일 실시예에 따라 생성된 행렬을 디스플레이하기 위한 디스플레이 디바이스에 의해 형성될 수 있다. 입력 디바이스(1003) 및 출력 디바이스(1004)는, 예를 들어, 터치스크린 패널과 일체로 형성될 수 있다.
인터페이스 유닛(1005)은 장치(1000)와 외부 장치 간의 인터페이스를 제공한다. 인터페이스 유닛(1005)은 케이블 또는 무선 통신을 통해 외부 장치와 통신가능할 수 있다. 일 실시예에서, 외부 장치는 라이트 필드 카메라일 수 있다. 이 경우에, 라이트 필드 카메라에 의해 캡처된 4D 라이트 필드 이미지들의 데이터는 라이트 필드 카메라로부터 인터페이스 유닛(1005)을 통해 장치(1000)에 입력되고, 이어서 저장 유닛(1002)에 저장될 수 있다.
이 실시예에서, 장치(1000)가 예로서 라이트 필드 카메라와 분리되고 그들이 케이블 또는 무선 통신을 통해 서로 통신가능한 것으로 논의되지만, 장치(1000)가 이러한 라이트 필드 카메라와 통합될 수 있다는 것에 유의해야 한다. 이 후자의 경우에, 장치(1000)는, 예를 들어, 라이트 필드 카메라를 내장한 태블릿 또는 스마트폰과 같은 휴대용 디바이스일 수 있다.
도 11은 본 발명의 일 실시예에 따른, 희소 행렬을 재구성하기 위한 방법의 단계들을 예시한 플로차트이다. 이 방법은, 예를 들어, 장치(1000)의 프로세서(1001)에 의해 실행된다.
단계(1101)에서, 장치(1000)는 데이터 스트림들(80, 90), 포인터들(96), 취득 디바이스의 센서의 픽셀들에 의해 감지된 모든 RGB 값들을 저장하는 RGB 파일, 및 SEI 메시지를 수신한다.
단계(1102)에서, 프로세서(1001)는, 행렬 그리고 결과적으로 라이트 필드 콘텐츠를 재구성하기 위해, 데이터 스트림들(80, 90), 포인터들(96), RGB 파일, 및 SEI 메시지에 포함된 파라미터들을 처리한다.
광선들의 좌표들이 도 6을 참조하여 설명된 제1 실시예에 따라 이산화될 때, 원래 좌표들은 하기의 방정식에 따라 검색될 수 있고:
Figure pat00045
여기서 최대 오차는
Figure pat00046
이다.
광선들의 좌표들이 도 6을 참조하여 설명된 제2 실시예에 따라 이산화될 때, 원래 좌표들은 하기의 방정식에 따라 검색될 수 있고:
Figure pat00047
여기서 최대 오차는
Figure pat00048
이다. 본 발명이 특정 실시예들을 참조하여 위에서 설명되었지만, 본 발명은 특정 실시예에 한정되지 않으며, 본 발명의 범주 내에 있는 수정들이 본 기술분야의 통상의 기술자에게는 명백할 것이다.
단지 예로서 주어지고, 첨부된 청구항들에 의해서만 결정되는, 본 발명의 범주를 제한하려고 의도되어 있지 않는 전술한 예시적인 실시예들을 참조할 때, 많은 추가의 수정들 및 변형들이 본 기술분야의 통상의 기술자에게 안출될 것이다. 특히, 상이한 실시예들로부터의 상이한 특징들이, 적절한 경우, 상호교환될 수 있다.

Claims (18)

  1. 적어도 2개의 차원들(two dimensions)(2D)을 갖는 행렬을 재구성하기 위한 데이터를 수송하는 신호(signal transporting data)를 인코딩하는 컴퓨터 구현 방법으로서, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 방법은:
    - 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
    - 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관(association)에 의해 상기 행렬에서의 비-널 요소(non-null element)의 위치가 주어짐 -,
    - 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -
    을 인코딩하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제3 파라미터는 데이터 파일에 저장된 상기 행렬의 요소들의 값들을 가리키는 포인터(pointer)인, 방법.
  3. 제1항에 있어서, 상기 제1, 제2, 및 제3 파라미터 세트들로부터 상기 행렬을 재구성하는 데 사용되도록 의도된 제4 파라미터 세트를 인코딩하는 단계를 추가로 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 행렬은 4개의 차원들(four dimensions)(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선(ray of light)을 표현하며, 상기 방법은:
    - 상기 행렬의 상기 제1 차원의 상기 식별자 및 상기 제1 차원에서의 상기 제1 인덱스를 포함하는 상기 제1 파라미터,
    - 상기 행렬의 상기 제2 차원의 상기 식별자 및 상기 제2 차원에서의 상기 제2 인덱스를 포함하는 상기 제2 파라미터,
    - 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
    - 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 상기 센서의 픽셀에 의해 감지된 광선을 표현함 -, 및
    - 복수의 제3 파라미터들 - 각각의 제3 파라미터는 상기 행렬의 요소에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 상기 광선에 대응하는 상기 광학 디바이스의 상기 센서의 상기 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현함 -
    을 인코딩하는 단계를 포함하는, 방법.
  5. 제4항에 있어서, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관으로부터 상기 광선들을 재구성하는 데 사용되도록 의도된 제7 파라미터 세트를 인코딩하는 단계를 추가로 포함하는, 방법.
  6. 제4항에 있어서, 상기 제3 파라미터들은, 컬러 데이터를 표현하고 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는, 상기 행렬의 상기 연관된 요소들이 인코딩되는 순서로 배열되는, 방법.
  7. 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 데이터를 수송하는 신호를 인코딩하기 위한 디바이스로서, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 디바이스는:
    - 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
    - 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
    - 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -
    을 인코딩하도록 구성되는 프로세서를 포함하는, 디바이스.
  8. 제7항에 있어서, 상기 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 상기 프로세서는:
    - 상기 행렬의 상기 제1 차원의 상기 식별자 및 상기 제1 차원에서의 상기 제1 인덱스를 포함하는 상기 제1 파라미터,
    - 상기 행렬의 상기 제2 차원의 상기 식별자 및 상기 제2 차원에서의 상기 제2 인덱스를 포함하는 상기 제2 파라미터,
    - 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
    - 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 상기 센서의 픽셀에 의해 감지된 광선을 표현함 -, 및
    - 복수의 제3 파라미터들 - 각각의 제3 파라미터는 상기 행렬의 요소에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 상기 광선에 대응하는 상기 광학 디바이스의 상기 센서의 상기 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현함 -
    을 인코딩하도록 추가로 구성되는, 디바이스.
  9. 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 컴퓨터 구현 방법으로서, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 방법은:
    - 신호를 디코딩하는 단계 - 상기 신호는
    Figure pat00049
    상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
    Figure pat00050
    복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
    Figure pat00051
    복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -,
    Figure pat00052
    상기 제1, 제2, 및 제3 파라미터 세트들로부터 상기 행렬을 재구성하는 데 사용되도록 의도된 제4 파라미터 세트를 포함함 -, 및
    - 상기 디코딩된 제1 파라미터 세트, 상기 디코딩된 제2 파라미터 세트, 상기 디코딩된 제3 파라미터 세트 및 상기 디코딩된 제4 파라미터 세트에 기초하여 상기 행렬을 재구성하는 단계
    를 포함하는, 방법.
  10. 제9항에 있어서, 상기 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 디코딩될 상기 신호는:
    - 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
    - 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 상기 센서의 픽셀에 의해 감지된 광선을 표현함 -,
    - 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 상기 센서의 상기 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 상기 제3 파라미터들
    을 추가로 포함하는, 방법.
  11. 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 디바이스로서, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 디바이스는:
    - 신호를 디코딩하고 - 상기 신호는
    Figure pat00053
    상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
    Figure pat00054
    복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
    Figure pat00055
    복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -,
    Figure pat00056
    상기 제1, 제2, 및 제3 파라미터 세트들로부터 상기 행렬을 재구성하는 데 사용되도록 의도된 제4 파라미터 세트를 포함함 -,
    - 상기 디코딩된 제1 파라미터 세트, 상기 디코딩된 제2 파라미터 세트, 상기 디코딩된 제3 파라미터 세트 및 상기 디코딩된 제4 파라미터 세트에 기초하여 상기 행렬을 재구성
    하도록 구성되는 프로세서를 포함하는, 디바이스.
  12. 제11항에 있어서, 상기 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 상기 프로세서는:
    - 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
    - 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 상기 센서의 픽셀에 의해 감지된 광선을 표현함 -,
    - 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 상기 센서의 상기 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 상기 제3 파라미터들
    을 디코딩하도록 추가로 구성되는, 디바이스.
  13. 적어도 2개의 차원들(2D)을 갖는 행렬을 재구성하기 위한 데이터를 수송하는 신호로서, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 신호는 인코딩 디바이스에 의해 전송되고 적어도 메시지를 포함하며, 상기 메시지는:
    - 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
    - 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
    - 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 -
    을 포함하는, 신호.
  14. 제13항에 있어서, 상기 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 상기 메시지는:
    - 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
    - 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 상기 센서의 픽셀에 의해 감지된 광선을 표현함 -,
    - 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 상기 센서의 상기 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 상기 제3 파라미터들
    을 추가로 포함하는, 신호.
  15. 적어도 2개의 차원들(2D)을 갖는 행렬을 나타내는 데이터를 포함하는 디지털 파일로서, 상기 행렬에서의 요소의 위치는 상기 행렬의 각각의 차원에서의 인덱스에 의해 주어지며, 상기 데이터는:
    - 상기 행렬의 제1 차원의 식별자 및 상기 제1 차원에서의 제1 인덱스를 포함하는 적어도 제1 파라미터,
    - 복수의 제2 파라미터들 - 각각의 제2 파라미터는 상기 행렬의 제2 차원의 식별자 및 상기 제2 차원에서의 제2 인덱스를 포함하고, 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 연관에 의해 상기 행렬에서의 비-널 요소의 위치가 주어짐 -,
    - 복수의 제3 파라미터들 - 각각의 제3 파라미터는, 상기 행렬에서의 위치가 상기 제1 파라미터와 상기 제2 파라미터들 중 하나의 제2 파라미터의 상기 연관에 의해 주어지는, 비-널 요소의 값에 연관됨 - 을 포함하는, 디지털 파일.
  16. 제15항에 있어서, 상기 행렬은 4개의 차원들(4D)을 가지며, 상기 행렬의 비-널 요소는 광학 디바이스의 센서의 픽셀에 의해 감지된 광선을 표현하며, 상기 데이터는:
    - 상기 행렬의 제3 차원의 식별자 및 상기 제3 차원에서의 제3 인덱스를 포함하는 제5 파라미터,
    - 복수의 제6 파라미터들 - 각각의 제6 파라미터는 상기 행렬의 제4 차원의 식별자 및 상기 제4 차원에서의 제4 인덱스를 포함하고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 연관은 상기 광학 디바이스의 상기 센서의 픽셀에 의해 감지된 광선을 표현함 -,
    - 상기 행렬의 요소들에 연관되고, 상기 제1 파라미터, 제2 파라미터, 제5 파라미터와 상기 제6 파라미터들 중 하나의 제6 파라미터의 상기 연관에 의해 표현되는 광선들에 대응하는 상기 광학 디바이스의 상기 센서의 상기 픽셀에 의해 감지된, 장면의 객체의, 컬러 데이터를 표현하는, 상기 제3 파라미터들
    을 추가로 포함하는, 디지털 파일.
  17. 컴퓨터 프로그램으로서, 상기 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제6항 중 어느 한 항에 따른 방법의 구현을 위한 프로그램 코드 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  18. 컴퓨터 프로그램으로서, 상기 프로그램이 프로세서에 의해 실행될 때 제9항 또는 제10항에 따른 방법의 구현을 위한 프로그램 코드 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020170167674A 2016-12-12 2017-12-07 희소 행렬을 재구성하기 위한 신호 수송 데이터를 인코딩하는 방법 및 장치 KR20180067426A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306664.0A EP3333720A1 (en) 2016-12-12 2016-12-12 A method and an apparatus for encoding a signal transporting data for reconstructing a sparse matrix
EP16306664.0 2016-12-12

Publications (1)

Publication Number Publication Date
KR20180067426A true KR20180067426A (ko) 2018-06-20

Family

ID=57629536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167674A KR20180067426A (ko) 2016-12-12 2017-12-07 희소 행렬을 재구성하기 위한 신호 수송 데이터를 인코딩하는 방법 및 장치

Country Status (5)

Country Link
US (1) US20180165251A1 (ko)
EP (2) EP3333720A1 (ko)
JP (1) JP2018109958A (ko)
KR (1) KR20180067426A (ko)
CN (1) CN108234863A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220018199A (ko) * 2020-08-06 2022-02-15 한국과학기술원 희소성 데이터를 이용하는 연산 장치 및 그것의 동작 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919826B (zh) * 2019-02-02 2023-02-17 西安邮电大学 一种用于图计算加速器的图数据压缩方法及图计算加速器
CN110647508B (zh) * 2019-08-30 2022-07-01 北京达佳互联信息技术有限公司 数据压缩方法、数据解压缩方法、装置及电子设备
CN111093166B (zh) * 2019-12-06 2022-07-19 北京京航计算通讯研究所 在物联网中使用稀疏测量矩阵的压缩数据收集系统
CN113965758B (zh) * 2021-10-21 2024-02-27 上海师范大学 基于分块低秩近似的光场图像编码方法、设备及存储介质
CN116389887A (zh) * 2023-04-07 2023-07-04 北京拙河科技有限公司 一种基于动态优化的光场相机配置方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146032A1 (en) * 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220018199A (ko) * 2020-08-06 2022-02-15 한국과학기술원 희소성 데이터를 이용하는 연산 장치 및 그것의 동작 방법

Also Published As

Publication number Publication date
EP3333720A1 (en) 2018-06-13
EP3333721A1 (en) 2018-06-13
US20180165251A1 (en) 2018-06-14
JP2018109958A (ja) 2018-07-12
CN108234863A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
KR20180067426A (ko) 희소 행렬을 재구성하기 위한 신호 수송 데이터를 인코딩하는 방법 및 장치
US20200050965A1 (en) System and method for capture and adaptive data generation for training for machine vision
US9311756B2 (en) Image group processing and visualization
CN106256124B (zh) 结构化立体
US20190096092A1 (en) Method and device for calibration
US20160232420A1 (en) Method and apparatus for processing signal data
WO2017046372A1 (en) Light field data representation
CN108604372B (zh) 用于生成表示像素束的数据的方法和装置
CN110517209A (zh) 数据处理方法、装置、系统以及计算机可读存储介质
CN116157756A (zh) 使用摄影测量的数字孪生多维模型记录
US10783710B2 (en) Configuration of navigational controls in geometric environment
CN112785634A (zh) 计算机装置与合成深度图产生方法
JP6832919B2 (ja) ピクセルビームを表すデータを生成する装置および方法
CN110288691B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
US20170213383A1 (en) Displaying Geographic Data on an Image Taken at an Oblique Angle
CN113704374B (zh) 空间飞行器轨迹拟合方法、装置及终端
EP3398160A1 (en) A method and an apparatus for generating data representative of a pixel beam
CN116681818B (zh) 新视角重建方法、新视角重建网络的训练方法及装置
WO2024027364A1 (zh) 基于多域时空数据的场景结构动态估计方法、设备及存储介质
CN116503483A (zh) 姿态标定方法、装置、设备、存储介质及计算机程序产品
CN118015076A (zh) 机器人3d点云深度补全方法及相关设备
EP3671628A1 (en) A method and a device for obtaining data representative of a scene from a plurality of three-dimensional (3d) points representing said scene
CN117496288A (zh) 三维解析模型的训练方法、虚拟图像创建方法及装置
JP2022182120A (ja) 映像生成装置、映像処理システム、映像生成装置の制御方法及びプログラム
CN116777968A (zh) 单目深度估计方法、模型训练方法、装置和计算机设备