KR20210119476A - 이미지 특성 픽셀 구조의 생성 및 처리 - Google Patents

이미지 특성 픽셀 구조의 생성 및 처리 Download PDF

Info

Publication number
KR20210119476A
KR20210119476A KR1020217026773A KR20217026773A KR20210119476A KR 20210119476 A KR20210119476 A KR 20210119476A KR 1020217026773 A KR1020217026773 A KR 1020217026773A KR 20217026773 A KR20217026773 A KR 20217026773A KR 20210119476 A KR20210119476 A KR 20210119476A
Authority
KR
South Korea
Prior art keywords
pixel structure
image characteristic
characteristic pixel
region
boundary
Prior art date
Application number
KR1020217026773A
Other languages
English (en)
Inventor
빌헬뮈스 헨드리쿠스 알폰수스 브룰스
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20210119476A publication Critical patent/KR20210119476A/ko

Links

Images

Classifications

    • G06T3/0043—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 이미지 신호를 생성하거나 처리하기 위한 장치에 관한 것이다. 제1 이미지 특성 픽셀 구조는 뷰포인트에 대한 뷰 구의 표면을 나타내는 2차원 비-직사각형 픽셀 구조이다. 제2 이미지 특성 픽셀 구조는 2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖도록 프로세서(305)에 의해 생성된다. 제1 경계 영역은 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이다. 이미지 신호는 제2 이미지 특성 픽셀 구조를 포함하도록 생성되고, 이미지 신호는 제1 이미지 특성 픽셀 구조를 복구하도록 수신기에 의해 처리될 수 있다.

Description

이미지 특성 픽셀 구조의 생성 및 처리
본 발명은 이미지 특성 픽셀 구조를 생성하고/하거나 처리하기 위한 장치 및 방법에 관한 것이며, 특히, 그러나 비배타적으로, 장면(scene)에 대한 깊이(depth) 또는 광 강도(light intensity)를 나타내는 직사각형 픽셀 구조의 생성 및/또는 처리에 관한 것이다.
이미지 및 비디오 애플리케이션들의 다양성 및 범위는 최근 수년간 대폭적으로 증가했으며, 비디오를 이용하고 소비하는 새로운 서비스들 및 방식들이 계속해서 개발되고 도입되고 있다.
예를 들어, 점점 더 인기가 있는 하나의 서비스는 관찰자(viewer)가 렌더링의 파라미터들을 변경하기 위해 시스템과 능동적으로 그리고 동적으로 상호작용할 수 있는 방식으로 이미지 시퀀스들을 제공하는 것이다. 많은 애플리케이션에서의 매우 매력적인 특징은, 예를 들어 관찰자가 제시되는 장면(scene)에서 움직이고 "둘러보는" 것을 가능하게 하는 것과 같은, 관찰자의 유효 관찰 위치 및 관찰 방향을 변경하는 능력이다.
그러한 특징은 구체적으로 가상 현실 경험이 사용자에게 제공될 수 있게 할 수 있다. 이것은 사용자가 예를 들어 가상 환경에서 (비교적) 자유롭게 돌아다니고 그의 위치 및 그가 보고 있는 곳을 동적으로 변경하는 것을 가능하게 할 수 있다. 전형적으로, 그러한 가상 현실 애플리케이션들은 장면의 3차원 모델에 기초하며, 이러한 모델은 특정한 요청된 뷰(view)를 제공하기 위해 동적으로 평가된다. 이러한 접근법은, 컴퓨터들 및 콘솔들에 대해, 예컨대 1인칭 슈터들의 카테고리에서, 예를 들어 게임 애플리케이션들로부터 잘 알려져 있다.
특히 가상 현실 애플리케이션들에 대해, 제시되는 이미지가 3차원 이미지인 것이 또한 바람직하다. 실제로, 관찰자의 몰입을 최적화하기 위해, 사용자가 제시된 장면을 3차원 장면으로서 경험하는 것이 전형적으로 바람직하다. 실제로, 가상 현실 경험은 바람직하게는 사용자가 가상 세계에 대한 그/그녀 자신의 위치, 카메라 뷰포인트(camera viewpoint), 및 시간적 순간을 선택할 수 있게 하여야 한다.
전형적으로, 가상 현실 애플리케이션들은 그들이 장면의 미리 결정된 모델에, 그리고 전형적으로 가상 세계의 인공 모델에 기초한다는 점에서 본질적으로 제한된다. 가상 현실 경험이 현실 세계 캡처에 기초하여 제공되는 것이 종종 바람직하다. 그러나, 많은 경우에 그러한 접근법은 제한되거나, 현실 세계의 가상 모델이 현실 세계 캡처들로부터 구축될 것을 요구하는 경향이 있다. 이어서 이러한 모델을 평가함으로써 가상 현실 경험이 생성된다.
그러나, 현재의 접근법들은 최적이 아닌 경향이 있고, 종종 높은 계산 또는 통신 리소스 요건을 갖고/갖거나 예컨대 감소된 품질 또는 제한된 자유를 가진 최적이 아닌 사용자 경험을 제공하는 경향이 있다.
많은, 예컨대, 가상 현실 애플리케이션들에서, 장면은 이미지 표현에 의해, 이를테면 예를 들어 장면에 대한 특정 뷰 포즈들을 나타내는 하나 이상의 이미지에 의해 나타내어질 수 있다. 몇몇 경우에, 그러한 이미지들은 장면의 광각 뷰를 제공할 수 있고, 예컨대 완전한 360° 뷰를 커버하거나 완전한 뷰 구(view sphere)를 커버할 수 있다.
많은 애플리케이션들에서, 그리고 구체적으로 가상 현실 애플리케이션들에 대해, 이미지 데이터 스트림이 장면을 나타내는 데이터로부터 생성되어, 이미지 데이터 스트림은 장면 내의 사용자의 (가상) 위치를 반영한다. 그러한 이미지 데이터 스트림은 전형적으로 동적으로 그리고 실시간으로 생성되어, 그것은 가상 장면 내의 사용자의 움직임을 반영한다. 이미지 데이터 스트림은 렌더러에 제공될 수 있으며, 이 렌더러는 이미지 데이터 스트림의 이미지 데이터로부터 이미지들을 사용자에게 렌더링한다. 많은 애플리케이션들에서, 렌더러에의 이미지 데이터 스트림의 제공은 대역폭 제한 통신 링크를 통해 이루어진다. 예를 들어, 이미지 데이터 스트림은 원격 서버에 의해 생성되고 예컨대 통신 네트워크를 통해 렌더링 디바이스로 전송될 수 있다. 그러나, 대부분의 그러한 애플리케이션들에 대해, 효율적인 통신을 가능하게 하기 위해 합당한 데이터 레이트를 유지하는 것이 중요하다.
장면의 완전한 360° 뷰가 주어진 관찰자 위치에 대해 서버에 의해 제공되어서 클라이언트가 상이한 방향들에 대한 뷰들을 생성할 수 있게 하는, 360° 비디오 스트리밍에 기초한 가상 현실 경험을 제공하는 것이 제안되었다. 구체적으로, 가상 현실(VR)의 유망한 애플리케이션들 중 하나는 전방향 비디오(예컨대, VR360 또는 VR180)이다. 이 접근법은 높은 데이터 레이트를 야기하는 경향이 있으며, 따라서 완전한 360° 뷰 구가 제공되는 뷰 포인트들의 수가 전형적으로 낮은 수로 제한된다.
구체적인 예로서, 가상 현실 안경이 시장에 진입했다. 이러한 안경은 관찰자들이 캡처된 360도 (파노라마) 비디오를 경험할 수 있게 한다. 이러한 360도 비디오들은 종종 카메라 리그(camera rig)들을 사용하여 미리 캡처되며 여기서 개별 이미지들은 단일 구 매핑으로 함께 스티칭(stitching)된다. 몇몇 그러한 실시예들에서, 주어진 뷰포인트로부터의 완전한 구 뷰를 나타내는 이미지들이 생성되고, 사용자의 현재 뷰에 대응하는 안경에 대한 이미지들을 생성하도록 배열된 드라이버로 전송될 수 있다.
많은 애플리케이션들에서, 장면은 아마도 연관된 깊이를 갖는 단일 뷰 구 이미지에 의해 나타내어질 수 있다. 이어서 현재 관찰자 포즈에 대한 적절한 이미지들이 완전한 이미지의 적절한 부분들을 선택함으로써 생성될 수 있다. 또한, 관찰자의 위치에 있어서의 충분히 작은 변화들에 대해, 깊이 정보가 뷰 시프팅(view shifting) 알고리즘들 및 기법들을 사용하여 대응하는 이미지들을 생성하는 데 사용될 수 있다.
그러한 시스템들 및 애플리케이션들에 대한 중대한 고려 사항은 이미지 포맷 및 큰 뷰들을 효과적으로 나타내는 방법이다. 예를 들어, 상당히 높은 해상도에 의해 나타내어지는 완전한 구 뷰는 높은 데이터 요구를 유발한다.
완전한(또는 부분적인) 구 정보가 바람직하게는 낮게 유지되는(흔히 데이터가 단지 몇 개, 또는 심지어 단지 하나의 뷰포인트만을 제공함) 뷰 포인트들의 수 때문에, 품질 저하들 전에 흔히 비교적 제한되기는 하지만 최적 포즈로부터의 포즈에 있어서의 변화들이 눈에 보이게 된다. 이 접근법에 대한 특히 매력적인 애플리케이션은 작은 포즈 변화들은 지원되는 반면 더 큰 변화들은 지원되지 않는, 몰입형 비디오와 같은, 애플리케이션이다. 예를 들어, 사용자에게 장면을 제시하며, 올바른 스테레오 큐(stereo cue)들(예컨대, 시차)이 그의 머리를 회전시키거나 작은 머리 움직임을 만드는 사용자에게는 제공되지만 실질적으로 위치를 이동시키는 사용자에게는 제공되지 않는 비디오 서비스가 제공될 수 있다. 그러한 애플리케이션은 많은 상황들에서 매우 유리한 사용자 경험을 제공할 수 있지만, 그런데도 (장면 내의 자유 이동이 지원되어야 하는 경우와 비교해) 상대적으로 적은 양의 데이터가 제공되는 것에 기초할 수 있다. 특정 예로서, 그것은 관찰자가 이벤트에서 의자에 앉아 있는 관중인 경험과 비슷한 경험을 가질 수 있는 경우에도 매우 몰입적인 스포츠 경험을 제공할 수 있다.
그러한 이미지 또는 비디오 데이터에 기초한 시스템들에 대한 매우 중요한 문제는 주어진 뷰 포인트로부터의 뷰 데이터의 효율적인 표현을 제공하는 방법, 및 구체적으로 뷰 구들이 어떻게 표현되는지이다.
그러한 뷰 구들을 표현하는 데 사용되는 하나의 일반적인 포맷은 큐브 맵 포맷(cube map format)으로 알려져 있다(예컨대, https://en.wikipedia.org/wiki/Cube_mapping 참조). 이러한 포맷에서 6개의 이미지가 뷰 위치 주위에 큐브를 형성한다. 이어서 뷰 구가 큐브의 면들에 투영되며, 각각의 면은 이어서 평평한 그리고 정사각형의 (부분) 이미지를 제공한다. 다른 일반적인 포맷은 ERP 포맷으로 알려져 있으며, 여기서 뷰 구의 표면이 등장방형 투영(equirectangular projection)을 사용해 직사각형 이미지에 투영된다(예컨대, https://en.wikipedia.org/wiki/Equirectangular_projection 참조).
그러나, 이러한 포맷들의 불리한 점은 그들이 상대적으로 비효율적인 경향이 있으며 상대적으로 많은 양의 데이터가 표현될 것을 요구한다는 것이다. 예를 들어, 뷰 구가 균일한 해상도를 갖는 픽셀들로 분할되고 동일한 해상도가 ERP/큐브 맵 포맷 표현들에 대한 최소 해상도로 고려되는 경우, 이들은 구에 대해 요구되는 것보다 50% 더 많은 픽셀들을 요구할 것이다. 이에 따라, 요구되는 픽셀들의 수에 있어서의 상당한 증가가 발생한다. 현재 사용되는 포맷들은 요구되는 데이터 레이트/용량, 복잡성 등의 면에서 최적이 아닌 경향이 있으며, 이러한 포맷들을 사용하는 최적이 아닌 시스템들로 이어지는 경향이 있다.
따라서, 개선된 접근법이 유리할 것이다. 특히, 개선된 동작, 증가된 유연성, 개선된 가상 현실 경험, 감소된 데이터 레이트, 증가된 효율성, 용이한 분산, 감소된 복잡성, 용이한 구현, 감소된 저장 요건, 증가된 화질, 및/또는 개선된 성능 및/또는 동작을 가능하게 하는 시스템 및/또는 이미지 특성 포맷이 유리할 것이다.
따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.
본 발명의 태양에 따르면, 뷰포인트로부터의 장면의 특성을 나타내는 이미지 특성 픽셀 구조를 생성하기 위한 장치가 제공되며, 장치는 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조인 제1 이미지 특성 픽셀 구조를 제공하는 제1 프로세서; 및 2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 생성하기 위한 제2 프로세서로서, 제1 경계 영역은 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 제2 이미지 특성 픽셀 구조의 중심 영역과 중첩되지 않으며, 제1 이미지 특성 픽셀 구조의 중심 영역은 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 제1 이미지 특성 픽셀 구조의 제1 경계 영역은 상부 수평선 및 하부 수평선 중 적어도 하나보다 더 주변에 있는, 상기 제2 프로세서를 포함한다.
본 발명은 장면의 개선된 표현을 제공할 수 있다. 많은 실시예들에서, 장면의 더 효율적인 표현이 제공될 수 있어, 예컨대 주어진 품질이 감소된 데이터 레이트에 의해 달성될 수 있게 할 수 있다. 이 접근법은 직사각형 이미지들을 위해 설계된 많은 종래의 프로세스들, 동작들, 및 알고리즘들에 의한 처리에 적합한 개선된 직사각형 이미지 특성 픽셀 구조를 제공할 수 있다. 구체적으로, 제2 이미지 특성 픽셀 구조는 많은 표준화된 비디오 또는 이미지 인코딩 알고리즘들을 포함한, 많은 공지된 인코딩 알고리즘들을 사용하는 인코딩에 적합할 수 있다.
이 접근법은 많은 실시예들에서 유연하고, 효율적이고, 높은 성능의 가상 현실(VR) 애플리케이션들에 적합한 장면의 이미지 특성 픽셀 표현을 제공할 수 있다. 많은 실시예들에서, 그것은 화질과 데이터 레이트 사이의 상당히 개선된 트레이드-오프를 갖는 VR 애플리케이션을 허용하거나 가능하게 할 수 있다. 많은 실시예들에서, 그것은 개선된 인지 화질 및/또는 감소된 데이터 레이트를 허용할 수 있다.
이 접근법은, 예를 들어, 수신단에서 움직임 및 머리 회전에 대한 적응을 지원하는 브로드캐스트 비디오 서비스들에 특히 적합할 수 있다.
주어진 뷰포인트에 대한 뷰 구 상의 포인트(픽셀)는 뷰 구에서 기원을 갖고 그 포인트에서 뷰 구와 교차하는 광선의 방향에서의 제1 조우 장면 객체의 이미지 특성(전형적으로, 광 강도, 깊이, 투명도)의 값을 반영하는 값을 가질 수 있다. 원칙적으로 이것은 포인트가 확장을 갖지 않기 때문에 뷰 구의 크기와는 독립적이라는 것이 인식될 것이다. 또한, 픽셀화된 뷰 구에 대해, 픽셀 값들은 픽셀들의 크기에만 의존하고, 이에 따라 균일한 해상도에 대해 그것은 뷰 구가 분할되는 픽셀들의 수에만 의존하며 뷰 구 자체의 크기에는 의존하지 않는다.
이미지 특성 픽셀 구조는 많은 실시예들에서 형상을 충전하는 픽셀들의 규칙적인 그리드일 수 있으며, 각각의 픽셀은 이미지 특성에 대한 값을 나타낸다. 제1 이미지 특성 픽셀 구조에 대한 형상은 비/직사각형이고, 제2 이미지 특성 픽셀 구조에 대한 형상은 직사각형이다.
이미지 특성 픽셀 구조는 구체적으로 예를 들어 광 강도 이미지(light intensity image), 깊이 맵(depth map), 및/또는 투명도 맵(transparency map)과 같은 이미지 또는 맵일 수 있다. 이미지 특성은 깊이 특성, 투명도 특성, 또는 광 강도 특성(이를테면 예를 들어 컬러 채널 값)일 수 있다.
제1 이미지 특성 픽셀 구조는 평면에의 표면의 적어도 일부의 등면적 투영일 수 있다. 등면적 투영은 뷰 구의 표면과 표면이 투영되는 평면 사이의, 픽셀 면적들과 같은, 영역들의 면적들의 비율들을 유지하는 투영일 수 있다.
제1 이미지 특성 픽셀 구조는 표면의 적어도 일부의 시뉴소이드 투영(sinusoidal projection)일 수 있다.
제2 프로세서는 제1 이미지 특성 픽셀 구조와 제2 이미지 특성 픽셀 구조 사이에 픽셀 위치 매핑을 적용함으로써 제2 이미지 특성 픽셀 구조를 생성하도록 배열될 수 있다. 매핑은 중심 영역 및 경계 영역들(경계 영역들 각각)에 대해 상이할 수 있다.
본 발명의 선택적인 특징에 따르면, 제1 이미지 특성 픽셀 구조는 표면의 적어도 일부에 대해 균일한 해상도를 갖는다.
이것은 많은 실시예들에서 유리한 표현 및 동작을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 이미지 특성 픽셀 구조의 중심 영역과 제1 경계 영역은 중첩되지 않는다.
이것은 많은 실시예들에서 유리한 표현 및 동작을 제공할 수 있다. 그것은 많은 실시예들에서 특히 효율적인 표현을 가능하게 하고 구체적으로 주어진 품질에 대한 요구되는 데이터 레이트를 감소시킬 수 있다.
제1 이미지 특성 픽셀 구조의 각각의 픽셀은 중심 영역 및 경계 영역(들) 중 하나의 영역에만 속할 수 있다. 제2 이미지 특성 픽셀 구조의 각각의 픽셀은 중심 영역 및 모서리 영역(들) 중 하나의 영역에만 속할 수 있다.
본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제1 이미지 특성 픽셀 구조의 제2 경계 영역으로부터 도출된 제2 모서리 영역을 갖도록 제2 이미지 특성 픽셀 구조를 생성하도록 배열되며, 제2 모서리 영역은 제2 이미지 특성 픽셀 구조의 중심 영역과 중첩되지 않고, 제2 경계 영역은 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 제1 경계 영역과 제2 경계 영역은 제1 이미지 특성 픽셀 구조의 가상 수직선의 상이한 측들에 있다.
이것은 많은 실시예들에서 유리한 표현 및 동작을 제공할 수 있다. 그것은 많은 실시예들에서 특히 효율적인 표현을 가능하게 하고 구체적으로 주어진 품질에 대한 요구되는 데이터 레이트를 감소시킬 수 있다. 가상 수직선은 제1 이미지 특성 픽셀 구조에 오버레이된 임의의 수직선일 수 있다. 가상 수직선은 제1 이미지 특성 픽셀 구조를 좌측 영역 및 우측 영역으로 분할하는 임의의 수직선일 수 있다.
가상 수직선은 중심선일 수 있다
본 발명의 선택적인 특징에 따르면, 가상 수직선은 제1 경계 영역과 제2 경계 영역을 분리하고, 제1 경계 영역과 제2 경계 영역은 가상 수직선을 중심으로 미러 대칭(mirror symmetric)이다.
이것은 많은 실시예들에서 특히 유리할 수 있다.
본 발명의 선택적인 특징에 따르면, 제1 경계 영역으로부터 제2 경계 영역으로의 수평 방향은 제1 모서리 영역으로부터 제2 모서리 영역으로의 수평 방향과 반대이다.
이것은 많은 실시예들에서 특히 유리할 수 있다. 그것은 많은 실시예들에서 모서리 영역들 내에 위치될 때 중심 영역들과 경계 영역들 사이의 개선된 그리고/또는 더 밀접한 맞춤을 제공할 수 있다. 제1 경계 영역으로부터 제2 경계 영역으로의 수평 방향이 좌측으로부터 우측으로인 경우, 제1 모서리 영역으로부터 제2 모서리 영역으로의 수평 방향은 우측으로부터 좌측으로일 수 있으며, 그 반대도 마찬가지이다.
본 발명의 선택적인 특징에 따르면, 제1 모서리 영역은 제1 경계 영역의 반대편 경계에 근접한다.
이것은 많은 실시예들에서 특히 유리할 수 있다. 많은 실시예들에서, 제1 경계 영역이 제1 이미지 특성 픽셀 구조의 상부 경계에 더 가까운 경우(즉, 그것이 상부 반부에 있음), 제1 모서리 영역은 제2 이미지 특성 픽셀 구조의 하부 경계에 더 가까울 것이며(즉, 그것은 하부 반부에 있음), 그 반대도 마찬가지이다.
몇몇 실시예들에서, 제1 수직 경계 영역에 대한 수평 픽셀 순서는 제1 모서리 영역에 대한 수평 픽셀 순서와 반대이다.
본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제2 이미지 특성 픽셀 구조의 제1 모서리 영역 및 중심 영역 중 적어도 하나의 픽셀들을 제1 모서리 영역 및 중심 영역 중 적어도 하나에 근접한 제2 이미지 특성 픽셀 구조의 비충전된 영역에 외삽하도록 배열된다.
이것은 많은 실시예들에서 더 효율적인 표현을 제공할 수 있고, 구체적으로 제2 이미지 특성 픽셀 구조를 인코딩할 때 인코딩 효율을 개선할 수 있다.
본 발명의 선택적인 특징에 따르면, 제2 프로세서는 제1 경계 영역의 픽셀 값들의 시프팅(shifting), 병진, 미러링(mirroring) 및 회전 중 적어도 하나에 의해 제1 모서리 영역의 픽셀 값들을 결정하도록 배열된다.
이것은 많은 실시예들에서 특히 유리할 수 있다.
본 발명의 선택적인 특징에 따르면, 제1 프로세서는 등장방형 투영에 의해 표면의 적어도 일부를 나타내는 직사각형 이미지 특성 픽셀 구조의 워핑(warping)에 의해 제1 이미지 특성 픽셀 구조를 생성하도록 배열된다.
이것은 많은 실시예들에서 특히 유리할 수 있다.
본 발명의 태양에 따르면, 출력 이미지 특성 픽셀 구조를 생성하기 위한 장치가 제공되며, 장치는 2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 포함하는 이미지 신호를 수신하기 위한 수신기로서, 제1 이미지 특성 픽셀 구조는 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조이고, 제1 경계 영역은 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 제2 이미지 특성 픽셀 구조의 중심 영역과 중첩되지 않고, 제1 이미지 특성 픽셀 구조의 중심 영역은 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 제1 이미지 특성 픽셀 구조의 제1 경계 영역은 상부 수평선 및 하부 수평선 중 적어도 하나보다 더 주변에 있는, 상기 수신기, 및 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 비-직사각형 출력 이미지 특성 픽셀 구조를 생성하기 위한 프로세서로서, 비-직사각형 출력 이미지 특성 픽셀 구조는 제2 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제2 이미지 특성 픽셀 구조의 제1 모서리 영역으로부터 도출된 출력 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역인 경계 영역을 갖는, 상기 프로세서를 포함한다.
본 발명의 태양에 따르면, 뷰포인트로부터의 장면의 특성을 나타내는 이미지 특성 픽셀 구조를 생성하는 방법이 제공되며, 방법은 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조인 제1 이미지 특성 픽셀 구조를 제공하는 단계; 및 2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 생성하는 단계로서, 제1 경계 영역은 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 제2 이미지 특성 픽셀 구조의 중심 영역과 중첩되지 않으며, 제1 이미지 특성 픽셀 구조의 중심 영역은 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 제1 이미지 특성 픽셀 구조의 제1 경계 영역은 상부 수평선 및 하부 수평선 중 적어도 하나보다 더 주변에 있는, 상기 제2 이미지 특성 픽셀 구조를 생성하는 단계를 포함한다.
본 발명의 태양에 따르면, 출력 이미지 특성 픽셀 구조를 생성하기 위한 방법이 제공되며, 방법은 2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 포함하는 이미지 신호를 수신하는 단계로서, 제1 이미지 특성 픽셀 구조는 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조이고, 제1 경계 영역은 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 제2 이미지 특성 픽셀 구조의 중심 영역과 중첩되지 않고, 제1 이미지 특성 픽셀 구조의 중심 영역은 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 제1 이미지 특성 픽셀 구조의 제1 경계 영역은 상부 수평선 및 하부 수평선 중 적어도 하나보다 더 주변에 있는, 상기 이미지 신호를 수신하는 단계, 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 비-직사각형 출력 이미지 특성 픽셀 구조를 생성하는 단계로서, 비-직사각형 출력 이미지 특성 픽셀 구조는 제2 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제2 이미지 특성 픽셀 구조의 제1 모서리 영역으로부터 도출된 출력 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역인 경계 영역을 갖는, 상기 비-직사각형 출력 이미지 특성 픽셀 구조를 생성하는 단계를 포함한다.
본 발명의 태양에 따르면, 이미지 신호로서, 이미지 신호는, 2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 포함하며, 제1 이미지 특성 픽셀 구조는 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조이고, 제1 경계 영역은 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 제2 이미지 특성 픽셀 구조의 중심 영역과 중첩되지 않는, 이미지 신호가 제공된다.
본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.
본 발명의 실시예가 도면을 참조하여 단지 예로서 설명될 것이다.
도 1은 가상 현실 경험을 제공하기 위한 배열의 예를 예시한다.
도 2는 뷰 구를 위한 구 이미지의 ERP 투영의 예를 예시한다.
도 3은 본 발명의 몇몇 실시예들에 따른 장치의 요소들의 예를 예시한다.
도 4는 뷰 구를 위한 구 이미지의 사인 투영의 예를 예시한다.
도 5는 본 발명의 몇몇 실시예들에 따른 뷰 구를 위한 구 이미지의 사인 투영으로부터 뷰 구를 나타내는 직사각형 이미지로의 매핑의 예를 예시한다.
도 6은 본 발명의 몇몇 실시예들에 따른 뷰 구를 위한 구 이미지의 사인 투영으로부터 뷰 구를 나타내는 직사각형 이미지로의 매핑의 예를 예시한다.
도 7은 본 발명의 몇몇 실시예들에 따른 뷰 구를 나타내는 직사각형 이미지의 예를 예시한다.
도 8은 본 발명의 몇몇 실시예들에 따른 뷰 구를 나타내는 직사각형 이미지의 예를 예시한다.
도 9는 본 발명의 몇몇 실시예들에 따른 2개의 뷰 구를 나타내는 직사각형 이미지의 예를 예시한다.
도 10은 본 발명의 몇몇 실시예들에 따른 장치의 요소들의 예를 예시한다.
사용자가 가상 세계에서 돌아다닐 수 있게 하는 가상 경험들은 점점 더 인기를 얻고 그러한 요구를 충족시키기 위해 서비스들이 개발되고 있다. 그러나, 특히 경험이 완전히 가상으로 생성된 인공 세계보다는 현실 세계 환경의 캡처에 기초해야 하는 경우, 효율적인 가상 현실 서비스들의 제공은 매우 어렵다.
많은 가상 현실 애플리케이션들에서, 장면 내의 가상 관찰자의 포즈를 반영하는 관찰자 포즈 입력이 결정된다. 이어서 가상 현실 장치/시스템/애플리케이션은 관찰자 포즈에 대응하는 관찰자에 대한 장면의 뷰들 및 뷰포트(viewport)들에 대응하는 하나 이상의 이미지들을 생성한다.
전형적으로, 가상 현실 애플리케이션은 좌안 및 우안에 대한 별개의 뷰 이미지들의 형태로 3차원 출력을 생성한다. 이어서 이들은, 전형적으로 VR 헤드셋의 개별 좌안 및 우안 디스플레이들과 같은, 적합한 수단에 의해 사용자에게 제시될 수 있다. 다른 실시예들에서, 이미지는 예컨대 무안경 입체 디스플레이(autostereoscopic display) 상에 제시될 수 있거나(이 경우에 더 많은 수의 뷰 이미지들이 관찰자 포즈에 대해 생성될 수 있음), 실제로 몇몇 실시예들에서 단지 하나의 2차원 이미지만이 생성될 수 있다(예컨대, 종래의 2차원 디스플레이를 이용하여).
관찰자 포즈 입력은 상이한 애플리케이션들에서 상이한 방식들로 결정될 수 있다. 많은 실시예들에서, 사용자의 물리적 움직임은 직접 추적될 수 있다. 예를 들어, 사용자 구역을 조사하는 카메라가 사용자의 머리(또는 심지어 눈들)를 검출하고 추적할 수 있다. 많은 실시예들에서, 사용자는 외부 및/또는 내부 수단에 의해 추적될 수 있는 VR 헤드셋을 착용할 수 있다. 예를 들어, 헤드셋은 헤드셋 및 그에 따라 머리의 움직임 및 회전에 관한 정보를 제공하는 가속도계 및 자이로스코프를 포함할 수 있다. 몇몇 예들에서, VR 헤드셋은 신호들을 전송하거나, 외부 센서가 VR 헤드셋의 움직임을 결정할 수 있게 하는 (예컨대, 시각적) 식별자들을 포함할 수 있다.
몇몇 시스템들에서, 관찰자 포즈는 수동 수단에 의해, 예를 들어 사용자가 조이스틱 또는 유사한 수동 입력을 수동으로 제어함으로써 제공될 수 있다. 예를 들어, 사용자는 제1 아날로그 조이스틱을 한 손으로 제어함으로써 장면에서 가상 관찰자를 수동으로 돌아다니게 하고, 제2 아날로그 조이스틱을 다른 손으로 수동으로 이동시킴으로써 가상 관찰자가 보고 있는 방향을 수동으로 제어할 수 있다.
몇몇 애플리케이션들에서 수동 접근법과 자동화된 접근법의 조합이 입력 관찰자 포즈를 생성하는 데 사용될 수 있다. 예를 들어, 헤드셋이 머리의 배향을 추적할 수 있고, 장면 내의 관찰자의 움직임/위치가 조이스틱을 사용하는 사용자에 의해 제어될 수 있다.
이미지들의 생성은 가상 세계/환경/장면의 적합한 표현에 기초한다. 몇몇 애플리케이션들에서, 완전한 3차원 모델이 장면에 대해 제공될 수 있고, 특정 관찰자 포즈로부터의 장면의 뷰들은 이 모델을 평가함으로써 결정될 수 있다. 다른 시스템들에서, 장면은 상이한 캡처 포즈들로부터 캡처된 뷰들에 대응하는 이미지 데이터에 의해 표현될 수 있다. 예를 들어, 하나 이상의 캡처 포즈들에 대해, 완전한 구 이미지가 3차원 (깊이 데이터)와 함께 저장될 수 있다. 그러한 접근법들에서, 캡처 포즈(들)와는 다른 포즈들에 대한 뷰 이미지들은 3차원 이미지 처리에 의해, 예컨대 구체적으로 뷰 시프팅 알고리즘을 사용하여 생성될 수 있다. 장면이 별개의 뷰 포인트들/위치들/포즈들에 대해 저장된 뷰 데이터에 의해 기술/참조되는 시스템들에서, 이들은 또한 앵커 뷰 포인트들/위치들/포즈들로 지칭될 수 있다. 전형적으로 현실 세계 환경이 상이한 포인트들/위치들/포즈들로부터 이미지들을 캡처함으로써 캡처되었을 때, 이러한 캡처 포인트들/위치들/포즈들은 또한 앵커 포인트들/위치들/포즈들이다.
따라서 전형적인 VR 애플리케이션은 현재 관찰자 포즈에 대한 장면에 대한 뷰포트들에 대응하는 (적어도) 이미지들을 제공하며, 이미지들은 관찰자 포즈에 있어서의 변화들을 반영하도록 동적으로 업데이트되고, 이미지들은 가상 장면/환경/세계를 표현하는 데이터에 기초하여 생성된다.
이 분야에서, 용어들 '배치'와 '포즈'는 위치 및/또는 방향/배향에 대한 공통 용어로서 사용된다. 예컨대 객체, 카메라, 머리, 또는 뷰의 위치와 방향/배향의 조합은 포즈 또는 배치로 지칭될 수 있다. 따라서, 배치 또는 포즈 표시는 6개의 값/성분/자유도를 포함할 수 있으며, 각각의 값/성분은 전형적으로 대응하는 객체의 위치/로케이션 또는 배향/방향의 개별 특성을 기술한다. 물론, 많은 상황에서, 예를 들어 하나 이상의 성분이 고정되거나 무관한 것으로 고려되는 경우, 배치 또는 포즈가 더 적은 성분들을 갖는 것으로 고려되거나 더 적은 성분들로 표현될 될 수 있다(예를 들어, 모든 객체가 동일한 높이에 있고 수평 배향을 갖는 것으로 고려되는 경우, 4개의 성분이 객체의 포즈의 완전한 표현을 제공할 수 있다). 하기에서, 용어 '포즈'는 (최대 가능한 자유도에 대응하는) 1개 내지 6개의 값에 의해 표현될 수 있는 위치 및/또는 배향을 지칭하는 데 사용된다.
많은 VR 애플리케이션들은 최대 자유도, 즉 총 6 자유도를 유발하는 위치 및 배향 각각의 3 자유도를 갖는 포즈에 기초한다. 따라서 포즈는 6 자유도를 표현하는 6개의 값의 세트 또는 벡터에 의해 표현될 수 있고, 따라서 포즈 벡터는 3차원 위치 및/또는 3차원 방향 표시를 제공할 수 있다. 그러나, 다른 실시예들에서, 포즈는 더 적은 값들에 의해 표현될 수 있다는 것이 인식될 것이다.
포즈는 배향 및 위치 중 적어도 하나일 수 있다. 포즈 값은 배향 값 및 위치 값 중 적어도 하나를 나타낼 수 있다.
관찰자에 대한 최대 자유도를 제공하는 것에 기초하는 시스템 또는 엔티티(entity)는 전형적으로 6 자유도(6DoF)를 갖는 것으로 지칭된다. 많은 시스템들 및 엔티티들은 배향 또는 위치만을 제공하며 이들은 전형적으로 3 자유도(3DoF)를 갖는 것으로 알려져 있다.
몇몇 시스템들에서, VR 애플리케이션은, 예컨대 임의의 원격 VR 데이터 또는 처리를 사용하지 않거나 심지어 그에 대한 어떠한 액세스도 갖지 않는 독립형 디바이스에 의해, 관찰자에게 로컬에서 제공될 수 있다. 예를 들어, 게임 콘솔과 같은 디바이스는 장면 데이터를 저장하기 위한 저장소, 관찰자 포즈를 수신/생성하기 위한 입력, 및 장면 데이터로부터 대응하는 이미지들을 생성하기 위한 프로세서를 포함할 수 있다.
다른 시스템들에서, VR 애플리케이션은 관찰자로부터 원격에서 구현되고 수행될 수 있다. 예를 들어, 사용자에 대해 로컬에 있는 디바이스가 움직임/포즈 데이터를 검출/수신할 수 있으며, 이러한 데이터는 데이터를 처리하여 관찰자 포즈를 생성하는 원격 디바이스로 전송된다. 이어서 원격 디바이스는 장면 데이터를 기술하는 장면 데이터에 기초하여 관찰자 포즈에 대한 적합한 뷰 이미지들을 생성할 수 있다. 이어서 뷰 이미지들은 관찰자에 대해 로컬에 있는 디바이스로 전송되며 그곳에서 그들은 제시된다. 예를 들어, 원격 디바이스는 로컬 디바이스에 의해 직접 제시되는 비디오 스트림(전형적으로 스테레오/3D 비디오 스트림)을 직접 생성할 수 있다. 이에 따라, 그러한 예에서, 로컬 디바이스는 움직임 데이터를 전송하고 수신된 비디오 데이터를 제시하는 것을 제외하고 어떠한 VR 처리도 수행하지 않을 수 있다.
많은 시스템들에서, 기능은 로컬 디바이스 및 원격 디바이스에 걸쳐 분산될 수 있다. 예를 들어, 로컬 디바이스는 수신된 입력 및 센서 데이터를 처리하여 원격 VR 디바이스로 연속적으로 전송되는 관찰자 포즈들을 생성할 수 있다. 이어서 원격 VR 디바이스는 대응하는 뷰 이미지들을 생성하고 이들을 제시를 위해 로컬 디바이스로 전송할 수 있다. 다른 시스템들에서, 원격 VR 디바이스는 뷰 이미지들을 직접 생성하지 않을 수 있지만, 관련 장면 데이터를 선택하고 이것을 로컬 디바이스로 전송할 수 있으며, 로컬 디바이스는 이어서 제시되는 뷰 이미지들을 생성할 수 있다. 예를 들어, 원격 VR 디바이스는 가장 가까운 캡처 포인트를 식별하고 대응하는 장면 데이터(예컨대, 캡처 포인트로부터의 구 이미지 및 깊이 데이터)를 추출하고 이것을 로컬 디바이스로 전송할 수 있다. 이어서 로컬 디바이스는 수신된 장면 데이터를 처리하여 특정한 현재 뷰 포즈에 대한 이미지들을 생성할 수 있다. 뷰 포즈는 전형적으로 머리 포즈에 대응할 것이고, 뷰 포즈에 대한 언급은 전형적으로 머리 포즈에 대한 언급에 대응하는 것으로 동등하게 간주될 수 있다.
많은 애플리케이션들에서, 특히 브로드캐스트 서비스들에 대해, 소스는 관찰자 포즈와는 독립적인 장면의 이미지(비디오를 포함함) 표현의 형태의 장면 데이터를 전송할 수 있다. 예를 들어, 단일 캡처 위치에 대한 단일 뷰 구에 대한 이미지 표현이 복수의 클라이언트들로 전송될 수 있다. 이어서 개별 클라이언트들은 현재 관찰자 포즈에 대응하는 뷰 이미지들을 로컬에서 합성할 수 있다.
특별한 관심을 끌고 있는 특정 애플리케이션은 제시된 뷰들이 머리의 작은 머리 움직임들 및 회전들만을 만들고 있는 실질적으로 정적인 관찰자에 대응하는 작은 움직임들 및 회전들을 따르도록 업데이트되도록 제한된 양의 움직임이 지원되는 경우이다. 예를 들어, 앉아 있는 관찰자가 그의 머리를 돌리고 그것을 약간 움직일 수 있으며, 제시된 뷰들/이미지들은 이러한 포즈 변화들을 따르도록 적응된다. 그러한 접근법은 매우 몰입적인, 예컨대 비디오 경험을 제공할 수 있다. 예를 들어, 스포츠 이벤트를 시청하는 관찰자는 그가 경기장 내의 특정 지점에 존재한다고 느낄 수 있다.
그러한 제한된 자유 애플리케이션들은 많은 상이한 위치들로부터의 장면의 정확한 표현을 요구하지 않아서 캡처 요건들을 상당히 감소시키면서 개선된 경험을 제공하는 이점을 갖는다. 유사하게, 렌더러에 제공될 필요가 있는 데이터의 양이 상당히 감소될 수 있다. 실제로, 많은 시나리오들에서, 단일 뷰포인트에 대한 이미지 및 전형적으로 깊이 데이터만이 제공될 필요가 있으며, 로컬 렌더러는 이것으로부터 원하는 뷰들을 생성할 수 있다. 머리 회전들을 지원하기 위해, 뷰포인트로부터의 뷰의 큰 구역이 제공된 데이터에 의해 표현되고, 바람직하게는 뷰 포인트에 중심을 둔 뷰 구의 전체 표면이 제공된 이미지 및 깊이 데이터에 의해 커버되는 것이 전형적으로 요구된다.
이 접근법은 특히 데이터가 대역제한 통신 채널을 통해 소스로부터 목적지로 통신될 필요가 있는 애플리케이션들에, 이를테면 예를 들어 브로드캐스트 또는 클라이언트 서버 애플리케이션에 매우 적합할 수 있다.
도 1은 원격 VR 클라이언트 디바이스(101)가, 예컨대 인터넷과 같은 네트워크(105)를 통해, VR 서버(103)와 연락하는 VR 시스템의 그러한 예를 예시한다. 서버(103)는 잠재적으로 다수의 클라이언트 디바이스들(101)을 동시에 지원하도록 배열될 수 있다.
VR 서버(103)는 예를 들어 특정 뷰포인트에 대한 이미지 데이터 및 깊이를 전송함으로써 브로드캐스트 경험을 지원할 수 있으며, 클라이언트 디바이스들은 이어서 이러한 정보를 처리하여 현재 포즈에 대응하는 뷰 이미지들을 로컬에서 합성하도록 배열된다.
이에 따라, 많은 애플리케이션들은 상대적으로 좁은 좌안 및 우안 이미지를 제공하는 종래의 작은 뷰 포트들보다 훨씬 더 큰 뷰 포트들에 대응하는 뷰 위치에 대한 이미지 정보를 전송하는 것에 기초한다. 특히, 많은 애플리케이션들에서 하나 이상의 뷰/캡처 위치들의 전체 뷰 구에 대한 이미지 특성 정보(예컨대, 광 강도 및 깊이)를 통신하는 것이 바람직하다. 예를 들어, VR360 비디오 애플리케이션들에서, 광 강도 및 깊이 값들이 전체 뷰 구에 대해 전송된다. 그러나, 그러한 애플리케이션들에 대한 중대한 문제는 특히 효율적인 통신이 달성될 수 있도록 정보를 나타내는 방법이다.
예를 들어 이미지 특성 정보를 인코딩 및 포맷팅하기 위한 기존의 알고리즘들 및 함수들이 사용될 수 있는 것이 바람직하다. 그러나, 그러한 함수들은 평면 직사각형 이미지 포맷들을 위해 거의 독점적으로 설계되는 경향이 있는 반면, 3차원 표면의 표면은 본질적으로 2차원 직사각형에 대응하지 않는다. 이것을 해소하기 위해, 많은 접근법들은 큐브 맵 포맷을 사용하며, 여기서 큐브가 뷰 구 주위에 위치되고, 구의 표면이 이어서 큐브의 정사각형 면들에 투영된다. 이들 각각은 평면형이며 따라서 종래의 기법에 의해 처리될 수 있다. 그러나, 불리한 점은 (어떠한 해상도 손실도 야기하지 않기 위해) 큐브 맵이 뷰 구를 터치하는 포인트에서 큐브 맵의 해상도가 뷰 구의 해상도와 동일한 경우, 뷰 구에 대해서보다 큐브 맵에 대해 훨씬 많은 수의 픽셀이 요구된다는 것이다(각각의 면의 외측 구역들에의 뷰 구의 투영은 각각의 뷰 구 픽셀이 단일 픽셀보다 더 큰 구역들에(그리고 특히 비교적 많은 수의 픽셀들에 잠재적으로 대응하는 구역들에) 투영되는 결과를 가져온다). 구 표현과 비교해 큐브 맵 표현에 대해 주어진 균일한 크기의 약 50% 더 많은 픽셀들이 요구된다는 것을 알 수 있다.
빈번하게 사용되는 다른 포맷은 등장방형 투영(ERP)을 사용하여 장면의 표면을 2차원 직사각형에 투영하는 것이다. 그러한 이미지의 예가 도 2에 도시되어 있다. 알 수 있는 바와 같이 투영에 의해 야기되는 왜곡은 또한 다른 영역들에 대해 몇몇 영역들의 결과적인 투영 면적을 상당히 증가시킨다(특히 투영 면적은 수직 에지들을 향해 증가하여, 뷰 포즈 위의(또는 아래의) 단일 포인트가 직사각형의 전체 폭에 걸쳐 신장되는 것을 반영한다). 이에 따라, 중심에서 해상도를 감소시킴이 없이 요구되는 (일정한 크기의) 픽셀들의 요구되는 수가 상당히 증가할 것이다. 구 표현과 비교해 ERP 표현에 대해 주어진 균일한 크기의 약 50% 더 많은 픽셀들이 또한 요구된다는 것을 알 수 있다.
이러한 증가된 픽셀 카운트는 증가된 처리 복잡성 및 증가된 데이터 요건을 초래한다. 특히, 이미지 정보를 전송하기 위해 더 높은 데이터 레이트가 요구될 수 있다.
도 3은 뷰 구의 표면(의 적어도 일부)의 표현들을 생성할 수 있는 장치의 요소들을 예시한다.
장치는 뷰포인트/뷰 위치에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 (평평한, 유클리드) 비-직사각형 픽셀 구조인 제1 이미지 특성 픽셀 구조를 제공하도록 배열된 제1 프로세서(301)를 포함한다. 아래의 예에서, 제1 프로세서(301)는 (광 강도 이미지) 및 깊이 맵 둘 모두를 처리하도록 배열되고, 제1 이미지 특성 픽셀 구조는 이미지 또는 깊이 맵에, 또는 실제로 동시에 이들 둘 모두(픽셀 값들은 이미지 픽셀 값들과 깊이 맵 픽셀 값들의 조합임)에 대응하는 것으로 간주될 수 있다.
이 예에서, 제1 프로세서(301)는 제1 이미지 특성 픽셀 구조에 대한 소스(303)에 결합되고, 특히 소스는 입력 이미지 및 깊이 맵을 제공할 수 있다. 소스(303)는 특히 이미지 정보를 저장하는 로컬 메모리일 수 있거나, 그것은 예를 들어 완전한 구 카메라 및/또는 깊이 센서와 같은 적합한 캡처 유닛일 수 있다.
뷰포인트에 대한 뷰 구는 뷰포인트를 둘러싸는 (공칭) 구이며, 표면의 각각의 포인트는 뷰 포인트로부터 표면 상의 포인트를 통하는 방향으로의 장면에 대한 이미지 특성 값을 나타낸다. 광 강도 이미지 특성 값에 대해, 표면의 포인트의 값은 포인트의 방향으로부터 뷰포인트에 도달하는 광선의 광 강도에 대응한다. 상응하여, 깊이 또는 범위 이미지 특성 값에 대해, 뷰 구의 표면의 주어진 포인트에 대한 깊이 값은 뷰포인트로부터 표면 상의 포인트로의(포인트를 통하는) 방향으로의, 뷰 포인트로부터 장면의 제1 객체까지의 거리에 대응한다.
제1 이미지 특성 픽셀 구조는 특정에 대한 뷰 이미지들을 생성하기 위해 이미지 렌더링 프로세스에 의해 사용될 수 있는 장면의 특성을 나타내는 특성인 이미지 특성을 나타낸다. 이에 따라, 이미지 특성은 (예컨대, 상이한 뷰 포즈들에 대응하는, 하나 이상의 뷰포트들에 대한) 장면의 이미지를 생성하기 위한 이미지 생성/합성 기능을 지원할 수 있는 특성일 수 있다. 이미지 특성은 구체적으로 다음 중 적어도 하나의 특성일 수 있다: 광 강도 특성, 깊이 특성, 또는 투명도 특성.
이미지 특성은 몇몇 실시예들에서 조합된 특성일 수 있는데, 예를 들어 이미지 특성은 복수의 컬러 채널 광 강도 값들(예컨대, 적색, 녹색, 및 청색 값), 및 가능하게는 또한 깊이 값을 포함할 수 있다. 예를 들어, 제1 이미지 특성 픽셀 구조의 각각의 픽셀은 각각의 값에 대한 다수의 값들을 포함할 수 있거나, 픽셀 값은 다성분 벡터 값일 수 있다. 동등하게, 제1 프로세서(301)는 복수의 단일 값 이미지 특성 픽셀 구조들을 제공하는 것으로 간주될 수 있으며, 이들 각각은 하기에 설명될 바와 같이 처리된다.
하기의 설명은 광 강도 및 깊이의 특성에 초점을 맞출 것이다. 따라서, 이미지 특성 픽셀 구조(들)는 간략함 및 명료함을 위해 각각 (광 강도) 이미지들 및 깊이 맵들의 보다 일반적인 용어에 의해 또한 지칭될 것이다.
이미지 특성 픽셀 구조는 구체적으로 복수의 픽셀들로 분할되는 평면 구역 또는 영역일 수 있다. 각각의 픽셀은 픽셀에 의해 커버되는 구역에 대한 이미지 특성의 값을 나타내는 하나 이상의 값들을 포함한다. 전형적으로, 픽셀들은 모두 동일한 크기를 갖는데, 즉 해상도는 균일하다. 전형적으로, 픽셀들은 정사각형 또는 적어도 직사각형이고 등거리 그리드(equidistant grid)로 배열된다. 따라서, 종래의 이미지 또는 깊이 맵은 이미지 특성 픽셀 구조들의 예들이다.
그러나, 제1 이미지 특성 픽셀 구조는 직사각형 이미지 특성 픽셀 구조가 아니라 오히려 2차원 비-직사각형 픽셀 구조이다. 제1 이미지 특성 픽셀 구조는 뷰 구의 표면의 적어도 일부 및 흔히 뷰 구의 전체 표면을 추가로 나타낸다. 구의 표면이 3차원 만곡된 특성을 갖기 때문에, 대응하는 평평한 표현은 일반적으로 직사각형이 아닐 것이다.
구체적으로, 구의 표면은 주어진 수의 등면적 픽셀들로 분할되는 것으로 간주될 수 있으며, 픽셀에 의해 커버되는 구역은 전형적으로 (실질적으로) 정사각형이다. 이러한 픽셀들이 대신에 평평한 평면 상에 재배열되는 경우, 커버되는 결과적인 구역은 직사각형 또는 정방형이 아닐 것이다. 구체적으로, 정사각형 픽셀들에 대한 결과적인 구역이 도 4에 예시되어 있다.
이 경우에, 제1 이미지 특성 픽셀 구조는 구체적으로 뷰 구의 표면의 시뉴소이드 투영일 수 있다. 전체 표면에 대한 제1 이미지 특성 픽셀 구조에 의해 커버되는 구역은 도 4에 도시된 바와 같다. 도시된 바와 같이, 뷰 구 표면은 폭/수평 연장이 수직 위치의 사인 함수인 구역으로서 표현되며, 수직 위치는 0 내지 π(180°)의 범위의 값에 의해 표현되고 중심 수직 위치는 π/2(90°)에 대응한다. 이 예에서, 0 및 π(180°)의 수직 위치는 이에 따라 뷰포인트로부터 바로 아래쪽 및 위쪽으로의 방향에 대응하고 π/2(90°)의 수직 위치는 뷰포인트로부터의 수평 방향에 대응한다.
몇몇 실시예들에서, 뷰 구의 표면의 일부만이 제1 이미지 특성 픽셀 구조에 의해 표현될 수 있다는 것이 인식될 것이다. 예를 들어, 몇몇 실시예들에서, 제1 이미지 특성 픽셀 구조는 (예컨대, 지면 레벨에 위치되고 지면 레벨 위의 장면만을 캡처하는 카메라에 대응하는) 상부 반구와 같은 반구만을 또는 (예컨대, 하나의 일반적인 방향으로만 보고 있는 사용자를 위한) 주어진 방향으로의 반구만을 나타낼 수 있다. 그러한 예들에서, 제1 이미지 특성 픽셀 구조는 또한 비-직사각형일 것이지만, 도 4의 예에 직접 대응하지 않을 것이다. 제1 이미지 특성 픽셀 구조는 몇몇 실시예들에서 여전히 시뉴소이드 투영일 수 있지만, 단지 표면의 일부의 투영일 수 있다. 예를 들어, 반구에 대한 결과적인 제1 이미지 특성 픽셀 구조는 도 4의 상부 반부 또는 좌측(또는 우측) 반부에만 대응할 수 있다.
이에 따라서 제1 이미지 특성 픽셀 구조는 비-직사각형 구조이고, 그렇기 때문에, 예를 들어 이미지 또는 비디오 인코더들에서를 포함한, 많은 기존의 프로세스들에서의 처리에 적합하지 않다. 그것은 또한 직사각형 이미지 표현들에 기초하는 많은 기존의 표준들 및 포맷들과 부합하지 않는 경향이 있다. 따라서, 비-직사각형 제1 이미지 특성 픽셀 구조를 직사각형인 제2 이미지 특성 픽셀 구조로 변환하는 것이 바람직하다. 언급된 바와 같이, 이것은 전통적으로 구의 표면을 ERP를 사용하여 직사각형에 또는 큐브의 면들에(큐브 맵 표현) 투영함으로써 전형적으로 행해진다.
그러나, 대조적으로, 도 3의 장치는 더 효율적인 구조로 이어지는 접근법 및 구체적으로 요구되는 픽셀들의 수에 있어서의 상당한 증가를 요구함이 없이 해상도를 유지할 수 있는 접근법을 사용하여 2차원 직사각형 픽셀 구조인 제2 이미지 특성 픽셀 구조를 생성하도록 배열된 제2 프로세서(305)를 포함한다.
따라서 제2 프로세서(305)의 출력은 직사각형 이미지 구조이고, 구체적으로 직사각형 이미지 및/또는 깊이 맵일 수 있다. 이러한 제2 이미지 특성 픽셀 구조는 원격 디바이스들로 전송될 수 있는 출력 데이터 스트림의 형태의 이미지 신호를 생성하도록 배열된 출력 생성기(307)에 공급될 수 있다. 구체적으로, 출력 생성기(307)는 직사각형 이미지들에 대해 설계된 기법들을 사용하여 제2 이미지 특성 픽셀 구조를 인코딩하도록, 그리고 인코딩된 데이터를 출력 데이터 스트림에 포함시키도록 배열될 수 있다. 예를 들어, 이미지 또는 비디오 인코딩은 원격 클라이언트들로 전송될 수 있는 대응하는 인코딩된 비디오 데이터 스트림을 생성하기 위해 제2 프로세서(305)에 의해 제공되는 직사각형 이미지들에 적용될 수 있다.
제2 프로세서(305)는 구체적으로 제1 이미지 특성 픽셀 구조 내의 상이한 영역들을 결정하도록, 그리고 이러한 영역들을 제2 이미지 특성 픽셀 구조의 직사각형 영역 내에 상이하게 그리고 개별적으로 위치시키도록 배열된다. 구체적으로, 그것은 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 제2 이미지 특성 픽셀 구조의 중심 영역을 도출하도록 배열된다. 그것은 또한 수직 방향의 하나 이상의 경계 영역들로부터 하나 이상의 모서리 영역들을, 그리고 구체적으로 제1 이미지 특성 픽셀 구조의 상부 또는 하부 에지/경계에 가까운 하나 이상의 경계 영역들을 도출할 수 있다. 이에 따라, 이 접근법에서, 제2 프로세서(305)는 비-직사각형 이미지의 중심 영역의 이미지 데이터에 기초하여 직사각형 출력 이미지의 중심 영역을 채우고, (입력 이미지의 상단부 또는 하단부에 가까운) 수직 방향의 입력 이미지의 외측 영역(들)의 이미지 데이터로부터 모서리 영역(들)을 채울 수 있다.
제2 프로세서(305)에 의한 접근법의 예가 도 5 내지 도 7과 관련하여 예시될 수 있으며, 여기서 도 6 및 도 7은 도 5의 원리가 적용된 도 3에 대응하는 특정 이미지들의 예들을 도시한다.
이 예에서, 이미지의 형태의 제1 이미지 특성 픽셀 구조는 시뉴소이드 투영에 의한 뷰 구의 표면을 나타내고, 이에 따라 도시된 바와 같이 사인파 주기의 절반 및 그것의 미러 이미지에 의해 형성되는 형상에 대응하는 평평한 영역(501)에 대응한다. 이 예에서, 4개의 경계 영역들, 즉 상부 좌측 영역(p1), 상부 우측 영역(p2), 하부 좌측 영역(p3), 및 하부 우측 영역(p4)이 결정된다.
이어서 제2 프로세서(305)는 직사각형 이미지에 대응하는 제2 이미지 특성 픽셀 구조를 생성한다. 이에 따라 이러한 이미지는 직사각형 영역(503)에 대응한다. 이러한 이미지는 입력 이미지의 중심 섹션을 유지하고 경계 영역들(p1 내지 p4)을 서로 반대편에 있는 모서리들에 대해 대각선으로 이동시킴으로써 생성된다. 이 예에서, 입력 이미지는 W × H0의 치수를 갖는 반면 출력 이미지는 H의 감소된 높이를 가질 수 있다.
도 6은 도 4의 입력 이미지와 동일한 높이 및 폭을 갖는 직사각형 중간 이미지가 경계 영역들을 중간 이미지의 모서리 영역들에 복제함으로써 먼저 생성될 수 있는 방법의 예를 예시한다. 이러한 이미지는 그것이 많은 중복 픽셀들을 포함하기 때문에 입력 이미지보다 상당히 더 클 수 있다. 그러나, 이어서 출력 이미지는 높이가 감소되고 중복 픽셀들이 제거되도록 수직 크로핑(cropping)에 의해 생성될 수 있다. 구체적으로, 높이는 중복 픽셀들의 수가 최소화된 레벨로 감소될 수 있다. 실제로, 많은 실시예들에서, 높이는 중복 픽셀들이 포함되지 않도록 크로핑에 의해 감소될 수 있다.
이 접근법은 직사각형 이미지에 의해 장면의 매우 효율적인 뷰 구 표현을 제공할 수 있다. 이 접근법은 뷰 구의 투영의 특성들이 직사각형 구역 내에 꼭 맞게 끼워질 수 있는 상이한 영역들로의 분할에 적합하다는 본 발명자의 깨달음에 기초한다. 실제로, 도 5, 도 6 및 도 7의 예들로부터 알 수 있는 바와 같이, 경계 영역들 내로 꼭 맞게 그리고 밀접하게 끼워질 수 있는 경계 영역들을 결정하는 것이 가능하다. 실제로, 도 7의 예에 의해 알 수 있는 바와 같이, 단지 몇 개의 여분의 픽셀들(도 7에서 흑색 영역들에 의해 표현됨)만을 포함하는 직사각형 이미지가 생성될 수 있다. 실제로, 이 예에서, 해상도에 있어서의 어떠한 손실도 없이 뷰 구 표면의 직사각형 표현이 단지 약 5%의 픽셀 증가로 달성될 수 있다는 것을 알 수 있다.
이에 따라, ERP 또는 큐브 맵 표현보다 훨씬 더 효율적인 표현이 설명된 접근법에 의해 달성될 수 있다.
위의 예들에서, 이미지 특성 픽셀 구조들은 (광 강도) 이미지들이었지만, 이 접근법들은 다른 특성들에, 예컨대 깊이 또는 투명도 맵들에 적용될 수 있다는 것이 인식될 것이다. 예를 들어, 위의 예들의 이미지들은, 예컨대 이미지의 각각의 픽셀에 대한 깊이 값 및 투명도 값을 각각 제공할 수 있는 깊이 맵 및/또는 투명도 맵에 의해 보충될 수 있다. 이어서 이러한 맵들은 광 강도 이미지들에 대해 설명된 것과 동일한 방식으로 처리되어서 더 적합한 정사각형 맵들 또는 예를 들어 종래의 기법들을 사용하는 인코딩을 생성할 수 있다.
위의 예에서, 제2 프로세서(305)는 제1 이미지 특성 픽셀 구조(p1, p2, p3, p4) 내의 4개의 경계 영역들을 결정하도록 배열되며, 여기서 경계 구조들은 제1 이미지 특성 픽셀 구조의 상부 경계에 또는 이미지 특성 픽셀 구조의 하부 경계에 가깝다. 예들에서, 경계 영역들은 이에 따라 상부 및 하부 경계 영역들이고, 구체적으로 그들의 경계의 일부가 또한 제1 이미지 특성 픽셀 구조 자체의 경계인 (인접한) 영역들이다.
이 예에서의 제2 프로세서(305)는 제2 이미지 특성 픽셀 구조 내의 중심 영역을 식별하였고 이것을 제1 이미지 특성 픽셀 구조의 중심 영역에 의해 채웠다. 제2 이미지 특성 픽셀 구조의 4개의 모서리 영역들이 식별되며, 이들은 이어서 제1 이미지 특성 픽셀 구조의 4개의 경계 영역들에 의해 채워진다. 이에 따라, 사실상, 제1 이미지 특성 픽셀 구조의 식별된 4개의 경계 영역들은 제2 이미지 특성 픽셀 구조 내의 모서리 영역들로 이동되는 것으로 간주될 수 있다.
이 예에서, 중심 영역을 채우는 데 사용되는 제1 이미지 특성 픽셀 구조의 중심 영역은 제2 이미지 특성 픽셀 구조의 상부 및 하부 에지들에 대응하는 상부 및 하부 수평선에 의해 제한된다. 제1 이미지 특성 픽셀 구조의 경계 영역들은 이러한 선들보다 더 주변에 있는데, 즉 그들은 각각 분할 수평선들 위 및 아래에 있다. 따라서, 위치 매핑이 제2 이미지 특성 픽셀 구조의 중심 영역 내의 픽셀 위치들에 대한 제1 이미지 특성 픽셀 구조의 중심 영역의 픽셀 위치들에 적용된다. 동일한 픽셀 위치 매핑이 경계 영역들에 적용되는 경우, 그것은 제2 이미지 특성 픽셀 구조 밖에 있는 위치들을 야기할 것이다.
제2 이미지 특성 픽셀 구조는 구체적으로 직사각형 구조이고, 그것은 상부/상단부 (수평) 에지 및 하부/하단부 (수평) 에지를 갖는다. 제2 이미지 특성 픽셀 구조의 중심 영역은 이러한 에지들에 의해 제한될 수 있고, 중심 영역은 제2 이미지 특성 픽셀 구조에서 제2 이미지 특성 픽셀 구조의 에지까지 신장될 수 있다.
제2 이미지 특성 픽셀 구조의 상부 에지는 제1 이미지 특성 픽셀 구조 내의 상부/상단부 수평선에 대응할 수 있고, 제2 이미지 특성 픽셀 구조의 하부 에지는 제1 이미지 특성 픽셀 구조 내의 상부/상단부 수평선에 대응할 수 있다.
제1 이미지 특성 픽셀 구조의 중심 영역은 이러한 2개의 수평선들 사이에 있는 제1 이미지 특성 픽셀 구조의 일부로서 선택될 수 있다.
제1 이미지 특성 픽셀 구조의 경계 영역들 중 하나, 그 초과, 및 전형적으로 전부는 수평선들 중 적어도 하나보다 더 주변에 있는 영역들이다. 이에 따라, 경계 영역은 상부 수평선 위에 또는 하부 수평선 아래에 있을 수 있다.
몇몇 실시예들에서, 설명된 접근법은 잠재적으로 제1 이미지 특성 픽셀 구조의 상단부에만 또는 하단부에만 적용될 수 있고, 이에 따라 몇몇 실시예들에서 상부 및 하부 수평선들 중 하나만이 제1 이미지 특성 픽셀 구조의 에지에 대응하는 것으로 간주될 수 있거나, 동등하게 상부 및 하부 수평선들 중 하나가 그러한 것으로 간주될 수 있다. 그러나, 대부분의 실시예들에서, 이 접근법은 제1 이미지 특성 픽셀 구조의 상단부 및 하단부 섹션들에 대칭적으로 적용될 것이다. 또한, 대부분의 실시예들에서, 이 접근법은 제1 이미지 특성 픽셀 구조의 상단부 및 하단부 섹션들에 대칭적으로 적용될 것이다.
많은 실시예들에서, 복수의 경계 영역들이 결정되고 제2 이미지 특성 픽셀 구조 내의 모서리 영역들에 할당될 수 있다. 이러한 경계 영역들 각각은 수평선들보다 더 주변에 있을 수 있는데, 즉 상부 수평선 위에 또는 수평선 아래에 있을 수 있다.
많은 실시예들에서, 경계 영역들은 수평선들보다 더 주변에 있는/밖에 있는/외부에 있는/바깥쪽에 있는 제1 이미지 특성 픽셀 구조의 모든 구역들을 포함할 수 있다. 이에 따라, 몇몇 실시예들에서, 상부 수평선 위 및 하부 수평선 아래의 모든 픽셀들은 경계 영역에 포함될 수 있다.
이 접근법은 구체적으로 제1 이미지 특성 픽셀 구조를 포함할 직사각형 구조보다 더 작은 제2 이미지 특성 픽셀 구조가 생성될 수 있게 할 수 있다. 제2 이미지 특성 픽셀 구조의 행들의 수는 제1 이미지 특성 픽셀 구조의 행들의 수보다 더 낮을 수 있고, 전형적으로 적어도 5%, 10%, 또는 20% 더 낮을 수 있다.
제2 이미지 특성 픽셀 구조의 높이(수직 연장)는 제1 이미지 특성 픽셀 구조의 높이(수직 연장)보다 상당히 더 낮을 수 있고, 전형적으로 적어도 5%, 10%, 또는 20% 더 낮을 수 있다.
또한, 이것은 전형적으로 열들의 수/폭/수평 연장을 유지하면서 달성될 수 있고 이에 따라 직사각형 이미지에 대해 요구되는 픽셀들의 수는 상당히 감소될 수 있다.
많은 실시예들에서, 각각의 경계 영역은 비교적 높은 수의 픽셀들을 포함하는 연속된 영역일 수 있다. 많은 실시예들에서, 적어도 하나의 경계 영역은 1000개, 또는 심지어 5000개 이상의 픽셀들을 포함할 수 있다. 많은 실시예들에서, 경계 영역들은 제1 이미지 특성 픽셀 구조 내의 픽셀들의 총 수의 5% 또는 10% 이상을 포함할 수 있다.
몇몇 실시예들에서, 제2 이미지 특성 픽셀 구조의 인코딩은 예를 들어 MPEG 인코딩으로부터 알려진 매크로 블록(Macro Block)들과 같은 이미지 블록들에 기초한 인코딩 알고리즘을 사용할 수 있다. 그러한 실시예들에서, 각각의 경계 영역은 정수 매크로 블록들을 포함할 수 있는데, 즉 각각의 경계 영역은 인코딩 블록의 어떠한 부분들도 포함하지 않을 수 있다. 또한, 많은 실시예들에서, 각각의 경계 영역은 복수의 인코딩 블록들을 포함할 수 있다.
각각의 경계 영역은 블록으로서 경계 영역에 재할당될 수 있는데, 즉 픽셀들 사이의 상대적 위치는 변경되지 않는다.
많은 실시예들에서 각각의 섹션은 제2 이미지 특성 픽셀 구조의 모서리까지 연장되는 섹션일 수 있다. 경계 영역은 그것이 제2 이미지 특성 픽셀 구조의 모서리에 맞닿도록 제2 이미지 특성 픽셀 구조에 포함될 수 있다. 경계 영역은 그것이 제2 이미지 특성 픽셀 구조의 에지와 마찬가지로 에지를 갖고, 가능하게는 제2 이미지 특성 픽셀 구조와 마찬가지로 2개의 에지들을 갖도록 제2 이미지 특성 픽셀 구조에 포함될 수 있다.
많은 실시예들에서, 경계 영역은 경계 영역으로부터 제2 이미지 특성 픽셀 구조의 중심 영역까지의 거리가 존재하도록, 즉 이들 사이에 가드밴드(guardband)가 존재할 수 있도록 제2 이미지 특성 픽셀 구조에 포함될 수 있다. 그러한 거리는 예컨대 1개, 2개, 5개, 10개, 또는 50개 픽셀 이상일 수 있다.
많은 실시예들에서, 경계 영역은 경계 영역의 픽셀들이 제1 이미지 특성 픽셀 구조에서와는 상이한 제2 이미지 특성 픽셀 구조에서의 수직 위치들을 갖도록 제2 이미지 특성 픽셀 구조에 포함될 수 있다. 경계 영역의 픽셀들에 대한 수직 위치는 구체적으로 상부 및/또는 하부 수직선의 수직 위치보다 더 주변에 있는 것으로부터, 상부 및/또는 하부 수직선의 수직 위치보다 더 중심에/덜 주변에 있는 것으로 변화할 수 있다.
특정 예에서, 각각의 경계 영역은 대각선 모서리 영역으로 이동되는데, 즉 상부 좌측 경계 영역은 하부 우측 모서리 영역으로 이동되고; 상부 우측 경계 영역은 하부 좌측 모서리 영역으로 이동되고; 하부 좌측 경계 영역은 상부 우측 모서리 영역으로 이동되고; 하부 우측 경계 영역은 상부 좌측 모서리 영역으로 이동된다.
이에 따라, 이 예에서, 제1 이미지 특성 픽셀 구조 내의 2개의 경계 영역들과 제2 이미지 특성 픽셀 구조 내의, 이들이 매핑되는 2개의 모서리 영역들 사이의 수평 관계는 반전된다. 이에 따라, 제2 경계 영역의 좌측에 있는 제1 경계 영역은 제2 경계 영역이 이동되는 제2 모서리 영역의 우측에 있는 제1 모서리 영역으로 이동될 것이다. 이 접근법에서, 제1 경계 영역으로부터 제2 경계 영역으로의 수평 방향은 제1 모서리 영역으로부터 제2 모서리 영역으로의 수평 방향과 반대이다.
유사하게, 이 예에서, 제1 이미지 특성 픽셀 구조 내의 2개의 경계 영역들과 제2 이미지 특성 픽셀 구조 내의, 이들이 매핑되는 2개의 모서리 영역들 사이의 수직 관계는 반전된다. 이에 따라, 제2 경계 영역 위에 있는 제1 경계 영역(제1 영역은 상부 경계 영역이고 제2 영역은 하부 경계 영역임)은 제2 경계 영역이 이동되는 제2 모서리 영역 아래에 있는 제1 모서리 영역(제1 모서리 영역은 하부 모서리 영역이고 제2 모서리 영역은 상부 모서리 영역임)으로 이동될 것이다. 이 접근법에서, 제1 경계 영역으로부터 제2 경계 영역으로의 수직 방향은 제1 모서리 영역으로부터 제2 모서리 영역으로의 수직 방향과 반대이다.
전술된 것들과 같은 많은 실시예들에서, 제1 및 제2 모서리 영역은 제1 이미지 특성 픽셀 구조 내의 제1 및 제2 경계 영역으로부터 각각 도출된 픽셀 데이터를 포함할 수 있으며, 여기서 2개의 경계 영역들은 동일한 상부 또는 하부 경계에 근접한다(즉, 둘 모두의 경계 영역들이 상부 경계에 또는 하부 경계에 있다). 예를 들어, 2개의 경계 영역들은 도면의 영역 p1 및 p2(또는 p3 및 p4)일 수 있다. 2개의 경계 영역들은 서로에 대해 수평으로 변위되며, 구체적으로 영역들 중 하나의 영역 전체가 완전히 다른 영역 전체의 우측에 있을 수 있다. 이에 따라, 2개의 경계 영역들은, 구체적으로 제1 이미지 특성 픽셀 구조의 중심선일 수 있는, 가상 수직선의 상이한 측들에 있을 수 있다. 도면들의 예에서, 이러한 가상 수직선은 중심선이다(즉, p1과 p2는, p3과 p4가 그러한 것처럼, 수직 중심선의 상이한 측들에 있다).
도 5 내지 도 7의 특정 예들에서, 가상 수직선은 제1 이미지 특성 픽셀 구조에 대한 중심선이다. 또한, 이 예에서, 가상 수직선은 제1 및 제2 경계 영역들을 분리하는 선이다. 실제로, 제1 및 제2 경계 영역들은 가상 수직선에 의해 제1 및 제2 경계 영역들로 세분되는 연속된 영역을 함께 형성한다. 또한, 특정 예에서, 제1 및 제2 경계 영역들은 가상 수직선을 중심으로 미러 대칭이다. 이 예에서, 상부 (및/또는) 하부 경계 영역은 주어진 수직 좌표 위의(또는 아래의) (그리고 이에 따라 이러한 수평선에 대응하는 주어진 수평선 위의(또는 아래의)) 영역으로서 식별된다. 이에 따라 이러한 영역은 수직 중심선에 의해 2개의 대응하는 영역들로 분할된다. 특정 예에서, 이것은 2개의 동일한, 그러나 미러 대칭인 경계 영역들을 생성한다.
또한, 특정 예에서, 상부 및 하부 경계 영역들 둘 모두가 식별되고, 이들은 수평 중심선에 대해 미러 대칭이다. 구체적으로, 이 예에서, 4개의 경계 영역들이 발견되며, 이들은 수평 및 수직 중심선을 중심으로 쌍으로 미러 대칭이다.
제1 이미지 특성 픽셀 구조의 그러한 수평으로 그리고/또는 수직으로 변위되고 분리된 영역들로의 분리는 많은 실시예들에서 감소된 양의 제2 이미지 특성 픽셀 구조의 비사용 부분들을 갖는 그리고 이에 따라 감소된 오버헤드/낭비를 갖는 제2 이미지 특성 픽셀 구조에 있어서의 비교적 낮은 복잡성, 그런데도 효율적인 재조직화를 가능하게 하는 효율적이고 유리한 분할을 제공할 수 있다. 전술된 바와 같이, 2개의 경계 영역들은, 많은 실시예들에서, 수평 순서가 반전되고/되거나 수직 순서가 반전되도록 모서리 영역들에 연결될 수 있지만, 이것은 필수적인 것은 아니며 몇몇 실시예들은 그러한 반전(들)을 채용하지 않을 수 있다는 것이 인식될 것이다.
구체적으로, 이 접근법은 직사각형 표현을 위한 큰 오버헤드를 요구함이 없이 균일한 해상도가 유지될 수 있게 하는 효율적인 직사각형 및 평면 이미지 구조가 생성될 수 있게 한다.
많은 실시예들에서, 제1 이미지 특성 픽셀은 뷰 구의 표면(또는 표면의 일부)에 대한 균일한 해상도를 갖는다. 이에 따라, 뷰 구의 해상도는 모든 방향들에서 동일하고 모든 방향들은 동일한 품질로 표현된다. 제1 이미지 특성 픽셀 구조의, 직사각형인 제2 이미지 특성 픽셀 구조로의 변환은 픽셀들의 직접 재배열에 의해 수행될 수 있으며 이에 따라 픽셀 해상도는 변경되지 않는다. ERP 또는 큐브 맵 포맷과는 대조적으로, 설명된 접근법은 뷰 구의 해상도가 변경되지 않고 이에 따라 또한 뷰 구의 균일한 해상도를 나타내는 직사각형 이미지를 생성한다. 또한, 이것은 단지 작은 오버헤드 및 픽셀들의 수에 있어서의 증가로 달성된다.
설명된 접근법의 특별한 이점은 그것이 경계 영역들이 선택된 경계 영역들 내에 꼭 맞게 끼워지는 접근법을 제공한다는 것이다. 경계 영역들은 중심 섹션을 제2 이미지 특성 픽셀 구조로 복제한 후에 유지되는 모서리 영역들과 밀접하게 정합하는 형상 및 윤곽을 갖는다. 또한, 경계 영역들의 모서리 영역들에의 할당은 특정 예에서 임의의 추가적인 동작들을 도입함이 없이(구체적으로 단지 병진/시프트만이 요구됨) 형상들이 서로 정합하게 한다.
많은 실시예들에서, 제1 이미지 특성 픽셀 구조의 픽셀들은 제2 이미지 특성 픽셀 구조의 픽셀들에 직접 매핑될 수 있고, 구체적으로 제2 이미지 특성 픽셀 구조 내의 각각의 픽셀은 제1 이미지 특성 픽셀 구조 내의 픽셀의 복제본일 수 있다. 따라서 제2 프로세서(305)의 처리는 제1 이미지 특성 픽셀 구조 내의 픽셀들(픽셀 위치들)의, 제2 이미지 특성 픽셀 구조 내의 픽셀들(픽셀 위치들)에의 매핑으로서 간주될 수 있다. 그러나, 몇몇 실시예들에서, 제2 프로세서(305)는 또한 픽셀 값들의 어떤 처리를 포함할 수 있는데, 예를 들어 프로세스는 휘도 조정, 깊이 조정, 필터링 등을 포함할 수 있다는 것이 인식될 것이다.
예시된 예들에서, 모서리 영역들은 경계 영역들의 직접 시프트/오프셋/병진에 의해 채워진다. 경계 영역들 각각 내의 픽셀들 사이의 내부 공간 관계는 모서리 영역들에서 유지된다.
그러나, 다른 실시예들에서, 제2 프로세서(305)는 대안적으로 또는 추가적으로 예컨대 경계 영역의 미러링 및/또는 회전을 포함하도록 배열될 수 있다. 이것은 구체적으로 경계 영역의 형상과, 경계 영역이 위치된 모서리 영역의 형상 사이의 더 밀접한 맞춤을 보장할 수 있다.
이것은 예를 들어 경계 영역들과 모서리 영역들 사이의 상이한 매핑을 적용하는 데 사용될 수 있다. 예를 들어, 경계 영역들을 대각선으로 반대편에 있는 모서리 영역들에(즉, 상부 좌측 경계 영역을 하부 우측 모서리 영역에) 연결하기보다는, 주어진 경계 영역이 근접 모서리 영역에 매핑될 수 있고 회전(및/또는 미러링)이 경계 영역의 형상을 모서리 영역의 형상에 맞추는 데 사용될 수 있다. 예를 들어, 도면들의 예에서, 상부 좌측 경계 영역(p1)은 180° 회전되고 상부-좌측 모서리 영역으로 시프트될 수 있다. 이에 따라, 경계 영역의 중심 부분이 측면 부분이 되도록 회전이 수행될 수 있다.
단지 병진보다는 병진들 및/또는 미러링을 사용하는 그러한 접근법은 특히 뷰 구의 일부만이 제1 및 제2 이미지 특성 픽셀 구조들에 의해 표현되는 많은 실시예들에서 유리할 수 있다. 예를 들어, (예시적인 도면들의 이미지들의 상부 반부에만 대응하는) 뷰 구의 상부 반부만이 표현되는 예에서, 2개의 경계 영역들(p1, p2)이 2개의 모서리 영역 내로 끼워질 수 있다. 예를 들어, p1 및 p2는 180° 회전 후에 각각 상부 좌측 및 상부 우측 모서리 영역들 내로, 또는 수평선을 중심으로 한 미러링 후에 각각 상부 우측 및 상부 좌측 모서리 영역들 내로 끼워질 수 있다.
몇몇 실시예들에서, 제1 프로세서(201)는 등장방형 투영에 의해 표면을 나타내는 이미지 특성 픽셀 구조로서 뷰 구의 표면의 표현을 수신하도록 배열된다. 예를 들어, 제1 프로세서(201)는 도 2에 예시된 것과 같은 표현을 수신할 수 있다.
제1 프로세서(201)는 그러한 실시예들에서 그러한 직사각형 이미지 특성 픽셀 구조를 비-직사각형 이미지 특성 픽셀 구조로 워핑하도록 배열될 수 있으며, 이 비-직사각형 이미지 특성 픽셀 구조는 이어서 전술된 바와 같이 제1 이미지 특성 픽셀 구조로서 처리될 수 있다. 제1 프로세서(201)는 그러한 실시예에서 구체적으로 등장방형 투영인 것으로부터의 수신된 이미지 특성 픽셀 구조를 시뉴소이드 투영에 대응하는 이미지 특성 픽셀 구조로 변환하도록 배열될 수 있다.
제1 프로세서(201)는 예를 들어 코사인 워핑(cosine warping)에 따라 좌표들의 병진에 의해 이것을 행하도록 배열될 수 있다. 매트랩에서의 구현을 위한 예는 다음과 같을 수 있다:
W0=4000
H0=2000
W=W0*4
W2=W/2
H=H0
H2=H/2
AA=imread('in1.png');
BB=zeros(size(AA));
for x = 1:W
for y = 1:H
sc=abs(cos(3.14/2*(y-H2)/H2));
%sc=0;
x1=x-W2;
i=floor(x1*sc)+W2;
BB(y,x,1)=AA(y,i,1);
BB(y,x,2)=AA(y,i,2);
BB(y,x,3)=AA(y,i,3);
end
end
imwrite(uint8([BB]),['out.png']);
이전의 예들에서, 제1 이미지 특성 픽셀 구조의 중심 영역 및 하나 이상의 경계 영역들로부터 각각 생성된 중심 영역 및 하나 이상의 모서리 영역을 포함하는 제2 이미지 특성 픽셀 구조가 생성된다. 이 접근법은 구체적으로 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 제2 이미지 특성 픽셀 구조의 중심 영역을 채우는 것으로부터 기인하는 모서리 영역들이 경계 영역들의 기하학적 특성들(구체적으로 형상들)과 비교적 밀접하게 정합하는 기하학적 특성들(구체적으로 형상들)을 갖도록, 제1 이미지 특성 픽셀 구조의 기하학적 특성들을 활용하여 중심 영역 및 경계 영역들을 생성할 수 있다. 이것은 전체 제1 이미지 특성 픽셀 구조가 단지 작은 갭들만을 갖고서 비-중첩 중심 및 모서리 영역들 내에 꼭 맞게 위치되는 배열을 가능하게 한다. 이에 따라, 효과적인 표현이 제1 이미지 특성 픽셀 구조의 픽셀들을 표현하지 않는 작은 수의 제2 이미지 특성 픽셀 구조의 픽셀들만으로 달성된다.
이것은 도 7에 모서리 영역들과 중심 영역들 사이의 흑색 픽셀들에 의해 예시되어 있다. 알 수 있는 바와 같이, 이 접근법은 제1 이미지 특성 픽셀 구조의 기하학적 구조들을 활용하여, 제1 이미지 특성 픽셀 구조의 비-직사각형 표현에 대한 직사각형 표현에서 단지 몇 개의 추가적인 픽셀들만을 갖는 효과적인 직사각형 표현을 보장할 수 있다. 도 4의 것과 같은 시뉴소이드 투영의 예에서, 직사각형 표현은 픽셀들의 수에 있어서 단지 5%의 증가만으로 생성될 수 있다.
이에 따라 제2 이미지 특성 픽셀 구조는 하나 이상의 비충전된 영역들로 생성되며, 이는 그러나 매우 작은 구역들로 유지된다. (예를 들어, ERP 또는 큐브 맵 표현과 비교해) 작은 오버헤드는 인코딩된 데이터 레이트를 상당히 감소시킬 수 있는 이미지 특성 픽셀 구조에 대한 감소된 픽셀 카운트를 야기한다.
몇몇 실시예들에서, 제2 프로세서(305)는 비충전된 영역들 중 하나 이상의 충전을 수행하도록 추가로 배열될 수 있다. 충전은 구체적으로 채워진 영역들 내의 근접 픽셀들의 픽셀 값들에 기초하여, 그리고 구체적으로 제1 이미지 특성 픽셀 구조로부터 채워진 중심 영역의 픽셀 값들에 그리고 가장 가까운 모서리 영역의 픽셀들에 대한 픽셀 값들에 기초하여, 비충전된 영역(들)의 픽셀들에 대한 픽셀 값들을 생성함으로써 수행될 수 있다.
많은 실시예들에서, 제1 이미지 특성 픽셀 구조로부터 생성된 하나 이상의 픽셀 값들은 비충전된 영역(들)에 외삽될 수 있다. 다수의 충전 기법이 뷰 합성 기법의 일부인 역폐색 프로세스(de-occlusion process)로부터 알려져 있고, 임의의 그러한 적합한 알고리즘이 사용될 수 있다는 것이 인식될 것이다.
몇몇 실시예들에서, 이러한 충전은 제1 이미지 특성 픽셀 구조로부터 중간 이미지 특성 픽셀 구조를 생성함으로써 수행될 수 있으며, 제1 이미지 특성 픽셀 구조는 주변 영역들에 외삽된다. 이러한 예에서, 제1 이미지 특성 픽셀 구조의 경계 영역들을 제2 이미지 특성 픽셀 구조의 모서리 영역들로 단지 이동시키기보다는(이는 경계 영역들의 형상이 모서리 영역들의 형상과 직접 정합하지 않을 때 비충전된 영역들을 생성함), 비충전된 영역들에 대응하는 중간 이미지의 영역들이 또한 이동되어서 비충전된 영역들을 충전한다.
도 8은 제1 이미지 특성 픽셀 구조를 직사각형 이미지에 외삽함으로써 생성된 중간 이미지의 예를 도시하고 있다. 이어서 제2 프로세서(305)는 중심 영역을 제2 이미지 특성 픽셀 구조의 중심 영역에, 그리고 각각의 경계 영역에 대한 영역을 제2 이미지 특성 픽셀 구조의 모서리 영역에 복제함으로써, 그러나 복제된 영역들의 형상은 모서리 영역들의 형상과 정확하게 정합하도록 선택되어, 제2 이미지 특성 픽셀 구조를 생성할 수 있다.
영역들을 채우는 접근법의 이점은 그것이 상이한 영역들 사이의 분할들에 걸쳐 더 적은 변동을 갖고서 더 일관된 픽셀 값들을 갖는 경향이 있는 제2 이미지 특성 픽셀 구조를 제공한다는 것이다. 이것은 주어진 품질 레벨에 대한 감소된 데이터 레이트를 야기하는 더 효율적인 인코딩을 야기할 수 있다.
위의 예들은 단일 이미지의 처리에 초점을 맞췄다. 그러나, 이 접근법은 복수의 이미지들에, 예컨대 비디오 시퀀스의 개별 프레임들에 동등하게 적용될 수 있다는 것이 인식될 것이다.
또한, 몇몇 실시예들에서, 이 접근법은 병렬 이미지들에, 이를테면 예를 들어 장면의 스테레오 이미지 표현의 좌안 및 우안 이미지들에 적용될 수 있다. 그러한 경우에, 제2 프로세서(305)는 2개의 직사각형 이미지 특성 픽셀 구조들을 생성할 수 있으며, 이들은 이어서 인코딩될 수 있다. 몇몇 실시예들에서, 직사각형 이미지 특성 픽셀 구조들은 인코딩 전에 조합될 수 있다. 예를 들어, 도 9에 예시된 바와 같이, 단일 직사각형 이미지 특성 픽셀 구조가 제2 프로세서(305)에 의해 생성된 2개의 개별 이미지 특성 픽셀 구조를 병치함으로써 생성될 수 있으며, 결과적인 전체 이미지는 단일 이미지로서 인코딩될 수 있다.
따라서 전술한 장치는 설명된 제2 이미지 특성 픽셀 구조를 포함하는 매우 효율적인 이미지 신호를 생성할 수 있다. 몇몇 실시예들에서, 이미지 신호는 (예컨대, 도 3의 예에서의 제2 프로세서(305)의 출력에 대응하는) 비-인코딩된 이미지 신호일 수 있지만, 많은 실시예들에서 (예컨대, 도 3의 예에서의 인코더(307)의 출력에 대응하는) 인코딩된 이미지 신호일 것이다.
싱크/클라이언트/디코더 측이 이전의 예들에서 설명된 바와 같은 제2 이미지 특성 픽셀 구조를 포함하는 이미지 신호를 수신하고, 이것을 처리하여 원래의 제1 이미지 특성 픽셀 구조에 대응하는, 즉 뷰 구의 비-직사각형 표현에 대응하는 이미지 특성 픽셀 구조를 재생성할 수 있다는 것이 인식될 것이다.
그러한 장치의 예가 도 10에 도시되어 있다. 장치는 제2 이미지 특성 픽셀 구조에 대해 설명된 바와 같은 주어진 뷰 포인트로부터의 뷰 구를 나타내는 이미지 특성 픽셀 구조의 형태의 장면의 이미지 표현을 포함하는 이미지 신호를 수신하도록 배열된 수신기(1001)를 포함한다.
이러한 제2 이미지 특성 픽셀 구조는 도 3의 제2 프로세서에 의해 수행되는 것의 반대 동작을 수행함으로써 비-직사각형 이미지 특성 픽셀 구조를 생성하도록 배열된 반전 프로세서(1003)에 공급된다. 구체적으로, 그것은 수신된 제2 이미지 특성 픽셀 구조의 중심 영역이 생성된 이미지 특성 픽셀 구조의 중심 부분에 매핑되도록 역 픽셀 (위치) 매핑을 수행할 수 있고, 제2 이미지 특성 픽셀 구조의 모서리 영역(들)은 생성된 이미지 특성 픽셀 구조의 경계 영역들에 매핑된다.
이어서 이러한 로컬에서 생성된 비-직사각형 이미지 특성 픽셀 구조는 추가 처리를 위해 다른 기능들로 출력될 수 있다. 예를 들어, 도 10에서, 생성된 이미지 특성 픽셀 구조는 로컬 렌더러에 공급되며, 이 로컬 렌더러는 숙련된 사람에게 알려질 바와 같이 현재 관찰자 포즈에 대응하는 뷰 이미지들을 합성하기 시작할 수 있다.
위의 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분산이 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 컨트롤러들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 컨트롤러에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 언급들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 설명된 기능을 제공하기 위한 적합한 수단에 대한 언급들로 간주되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.
본 발명이 몇몇 실시예들과 관련하여 설명되었지만, 본 발명은 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구항들에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서 "부정관사(a, an)", "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구항들의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims (17)

  1. 뷰포인트(viewpoint)로부터의 장면(scene)의 특성을 나타내는 이미지 특성 픽셀 구조를 생성하기 위한 장치로서,
    상기 뷰포인트에 대한 뷰 구(view sphere)의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조인 제1 이미지 특성 픽셀 구조를 제공하는 제1 프로세서(301); 및
    2차원 직사각형 픽셀 구조이고, 상기 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 상기 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 생성하기 위한 제2 프로세서(305)로서, 상기 제1 경계 영역은 상기 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역과 중첩되지 않으며, 상기 제1 이미지 특성 픽셀 구조의 상기 중심 영역은 상기 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 상기 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 상기 제1 이미지 특성 픽셀 구조의 상기 제1 경계 영역은 상기 상부 수평선 및 상기 하부 수평선 중 상기 적어도 하나보다 더 주변에 있는, 상기 제2 프로세서(305)를 포함하는, 장치.
  2. 제1항에 있어서, 상기 제1 이미지 특성 픽셀 구조는 상기 표면의 상기 적어도 일부에 대해 균일한 해상도를 갖는, 장치.
  3. 제1항 또는 제2항에 있어서, 상기 이미지 특성 픽셀 구조의 상기 중심 영역과 상기 제1 경계 영역은 중첩되지 않는, 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제2 프로세서(305)는 상기 제1 이미지 특성 픽셀 구조의 제2 경계 영역으로부터 도출된 제2 모서리 영역을 갖도록 상기 제2 이미지 특성 픽셀 구조를 생성하도록 배열되며, 상기 제2 모서리 영역은 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역과 중첩되지 않고, 상기 제2 경계 영역은 상기 상부 경계 및 상기 하부 경계 중 상기 하나에 근접한 영역이고, 상기 제1 경계 영역과 상기 제2 경계 영역은 상기 제1 이미지 특성 픽셀 구조의 가상 수직선의 상이한 측들에 있는, 장치.
  5. 제4항에 있어서, 상기 가상 수직선은 상기 제1 경계 영역과 상기 제2 경계 영역을 분리하고, 상기 제1 경계 영역과 상기 제2 경계 영역은 상기 가상 수직선을 중심으로 미러 대칭(mirror symmetric)인, 장치.
  6. 제4항 또는 제5항에 있어서, 상기 제1 경계 영역으로부터 상기 제2 경계 영역으로의 수평 방향은 상기 제1 모서리 영역으로부터 상기 제2 모서리 영역으로의 수평 방향과 반대인, 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 모서리 영역은 상기 제1 경계 영역의 반대편 경계에 근접한, 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 제2 프로세서(305)는 상기 제2 이미지 특성 픽셀 구조의 상기 제1 모서리 영역 및 상기 중심 영역 중 적어도 하나의 픽셀들을 상기 제1 모서리 영역 및 상기 중심 영역 중 적어도 하나에 근접한 상기 제2 이미지 특성 픽셀 구조의 비충전된 영역에 외삽하도록 배열되는, 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제2 프로세서(305)는 상기 제1 경계 영역의 픽셀 값들의 시프팅(shifting), 병진, 미러링(mirroring) 및 회전 중 적어도 하나에 의해 상기 제1 모서리 영역의 픽셀 값들을 결정하도록 배열되는, 장치.
  10. 제1항에 있어서, 상기 제1 프로세서(301)는 등장방형 투영(equirectangular projection)에 의해 상기 표면의 상기 적어도 일부를 나타내는 직사각형 이미지 특성 픽셀 구조의 워핑(warping)에 의해 상기 제1 이미지 특성 픽셀 구조를 생성하도록 배열되는, 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 이미지 특성 픽셀 구조는 깊이 맵(depth map)인, 장치.
  12. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 이미지 특성 픽셀 구조는 광 강도 이미지(light intensity image)인, 장치.
  13. 출력 이미지 특성 픽셀 구조를 생성하기 위한 장치로서,
    2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 포함하는 이미지 신호를 수신하기 위한 수신기(1001)로서, 제1 이미지 특성 픽셀 구조는 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조이고, 상기 제1 경계 영역은 상기 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역과 중첩되지 않고, 상기 제1 이미지 특성 픽셀 구조의 상기 중심 영역은 상기 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 상기 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 상기 제1 이미지 특성 픽셀 구조의 상기 제1 경계 영역은 상기 상부 수평선 및 상기 하부 수평선 중 상기 적어도 하나보다 더 주변에 있는, 상기 수신기(1001), 및
    상기 뷰포인트에 대한 상기 뷰 구의 상기 표면의 상기 적어도 일부를 나타내는 비-직사각형 출력 이미지 특성 픽셀 구조를 생성하기 위한 프로세서(1003)로서, 상기 비-직사각형 출력 이미지 특성 픽셀 구조는 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역으로부터 도출된 중심 영역, 및 상기 제2 이미지 특성 픽셀 구조의 상기 제1 모서리 영역으로부터 도출된 상기 출력 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역인 경계 영역을 갖는, 상기 프로세서(1003)를 포함하는, 장치.
  14. 뷰포인트로부터의 장면의 특성을 나타내는 이미지 특성 픽셀 구조를 생성하는 방법으로서,
    상기 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조인 제1 이미지 특성 픽셀 구조를 제공하는 단계; 및
    2차원 직사각형 픽셀 구조이고, 상기 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 상기 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 생성하는 단계로서, 상기 제1 경계 영역은 상기 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역과 중첩되지 않으며, 상기 제1 이미지 특성 픽셀 구조의 상기 중심 영역은 상기 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 상기 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 상기 제1 이미지 특성 픽셀 구조의 상기 제1 경계 영역은 상기 상부 수평선 및 상기 하부 수평선 중 상기 적어도 하나보다 더 주변에 있는, 상기 제2 이미지 특성 픽셀 구조를 생성하는 단계를 포함하는, 방법.
  15. 출력 이미지 특성 픽셀 구조를 생성하기 위한 방법으로서,
    2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 상기 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 포함하는 이미지 신호를 수신하는 단계로서, 제1 이미지 특성 픽셀 구조는 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조이고, 상기 제1 경계 영역은 상기 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역과 중첩되지 않고, 상기 제1 이미지 특성 픽셀 구조의 상기 중심 영역은 상기 제2 이미지 특성 픽셀 구조의 상부 에지에 대응하는 상부 수평선 및 상기 제2 이미지 특성 픽셀 구조의 하부 에지에 대응하는 하부 수평선 중 적어도 하나에 의해 제한되고, 상기 제1 이미지 특성 픽셀 구조의 상기 제1 경계 영역은 상기 상부 수평선 및 상기 하부 수평선 중 상기 적어도 하나보다 더 주변에 있는, 상기 이미지 신호를 수신하는 단계,
    상기 뷰포인트에 대한 상기 뷰 구의 상기 표면의 상기 적어도 일부를 나타내는 비-직사각형 출력 이미지 특성 픽셀 구조를 생성하는 단계로서, 상기 비-직사각형 출력 이미지 특성 픽셀 구조는 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역으로부터 도출된 중심 영역, 및 상기 제2 이미지 특성 픽셀 구조의 상기 제1 모서리 영역으로부터 도출된 상기 출력 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역인 경계 영역을 갖는, 상기 비-직사각형 출력 이미지 특성 픽셀 구조를 생성하는 단계를 포함하는, 방법.
  16. 컴퓨터 프로그램 제품으로서, 상기 프로그램이 컴퓨터 상에서 실행될 때 제14항 또는 제15항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
  17. 이미지 신호로서, 상기 이미지 신호는, 2차원 직사각형 픽셀 구조이고, 제1 이미지 특성 픽셀 구조의 중심 영역으로부터 도출된 중심 영역, 및 상기 제1 이미지 특성 픽셀 구조의 제1 경계 영역으로부터 도출된 적어도 제1 모서리 영역을 갖는 제2 이미지 특성 픽셀 구조를 포함하며, 제1 이미지 특성 픽셀 구조는 뷰포인트에 대한 뷰 구의 표면의 적어도 일부를 나타내는 2차원 비-직사각형 픽셀 구조이고, 상기 제1 경계 영역은 상기 제1 이미지 특성 픽셀 구조의 상부 경계 및 하부 경계 중 하나에 근접한 영역이고, 적어도 하나의 모서리 섹션은 상기 제2 이미지 특성 픽셀 구조의 상기 중심 영역과 중첩되지 않는, 이미지 신호.
KR1020217026773A 2019-01-24 2020-01-16 이미지 특성 픽셀 구조의 생성 및 처리 KR20210119476A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19153580.6A EP3686833A1 (en) 2019-01-24 2019-01-24 Generating and processing an image property pixel structure
EP19153580.6 2019-01-24
PCT/EP2020/051072 WO2020152033A1 (en) 2019-01-24 2020-01-16 Generating and processing an image property pixel structure

Publications (1)

Publication Number Publication Date
KR20210119476A true KR20210119476A (ko) 2021-10-05

Family

ID=65268734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026773A KR20210119476A (ko) 2019-01-24 2020-01-16 이미지 특성 픽셀 구조의 생성 및 처리

Country Status (9)

Country Link
US (1) US20220122216A1 (ko)
EP (2) EP3686833A1 (ko)
JP (1) JP2022517499A (ko)
KR (1) KR20210119476A (ko)
CN (1) CN113330479A (ko)
BR (1) BR112021014351A2 (ko)
CA (1) CA3127405A1 (ko)
TW (1) TW202101373A (ko)
WO (1) WO2020152033A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2548358A (en) * 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
CN106375760B (zh) * 2016-10-11 2019-04-19 上海国茂数字技术有限公司 一种全景视频多边形采样方法及装置
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US10735765B2 (en) * 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images

Also Published As

Publication number Publication date
US20220122216A1 (en) 2022-04-21
JP2022517499A (ja) 2022-03-09
CA3127405A1 (en) 2020-07-30
TW202101373A (zh) 2021-01-01
EP3686833A1 (en) 2020-07-29
CN113330479A (zh) 2021-08-31
BR112021014351A2 (pt) 2021-11-23
WO2020152033A1 (en) 2020-07-30
EP3915086A1 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
US10645369B2 (en) Stereo viewing
KR102533555B1 (ko) 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
EP3437319A1 (en) Multi-camera image coding
KR20210119476A (ko) 이미지 특성 픽셀 구조의 생성 및 처리
KR20210118458A (ko) 장면을 나타내는 이미지 신호
US20220174259A1 (en) Image signal representing a scene
RU2817803C2 (ru) Сигнал изображения, представляющий сцену
JP2022522364A (ja) 画像信号を生成する装置及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal