KR102389157B1 - 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치 - Google Patents

계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치 Download PDF

Info

Publication number
KR102389157B1
KR102389157B1 KR1020170120242A KR20170120242A KR102389157B1 KR 102389157 B1 KR102389157 B1 KR 102389157B1 KR 1020170120242 A KR1020170120242 A KR 1020170120242A KR 20170120242 A KR20170120242 A KR 20170120242A KR 102389157 B1 KR102389157 B1 KR 102389157B1
Authority
KR
South Korea
Prior art keywords
image
layer
projection
hierarchical
layers
Prior art date
Application number
KR1020170120242A
Other languages
English (en)
Other versions
KR20190031943A (ko
Inventor
윤정일
곽상운
윤국진
이진환
정원식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170120242A priority Critical patent/KR102389157B1/ko
Priority to US16/135,275 priority patent/US10791313B2/en
Publication of KR20190031943A publication Critical patent/KR20190031943A/ko
Application granted granted Critical
Publication of KR102389157B1 publication Critical patent/KR102389157B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 개시는 계층 프로젝션에 기반한 전방위 입체 영상을 제공하는 방법 및 장치에 대한 것이다. 본 개시의 일 실시 예에 따른 계층 프로젝션 기반 전방위 입체 영상 제공 방법은, 공간정보 점 집합을 획득하는 단계; 및 복수의 계층 각각에 대해서 구성된 공간정보 점 부분집합에 기초하여, 상기 복수의 계층 각각에 대응하는 계층 영상을 생성하는 단계를 포함하고, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점 부분집합은, 하나 이상의 중복되는 공간정보 점을 포함할 수 있다.

Description

계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치 {METHOD AND APPARATUS FOR PROVIDING 6-DOF OMNI-DIRECTIONAL STEREOSCOPIC IMAGE BASED ON LAYER PROJECTION}
본 개시는 전방위 입체 영상에 대한 것이며, 구체적으로는 계층 프로젝션에 기반한 전방위 입체 영상을 제공하는 방법 및 장치에 대한 것이다.
전방위 입체 영상에 있어서 6-자유도(6-Degree of Freedom, 6-DoF)를 지원하는 방안이 활발하게 논의 중이다. 6-자유도는 사용자의 시점에서 X축 피치(pitch), Y축 요(yaw), Z축 롤(roll) 회전의 3DoF와 X축 좌-우, Y축 상-하, Z축 전-후 이동의 3DoF를 의미한다. 6-DoF를 지원함으로써 사용자에게 더욱 몰입감을 주는 가상현실을 제공할 수 있다.
현재 6-DoF를 지원하는 서비스는 게임이나 CG(Computer Graphics) 기술을 적용한 모델링된 객체를 기반으로 가상공간을 체험하는 서비스가 대다수를 이루고 있다. 그러나, 실사 영상 기반의 6-DoF 전방위 입체 영상을 재현하는 서비스는 전 세계적으로 연구 초기단계로서 구체적인 방안은 마련되지 않은 실정이다.
본 개시의 기술적 과제는 실사 영상 기반의 전방위 입체 영상을 효과적으로 및 효율적으로 제공하는 방법 및 장치를 제공하는 것이다.
본 개시의 추가적인 기술적 과제는 전방위 입체 영상에 있어서 계층 프로젝션을 적용하는 방법 및 장치를 제공하는 것이다.
본 개시의 추가적인 기술적 과제는 전방위 입체 영상에 있어서 계층간 홀(hole)의 발생을 방지하는 방법 및 장치를 제공하는 것이다.
본 개시의 추가적인 기술적 과제는 전방위 입체 영상의 인코딩 및 디코딩 오버헤드를 감소하는 방법 및 장치를 제공하는 것이다.
본 개시의 추가적인 기술적 과제는 전방위 입체 영상의 계층간 영상 품질의 위화감을 감소하는 방법 및 장치를 제공하는 것이다.
본 개시의 추가적인 기술적 과제는 전방위 입체 영상의 계층별 프로젝션을 통하여 깊이감을 증가시키는 방법 및 장치를 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따른 계층 프로젝션 기반 전방위 입체 영상 제공 방법은, 공간정보 점 집합을 획득하는 단계; 및 복수의 계층 각각에 대해서 구성된 공간정보 점 부분집합에 기초하여, 상기 복수의 계층 각각에 대응하는 계층 영상을 생성하는 단계를 포함하고, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점 부분집합은, 하나 이상의 중복되는 공간정보 점을 포함할 수 있다.
본 개시의 추가적인 양상에 따른 계층 프로젝션 기반 전방위 입체 영상 재생 방법은, 비디오 세그먼트를 수신하는 단계; 상기 비디오 세그먼트에 포함되는 계층 영상 비디오 세그먼트를 디코딩하여, 복수의 계층 각각에 대응하는 계층 영상 및 각각의 계층에 적용되는 메타데이터를 획득하는 단계; 및 상기 복수의 계층 각각에 대응하는 계층 영상을, 사용자의 이동 또는 회전 중의 하나 이상에 기초하여 결정되는 시점에 기초하여, 좌 시점 뷰 영상 및 우 시점 뷰 영상으로 계층별 프로젝션하는 단계를 포함하고, 상기 복수의 계층 각각에 대응하는 계층 영상에 있어서, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점에 대응하는 유효 픽셀의 부분집합은, 하나 이상의 중복되는 공간정보 점에 대응하는 유효 픽셀을 포함할 수 있다.
본 개시의 추가적인 양상에 따른 계층 프로젝션 기반 전방위 입체 영상 제공 장치는, 획득된 공간정보 점 집합으로부터 복수의 계층 각각에 대한 공간정보 점 부분집합을 구성하는, 공간정보 점 계층별 프로젝션부; 및 상기 복수의 계층 각각에 대해서 구성된 공간정보 점 부분집합에 기초하여, 상기 복수의 계층 각각에 대응하는 계층 영상을 생성하는 계층 영상 변환부를 포함하고, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점 부분집합은, 하나 이상의 중복되는 공간정보 점을 포함할 수 있다.
본 개시의 추가적인 양상에 따른 계층 프로젝션 기반 전방위 입체 영상 재생 장치는, 비디오 세그먼트를 수신하는 비디오 세그먼트 스트리밍 클라이언트; 상기 비디오 세그먼트에 포함되는 계층 영상 비디오 세그먼트를 디코딩하여, 복수의 계층 각각에 대응하는 계층 영상 및 각각의 계층에 적용되는 메타데이터를 획득하는, 계층 영상 비디오 세그먼트 디코딩부; 및 상기 복수의 계층 각각에 대응하는 계층 영상을, 사용자의 이동 또는 회전 중의 하나 이상에 기초하여 결정되는 시점에 기초하여, 좌 시점 뷰 영상 및 우 시점 뷰 영상으로 계층별 프로젝션하는, 계층 영상 계층별 프로젝션부를 포함하고, 상기 복수의 계층 각각에 대응하는 계층 영상에 있어서, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점에 대응하는 유효 픽셀의 부분집합은, 하나 이상의 중복되는 공간정보 점에 대응하는 유효 픽셀을 포함할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 복수의 계층 중에서 j 번째 계층에 대해서 구성된 공간정보 점 부분집합 Pj는,
Figure 112017090997444-pat00001
를 만족하는 공간정보 점들을 포함하고,
Figure 112017090997444-pat00002
는 프로젝션 중심을 기준으로 공간정보 점 pk의 거리를 나타내고,
Figure 112017090997444-pat00003
는 상기 프로젝션 중심을 기준으로 상기 공간정보 점 pk의 위도를 나타내고,
Figure 112017090997444-pat00004
는 상기 프로젝션 중심을 기준으로 상기 공간정보 점 pk의 경도를 나타내고, rj,min(
Figure 112017090997444-pat00005
,
Figure 112017090997444-pat00006
) 는 상기 j 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최소값을 나타내고, rj,max(
Figure 112017090997444-pat00007
,
Figure 112017090997444-pat00008
)는 상기 j 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최대값을 나타낼 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 j 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최대값과, j+1 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최소값은, rj,max(
Figure 112017090997444-pat00009
,
Figure 112017090997444-pat00010
) > rj + 1,min(
Figure 112017090997444-pat00011
,
Figure 112017090997444-pat00012
) 를 만족하도록 설정될 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 복수의 계층의 하나 이상의 각각은, 복수의 기본 계층의 병합에 의해서 구성된 상위-계층에 해당할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 복수의 계층간의 간격은 프로젝션 중심으로부터의 거리에 기초하여 설정될 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 프로젝션 중심에서 먼 계층간의 간격에 비하여, 상기 프로젝션 중심에서 가까운 계층간의 간격이 상대적으로 좁게 설정될 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 복수의 계층의 개수의 최대값 및 상기 복수의 계층의 각각에 대응하는 프로젝션 객체의 크기는 시간의 변함에 따라 변경될 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 제 1 계층의 계층 영상의 제 1 유효 픽셀은, 상기 제 1 계층에 비하여 프로젝션 중심으로부터 먼 거리에 있는 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 제 1 유효 픽셀과 동일한 픽셀 좌표에 매핑되는 제 2 유효 픽셀을 대체할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 제 1 계층의 계층 영상의 투명 픽셀은 상기 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 투명 픽셀과 동일한 픽셀 좌표에 매핑되는 유효 픽셀로 대체될 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 각각의 계층에 대한 계층 영상의 해상도는, 프로젝션되는 객체 표면 면적이 계층에 상관없이 일정하도록 설정될 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 복수의 계층 각각에 대응하는 계층 영상에 기초하여 복수의 계층 영상 비디오 세그먼트 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 복수의 계층 영상 비디오 세그먼트 데이터의 각각은, 계층별 프로파일 및 메타데이터에 기초하여 생성될 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 메타데이터는, 비디오 세그먼트 프로파일에 따른 계층 프로젝션 구조 정보, 계층 프로젝션을 구성하는데 필요한 전체 프로젝션 객체의 개수, 각각의 계층 영상에 매핑되는 각각의 프로젝션 객체의 일련 번호, 또는 각각의 프로젝션 객체의 구조 정보 중의 하나 이상을 포함할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 복수의 계층 영상 비디오 세그먼트 데이터의 조합에 기초하여 비디오 세그먼트를 생성 및 전송하는 단계를 더 포함할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 입체 영상 제공 장치는 프로젝션 병합부를 더 포함하고, 상기 복수의 계층의 하나 이상의 각각은, 상기 프로젝션 병합부에 의한 복수의 기본 계층의 병합에 의해서 구성된 상위-계층에 해당할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 입체 영상 제공 장치는, 상기 복수의 계층 각각에 대응하는 계층 영상에 기초하여 복수의 계층 영상 비디오 세그먼트 데이터를 생성하는, 계층 영상 비디오 세그먼트 인코딩부를 더 포함할 수 있다.
본 발명의 다양한 양상들 중의 하나 이상에 있어서, 상기 입체 영상 제공 장치는, 상기 복수의 계층 영상 비디오 세그먼트 데이터의 조합에 기초하여 비디오 세그먼트를 생성 및 전송하는 비디오 세그먼트 스트리밍 서버를 더 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 실사 영상 기반의 전방위 입체 영상을 효과적으로 및 효율적으로 제공하는 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 전방위 입체 영상에 있어서 계층 프로젝션을 적용하는 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 전방위 입체 영상에 있어서 계층간 홀(hole)의 발생을 방지하는 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 전방위 입체 영상의 인코딩 및 디코딩 오버헤드를 감소하는 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 전방위 입체 영상의 계층간 영상 품질의 위화감을 감소하는 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 전방위 입체 영상의 계층별 프로젝션을 통하여 깊이감을 증가시키는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시가 적용될 수 있는 사용자의 6-DoF 움직임을 설명하기 위한 도면이다.
도 2는 본 개시가 적용될 수 있는 프로젝션 영상 포맷의 예시들을 나타내는 도면이다.
도 3은 본 개시가 적용될 수 있는 360도 입체 VR 비디오 구성의 예시를 나타내는 도면이다.
도 4는 본 개시가 적용될 수 있는 360도 입체 VR 비디오 재현 방법의 예시를 나타내는 도면이다.
도 5는 본 개시에 따른 영상 계층 프로젝션 구조를 설명하기 위한 도면이다.
도 6은 본 개시에 따른 계층 프로젝션에 의한 양안 시점 뷰를 재현하는 예시를 나타내는 도면이다.
도 7은 본 개시에 따른 계층 프로젝션을 위한 시스템의 구조를 설명하기 위한 도면이다.
도 8 및 도 9는 본 개시에 따른 각각의 기본 계층에 포함되는 공간정보 점의 부분집합을 선택하는 방식에 따른, 사용자 시점 뷰 영상 재현 효과를 비교 설명하기 위한 도면이다.
도 10은 본 개시에 따른 계층 프로젝션 기반 전방위 입체 영상 신호를 인코딩 및 전송하는 동작을 설명하기 위한 흐름도이다.
도 11은 본 개시에 따른 계층 프로젝션 기반 전방위 입체 영상 신호를 수신 및 디코딩하는 동작을 설명하기 위한 흐름도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
본 개시에서 영상이라는 용어는 동영상 또는 비디오(video)를 구성하는 하나의 픽처 또는 프레임을 의미할 수 있으며, 동영상 자체를 나타낼 수도 있다. 예를 들면, "영상의 인코딩 및/또는 디코딩"은 "비디오의 인코딩 및/또는 디코딩"을 의미할 수 있으며, "비디오를 구성하는 영상들 중 하나의 영상의 인코딩 및/또는 디코딩"을 의미할 수도 있다. 여기서, 픽처는 영상과 동일한 의미를 가질 수 있다.
이하에서는, 계층 프로젝션 구조 기반 6-DoF 전방위(omni-directional) 입체(stereoscopic) 영상 제공 방법 및 장치에 대해서 설명한다. 본 개시의 영상 제공 방법 및 장치는 영상의 생성 또는 인코딩, 영상 신호의 송신, 영상 신호의 수신, 및 영상의 재현 또는 디코딩 방법 및 장치를 포함할 수 있다. 또한, 본 개시에 있어서 전방위 입체 영상이라는 용어는 360도 입체 영상이라고 칭할 수도 있다.
보다 구체적으로, 본 개시에서는 비디오 영상 기반의 프로젝션(projection)을 통한 영상 제공 방법을 확장하여, 다수의 비디오 영상을 이용한 계층화된 프로젝션 구조를 기반으로 사용자 뷰(view)의 회전과 이동에 따라 일정 범위 내에서의 6-DoF 전방위 입체 영상을 제공함으로써, 360도 입체 가상현실(Virtual Reality, VR) 서비스의 몰입감을 높일 수 있다.
도 1은 본 개시가 적용될 수 있는 사용자의 6-DoF 움직임을 설명하기 위한 도면이다.
도 1의 예시에서 사용자는 HMD(Head Mounted Display)를 착용하고, 사용자의 6-DoF 움직임에 따라 전방위 입체 영상을 재현하는 것을 나타낸다. 그러나, 본 개시의 범위가 이에 제한되는 것은 아니며, HMD가 아닌 홀로그램이나 360도 스크린 등의 다른 디스플레이 수단을 통하여 전방위 입체 영상을 재현하는 경우에도 본 개시의 실시예들이 적용될 수 있다.
도 1에서는 HMD(Head Mounted Display) 사용자의 X축 피치(pitch), Y축 요(yaw), Z축 롤(roll) 회전 3DoF와 X축 좌/우, Y축 상/하, Z축 전/후 이동 3DoF에 따른 6-DoF 움직임을 나타낸다. 6-DoF를 지원함으로써 사용자에게 더욱 몰입감을 주는 가상현실을 제공할 수 있다.
현재 6-DoF를 지원하는 서비스는 게임이나 CG(Computer Graphics) 기술을 적용한 모델링된 객체를 기반으로 가상공간을 체험하는 서비스가 대다수를 이루고 있다. 그러나, 실사 영상 기반의 6-DoF 전방위 입체 영상을 재현하는 비디오 서비스는 전 세계적으로 연구 초기단계로서 핵심 기술 확보가 시급하다.
실사 영상 기반 VR 서비스 중 360도 입체 VR 서비스는, 카메라 촬영 및 영상 처리 과정 중 다수의 영상에서 양안 시차(binocular parallax)를 제공하는 좌/우 2개의 영상 구성을 위해, 카메라 배치 구조에 따라 각 영상의 일부를 샘플링(sampling)할 수 있다. 그리고 이미지 워핑(image warping) 등의 기하학적 이미지 변형 기법을 적용하여 영상의 장면을 이어 붙이는 스티칭(stitching) 과정을 통해 샘플링된 조각 영상들을 결합할 수 있다.
도 2는 본 개시가 적용될 수 있는 프로젝션 영상 포맷의 예시들을 나타내는 도면이다.
공간감 있게 비디오 영상을 재현하기 위해서는 프로젝션 영상 포맷(projection image format)을 지정하는 것이 필요하다. 예를 들어, 도 2(a)의 예시와 같이 구(sphere) 형상의 프로젝션 형태에 따라, 정방형(equirectangular) 프로젝션 영상으로 변환할 수 있다. 또는 도 2(b)의 예시와 같이 큐브(cube) 형상의 프로젝션 형태에 따라, 큐브 맵(cube map) 프로젝션 영상으로 변환할 수도 있다.
도 2의 예시에서는 정방형(equirectangular) 및 큐브 맵(cube map) 형상의 프로젝션 영상 포맷을 나타내지만, 본 개시의 범위가 이에 제한되는 것은 아니며 다른 다양한 프로젝션 영상 포맷을 이용하는 경우에도 본 개시의 실시예들이 적용될 수 있다.
도 3은 본 개시가 적용될 수 있는 360도 입체 VR 비디오 구성의 예시를 나타내는 도면이다.
도 4는 본 개시가 적용될 수 있는 360도 입체 VR 비디오 재현 방법의 예시를 나타내는 도면이다.
도 3에서는 사용자의 좌/우 각 시점을 기준으로 양안시차가 제공되도록 처리된 영상을 구성하여 360도 입체 VR 비디오를 생성하는 예시를 나타낸다.
360도 입체 VR 비디오의 재생 과정은 도 3의 비디오에서 좌/우 각 시점 영상을 분리하고, 프로젝션 영상 포맷에 따라 영상을 도 4와 같은 기하학적 형태로 구성하고 재생하는 것을 포함할 수 있다. 이에 따라, 좌/우 뷰 영역의 영상을 디스플레이(예를 들어, HMD)의 좌/우 각 화면에 출력해 HMD 사용자의 머리 회전에 따라 주변을 둘러볼 수 있는 공간감 있는 360도 입체 영상을 제공할 수 있다.
본 개시에서 가상의 공간에 프로젝션 영상 포맷에 해당하는 구조의 가상의 프로젝션 객체(예를 들어, 구 형태)를 두고, 그 객체의 내부 표면에 영사되는 텍스처(texture)로 비디오 영상이 재생될 수 있다. 또한, 본 개시에서는 프로젝션 객체의 중심에서 사용자 좌/우 시점의 뷰 영역을 바라보고 있는 것으로 예를 들어 설명한다. 그러나, 이러한 영상 재현 방법은 사용자가 바라보는 뷰에 해당하는 영상 좌표 위치에 따라 기하학적인 연산을 통해 360도 비디오 영상에서 직접 변환되어 생성된 뷰 영상을 재현하는 방법과 동일할 수 있다.
본 개시에서는 3차원 공간에서의 프로젝션 영상 포맷에 따른 공간감 있는 영상 재현 방법을 쉽게 이해할 수 있도록, 가상의 공간상에 구성된 프로젝션 객체를 이용하여 재생하는 방식으로 설명한다. 그러나, 본 개시의 범위가 이에 제한되는 것은 아니며 구 이외의 다른 다양한 형상의 프로젝션 객체를 이용하거나, 프로젝션 객체 내에 영사되는 방식이 아닌 직접 영상을 재현하는 방식에 대해서도, 본 개시의 다양한 실시예들이 적용될 수 있다.
종래의 360도 입체 영상 제공 방식에 따르면, 영상 획득 및 좌/우 시점 영상 구성 과정에서 Z축 롤(roll) 회전이 없는 고정된 상태에서 Y축 요(yaw) 회전 방향으로 바라 볼 때에 발생하는 좌/우 시차가 제공되도록 프로젝션된 영상을 생성한다. 따라서, 요(yaw) 회전에 따른 양안시차와 제한적인 범위 내에서의 X축 피치(pitch) 회전에 따른 일부 구간의 양안시차만 제공될 수 있다. 예를 들어, 종래의 방식에 따르면 사용자의 시점을 천장으로 올리거나 바닥으로 내리면 양안시차가 점점 줄어들며 천장이나 바닥의 정점에서는 시차가 사라질 수 있다 (즉, 피치 회전과 관련된 양안시차의 제공이 어려울 수 있다).
또한 종래의 방식에 따르면 프로젝션 객체 내부 표면에 재생되는 영상 중 사용자의 뷰에 해당하는 영역을 보는 방식으로 영상이 재현된다. 따라서, 영상의 실제 장면과 동일한 기하 구조를 반영하지 못하는 프로젝션 객체 내부 표면 영상을 사용자 이동에 따라 뷰 영역을 변경하며 바라본다 하여도, 실제 공간에서의 깊이 차로 발생하는 운동시차(motion parallax)나 전 방향의 양안시차(binocular parallax)를 제공하지 못할 수도 있다.
또한, 종래의 방식에 따르면 단일한 비디오 영상에서 좌/우 각 시점의 영상을 분리하여 재현한다. 따라서, 전체 비디오 해상도에 비해 사용자가 느끼는 영상의 화질은 상대적으로 떨어지며, 특정 해상도 수준의 화질을 제공하기 위해서는 좌/우 각 시점 2개의 영상 크기를 고려하며 2배 이상 높은 해상도의 비디오 영상으로 인코딩하는 것이 요구될 수 있다.
본 개시에서는, 게임이나 CG와 같이 컴퓨터로 모델링된 객체들로 구성된 가상의 공간을 렌더링(rendering)하는 방식으로 6-DoF를 제공하는 VR 서비스가 아닌, 전방위 입체 카메라로 촬영하여 획득된 실제 공간의 실사 영상을 사용자의 6-DoF 움직임(즉, 3차원 이동 및 회전)에 따라 제공하는 VR 서비스를 제공하기 위한 방안에 대해서 설명한다.
본 개시에 따르면, 일정 공간 내에서 6-DoF의 소정의 범위 내에서의 운동시차와 양안시차를 제공하는 실제 공간에서 보이는 것과 유사한 360도 입체 영상이 제공될 수 있다. 즉, 종래기술에 따르면 양안시차 및 운동시차가 올바르게 제공되지 않는 공간 방향(예를 들어, 천장 또는 바닥의 정점)이 존재할 수 있지만, 본 개시의 예시들에 따르면 360도 공간 방향의 제한 없이 특정 시점 방향 또는 특정 운동 방향의 범위 내에서 양안시차 및 운동시차를 제공할 수 있다. 다만, 본 개시에서 운동시차와 양안시차가 제공되는 소정의 범위란 완전한 자유공간에 비하여 제한적인 범위를 의미하는 것이며, 예를 들어, 프로젝션 객체 내의 범위에 해당할 수 있다.
본 개시의 다양한 실시예들에 대한 설명에 있어서, 6-DoF 서비스 제공을 위한 3차원 공간의 영상 및 깊이 정보를 획득하는 카메라 구조나 센서는 제한되지 않는다. 즉, 본 개시의 다양한 실시예들에 있어서, 임의의 구조의 카메라와 센서를 이용하는 공간 정보 획득 기술이나 임의의 비선형적인(nonlinear) 영화적 촬영 기법을 사용해서라도 3차원 공간 영상 및 깊이 정보 데이터가 획득되어 있으며, 이 데이터가 주어진 범위 내의 사용자의 이동과 회전에 변화에 따른 운동시차와 양안시차를 제공하는데 필요한 충분한 양적, 질적 정보를 포함하고 있는 것으로 가정한다. 만일 3차원 공간 영상 및 깊이 정보 데이터가 충분히 획득되지 않은 경우, 사용자의 이동 및 회전에 따른 시차 변화 영상을 완벽하게 재현하지 못하여 영상 내에 홀(hole)이나 깨짐 현상이 발생할 수 있다.
또한 본 개시에서는 3차원 공간 영상 및 깊이 정보 데이터를 공간에서의 한 점의 3차원 좌표 값과 그 점이 영상으로 보여지는 색상, 밝기 등으로 표현하는 포인트 클라우드(point cloud) 데이터와 유사한 것으로 가정한다. 그러나, 본 개시의 다양한 실시예들은 포인트 클라우드 데이터 형식의 입력만 적용될 수 있는 것은 아니며, 3차원 공간 영상 및 깊이 정보를 표현하는 대부분의 데이터 형식에 대해서 적용되거나, 또는 임의의 데이터 형식에 대해서 필요한 변환(예를 들어, 3차원 공간상의 한 점에 대한 임의의 데이터를 RGB 값 및 깊이맵(Depthmap) 형식으로 변환)을 통하여 적용할 수 있다. 이하에서는 본 개시의 실시예들에 대한 설명의 명료성을 위해서, 임의의 형식의 3차원 공간 영상 및 깊이 정보 데이터를, "공간정보 점"이라는 용어로 칭하며, 그 데이터 표현 형식은 제한되지 않는다.
도 5는 본 개시에 따른 영상 계층 프로젝션 구조를 설명하기 위한 도면이다.
도 5의 예시를 설명하기에 앞서, 본 개시에서 하나의 프로젝션 객체는 하나의 기본 계층에 대응된다. 즉, 프로젝션 객체와 기본 계층은 일-대-일 대응관계를 가진다. 복수의 프로젝션 객체가 구성되는 경우, 복수의 프로젝션 객체의 각각은 서로 다른 하나의 기본 계층에 대응된다. 또한, 하나의 기본 계층은 하나의 기본 계층 영상을 가진다. 이에 따라, 복수의 프로젝션 객체의 각각은 서로 다른 하나의 기본 계층 영상에 대응된다.
도 5의 예시에서는 복수의 프로젝션 객체(510(nx))에 대응하는 복수의 기본 계층 영상(520(nx))의 관계를 나타낸다 (여기서, nx = 1, 2, ... ni-1, ni). 구체적으로 ni 개의 프로젝션 객체(510(1), 510(2), ... 510(ni-1), 510(ni))의 각각은 하나의 기본 계층에 일-대-일로 대응되며, ni 개의 기본 계층 영상(520(1), 520(2),... 520(ni-1), 520(ni))이 구성될 수 있다.
여기서, i는 장면의 시간적 일련 번호를 나타낸다. 즉, 하나의 i 번째 장면에 있어서 최대 ni 개의 프로젝션 객체가 구성될 수 있고, 프로젝션 객체와 기본 계층 영상은 일-대-일 관계로 대응되므로, 최대 ni 개의 계층 영상이 구성될 수 있다.
이에 따라, 복수의(즉, ni 개의) 기본 계층 영상의 조합 또는 결합으로 하나의 i 번째 장면이 표현될 수 있다. 즉, 첫 번째 계층 영상(520(1)), ..., ni-1 번째 계층 영상(520(ni-1)) 및 ni 번째 계층 영상(520(ni))의 조합으로 하나의 i 번째 장면이 구성될 수 있다. 각각의 계층 영상은 투명 픽셀과 유효 픽셀을 포함할 수 있다. 투명 픽셀은 해당 계층의 픽셀은 보이지 않고 다음 계층(즉, nx 값이 더 큰 계층)의 영상이 투과되어 보이는 픽셀을 의미한다. 유효 픽셀은 다음 계층(즉, nx 값이 더 큰 계층)의 영상이 가려지고 해당 계층의 픽셀이 보이는 픽셀을 의미한다. 하나의 계층 영상의 전체 픽셀이 유효 픽셀로 구성될 수도 있고, 하나의 계층 영상의 전체 픽셀이 투명 픽셀로 구성될 수도 있다.
또한, 도 5에서 r(nx) (여기서, nx = 1, 2, ... ni-1, ni) 는 각각의 프로젝션 객체의 크기를 나타내는 메타데이터에 해당한다. 구체적으로, 도 5에서는 프로젝션 객체가 프로젝션 구인 예시를 나타내며, 첫 번째 프로젝션 객체(510(1))의 크기는 프로젝션 구의 반지름 r(n1)으로 표현될 수 있고, ni-1 번째 프로젝션 객체(510(ni-1))의 크기는 프로젝션 구의 반지름 r(ni-1)으로 표현될 수 있고, ni 번째 프로젝션 객체(510(ni))의 크기는 프로젝션 구의 반지름 r(ni)으로 표현될 수 있다.
도 5를 참조하여 본 개시에 따른 복수의 계층 영상을 이용한 소정의 범위내에서의 6-DoF 전방위 입체 영상 재현 방안에 대해서 설명한다. 도 5의 예시에서는 구(sphere) 형상의 프로젝션 객체를 이용한 정방형(equirectangular) 프로젝션 영상을 가정하고 이를 복수의 계층 구조로 확장하는 방안에 대해서 설명한다. 그러나, 본 개시의 범위가 이에 제한되는 것은 아니며, 큐브(cube) 형상의 프로젝션 객체를 이용한 큐브 맵(cube map) 형태의 프로젝션 영상 등 다양한 프로젝션 영상 포맷을 사용하는 경우에도 이하의 예시들이 동일하게 적용될 수 있다.
도 5의 예시에 따른 계층 영상은, 실제 장면의 3차원 위치에 있어서의 색상 및 밝기를 나타내는 공간정보 점들을 프로젝션 영상 포맷에 따른 변환 과정을 통해 영상의 픽셀(pixel)로 매핑(mapping)하여 구성될 수 있다. 이를 위해서, 프로젝션 중심점에서 일정 범위의 거리에 있는 점들을 계층으로 구분하여 검색하고, 해당 계층의 프로젝션 객체 형태에 따라 영상의 픽셀로 변환하는 과정이 수행될 수 있다.
이 때 영상 픽셀 좌표계로 변환하여 프로젝션되는 공간정보 점의 픽셀을 유효 픽셀이라 칭할 수 있다. 또한, 프로젝션되지 않는, 즉, 해당 범위의 거리에 객체의 공간정보가 없는 부분의 픽셀은 투명 픽셀이라 칭한다. 투명 픽셀은 투명색으로 선택된 색상으로 채워지는 픽셀이며, 계층 영상을 프로젝션 객체 표면에 매핑하여 내부에서 바라보았을 때에 뒤 계층의 영상이 투시되는 부분에 해당한다.
또한, 하나의 프로젝션 객체에 대응하는 하나의 기본 계층의 영상을 구성하는 픽셀들은, 해당 프로젝션 객체 표면의 공간상의 위치(또는 거리 또는 깊이)에 인접한 공간정보점들의 집합에 대응할 수 있다. 즉, 프로젝션 객체의 표면과 일치하는 공간정보 점들뿐만 아니라, 프로젝션 중심으로부터 거리가 더 가까운 또는 더 먼 공간에 위치하는 공간정보 점들이, 해당 프로젝션 객체에 대응하는 기본 계층 영상의 픽셀로 표현될 수 있다.
도 6은 본 개시에 따른 계층 프로젝션에 의한 양안 시점 뷰를 재현하는 예시를 나타내는 도면이다.
도 6에서는 복수의 계층 영상을 계층 프로젝션을 이용하여 재현함에 있어서, 좌/우 양안시차와, 제한적인 6-DoF 움직임(예를 들어, 프로젝션 객체의 범위에 의해 제한되는 소정의 범위 내에서의 이동 및 회전)에 따른 운동시차를 제공하는 영상 재현을 설명하기 위한 일례를 나타낸다.
도 6(a)는 계층 프로젝션 중심에서의 좌/우 시점 뷰의 X-Z 축 단면의 예시를 나타내고, 도 6(b)는 이동 및 회전에 따른 좌/우 시점 뷰의 변화의 X-Z 축 단면의 예시를 나타낸다. 도 6의 예시에서는 설명의 편의를 위해서 X-Z 축 단면을 예시적으로 나타내지만, 360도 방향 전체에서 동일한 예시가 적용될 수 있다.
도 6(a)를 참조하면, 복수의 계층에 대응하는 복수의 계층 영상의 각각을, 해당 계층에 대응하는 프로젝션 객체 표면에 매핑하여 재생하면서, 프로젝션 객체 내부에서 좌/우 각 시점의 뷰 영상을 바라보는 것을 나타낸다. 프로젝션 객체 내부에 매핑되는 영상의 투명 픽셀 부분에서는 뒤 계층의 영상이 투과하여 보이고, 유효 픽셀 부분은 계층 구조에서 거리에 따라 중첩되어 보인다. 시점의 FoV(Field of View) 내에서 가장 앞 계층(즉, 프로젝션 중심에서 가장 거리가 가까운 계층)의 유효 픽셀이 보이기 때문에, 사용자 시점의 변화에 따른 장면의 3차원 구조에 의해 중첩되어 보이는 유효 픽셀 부분과 투명 픽셀 부분의 조합으로 구성되는 볼륨감이 있는(volumatric) 영상을 재현할 수 있다.
본 개시의 예시들에 있어서, 사용자의 이동 및 회전에 따라 소정의 범위(예를 들어, 프로젝션 객체의 범위에 의해 제한되는 범위) 내에서 양안시차와 운동시차가 발생하는 영상을 제공하기에 충분하도록, 다양한 각도와 방향에서의 공간정보 점에 해당하는 데이터가 획득되어 있는 것으로 가정한다.
만약 도 6의 예시에서 실제 3차원 공간 모습의 예시인 상자의 옆면에 해당하는 공간정보 점의 데이터가 획득되지 않은 경우에는, 상자의 옆면 부분에 해당하는 계층에 유효 픽셀이 프로젝션되지 않아서 사용자의 이동 및 회전에 따른 좌/우 뷰 영상에서 상자 옆면 부분 영상이 채워지지 않아 홀(hole)이 보일 수 있다.
또한, 공간정보 점의 데이터가 충분히 획득되어 있다고 하더라도, 획득된 공간정보를 최대한 정확히 반영할 수 있을 만큼 충분히 많은 수의 계층을 구성하지 않는 경우에도 홀이 발생할 수 있다. 예를 들어, 계층간의 거리가 촘촘하지 않게 설정된 경우에 사용자의 이동 및 회전에 따라서 홀이 발생할 수도 있다.
또한, 프로젝션 객체 표면으로부터 거리 차이가 큰 공간정보 점들을 하나의 계층으로 프로젝션 하면, 프로젝션 객체 표면과 거리가 먼 공간정보 점들일수록 실제의 데이터보다 왜곡이 큰 영상으로 재현될 가능성이 높다. 이러한 현상은 아날로그 신호를 디지털 신호로 양자화 하는 과정에서 양자화 레벨, 샘플링 레이트, 또는 조밀도(granularity)가 높을수록 신호의 품질은 좋아지지만 데이터 양이 많아지고, 낮을수록 신호의 품질은 낮아지지만 데이터 양이 적어지는 관계와 유사하다.
본 개시에 따르면 계층간의 간격을 프로젝션 중심으로부터의 거리에 기초하여 설정할 수 있다. 이에 따라, 연속하는 계층간의 간격은 일정할 수도 있고 상이할 수도 있다. 보다 구체적으로 제 1 계층과 제 2 계층간의 간격과 제 2 계층과 제 3 계층간의 간격을 동일할 수도 있고 상이할 수도 있다.
예를 들어, 프로젝션 객체의 중심에 가까울수록 계층간의 간격을 작게(또는 촘촘하게(fine)) 설정하고, 프로젝션 객체의 중심에서 멀수록 계층간의 간격을 크게(또는 듬성듬성하게(coarse)) 설정함으로써 왜곡을 저감할 수 있다. 이는, 사용자의 위치(또는 프로젝션 객체의 중심)에서 거리가 가까울수록 사용자의 이동 또는 회전에 따른 변화가 크고, 사용자의 위치(또는 프로젝션 객체의 중심)에서 거리가 멀수록 사용자의 이동 또는 회전에 따른 변화가 적다는 것을 고려한 것이다.
보다 구체적으로, 프로젝션 중심에 상대적으로 가까운 거리에 공간정보 점들이 많은 장면에서는 프로젝션 계층의 수를 늘리고, 프로젝션 중심에서 프로젝션 객체 표면까지의 거리에 비례하여 계층간의 간격을 설정할 수 있다. 즉, 프로젝션 객체의 중심에서 가까울수록 계층간의 간격이 더 촘촘하도록 프로젝션 객체의 개수와 크기를 설정할 수 있다.
또한, 본 개시에 따르면 장면 변화(즉, 비디오의 시간 흐름)에 따라서, 프로젝션 객체의 개수와 크기를 설정할 수도 있다. 도 5의 예시에서 i는 공간정보 점들의 거리 특성이 유사한 장면의 시간적 일련 번호(또는 프레임 인덱스)에 해당하고, 현재 i 번째 장면에서의 프로젝션 객체 수(또는 기본 계층의 수, 또는 기본 계층 영상의 수)의 최대값은 ni 개이며, 각각의 프로젝션 객체의 크기는 r(nx) (여기서, nx = 1, 2, ... ni-1, ni) 로 설정될 수 있다. 여기서, 본 개시에 따르면 장면에 따라 변화하는 공간정보 점들을 계층 프로젝션 방식을 통해 최대한 효과적으로 재현할 수 있도록, 프로젝션 객체의 개수(또는 계층의 개수, 또는 계층 영상의 개수)의 최대값(즉, ni)과 각 개별 프로젝션 객체의 크기 r(nx) (여기서, nx = 1, 2, ... ni-1, ni)를 시간의 흐름(즉, i 값의 변함)에 따라 변경할 수 있다.
도 7은 본 개시에 따른 계층 프로젝션을 위한 시스템의 구조를 설명하기 위한 도면이다.
도 7에서 도시하는 시스템은, 복수의 영상의 계층 프로젝션 구조 기반 6-DoF 전방위 입체 영상 서비스를 제공할 수 있다.
도 7의 예시에서 전체 시스템 입력은 i 번째 장면 내 하나의 비디오 영상 프레임(즉, i 번째 시점에 해당하는 영상)을 구성하는 공간정보 점들의 집합 P로 표현할 수 있다. 전체 시스템의 최종 출력은 사용자 디스플레이(예를 들어 HMD)에 재생 또는 재현되는 좌/우 시점 뷰 영상에 해당한다.
도 7의 시스템에 따르면, 하나의 i 번째 영상 프레임의 공간정보 점들의 집합을 프로젝션하는 복수의 계층 각각에 대해서 정해진 품질의 프로파일(profile)에 따라 계층 영상을 구성하여 인코딩하여, 결과적으로 복수의 계층 영상 비디오 세그먼트를 생성할 수 있다. 이러한 복수의 계층 영상 비디오 세그먼트의 조합 또는 집합을 비디오 세그먼트로 구성할 수 있다. 인코딩된 비디오 세그먼트는 방송망 및 통신망(또는 방송 통신 융합망)을 통하여 클라이언트(즉, 사용자) 측으로 전송될 수 있다. 여기서, 망(network)을 통하여 전송되는 비디오 세그먼트는, 망 상태에 따라서 또는 사용자 선택 또는 선호설정(preference)에 기초한 소정의 프로파일에 따라 적응적으로 구성되는 비디오 세그먼트에 해당한다. 이와 같이 적응적으로 구성된 비디오 세그먼트의 복수개가 시간의 흐름에 따라서 연속적으로 (즉, 스트리밍 방식으로) 클라이언트 측으로 전달될 수 있다.
스트리밍 방식으로는, 예를 들어, DASH(Dynamic Adaptive Streaming over HTTP) 기반의 비디오 스트리밍 방법이 적용될 수 있다. 또한, 영상 인코딩 또는 디코딩, 비디오 세그먼트의 적응적 스트리밍을 위한 송수신 기술은 특별히 제한하지 않는다. 다만, 비디오 세그먼트를 인코딩 또는 디코딩하는 과정에서 복수의 계층 영상들을 수신하여 계층 프로젝션 구조로 재현하는데 필요한 메타데이터가 함께 인코딩 또는 디코딩될 수 있다.
계층 프로젝션을 위한 메타데이터의 예시들은 다음과 같다.
- 비디오 세그먼트 프로파일에 따른 계층 프로젝션 구조 정보
- 계층 프로젝션을 구성하는데 필요한 전체 프로젝션 객체의 개수
- 각 계층 영상에 매핑되는 각 프로젝션 객체의 일련 번호
- 각 프로젝션 객체의 구조 정보 (예를 들어, 상대적 또는 절대적 크기, 및 기하학적 구조 정보(예를 들어, 구, 큐브 등))
본 개시의 메타데이터는 위와 같은 예시로 제한되는 것은 아니며, 위 예시들 중의 어느 하나 또는 복수의 조합으로 구성될 수도 있고, 추가적인 정보를 더 포함할 수도 있다.
또한, 본 개시의 예시들에 있어서 메타데이터 전송을 위한 필드(field) 데이터 구조나 세그먼트 파일 내에서의 데이터 전송 위치 등은 특별히 제한하지 않으며, 프로파일에 따라 각 계층 영상을 해당 계층의 프로젝션 구조로 재현하는데 필요한 필수적인 정보를 포함할 수 있다.
위와 같은 메타데이터는 계층 영상에 대한 메타데이터라고 칭할 수 있으며, 계층 구성에 필요한 메타데이터가 영상 데이터와 함께 계층 영상 비디오 세그먼트 인코딩부(740_1, 740_2, ..., 740_N) 및 비디오 세그먼트 메타데이터 생성부(755)로 단계적으로 전달될 수 있다.
하나의 기본 계층에 매핑되는 공간정보 점들의 범위는 다음과 같이 결정될 수 있다.
도 7의 예시에서 공간정보 점 계층별 프로젝션부(710)는, 비디오 영상의 i 번째 프레임 장면의 공간정보 점들의 전체 집합 P = {p1, p2, ..., pK} 를 입력받아서, 프로젝션 중심점으로부터 각각의 공간정보 점까지의 거리를 계산할 수 있다.
공간정보 점 계층별 프로젝션부(710)는, 프로젝션 객체의 크기(예를 들어, 프로젝션 객체가 구 형태인 경우에는 구의 반지름)에 따라 선택되는 소정의 범위의 거리에 포함되는 공간정보 점들의 부분집합을 검색하고, 상기 부분집합에 포함되는 공간정보 점의 데이터들에 대한 인덱싱을 수행할 수 있다. 예를 들어, 인덱싱은 프로젝션 중심으로부터의 거리를 기준으로 먼 거리에서 가까운 거리 순서로 정렬하며 순서를 부여하는 것을 포함할 수 있다. 즉, 프로젝션 중심점에 가까운 거리의 점일 수로 순서가 뒤로 배정된다 (또는 높은 인덱스 값을 가질 수 있다). 이러한 인덱싱은 예시적인 것일 뿐 제한되지 않으며, 프로젝션 중심점으로부터 거리가 가까운 순서대로 낮은 인덱스를 부여할 수도 있다. 또는, 프로젝션 중심점으로부터의 특정 위치를 가장 낮은 인덱스를 부여하고 특정 위치로부터 거리가 먼 순서대로 높은 인덱스를 부여할 수도 있다. 이하의 설명에서는 명료성을 위해서 프로젝션 중심으로부터 거리가 상대적으로 먼 공간정보 점에 대해서 상대적으로 낮은 인덱스를 부여하는 것을 가정한다.
본 개시에서는, 어떤 공간정보 점을 어떤 기본 계층에 매핑시키는지에 있어서, 프로젝션 중심점으로부터 r(nx) 만큼 떨어진 공간 위치에 설정되는 하나의 기본 계층에 있어서, rmin(nx) < r(nx) ≤ rmax(nx) 의 범위에 포함되는 공간정보 점들이 상기 하나의 기본 계층에 매핑되도록 설정할 수 있다. 여기서, rmin(nx) 및 rmax(nx)의 차이 값은 계층 별로 달리 설정될 수도 있고 동일하게 설정될 수도 있다. 이에 따라, 가까운 거리에 분포하는 공간정보 점들이 동일한 하나의 계층의 프로젝션에 포함될 수 있다.
또한, 본 개시에 따르면, 연속적인 두 개의 기본 계층의 각각에 대해서 구성되는 공간정보 점 부분집합에는, 적어도 하나의 중복되는 공간정보 점이 포함되도록 설정할 수 있다. 이에 따라, 사용자의 이동 또는 회전에 따라 홀이 발생하는 것을 방지할 수 있다.
여기서 연속적인 두 개의 기본 계층은 프로젝션 중심점으로부터 거리가 먼 순서대로(또는 거리가 가까운 순서대로) 기본 계층의 인덱스를 부여한 경우, 연속적인 인덱스 값을 가지는 두 개의 기본 계층에 해당한다.
즉, 공간정보 점 계층별 프로젝션부(710)는, j 번째 기본 계층에 포함되는 공간정보 점들의 부분집합인 Pj와, j+1 번째 기본 계층에 포함되는 공간정보 점들의 부분집합인 Pj + 1에 있어서, 아래의 수학식을 만족하도록 설정할 수 있다.
Figure 112017090997444-pat00013
또한, 각각의 기본 계층에 포함되는 공간정보 점들의 부분집합을 결정하는 거리(즉, 프로젝션 중심점으로부터의 거리)의 최대값 및 최소값은 일정하게 설정될 수도 있지만, 일반적으로는 아래의 수학식 2와 같이 j 번째 기본 계층에 포함되는 공간정보 점들의 부분집합을 표현할 수 있다.
Figure 112017090997444-pat00014
수학식 2에서
Figure 112017090997444-pat00015
,
Figure 112017090997444-pat00016
,
Figure 112017090997444-pat00017
는 프로젝션 중심을 기준으로 공간정보 점 pk의 거리, 위도, 경도에 각각 해당한다. 또한, rj,min(
Figure 112017090997444-pat00018
,
Figure 112017090997444-pat00019
) 및 rj,max(
Figure 112017090997444-pat00020
,
Figure 112017090997444-pat00021
)는 j 번째 기본 계층에 포함되는 공간정보 점들의 범위의 최소값 및 최대값에 해당하며, 위도 및 경도에 따라 결정될 수 있다.
여기서, 상기 수학식 1을 만족하기 위해서(즉, 연속적인 두 개의 기본 계층에는 적어도 하나의 중복되는 공간정보 점이 존재하도록), 아래의 수학식 3과 같은 관계를 만족하도록 설정될 수 있다.
Figure 112017090997444-pat00022
상기 수학식 3에 따르면, j 번째 기본 계층에 포함되는 공간정보 점들의 범위의 최대값은, j+1 번째 기본 계층에 포함되는 공간정보 점들의 범위의 최소값 보다 크게 설정될 수 있다. 이에 따라, j 번째 기본 계층에 포함되는 공간정보 점들과, j+1 번째 기본 계층에 포함되는 공간정보 점들은 적어도 일부가 중복될 수 있다.
이와 같이 연속적인 두 개의 기본 계층에는 적어도 하나의 중복되는 공간정보 점이 존재하도록 설정하는 경우, 기본 계층 별로 공간정보 점들을 분류하고 픽셀 좌표로 변환된 계층 영상으로 계층 프로젝션 구조를 재현함에 있어서, 사용자의 시점 이동 또는 회전에 따라 나타나는 계층 사이의 공간을 유효 픽셀로 채울 수 있으므로, 시점 이동 또는 회전에 따라 최대한 홀(hole)이 발생하지 않는 영상을 구성할 수 있다. 이에 따라, 마치 다시점의 영상을 이용하여 새로운 중간시점의 영상을 생성하는 과정에서 발생하는 홀 부분을, 이웃 픽셀 정보나 이웃 시점 영상을 이용하여 채우는 인페인팅(in-painting)과 유사한 효과를 얻을 수 있다.
도 8 및 도 9는 본 개시에 따른 각각의 기본 계층에 포함되는 공간정보 점의 부분집합을 선택하는 방식에 따른, 사용자 시점 뷰 영상 재현 효과를 비교 설명하기 위한 도면이다. 도 8 및 도 9의 예시에서는 설명의 편의를 위해서 X-Z 축 단면을 예시적으로 나타내지만, 360도 방향 전체에서 동일한 예시가 적용될 수 있다.
도 8의 예시는 연속하는 두 개의 기본 계층에서 중복되는 공간정보 점이 존재하지 않는 경우(예를 들어, rj,max(
Figure 112017090997444-pat00023
,
Figure 112017090997444-pat00024
) = rj + 1,min(
Figure 112017090997444-pat00025
,
Figure 112017090997444-pat00026
) 경우)에 해당한다. 즉, Pj와 Pj + 1 의 교집합의 원소는 존재하지 않는 것을 가정한다.
이 경우, 입체 영상을 재현하게 되면, 프로젝션 중심에서의 시점 뷰 영상에는 홀이 존재하지 않지만, 사용자 시점이 이동한 경우에 계층 간 공백 부분이 홀로 보이게 된다.
도 9의 예시는 연속하는 두 개의 기본 계층에서 중복되는 공간정보 점이 존재하는 경우(예를 들어, rj,max(
Figure 112017090997444-pat00027
,
Figure 112017090997444-pat00028
) > rj + 1,min(
Figure 112017090997444-pat00029
,
Figure 112017090997444-pat00030
) 경우)에 해당한다. 즉, Pj와 Pj + 1 의 교집합의 원소가 존재하는 것을 가정한다.
이 경우, 입체 영상을 재현하게 되면, 사용자 시점이 프로젝션 중심으로부터 이동한 경우에도 계층 간 공백 부분이 채워지고 홀이 발생하지 않게 된다.
다시 도 7을 참조하면 공간정보 점 계층별 프로젝션부(710)에 의해서 기본 계층 각각에 매핑되는 공간정보 점들의 부분집합이 출력될 수 있다. 프로젝션 병합부(720_1, ..., 720_M)는 둘 이상의 기본 계층을 병합하여 하나의 상위-계층을 구성할 수 있다. 또한, 복수의 기본 계층의 병합으로 구성된 상위 계층들이 복수개 존재하는 경우, 이러한 둘 이상의 상위-계층을 병합하여 하나의 상위-상위-계층을 구성할 수도 있다. 이와 같이 기본 계층을 바탕으로 다단의(hierarchical) 계층 구조를 구성할 수도 있다.
여기서, 어떤 기본 계층은 다른 기본 계층과 병합되지 않을 수도 있다. 즉, 계층 병합은 소정의 조건에 따라 선택적으로 적용될 수 있다. 예를 들어, 소정의 조건은, 이웃하는 계층들에 동일한 프로파일이 적용되는지 여부에 기초하여 결정될 수 있다.
프로젝션 병합부(720_1, ..., 720_M)는, 복수의 하위-계층에 포함되는 공간정보 점들의 합집합으로 하나의 상위-계층에 포함되는 공간정보 점들을 계산할 수 있다. 병합되는 하위-계층들은, 프로젝션 중심으로부터의 거리가 인접한 계층(또는 기본 계층)들에 해당할 수 있다.
예를 들어, 공간정보 점 계층별 프로젝션부(710)에서 출력된 j-1 번째 기본 계층, j 번째 기본 계층 및 j+1 번째 기본 계층을 병합하여 새로운 하나의 상위-계층인 m 번째 계층을 구성할 수 있다. 이 경우, m 번째 계층에 포함되는 공간정보 점들의 부분집합 P'm은 아래의 수학식 4와 같이 표현될 수 있다.
Figure 112017090997444-pat00031
수학식 4에서 연속하는 두 개의 기본 계층에 포함되는 공간정보 점들의 교집합(즉, Pj -1 ∩ Pj 및 Pj ∩ Pj + 1)에 포함되는 공간정보 점들은, 새로운 병합된 계층 P'm의 공간정보 점들의 부분집합 내에서 하나만 포함되도록(즉, 중복 데이터가 포함되지 않도록) 정리될 수 있다. 또한, P'm의 공간정보 점들의 부분집합 내에서 공간정보 점들의 인덱스가 새롭게 부여될 수 있다. 예를 들어, 병합된 계층의 공간정보 점들의 부분집합은, 병합전의 계층의 공간정보 점들의 부분집합 내의 상대적인 순서를 유지하면서 새롭게 정렬될 수 있다. 예를 들어, 계층 인덱스가 낮은(즉, 프로젝션 중심에서 거리가 먼) 계층에 포함된 공간정보 점들에 대해서 순서대로 인덱스를 부여하고, 다음 계층 인덱스에 해당하는 계층에 포함된 공간정보 점들 중에서 중복되는 것은 제외하고 나머지들에 대해서 순서대로 인덱스를 재부여할 수 있다.
이와 같은 계층 병합에 의해서, 프로파일의 적용을 단순화할 수 있다. 예를 들어, 기본 계층의 각각에 대해서 독립적인 프로파일이 적용되는 경우에, 프로파일 별로 서로 다른 계층 프로젝션 구조 및 방식에 따라서 공간정보 점의 부분집합의 선택 및 인덱싱 과정이 매번 수행될 수 있고, 이는 프로세싱 부담을 높일 수 있다. 만약 복수의 기본 계층을 병합하여 하나의 새로운 상위-계층을 구성하는 경우에, 하나의 상위-계층 대해서 하나의 프로파일이 적용될 수 있으므로, 프로세싱 부담을 줄일 수 있다.
다음으로, 계층 영상 변환부(730_1, 730_2, ..., 730_N)는, 공간정보 점 계층별 프로젝션부(710) 또는 프로젝션 병합부(720_1, ..., 720_M)에서 출력되는 계층(기본 계층 및/또는 병합된 계층) 각각에 대응되는 공간정보 점 부분집합에 대해서, 계층 영상의 픽셀 좌표 변환을 통해 영상의 유효 픽셀로 매핑시킬 수 있다.
계층 영상 변환부(730_1, 730_2, ..., 730_N)의 각각은 입력되는 공간정보 점 부분집합 내에서 공간정보 점에 부여된 인덱스 순서에 따라서 유효 픽셀로 변환시킬 수 있다. 예를 들어, 공간정보 점 인덱스는 프로젝션 중심으로부터 거리가 먼 순서대로 낮은 인덱스가 부여되어 있을 수 있다. 낮은 인덱스부터 높은 인덱스 순서대로 공간정보 점을 유효 픽셀로 매핑시키는 경우, 동일한 픽셀 좌표에 다수의 공간정보 점들이 매핑되는 경우에 별도의 비교 연산 과정 없이, 프로젝션 중심에서 가장 가까운 거리에 있는 공간정보 점의 픽셀 값이 최종적으로 계층 영상에 매핑되도록 할 수 있다. 즉, 동일한 픽셀 좌표에 매핑되는 다수의 공간정보 점들 중에서, 가장 낮은 인덱스의 공간정보 점이 먼저 계층 영상의 유효 픽셀로 변환되고, 순차적으로 높은 인덱스의 공간정보 점이 이전에 변환된 유효 픽셀을 대체하여 유효 픽셀로서 변환되고, 가장 높은 인덱스의 공간정보 점이 이전의 공간정보 점들에 기초한 유효 픽셀들을 대체하여 최종적인 유효 픽셀로서 변환될 수 있다. 또는, 프로젝션 중심점으로부터의 특정 위치를 가장 낮은 인덱스를 부여하고 특정 위치로부터 거리가 먼 순서대로 높은 인덱스를 부여하는 경우, 동일한 픽셀 좌표에 매핑되는 다수의 공간정보 점들 중에서, 가장 높은 인덱스의 공간정보 점이 먼저 계층 영상의 유효 픽셀로 변환되고, 순차적으로 낮은 인덱스의 공간정보 점이 이전에 변환된 유효 픽셀을 대체하여 유효 픽셀로서 변환되고, 가장 낮은 인덱스의 공간정보 점이 이전의 공간정보 점들에 기초한 유효 픽셀들을 대체하여 최종적인 유효 픽셀로서 변환될 수 있다.
예를 들어, 제 1 계층이 제 2 계층에 비하여 프로젝션 중심으로부터 상대적으로 가까운 거리에 위치하는 경우, 제 1 계층의 계층 영상의 제 1 유효 픽셀은, 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 제 1 유효 픽셀과 동일한 픽셀 좌표에 매핑되는 제 2 유효 픽셀을 대체할 수 있다. 즉, 동일 픽셀에 다수의 공간정보 점이 반복적으로 매핑될 수 있으나, 마지막에 매핑되는 공간정보 점의 픽셀 정보가 남겨지도록 할 수 있다.
한편, 제 1 계층이 제 2 계층에 비하여 프로젝션 중심으로부터 상대적으로 가까운 거리에 위치하는 경우, 제 1 계층의 계층 영상의 투명 픽셀은 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 투명 픽셀과 동일한 픽셀 좌표에 매핑되는 유효 픽셀로 대체될 수 있다.
또한, 계층 영상 변환부(730_1, 730_2, ..., 730_N)에서 생성되는 각각의 계층 영상의 해상도는 크게 2가지 방식으로 결정할 수 있다.
첫 번째 방식에 따르면, 모든 계층 영상의 해상도를 동일하게 설정할 수 있다. 이에 따라, 영상의 픽셀이 프로젝션되는 객체 표면의 면적(예를 들어, 하나의 픽셀의 크기)가 계층 별로 달라질 수 있다. 이 경우, 각 계층 영상을 계층 프로젝션하여 중첩된 영상을 볼 때에, 상대적으로 앞 계층(즉, 프로젝션 중심에서 거리가 가까운 계층)에 비해 뒤 계층(즉, 프로젝션 중심에서 거리가 먼 계층)의 화질이 떨어질 수 있다. 또한, 뒤 계층의 한 개의 픽셀이 표현하는 면적의 크기가 앞 계층에 비하여 상대적으로 커짐에 따라, 계층 간의 깊이감이 왜곡된 영상이 재생될 수 있다.
두 번째 방식에 따르면, 프로젝션되는 객체 표면 면적(예를 들어, 하나의 픽셀의 크기)이 계층에 상관없이 일정하도록 각각의 계층 영상의 해상도를 상이하게 결정할 수 있다. 이에 따라, 계층 영상의 해상도가 상대적으로 프로젝션 객체의 크기에 비례하여 커질 수 있다. 이 경우, 서로 다른 계층의(즉, 프로젝션 중심으로부터 거리가 상이한) 계층 영상들이 유사한 화질을 제공할 수 있다.
본 개시의 실시예에 따르면, 사용자의 시점 이동에 무관하게 모든 계층이 최대한 유사한 품질의 영상을 제공할 수 있도록, 두 번째 방식에 따라 계층 영상 별로 상이한 해상도를 적용할 수 있다.
계층 영상 변환부(730_1, 730_2, ..., 730_N)에서 출력되는 계층별 영상들은 계층 영상 비디오 세그먼트 인코딩부(740_1, 740_2, ..., 740_N)에서 인코딩될 수 있다. 계층 영상별 인코딩을 위해서, 각각의 계층 영상에 적용되는 프로파일(profile 1, profile 2, ..., profile N)에 따라서 계층 영상 및 계층별 프로젝션 구조에 따른 메타데이터(즉, 계층 영상에 대한 메타데이터)가 제공될 수 있다. 인코딩된 결과는 계층 영상 비디오 세그먼트(750_1, 750_2, ..., 750_N) 데이터의 형태로 출력될 수 있다. 즉, 제 1 프로파일(profile 1)에 따라서 인코딩된 계층 영상은 계층 영상 비디오 세그먼트(750_1) 데이터로서 출력되고, 제 2 프로파일(profile 2)에 따라서 인코딩된 계층 영상은 계층 영상 비디오 세그먼트(750_2) 데이터로서 출력되고, 제 N 프로파일(profile N)에 따라서 인코딩된 계층 영상은 계층 영상 비디오 세그먼트(750_N) 데이터로서 출력될 수 있다.
계층 영상 비디오 세그먼트(750_1, 750_2, ..., 750_N) 데이터는 비디오 세그먼트 스트리밍 서버(760)로 전달될 수 있다. 비디오 세그먼트 스트리밍 서버(760)는 비디오 세그먼트 메타데이터 생성부(755)로부터 제공되는 메타데이터에 기초하여 스트리밍에 적합한 데이터를 적응적으로 생성할 수 있다.
예를 들어, 비디오 세그먼트 생성부(755)로부터 제공되는 메타데이터는, 계층 영상 비디오 세그먼트의 인코딩에 적용되는 메타데이터(즉, 계층 영상에 대한 메타데이터)에 추가적으로 비디오 세그먼트에 적용되는 메타데이터(즉, 스트리밍 기법(예를 들어, DASH)에 따른 비디오 세그먼트를 구성하기 위해서 필요한 메타데이터)를 더 포함할 수 있다.
비디오 세그먼트 스트리밍 서버(760)는 통신망 및/또는 방송망을 통하여 비디오 세그먼트 스트리밍 클라이언트(770)로 비디오 세그먼트 데이터를 스트리밍 방식으로 순차적으로 전송할 수 있다.
예를 들어, 비디오 스트리밍 방식으로는 방송통신 융합망 기반의 DASH 기술이 적용될 수도 있다.
또한, 망 상태에 적합한, 또는 사용자가 선택한 프로파일의 비디오 세그먼트에 대한 요청 정보가 비디오 세그먼트 스트리밍 클라이언트(770)로부터 비디오 세그먼트 스트리밍 서버(760)에게 요청될 수도 있다. 비디오 세그먼트 스트리밍 서버(760)는 메타데이터(즉, 계층 영상에 대한 메타데이터 및 비디오 세그먼트에 적용되는 메타데이터), 프로파일, 망 상태 등을 종합적으로 고려하여 적응적으로 비디오 세그먼트를 구성하고 이를 클라이언트 측으로 스트리밍 방식으로 전송할 수 있다.
계층 영상 비디오 세그먼트 디코딩부(780)는 비디오 세그먼트 스트리밍 클라이언트(770)에서 전달된 비디오 세그먼트를 디코딩하여 계층 영상들 및 계층별 프로젝션 구조에 대한 메타데이터(즉, 계층 영상에 대한 메타데이터 및 비디오 세그먼트에 적용되는 메타데이터)를 추출할 수 있다. 추출된 정보는 계층 영상 계층별 프로젝션부(790)로 전달될 수 있다.
계층 영상 계층별 프로젝션부(790)는 계층 영상 비디오 세그먼트 디코딩부(780)에서 디코딩된 프로파일에 해당되는 계층 영상들과 프로젝션 구조 메타데이터(즉, 계층 영상에 대한 메타데이터)를 이용하여 도 5 및 도 9의 예시와 같이 영상의 계층 프로젝션을 구성할 수 있다. 이에 따라, 사용자 측에 구비된 센서로부터 사용자의 이동/회전 상태 정보에 기초하여, 좌/우 시점 뷰에 해당하는 영상을 디스플레이(예를 들어, HMD)에 출력할 수 있다.
또한, 계층 영상 비디오 세그먼트 디코딩부(780)에서 출력되는 각 계층 영상을 계층 프로젝션 방식으로 구성하는 과정에서 보다 깊이감 있는 영상을 재현할 수 있도록, 계층 영상 계층별 프로젝션부(790)에 계층 영상 별로 PSF(Point Spread Function) 필터 설정 정보가 제공될 수 있다. 이에 따라, 계층 영상 계층별 프로젝션부(790)는, PSF 필터를 각 계층 영상과 컨벌루션(convolution) 연산하여 영상의 블러링(blurring) 정도를 조절함으로써, 사용자가 체감하는 뷰 영상에 DoF(Depth of Field) 효과를 극대화할 수 있다.
본 개시의 다양한 실시예들에 따르면, 복수의 영상을 기반으로 계층화된 프로젝션 구조로 소정의 범위 내에서 사용자의 6-DoF 회전 및 이동에 의한 시차 변화가 발생하는 전방위 입체 영상을 재현할 수 있다. 또한, 본 개시에서는 실사 영상을 이용하기 때문에, 기존의 360도 비디오의 인코딩/디코딩 및 송수신 기술을 그대로 적용할 수 있어 관련 기술이나 장비를 재활용할 수 있으며, 계층 프로젝션 구조 재현을 위한 메타데이터 추가 정도의 기능 확장으로 본 개시에 따른 실시예들을 용이하게 적용할 수 있다.
또한, 본 개시에 따른 계층 프로젝션 재현에 사용되는 각각의 계층 영상은, 각각의 계층(즉, 각각의 깊이)에서의 공간정보를 포함한 유효 픽셀과 뒤 계층이 보이도록 투명색으로 할당된 투명 픽셀로 구성되기 때문에, 투명 픽셀의 공간적인 분포와 비율에 따라 비디오의 압축률이 높아진다. 따라서 영상 내 장면의 일부 전면 부분이 포함된 계층이나 부분적인 옆면에 대한 유효 픽셀 정보가 포함된 중간 계층 영상은, 배경에 해당하는 계층 영상에 비하여 투명 픽셀이 차지하는 비율이 높기 때문에, 계층 영상의 개수에 비해 압축된 전체 비디오의 크기는 상대적으로 크게 증가하지 않아 저장 및 전송의 오버헤드가 감소하는 유리한 효과를 가질 수 있다.
또한, 본 개시의 실시예들에 따르면, 거리(또는 깊이)에 따라 세분화된 계층의 개수를 증가시키거나 계층간 간격을 촘촘하게 설정함으로써 실제 장면을 재현하는 정확도를 높일 수 있다. 물론 계층의 개수 증가 및 계층간 좁은 간격 설정에 따라서 데이터 크기가 증가될 수 있지만, 재생에 필요한 비디오 영상 개수는 증가하더라도 세분화된 중간 계층의 영상에서 투명 픽셀이 차지하는 비율이 높고 인접 계층 영상 간의 유사도가 높아지기 때문에, 영상 압축이 용이하고 높은 압축 효율을 달성할 수 있다. 따라서, 본 개시의 실시예들에 의하면, 전송되는 비디오 스트림의 비트 레이트가 크게 증가하지 않으면서도 재현 품질을 높일 수 있다.
도 10은 본 개시에 따른 계층 프로젝션 기반 전방위 입체 영상 신호를 인코딩 및 전송하는 동작을 설명하기 위한 흐름도이다.
도 10의 동작은 인코딩 측의 장치에 의해서 수행될 수 있다.
단계 S1010에서 i 번째 장면의 공간정보 점 집합을 획득할 수 있다.
단계 S1020에서 ni 개의 기본 계층의 각각에 대해서 공간정보 점 부분집합을 구성할 수 있다. 여기서 연속하는 두 기본 계층 사이에 적어도 하나의 중복되는 공간정보 점이 존재하도록 각각의 부분집합을 구성할 수 있다. 또한, 기본 계층간 간격은 프로젝션 중심에 가까울수록 촘촘하게 설정될 수 있다. 또한, 프로젝션 객체(또는 계층 또는 계층 영상) 개수의 최대값인 ni, 및 프로젝션 객체의 크기인 r(nx) (여기서, nx = 1, 2, ... ni-1, ni)는 i 값에 기초하여 결정될 수 있다.
단계 S1025에서 소정의 조건이 만족하는 경우에 ni 개의 기본 계층을 M 개의 상위-계층으로 병합할 수 있다. 여기서 소정의 조건은 이웃하는 계층의 프로파일이 동일한 경우 등을 포함할 수 있다.
단계 S1030에서 계층 영상 변환이 수행될 수 있다. 예를 들어, 하나의 기본 계층 또는 병합된 계층에 포함되는 공간정보 점에 부여된 인덱스 순서에 따라서 유효 픽셀로 변환시킬 수 있다. 또한, 프로젝션되는 객체 표면 면적(예를 들어, 하나의 픽셀의 크기)이 계층에 상관없이 일정하도록 각각의 계층 영상의 해상도를 상이하게 결정할 수 있다.
단계 S1040에서 계층 영상 비디오 세그먼트 데이터를 생성할 수 있다. 계층 영상 비디오 세그먼트는, 계층 영상, 계층 프로젝션 구조에 대한 메타데이터(즉, 계층 영상에 대한 메타데이터) 및 계층별 프로파일에 따라서 생성될 수 있다.
단계 S1050에서 비디오 세그먼트가 전송될 수 있다. 비디오 세그먼트는 계층 영상 비디오 세그먼트들 및 비디오 세그먼트 메타데이터(즉, 비디오 세그먼트에 적용되는 메타데이터)에 기초하여 구성될 수 있다. 이에 따라, i 번째 장면(또는 영상 프레임)에 대한 비디오 세그먼트가 전송되고, 후속하여 i+1 번째 장면(또는 영상 프레임)에 대한 비디오 세그먼트가 전술한 단계 S1010 내지 S1040과 동일한 방식으로 구성 및 전송될 수 있다. 이와 같이 연속하는 장면에 대한 비디오 세그먼트가 스트리밍 방식으로 전송될 수 있다. 또는, 연속하는 장면에 대한 비디오 세그먼트가 미리 생성되고, 생성된 비디오 세그먼트가 스트리밍 방식으로 전송될 수도 있다.
도 11은 본 개시에 따른 계층 프로젝션 기반 전방위 입체 영상 신호를 수신 및 디코딩하는 동작을 설명하기 위한 흐름도이다.
도 11의 동작은 디코딩 측의 장치에 의해서 수행될 수 있다.
단계 S1110에서 i 번째 장면에 대한 비디오 세그먼트를 수신할 수 있다.
단계 S1120에서 계층 영상 비디오 세그먼트를 디코딩하여, 각각의 프로파일에 해당하는 계층 영상들 및 계층별 프로젝션 구조에 대한 메타데이터(즉, 계층 영상에 대한 메타데이터 및 비디오 세그먼트에 적용되는 메타데이터)를 추출할 수 있다.
단계 S1130에서 계층 영상에 대해서 계층별 프로젝션이 수행될 수 있다. 계층 영상들과 메타데이터(즉, 계층 영상에 대한 메타데이터)를 이용하여 도 5 및 도 9의 예시와 같이 계층 프로젝션을 구성할 수 있다.
여기서, 복수의 계층 각각에 대응하는 계층 영상에 있어서, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점에 대응하는 유효 픽셀의 부분집합은, 하나 이상의 중복되는 공간정보 점에 대응하는 유효 픽셀을 포함할 수 있다. 즉, 연속하는 제 1 및 제 2 계층에 있어서, 제 1 계층에 대응하는 계층 영상의 유효 픽셀들의 일부분은 제 2 계층에 대응하는 계층 영상의 유효 픽셀들의 일부분과 동일한 공간정보 점에 중복 대응할 수 있다.
단계 S1140에서 사용자의 이동 또는 회전 상태를 고려하여, 좌/우 시점 뷰에 해당하는 영상을 구성하고, 이를 디스플레이할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
510 프로젝션 객체
520 기본 계층 영상
710 계층별 프로젝션부
720 프로젝션 병합부
730 계층 영상 변환부
740 계층 영상 비디오 세그먼트 인코딩부
750 계층 영상 비디오 세그먼트
755 비디오 세그먼트 메타데이터 생성부
760 비디오 세그먼트 스트리밍 서버
770 비디오 세그먼트 스트리밍 클라이언트
780 계층 영상 비디오 세그먼트 디코딩부
790 계층 영상 계층별 프로젝션부

Claims (20)

  1. 계층 프로젝션 기반 전방위 입체 영상 제공 방법에 있어서,
    공간정보 점 집합을 획득하는 단계; 및
    복수의 계층 각각에 대해서 구성된 공간정보 점 부분집합에 기초하여, 상기 복수의 계층 각각에 대응하는 계층 영상을 생성하는 단계를 포함하고,
    연속하는 두 계층의 각각에 대해서 구성된 공간정보 점 부분집합은, 하나 이상의 중복되는 공간정보 점을 포함하고,
    제 1 계층의 계층 영상의 제 1 유효 픽셀은, 상기 제 1 계층에 비하여 프로젝션 중심으로부터 먼 거리에 있는 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 제 1 유효 픽셀과 동일한 픽셀 좌표에 매핑되는 제 2 유효 픽셀을 대체하는,
    입체 영상 제공 방법.
  2. 제 1 항에 있어서,
    상기 복수의 계층 중에서 j 번째 계층에 대해서 구성된 공간정보 점 부분집합 Pj는,
    Figure 112017090997444-pat00032

    를 만족하는 공간정보 점들을 포함하고,
    Figure 112017090997444-pat00033
    는 프로젝션 중심을 기준으로 공간정보 점 pk의 거리를 나타내고,
    Figure 112017090997444-pat00034
    는 상기 프로젝션 중심을 기준으로 상기 공간정보 점 pk의 위도를 나타내고,
    Figure 112017090997444-pat00035
    는 상기 프로젝션 중심을 기준으로 상기 공간정보 점 pk의 경도를 나타내고,
    rj,min(
    Figure 112017090997444-pat00036
    ,
    Figure 112017090997444-pat00037
    ) 는 상기 j 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최소값을 나타내고,
    rj,max(
    Figure 112017090997444-pat00038
    ,
    Figure 112017090997444-pat00039
    )는 상기 j 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최대값을 나타내는, 입체 영상 제공 방법.
  3. 제 2 항에 있어서,
    상기 j 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최대값과, j+1 번째 계층에 대해서 구성되는 공간정보 점들의 범위의 최소값은,
    rj,max(
    Figure 112017090997444-pat00040
    ,
    Figure 112017090997444-pat00041
    ) > rj + 1,min(
    Figure 112017090997444-pat00042
    ,
    Figure 112017090997444-pat00043
    )
    를 만족하도록 설정되는, 입체 영상 제공 방법.
  4. 제 1 항에 있어서,
    상기 복수의 계층의 하나 이상의 각각은, 복수의 기본 계층의 병합에 의해서 구성된 상위-계층에 해당하는, 입체 영상 제공 방법.
  5. 제 1 항에 있어서,
    상기 복수의 계층간의 간격은 프로젝션 중심으로부터의 거리에 기초하여 설정되는, 입체 영상 제공 방법.
  6. 제 5 항에 있어서,
    상기 프로젝션 중심에서 먼 계층간의 간격에 비하여, 상기 프로젝션 중심에서 가까운 계층간의 간격이 상대적으로 좁게 설정되는, 입체 영상 제공 방법.
  7. 제 1 항에 있어서,
    상기 복수의 계층의 개수의 최대값 및 상기 복수의 계층의 각각에 대응하는 프로젝션 객체의 크기는 시간의 변함에 따라 변경되는, 입체 영상 제공 방법.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 제 1 계층의 계층 영상의 투명 픽셀은 상기 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 투명 픽셀과 동일한 픽셀 좌표에 매핑되는 유효 픽셀로 대체되는, 입체 영상 제공 방법.
  10. 제 1 항에 있어서,
    각각의 계층에 대한 계층 영상의 해상도는, 프로젝션되는 객체 표면 면적이 계층에 상관없이 일정하도록 설정되는, 입체 영상 제공 방법.
  11. 제 1 항에 있어서,
    상기 복수의 계층 각각에 대응하는 계층 영상에 기초하여 복수의 계층 영상 비디오 세그먼트 데이터를 생성하는 단계를 더 포함하는, 입체 영상 제공 방법.
  12. 제 11 항에 있어서,
    상기 복수의 계층 영상 비디오 세그먼트 데이터의 각각은, 계층별 프로파일 및 메타데이터에 기초하여 생성되는, 입체 영상 제공 방법.
  13. 제 12 항에 있어서,
    상기 메타데이터는, 비디오 세그먼트 프로파일에 따른 계층 프로젝션 구조 정보, 계층 프로젝션을 구성하는데 필요한 전체 프로젝션 객체의 개수, 각각의 계층 영상에 매핑되는 각각의 프로젝션 객체의 일련 번호, 또는 각각의 프로젝션 객체의 구조 정보 중의 하나 이상을 포함하는, 입체 영상 제공 방법.
  14. 제 11 항에 있어서,
    상기 복수의 계층 영상 비디오 세그먼트 데이터의 조합에 기초하여 비디오 세그먼트를 생성 및 전송하는 단계를 더 포함하는, 입체 영상 제공 방법.
  15. 계층 프로젝션 기반 전방위 입체 영상 재생 방법에 있어서,
    비디오 세그먼트를 수신하는 단계;
    상기 비디오 세그먼트에 포함되는 계층 영상 비디오 세그먼트를 디코딩하여, 복수의 계층 각각에 대응하는 계층 영상 및 각각의 계층에 적용되는 메타데이터를 획득하는 단계; 및
    상기 복수의 계층 각각에 대응하는 계층 영상을, 사용자의 이동 또는 회전 중의 하나 이상에 기초하여 결정되는 시점에 기초하여, 좌 시점 뷰 영상 및 우 시점 뷰 영상으로 계층별 프로젝션하는 단계를 포함하고,
    상기 복수의 계층 각각에 대응하는 계층 영상에 있어서, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점에 대응하는 유효 픽셀의 부분집합은, 하나 이상의 중복되는 공간정보 점에 대응하는 유효 픽셀을 포함하고,
    제 1 계층의 계층 영상의 제 1 유효 픽셀은, 상기 제 1 계층에 비하여 프로젝션 중심으로부터 먼 거리에 있는 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 제 1 유효 픽셀과 동일한 픽셀 좌표에 매핑되는 제 2 유효 픽셀을 대체하는,
    입체 영상 재생 방법.
  16. 계층 프로젝션 기반 전방위 입체 영상 제공 장치에 있어서,
    획득된 공간정보 점 집합으로부터 복수의 계층 각각에 대한 공간정보 점 부분집합을 구성하는, 공간정보 점 계층별 프로젝션부; 및
    상기 복수의 계층 각각에 대해서 구성된 공간정보 점 부분집합에 기초하여, 상기 복수의 계층 각각에 대응하는 계층 영상을 생성하는 계층 영상 변환부를 포함하고,
    연속하는 두 계층의 각각에 대해서 구성된 공간정보 점 부분집합은, 하나 이상의 중복되는 공간정보 점을 포함하고,
    제 1 계층의 계층 영상의 제 1 유효 픽셀은, 상기 제 1 계층에 비하여 프로젝션 중심으로부터 먼 거리에 있는 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 제 1 유효 픽셀과 동일한 픽셀 좌표에 매핑되는 제 2 유효 픽셀을 대체하는,
    입체 영상 제공 장치.
  17. 제 16 항에 있어서,
    상기 입체 영상 제공 장치는 프로젝션 병합부를 더 포함하고,
    상기 복수의 계층의 하나 이상의 각각은, 상기 프로젝션 병합부에 의한 복수의 기본 계층의 병합에 의해서 구성된 상위-계층에 해당하는, 입체 영상 제공 장치.
  18. 제 16 항에 있어서,
    상기 입체 영상 제공 장치는, 상기 복수의 계층 각각에 대응하는 계층 영상에 기초하여 복수의 계층 영상 비디오 세그먼트 데이터를 생성하는, 계층 영상 비디오 세그먼트 인코딩부를 더 포함하는, 입체 영상 제공 장치.
  19. 제 18 항에 있어서,
    상기 입체 영상 제공 장치는, 상기 복수의 계층 영상 비디오 세그먼트 데이터의 조합에 기초하여 비디오 세그먼트를 생성 및 전송하는 비디오 세그먼트 스트리밍 서버를 더 포함하는, 입체 영상 제공 장치.
  20. 계층 프로젝션 기반 전방위 입체 영상 재생 장치에 있어서,
    비디오 세그먼트를 수신하는 비디오 세그먼트 스트리밍 클라이언트;
    상기 비디오 세그먼트에 포함되는 계층 영상 비디오 세그먼트를 디코딩하여, 복수의 계층 각각에 대응하는 계층 영상 및 각각의 계층에 적용되는 메타데이터를 획득하는, 계층 영상 비디오 세그먼트 디코딩부; 및
    상기 복수의 계층 각각에 대응하는 계층 영상을, 사용자의 이동 또는 회전 중의 하나 이상에 기초하여 결정되는 시점에 기초하여, 좌 시점 뷰 영상 및 우 시점 뷰 영상으로 계층별 프로젝션하는, 계층 영상 계층별 프로젝션부를 포함하고,
    상기 복수의 계층 각각에 대응하는 계층 영상에 있어서, 연속하는 두 계층의 각각에 대해서 구성된 공간정보 점에 대응하는 유효 픽셀의 부분집합은, 하나 이상의 중복되는 공간정보 점에 대응하는 유효 픽셀을 포함하고,
    제 1 계층의 계층 영상의 제 1 유효 픽셀은, 상기 제 1 계층에 비하여 프로젝션 중심으로부터 먼 거리에 있는 제 2 계층의 계층 영상의 유효 픽셀 중에서 상기 제 1 유효 픽셀과 동일한 픽셀 좌표에 매핑되는 제 2 유효 픽셀을 대체하는,
    입체 영상 재생 장치.
KR1020170120242A 2017-09-19 2017-09-19 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치 KR102389157B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170120242A KR102389157B1 (ko) 2017-09-19 2017-09-19 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
US16/135,275 US10791313B2 (en) 2017-09-19 2018-09-19 Method and apparatus for providing 6DoF omni-directional stereoscopic image based on layer projection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170120242A KR102389157B1 (ko) 2017-09-19 2017-09-19 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190031943A KR20190031943A (ko) 2019-03-27
KR102389157B1 true KR102389157B1 (ko) 2022-04-21

Family

ID=65721646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170120242A KR102389157B1 (ko) 2017-09-19 2017-09-19 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치

Country Status (2)

Country Link
US (1) US10791313B2 (ko)
KR (1) KR102389157B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
KR102472156B1 (ko) * 2018-04-19 2022-11-30 삼성전자주식회사 전자 장치 및 그 깊이 정보 생성 방법
US20230005101A1 (en) * 2019-12-19 2023-01-05 Sony Group Corporation Information processing apparatus, information processing method, and recording medium
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media
US11956409B2 (en) * 2021-08-23 2024-04-09 Tencent America LLC Immersive media interoperability
CN115134574B (zh) * 2022-06-24 2023-08-01 咪咕视讯科技有限公司 动态元数据生成方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170244948A1 (en) * 2015-04-15 2017-08-24 Lytro, Inc. Spatial random access enabled video system with a three-dimensional viewing volume

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
KR100751422B1 (ko) 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
KR100806201B1 (ko) 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
KR101854003B1 (ko) 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
CN106688231A (zh) 2014-09-09 2017-05-17 诺基亚技术有限公司 立体图像记录和回放
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
KR102458339B1 (ko) 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170244948A1 (en) * 2015-04-15 2017-08-24 Lytro, Inc. Spatial random access enabled video system with a three-dimensional viewing volume

Also Published As

Publication number Publication date
US10791313B2 (en) 2020-09-29
KR20190031943A (ko) 2019-03-27
US20190089943A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
KR102389157B1 (ko) 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
US11381801B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US20220254126A1 (en) Layered augmented entertainment experiences
KR20190038664A (ko) 비디오 데이터의 콘텐츠 기반 스트림 분할
KR102499904B1 (ko) 가상 현실 미디어 콘텐트 내에 포함시키기 위해 실세계 장면의 맞춤화된 뷰의 가상화된 투영을 생성하기 위한 방법들 및 시스템들
EP3857899B1 (en) Image synthesis
US10769754B2 (en) Virtual reality cinema-immersive movie watching for headmounted displays
KR102417959B1 (ko) 3차원 입체 콘텐츠 제공 장치 및 그 방법
KR20210036795A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
WO2022259632A1 (ja) 情報処理装置及び情報処理方法
TW202046716A (zh) 表示場景之影像信號

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant