KR20180112708A - 고화질 360도 vr 영상 처리 장치 및 방법 - Google Patents

고화질 360도 vr 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20180112708A
KR20180112708A KR1020180038472A KR20180038472A KR20180112708A KR 20180112708 A KR20180112708 A KR 20180112708A KR 1020180038472 A KR1020180038472 A KR 1020180038472A KR 20180038472 A KR20180038472 A KR 20180038472A KR 20180112708 A KR20180112708 A KR 20180112708A
Authority
KR
South Korea
Prior art keywords
information
degree
image
resolution
interest
Prior art date
Application number
KR1020180038472A
Other languages
English (en)
Inventor
윤국진
정준영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20180112708A publication Critical patent/KR20180112708A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65—Arrangements characterised by transmission systems for broadcast
    • H04H20/71—Wireless systems
    • H04H20/72—Wireless systems of terrestrial networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65—Arrangements characterised by transmission systems for broadcast
    • H04H20/76—Wired systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

고화질의 360도 VR 영상을 제공하기 위한 장치 및 방법이 제공된다. 본 개시의 360도 VR 영상 복호화 방법은 360도 VR(Virtual Reality) 영상 정보를 포함하는 비트스트림을 수신하는 단계, 비트스트림으로부터 360도 VR 서비스와 관련된 정보를 복호화하는 단계, 360도 VR 서비스와 관련된 정보에 기초하여 관심 영역을 검출하는 단계 및 관심 영역에 대해 360도 VR 영상을 사용자에게 제공하는 단계를 포함한다.

Description

고화질 360도 VR 영상 처리 장치 및 방법{HIGH QUALITY 360 DEGREE VIRTUAL REALITY IMAGE PROCESSING APPARATUS AND METHOD}
본 개시는 고화질 360도 VR 영상 처리 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 고화질 360도 VR 방송 서비스에 관한 시그널링 정보를 제공하고, 또한 사용자의 관심 영역에 대해 고화질 360도 VR 영상을 제공하는 장치 및 방법에 관한 것이다.
디지털 방송의 출현은 방송국에서 일방적으로 송출한 신호를 시청하던 전통적 방송 방식을 사용자가 원하는 시간에 원하는 콘텐츠만을 선택적으로 시청할 수 있는 형태로 변화시켰다. 또한 광대역 전송 기술의 발전은 대역폭 한계를 극복하면서 시청자에게 4K 이상의 고화질 실감 미디어(예를 들어, UHDTV, 3DTV 등)를 제공할 수 있는 실감형 방송서비스를 제공할 수 있게 되었다
360도 가상현실(virtual reality, VR) 미디어는 시청자에게 전방위 영상을 제공함으로써 원하는 뷰(view)를 선택하여 볼 수 있는 미디어로서, 최근 방송망 접목을 통해 360도 VR 미디어를 서비스하려는 노력이 가속화되고 있다. 현재 일반적으로 적용되고 있는 360도 VR 미디어의 경우 전체 4K 또는 FHD급 VR 미디어를 동시에 제공할 수 있는데, 시청자에게 시청자가 원하는 뷰 또는 관심 영역(Region of Interest, RoI)을 지연 없이 제공할 수 있는 장점이 있으나, 실제 시청자의 움직임에 따라 재생되는 뷰의 화질이 열화되는 문제가 있다. 또한, 다른 형태로써, 시청자의 움직임 또는 시청자가 선택한 뷰의 정보에 기초하여 해당 영역에 대해 스트리밍하는 360도 VR 서비스는, 상대적으로 고화질의 뷰를 제공할 수 있으나 사용자 움직임에 따라 그에 응답하여 고화질의 영상을 재생하기 위한 지연시간(Motion to Photon, MTP)이 길어지는 문제가 있다.
360도 VR 미디어 관련 기술로서 파노라마 비디오 방송서비스 인식 및 관련 비디오 특성을 나타내기 위한 시그널링을 제공하는 기술, 썸네일(thumbnail) 영상을 우선 전송하고 수신기에서는 썸네일에 기초하여 요청된 특정 영역의 데이터를 전송하는 기술 또는 파노라마 비디오를 일정 영역의 타일로 분류하고 사용자가 선택한 영역에 대한 타일의 데이터만을 전송하는 기술 등이 있다. 이러한 기존의 기술들은 파노라마 방송서비스를 제공하기 위한 시그널링, 타일링 전송 및 동기화 방법 등을 제안하고 있으나, 고화질 360도 VR 영상에 대하여 방송망 환경 하에서 사용자의 움직임 또는 사용자의 선택에 기반한 360도 VR 방송서비스를 제공하기 어렵다는 문제가 있다.
본 개시의 기술적 과제는, 고화질의 360도 VR 영상 처리 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 고화질 360도 VR 방송 서비스에 관한 시그널링 정보를 제공하는 부호화 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 고화질 360도 VR 방송 서비스에 관한 시그널링 정보를 수신하는 복호화 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 사용자의 관심 영역에 대해 고화질 360도 VR 영상을 제공하는 부호화 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 사용자의 관심 영역에 대해 고화질 360도 VR 영상을 제공하는 복호화 장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 360도 VR(Virtual Reality) 영상 정보를 포함하는 비트스트림을 수신하는 단계; 상기 비트스트림으로부터 360도 VR 서비스와 관련된 정보를 복호화하는 단계; 상기 360도 VR 서비스와 관련된 정보에 기초하여 관심 영역을 검출하는 단계; 및 상기 관심 영역에 대해 상기 360도 VR 영상을 사용자에게 제공하는 단계를 포함하는, 360도 영상 복호화 방법이 제공될 수 있다.
예컨대, 상기 360도 VR 영상 정보는, 복수의 해상도를 가지는 동일한 영상 프레임에 관한 정보를 포함할 수 있다.
예컨대, 상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득될 수 있다.
예컨대, 상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고, 상기 제2 해상도를 가지는 영상 프레임은, 상기 360도 VR 서비스와 관련된 정보에 기초하여 복원될 수 있다.
예컨대, 상기 관심 영역을 검출하는 단계는, 상기 360도 VR 서비스와 관련된 정보로부터 상기 제2 해상도를 가지는 영상 프레임의 분할 정보를 복호화하는 단계; 및 상기 분할 정보에 기초하여 상기 관심 영역을 검출하는 단계를 포함할 수 있다.
예컨대, 상기 360도 VR 영상을 제공하는 단계는, 상기 제1 해상도를 가지는 영상 프레임에서 상기 검출된 관심 영역에 대해 상기 제2 해상도를 가지는 영상 프레임을 매핑하는 단계; 및 상기 매핑된 결과 영상을 상기 사용자에게 제공하는 단계를 포함할 수 있다.
예컨대, 상기 360도 VR 서비스와 관련된 정보는, 상기 360도 VR 영상의 차원 정보, 프로젝션 타입 정보, 크기 정보, 해상도 정보 및 분할 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 360도 VR(Virtual Reality) 영상 정보를 포함하는 비트스트림을 수신하고, 상기 비트스트림으로부터 360도 VR 서비스와 관련된 정보를 복호화하고, 상기 360도 VR 서비스와 관련된 정보에 기초하여 관심 영역을 검출하고, 상기 관심 영역에 대해 상기 360도 VR 영상을 사용자에게 제공하는 것을 특징으로 하는, 360도 영상 복호화 장치가 제공될 수 있다.
예컨대, 상기 360도 VR 영상 정보는, 복수의 해상도를 가지는 동일한 영상 프레임에 관한 정보를 포함할 수 있다.
예컨대, 상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득될 수 있다.
예컨대, 상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고, 상기 제2 해상도를 가지는 영상 프레임은, 상기 360도 VR 서비스와 관련된 정보에 기초하여 복원될 수 있다.
예컨대, 상기 장치는, 상기 360도 VR 서비스와 관련된 정보로부터 상기 제2 해상도를 가지는 영상 프레임의 분할 정보를 복호화하고, 상기 분할 정보에 기초하여 상기 관심 영역을 검출할 수 있다.
예컨대, 상기 장치는, 상기 제1 해상도를 가지는 영상 프레임에서 상기 검출된 관심 영역에 대해 상기 제2 해상도를 가지는 영상 프레임을 매핑하고, 상기 매핑된 결과 영상을 상기 사용자에게 제공할 수 있다.
예컨대, 상기 360도 VR 서비스와 관련된 정보는, 상기 360도 VR 영상의 차원 정보, 프로젝션 타입 정보, 크기 정보, 해상도 정보 및 분할 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 360도 VR(Virtual Reality) 영상 정보를 수신하는 단계; 사용자의 관심 영역을 인지하는 단계; 및 360도 VR 서비스와 관련된 정보를 부호화하는 단계를 포함하고, 상기 360도 VR 서비스와 관련된 정보는 상기 360도 VR 영상의 분할 정보 및 상기 관심 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 360도 영상 부호화 방법이 제공될 수 있다.
예컨대, 상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고, 상기 분할 정보는, 상기 제2 해상도를 가지는 영상 프레임을 소정의 크기를 가지도록 분할된 영역들에 관한 정보일 수 있다.
예컨대, 상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득될 수 있다.
본 개시의 다른 양상에 따르면, 360도 VR(Virtual Reality) 영상 정보를 수신하고, 사용자의 관심 영역을 인지하고, 360도 VR 서비스와 관련된 정보를 부호화하고, 기 360도 VR 서비스와 관련된 정보는 상기 360도 VR 영상의 분할 정보 및 상기 관심 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 360도 영상 부호화 장치가 제공될 수 있다.
예컨대, 상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고, 상기 분할 정보는, 상기 제2 해상도를 가지는 영상 프레임을 소정의 크기를 가지도록 분할된 영역들에 관한 정보일 수 있다.
예컨대, 상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 고화질 360도 VR 영상 처리 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 고화질 360도 VR 방송 서비스를 위한 시그널링 정보를 제공하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 사용자의 관심 영역에 대해 고화질 360도 VR 영상을 제공하는 장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 방송망을 통해 고화질 360도 VR 미디어를 서비스하는 시나리오를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 방송망을 통해 전송되는 360도 VR 영상 스트림의 구조를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 360도 VR 방송 서비스에 관한 시그널링 구조를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 고화질 360도 VR 영상 처리 장치의 구성을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 관심 영역(RoI)에 대한 고화질 360도 영상을 제공하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 다른 실시 예에 따른 관심 영역(RoI)에 대한 고화질 360도 영상을 제공하는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 저화질의 360도 VR 영상에서 사용자의 관심 영역에 대해 고화질의 360도 VR 영상을 제공하는 과정을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 개시의 일 실시 예에 따른 방송망을 통해 고화질 360도 VR 미디어를 서비스하는 시나리오를 설명하기 위한 도면이다.
제1 시나리오는 360도 VR 카메라로 획득한 영상에 기초하여 저화질과 고화질의 360도 VR 영상을 동시에 서비스하는 시나리오이다. 여기서, ‘고화질’은 360도 VR 획득 장치로부터 획득된 미디어의 기본적인 해상도를 의미할 수 있다. 저화질 360도 VR 영상(110)은 360도 VR 카메라로 획득된 고화질의 360도 VR 영상에 대해 소정의 크기를 가지도록 다운(down) 변환한 영상을 의미할 수 있다. 예컨대, 고화질 360도 VR 영상이 16Kx8K의 해상도를 가진다면 저화질 360도 VR 영상(110)은 4Kx2K의 해상도를 가질 수 있다. 4Kx2K의 해상도는 현재 상용 UHD TV 및 HMD(Head Mounted Display)의 해상도를 기준으로 예를 든 것으로서, 저화질 360도 VR 영상(110)의 해상도는 이에 제한되지 않으며, 임의적으로 달라질 수 있다. 한편, 저화질 360도 VR 영상(110)은 방송 환경에서 기존 수신기와의 호환성을 위해 제공될 수 있으며, 또한 사용자의 움직임 또는 사용자의 선택에 따른 MTP 시간을 최소화 하는데 이용될 수 있다.
본 개시의 고화질 360도 VR 영상(120)은 관심 영역(Region of Interest, RoI)에 대해 제공되는 고화질의 영상을 의미할 수 있다. 관심 영역은 사용자의 움직임 또는 사용자의 선택에 따라 인지될 수 있다. 예컨대, 사용자의 선택은 외부 기기를 통한 사용자 입력을 의미할 수 있으나, 이에 제한되지 않으며, 관심 영역을 결정하기 위한 사용자의 소정의 동작을 포함할 수 있다. 고화질 360도 VR 영상(120)은 임의의 크기의 영역으로 분할될 수 있으며, 각 분할 영역은 독립적으로 인코딩될 수 있다. 도 1을 참조하면, 고화질 360도 VR 영상(120)은 타일드(tiled) 기반의 영역들로 분할될 수 있다. 예컨대, 사용자는 저화질의 360도 VR 영상을 시청할 수 있으며, 사용자의 관심 영역에 대해서는 고화질의 360도 VR 영상이 제공됨으로써, 사용자는 관심 있는 영역에 대해 보다 선명하고 화질이 향상된 360도 VR 영상을 시청할 수 있다.
제2 시나리오는 저화질의 360도 VR 영상 없이 소정의 크기의 영역으로 분할된 고화질 360도 VR 영상(130)에 기초하여, 방송환경 하에서 상기 고화질 VR 영상(130)을 서비스하는 시나리오이다. 예컨대, 수신기는 시그널링을 통하여 분할된 영역 중 재생되는 초기 영역(initial view region, 132)을 보여주고 사용자의 움직임 또는 사용자의 선택에 따라 그에 응답하여 결정된 해당 영역을 재생할 수 있다. 예컨대, 소정의 분할 영역의 크기는 분할 영역이 FHD 또는 4K 등의 해상도를 일정하게 가지도록 결정될 수 있으며, 또한 TV나 HMD 등의 모바일 기기가 지원하는 해상도에 따라 달라질 수 있다.
도 2는 본 개시의 일 실시 예에 따른 방송망을 통해 전송되는 360도 VR 영상 스트림의 구조를 설명하기 위한 도면이다.
저화질 360도 VR 영상(210)은 HEVC 부호화기(212)에 의해 인코딩되어 하나의 ES(Elementary Stream)_ID, Asset_ID 또는 AdaptationSet ID로 구분되어 전송될 수 있으며, 또는 별도로 인코딩된 스트림의 고유 식별정보로도 전송될 수 있다(214). 스트림은 비트스트림을 의미할 수 있다. ES_ID, Asset_ID 및 AdaptationSet_ID는 각각 MPEG-2 Systems, MPEG-MMT 및 MPEG-DASH 규격에서 부호화 스트림을 구분하기 위한 부호화 스트림 고유 식별정보로 활용될 수 있다. 예컨대, 저화질 360도 VR 영상(210)은 4Kx2K의 해상도를 가질 수 있으며, 이에 제한되지 않으며, 영상을 제공하는 단말 등에 따라 달라질 수 있다.
한편, 고화질 360도 VR 영상(220)은 일정한 크기를 가지는 영역들로 분할될 수 있다. 분할된 영역들은 각각 HEVC 부호화기(222)에 의해 인코딩되어 영역별로 하나의 ES ID, Asset ID 또는 Adaptation_set ID로 구분되어 전송될 수 있다(224). 이때 고화질 360도 VR 영상(220)의 스트림의 개수는 분할된 영역의 개수에 따라 달라질 수 있다. 예컨대, 고화질 360도 VR 영상(220)의 스트림은 4Kx2K의 해상도를 가질 수 있으며, 이에 제한되지 않으며, 영상을 제공하는 단말 등에 따라 달라질 수 있다. 또한, 저화질 360도 VR 영상 스트림은 고화질 360도 VR 영상(220)의 분할 영역 스트림과 같은 채널에 전송되거나, 또는 종래 수신기와의 호환성을 유지하기 위해 별도로 독립된 채널로 전송될 수 있다(216). 예컨대, 별도로 독립된 채널은 IP망 또는 방송망에서의 별도 채널일 수 있다. 또한, 고화질 360도 VR 영상(220)의 분할 영역 스트림은 채널 결합을 이용하여 하나의 방송 채널로 전송되거나 또는 IP망을 통하여 전송될 수 있다(226).
도 3은 본 개시의 일 실시 예에 따른 360도 VR 방송 서비스에 관한 시그널링 구조를 설명하기 위한 도면이다.
도 3을 참조하면, 360도 VR 방송 서비스에 관한 시그널링 구조는 저화질 및 고화질의 360도 VR 영상 스트림의 구분 또는 방송 서비스를 위해 부가적으로 필요한 시그널링 정보를 포함할 수 있다.
일 실시 예에 따른, 제1 시그널링 구조(310)는 고화질 360도 VR 방송 서비스를 구분하기 위한 시그널링 구조로서, 프로그램 또는 서비스 레벨에 적용되어 시그널링되는 정보를 나타낼 수 있다.
VR_contents_ID는 프로그램 또는 채널에서 전송되는 다양한 VR 영상을 구분하기 위한 식별자를 의미할 수 있다. 또한, VR_contents_ID는 다양하게 전송되는 VR 콘텐츠를 구분하기 위한 고유 식별 정보로 활용될 수 있다. 또한, 실제 VR 콘텐츠 구성을 나타내는 정보로 활용될 수 있다. 예컨대, 실제 VR 콘텐츠 구성은 2D 또는 3D를 의미할 수 있다. VR_projectionType은 다양한 VR 프로젝션 타입을 의미할 수 있다. 또한, VR_projectionType은 수신기에서 수신된 영상을 360도 VR 영상으로 다시 매핑하거나 재현하기 위해 이용될 수 있다. Total_width 및 Total_height는 각각 고화질 360도 VR 영상의 전체 가로 및 세로 크기를 의미할 수 있다. Number_ROI는 분할 영역의 총 개수를 의미할 수 있다.
또한, 일 실시 예에 따른 제2 시그널링 구조(320)는 저화질 360도 VR 영상을 구분하는 식별자 및 특정 크기로 분할된 고화질 360도 VR 영상 스트림의 각 영역의 부호화 스트림 레벨에 적용되어 시그널링 되는 정보를 의미할 수 있다.
VR_totalview_present는 저화질 360도 VR 영상 스트림의 해당 유무를 판단하는데 이용될 수 있다. Viewport_ID는 분할 영역을 각각 구분하기 위한 식별자를 의미할 수 있다. 예컨대, Viewport_ID는 사용자의 움직임 또는 사용자의 선택에 따른 해당 영역을 디코딩하거나 재생하기 위해 사용될 수 있다. Initial_viewport_flag는 도 1에서 설명하였던 제2 시나리오와 같이 저화질 360도 VR 영상 없이 분할 영역을 기반으로 서비스되는 경우, TV 또는 HMD등의 단말에 가장 먼저 재생될 영역을 식별하기 위해 이용될 수 있다. RoI_x_strartposition 및 RoI_x_endposition은 각각 분할 영상에 대한 가로 시작 좌표 및 가로 종료 좌표를 의미할 수 있다. RoI_y_strartposition 및 RoI_y_endposition은 각각 분할 영상에 대한 세로 시작 좌표 및 세로 종료 좌표를 의미할 수 있다. 상기 가로/세로 시작 좌표 및 가로/세로 종료 좌표에 기초하여 전체 VR 영상 내에서 분할 영역의 위치를 알 수 있다.
한편, 제1 시그널링 구조(310) 및/또는 제2 시그널링 구조(320)를 구성하는 시그널링 정보들은 상기 구조뿐만 아니라 다양한 메타데이터 또는 XML 등 다양한 형태로 변환되어 활용될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 고화질 360도 VR 영상 처리 장치의 구성을 설명하기 위한 도면이다.
고화질 360도 VR 영상 처리 장치는 360도 VR 영상의 인코딩 장치 및/또는 디코딩 장치를 포함할 수 있다. 또한, 360도 VR 영상은 방송망 또는 방송망과 IP망을 포함하는 이종망을 통해 전송될 수 있다.
도 4를 참조하면, 고화질 360도 영상 처리 장치(400)는 수신 모듈(410), 버퍼 모듈(420), Viewport 제어 모듈(430), 디코더 모듈(440), RoI 매핑 모듈(450) 및/또는 360 VR 매핑 모듈(460)을 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 고화질 360도 영상 처리 장치(400)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
수신 모듈(410)은 다양한 표준 규격을 토대로 전송 스트림을 수신하고 도 3에서 설명하였던 시그널링 정보 및 360도 VR 서비스 제공과 관련된 기타 제어 정보에 대한 분석을 수행할 수 있다. 또한, 수신 모듈(410)은 저화질 및/또는 분할 영역에 기초한 360도 VR 스트림을 별도로 분리하여 해당 버퍼에 전달하는 역할을 수행할 수 있다. 버퍼 모듈(420)은 수신 모듈(410)로부터 전송된 스트림을 버퍼링할 수 있다. 또한, 버퍼 모듈(420)은 각 스트림의 디코딩 시간(Decoding Time Stamp, DTS) 또는 재생 시간(Presentation Time Stamp, PTS)에 기초하여 동기화를 수행할 수 있다. 에컨대, 360도 VR 서비스의 경우 사용자의 움직임에 따라 동기화된 장면을 재생하는 것이 요구되기 때문에, 버퍼 모듈(420)은 DTS 또는 PTS에 기초하여 프레임 별 동기화를 수행할 수 있다. 이때 저화질 360도 VR 스트림은 기존의 HMD 등의 단말과의 호환성을 제공하기 위해 IP 환경에서 IP 스트림으로 해당 기기에 전송될 수 있다.
Viewport 제어 모듈(430)은 TV 또는 HMD 등의 단말을 기반으로 사용자의 움직임 또는 사용자의 선택에 따라 해당 스트림을 추출할 수 있다. 또한, Viewport 제어 모듈(430)은 추출된 스트림을 디코더 모듈(440)에 전송할 수 있다. 예컨대, Viewport 제어 모듈(430)은 저화질 360도 VR 영상 스트림 및 Viewport 제어 모듈(430)에 의해 추출된 분할영역 스트림을 디코더 모듈(440)로 전송할 수 있다. 이때, 사용자의 움직임 정보, 사용자의 선택 정보 또는 사용자의 움직임 또는 선택에 따른 영역 정보 등은 IP 환경에서도 받을 수 있다. 분할 영역 스트림은 저화질 360도 VR 스트림을 기초로 매핑될 수 있으며, 추후 사용자가 시청하는 영역에 대하여 고화질의 영상을 제공하는데 이용될 수 있다. 한편, 버퍼 모듈(420)은 Viewport 제어 모듈(430)에 의해 추출되지 않은 분할 영역 스트림들도 DTS 및/또는 PTS에 기초하여 프레임 동기화를 수행할 수 있다. 또한, 버퍼 모듈(420)은 동기화를 통하여 해당 패킷을 지속적으로 버릴 수 있다(dropping). 저화질 360도 VR 영상 스트림의 디코딩은 지속적으로 수행되는 반면, 분할 영역 스트림의 디코딩은 사용자의 관심 영역에 따라 달라질 수 있다. 버퍼 모듈(420)로부터 전체 스트림에 대한 동기화 과정이 진행되기 때문에, 고화질 360도 VR 영상 처리 장치는 실제 HMD 등의 단말을 통해, 사용자 움직임에 따라 그에 응답하여 발생하는 MTP를 최소화하면 고화질의 관심 영역을 제공할 수 있다. 즉, 고화질 360도 VR 영상 처리 장치는 관심 영역이 이동하더라도 이동 시에는 저화질 360도 VR 영상 스트림을 토대로 재생하고, 관심 영역이 선택된 경우 해당 분할 영역 스트림의 디코딩을 바로 수행할 수 있다.
RoI 매핑 모듈(450)은 Viewport 제어 모듈(430)에 의해 추출된 분할 영역 스트림에 대해 HMD 등의 단말에서 지원하는 해상도에 적합하도록 스트림을 재조정할 수 있다. 360 VR 매핑 모듈(460)은 저화질 360도 VR 영상 스트림에서 사용자의 움직임 또는 사용자의 선택에 기초한 관심 영역에 대해 분할 영상 스트림을 매핑할 수 있다. 또한, 360 VR 매핑 모듈(460)은 매핑된 결과를 TV 또는 HMD 등의 단말로 전송할 수 있다(470).
도 5는 본 개시의 일 실시 예에 따른 관심 영역(RoI)에 대한 고화질 360도 영상을 제공하는 과정을 설명하기 위한 도면이다.
본 개시의 고화질 360도 VR 영상 처리 장치는 관심 영역(512)에 대해 관심 영역(512)에 포함된 분할 영역 스트림을 디코딩하고 360 VR 매핑 모듈로 전달할 수 있다. 관심 영역(512)은 사용자의 움직임 또는 사용자의 선택에 의해 검출될 수 있다. 도 5를 참조하면, 추출되는 분할 영역 스트림의 해상도는 4K의 가로 해상도를 가질 수 있다. 예컨대, HMD 등의 단말에서 관심 영역에 대해 4K의 가로 해상도를 지원하면, 추출되는 분할 영역 스트림의 해상도가 HMD 등의 단말에서 관심 영역에 대해 지원하는 해상도와 같기 때문에, 고화질 360도 VR 영상 처리 장치는 별도의 처리 없이 추출된 분할 영역 스트림을 바로 도 4의 360 VR 매핑 모듈로 전달할 수 있다.
도 6은 본 개시의 다른 실시 예에 따른 관심 영역(RoI)에 대한 고화질 360도 영상을 제공하는 과정을 설명하기 위한 도면이다.
고화질 360도 VR 영상 처리 장치는 관심 영역(612)에 대해 관심 영역(612)에 포함된 분할 영역 스트림을 디코딩하고 360 VR 매핑 모듈로 전달할 수 있다. 관심 영역(612)은 사용자의 움직임 또는 사용자의 선택에 의해 결정될 수 있다. 도 6에서도 도 5와 같이 HMD 등의 단말에서 관심 영역에 대해 4K의 가로 해상도를 지원한다고 하자. 도 6을 참조하면, 도 5와 달리 관심 영역(612)이 총 9개의 분할 영역 스트림, 즉, 가로 해상도가 4K 이상인 분할 영역 스트림 상에 위치하고 있기 때문에 영역을 재조정 하는 과정이 필요하다. 예컨대, 도 6에서와 같이 관심 영역(612)이 선택되면 관심 영역(612)에 포함된 총 9개의 분할영역 스트림들은 모두 디코딩될 수 있지만, 실제 HMD 등의 단말에서 재생되기 위해 디코딩된 영역의 크기가 재조정될 필요가 있다. 즉, 고화질 360도 VR 영상 처리 장치는 관심 영역(610)이 위치하는 총 9개의 분할 영역 스트림들에 대해 지속적으로 디코딩을 수행할 수 있다. 또한, 고화질 360도 VR 영상 처리 장치는 디코딩된 부분 영상(620)에서 관심 영역(622)에 해당하는 영역의 중심을 기준으로 하여 관심 영역을 검출할 수 있다. 예컨대, 고화질 360도 VR 영상 처리 장치는 디코딩된 부분 영상(620)에서 관심 영역(622)에 해당하는 영역의 중심 좌표(624)를 (0,0)으로 설정하고, 중심 좌표를 이용하여 좌측 2K, 우측 2K, 상측 1K 및 하측 1K, 총 4K에 해당하는 영역을 추출할 수 있다. 고화질 360도 VR 영상 처리 장치는 최종 추출된 관심 영역(630)을 360 VR 매핑 모듈로 전송할 수 있다. 한편, 사용자의 움직임이 디코딩된 9개의 분할 영역 내에서 진행되는 경우, 고화질 360도 VR 영상 처리 장치는 이미 9개의 디코딩된 영상 내에서 상기 영역을 재조정하는 과정을 통해 관심 영역을 추출하게 된다.
도 7은 본 개시의 일 실시 예에 따른 저화질의 360도 VR 영상에서 사용자의 관심 영역에 대해 고화질의 360도 VR 영상을 제공하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 사용자는 저화질 360도 VR 영상(710)을 시청할 수 있으며, 사용자의 움직임 또는 사용자의 선택에 따라 관심 영역(712)이 결정될 수 있다. 고화질 360도 VR 영상 처리 장치는 결정된 관심 영역(712)과 고화질의 분할 영역 스트림 상에서 재조정된 관심 영역(722)을 매핑할 수 있다. 한편, 관심 영역(712)과 고화질 영상의 분할 영역간의 관계에 따라 각각 도 5 또는 도 6에서 설명하였던 처리 과정이 진행될 수 있다. 또한, 고화질 360도 VR 영상 처리 장치는 고화질의 재조정된 관심 영역(722)이 매핑된 결과 영상을 TV 또는 HMD 등의 단말로 전송할 수 있다.
본 개시에 따르면, 방송서비스 환경에서 시청자의 움직임 또는 시청자가 원하는 뷰에 대하여 4K 이상의 화질을 제공함과 동시에 댁내에서 TV 또는 HMD 등의 모바일 기기를 통하여 MTP를 최소화할 수 있는 고화질 360도 VR 영상 처리 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 360도 VR 방송 서비스를 위한 시그널링 정보를 제공하는 사용자 관심 영역 기반의 수신 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 고화질 360도 VR 미디어에 대하여 방송망 환경 하에서 사용자의 움직임 또는 사용자의 선택에 따른 고화질의 관심 영역을 제공하면서 MTP를 최소화하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 지상파, 케이블 등 다양한 방송망을 통해 시청자에게 고화질의 360도 VR 방송 서비스를 제공하는 장치 및 방법이 제공될 수 있다.
상기의 실시예들은 고화질 360도 VR 영상 부호화 장치 및 고화질 360도 VR 영상 복호화 장치에서 같은 방법으로 수행될 수 있다.
상기 실시예를 적용하는 순서는 고화질 360도 VR 영상 부호화 장치와 고화질 360도 VR 영상 복호화 장치에서 상이할 수 있고, 상기 실시예를 적용하는 순서는 고화질 360도 VR 영상 부호화 장치와 고화질 360도 VR 영상 복호화 장치에서 동일할 수 있다.
상기의 실시예들은 고화질 360도 VR 영상 부호화 장치 및 고화질 360도 VR 영상 복호화 장치에서 같은 방법으로 수행될 수 있다.
휘도 및 색차 신호 각각에 대하여 상기 실시예를 수행할 수 있고, 휘도 및 색차 신호에 대한 상기 실시예를 동일하게 수행할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 360도 VR(Virtual Reality) 영상 정보를 포함하는 비트스트림을 수신하는 단계;
    상기 비트스트림으로부터 360도 VR 서비스와 관련된 정보를 복호화하는 단계;
    상기 360도 VR 서비스와 관련된 정보에 기초하여 관심 영역을 검출하는 단계; 및
    상기 관심 영역에 대해 상기 360도 VR 영상을 사용자에게 제공하는 단계를 포함하는, 360도 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 360도 VR 영상 정보는, 복수의 해상도를 가지는 동일한 영상 프레임에 관한 정보를 포함하는 것인, 360도 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득되는 것인, 360도 영상 복호화 방법.
  4. 제1항에 있어서,
    상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고,
    상기 제2 해상도를 가지는 영상 프레임은, 상기 360도 VR 서비스와 관련된 정보에 기초하여 복원되는 것인, 360도 영상 복호화 방법.
  5. 제4항에 있어서,
    상기 관심 영역을 검출하는 단계는,
    상기 360도 VR 서비스와 관련된 정보로부터 상기 제2 해상도를 가지는 영상 프레임의 분할 정보를 복호화하는 단계; 및
    상기 분할 정보에 기초하여 상기 관심 영역을 검출하는 단계를 포함하는, 360도 영상 복호화 방법.
  6. 제5항에 있어서,
    상기 360도 VR 영상을 제공하는 단계는,
    상기 제1 해상도를 가지는 영상 프레임에서 상기 검출된 관심 영역에 대해 상기 제2 해상도를 가지는 영상 프레임을 매핑하는 단계; 및
    상기 매핑된 결과 영상을 상기 사용자에게 제공하는 단계를 포함하는, 360도 영상 복호화 방법.
  7. 제1항에 있어서,
    상기 360도 VR 서비스와 관련된 정보는,
    상기 360도 VR 영상의 차원 정보, 프로젝션 타입 정보, 크기 정보, 해상도 정보 및 분할 정보 중 적어도 하나를 포함하는 것인, 360도 영상 복호화 방법.
  8. 360도 영상 복호화 장치에 있어서,
    상기 장치는,
    360도 VR(Virtual Reality) 영상 정보를 포함하는 비트스트림을 수신하고, 상기 비트스트림으로부터 360도 VR 서비스와 관련된 정보를 복호화하고, 상기 360도 VR 서비스와 관련된 정보에 기초하여 관심 영역을 검출하고, 상기 관심 영역에 대해 상기 360도 VR 영상을 사용자에게 제공하는 것을 특징으로 하는, 360도 영상 복호화 장치.
  9. 제8항에 있어서,
    상기 360도 VR 영상 정보는, 복수의 해상도를 가지는 동일한 영상 프레임에 관한 정보를 포함하는 것인, 360도 영상 복호화 장치.
  10. 제8항에 있어서,
    상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득되는 것인, 360도 영상 복호화 장치.
  11. 제8항에 있어서,
    상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고,
    상기 제2 해상도를 가지는 영상 프레임은, 상기 360도 VR 서비스와 관련된 정보에 기초하여 복원되는 것인, 360도 영상 복호화 장치.
  12. 제11항에 있어서,
    상기 장치는,
    상기 360도 VR 서비스와 관련된 정보로부터 상기 제2 해상도를 가지는 영상 프레임의 분할 정보를 복호화하고, 상기 분할 정보에 기초하여 상기 관심 영역을 검출하는 것인, 360도 영상 복호화 장치.
  13. 제12항에 있어서,
    상기 장치는,
    상기 제1 해상도를 가지는 영상 프레임에서 상기 검출된 관심 영역에 대해 상기 제2 해상도를 가지는 영상 프레임을 매핑하고, 상기 매핑된 결과 영상을 상기 사용자에게 제공하는 것인, 360도 영상 복호화 장치.
  14. 제8항에 있어서,
    상기 360도 VR 서비스와 관련된 정보는,
    상기 360도 VR 영상의 차원 정보, 프로젝션 타입 정보, 크기 정보, 해상도 정보 및 분할 정보 중 적어도 하나를 포함하는 것인, 360도 영상 복호화 장치.
  15. 360도 VR(Virtual Reality) 영상 정보를 수신하는 단계;
    사용자의 관심 영역을 인지하는 단계; 및
    360도 VR 서비스와 관련된 정보를 부호화하는 단계를 포함하고,
    상기 360도 VR 서비스와 관련된 정보는 상기 360도 VR 영상의 분할 정보 및 상기 관심 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 360도 영상 부호화 방법.
  16. 제15항에 있어서,
    상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고,
    상기 분할 정보는, 상기 제2 해상도를 가지는 영상 프레임을 소정의 크기를 가지도록 분할된 영역들에 관한 정보인 것인, 360도 영상 부호화 방법.
  17. 제15항에 있어서,
    상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득되는 것인, 360도 영상 부호화 방법.
  18. 360도 영상 부호화 장치에 있어서,
    상기 장치는,
    360도 VR(Virtual Reality) 영상 정보를 수신하고, 사용자의 관심 영역을 인지하고, 360도 VR 서비스와 관련된 정보를 부호화하고,
    상기 360도 VR 서비스와 관련된 정보는 상기 360도 VR 영상의 분할 정보 및 상기 관심 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 360도 영상 부호화 장치.
  19. 제18항에 있어서,
    상기 360도 VR 영상 정보는, 제1 해상도를 가지는 영상 프레임에 관한 정보 및 상기 제1 해상도보다 높은 해상도인 제2 해상도를 가지는 상기 영상 프레임에 관한 정보 중 적어도 하나를 포함하고,
    상기 분할 정보는, 상기 제2 해상도를 가지는 영상 프레임을 소정의 크기를 가지도록 분할된 영역들에 관한 정보인 것인, 360도 영상 부호화 장치.
  20. 제18항에 있어서,
    상기 관심 영역은, 상기 사용자의 움직임 정보 및 상기 사용자의 입력에 의해 획득되는 것인, 360도 영상 부호화 장치.
KR1020180038472A 2017-04-03 2018-04-03 고화질 360도 vr 영상 처리 장치 및 방법 KR20180112708A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170043014 2017-04-03
KR1020170043014 2017-04-03

Publications (1)

Publication Number Publication Date
KR20180112708A true KR20180112708A (ko) 2018-10-12

Family

ID=63713147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180038472A KR20180112708A (ko) 2017-04-03 2018-04-03 고화질 360도 vr 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US10848837B2 (ko)
KR (1) KR20180112708A (ko)
WO (1) WO2018186646A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103102A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Vr 디바이스 및 vr 디바이스 제어 방법
WO2020204253A1 (ko) * 2019-04-04 2020-10-08 전자부품연구원 관심 영역 기반의 vr 영상 수신 장치 및 방법
WO2021034027A1 (en) * 2019-08-22 2021-02-25 Samsung Electronics Co., Ltd. An immersive device and method for streaming of immersive media

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057605B2 (en) * 2018-11-05 2021-07-06 Korea Electronics Technology Institute 360-degree VR video segmentation transmission system and method
CN114760418A (zh) * 2022-04-24 2022-07-15 蒂姆维澳(上海)网络技术有限公司 一种360度全视角ar监控方法、系统及ar眼镜

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443552B1 (ko) 2002-11-18 2004-08-09 한국전자통신연구원 가상 현실 구현 시스템 및 방법
US9232257B2 (en) 2010-09-22 2016-01-05 Thomson Licensing Method for navigation in a panoramic scene
KR101282955B1 (ko) 2011-08-31 2013-07-17 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
EP2898695A1 (en) * 2012-09-18 2015-07-29 VID SCALE, Inc. Region of interest video coding using tiles and tile groups
KR20140106927A (ko) 2013-02-27 2014-09-04 한국전자통신연구원 파노라마 생성 장치 및 방법
KR101528863B1 (ko) 2013-09-10 2015-06-16 (주)포스트미디어 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
KR20150047225A (ko) 2013-10-24 2015-05-04 엘지전자 주식회사 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치
US10397666B2 (en) 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR101713492B1 (ko) 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
US20180213202A1 (en) * 2017-01-23 2018-07-26 Jaunt Inc. Generating a Video Stream from a 360-Degree Video

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204253A1 (ko) * 2019-04-04 2020-10-08 전자부품연구원 관심 영역 기반의 vr 영상 수신 장치 및 방법
KR20200118282A (ko) 2019-04-04 2020-10-15 한국전자기술연구원 관심 영역 기반의 vr 영상 수신 장치 및 방법
KR20190103102A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Vr 디바이스 및 vr 디바이스 제어 방법
WO2021034027A1 (en) * 2019-08-22 2021-02-25 Samsung Electronics Co., Ltd. An immersive device and method for streaming of immersive media
US11481026B2 (en) 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media

Also Published As

Publication number Publication date
US10848837B2 (en) 2020-11-24
US20200084516A1 (en) 2020-03-12
WO2018186646A1 (ko) 2018-10-11

Similar Documents

Publication Publication Date Title
KR20180112708A (ko) 고화질 360도 vr 영상 처리 장치 및 방법
US8773584B2 (en) Playback apparatus, playback method, integrated circuit, broadcast system, and broadcast method using a broadcast video and additional video
KR101602879B1 (ko) 멀티 디스플레이 시스템을 위한 미디어 처리 방법 및 장치
US11330310B2 (en) Encoding device and method, reproduction device and method, and program
KR102344073B1 (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치
US20190253734A1 (en) Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device
US7145947B2 (en) Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
US10873737B1 (en) VR device and control method for the same
KR102383117B1 (ko) 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
JP7376705B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法
US11979544B2 (en) 360 video transmission method, 360 video reception method, 360 video transmission apparatus, and 360 video reception apparatus
US20140139628A1 (en) Method for providing and recognizing transmission mode in digital broadcasting
CN110933461B (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
KR101941789B1 (ko) 뷰포트와 타일 크기에 기초한 가상 현실 비디오 전송
WO2020068935A1 (en) Virtual reality viewpoint viewport center point correspondence signaling
WO2020068284A1 (en) Virtual reality (vr) viewpoint grouping
US20200372919A1 (en) Transmission apparatus, transmission method, processing apparatus, and processing method
US20210084282A1 (en) Information processing apparatus and method
KR102183895B1 (ko) 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱
US20210092374A1 (en) Information processing apparatus and method
KR101779054B1 (ko) 디지털 방송의 전송 모드 제공 및 인지 방법
KR20230148090A (ko) 이머시브 영상 부호화/복호화 방법 및 장치와, 이머시브 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법
KR20200111645A (ko) 3차원 와핑을 이용한 레지듀얼 영상의 패킹 및 언패킹 방법
CN116781913A (zh) 点云媒体的编解码方法及相关产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal