KR20160094384A - 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치 - Google Patents

파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치 Download PDF

Info

Publication number
KR20160094384A
KR20160094384A KR1020167016823A KR20167016823A KR20160094384A KR 20160094384 A KR20160094384 A KR 20160094384A KR 1020167016823 A KR1020167016823 A KR 1020167016823A KR 20167016823 A KR20167016823 A KR 20167016823A KR 20160094384 A KR20160094384 A KR 20160094384A
Authority
KR
South Korea
Prior art keywords
image
field
stream
panorama
information
Prior art date
Application number
KR1020167016823A
Other languages
English (en)
Other versions
KR101809968B1 (ko
Inventor
황수진
서종열
오현묵
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20160094384A publication Critical patent/KR20160094384A/ko
Application granted granted Critical
Publication of KR101809968B1 publication Critical patent/KR101809968B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 파노라마 방송 서비스를 위한 방송 신호 송수신 방법 및/또는 장치의 제공에 관한 것이다. 본 발명의 일 실시예에 따른 방송 신호 송신 방법은 영상을 인코딩하는 단계, 상기 인코딩된 영상 및 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화하는 단계, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고, 상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함한다.

Description

파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRANSRECEIVING BROADCAST SIGNAL FOR PANORAMA SERVICE}
본 발명은 방송 신호의 송수신에 관한 것이다. 보다 상세하게는, 파노라마 서비스를 위한 방송 신호의 송수신 방법 및/또는 장치에 관한 것이다.
디지털 기술 및 통신 기술의 발전으로 방송, 영화뿐만 아니라 인터넷 및 개인 미디어 등의 다양한 영역에서 오디오, 비디오 중심의 멀티미디어 컨텐츠 보급 및 수요가 급속도로 확대되고 있다. 나아가 방송 및 영화를 통하여 입체감을 제공하는 3DTV/3D 영화가 보편화되면서 사실감과 현장감을 제공하는 실감미디어에 대한 소 비자 요구가 증가되고 있다. 또한, 디스플레이 기술의 발전과 더불어 가정에서의 TV 화면이 대형화 됨에 따라 HD급 이상의 고화질에 실감나는 컨텐츠를 즐기고자 하는 소비가 증가되고 있다. 이에 따라 PostHDTV 시장을 대비하여 3DTV와 더불어 UHDTV (Ultra High Definition TV)와 같은 실감방송이 차세대 방송 서비스로 관심을 받고 있으며, 특히 UHD (Ultra High Definition) 방송 서비스에 대한 논의가 증가되고 있는 추세이다.
한편, 최근 3D, UHD 콘텐츠의 출현 이후, 파노라마 영상에 대한 수요가 전시관, 뉴스룸, 옥 외 구조물을 통하여 점차 증가하고 있는 추세이다. 3D 콘텐츠의 입체감 제공, UHD 콘텐 츠의 사실감 제공과 더불어 고품질 파노라마 서비스는 기존 HD 영상 미디어에 비하여 넓은 화각을 제공함으로써 사용자에게 극대화된 현장감을 제공한다. 그러나 이러한 최근 추세에도 불구하고 파노라마 영상의 획득, 생성 및 재생과 관련한 표준은 존재하지 않으며 소수의 국내외 연구기관에서만 기술개발을 진행하고 있는 상황이다.
현재, DTV 수신기에서 파노라마 영상을 보고자 하면 resizing된 작은 영상으로만 시청이 가능한 문제점이 존재한다. 따라서, 원본 상태로 그대로 보여주기 위해서는 임의의 사이즈의 파노라마 영상을 기존 DTV에서 왜곡 없이 디스플레이할 수 있도록 하는 해당 분야의 연구가 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 시청자에게 제작 당시의 원본 상태 그대로의 파노라마 영상을 제공하는 것이다.
나아가, 본 발명이 이루고자 하는 기술적 과제는, 전체 파노라마 영상을 하나 이상의 영상으로 분할하여 전송하는 방법을 제공하는 것이다.
나아가, 본 발명이 이루고자 하는 기술적 과제는, 전체 파노라마 영상을 수신기 내에서 분리하여 디스플레이하는 방법을 제공하는 것이다.
나아가, 본 발명이 이루고자 하는 기술적 과제는, 파노라마 서비스를 제공하기 위한 효율적인 시그널링 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 영상을 인코딩하는 단계, 상기 인코딩된 영상 및 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화하는 단계, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고, 상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.
바람직하게는, 상기 영상에 관한 시그널링 정보는 현재 시청중인 방송 서비스와 대응되는 파노라마 방송 서비스에 대한 정보를 나타내는 이벤트 연결 정보를 포함하고, 상기 파노라마 영상에 관한 시그널링 정보는 상기 파노라마 영상의 구성을 나타내는 파노라마 구성 정보를 포함할 수 있다.
바람직하게는, 상기 인코딩하는 단계는 상기 영상을 하나 이상의 영상으로 분할하고 상기 분할된 영상을 각각 인코딩할 수 있다.
바람직하게는, 상기 인코딩하는 단계는 상기 영상 중 사용자의 관심 영역 (Region of Interest, ROI)에 대한 고화질 영상을 제공하기 위한 ROI (Region of Interest) 추가 정보를 인코딩하고, 상기 다중화하는 단계는 상기 인코딩된 영상, 상기 영상에 관한 시그널링 정보 및 상기 인코딩된 ROI 추가 정보를 하나의 방송 스트림으로 다중화할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 분할된 영상에 대한 정보를 포함할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 분할된 영상의 구획화 현상 (blocking artifact) 제거를 위한 필터링 정보를 포함할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 파노라마 영상을 하나 이상의 영상으로 크라핑 (cropping)하기 위한 정보를 포함할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 관심 영역의 영상에 대한 정보를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 방송 신호 수신 방법은 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 포함하는 방송 스트림을 수신하는 단계, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고, 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출하는 단계 및 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림을 디코딩하는 단계를 포함할 수 있다.
바람직하게는, 상기 영상에 관한 시그널링 정보는 현재 시청중인 방송 서비스와 대응되는 파노라마 방송 서비스에 대한 정보를 나타내는 이벤트 연결 정보를 포함하고, 상기 파노라마 영상에 관한 시그널링 정보는 상기 파노라마 영상의 구성을 나타내는 파노라마 구성 정보를 포함할 수 있다.
바람직하게는, 상기 영상은 하나 이상의 영상으로 분할되고, 상기 영상에 대한 스트림은 하나 이상의 상기 분할된 영상에 대한 스트림을 포함하고, 상기 디코딩하는 단계는 상기 추출된 시그널링 정보를 이용하여 상기 분할된 영상에 대한 스트림 각각을 디코딩할 수 있다.
바람직하게는, 상기 방송 스트림은 상기 영상 중 사용자의 관심 영역 (Region of Interest, ROI)에 대한 고화질 영상을 제공하기 위한 ROI (Region of Interest) 추가 정보에 대한 스트림을 포함하고, 상기 추출하는 단계는 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림, 상기 ROI 추가 정보에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출하고, 상기 디코딩하는 단계는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림 및 상기 추출된 ROI 추가 정보에 대한 스트림을 디코딩할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 분할된 영상에 대한 정보를 포함할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 분할된 영상의 구획화 현상 (blocking artifact) 제거를 위한 필터링 정보를 포함할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 파노라마 영상을 하나 이상의 영상으로 크라핑 (cropping)하기 위한 정보를 포함할 수 있다.
바람직하게는, 상기 파노라마 구성 정보는 상기 관심 영역의 영상에 대한 정보를 포함할 수 있다.
바람직하게는, 상기 방송 신호 수신 방법은 상기 디코딩된 영상에 대한 스트림을 디스플레이하는 단계를 포함하고, 상기 디스플레이하는 단계는 사용자로부터 스크롤링 (scrolling) 요청을 수신하는 경우, 상기 스크롤링 요청에 따라 이동된 영역을 디스플레이할 수 있다.
본 발명의 또 다른 일 실시예에 따른 방송 신호 송신 장치는 영상을 인코딩하는 인코더, 상기 인코딩된 영상 및 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화하는 다중화부, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고, 상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성하는 방송 신호 생성부 및 상기 생성된 방송 신호를 전송하는 전송부를 포함할 수 있다.
본 발명의 또 다른 일 실시예에 따른 방송 신호 수신 장치는영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 포함하는 방송 스트림을 수신하는 수신부, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고, 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출하는 역다중화부 및 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림을 디코딩하는 디코더를 포함할 수 있다.
본 발명에 따르면, 제작 당시 원본 그대로의 파노라마 영상을 시청자에게 제공할 수 있는 효과가 있다.
본 발명에 따르면, 전체 파노라마 영상을 하나 이상의 영상으로 분할하여 전송하는 방법을 제공할 수 있는 효과가 있다.
본 발명에 따르면, 전체 파노라마 영상을 수신기 내에서 분리하여 디스플레이하는 방법을 제공할 수 있는 효과가 있다.
본 발명에 따르면, 파노라마 서비스를 제공하기 위한 효율적인 시그널링 방법을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 시나리오 1의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 시나리오 2의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 시나리오 3의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 시나리오 4의 구성을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 파노라마 영상을 분할하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 시나리오 1의 파노라마 서비스 구성을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 시나리오 2의 파노라마 서비스 구성을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 시나리오 1 기반의 분할된 파노라마 영상을 인코딩한 스트림을 다수의 수신기가 디코딩하는 경우 스크롤링에 따른 수신기의 동작을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 시나리오 1 기반의 분할된 파노라마 영상을 인코딩한 스트림을 하나의 수신기가 디코딩하는 경우 스크롤링에 따른 수신기의 동작을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 파노라마 영상을 다수의 디스플레이 사이즈가 같은 수신기에서 디스플레이하는 경우, 스크롤링 요청에 따른 파노라마 영상의 배치를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 파노라마 영상을 다수의 디스플레이 사이즈가 다른 수신기에서 디스플레이하는 경우, 스케일링 (scaling)을 이용한 스크롤링 요청에 따른 파노라마 영상의 배치를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 파노라마 영상을 다수의 디스플레이 사이즈가 다른 수신기에서 디스플레이하는 경우, 크라핑 (cropping)을 이용한 스크롤링 요청에 따른 파노라마 영상의 배치를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 파노라마 영상을 두 개의 수신기에서 디스플레이하는 경우 양 수신기의 동작을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 시나리오 2 기반의 하나의 스트림으로 인코딩된 전체 파노라마 영상을 수신기가 수신하는 경우 스크롤링에 따른 수신기의 동작을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 시나리오 4 기반의 파노라마 서비스 구성을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 panorama_composition_info의 구성을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 panorama_service_type의 구성을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 panorama_composition_metadata()의 구성을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 sub_video_afd_bar ()의 구성을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 전체 파노라마 영상을 구성하는 부분 영상 중 panorama_view_priority가 높은 영상을 디스플레이하는 방법을 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 panorama_filtering_metadata()의 구성을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 extraction_info_metadata()의 구성을 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 시나리오 2를 기반으로 한 비디오 스트림의 구성을 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 ROI_info_metadata()의 구성을 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 SDT (service description table)의 구성을 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 EIT (Event Information Table)의 구성을 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 EIT에 포함된 linkage_descriptor()의 구성을 나타낸 도면이다.
도 29는 본 발명의 일 실시예에 따른 linkage_type이 0x0E인 경우 link_type에 따른 target service의 type을 나타낸 도면이다.
도 30은 본 발명의 일 실시예에 따른 advanced_event_linkage_info()의 구성을 나타낸 도면이다.
도 31은 본 발명의 일 실시예에 따른 PMT (program map table)의 구성 및 PMT에 포함되는 panorama_composition_info()의 위치를 나타낸 도면이다.
도 32는 본 발명의 일 실시예에 따른 TVCT (terrestrial virtual channel table)의 구성을 나타낸 도면이다.
도 33은 본 발명의 일 실시예에 따른 CVCT (cable virtual channel table)의 구성을 나타낸 도면이다.
도 34는 본 발명의 일 실시예에 따른 파노라마 서비스를 위한 service_type의 구성을 나타낸 도면이다.
도 35는 본 발명의 일 실시예에 따른 component_list_descriptor()의 구성을 나타낸 도면이다.
도 36은 본 발명의 일 실시예에 따른 stream_type이 base stream을 나타내는 경우, stream_info_details()의 구성을 나타낸 도면이다.
도 37은 본 발명의 일 실시예에 따른 stream_type이 base stream이 아닌 stream을 나타내는 경우, stream_info_details()의 구성을 나타낸 도면이다.
도 38는 본 발명의 일 실시예에 따른 시나리오 1 중에서, 메인 수신기에서 모든 스트림을 디코딩하고 서브 수신기로 디코딩된 스트림을 전달하는 경우의 수신기 동작을 나타낸 도면이다.
도 39은 본 발명의 일 실시예에 따른 시나리오 1 중에서, 각 수신기에서 분리되어 할당된 각 스트림을 디코딩하는 경우의 수신기 동작을 나타낸 도면이다.
도 40은 본 발명의 일 실시예에 따른 시나리오 2를 기반으로 한 수신기의 동작을 나타낸 도면이다.
도 41는 본 발명의 일 실시예에 따른 시나리오 4 중에서, 메인 수신기에서 모든 스트림을 디코딩하고 서브 수신기로 디코딩된 스트림을 전달하는 경우의 수신기 동작을 나타낸 도면이다.
도 42는 본 발명의 일 실시예에 따른 방송 신호 수신 방법을 나타낸 도면이다.
도 43은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
도 44는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 신호 송신 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 다음과 같은 과정으로 처리될 수 있다.
먼저, 본 발명의 일 실시예에 따른 인코더는 영상을 인코딩할 수 있다. (S1010) 본 발명의 일 실시예에 따른 다중화부는 상기 인코딩된 영상 및/또는 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화할 수 있다. (S1020) 이 때, 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함할 수 있다. 본 발명의 일 실시예에 따른 방송 신호 생성부는 상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성할 수 있다. (S1030) 본 발명의 일 실시예에 따른 전송부는 상기 생성된 방송 신호를 전송할 수 있다. (S1040) 이 때, 전송부는 지상파 방송망, 인터넷 망 및/또는 케이블망을 통해 방송 신호를 전송할 수 있다.
본 발명의 다른 일 실시예에 따르면, 상기 영상에 관한 시그널링 정보는 현재 시청중인 방송 서비스와 대응되는 파노라마 방송 서비스에 대한 정보를 나타내는 이벤트 연결 정보를 포함하고, 상기 파노라마 영상에 관한 시그널링 정보는 상기 파노라마 영상의 구성을 나타내는 파노라마 구성 정보를 포함할 수 있다. 여기서, 이벤트 연결 정보는 advanced_event_linkage_info를 의미할 수 있다. 파노라마 구성 정보는 panorama_composition_info를 의미할 수 있다. 이에 대한 상세한 설명은 도 17, 30의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 인코더는 상기 영상을 하나 이상의 영상으로 분할하고 상기 분할된 영상을 각각 인코딩할 수 있다. 이 때, 상기 영상은 파노라마 영상을 포함할 수 있다. 이에 대한 상세한 설명은 도 2, 6, 7의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 인코더는 상기 영상 중 사용자의 관심 영역 (Region of Interest, ROI)에 대한 고화질 영상을 제공하기 위한 ROI (Region of Interest) 추가 정보를 인코딩할 수 있고, 상기 다중화부는 상기 인코딩된 영상, 상기 영상에 관한 시그널링 정보 및/또는 상기 인코딩된 ROI 추가 정보를 하나의 방송 스트림으로 다중화할 수 있다. 여기서, ROI 추가 정보는 ROI enhancement data를 의미할 수 있다. 이에 대한 상세한 설명은 도 5, 16, 41의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 분할된 영상에 대한 정보를 포함할 수 있다. 여기서, 분할된 영상에 대한 정보는 panorama_composition_metadata를 의미할 수 있다. 이에 대한 상세한 설명은 도 17, 19, 20의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 분할된 영상의 구획화 현상 (blocking artifact) 제거를 위한 필터링 정보를 포함할 수 있다. 여기서, 구획화 현상 제거를 위한 필터링 정보는 panorama_filtering_metadata를 의미할 수 있다. 이에 대한 상세한 설명은 도 17, 22의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 파노라마 영상을 하나 이상의 영상으로 크라핑 (cropping)하기 위한 정보를 포함할 수 있다. 여기서, 크라핑하기 위한 정보는 extraction_info_metadata를 의미할 수 있다. 이에 대한 상세한 설명은 도 3, 8, 17, 23, 38의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 관심 영역의 영상에 대한 정보를 포함할 수 있다. 여기서, 관심 영역의 영상에 대한 정보는 ROI_info_metadata를 의미할 수 있다. 이에 대한 상세한 설명은 도 17, 25, 41의 설명 부분에서 후술한다.
본 발명의 일 실시예는 파노라마 영상의 장점을 극대화하기 위한 효율적인 디스플레이 (display)를 위한 방법을 제공할 수 있다. 예를 들어, 본 발명의 일 실시예는 ROI (region of interest) 영역만 기존 수신기에서 수신하는 방법, 다수의 기존 수신기를 이용하여 임의의 사이즈를 가진 파노라마 비디오를 효율적으로 디스플레이하는 방법, 수신기에서 디스플레이할 수 있는 영역 외에도 사용자가 스크롤링 (scrolling)을 통해 잉여 영역을 볼 수 있도록 하는 방법을 제공할 수 있다.
본 발명의 일 실시예는 전체 파노라마 영상을 일정 크기로 분할하여 각각 인코딩 (encoding)하고 이를 각 수신기에 전달하여 다수의 수신기에서 해당 영역의 파노라마 영상을 출력할 수 있도록 할 수 있다. 또한, 본 발명의 일 실시예는 전체 파노라마 영상 중 일부 영역의 우선 순위 (priority)를 시그널링 (signaling)함으로써 1대의 기존 DTV 수신기도 파노라마 영상 중 일부 영역을 디스플레이할 수 있도록 할 수 있다. (시나리오 1) 즉, 시나리오 1은 분할된 파노라마 영상을 하나의 스트림으로 구성할 수 있다.
본 발명의 다른 일 실시예는 전체 파노라마 영상과 이를 분할할 수 있는 좌표값을 시그널링하여 하나의 메인 (main) 수신기에서 다수의 서브 (sub) DTV 수신기로 크라핑 (cropping)된 영상을 전달하도록 할 수 있다. 또한, 본 발명의 일 실시예는 모든 수신기에서 파노라마 영상 전체를 디코딩 (decoding)하고 각 수신기에 맞는 해당 영역의 파노라마 영상을 출력할 수 있게 할 수 있다. 또한, 본 발명의 일 실시예는 1대의 기존의 DTV 수신기에서도 크라핑된 영상을 시청할 수 있도록 할 수 있다. (시나리오 2) 즉, 시나리오 2는 전체 파노라마 영상을 하나의 스트림으로 구성할 수 있다.
본 발명의 다른 일 실시예는 사용자의 스크롤링 요청을 받으면 디폴트 (default) 영역을 디스플레이하다가 스크롤링 요청만큼 시프트 (shift)된 영상이 디스플레이될 수 있도록 할 수 있다. 다수의 기존 16:9 DTV에서 파노라마 영상을 분할하여 출력하고 있는 경우, 이에 따라 나머지 다른 DTV에서도 스크롤링이 연속적으로 자동적으로 이뤄질 수 있다. (시나리오 3) 시나리오 3에 따른 서비스는 시나리오 1 및/또는 시나리오 2를 기반으로 제공될 수 있다.
본 발명의 다른 일 실시예는 ROI 영역에 대한 고화질의 서비스를 제공하기 위해서 SHVC (scalable HEVC)를 이용하여 향상 계층 (enhancement layer)에서 일부 영역의 enhancement data를 제공할 수 있고 이에 대한 시그널링 정보를 제공할 수 있다. (시나리오 4)
본 발명의 다른 일 실시예는 시청자가 일반 방송 이벤트 (event)를 시청하고 있는 경우, 시청중인 이벤트와 대응하는 파노라마 서비스기 있을 때 linkage descriptor를 이용해 파노라마 서비스를 제공할 수 있다. (시나리오 5)
본 발명의 일 실시예에 따르면, 수신기는 기존의 16:9 화면비를 갖는 DTV에서도 파노라마 전체 영상을 resizing 없이 디스플레이할 수 있다. 본 발명의 일 실시예는 파노라마 영상이 포함하는 일부 ROI (region of interest) 영역을 하나의 디스플레이 장치가 출력하도록 할 수 있고 다수의 기존 DTV가 파노라마 영상을 분할해서 디스플레이할 수 있게 할 수 있다.
본 발명의 일 실시예에 따르면, 파노라마 영상이 시나리오 1 또는 2의 방법을 이용해서 각 수신기에서 디스플레이될 때, 사용자의 스크롤링 요청이 입력되면 영상을 시프트 (shift) 시켜 선택적으로 영상이 디스플레이될 수 있다.
본 발명의 일 실시예에 따르면, ROI 영역에 대한 추가 데이터 (enhancement data)를 전송하는 방법을 통하여 크기가 큰 데이터의 전송 없이 고화질 영상 서비스를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 파노라마 영상 서비스와 16:9 화면비의 영상 서비스를 연결할 수 있다. 여기서, 16:9 화면비의 영상 서비스는 파노라마 영상에서 분할된 것일 수 있고 기존의 16:9 화면비의 영상 서비스일 수 있다.
도 2는 본 발명의 일 실시예에 따른 시나리오 1의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 1은 임의의 사이즈의 전체 파노라마 영상을 임의의 크기로 분할하여 인코딩하고 이를 각 수신기에 전달하여 다수의 수신기에서 해당 영역의 파노라마 영상을 출력할 수 있도록 할 수 있다. 또한, 시나리오 1은 전체 파노라마 영상 중 일부 영역의 넘버링 (numbering)을 통해 (또는 일부 영역을 base view로 지정) 기존의 파노라마 영상 전체를 resizing 없이는 출력하지 못하는 수신기도 원하는 영역을 디스플레이할 수 있도록 할 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서 실선으로 표시된 바와 같이, 분할되어 인코딩된 스트림은 모두 메인 수신기로 전송될 수 있다. 메인 수신기는 전송된 스트림들을 디코딩한 후 디코딩된 각 영상을 서브 수신기로 전달할 수 있다.
본 발명의 다른 일 실시예에 따르면, 이 도면에서 점선으로 표시된 바와 같이, 분할된 각각의 영상에 대해 인코딩된 스트림들을 각각 서브 수신기 및 메인 수신기로 전송할 수 있다. 서브 수신기 및 메인 수신기는 전송받은 각 영상에 대한 스트림을 디코딩한 후 디스플레이할 수 있다.
도 3은 본 발명의 일 실시예에 따른 시나리오 2의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 2는 전체 파노라마 영상과 이를 크라핑할 수 있는 좌표값을 시그널링할 수 있다. 이에 따라, 시나리오 2는 다수의 DTV 수신기가 해당 영역의 파노라마 영상을 분할하여 출력할 수 있도록 할 수 있다. 시나리오 2는 기존 DTV만을 가지고 있는 수신자에게도 일부 파노라마 영상을 크라핑하여 제공할 수 있다. 또한, 시나리오 2는 세컨드 디바이스 (second device)가 크라핑된 영역을 디스플레이하도록 할 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에서 실선 (3010)으로 표시된 바와 같이, 전체 파노라마 영상에 대하여 인코딩된 하나의 스트림은 메인 수신기로 전송될 수 있다. 메인 수신기는 전송된 스트림을 디코딩할 수 있고 크랍 (crop) 좌표를 이용하여 전체 파노라마 영상 중 일부를 추출 (extract)할 수 있다. 그리고, 메인 수신기는 추출된 일부 영상을 서브 수신기로 전달할 수 있다.
본 발명의 다른 일 실시예에 따르면, 이 도면에서 점선 (3020)으로 표시된 바와 같이, 전체 파노라마 영상에 대하여 인코딩된 스트림은 모든 서브 수신기 및 메인 수신기로 전송될 수 있다. 각 수신기는 전송된 스트림을 디코딩하고 크랍 좌표를 이용하여 크라핑하여 각 수신기에서 필요한 영상을 디스플레이할 수 있다.
본 발명의 다른 일 실시예에 따르면, 이 도면에서 다른 점선 (3030)으로 표시된 바와 같이, 전체 파노라마 영상에 대하여 인코딩된 스트림은 기존 수신기 및/또는 세컨드 디바이스로 전송될 수 있다. 기존 수신기 및/또는 세컨드 디바이스는 전송된 스트림을 디코딩할 수 있고 크랍 좌표를 이용하여 크라핑할 수 있고 크라핑된 영상을 디스플레이할 수 있다.
도 4는 본 발명의 일 실시예에 따른 시나리오 3의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 3은 수신기가 파노라마 영상 중 일부 영역을 디폴트 영역으로 출력하도록 하고 사용자의 스크롤링 요청이 있는 경우, 해당 스크롤링 정보만큼 좌표값을 이동해 해당 영역을 디스플레이하도록 할 수 있다.
본 발명의 일 실시예에 따른 스크롤링 방법은 파노라마 영상을 디스플레이하는 디스플레이의 개수에 따라 달라질 수 있고, 인코딩된 스트림의 개수에 따라 달라질 수 있다.
도 5는 본 발명의 일 실시예에 따른 시나리오 4의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 4는 ROI 영역에 대한 고화질의 줌 인 (zoomin) 및 줌 아웃 (zoomout) 기능을 제공할 수 있다. 이를 위해, 시나리오 4는 SHVC의 향상 계층 (enhancement layer)를 이용하여 파노라마 영상이 포함하는 일부 영역에 대한 enhancement data를 제공할 수 있고 이에 대한 시그널링을 제공할 수 있다.
이 도면을 보면, 파노라마 영상은 기본 계층 (base layer) 또는 다른 향상 계층의 스트림으로 인코딩 (HEVC Encoder)되어 전송될 수 있다. 수신단은 인코딩된 스트림을 디코딩하여 (HEVC Decoder) 디스플레이할 수 있다. 한편, ROI에 대한 enhancement data는 향상 계층의 스트림으로 인코딩 (SHVC Encoder)되어 전송될 수 있다. 수신단은 인코딩된 스트림을 디코딩하여 (SHVC Decoder) 디스플레이할 수 있다. 이 때, 수신기는 ROI 영역에 대한 정보 (ROI_start_x, ROI_start_y, ROI_width 및/또는 ROI_height)를 이용하여 수신한 파노라마 영상의 ROI 영역을 크라핑할 수 있고 수신한 enhancement data를 이용하여 ROI 영역에 대하여 고화질 영상을 제공할 수 있다. 여기서, SHVC는 scalable HEVC의 약칭으로서, HEVC를 기반으로 하는 스케일러블 (scalable) 코덱에 해당할 수 있다. 따라서, SHVC는 HEVC를 포함하고 나아가, enhancement layer (향상 계층) 스트림을 인코딩 및/또는 디코딩하여 스케일러빌리티 (scalability) 기능을 제공할 수 있다. 여기서, enhancement layer는 base layer의 HEVC 스트림에 포함된 정보를 제외한 부가 정보 (residual data)를 갖는 스트림을 포함하는 layer에 해당할 수 있다.
본 발명의 다른 일 실시예에 따른 시나리오 5는 시청자가 일반 방송 이벤트를 시청하고 있는 경우, 이와 관련하여 대응되는 파노라마 서비스가 있으면 linkage descriptor를 이용하여 파노라마 서비스를 제공할 수 있다. 여기서, 이벤트는 방송 프로그램을 의미할 수 있다.
도 6은 본 발명의 일 실시예에 따른 파노라마 영상을 분할하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 파노라마 영상은 left, center 및 right 형태로 분할될 수 있고 이 도면에 도시된 바와 같이 모자이크 형태의 다수 개의 영상으로 분할될 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에 도시된 바와 같이 분할된 각 영상을 일차원의 형태로 시그널링할 수 있고 (6010), 이차원의 좌표값의 형태로 시그널링할 수 있다. 이 때, 번호를 할당하는 순서는 달라질 수 있다.
도 7은 본 발명의 일 실시예에 따른 시나리오 1의 파노라마 서비스 구성을 나타낸 도면이다.
본 발명의 일 실시예는 16:9 화면비의 포맷과 호환될 수 있는 서비스 (service 1)를 중심으로 하여 임의의 사이즈를 갖는 파노라마 영상을 일정 영역으로 분할할 수 있다. 분할된 영상은 각각 인코딩되어 다수의 수신기로 전송될 수 있다. 각 수신기는 해당 영역의 영상을 디스플레이할 수 있다.
파노라마 영상 전체를 다수의 수신기에 디스플레이하기 위해서, 본 발명의 일 실시예는 서비스 1 (service 1)에 해당하는 영상 (7010), 서비스 2 (service 2)에 해당하는 영상 (7020), 서비스 3 (service 3)에 해당하는 영상 (7030) 및/또는 panorama composition information을 이용하여 각 수신기에게 각 서비스 및/또는 파노라마 서비스를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 파노라마 영상의 디스플레이가 가능한 video wall 및/또는 signage는 panorama composition information을 이용하여 원본과 같은 파노라마 영상을 구성하여 디스플레이할 수 있다. 여기서, video wall은 여러 개의 비디오 화면을 쌓은 대형 화면을 의미할 수 있다. signage는 디스플레이 광고 게시판과 같은 대형 디스플레이를 의미할 수 있다.
본 발명의 다른 일 실시예에 따르면, 수신기는 기존의 16:9 화면비의 DTV에서 파노라마 영상을 resizing 없이 디스플레이할 수 있고 이 경우, 분할된 영상들 (7010, 7020, 7030) 중에서 사용자에 의해 선택된 영상만을 디스플레이할 수 있다. 또한, 본 발명의 일 실시예는 디폴트로 지정된 서비스 1 (service 1)을 제공할 수 있다.
도 8은 본 발명의 일 실시예에 따른 시나리오 2의 파노라마 서비스 구성을 나타낸 도면이다.
본 발명의 일 실시예는 임의의 사이즈를 갖는 파노라마 영상을 분할할 수 있는 크라핑 좌표값을 파노라마 영상과 함께 하나 이상의 수신기로 전송할 수 있다. 각 수신기는 전체 파노라마 영상을 수신하여 디코딩한 후 크라핑 좌표값을 이용하여 전체 파노라마 영상을 크라핑할 수 있다.
본 발명의 일 실시예에 따르면, 16:9 화면비의 수신기에서 파노라마 영상을 resizing 없이 디스플레이하는 경우, 수신기는 크라핑 좌표값을 포함하는 extraction info metadata를 이용하여 사용자가 원하는 화면을 선택하여 이를 디스플레이할 수 있다. 이 때, 수신기는 extraction info metada에 포함된 여러 개의 크라핑 좌표 중에서 디폴트로 지정된 크라핑 좌표를 이용하여 16:9 서비스를 제공할 수 있다. 여기서, 수신기는 DTV를 의미할 수 있다.
본 발명의 다른 일 실시예에 따르면, 파노라마 영상 전체를 다수의 수신기에서 디스플레이하는 경우, 각 수신기는 extraction info metadata를 이용하여 전체 파노라마 영상을 분할하고 각 수신기에 해당하는 분할된 영상을 디스플레이할 수 있다. 여기서, 수신기는 DTV를 의미할 수 있다.
본 발명의 다른 일 실시예에 따르면, 파노라마 영상의 디스플레이가 가능한 video wall 및/또는 signage는 extraction info metadata를 무시하고 파노라마 영상을 디스플레이할 수 있다.
도 9는 본 발명의 일 실시예에 따른 시나리오 1 기반의 분할된 파노라마 영상을 인코딩한 스트림을 다수의 수신기가 디코딩하는 경우 스크롤링에 따른 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 시나리오 1 또는 시나리오 2를 통해 구성된 파노라마 영상에서, x축으로 +X만큼 y축으로 +Y만큼의 스크롤링 요청이 있는 경우, 수신기는 전체 파노라마 영상에서 오른쪽으로 X 위쪽으로 Y만큼 시프트된 영상을 디스플레이할 수 있다. 이 때, 본 발명의 일 실시예에 따른 시나리오 3 (스크롤링에 따른 수신기의 동작)은 분할된 파노라마 영상을 하나의 스트림으로 구성하는 시나리오 1을 기반으로 하는 경우와 전체 파노라마 영상을 하나의 스트림으로 구성하는 시나리오 2를 기반으로 하는 경우에 있어 다른 방법에 의해 서비스를 제공할 수 있다.
본 발명의 일 실시예에 따른 시나리오 3은 시나리오 1을 기반으로 하더라도 분할된 파노라마 영상을 인코딩한 스트림을 다수의 수신기가 디코딩하는 경우와 분할된 파노라마 영상을 인코딩한 스트림을 하나의 수신기가 디코딩하는 경우에 있어 다른 방법에 의해 서비스를 제공할 수 있다.
이 도면은, 시나리오 1 기반의 분할된 파노라마 영상을 인코딩한 스트림을 다수의 수신기가 디코딩하는 경우에 시나리오 3에 따른 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따라 전체 파노라마 영상이 여러 개의 영상으로 분할되고 각 분할된 파노라마 영상이 각각의 스트림으로 송신되는 경우 (시나리오 1), 각 수신기는 출력해야 할 각 스트림을 디코딩하고 디스플레이할 수 있다. 이 때, 사용자로부터 스크롤링 요청을 받는다면, 각 수신기는 디코딩한 영상 중에서 사용자가 스크롤링을 요청한 부분만큼의 영상을 분할하여 다른 수신기로 전달하거나 다른 수신기로부터 필요한 영상을 전달 받을 수 있다. 그리고, 이 경우 사용자가 스크롤링을 요청한 부분만큼의 영상 즉, 필요한 영상은 IP (internet protocol), UPnP (universal plug and play), HDMI (high definition multimedia interface) 등의 방법을 이용하여 전달될 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에 도시된 바와 같이, 전체 파노라마 영상은 6개의 영상으로 분할될 수 있다. 이 때, 본 발명의 일 실시예는 설명의 편의상 좌측 상단의 영상부터 우측 하단의 영상까지 1부터 6까지의 번호를 매길 수 있다. 각 분할된 영상은 다수의 수신기로 각각 전달될 수 있다. 예를 들어, 분할된 1번 및 2번 영상은 각각 인코딩될 수 있고 인코딩된 각 스트림은 수신기 1로 전달될 수 있다. 마찬가지로, 분할된 3번 및 4번 영상은 수신기 2로 전달될 수 있고 분할된 5번 6번 영상은 수신기 3으로 전달될 수 있다. 이 때, 사용자의 스크롤링 요청이 있는 경우, 스크롤링 요청을 받은 수신기는 메인 수신기가 될 수 있고 메인 수신기는 다른 서브 수신기에게 스크롤링 요청을 전달하고 이에 대한 시그널링 정보를 전달할 수 있다. 예를 들어, 왼쪽에서 오른쪽으로 이동하는 사용자의 스크롤링 요청이 있다면, 이 도면에서 수신기 1은 수신기 1에서 원래 디스플레이되고 있던 영상의 스크롤링에 의해 이동한 만큼의 좌측 부분에 bar data를 삽입할 수 있고, 스크롤링에 의해 이동한 만큼의 우측 부분 (A 영역)은 수신기 1에서 디코딩되지만 디코딩 이후 수신기 2의 좌측 부분 (A' 영역)으로 이동되어 수신기 2에서 출력될 수 있다. 수신기 2는 수신기 1로부터 디코딩된 A 영역의 영상을 전달받아 디스플레이할 수 있고, 수신기 2에서 원래 디스플레이되고 있던 영상의 스크롤링에 의해 이동한 만큼의 우측 부분 (B 영역)은 수신기 2에서 디코딩되지만 디코딩 이후 수신기 3의 좌측 부분 (B' 영역)으로 이동되어 수신기 3에서 출력될 수 있다. 수신기 3은 수신기 2로부터 디코딩된 B 영역의 영상을 전달받아 디스플레이할 수 있고, 수신기 3에서 원래 디스플레이되고 있던 영상의 스크롤링에 의해 이동한 만큼의 우측 부분은 디스플레이되지 않을 수 있다. 본 발명의 일 실시예에 따르면, 이 도면에서, 수신기 1은 수신기 2에게 디코딩된 A 영역의 영상 및/또는 A 영역에 대한 좌표 정보 (width 및/또는 height)를 전달할 수 있다. 마찬가지로, 수신기 2는 수신기 3에게 디코딩된 B 영역의 영상 및/또는 B 영역에 대한 좌표 정보를 전달할 수 있다.
이 도면은, 시나리오 1 기반의 분할된 파노라마 영상을 인코딩한 스트림을 다수의 수신기가 디코딩하는 경우에 시나리오 3 (스크롤링)에 따른 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따라 전체 파노라마 영상이 여러 개의 영상으로 분할되고 각 분할된 파노라마 영상이 각각의 스트림으로 송신되는 경우 (시나리오 1), 메인 수신기는 모든 스트림을 수신 및 디코딩할 수 있고 디코딩된 모든 분할된 영상을 서브 수신기로 전달할 수 있다. 즉, 본 발명의 일 실시예는 메인 수신기에서 모든 영상을 디코딩하고 전체 파노라마 영상을 구성하고 각 서브 수신기에서 디스플레이해야 할 영상을 전달하는 방법을 나타내므로 결국, 시나리오 2 (크라핑)의 메인 수신기에서 전체 파노라마 영상을 디코딩하고 여러 대의 수신기로 전달하는 방법과 동일할 수 있다.
서브 수신기들은 출력해야 할 영상을 메인 수신기로부터 전달 받아 전달 받은 영상을 디스플레이할 수 있다. 이 때, 사용자로부터 스크롤링 요청을 받는다면, 메인 수신기는 디코딩한 전체 파노라마 영상 중에서 사용자가 스크롤링을 요청한 만큼 영상을 이동시키고 다른 서브 수신기에서 출력할 디코딩된 영상을 IP (internet protocol), UPnP (universal plug and play), HDMI (high definition multimedia interface) 등의 방법을 이용하여 서브 수신기로 전달할 수 있다.
본 발명의 일 실시예에 따르면, 이 도면에 도시된 바와 같이, 전체 파노라마 영상은 6개의 영상으로 분할될 수 있다. 이 때, 본 발명의 일 실시예는 설명의 편의상 좌측 상단의 영상부터 우측 하단의 영상까지 1부터 6까지의 번호를 매길 수 있다. 각 분할된 영상은 각각 인코딩될 수 있고 인코딩된 스트림들은 하나의 수신기로 전달될 수 있다. 예를 들어, 분할된 1번 내지 6번 영상은 각각 인코딩될 수 있고 인코딩된 각 스트림은 모두 수신기 2로 전달될 수 있다. 이 때, 사용자의 스크롤링 요청이 있는 경우, 스크롤링 요청을 받은 수신기는 메인 수신기가 될 수 있고 메인 수신기는 다른 서브 수신기에게 스크롤링 요청을 전달하고 이에 대한 시그널링 정보를 전달할 수 있다. 예를 들어, 왼쪽에서 오른쪽으로 이동하는 사용자의 스크롤링 요청이 있다면, 전체 파노라마 영상 중에서 각 수신기에서 디스플레이될 영상은 변경될 수 있고, 메인 수신기는 전체 파노라마 영상을 디코딩하고 각 수신기에서 디스플레이될 영상들을 재분할하여 서브 수신기들에게 전달할 수 있다. 이 때, 수신기 1은 수신기 1에서 원래 디스플레이되고 있던 영상의 스크롤링에 의해 이동한 만큼의 좌측 부분에 bar data를 삽입할 수 있고, 수신기 3에서 원래 디스플레이되고 있던 영상의 스크롤링에 의해 이동한 만큼의 우측 부분은 디스플레이되지 않을 수 있다.
도 11은 본 발명의 일 실시예에 따른 파노라마 영상을 다수의 디스플레이 사이즈가 같은 수신기에서 디스플레이하는 경우, 스크롤링 요청에 따른 파노라마 영상의 배치를 나타낸 도면이다.
본 발명의 일 실시예에 따른 메인 수신기 (main display)는 메인 수신기로 전송된 스트림을 스크롤링 요청과 관계없이 디코딩할 수 있다. 이 후, x축으로 +X만큼 y축으로 +Y만큼 스크롤링하는 요청이 들어오면, 메인 수신기는 (0,0) 지점에서 x축으로 +X만큼 y축으로 +Y만큼 이동한 지점에서부터 메인 수신기의 디스플레이와 동일한 너비 (width)와 높이 (height)를 갖는 영상을 출력할 수 있다. 예를 들어, 이 도면에서는 x축으로 700만큼 (왼쪽방향), y축으로 0만큼 스크롤링하는 경우에 대한 파노라마 영상의 배치를 나타내었다.
본 발명의 일 실시예에 따르면, 서브 수신기 (subdisplay 1, subdisplay 2)에서 디코딩되었지만 메인 수신기 또는 다른 서브 수신기에서 디스플레이되어야 할 영상이 있는 경우, 영상을 디코딩한 서브 수신기는 디코딩된 영상을 디스플레이할 메인 수신기 또는 다른 서브 수신기로 전달할 수 있다. 마찬가지로, 메인 수신기에서 디코딩되었지만 다른 서브 수신기에서 디스플레이되어야 할 영상이 있는 경우, 영상을 디코딩한 메인 수신기는 디코딩된 영상을 디스플레이할 서브 수신기로 전달할 수 있다.
본 발명의 일 실시예에 따른 서브 수신기 (subdisplay 1, subdisplay 2)는 메인 수신기로부터 사용자의 스크롤링 요청을 전달 받을 수 있다. 서브 수신기는 수신한 스트림을 스크롤링 요청과 관계없이 디코딩할 수 있다. 이 후, x축으로 +X만큼 y축으로 +Y만큼 스크롤링하는 요청이 들어오면, 메인 수신기는 (0,0) 지점에서 x축으로 +X만큼 y축으로 +Y만큼 이동한 지점에서부터 메인 수신기의 디스플레이와 동일한 너비 (width)와 높이 (height)를 갖는 영상을 출력할 수 있다. 서브 수신기는 스크롤링으로 인해서 서브 수신기의 디스플레이에 빈 영역이 생기는 경우, 서브 수신기의 출력 해상도 및 scrolling info를 기반으로 bar data를 삽입할 수 있다. 여기서, bar data로서 letter box 및/또는 pillar box가 삽입될 수 있고 letter box 및 pillar box가 결합되어 삽입될 수 있다.
본 발명의 일 실시예에 따른 서브 수신기에서 디코딩하지는 않았지만 디스플레이해야 할 영상이 있다면, 메인 수신기 또는 다른 서브 수신기로부터 디코딩된 영상을 전달 받을 수 있다.
도 12는 본 발명의 일 실시예에 따른 파노라마 영상을 다수의 디스플레이 사이즈가 다른 수신기에서 디스플레이하는 경우, 스케일링 (scaling)을 이용한 스크롤링 요청에 따른 파노라마 영상의 배치를 나타낸 도면이다.
전술한 다수의 디스플레이 사이즈가 같은 수신기에서 디스플레이하는 경우와 달리, 본 발명의 다른 일 실시예는 각 수신기의 디스플레이 사이즈가 다르므로 스케일링 다운 (scaling down) 및/또는 스케일링 업 (scaling up) 단계를 한번 더 거칠 수 있다. 본 발명의 일 실시예는 다수의 수신기를 사용하기 위해서 다중 모니터를 사용할 때와 마찬가지로 메인 수신기와 서브 수신기 사이에 스크린 사이즈 및/또는 출력 해상도에 관한 정보를 주고받고 다수의 수신기가 연결되는 위치를 설정할 수 있다.
본 발명의 일 실시예에 따른 메인 수신기 및 서브 수신기는 서로의 스크린 사이즈 및/또는 출력 해상도에 관한 정보를 주고받을 수 있다. 이러한 정보 교환은 최초 실행 시에만 이루어질 수 있다. 본 발명의 일 실시예에 따르면, 사용자가 스크롤링을 요청한 수신기가 메인 수신기가 되고 메인 수신기는 스크롤링 관련 정보를 다른 모든 서브 수신기에게 전달할 수 있다.
본 발명의 일 실시예에 따른 메인 수신기 (main display)는 메인 수신기로 전송된 스트림을 스크롤링 요청과 관계없이 디코딩할 수 있다. 이 후, x축으로 +X만큼 y축으로 +Y만큼 스크롤링하는 요청이 들어오면, 메인 수신기는 (0,0) 지점에서 x축으로 +X만큼 y축으로 +Y만큼 이동한 지점에서부터 메인 수신기의 디스플레이와 동일한 너비 (width)와 높이 (height)를 갖는 영상을 출력할 수 있다. 예를 들어, 이 도면에서는 x축으로 700만큼 (왼쪽방향), y축으로 0만큼 스크롤링하는 경우에 대한 파노라마 영상의 배치를 나타내었다.
본 발명의 일 실시예에 따른 메인 수신기의 디스플레이 사이즈가 다른 서브 수신기들의 디스플레이 사이즈보다 큰 경우, 메인 수신기에서 다른 서브 수신기로 보내는 영상은 서브 수신기의 출력 해상도 및/또는 스크린 사이즈를 기초로 하여 스케일 다운 (scaledown)되어 서브 수신기들에게 전달될 수 있다. (12010) 이와 반대로, 서브 수신기에서 메인 수신기로 보내는 영상은 메인 수신기의 출력 해상도 및/또는 스크린 사이즈를 기초로 하여 스케일 업 (scaleup)되어 메인 수신기로 전달될 수 있다. (12020)
본 발명의 일 실시예에 따른 서브 수신기 (subdisplay 1, subdisplay 2)는 메인 수신기로부터 사용자의 스크롤링 요청을 전달 받을 수 있다. 서브 수신기는 수신한 스트림을 스크롤링 요청과 관계없이 디코딩할 수 있다. 이 후, x축으로 +X만큼 y축으로 +Y만큼 스크롤링하는 요청이 들어오면, 메인 수신기는 (0,0) 지점에서 x축으로 +X만큼 y축으로 +Y만큼 이동한 지점에서부터 메인 수신기의 디스플레이와 동일한 너비 (width)와 높이 (height)를 갖는 영상을 출력할 수 있다. 서브 수신기는 스크롤링으로 인해서 서브 수신기의 디스플레이에 빈 영역이 생기는 경우, 서브 수신기의 출력 해상도 및 scrolling info를 기반으로 bar data를 삽입할 수 있다. 여기서, bar data로서 letter box 및/또는 pillar box가 삽입될 수 있고 letter box 및 pillar box가 결합되어 삽입될 수 있다.
도 13은 본 발명의 일 실시예에 따른 파노라마 영상을 다수의 디스플레이 사이즈가 다른 수신기에서 디스플레이하는 경우, 크라핑 (cropping)을 이용한 스크롤링 요청에 따른 파노라마 영상의 배치를 나타낸 도면이다.
전술한 스케일링을 이용한 스크롤링 요청에 따른 파노라마 영상의 배치와 달리, 본 발명의 다른 일 실시예는 디코딩된 영상을 스케일링 과정 없이 디스플레이 사이즈에 맞게 크라핑하여 각 수신기에 배치할 수 있다.
본 발명의 일 실시예에 따른 서브 수신기 (subdisplay 1, subdisplay 2)는 분할된 스트림을 수신하고, 각 수신기의 출력 해상도, 다수의 수신기가 연결되는 좌표값, 다수의 수신기의 디스플레이 사이즈 및/또는 scrolling info를 이용하여, 수신된 분할된 스트림을 디코딩한 후 서브 수신기의 디스플레이 사이즈에 맞게 영상을 크라핑할 수 있다.
사용자의 스크롤링 요청이 있는 경우, 본 발명의 일 실시예는 각 수신기의 출력 해상도, 다수의 수신기가 연결되는 좌표값, 다수의 수신기의 디스플레이 사이즈 및/또는 scrolling info를 이용하여 메인 수신기에서 출력하던 1번 영상 (13010)을 크라핑하여 버릴 수 있다. 서브 수신기에서 서브 수신기의 디스플레이 사이즈에 맞추기 위하여 버려졌던 2번 영상 (13020)은 디코딩 이후 버리지 않고 3번 영상 (13030)과 함께 메인 수신기로 전달될 수 있다. 예를 들어, 이 도면에서는 x축으로 700만큼 (왼쪽방향), y축으로 0만큼 스크롤링하는 경우에 대한 파노라마 영상의 배치를 나타내었다.
도 14는 본 발명의 일 실시예에 따른 파노라마 영상을 두 개의 수신기에서 디스플레이하는 경우 양 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 사용자로부터 스크롤링 요청을 받은 수신기는 메인 수신기일 수 있고 나머지 다른 수신기는 서브 수신기일 수 있다.
본 발명의 일 실시예에 따르면, 메인 수신기와 서브 수신기는 서로간에 target display size 및/또는 출력 해상도 정보를 교환할 수 있다. 여기서, target display size는 메인 수신기 및/또는 서브 수신기의 디스플레이 사이즈를 나타낼 수 있다. 메인 수신기와 서브 수신기는 분할된 파노라마 영상에 대한 스트림을 각각 수신할 수 있고 수신된 각 스트림을 디코딩할 수 있다. 이 후, x축으로 +X만큼, y축으로 Y만큼 이동 ((x,y) > (x',y'))하라는 스크롤링 요청이 있는 경우, 메인 수신기는 스크롤링 요청을 수신하고 scrolling info를 서브 수신기로 전달할 수 있다. 메인 수신기는 scrolling info 및/또는 target display 정보를 이용하여 메인 수신기에서 디코딩한 스트림에 대한 영상을 분리한 후 서브 수신기로 전달할 수 있다. 마찬가지로, 서브 수신기는 scrolling info 및/또는 target display 정보를 이용하여 서브 수신기에서 디코딩한 스트림에 대한 영상을 분리한 후 메인 수신기로 전달할 수 있다. 여기서, target display 정보는 target display size 및/또는 출력 해상도 정보를 포함할 수 있다. 디코딩한 스트림에 대한 영상을 분리하는 방법은 전술한 스케일링 및/또는 크라핑 방법을 포함할 수 있다.
도 15는 본 발명의 일 실시예에 따른 시나리오 2 기반의 하나의 스트림으로 인코딩된 전체 파노라마 영상을 수신기가 수신하는 경우 스크롤링에 따른 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 2는 전체 파노라마 영상이 하나의 스트림으로 구성되고 크라핑 좌표를 이용하여 전체 파노라마 영상이 여러 개의 영상으로 분할되는 경우를 나타낼 수 있다.
시나리오 2에 따르면, 하나의 수신기가 전체 파노라마 영상에 대한 스트림을 모두 디코딩한 후 크라핑 좌표를 이용하여 전체 파노라마 영상을 분할하고 다른 수신기로 분할된 영상을 전달할 수 있다. (시나리오 21) 그리고, 모든 수신기가 전체 파노라마 영상에 대한 스트림을 모두 디코딩한 후 크라핑 좌표를 이용하여 각 수신기에서 디스플레이할 영역만을 출력할 수 있다. (시나리오 22)
전술한 시나리오 21의 경우, 사용자의 스크롤링 요청이 있으면, 본 발명의 일 실시예는 사용자의 스크롤링 요청에 따라 크라핑 좌표값을 이동시킬 수 있다. ((x,y) > (x',y')) 본 발명의 일 실시예는 크라핑 좌표값에 따라 전체 파노라마 영상을 크라핑할 수 있다. 메인 수신기는 크라핑되어 분할된 영상을 서브 수신기로 전달할 수 있다. 그리고, 서브 수신기는 전달된 분할된 영상을 디스플레이할 수 있다.
전술한 시나리오 22의 경우, 사용자의 스크롤링 요청이 있으면, 스크롤링 요청을 받은 메인 수신기가 다른 서브 수신기에게 스크롤링 정보를 전달할 수 있다. 모든 수신기는 전체 파노라마 영상을 디코딩할 수 있다. 각 수신기는 사용자의 스크롤링 요청에 따라 크라핑 좌표값을 이동시키고 크라핑 좌표값에 따라 전체 파노라마 영상을 크라핑할 수 있다. 그리고, 크라핑되어 분할된 영상을 디스플레이할 수 있다.
도 16은 본 발명의 일 실시예에 따른 시나리오 4 기반의 파노라마 서비스 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 4는 ROI 영역에 대한 고화질의 서비스를 제공하기 위해서 SHVC (scalable HEVC)를 이용하여 향상 계층 (enhancement layer)에서 일부 영역의 enhancement data를 제공할 수 있고 이에 대한 시그널링 정보를 제공할 수 있다.
본 발명의 일 실시예는 파노라마 영상 중 ROI 영역을 지정할 수 있고 ROI 영역에 대해 기존의 base layer 신호에 추가되는 enhancement data를 enhancement layer로 인코딩하여 전송할 수 있다. 파노라마 영상이 저화질인 경우 ROI 영역의 영상에 대해 고화질의 서비스를 제공하기 위해 enhancement data가 이용될 수 있다. 이로써, 본 발명의 일 실시예는 고화질의 ROI 영역을 포함한 파노라마 서비스를 제공할 수 있다.
이 도면에 도시된, residual data for ROI는 enhancement data와 동일한 의미를 나타낼 수 있고, ROI 영역의 너비 (width), 높이 (height), 시작점 좌표 (x,y)를 포함할 수 있다.
도 17은 본 발명의 일 실시예에 따른 panorama_composition_info의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 panorama_composition_info는 SEI (supplemental enhancement information) message에 포함되어 전송될 수 있다. panorama_composition_info는 panorama_composition_information으로 명명될 수 있다.
본 발명의 일 실시예에 따른 panorama_composition_info는 panorama_service_type 필드, panorama_composition_info_ver 필드, panorama_width_div32 필드, panorama_height_div32 필드, panorama_profile 필드, panorama_level 필드, panorama_tier 필드, panorama_stream_num 필드, panorama_view_num 필드, panorama_view_priority 필드, included_stream_id 필드, panorama_composition_metadata() 필드, panorama_filtering_metadata() 필드, cropping_region_num 필드, extraction_info_metadata() 필드, ROI_num 필드, ROI_codec_type 필드 및/또는 ROI_info_metadata() 필드를 포함할 수 있다.
panorama_service_type 필드는 해당 프로그램이 어떤 비율로 구성된 파노라마 영상 서비스인지를 나타낼 수 있다. 이에 대한 상세한 설명은 후술한다.
panorama_composition_info_ver 필드는 panorama_composition_info의 version number를 나타낼 수 있다. 본 발명의 일 실시예는 panorama_composition_info의 data 일부가 변경되는 경우 version number를 '1'씩 증가시켜 update version임을 나타낼 수 있다.
panorama_width_div32 필드는 원본 파노라마 영상의 resolutiond을 시그널링하기 위한 너비 (width)를 나타낼 수 있다. 실제 width 값은 이 필드 값에 32를 곱한 값일 수 있다. 이 도면에 도시되어 있지 않지만, panorama_composition_info는 aspect ratio 정보를 포함하는 panorama_aspect_ratio 필드를 포함할 수 있다.
panorama_height_div32 필드는 원본 파노라마 영상의 resolutiond을 시그널링하기 위한 높이 (height)를 나타낼 수 있다. 실제 height 값은 이 필드 값에 32를 곱한 값일 수 있다.
panorama_profile 필드는 전체 파노라마 영상에 대한 profile 정보를 나타낼 수 있다.
panorama_level 필드는 전체 파노라마 영상에 대한 level 정보를 나타낼 수 있다.
panorama_tier 필드는 전체 파노라마 영상에 대한 tier 정보를 나타낼 수 있다. 여기서, 사용되는 코덱 (codec)의 종류에 따라 tier의 개념은 사용되지 않을 수 있다. tier를 사용하지 않는 경우에는 main tier와 동일하게 시그널링할 수 있다.
panorama_stream_num 필드는 panorama_service_type이 1인 경우, 전체 파노라마 영상이 분리된 스트림의 개수를 나타낼 수 있다.
panorama_view_num 필드는 panorama_service_type이 1인 경우, 전체 파노라마 영상이 몇 개의 수신기로 분리되어 전달되는지 나타낼 수 있다.
panorama_view_priority 필드는 panorama_service_type이 1인 경우, 분리된 여러 개의 영상의 우선순위를 나타낼 수 있다. 예를 들어, 한 대의 수신기만 가지고 있는 경우 우선순위가 가장 높은 view (영상)가 출력될 수 있다.
included_stream_id 필드는 panorama_service_type이 1인 경우, 분리된 파노라마 영상의 id를 나타낼 수 있다. 이 필드는 수신기에서 디스플레이되는 영상이 어떤 영상인지 식별할 수 있다. 본 발명의 일 실시예는 분리된 스트림의 개수에 따라 마스크 비트를 할당할 수 있다. 예를 들면, panorama_view_num 필드가 나타내는 값이 10인 경우 즉, 전체 파노라마 영상이 10개의 스트림으로 분리된 영상인 경우, 이 필드에는 10비트가 할당될 수 있다.
panorama_composition_metadata() 필드에 대한 상세한 설명은 후술한다.
panorama_filtering_metadata() 필드에 대한 상세한 설명은 후술한다.
cropping_region_num 필드는 panorama_service_type이 2인 경우, 전체 파노라마 영상을 분리할 수 있는 크라핑 좌표 값의 개수를 나타낼 수 있다. panorama_composition_info는 해당 스트림이 파노라마 영상을 여러 개의 영역으로 크라핑할 수 있도록 구성된 스트림인지 여부를 나타낼 수 있는 cropping_flag 필드를 포함할 수 있다.
extraction_info_metadata() 필드에 대한 상세한 설명은 후술한다.
ROI_num 필드는 panorama_service_type이 4인 경우, ROI 영역의 개수를 나타낼 수 있다.
ROI_codec_type 필드는 사용되는 코덱의 종류를 나타낼 수 있다. 본 발명의 일 실시예에 따르면, 고화질의 ROI 영역의 서비스를 제공하기 위해 high dynamic range 서비스나 color gamut 관련 서비스를 제공하기 위해서는 scalable codec인 S(H)VC를 이용할 수 있다. 그리고, 기존의 서비스는 60p 이지만, 120p의 temporal scalability 서비스를 제공하는 경우에는 HEVC(AVC) 코덱으로 서비스를 제공할 수 있다. 따라서, 사용되는 코덱의 종류를 나타내는 필드가 필요하다.
ROI_info_metadata() 필드에 대한 상세한 설명은 후술한다.
도 18은 본 발명의 일 실시예에 따른 panorama_service_type의 구성을 나타낸 도면이다.
이 도면을 보면, panorama_service_type이 001인 경우, 이는 본 발명의 일 실시예에 따른 시나리오 1의 서비스가 제공됨을 나타낼 수 있다. 시나리오 1은 파노라마 영상을 기존 수신기에서 호환 가능한 형태로 분리한 서비스를 나타낼 수 있다. panorama_service_type이 010인 경우, 이는 본 발명의 일 실시예에 따른 시나리오 2의 서비스가 제공됨을 나타낼 수 있다. 시나리오 2는 전체 파노라마 영상 및 extraction information을 포함하는 서비스를 나타낼 수 있다. panorama_service_type이 011인 경우, 이는 본 발명의 일 실시예에 따른 시나리오 4의 서비스가 제공됨을 나타낼 수 있다. 시나리오 4는 ROI 영역에 대한 고화질의 영상을 제공할 수 있는 서비스를 나타낼 수 있다.
도 19는 본 발명의 일 실시예에 따른 panorama_composition_metadata()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 panorama_composition_metadata()는 sub_video_profile 필드, sub_video_level 필드, sub_video_tier 필드, sub_video_aspect_ratio 필드, sub_video_width_div8 필드, sub_video_height_div8 필드, sub_video_stream_id 필드 및/또는 sub_video_afd_bar () 필드를 포함할 수 있다.
sub_video_profile 필드는 영역별로 분리된 비디오 스트림의 profile 정보를 나타낼 수 있다. 분리된 비디오 스트림의 profile 정보가 전체 파노라마 영상의 스트림과 동일하다면 따로 시그널링할 필요 없이 전체 파노라마 영상의 스트림과 동일하다는 시그널링으로 대체할 수 있다.
sub_video_level 필드는 영역별로 분리된 비디오 스트림의 level 정보를 나타낼 수 있다. 분리된 비디오 스트림의 level 정보가 전체 파노라마 영상의 스트림과 동일하다면 따로 시그널링할 필요 없이 전체 파노라마 영상의 스트림과 동일하다는 시그널링으로 대체할 수 있다.
sub_video_tier 필드는 영역별로 분리된 비디오 스트림의 tier 정보를 나타낼 수 있다. 분리된 비디오 스트림의 tier 정보가 전체 파노라마 영상의 스트림과 동일하다면 따로 시그널링할 필요 없이 전체 파노라마 영상의 스트림과 동일하다는 시그널링으로 대체할 수 있다.
sub_video_aspect_ratio 필드, sub_video_width_div8 필드, sub_video_height_div8 필드는 영역별로 분리된 비디오 스트림의 resolution 정보인 aspect ratio, width 및 height 정보를 나타낼 수 있다. 본 발명의 일 실시예에 따르면, aspect ratio 정보는 resolution 정보를 통해 유추할 수 있으므로 sub_video_aspect_ratio 필드는 panorama_composition_metadata()에 포함되지 않을 수 있다.
sub_video_stream_id 필드는 영역별로 분리된 비디오 스트림을 식별할 수 있다. 영상분할방법과 관련하여 전술한 바와 같이 당해 필드 값은 2차원 또는 1차원 좌표 값을 나타낼 수 있다. 2차원 좌표 값으로 할당되는 경우는 할당된 2차원 좌표 값을 1차원 좌표 값으로 맵핑 (mapping)할 수 있다. 2차원 좌표값으로 할당되는 경우, 본 발명의 일 실시예는 영역별로 분리된 비디오 스트림을 sub_video_stream_id_x, sub_video_stream_id_y로 구분해서 시그널링할 수 있다. 본 발명의 일 실시예에 따르면, panorama_composition_metadata()는 sub_video_view_direction 필드를 포함할 수 있다. sub_video_view_direction 필드는 sub_video_stream_id 필드와 함께 시그널링될 수 있다. sub_video_view_direction 필드에 포함된 direction 정보를 통하여 본 발명의 일 실시예는 전체 파노라마 영상의 분리된 영상들 중 왼쪽, 중앙, 오른쪽 영상을 구분하고 어떤 방향으로 몇 번째 영상인지를 시그널링할 수 있다.
sub_video_afd_bar () 필드에 대한 상세한 설명은 후술한다.
도 20은 본 발명의 일 실시예에 따른 sub_video_afd_bar ()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 sub_video_afd_bar ()는 sub_video_afd_start_x_div4 필드, sub_video_afd_start_y_div4 필드, sub_video_afd_width_div4 필드 및/또는 sub_video_afd_height_div4 필드를 포함할 수 있다.
sub_video_afd_start_x_div4 필드, sub_video_afd_start_y_div4 필드는 sub_video_stream_id에 해당하는 active format의 시작좌표 (x,y)값을 나타낼 수 있다.
sub_video_afd_width_div4 필드, sub_video_afd_height_div4 필드는 sub_video_afd_start_x_div4 필드 및 sub_video_afd_start_y_div4 필드가 나타내는 좌표 값에서 시작되는 active format의 width 및 height 값을 나타낼 수 있다. 실제 width 및 height 값은 각 필드가 나타내는 값을 4배한 값일 수 있다.
도 21은 본 발명의 일 실시예에 따른 전체 파노라마 영상을 구성하는 부분 영상 중 panorama_view_priority가 높은 영상을 디스플레이하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전술한 panorama_view_priority 필드가 포함하는 정보 및 included_stream_id 필드가 포함하는 정보를 이용하여 수신기에서 디스플레이될 영상이 결정될 수 있다. 본 발명의 일 실시예에 따르면, 전술한 sub_video_aft_bar() 필드에 포함된 정보를 이용하여 디스플레이될 영상의 어느 부분이 디스플레이될지 결정될 수 있다.
도 22는 본 발명의 일 실시예에 따른 panorama_filtering_metadata()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 분리된 파노라마 스트림을 stich할 때, 필터링 (filtering) 과정이 추가적으로 포함될 수 있다. 본 발명의 일 실시예에 따른 panorama_filtering_metadata()은 상술한 필터링 과정에 필요한 정보를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 파노라마 영상을 분리해서 encoding 후 decoding 하는 경우, 영상의 경계면에 blocking artifact가 존재하기 때문에 filtering을 적용할 필요가 있다.
본 발명의 일 실시예에 따른 panorama_filtering_metadata()는 panorama_filtering_num 필드, panorama_filtering_cordinate_x_div4 필드, panorama_filtering_cordinate_y_div4 필드, panorama_filtering_width_div4 필드, panorama_filtering_height_div4 필드 및/또는 smoothing_filter_coeff() 필드를 포함할 수 있다.
panorama_filtering_num 필드는 필터링 적용 여부 및/또는 필터링 개수를 나타낼 수 있다.
panorama_filtering_cordinate_x_div4 필드, panorama_filtering_cordinate_y_div4 필드는 필터링을 적용할 부분의 첫 번째 픽셀 좌표를 나타낼 수 있다. 실제 좌표는 이 필드가 나타내는 값에 4를 곱한 값일 수 있다. 여기서, 실제 좌표는 복원된 전체 파노라마 영상을 기준으로 할 수 있다.
panorama_filtering_width_div4 필드, panorama_filtering_height_div4 필드는 필터링을 적용해야 할 영역의 크기 (너비 및/또는 높이)를 나타낼 수 있다. 실제 크기는 이 필드가 나타내는 값에 4를 곱한 값일 수 있다.
smoothing_filter_coeff() 필드는 컨텐츠 별로 가장 적합한 smoothing filter coefficient 값을 나타낼 수 있다.
도 23은 본 발명의 일 실시예에 따른 extraction_info_metadata()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 extraction_info_metadata()는 sub_video_width_div8 필드, sub_video_height_div8 필드, sub_video_aspect_ratio 필드, sub_video_view_id 필드, sub_video_priority 필드, sub_video_cropping_start_x_div8 필드, sub_video_cropping_start_y_div8 필드 및/또는 sub_video_afd_bar() 필드를 포함할 수 있다.
sub_video_width_div8 필드, sub_video_height_div8 필드, sub_video_aspect_ratio 필드는 분리 또는 크라핑될 sub video 별로 resolution 정보인 width 및 height 정보와 aspect ratio 정보를 나타낼 수 있다.
sub_video_view_id 필드는 크라핑 (cropping)된 영상을 구분하기 위한 id를 나타낼 수 있다.
sub_video_priority 필드는 크라핑될 영상의 우선순위를 나타낼 수 있다.
sub_video_cropping_start_x_div8 필드, sub_video_cropping_start_y_div8 필드는 전체 파노라마 영상에서 sub video를 분리해 내기 위한 좌표값의 시작점 (x,y)을 나타낼 수 있다. 실제 좌표는 이 필드가 나타내는 값에 8을 곱한 값일 수 있다. 여기서, extraction_info_metadata()는 좌표값의 끝점 (x,y)을 나타내는 필드를 포함할 수 있다.
sub_video_afd_bar() 필드는 전술한 panorama_composition_metadata()에 포함된 sub_video_afd_bar() 필드와 동일하며 이에 대한 상세한 설명은 전술하였다.
도 24는 본 발명의 일 실시예에 따른 시나리오 2를 기반으로 한 비디오 스트림의 구성을 나타낸 도면이다.
전체 파노라마 영상에 대한 스트림은 한 개로 구성되지만, 크라핑될 각 영역에 대한 고정 ID 값을 부여함으로써 본 발명의 일 실시예는 영상을 분리할 수 있다. 이 경우, 본 발명의 일 실시예는 실제 크라핑을 위한 좌표값에 대한 정보없이 sub_video_stream_id만을 이용하여 전체 파노라마 영상을 분리 및/또는 분할할 수 있다. 이로써, 본 발명의 일 실시예는 비트수를 줄일 수 있다. 본 발명의 일 실시예는 sub_video_stream_id를 이용함으로써 실제 크라핑을 위한 좌표값을 이용하여 파노라마 영상을 분할하는 방법보다 비트수를 줄일 수 있다.
도 25는 본 발명의 일 실시예에 따른 ROI_info_metadata()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, ROI_info_metadata()를 통하여 ROI에 대한 추가 정보를 시그널링할 수 있다. 전체 파노라마 영상에 대한 기본 정보는 기본적으로 제공되므로 본 발명의 일 실시예는 ROI에 대한 추가 정보를 이미 디코딩된 base layer stream에 추가적으로 전달할 수 있다. 여기서, ROI (region of interest)는 관심 영역으로 명명될 수 있다. 추가 정보는 enhancement data 및/또는 residual data로 명명될 수 있다.
본 발명의 일 실시예에 따른 ROI_info_metadata()는 ROI_video_profile 필드, ROI_video_level 필드, ROI_video_tier 필드, ROI_video_priority 필드, ROI_video_dynamic_range 필드, ROI_video_color_gamut 필드, ROI_video_width_div8 필드, ROI_video_height_div8 필드, ROI_start_x_div8 필드, ROI_start_y_div8 필드 및/또는 ROI_filtering_info_descriptor()를 포함할 수 있다.
ROI_video_profile 필드, ROI_video_level 필드, ROI_video_tier 필드는 ROI에 대한 profile, level 및 tier 정보를 나타낼 수 있다.
ROI_video_priority 필드는 전술한 ROI_num이 나타내는 여러 개의 ROI에 대한 우선 순위 (priority)를 나타낼 수 있다. 본 발명의 일 실시예는 우선 순위 (Priority)의 순서대로 고화질의 서비스를 제공할 수 있고, 사용자가 서비스를 선택할 수도 있다.
ROI_video_dynamic_range 필드, ROI_video_color_gamut 필드는 ROI의 dynamic range 및 color gamut을 나타낼 수 있다. 본 발명의 일 실시예에 따르면, 고화질의 ROI 서비스는 higher frame rate, high dynamic range, wide color gamut, chroma subsampling (4:2:2 또는 4:4:4), higher resolution 등을 통해 제공될 수 있다. high frame rate, chroma subsampling (4:2:2 또는 4:4:4) 및 higher resolution는 level (higher frame rate, higher resolution)과 profile (chroma subsampling)으로 구분되어 시그널링될 수 있다. 본 발명의 다른 일 실시예에 따른 ROI_info_metadata()는 high frame rate, chroma subsampling (4:2:2 또는 4:4:4) 및/또는 higher resolution를 시그널링하는 필드를 포함할 수 있다. 본 발명의 일 실시예에 따른 profile은 bitdepth뿐만 아니라 chroma subsampling에 대해서도 구분될 수 있다.
ROI_video_width_div8 필드, ROI_video_height_div8 필드는 ROI 영역의 resolution을 나타내며 여기서, 실제 resolution은 (ROI_video_width_div8 필드값 * 8) * (ROI_video_height_div8 필드값 * 8)을 나타낼 수 있다. 본 발명의 일 실시예에 따른 ROI_info_metadata()는 ROI 영역의 화면비 (aspect ratio)를 나타내는 필드를 포함할 수 있다.
ROI_start_x_div8 필드, ROI_start_y_div8 필드는 ROI 영역이 시작하는 좌표 값 (x,y)을 나타낼 수 있다. 이 필드가 나타내는 좌표 값 (x,y)은 전체 파노라마 영상에 대한 값이며 실제 좌표는 이 필드에 8을 곱한 값일 수 있다. 본 발명의 다른 일 실시예는 ROI 영역의 시작점 대신 ROI 영역의 끝점을 시그널링할 수 있다. 본 발명의 일 실시예에 따른 ROI 서비스는 ROI_start_x_div8 필드, ROI_start_y_div8 필드, ROI_video_width_div8 필드 및/또는 ROI_video_height_div8 필드를 통해 제공될 수 있다.
ROI_filtering_info_descriptor()는 ROI 영역의 enhancement layer 신호를 base layer 신호와 merge할 때 필요한 필터링 과정에 대한 정보를 포함할 수 있다. 본 발명의 일 실시예에 따르면, ROI 영역의 enhancement layer 신호를 base layer 신호와 merge할 때, 필터링 (filtering)이 추가적으로 포함될 수 있다. 이 때, ROI_filtering_info_descriptor()는 전술한 panorama_filtering_metadata()에 포함된 필드들을 그대로 포함할 수 있다.
도 26은 본 발명의 일 실시예에 따른 SDT (service description table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 SDT (service description table)는 본 발명의 일 실시예에 따른 SDT는 table_id 필드, section_syntax_indicator 필드, section_length 필드, transport_stream_id 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, original_network_id 필드, service_id 필드, EIT_schedule_flag 필드, EIT_present_following_flag 필드, running_status 필드, free_CA_mode 필드, descriptors_loop_length 필드, descriptor() 및/또는 CRC_32 필드를 포함한다.
table_id 필드는 테이블의 타입을 식별한다. table_id 필드는 당해 테이블 섹션이 SDT를 구성하는 섹션임을 나타내는 역할을 할 수 있다.
section_syntax_indicator 필드는 당해 필드 이후에 따라오는 테이블 섹션의 포맷을 나타낸다. 당해 필드의 값이 0이면 당해 테이블 섹션은 short 포맷임을 나타낸다. 당해 필드의 값이 1이면 당해 테이블 섹션은 일반적인 long 포맷을 따른다. (section_syntax_indicator: The section_syntax_indicator is a 1bit field which shall be set to "1")
section_length 필드는 당해 테이블 섹션의 길이를 나타낸다. section_length 필드는 당해 필드 이후부터 당해 테이블 섹션의 끝까지의 길이를 나타낼 수 있다. (section_length: This is a 12bit field, the first two bits of which shall be "00". It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 1 021 so that the entire section has a maximum length of 1024 bytes.)
transport_stream_id 필드는 당해 테이블에서 설명하고자 하는 트랜스포트 스트림 (TS)을 식별한다. (transport_stream_id: This is a 16bit field which serves as a label for identification of the TS, about which the SDT informs, from any other multiplex within the delivery system.)
version_number 필드는 프라이빗 테이블 섹션 (private table section)의 버전 넘버를 나타낸다. 수신기는 당해 필드와 후술할 current_next_indicator 필드를 이용해서 메모리에 저장되어 있는 테이블 섹션 중 가장 최근의 것을 찾아 낼 수 있다. (version_number: This 5bit field is the version number of the sub_table. The version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs. When it reaches value "31", it wraps around to "0". When the current_next_indicator is set to "1", then the version_number shall be that of the currently applicable sub_table. When the current_next_indicator is set to "0", then the version_number shall be that of the next applicable sub_table.)
current_next_indicator 필드가 나타내는 값이 1이면 현재 전송되는 테이블이 유효하다는 것을 나타내고 0이면 현재 전송되는 테이블이 현재는 유효하지 않지만 이후에 유효할 것이라는 것을 나타낸다. (current_next_indicator: This 1bit indicator, when set to "1" indicates that the sub_table is the currently applicable sub_table. When the bit is set to "0", it indicates that the sub_table sent is not yet applicable and shall be the next sub_table to be valid.)
section_number 필드는 당해 섹션이 당해 테이블의 몇 번째 섹션인지를 나타낸다. (section_number: This 8bit field gives the number of the section. The section_number of the first section in the sub_table shall be "0x00". The section_number shall be incremented by 1 with each additional section with the same table_id, transport_stream_id, and original_network_id.)
last_section_number 필드는 당해 테이블을 구성하고 있는 섹션 중에 마지막 섹션의 순번을 나타낸다. (last_section_number: This 8bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.)
original_network_id 필드는 당해 테이블에서 기술하는 서비스를 전송한 최초의 방송국을 식별할 수 있다. (original_network_id: This 16bit field gives the label identifying the network_id of the originating delivery system.)
service_id 필드는 트랜스포트 스트림 안에 존재하는 각 서비스를 식별한다. service_id 필드는 PMT에서 program_number 필드와 그 기능이 동일할 수 있다. (service_id: This is a 16bit field which serves as a label to identify this service from any other service within the TS. The service_id is the same as the program_number in the corresponding program_map_section.)
EIT_schedule_flag 필드가 나타내는 값이 1이면 현재 TS 안에 서비스를 위한 EIT 스케쥴 정보 (EIT schedule flag)가 존재함을 나타내고, 0이면 존재하지 않음을 나타낸다. (EIT_schedule_flag: This is a 1bit field which when set to "1" indicates that EIT schedule information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT schedule sub_table). If the flag is set to 0 then the EIT schedule information for the service should not be present in the TS.)
EIT_present_following_flag 필드가 나타내는 값이 1이면 현재 TS 안에 서비스를 위한 EIT_present_following 정보가 존재함을 나타내고, 0이면 존재하지 않음을 나타낸다. (EIT_present_following_flag: This is a 1bit field which when set to "1" indicates that EIT_present_following information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT present/following sub_table. If the flag is set to 0 then the EIT present/following information for the service should not be present in the TS.)
running_status 필드는 서비스의 상태를 나타낸다. 예를 들어, running_status 필드의 값이 1이면 서비스가 "not running" 임을 나타내고, 2이면 "starts in a few seconds" 임을 나타내고, 3이면 "pausing" 임을 나타내고, 4이면 "running" 임을 나타내고, 5이면 "service offair" 임을 나타낼 수 있다. (running_status: This is a 3bit field indicating the status of the service as defined in table 6. For an NVOD reference service the value of the running_status shall be set to "0".)
free_CA_mode 필드가 나타내는 값이 0이면 서비스를 구성하는 컴포넌트 스트림들이 스크램블되어 있지 않음을 나타내고, 1이면 하나 이상의 스트림에 대한 접근이 CA 시스템에 의해 조절됨을 나타낸다. CA 시스템은 Conditional Access System의 약어로서 방송의 시청을 계약자로 한정하기 위해서 방송 컨텐츠의 암호화 기능과 계약자만이 암호를 풀어 방송 컨텐츠를 시청할 수 있는 기능을 제공하는 시스템을 의미한다. (free_CA_mode: This 1bit field, when set to "0" indicates that all the component streams of the service are not scrambled. When set to "1" it indicates that access to one or more streams may be controlled by a CA system.)
descriptors_loop_length 필드는 당해 필드 이후에 따라오는 디스크립터들의 길이를 더한 값을 나타낸다. (descriptors_loop_length: This 12bit field gives the total length in bytes of the following descriptors)
descriptor()는 각 서비스에 대하여 기술하는 디스크립터를 의미한다. 본 발명의 일 실시예에 따르면, 파노라마 영상 서비스 및/또는 프로그램에 대한 가이드 정보를 제공하기 위하여 전술한 panorama_composition_info는 이 디스크립터에 포함될 수 있다.
CRC_32 필드는 당해 테이블 섹션에 포함된 데이터에 오류가 있는지 확인하기 위하여 사용되는 CRC 값을 나타낸다. (CRC_32: This is a 32bit field that contains the CRC value that gives a zero output of the registers in the decoder)
도 27은 본 발명의 일 실시예에 따른 EIT (Event Information Table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 EIT (Event Information Table)는 본 발명의 일 실시예에 따른 EIT는 table_id 필드, section_syntax_indicator 필드, section_length 필드, service_id 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, transport_stream_id 필드, original_network_id 필드, segment_last_section_number 필드, last_table_id 필드, event_id 필드, start_time 필드, duration 필드, running_status 필드, free_CA_mode 필드, descriptors_loop_length 필드, descriptor() 및/또는 CRC_32 필드를 포함한다.
table_id 필드는 테이블의 타입을 식별한다. table_id 필드는 당해 테이블 섹션이 EIT를 구성하는 섹션임을 나타내는 역할을 할 수 있다.
section_syntax_indicator 필드는 당해 필드 이후에 따라오는 테이블 섹션의 포맷을 나타낸다. 당해 필드의 값이 0이면 당해 테이블 섹션은 short 포맷임을 나타낸다. 당해 필드의 값이 1이면 당해 테이블 섹션은 일반적인 long 포맷을 따른다.
section_length 필드는 당해 테이블 섹션의 길이를 나타낸다. section_length 필드는 당해 필드 이후부터 당해 테이블 섹션의 끝까지의 길이를 나타낼 수 있다.
service_id 필드는 트랜스포트 스트림 안에 존재하는 각 서비스를 식별한다. service_id 필드는 PMT에서 program_number 필드와 그 기능이 동일할 수 있다.
version_number 필드는 프라이빗 테이블 섹션 (private table section)의 버전 넘버를 나타낸다. 수신기는 당해 필드와 후술할 current_next_indicator 필드를 이용해서 메모리에 저장되어 있는 테이블 섹션 중 가장 최근의 것을 찾아 낼 수 있다.
current_next_indicator 필드가 나타내는 값이 1이면 현재 전송되는 테이블이 유효하다는 것을 나타내고 0이면 현재 전송되는 테이블이 현재는 유효하지 않지만 이후에 유효할 것이라는 것을 나타낸다.
section_number 필드는 당해 섹션이 당해 테이블의 몇 번째 섹션인지를 나타낸다.
last_section_number 필드는 당해 테이블을 구성하고 있는 섹션 중에 마지막 섹션의 순번을 나타낸다.
transport_stream_id 필드는 당해 테이블에서 설명하고자 하는 트랜스포트 스트림 (TS)을 식별한다.
original_network_id 필드는 당해 테이블에서 기술하는 서비스 또는 이벤트를 전송한 최초의 방송국을 식별할 수 있다.
segment_last_section_number 필드는 sub table이 존재하는 경우 해당 세그먼트의 마지막 섹션 넘버를 나타낸다. sub table이 분절되지 않는 경우 당해 필드가 나타내는 값은 last_section_number 필드가 나타내는 값과 동일한 값을 나타낼 수 있다.
last_table_id 필드 사용된 마지막 table_id를 나타낸다.
event_id 필드는 각각의 이벤트를 식별하며 하나의 서비스 내에서 유일한 값을 갖는다.
start_time 필드는 해당 이벤트의 시작시간을 나타낸다.
duration 필드는 해당 이벤트의 지속시간을 나타낸다. 예를 들어 1시간 45분 30초간 지속되는 프로그램이라면 duration 필드는 0x014530 값을 나타낼 수 있다.
running_status 필드는 해당 이벤트의 상태를 나타낸다.
free_CA_mode 필드가 나타내는 값이 0이면 서비스를 구성하는 컴포넌트 스트림들이 스크램블되어 있지 않음을 나타내고, 1이면 하나 이상의 스트림에 대한 접근이 CA 시스템에 의해 조절됨을 나타낸다. CA 시스템은 Conditional Access System의 약어로서 방송의 시청을 계약자로 한정하기 위해서 방송 컨텐츠의 암호화 기능과 계약자만이 암호를 풀어 방송 컨텐츠를 시청할 수 있는 기능을 제공하는 시스템을 의미한다.
descriptors_loop_length 필드는 당해 필드 이후에 따라오는 디스크립터들의 길이를 더한 값을 나타낸다.
descriptor()는 각 이벤트에 대하여 기술하는 디스크립터를 의미한다. 본 발명의 일 실시예에 따르면, 파노라마 영상 서비스 및/또는 프로그램에 대한 가이드 정보를 제공하기 위하여 전술한 panorama_composition_info는 이 디스크립터에 포함될 수 있다.
CRC_32 필드는 당해 테이블 섹션에 포함된 데이터에 오류가 있는지 확인하기 위하여 사용되는 CRC 값을 나타낸다.
본 발명의 일 실시예에 따른 EIT는 TS 내에 table 형태로 전송될 수 있고 xml 형태로 IP streaming에 의하여 전송될 수 있다.
도 28은 본 발명의 일 실시예에 따른 EIT에 포함된 linkage_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, linkage_descriptor()는 EIT의 이벤트 레벨 디스크립터에 포함될 수 있다.
본 발명의 일 실시예에 따른 linkage_descriptor()는 descriptor_tag 필드, descriptor_length 필드, transport_stream_id 필드, original_network_id 필드, service_id 필드, linkage_type 필드 및/또는 advanced_event_linkage_info()를 포함할 수 있다.
descriptor_tag 필드는 이 디스크립터가 linkage_descriptor임을 나타낼 수 있다.
descriptor_length 필드는 이 디스크립터의 길이를 나타낼 수 있다.
transport_stream_id 필드는 information service를 포함하는 TS를 식별하는 식별자를 나타낼 수 있다. (This is a 16bit field which identifies the TS containing the information service indicated)
original_network_id 필드는 information service의 본래 전송 시스템의 network 식별자를 나타낼 수 있다. (This 16bit field gives the label identifying the network_id of the originating delivery system of the information service indicated)
service_id 필드는 TS 내에 정보 서비스 (information service)를 식별할 수 있다. (This is a 16bit field which uniquely identifies an information service within a TS. The service_id is the same as the program_number in the corresponding program_map_section. If the linkage_type field has the value 0x04, then the service_id field is not relevant, and shall be set to 0x0000)
linkage_type 필드는 정보 서비스 등을 연결하는 linkage 타입을 나타낼 수 있다. (This is an 8bit field specifying the type of linkage)
advanced_event_linkage_info()에 대한 상세한 설명은 후술한다.
본 발명의 일 실시예에 따르면, 현재 사용자가 시청하는 방송 서비스에 대응되는 파노라마 이벤트 및/또는 서비스를 알려줄 때, linkage_type 값으로 0x0F가 사용될 수 있다. 반대로 현재 사용자가 시청하는 파노라마 이벤트 및/또는 서비스에 대응되는 HD 및/또는 3D 서비스를 알려 줄 때, linkage_type 값으로 0x0E가 사용될 수 있다. 또한, 현재 사용자가 시청하는 파노라마 이벤트 및/또는 서비스에 대응되는 UHD 서비스를 알려줄 때, linkage_type 값으로 0x0F가 사용될 수 있다.
도 29는 본 발명의 일 실시예에 따른 linkage_type이 0x0E인 경우 link_type에 따른 target service의 type을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, link_type이 0이면 target service가 SD 서비스임을 나타낼 수 있고, 1이면 HD 서비스임을 나타낼 수 있고, 2이면 frame compatible planostereoscopic 서비스임을 나타낼 수 있고, 3이면 service compatible planostereoscopic 서비스임을 나타낼 수 있다.
이 도면을 보면, linkage_type이 0x0E인 경우 2비트가 할당된 link_type에는 남는 비트가 없으므로, 본 발명의 일 실시예는 target 이벤트 및/또는 서비스가 파노라마 서비스 및/또는 이벤트임을 시그널링을 위하여 새로운 linkage_type 값 0x0F을 할당하여 link_type 및/또는 linkage_type 값의 조합으로 타겟 서비스가 파노라마 이벤트 및/또는 서비스임을 시그널링할 수 있다. 이 때, target service가 SD나 HD인 경우에는 extended_event_linkage_info()도 그대로 활용될 수 있다.
본 발명의 일 실시예에 따르면, linkage_type이 0x0F일 때, advanced_event_linkage_info()는 타겟 이벤트 및/또는 서비스가 파노라마 이벤트 및/또는 서비스임을 나타내는 link_type 필드를 포함할 수 있다. 이에 대한 상세한 설명은 후술한다.
도 30은 본 발명의 일 실시예에 따른 advanced_event_linkage_info()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, linkage_type 필드가 0x0F인 경우, 파노라마 이벤트 및/또는 서비스를 시그널링하는 advanced_event_linkage_info()가 linkage_descriptor에 포함될 수 있다.
본 발명의 일 실시예에 따른 advanced_event_linkage_info()는 num_link_event 필드, link_simulcast 필드, link_delivery_type 필드, detail_info_flag 필드, link_type 필드, link_event_id 필드, link_original_network_id 필드, link_transport_stream_id 필드, link_service_id 필드, delivery_detail_info() 및/또는 time_shift_detail_info()를 포함할 수 있다.
num_link_event 필드는 링크의 수를 나타낼 수 있다.
link_simulcast 필드는 대응되는 이벤트 및/또는 서비스가 현재 이벤트 및/또는 서비스와 동시에 방송되는지를 나타낼 수 있다. 예를 들어, 이 값이 '1'인 경우, 시간차 없이 동시 방송된다는 것을 나타낼 수 있다.
link_delivery_type 필드는 대응되는 이벤트 및/또는 서비스가 방송되는 경로의 종류를 나타낼 수 있다. (지상파, 위성, 케이블, IP 등) 만약 대응되는 이벤트 및/또는 서비스가 동일한 경로, 또는 동일한 방식이라면 '001'의 값을 지정할 수 있다. 한편 동일한 경로라도 전송 parameter (예를 들어 modulation 방식 관련된 parameter 등)가 다르다면 경로에 해당하는 정보를 지정할 수 있는데 (예를 들어 '010'에서 '100' 사이의 값), 후술할 delivery_detail_info()를 통해서 상세 파라미터 정보를 시그널링할 수 있다. 여기서 link_delivery_type 필드는 동일한 이벤트의 동일한 전송 경로, 케이블, IP 또는 지상파 등을 시그널링할 수 있다.
detail_info_flag 필드는 링크되는 이벤트 및/또는 서비스에 대한 물리 전송 파라미터에 대한 정보를 포함하는지 여부를 나타낼 수 있다.
link_type 필드는 대응되는 이벤트 또는 서비스의 서비스 타입을 나타낸다. 예를 들어, 각 값에 따라 다음과 같은 UHD 비디오의 정보 및/또는 파노라마 서비스의 정보를 나타낼 수 있다. ('001' 4K UHD, 8bit, 4:2:0, '010' 4K UHD, 10bit, 4:2:0, '011' 4K UHD, 10bit, 4:2:2, '0x10' panorama, '0x11' panorama, HDR 제공, WCG 제공)
link_event_id 필드, link_original_network_id 필드, link_transport_stream_id 필드, link_service_id 필드는 각각 대응되는 이벤트 및/또는 서비스에 대한 이벤트 식별자(event_id), original_network_id, transport_stream_id, service_id를 각각 나타낼 수 있다.
delivery_detail_info()는 링크되는 이벤트 및/또는 서비스에 대한 물리 전송 파라미터를 나타내는데 예를 들어 이것을 이용해 전송되는 이벤트 데이터의 modulation 방식, 주파수 정보, FEC 방식 등의 정보를 시그널링할 수 있다.
time_shift_detail_info()는 링크되는 이벤트 및/또는 서비스에 대한 현재 이벤트 및/또는 서비스와 시간차가 존재하는 경우, 그 시간 정보에 대한 정보를 시그널링할 수 있다. 실시예를 이용해 분단위로 얼마 후에 방송이 되는지 등을 알려주는 필드가 포함될 수 있다. 이 값을 시그널링하는 다른 예로서, event_id와 이 event_id로 식별되는 이벤트에 대한 시간 정보를 관련 EIT로부터 참조하도록 할 수도 있다.
도 31은 본 발명의 일 실시예에 따른 PMT (program map table)의 구성 및 PMT에 포함되는 panorama_composition_info()의 위치를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, panorama_composition_info()은 PMT 안에서 program level 및/또는 video (stream) level로 분리되어 각각의 레벨에서 시그널링될 수 있다.
본 발명의 일 실시예에 따른 PMT (program map table)는 본 발명의 일 실시예에 따른 PMT는 table_id 필드, section_syntax_indicator 필드, section_length 필드, program_number 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, PCR_PID 필드, program_info_length 필드, descriptor(), stream_type 필드, elementary_PID 필드, ES_info_length 필드, descriptor() 및/또는 CRC_32 필드를 포함한다.
table_id 필드는 테이블의 타입을 식별한다. table_id 필드는 당해 테이블 섹션이 PMT를 구성하는 섹션임을 나타내는 역할을 할 수 있다.
section_syntax_indicator 필드는 당해 필드 이후에 따라오는 테이블 섹션의 포맷을 나타낸다. 당해 필드의 값이 0이면 당해 테이블 섹션은 short 포맷임을 나타낸다. 당해 필드의 값이 1이면 당해 테이블 섹션은 일반적인 long 포맷을 따른다.
section_length 필드는 당해 테이블 섹션의 길이를 나타낸다. section_length 필드는 당해 필드 이후부터 당해 테이블 섹션의 끝까지의 길이를 나타내므로 당해 테이블 섹션의 실제 길이는 sercion_length 필드가 나타내는 값에 3 바이트를 더한 값이 될 수 있다.
program_number 필드는 트랜스 포트 스트림 안에 존재하는 각 프로그램 서비스 또는 가상 채널 (virtual channel)을 식별한다.
version_number 필드는 프라이빗 테이블 섹션 (private table section)의 버전 넘버를 나타낸다. 수신기는 당해 필드와 후술할 current_next_indicator 필드를 이용해서 메모리에 저장되어 있는 테이블 섹션 중 가장 최근의 것을 찾아 낼 수 있다.
current_next_indicator 필드가 나타내는 값이 1이면 현재 전송되는 테이블이 유효하다는 것을 나타내고 0이면 현재 전송되는 테이블이 현재는 유효하지 않지만 이후에 유효할 것이라는 것을 나타낸다.
section_number 필드는 당해 섹션이 당해 테이블의 몇 번째 섹션인지를 나타낸다.
last_section_number 필드는 당해 테이블을 구성하고 있는 섹션 중에 마지막 섹션의 순번을 나타낸다.
PCR_PID 필드는 프로그램 서비스를 위한 PCR (Program Clock Reference)이 존재하는 패킷 ID (packet ID)를 나타낸다.
program_info_length 필드는 이후에 따라오는 프로그램 정보 (program_info)를 나타내는 디스크립터의 길이를 나타낸다.
descriptor()는 당해 테이블 섹션에 해당하는 프로그램에 대한 정보를 나타내는 디스크립터를 의미한다. 본 발명의 일 실시예에 따르면, panorama_composition_info에 포함된 필드 중 panorama_service_type 필드, panorama_composition_info_ver 필드, panorama_width_div32 필드, panorama_height_div32 필드, panorama_profile 필드, panorama_level 필드 및/또는 panorama_tier 필드는 PMT의 프로그램 레벨에서 시그널링되는 이 디스크립터에 포함될 수 있다.
stream_type 필드는 당해 테이블이 설명하고 있는 프로그램을 구성하는 각 단위 스트림의 종류를 나타낸다.
elementary_PID 필드는 당해 테이블이 설명하고 있는 프로그램을 구성하는 각 단위 스트림의 패킷 ID (packet ID)를 나타낸다. 본 발명의 일 실시예에 따르면, 전체 파노라마 영상이 여러 개의 영상으로 분할되고 분할된 각 영상을 포함하는 여러 개의 스트림이 존재하는 경우, 이 필드는 각 스트림마다 elementary_PID 값을 다르게 할당할 수 있다.
ES_info_length 필드는 이후에 따라오는 각 단위 스트림에 대한 정보 (ES_info)를 나타내는 디스크립터의 길이를 나타낸다.
descriptor()는 당해 테이블이 설명하고 있는 프로그램을 구성하는 단위 스트림들 중에 하나의 단위 스트림에 대한 정보를 나타내는 디스크립터를 의미한다. 본 발명의 일 실시예에 따르면, panorama_composition_info에 포함된 필드 중 panorama_stream_num 필드, panorama_view_num 필드, panorama_view_priority 필드, included_stream_id 필드, panorama_composition_metadata() 필드, panorama_filtering_metadata() 필드, cropping_region_num 필드, extraction_info_metadata() 필드, ROI_num 필드, ROI_codec_type 필드 및/또는 ROI_info_metadata() 필드는 PMT의 비디오 (스트림) 레벨에서 시그널링되는 이 디스크립터에 포함될 수 있다.
CRC_32 필드는 당해 테이블 섹션에 포함된 데이터에 오류가 있는지 확인하기 위하여 사용되는 CRC 값을 나타낸다.
본 발명의 일 실시예에 따른 PMT는 MPEGTS를 통하여 In band로 전송될 수 있고 PMT를 포함한 PSI 정보 전체가 xml 형태로 IP를 통하여 전송될 수 있다.
도 32는 본 발명의 일 실시예에 따른 TVCT (terrestrial virtual channel table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 panorama_composition_info는 TVCT의 channel level descriptor에 포함될 수 있다.
본 발명의 일 실시예에 따른 TVCT (Terrestrial Virtual Channel Table)는 table_id 필드, section_syntax_indicator 필드, private_indicator 필드, section_length 필드, transport_stream_id 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, protocop_version 필드, num_channels_in_section 필드, short_name 필드, major_channel_number 필드, minor_channel_number 필드, modulation mode 필드, carrier_frequency 필드, channel_TSID 필드, program_number 필드, ETM_location 필드, access_controlled 필드, hidden 필드, hide_guide 필드, service_type 필드, source_id 필드, descriptors_length 필드 및/또는 descriptor() 를 포함할 수 있다.
table_id 필드는 테이블을 식별한다.
section_syntax_indicator 필드는 MPEG2 private_section table의 long 형태를 나타내기 위해 1로 세팅되는 1비트 필드이다. (This 1bit field shall be set to '1' to always indicate the "long" form of the MPEG2 private_section table.)
private_indicator 필드는 1로 세팅되는 1비트 필드이다. (This 1bit field shall be set to '1'.)
section_length 필드는 이 필드 뒤에 있는 테이블 섹션의 길이를 바이트 수로 나타낸다. (This is a 12bit field, the first two bits of which shall be "00". It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 1 021 so that the entire section has a maximum length of 1 024 bytes.)
transport_stream_id 필드는 테이블 내에 있는 MPEG2 전송 스트림(Transport Strema: TS)의 식별자를 나타낸다. (To distinguish each transport stream within a single network (terrestrial, cable or satellite) from another, MPEG2 established the use of a 16bit (ranging from 0 to 65535) transport_stream_identifier, which is also called a TSID.)
version_number 필드는 테이블의 버전 번호를 나타내는 5비트 필드이다. (This 5bit field is the version number of the PSIP_section. The version_number shall be incremented by 1 modulo 32 when a change in the information carried within the PSIP_section occurs. When the current_next_indicator is set to '0', then the version_number shall be that of the next applicable PSIP_section with the same table_id, table_id_extension, and section_number.)
current_next_indicator 필드는 1비트 필드로서, 이 테이블이 현재 적용 가능한지 또는 다음에 적용 가능한지를 나타낸다. (A 1bit field, which when set to '1' indicates that the PSIP_section sent is currently applicable. When the current_next_indicator is set to '1', then the version_number shall be that of the currently applicable PSIP_section. When the bit is set to '0', it indicates that the PSIP_section sent is not yet applicable and shall be the next PSIP_section with the same section_number, table_id_extension, and table_id to become valid.)
section_number 필드는 섹션의 번호를 나타낸다. (This 8bit field gives the number of the PSIP_section. The section_number of the first section in a PSIP table shall be 0x00. The section_number shall be incremented by 1 with each additional section in PSIP table. The scope of the section_number shall be defined by the table_id and table_id_extension. That is, for each PSIP table and value of the table_id_extension field, there is the potential for the full range of section_number values.)
last_section_number 필드는 마지막 섹션의 번호를 식별한다. (This 8bit field specifies the number of the last section (that is, the section with the highest section_number) of the PSIP table of which this section is a part. Its scope is the same as for the section_number field.)
protocop_version 필드는 현재 프로토콜에서 정의된 파라미터와 다른 파라미터를 전송하는 현재 테이블 타입을 추후에 허용하기 위한 기능을 가지는 필드이다. (An 8bit unsigned integer field whose function is to allow, in the future, this table type to carry parameters that may be structured differently than those defined in the current protocol. At present, the only valid value for protocol_version is zero. Nonzero values of protocol_version may be used by a future version of this standard to indicate structurally different tables.)
num_channels_in_section 필드는 가상 채널 해상도의 개수를 나타낸다. (The num_channels_in_section field in ATSC Cable Virtual Channel table CVCT table sections is an eightbit field that indicates the number of virtual channel definitions to follow in the table section.)
short_name 필드는 가상 채널을 위한 short name을 나타내는 112비트 필드이다. (The short_name field is a 112bit field in ATSC CVCT table sections that gives the short_name for the virtual channel. Each letter of the short_name is formatted as a 16bit Unicode character, with the high order byte transmitted first. So, short_name for TVCT and CVCT entries is seven Unicode characters, which short_name for SVCT entries is eight Unicode characters. If the display name is less than the number of permitted characters, 0/0x00 is appended to the end until the alloted number of bits has been reached.)
major_channel_number 필드는 가상채널과 관련된 메이저 채널의 수를 나타낸다. (A 10bit number that represents the "major" channel number associated with the virtual channel being defined in this iteration of the "for" loop. Each virtual channel shall be associated with a major and a minor channel number. The major channel number, along with the minor channel number, act as the user's reference number for the virtual channel. The major_channel_number shall be between 1 and 99. The value of major_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT.)
minor_channel_number 필드는 가상채널과 관련된 마이너 채널의 수를 나타낸다. (A 10bit number in the range 0 to 999 that represents the "minor" or "sub" channel number. This field, together with major_channel_number, performs as a twopart channel number, where minor_channel_number represents the second or righthand part of the number. When the service_type is analog television, minor_channel_number shall be set to 0.)
modulation mode 필드는 가상 채널의 전송 캐리어에 대한 변조 방식을 나타낸다. (The modulation_mode is an eightbit field in a virtual channel entry tells receivers the modulation used to transmit individual channels.)
carrier_frequency 필드는 전송 가상 채널에 의해 사용되는 캐리어 주파수 정보를 전송한다. (The carrier frequency is a 32bit field that transmits the carrier frequency used by the transport carrying the virtual channel.)
channel_TSID 필드는 가상 채널과 관련된 MPEG2 프로그램을 전송하는 전송 스트림(Transport Stream: TS)에 대한 MPEG2 Transport Stream ID를 나타낸다. (The channel_TSID is a 16bit unsigned integer field that gives the transport_stream_id of the channel that carries (or for inactive channels, will carry) the virtual channel.)
program_number 필드는 TS 내의 각 프로그램 서비스 또는 가상 채널을 식별한다. (The program_number is a 16bit unsigned integer that uniquely identifies each program service (or virtual channel) present in a transport stream.)
ETM_location 필드는 채널, 이벤트 또는 데이터 이벤트를 위한 확장된 텍스트 메시지의 존재 여부를 나타낸다. (The ETM_location field denotes whether there is an extended text message for the channel (Channel Extended Text table or CETT), event (Event Extended Text table) or data event (Data Extended Text table).)
access_controlled 필드는 해당 가상 채널과 연관된 이벤트가 제어될 수 있는지 여부를 나타낸다. (When access_controlled is set to '1', means that events associated with this virtual channel may be access controlled. When set to '0', access to event is not controlled.)
hidden 필드는 해당 채널이 가상 채널 숫자의 direct entry(또는 필드, 속성, 개체)에 의해 접근될 수 있는지 여부를 의미한다. (When hidden is set to '1', means the channel cannot be accessed by direct entry of the virtual channel number. When set to '0', virtual can be accessed by direct entry.)
hide_guide 필드는 해당 채널이 가상 채널 숫자의 direct entry(또는 필드, 속성, 개체)에 의해 접근될 수 있는지 여부를 의미한다. (When hide_guide is set to '1', means the channel cannot be accessed by direct entry of the virtual channel number. When set to '0', virtual can be accessed by direct entry.)
service_type 필드는 가상 채널에서 세팅된 서비스 타입을 식별한다. (The service_type is a 6bit enumerated field that identifies the type of service set in the virtual channel.) 본 발명의 일 실시예에 따른 파노라마 서비스의 service_type은 parameterized service (0x07), extended parameterized service (0x09) 및/또는 new DTV service panorama service(0x10)으로 지정될 수 있다. 상술한 서비스 명칭 및 값(value)는 일 실시 예이며 다른 명칭 또는 값으로 설정될 수도 있다.
source_id 필드는 16비트의 부호가 정해지지 않은 정수로서, 가상 채널과 연관된 프로그래밍 소스를 나타낸다. (A 16bit unsigned integer number that identifies the programming source associated with the virtual channel. In this context, a source is one specific source of video, text, data, or audio programming. Source ID value zero is reserved. Source ID values in the range 0x0001 to 0x0FFF shall be unique within the Transport Stream that carries the VCT, while values 0x1000 to 0xFFFF shall be unique at the regional level. Values for source_ids 0x1000 and above shall be issued and administered by a Registration Authority designated by the ATSC.)
descriptors_length 필드는 다음의 디스크립터 필드의 바이트의 길이를 전송한다. (The descriptors_length is a 10bit unsigned integer field that signals the length in bytes of the descriptor field to follow. If there are no descriptors present, zero would be appropriate.)
descriptor() 필드는 테이블 내에 위치하는 descriptor loop이다. descriptor loop는 추가적인 descriptor를 포함할 수 있다. 본 발명의 일 실시예에 따른 panorama_composition_info은 이 descriptor()에 포함될 수 있다.
도 33은 본 발명의 일 실시예에 따른 CVCT (cable virtual channel table)의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 panorama_composition_info는 CVCT의 channel level descriptor에 포함될 수 있다.
본 발명의 일 실시예에 따른 CVCT (Terrestrial Virtual Channel Table)는 table_id 필드, section_syntax_indicator 필드, private_indicator 필드, section_length 필드, transport_stream_id 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, protocop_version 필드, num_channels_in_section 필드, short_name 필드, major_channel_number 필드, minor_channel_number 필드, modulation mode 필드, carrier_frequency 필드, channel_TSID 필드, program_number 필드, ETM_location 필드, access_controlled 필드, hidden 필드, path_select 필드, out_of_band 필드, hide_guide 필드, service_type 필드, source_id 필드, descriptors_length 필드 및/또는 descriptor() 를 포함할 수 있다.
table_id 필드는 테이블을 식별한다.
section_syntax_indicator 필드는 MPEG2 private_section table의 long 형태를 나타내기 위해 1로 세팅되는 1비트 필드이다. (This 1bit field shall be set to '1' to always indicate the "long" form of the MPEG2 private_section table.)
private_indicator 필드는 1로 세팅되는 1비트 필드이다. (This 1bit field shall be set to '1'.)
section_length 필드는 이 필드 뒤에 있는 테이블 섹션의 길이를 바이트 수로 나타낸다. (This is a 12bit field, the first two bits of which shall be "00". It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 1 021 so that the entire section has a maximum length of 1 024 bytes.)
transport_stream_id 필드는 테이블 내에 있는 MPEG2 전송 스트림(Transport Strema: TS)의 식별자를 나타낸다. (To distinguish each transport stream within a single network (terrestrial, cable or satellite) from another, MPEG2 established the use of a 16bit (ranging from 0 to 65535) transport_stream_identifier, which is also called a TSID.)
version_number 필드는 테이블의 버전 번호를 나타내는 5비트 필드이다. (This 5bit field is the version number of the PSIP_section. The version_number shall be incremented by 1 modulo 32 when a change in the information carried within the PSIP_section occurs. When the current_next_indicator is set to '0', then the version_number shall be that of the next applicable PSIP_section with the same table_id, table_id_extension, and section_number.)
current_next_indicator 필드는 1비트 필드로서, 이 테이블이 현재 적용 가능한지 또는 다음에 적용 가능한지를 나타낸다. (A 1bit field, which when set to '1' indicates that the PSIP_section sent is currently applicable. When the current_next_indicator is set to '1', then the version_number shall be that of the currently applicable PSIP_section. When the bit is set to '0', it indicates that the PSIP_section sent is not yet applicable and shall be the next PSIP_section with the same section_number, table_id_extension, and table_id to become valid.)
section_number 필드는 섹션의 번호를 나타낸다. (This 8bit field gives the number of the PSIP_section. The section_number of the first section in a PSIP table shall be 0x00. The section_number shall be incremented by 1 with each additional section in PSIP table. The scope of the section_number shall be defined by the table_id and table_id_extension. That is, for each PSIP table and value of the table_id_extension field, there is the potential for the full range of section_number values.)
last_section_number 필드는 마지막 섹션의 번호를 식별한다. (This 8bit field specifies the number of the last section (that is, the section with the highest section_number) of the PSIP table of which this section is a part. Its scope is the same as for the section_number field.)
protocop_version 필드는 현재 프로토콜에서 정의된 파라미터와 다른 파라미터를 전송하는 현재 테이블 타입을 추후에 허용하기 위한 기능을 가지는 필드이다. (An 8bit unsigned integer field whose function is to allow, in the future, this table type to carry parameters that may be structured differently than those defined in the current protocol. At present, the only valid value for protocol_version is zero. Nonzero values of protocol_version may be used by a future version of this standard to indicate structurally different tables.)
num_channels_in_section 필드는 가상 채널 해상도의 개수를 나타낸다. (The num_channels_in_section field in ATSC Cable Virtual Channel table CVCT table sections is an eightbit field that indicates the number of virtual channel definitions to follow in the table section.)
short_name 필드는 가상 채널을 위한 short name을 나타내는 112비트 필드이다. (The short_name field is a 112bit field in ATSC CVCT table sections that gives the short_name for the virtual channel. Each letter of the short_name is formatted as a 16bit Unicode character, with the high order byte transmitted first. So, short_name for TVCT and CVCT entries is seven Unicode characters, which short_name for SVCT entries is eight Unicode characters. If the display name is less than the number of permitted characters, 0/0x00 is appended to the end until the alloted number of bits has been reached.)
major_channel_number 필드는 가상채널과 관련된 메이저 채널의 수를 나타낸다. (A 10bit number that represents the "major" channel number associated with the virtual channel being defined in this iteration of the "for" loop. Each virtual channel shall be associated with a major and a minor channel number. The major channel number, along with the minor channel number, act as the user's reference number for the virtual channel. The major_channel_number shall be between 1 and 99. The value of major_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT.)
minor_channel_number 필드는 가상채널과 관련된 마이너 채널의 수를 나타낸다. (A 10bit number in the range 0 to 999 that represents the "minor" or "sub" channel number. This field, together with major_channel_number, performs as a twopart channel number, where minor_channel_number represents the second or righthand part of the number. When the service_type is analog television, minor_channel_number shall be set to 0.)
modulation mode 필드는 가상 채널의 전송 캐리어에 대한 변조 방식을 나타낸다. (The modulation_mode is an eightbit field in a virtual channel entry tells receivers the modulation used to transmit individual channels.)
carrier_frequency 필드는 전송 가상 채널에 의해 사용되는 캐리어 주파수 정보를 전송한다. (The carrier frequency is a 32bit field that transmits the carrier frequency used by the transport carrying the virtual channel.)
channel_TSID 필드는 가상 채널과 관련된 MPEG2 프로그램을 전송하는 전송 스트림(Transport Stream: TS)에 대한 MPEG2 Transport Stream ID를 나타낸다. (The channel_TSID is a 16bit unsigned integer field that gives the transport_stream_id of the channel that carries (or for inactive channels, will carry) the virtual channel.)
program_number 필드는 TS 내의 각 프로그램 서비스 또는 가상 채널을 식별한다. (The program_number is a 16bit unsigned integer that uniquely identifies each program service (or virtual channel) present in a transport stream.)
ETM_location 필드는 채널, 이벤트 또는 데이터 이벤트를 위한 확장된 텍스트 메시지의 존재 여부를 나타낸다. (The ETM_location field denotes whether there is an extended text message for the channel (Channel Extended Text table or CETT), event (Event Extended Text table) or data event (Data Extended Text table).)
access_controlled 필드는 해당 가상 채널과 연관된 이벤트가 제어될 수 있는지 여부를 나타낸다. (When access_controlled is set to '1', means that events associated with this virtual channel may be access controlled. When set to '0', access to event is not controlled.)
hidden 필드는 해당 채널이 가상 채널 숫자의 direct entry(또는 필드, 속성, 개체)에 의해 접근될 수 있는지 여부를 의미한다. (When hidden is set to '1', means the channel cannot be accessed by direct entry of the virtual channel number. When set to '0', virtual can be accessed by direct entry.)
path_select 필드는 가상 채널을 활성화 채널의 전송 패스와 연관시키는 CVCT 내의 필드이다. (The path_select is a 1bit field in a Cable Virtual Channel table (CVCT) entry that associates a virtual channel with a transmission path of an active channel or when the channel will be active.)
out_of_band 필드는 가상 채널이 OOB(OutOfBand) 물리적 전송 채널로 전송되는지 여부를 나타낸다. (The out_of_band is a 1bit Boolean field in a Cable Virtual Channel table entry that when set to '1' is carried on the outofband physical transmission channel. When clear or '0', the virtual channel is carried within a tuned multiplex. When the channel is inactive, out_of_band reflects the channel that will be valid when the channel is again active.)
hide_guide 필드는 해당 채널이 가상 채널 숫자의 direct entry(또는 필드, 속성, 개체)에 의해 접근될 수 있는지 여부를 의미한다. (When hide_guide is set to '1', means the channel cannot be accessed by direct entry of the virtual channel number. When set to '0', virtual can be accessed by direct entry.)
service_type 필드는 가상 채널에서 세팅된 서비스 타입을 식별한다. (The service_type is a 6bit enumerated field that identifies the type of service set in the virtual channel.) 본 발명의 일 실시예에 따른 파노라마 서비스의 service_type은 parameterized service (0x07), extended parameterized service (0x09) 및/또는 new DTV service panorama service(0x10)으로 지정될 수 있다. 상술한 서비스 명칭 및 값(value)는 일 실시 예이며 다른 명칭 또는 값으로 설정될 수도 있다.
source_id 필드는 16비트의 부호가 정해지지 않은 정수로서, 가상 채널과 연관된 프로그래밍 소스를 나타낸다. (A 16bit unsigned integer number that identifies the programming source associated with the virtual channel. In this context, a source is one specific source of video, text, data, or audio programming. Source ID value zero is reserved. Source ID values in the range 0x0001 to 0x0FFF shall be unique within the Transport Stream that carries the VCT, while values 0x1000 to 0xFFFF shall be unique at the regional level. Values for source_ids 0x1000 and above shall be issued and administered by a Registration Authority designated by the ATSC.)
descriptors_length 필드는 다음의 디스크립터 필드의 바이트의 길이를 전송한다. (The descriptors_length is a 10bit unsigned integer field that signals the length in bytes of the descriptor field to follow. If there are no descriptors present, zero would be appropriate.)
descriptor() 필드는 테이블 내에 위치하는 descriptor loop이다. descriptor loop는 추가적인 descriptor를 포함할 수 있다. 본 발명의 일 실시예에 따른 panorama_composition_info은 이 descriptor()에 포함될 수 있다.
도 34는 본 발명의 일 실시예에 따른 파노라마 서비스를 위한 service_type의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 파노라마 서비스의 service_type은 parameterized service (0x07), extended parameterized service (0x09) 및/또는 new DTV service panorama service(0x10)으로 지정될 수 있다. 상술한 서비스 명칭 및 값(value)는 일 실시 예이며 다른 명칭 또는 값으로 설정될 수도 있다.
parameterized service (0x07)를 통해 본 발명의 일 실시예에 따른 파노라마 서비스를 시그널링하는 경우, 파노라마 서비스에 대한 정보는 component list descriptor 및/또는 panorama_composition_info()를 통해 서술될 수 있다.
extended parameterized service (0x09)를 통해 본 발명의 일 실시예에 따른 파노라마 서비스를 시그널링하는 경우, 파노라마 서비스에 대한 정보는 component list descriptor, parameterized service descriptor 및/또는 panorama_composition_info()를 통해 서술될 수 있다.
new DTV service panorama service(0x10)를 통해 본 발명의 일 실시예에 따른 파노라마 서비스를 시그널링하는 경우, 파노라마 서비스에 대한 정보는 panorama_composition_info()를 통해 서술될 수 있다.
도 35는 본 발명의 일 실시예에 따른 component_list_descriptor()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 파노라마 영상에 대한 스트림은 component_list_descriptor()를 이용하여 시그널링할 수 있고, 본 발명의 일 실시예에 따른 component_list_descriptor()는 VCT (TVCT, CVCT 포함)의 Channel level에 위치할 수 있다. 본 발명의 일 실시예에 따르면, 서비스 내에 포함된 각 영상에 대한 엘레멘터리 스트림 (Elementary Stream) 마다 stream_info_details()이 포함될 수 있고, stream_info_details()는 파노라마 영상에 대한 스트림에 대한 정보를 시그널링할 수 있다. 본 발명의 일 실시예에 따른 파노라마 서비스의 경우, stream_type이 MPEG2, AVC, HEVC 등인 경우에도 본 발명의 일 실시예에 따른 stream_info_details()를 이용하여 각 영상에 대한 정보가 시그널링될 수 있다.
본 발명의 일 실시예에 따른 component_list_descriptor()는 descriptor_tag 필드, descriptor_length 필드, alternate 필드, component_count 필드, stream_type 필드, format_identifier 필드, length_of_details 필드 및/또는 stream_info_details()를 포함할 수 있다.
descriptor_tag 필드는 이 디스크립터가 component_list_descriptor()임을 식별하는 식별자를 나타낼 수 있다.
descriptor_length 필드는 이 디스크립터의 길이를 나타낼 수 있다.
alternate 필드는 component_list_descriptor의 해당 인스턴스 (instance)가 최우선의 정보인지 여부를 나타낼 수 있다. (A flag that indicates, when set to '1', that this instance of the component_list_descriptor() is a second, "alternate" description of streams associated with the virtual channel. When the flag is set to '0', the set of stream types in the instance of the descriptor is the "primary" or "preferred" set. If only one component_list_descriptor() appears in the descriptor loop, the value of the alternate flag shall be set to '0')
component_count 필드는 해당 채널 (서비스)에 포함된 컴포넌트 (스트림)의 개수를 나타낼 수 있다. (This 7bit unsigned integer shall specify the number of components specified in the "for" loop to follow. The value shall be in the range of 1 to 36)
stream_type 필드는 해당 컴포넌트의 스트림 타입을 나타낼 수 있다. (This 8bit unsigned integer field shall indicate the stream_type associated with the component described in this iteration of the "for" loop. Stream types in the range 0xC4 to 0xFF identify stream types defined privately (not described by ATSC Standards))
format_identifier 필드는 stream_type 값을 제공하는 entity를 식별할 수 있다. (This 32bit unsigned integer shall correspond to the format_identifier in the MPEG2 Registration Descriptor defined in ISO/IEC 138181 [7] Section 2.6.9 and shall identify the entity providing the stream_type value. The value of format_identifier shall be 0x4741 3934 ("GA94" in ASCII) unless the applicable ATSC standard specifies a different value, in which case that value shall be used. The stream_type values defined in ISO/IEC 138181 [7] and whose use is not standardized by ATSC Standards shall use value 0x00000000 for format_identifier)
length_of_details 필드는 뒤따라오는 필드인 stream_info_details()의 길이를 나타낼 수 있다. (This 8bit unsigned integer shall specify the length, in bytes, of the defined length of the stream_info_details() field to follow. The value of length_of_details shall be set to the length of the stream_info_details() field that has been defined for the associated stream_type value. The value shall be in the range of 0 to 246 inclusive)
stream_info_details() 필드는 해당 컴포넌트에 대한 상세 정보를 나타낼 수 있다. (This field shall provide further information pertaining to the component identified by the value in the preceding stream_type field. The meaning and structure of the bits contained in stream_info_details() shall be as specified in the standard defining the meaning of the value in the stream_type field when used in an ATSC transport stream. If ATSC standards define a stream_info_details() structure for a given value of stream_type, the ATSC definition shall take precedence over any definition originating from any other standards developing organization) 이에 대한 상세한 설명은 후술한다.
도 36은 본 발명의 일 실시예에 따른 stream_type이 base stream을 나타내는 경우, stream_info_details()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전체 파노라마 영상은 여러 개의 Elementaty Stream (ES)으로 분리되어 전송될 수 있다. 이 도면은, 이 경우에 여러 개의 ES 중 base stream에 대한 stream_info_details()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 stream_info_details()은 panorama_base_view_profile 필드, panorama_base_view_tier 필드 및/또는 panorama_base_view_level 필드를 포함할 수 있다.
panorama_base_view_profile 필드, panorama_base_view_tier 필드, panorama_base_view_level 필드는 base stream에 해당하는 영상의 profile, tier 및 level 정보를 나타낼 수 있다.
도 37은 본 발명의 일 실시예에 따른 stream_type이 base stream이 아닌 stream을 나타내는 경우, stream_info_details()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 전체 파노라마 영상은 여러 개의 Elementaty Stream (ES)으로 분리되어 전송될 수 있다. 이 도면은, 이 경우에 여러 개의 ES 중 base stream이 아닌 stream에 대한 stream_info_details()의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 stream_info_details()은 panorama_view_profile 필드, panorama_view_tier 필드 및/또는 panorama_view_level 필드를 포함할 수 있다.
panorama_view_profile 필드, panorama_view_tier 필드, panorama_view_level 필드는 base stream이 아닌 스트림에 해당하는 영상의 profile, tier 및 level 정보를 나타낼 수 있다.
본 발명의 다른 일 실시예에 따르면, 전체 파노라마 영상은 하나의 ES로 전송될 수 있다. 이 경우, 전술한 component_list_descriptor()의 component_count 필드는 1을 나타낼 수 있고 이에 따라, 하나의 stream_info_details()만 사용될 수 있다. 이 경우, 이 도면의 stream_info_details()으로 전체 파노라마 영상에 대한 ES를 시그널링할 수 있고 이 때, panorama_view_profile 필드, panorama_view_tier 필드 및/또는 panorama_view_level 필드가 나타내는 정보는 전체 파노라마의 profile, tier 및/또는 level 정보와 동일할 수 있다.
도 38는 본 발명의 일 실시예에 따른 시나리오 1 중에서, 메인 수신기에서 모든 스트림을 디코딩하고 서브 수신기로 디코딩된 스트림을 전달하는 경우의 수신기 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 1은 전체 파노라마 영상을 구성하는 여러 개의 스트림을 수신단에 전송할 수 있다.
본 발명의 일 실시예에 따른 수신기는 역다중화부 (demultiplexer, 38010), 제 1 디코더 (decoder 1, 38020), 제 2 디코더 (decoder 2, 38030), 시그널링 정보 처리부 (section data processor, 38040), 바운더리 필터링부 (boundary filtering, 38050) 및/또는 크라핑부 (cropping, 38060)를 포함할 수 있다.
역다중화부는 전체 파노라마 영상을 구성하는 여러 개의 스트림 및/또는 시그널링 정보를 모두 수신하고 각각의 스트림 및/또는 시그널링 정보를 추출하여 각 디코더 및/또는 시그널링 정보 처리기 (38040)에 추출된 스트림 및/또는 시그널링 정보를 전달할 수 있다.
디코더 (제 1 디코더 및/또는 제 2 디코더)는 역다중화부로부터 전달된 각 스트림을 디코딩하여 분할된 영상 (video 1 및/또는 video 2)을 생성할 수 있다. 이 때, 디코더는 panorama_composition_information 및/또는 시그널링 정보 처리기에서 처리된 시그널링 정보를 이용하여 각 스트림을 디코딩할 수 있다.
시그널링 정보 처리부는 역다중화부로부터 추출된 시그널링 정보를 처리하여 디코더에 전달할 수 있다. 여기서, 시그널링 정보는 전술한 PMT, VCT, EIT 및/또는 SDT을 포함할 수 있다.
바운더리 필터링부는 전체 파노라마 영상을 구성하는 분리된 각 영상을 panorama_filtering_metadata를 이용하여 전체 파노라마 영상으로 복원할 수 있다.
크라핑부는 바운더리 필터링부에 의해 복원된 전체 파노라마 영상을 extraction_info_metadata를 이용하여 크라핑한 후 크라핑된 각 영상을 UPnP, HDMI 및/또는 IP를 통해 다른 수신기로 전달할 수 있다.
본 발명의 일 실시예에 따르면, 전체 파노라마 영상을 구성하는 여러 개의 스트림을 수신하여 디코딩하는 수신기는 메인 수신기에 해당할 수 있고, 메인 수신기로부터 크라핑된 각 영상을 수신받는 수신기는 서브 수신기에 해당할 수 있다.
본 발명의 일 실시예에 따른 수신기의 구체적인 동작은 다음과 같다.
본 발명의 일 실시예에 따른 panorama_composition_info()는 video element stream에 포함된 SEI RBSP (raw byte sequence payload)을 통해 수신될 수 있다. 이 때, 상술한 동일한 정보가 EIT, SDT, PMT를 통해서도 제공될 수 있다.
본 발명의 일 실시예에 따른 수신기는 HEVC NAL unit을 parsing 하여 nal_unit_type 값이 SEI 데이터에 해당하는 값이고 payloadType이 52인 panorama_composition_info SEI message를 읽을 수 있다. 그리고, 수신기는 panorama_service_type과 파노라마 영상에 대한 전반적인 정보인 panorama_resolution, panorama_profile, panorama_level, panorama_tier 정보를 파싱하고, panorama_service_type에 따라 각 시나리오별 추가 정보들을 파싱할 수 있다.
본 발명의 일 실시예에 따른 시나리오 1에 따르면, 송신단은 파노라마 영상을 기존 수신기에 호환되는 영상을 포함하도록 panorama_stream_num 수만큼 분리해서 인코딩할 수 있다. 본 발명의 일 실시예에 따른 수신기는 각각의 분리된 elementary stream에 대해 panorama_composition_metadata()을 파싱할 수 있다. 본 발명의 일 실시예는 sub_video_base_view에서 base view로 시그널링된 영상을 기존 16:9 DTV 수신기에서 디코딩 및 출력하도록 할 수 있다. 기존 DTV 수신기 여러 대를 이용하여 파노라마 영상을 분리해서 출력하는 경우, 본 발명의 일 실시예는 sub_video_stream_id를 기반으로 각 수신기에서 출력할 영상을 선택해 디코딩 및 출력하도록 할 수 있다. 본 발명의 일 실시예에는 sub_video_priority 필드가 나타내는 우선순위를 이용하여 영상을 출력하도록 할 수 있다.
본 발명의 일 실시예에 따른 시나리오 2에 따르면, 수신기는 파노라마 전체 영상을 디코딩하고 extraction_info_metadata()에 포함된 cropping을 위한 좌표 값 (sub_video_cropping_start_x, sub_video_cropping_start_y)을 통해 영상을 분리해낼 수 있다. 만약 기존 16:9 DTV에서 resizing 없이 파노라마 영상의 일부 영상을 cropping해 출력한다면, 본 발명의 일 실시예는 sub_video_base_view 필드를 통해 base view의 영상을 분리해 낼 수 있다. 만약 여러대의 DTV 수신기를 이용해 파노라마 영상을 출력하는 경우이면, 본 발명의 일 실시예에 따른 각 수신기는 전체 파노라마 영상을 디코딩하고 sub_video_stream_id에 따라 영상을 cropping하고 크라핑된 영역을 출력할 수 있다.
본 발명의 일 실시예에 따른 시나리오 4에 따르면, 송신단은 관심영역(ROI)의 추가 stream을 enhancement layer의 신호로 전송할 수 있다. 수신기는 ROI_info_metadata()를 파싱해서 각 ROI에 대한 resolution인 width/height 정보 및/또는 좌표 정보를 획득할 수 있다. 수신기는 상기 획득된 정보를 이용하여 enhancement layer의 신호를 전체 파노라마 영상 및/또는 일부 파노라마 영상의 base layer 신호와 결합시켜 영상을 디코딩할 수 있다. 본 발명의 일 실시예에 따르면, 고화질의 ROI 영역을 2nd device로 전달하거나 기존 DTV 수신기의 일부 혹은 전체 화면에 디스플레이할 수 있다.
본 발명의 일 실시예에 따른 시나리오 5에 따르면, 파노라마 영상에서 분리된 16:9 이벤트를 시청하는 경우 이 때, 본 발명의 일 실시예에 따른 수신기는 해당 이벤트에 대한 linkage descriptor가 존재하면 이를 parsing할 수 있다. 수신기는 Linkage descriptor 내의 linkage_type 필드 값이 0x0F인 경우, advanced_event_linkage_info()를 읽을 수 있다. 본 발명의 일 실시예에 따른 수신기는 advanced_event_linkage_info()를 이용해 link된 파노라마 방송 이벤트에 대한 구체적인 정보를 획득할 수 있다. 상기 획득된 정보를 이용해 수신기는 사용자에게 지금 시청하는 16:9 이벤트에 대응되는 파노라마 방송 서비스가 제공될 수 있음을 알려줄 수 있다. 사용자가 파노라마 방송 서비스 수신 의사가 있는 경우, 수신기는 advanced_event_linkage_info()에서 파악한 정보를 이용해 파노라마 방송 서비스를 수신할 수 있다.
도 39은 본 발명의 일 실시예에 따른 시나리오 1 중에서, 각 수신기에서 분리되어 할당된 각 스트림을 디코딩하는 경우의 수신기 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 1은 전체 파노라마 영상을 구성하는 여러 개의 스트림을 수신단에 전송할 수 있다.
본 발명의 일 실시예에 따른 수신기는 역다중화부 (demultiplexer, 39010), 디코더 (decoder, 39020) 및/또는 시그널링 정보 처리부 (section data processor, 39030)를 포함할 수 있다.
역다중화부는 전체 파노라마 영상을 구성하는 다수의 스트림 중에 하나의 스트림 및/또는 시그널링 정보를 수신할 수 있고, 수신된 스트림 및/또는 시그널링 정보를 추출하여 디코더 (39020) 및/또는 시그널링 정보 처리부 (39030)에 전달할 수 있다.
디코더는 역다중화부로부터 전달된 스트림을 디코딩하여 전체 파노라마 영상을 구성하는 여러 개의 영상 중 하나를 생성할 수 있다. 이 때, 디코더는 panorama_composition_information 및/또는 시그널링 정보 처리기에서 처리된 시그널링 정보를 이용하여 각 스트림을 디코딩할 수 있다.
시그널링 정보 처리부는 역다중화부로부터 추출된 시그널링 정보를 처리하여 디코더에 전달할 수 있다. 여기서, 시그널링 정보는 전술한 PMT, VCT, EIT 및/또는 SDT을 포함할 수 있다.
본 발명의 일 실시예에 따르면 분리된 스트림을 수신한 각 수신기는 해당 스트림을 디코딩하여 디스플레이할 수 있다. 이 때, 모든 수신기가 메인 수신기 및/또는 서브 수신기가 될 수 있다.
도 40은 본 발명의 일 실시예에 따른 시나리오 2를 기반으로 한 수신기의 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 2는 전체 파노라마 영상을 하나의 스트림으로 인코딩하여 수신단에 전송할 수 있다.
본 발명의 일 실시예에 따른 수신기는 역다중화부 (demultiplexer, 40010), 디코더 (decoder, 40020) 및/또는 시그널링 정보 처리부 (section data processor, 40030)를 포함할 수 있다.
역다중화부는 전체 파노라마 영상을 구성하는 하나의 스트림 및/또는 시그널링 정보를 수신할 수 있고, 수신된 스트림 및/또는 시그널링 정보를 추출하여 디코더 (40020) 및/또는 시그널링 정보 처리부 (40030)에 전달할 수 있다. 이 때, 역다중화부는 전체 파노라마 영상을 크라핑하기 위해 필요한 extraction_info_metadata를 수신할 수 있다.
디코더는 역다중화부로부터 전달된 스트림을 디코딩하여 전체 파노라마 영상을 생성할 수 있다. 이 때, 디코더는 시그널링 정보 처리기에서 처리된 시그널링 정보를 이용하여 스트림을 디코딩할 수 있다. 또한, 디코더는 수신한 extraction_info_metadata를 이용하여 전체 파노라마 영상을 크라핑할 수 있다.
시그널링 정보 처리부는 역다중화부로부터 추출된 시그널링 정보를 처리하여 디코더에 전달할 수 있다. 여기서, 시그널링 정보는 전술한 PMT, VCT, EIT 및/또는 SDT을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 크라핑된 영상 (cropped video 1, cropped video 2)은 메인 수신기 및/또는 서브 수신기로 UPnP, HDMI 및/또는 IP를 통해 전달될 수 있다.
본 발명의 일 실시예에 따르면, 전체 파노라마 영상을 구성하는 스트림을 수신하는 수신기가 메인 수신기에 해당할 수 있고 그 이외의 다른 수신기는 서브 수신기에 해당할 수 있다.
도 41는 본 발명의 일 실시예에 따른 시나리오 4 중에서, 메인 수신기에서 모든 스트림을 디코딩하고 서브 수신기로 디코딩된 스트림을 전달하는 경우의 수신기 동작을 나타낸 도면이다.
본 발명의 일 실시예에 따른 시나리오 4는 ROI 영역에 대한 고화질의 서비스를 제공하기 위해서 SHVC (scalable HEVC)를 이용하여 향상 계층 (enhancement layer)에서 일부 영역의 enhancement data를 제공할 수 있고 이에 대한 시그널링 정보를 제공할 수 있다
본 발명의 일 실시예에 따른 수신기는 역다중화부 (demultiplexer, 41010), 제 1 디코더 (decoder 1, 41020), 제 2 디코더 (scalable video decoder 2, 41030), 시그널링 정보 처리부 (section data processor, 41040) 및/또는 ROI 필터링부 (ROI filtering, 41050)를 포함할 수 있다.
다중화부는 전체 파노라마 영상을 구성하는 모든 스트림 및/또는 시그널링 정보를 수신하고 각각의 스트림 및/또는 시그널링 정보를 추출하여 각 디코더 및/또는 시그널링 정보 처리기 (38040)에 추출된 스트림 및/또는 시그널링 정보를 전달할 수 있다.
제 1 디코더는 역다중화부로부터 전달된 base layer 스트림을 디코딩하여 베이스 비디오 영상 (base 비디오)을 생성할 수 있다. 이 때, 제 1 디코더는 ROI_info_metadata 및/또는 시그널링 정보 처리기에서 처리된 시그널링 정보를 이용하여 base layer 스트림을 디코딩할 수 있다.
제 2 디코더는 역다중화부로부터 전달되 enhancement layer 스트림을 디코딩하여 고화질 비디오를 생성할 수 있다. 이 때, 제 2 디코더는 제 1 디코더로부터 베이스 비디오 영상 신호를 수신할 수 있고 수신 받은 베이스 비디오 영상 신호 및/또는 시그널링 정보 처리기에서 처리된 시그널링 정보를 이용하여 enhancement layer 스트림을 디코딩할 수 있다.
시그널링 정보 처리부는 역다중화부로부터 추출된 시그널링 정보를 처리하여 디코더에 전달할 수 있다. 여기서, 시그널링 정보는 전술한 PMT, VCT, EIT 및/또는 SDT을 포함할 수 있다.
ROI 필터링부는 ROI 영역의 enhancement layer 신호를 base layer 신호와 merge하기 위해 ROI 영역을 필터링할 수 있다. 이 때, ROI 필터링부는 ROI_filtering_info_descriptor를 이용하여 필터링할 수 있다.
본 발명의 일 실시예에 따르면, 생성된 고화질 비디오 영상은 메인 수신기 및/또는 서브 수신기로 UPnP, HDMI 및/또는 IP를 통해 전달될 수 있다. 또한, 메인 수신기에서 PIP 형식으로 고화질 서비스를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 전체 파노라마 영상을 구성하는 base 및/또는 enhancement layer 스트림을 수신하여 디코딩하는 수신기는 메인 수신기에 해당할 수 있고, 메인 수신기로부터 고화질 비디오 영상을 수신받는 수신기는 서브 수신기에 해당할 수 있다.
본 발명의 일 실시예에 따르면, 메인 수신기에서 base layer 신호를 출력하고, 서브 수신기에서 고화질의 서비스를 제공할 수도 있지만, 반대로 메인 수신기에서 고화질의 비디오 서비스를 제공하고, 서브 수신기에서 base layer 신호를 제공할 수도 있다.
메인 수신기에서 전체 파노라마 영상을 구성하는 모든 스트림을 디코딩하는 본 발명의 일 실시예와 달리, 본 발명의 다른 일 실시예에 따르면, 서브 수신기에서 base layer 신호를 수신하여 디코딩하고 서브 수신기의 scalable video decoder를 이용해서 ROI 영역의 영상을 디코딩 및/또는 디스플레이할 수 있다.
먼저, 본 발명의 일 실시예에 따른 수신부는 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 포함하는 방송 스트림을 수신할 수 있다. (S42010) 여기서, 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함할 수 있다. 본 발명의 일 실시예에 따른 역다중화부는 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출할 수 있다. (S42020) 본 발명의 일 실시예에 따른 디코더는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림을 디코딩할 수 있다. (S42030)
본 발명의 다른 일 실시예에 따르면, 상기 영상에 관한 시그널링 정보는 현재 시청중인 방송 서비스와 대응되는 파노라마 방송 서비스에 대한 정보를 나타내는 이벤트 연결 정보를 포함하고, 상기 파노라마 영상에 관한 시그널링 정보는 상기 파노라마 영상의 구성을 나타내는 파노라마 구성 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 17, 30의 설명 부분에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 영상은 하나 이상의 영상으로 분할되고, 상기 영상에 대한 스트림은 하나 이상의 상기 분할된 영상에 대한 스트림을 포함할 수 있고, 상기 디코더는 상기 추출된 시그널링 정보를 이용하여 상기 분할된 영상에 대한 스트림 각각을 디코딩할 수 있다. 이에 대한 상세한 설명은 도 2, 6, 7, 38, 39의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 방송 스트림은 상기 영상 중 사용자의 관심 영역 (Region of Interest, ROI)에 대한 고화질 영상을 제공하기 위한 ROI (Region of Interest) 추가 정보에 대한 스트림을 포함할 수 있고, 상기 역다중화부는 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림, 상기 ROI 추가 정보에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출할 수 있고, 상기 디코더는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림 및/또는 상기 추출된 ROI 추가 정보에 대한 스트림을 디코딩할 수 있다. 이에 대한 상세한 설명은 도 5, 16, 41의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 분할된 영상에 대한 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 17, 19, 20의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 분할된 영상의 구획화 현상 (blocking artifact) 제거를 위한 필터링 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 17, 22의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 파노라마 영상을 하나 이상의 영상으로 크라핑 (cropping)하기 위한 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 3, 8, 17, 23, 38, 40의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 파노라마 구성 정보는 상기 관심 영역의 영상에 대한 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 17, 25, 41의 설명 부분에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 방송 신호 수신 방법은 상기 디코딩된 영상에 대한 스트림을 디스플레이하는 단계를 포함할 수 있고, 상기 디스플레이하는 단계는 사용자로부터 스크롤링 (scrolling) 요청을 수신하는 경우, 상기 스크롤링 요청에 따라 이동된 영역을 디스플레이할 수 있다. 이에 대한 상세한 설명은 도 4, 9, 10 내지 15의 설명 부분에서 전술하였다.
도 43은 본 발명의 일 실시예에 따른 방송 신호 송신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 송신 장치 (43050)는 영상을 인코딩하는 인코더 (43010), 상기 인코딩된 영상 및 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화하는 다중화부(43020), 상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성하는 방송 신호 생성부 (43030) 및/또는 상기 생성된 방송 신호를 전송하는 전송부 (43040)를 포함할 수 있다. 여기서, 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 인코더 (43010)는 영상을 인코딩할 수 있다. 본 발명의 일 실시예에 따른 다중화부 (43020)는 상기 인코딩된 영상 및/또는 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화할 수 있다. 이 때, 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함할 수 있다. 본 발명의 일 실시예에 따른 방송 신호 생성부 (43030)는 상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성할 수 있다. 본 발명의 일 실시예에 따른 전송부 (43040)는 상기 생성된 방송 신호를 전송할 수 있다. 이 때, 전송부는 지상파 방송망, 인터넷 망 및/또는 케이블망을 통해 방송 신호를 전송할 수 있다.
본 발명의 일 실시예에 따른 인코더, 다중화부, 방송 신호 생성부 및/또는 전송부는 각각 상술한 동작을 하는 하드웨어에 해당할 수 있다. 즉, 본 발명의 일 실시예에 따른 인코더, 다중화부, 방송 신호 생성부 및/또는 전송부는 메모리에 저장되어 있는 일련의 지시를 실행하는 프로세서에 해당할 수 있다.
도 44는 본 발명의 일 실시예에 따른 방송 신호 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 신호 수신 장치 (44040)는 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 포함하는 방송 스트림을 수신하는 수신부 (43010), 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출하는 역다중화부 (43020) 및/또는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림을 디코딩하는 디코더 (43030)을 포함할 수 있다.
본 발명의 일 실시예에 따른 수신부 (43010)는 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 포함하는 방송 스트림을 수신할 수 있다. 여기서, 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함할 수 있다. 본 발명의 일 실시예에 따른 역다중화부 (43020)는 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출할 수 있다. 본 발명의 일 실시예에 따른 디코더 (43030)는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림을 디코딩할 수 있다.
본 발명의 일 실시예에 따른 수신부, 역다중화부 및/또는 디코더는 각각 상술한 동작을 하는 하드웨어에 해당할 수 있다. 즉, 본 발명의 일 실시예에 따른 수신부, 역다중화부 및/또는 디코더는 메모리에 저장되어 있는 일련의 지시를 실행하는 프로세서에 해당할 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CDROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 발명은 방송 산업 전반에서 이용 가능하다.

Claims (19)

  1. 영상을 인코딩하는 단계;
    상기 인코딩된 영상 및 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화하는 단계, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고;
    상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;
    를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 영상에 관한 시그널링 정보는 현재 시청중인 방송 서비스와 대응되는 파노라마 방송 서비스에 대한 정보를 나타내는 이벤트 연결 정보를 포함하고,
    상기 파노라마 영상에 관한 시그널링 정보는 상기 파노라마 영상의 구성을 나타내는 파노라마 구성 정보를 포함하는 방송 신호 송신 방법.
  3. 제 2 항에 있어서,
    상기 인코딩하는 단계는 상기 영상을 하나 이상의 영상으로 분할하고 상기 분할된 영상을 각각 인코딩하는 방송 신호 송신 방법.
  4. 제 2 항에 있어서,
    상기 인코딩하는 단계는 상기 영상 중 사용자의 관심 영역 (Region of Interest, ROI)에 대한 고화질 영상을 제공하기 위한 ROI (Region of Interest) 추가 정보를 인코딩하고,
    상기 다중화하는 단계는 상기 인코딩된 영상, 상기 영상에 관한 시그널링 정보 및 상기 인코딩된 ROI 추가 정보를 하나의 방송 스트림으로 다중화하는 방송 신호 송신 방법.
  5. 제 3 항에 있어서,
    상기 파노라마 구성 정보는 상기 분할된 영상에 대한 정보를 포함하는 방송 신호 송신 방법.
  6. 제 3 항에 있어서,
    상기 파노라마 구성 정보는 상기 분할된 영상의 구획화 현상 (blocking artifact) 제거를 위한 필터링 정보를 포함하는 방송 신호 송신 방법.
  7. 제 2 항에 있어서,
    상기 파노라마 구성 정보는 상기 파노라마 영상을 하나 이상의 영상으로 크라핑 (cropping)하기 위한 정보를 포함하는 방송 신호 송신 방법.
  8. 제 4 항에 있어서,
    상기 파노라마 구성 정보는 상기 관심 영역의 영상에 대한 정보를 포함하는 방송 신호 송신 방법.
  9. 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 포함하는 방송 스트림을 수신하는 단계, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고;
    상기 수신한 방송 스트림에서 상기 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출하는 단계; 및
    상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림을 디코딩하는 단계;
    를 포함하는 방송 신호 수신 방법.
  10. 제 9 항에 있어서,
    상기 영상에 관한 시그널링 정보는 현재 시청중인 방송 서비스와 대응되는 파노라마 방송 서비스에 대한 정보를 나타내는 이벤트 연결 정보를 포함하고,
    상기 파노라마 영상에 관한 시그널링 정보는 상기 파노라마 영상의 구성을 나타내는 파노라마 구성 정보를 포함하는 방송 신호 수신 방법.
  11. 제 10 항에 있어서,
    상기 영상은 하나 이상의 영상으로 분할되고, 상기 영상에 대한 스트림은 하나 이상의 상기 분할된 영상에 대한 스트림을 포함하고,
    상기 디코딩하는 단계는 상기 추출된 시그널링 정보를 이용하여 상기 분할된 영상에 대한 스트림 각각을 디코딩하는 방송 신호 수신 방법.
  12. 제 10 항에 있어서,
    상기 방송 스트림은 상기 영상 중 사용자의 관심 영역 (Region of Interest, ROI)에 대한 고화질 영상을 제공하기 위한 ROI (Region of Interest) 추가 정보에 대한 스트림을 포함하고,
    상기 추출하는 단계는 상기 수신한 방송 스트림에서 상기 영상에 대한 스트림, 상기 ROI 추가 정보에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출하고,
    상기 디코딩하는 단계는 상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림 및 상기 추출된 ROI 추가 정보에 대한 스트림을 디코딩하는 방송 신호 수신 방법.
  13. 제 11 항에 있어서,
    상기 파노라마 구성 정보는 상기 분할된 영상에 대한 정보를 포함하는 방송 신호 수신 방법.
  14. 제 11 항에 있어서,
    상기 파노라마 구성 정보는 상기 분할된 영상의 구획화 현상 (blocking artifact) 제거를 위한 필터링 정보를 포함하는 방송 신호 수신 방법.
  15. 제 10 항에 있어서,
    상기 파노라마 구성 정보는 상기 파노라마 영상을 하나 이상의 영상으로 크라핑 (cropping)하기 위한 정보를 포함하는 방송 신호 수신 방법.
  16. 제 12 항에 있어서,
    상기 파노라마 구성 정보는 상기 관심 영역의 영상에 대한 정보를 포함하는 방송 신호 수신 방법.
  17. 제 9 항에 있어서,
    상기 방송 신호 수신 방법은 상기 디코딩된 영상에 대한 스트림을 디스플레이하는 단계를 포함하고,
    상기 디스플레이하는 단계는 사용자로부터 스크롤링 (scrolling) 요청을 수신하는 경우, 상기 스크롤링 요청에 따라 이동된 영역을 디스플레이하는 방송 신호 수신 방법.
  18. 영상을 인코딩하는 인코더;
    상기 인코딩된 영상 및 상기 영상에 관한 시그널링 정보를 하나의 방송 스트림으로 다중화하는 다중화부, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고;
    상기 다중화된 방송 스트림을 포함하는 방송 신호를 생성하는 방송 신호 생성부; 및
    상기 생성된 방송 신호를 전송하는 전송부;
    를 포함하는 방송 신호 송신 장치.
  19. 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 포함하는 방송 스트림을 수신하는 수신부, 여기서 상기 시그널링 정보는 파노라마 영상에 관한 시그널링 정보를 포함하고;
    상기 수신한 방송 스트림에서 상기 영상에 대한 스트림 및 상기 영상에 관한 시그널링 정보를 추출하는 역다중화부; 및
    상기 추출된 시그널링 정보를 이용하여 상기 추출된 영상에 대한 스트림을 디코딩하는 디코더;
    를 포함하는 방송 신호 수신 장치.
KR1020167016823A 2014-02-18 2015-02-17 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치 KR101809968B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461940838P 2014-02-18 2014-02-18
US61/940,838 2014-02-18
PCT/KR2015/001606 WO2015126144A1 (ko) 2014-02-18 2015-02-17 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160094384A true KR20160094384A (ko) 2016-08-09
KR101809968B1 KR101809968B1 (ko) 2017-12-18

Family

ID=53878577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167016823A KR101809968B1 (ko) 2014-02-18 2015-02-17 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치

Country Status (6)

Country Link
US (2) US9894422B2 (ko)
EP (1) EP3110160A4 (ko)
JP (1) JP6382329B2 (ko)
KR (1) KR101809968B1 (ko)
CN (1) CN106031180A (ko)
WO (1) WO2015126144A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118524A (ko) * 2018-04-10 2019-10-18 에스케이텔레콤 주식회사 레벨 설정 방법 및 이를 이용한 영상 복호화 장치
KR20200016229A (ko) * 2017-06-09 2020-02-14 소니 세미컨덕터 솔루션즈 가부시키가이샤 영상 송신 장치 및 영상 수신 장치
KR20200032230A (ko) * 2017-09-28 2020-03-25 엘지전자 주식회사 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
US11297298B2 (en) 2018-02-27 2022-04-05 Lg Electronics Inc. Method for transmitting and receiving 360-degree video including camera lens information, and device therefor

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6317817B2 (ja) 2013-07-25 2018-04-25 コンヴィーダ ワイヤレス， エルエルシー エンドツーエンドｍ２ｍサービス層セッション
WO2015194195A1 (en) * 2014-06-20 2015-12-23 Sharp Kabushiki Kaisha Methods for xml representation of device capabilities
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
EP3259739A4 (en) 2015-02-17 2018-08-29 NEXTVR Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
KR20160133867A (ko) * 2015-05-13 2016-11-23 삼성전자주식회사 멀티 디스플레이 시스템 및 멀티 디스플레이 시스템의 동작 방법
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
MX2017015340A (es) * 2015-06-12 2018-04-11 Sony Corp Aparato de procesamiento de informacion y metodo de procesamiento de informacion.
US20180176650A1 (en) * 2015-06-12 2018-06-21 Sony Corporation Information processing apparatus and information processing method
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
US10542242B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Display device and method for controlling same
US10506198B2 (en) 2015-12-04 2019-12-10 Livestream LLC Video stream encoding system with live crop editing and recording
US20170162230A1 (en) * 2015-12-04 2017-06-08 Livestream LLC Interactive digital camera for live crop editing and recording of video streams
CN105611213A (zh) * 2016-01-04 2016-05-25 京东方科技集团股份有限公司 一种图像处理方法、播放方法及相关的装置和系统
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
US10148875B1 (en) * 2016-05-17 2018-12-04 Scott Zhihao Chen Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor
CN109565611B (zh) * 2016-05-26 2021-12-21 弗劳恩霍夫应用研究促进协会 针对交互式客户端的全景视频的广播流
US20170347084A1 (en) * 2016-05-27 2017-11-30 Intel Corporation Virtual reality panoramic video system using scalable video coding layers
WO2018009828A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. Systems and methods for region-of-interest tone remapping
KR102567002B1 (ko) * 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US10951874B2 (en) * 2016-09-02 2021-03-16 Mediatek Inc. Incremental quality delivery and compositing processing
CN109845274B (zh) * 2016-10-25 2021-10-12 索尼公司 发送设备、发送方法、接收设备和接收方法
JP6943255B2 (ja) * 2016-10-26 2021-09-29 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
EP3520243A2 (en) 2016-11-03 2019-08-07 Convida Wireless, LLC Frame structure in nr
CN112738531B (zh) * 2016-11-17 2024-02-23 英特尔公司 全景视频的建议视口指示
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US10560682B2 (en) * 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US11272237B2 (en) 2017-03-07 2022-03-08 Interdigital Madison Patent Holdings, Sas Tailored video streaming for multi-device presentations
US10609283B2 (en) * 2017-04-01 2020-03-31 Intel Corporation Sharing panoramic video images over a wireless display session
CN107018370B (zh) * 2017-04-14 2020-06-30 威盛电子股份有限公司 用于视频墙的显示方法及其系统
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
KR102336997B1 (ko) * 2017-08-16 2021-12-08 삼성전자 주식회사 서버, 디스플레이장치 및 그 제어방법
CN108307219B (zh) * 2017-11-07 2020-12-01 深圳市佳创视讯技术股份有限公司 一种高清电视全景视频智能展示方法
WO2019107175A1 (ja) * 2017-11-30 2019-06-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
US10798455B2 (en) 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
EP3739889A4 (en) * 2018-01-12 2020-11-25 Sony Corporation TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEIVING DEVICE AND RECEPTION PROCESS
WO2019199025A1 (ko) 2018-04-09 2019-10-17 에스케이텔레콤 주식회사 영상을 부호화/복호화하는 방법 및 그 장치
US11509937B2 (en) 2018-04-09 2022-11-22 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video
CN108566553B (zh) * 2018-04-25 2020-12-04 威盛电子股份有限公司 视频墙媒体播放系统、方法及控制服务器
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
EP3858023A1 (en) 2018-09-27 2021-08-04 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
USD996493S1 (en) 2020-12-07 2023-08-22 Applied Materials, Inc. Live streaming camera

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US6859557B1 (en) * 2000-07-07 2005-02-22 Microsoft Corp. System and method for selective decoding and decompression
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
JP2004328204A (ja) 2003-04-23 2004-11-18 Canon Inc 映像信号処理装置
US7613344B2 (en) 2003-12-08 2009-11-03 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR100703715B1 (ko) 2005-05-17 2007-04-06 한국전자통신연구원 다시점 3차원 동영상 송수신 시스템
KR101255226B1 (ko) 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
JP5018515B2 (ja) * 2007-11-20 2012-09-05 ソニー株式会社 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
JP2011514789A (ja) 2008-03-20 2011-05-06 インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー ビデオ画像の小さな画面サイズへの適合方法
US8274544B2 (en) * 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
WO2010117129A2 (en) * 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
KR20110001990A (ko) 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
CN102906810B (zh) * 2010-02-24 2015-03-18 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
JP5763306B2 (ja) 2010-04-27 2015-08-12 レノボ・イノベーションズ・リミテッド（香港） 動画像通信システム
KR20120026013A (ko) * 2010-09-08 2012-03-16 한국전자통신연구원 통신 시스템에서 데이터 송수신 장치 및 방법
KR101831311B1 (ko) * 2010-12-31 2018-02-23 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR101869103B1 (ko) * 2011-01-26 2018-06-19 한국전자통신연구원 실시간 방송 프로그램의 기준 영상과 부가 영상간의 동기화 방법 및 이를 수행하는 송수신 시스템
MX2013008311A (es) * 2011-02-16 2013-09-06 Panasonic Corp Codificador de video, metodo de codificacion de video, programa de codificacion de video, metodo de reproduccion de video y programa de reproduccion de video.
WO2012111325A1 (ja) 2011-02-17 2012-08-23 パナソニック株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
US9241144B2 (en) * 2011-03-21 2016-01-19 Intel Corporation Panorama picture scrolling
KR101685418B1 (ko) * 2011-04-27 2016-12-12 한화테크윈 주식회사 3차원 영상을 생성하는 감시 시스템
EP2712191A4 (en) 2011-05-19 2015-06-24 Lg Electronics Inc VIDEO POWER TRANSMISSION DEVICE, VIDEO POWER RECEIVING DEVICE, VIDEO POWER TRANSMISSION METHOD AND VIDEO POWER RECEIVING METHOD
CN103181172B (zh) * 2011-08-24 2015-11-25 松下电器产业株式会社 记录介质、再现装置、记录装置及记录方法
KR20130077246A (ko) * 2011-12-29 2013-07-09 주식회사 카몬 스마트디바이스 상에서 파노라마 동영상 재생시 ｃｐｕ에 의한 과도 처리 경감방법 및 과도 처리 경감시스템
TWI667913B (zh) 2012-04-06 2019-08-01 日商新力股份有限公司 Image processing device, image processing method, computer program, and recording medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200016229A (ko) * 2017-06-09 2020-02-14 소니 세미컨덕터 솔루션즈 가부시키가이샤 영상 송신 장치 및 영상 수신 장치
KR20200032230A (ko) * 2017-09-28 2020-03-25 엘지전자 주식회사 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
US11856181B2 (en) 2017-09-28 2023-12-26 Lg Electronics Inc. Method and device for transmitting or receiving 6DoF video using stitching and re-projection related metadata
US11297298B2 (en) 2018-02-27 2022-04-05 Lg Electronics Inc. Method for transmitting and receiving 360-degree video including camera lens information, and device therefor
KR20190118524A (ko) * 2018-04-10 2019-10-18 에스케이텔레콤 주식회사 레벨 설정 방법 및 이를 이용한 영상 복호화 장치

Also Published As

Publication number Publication date
KR101809968B1 (ko) 2017-12-18
US20160337706A1 (en) 2016-11-17
EP3110160A4 (en) 2017-10-11
EP3110160A1 (en) 2016-12-28
US9894422B2 (en) 2018-02-13
JP6382329B2 (ja) 2018-08-29
WO2015126144A1 (ko) 2015-08-27
US20180115806A1 (en) 2018-04-26
CN106031180A (zh) 2016-10-12
JP2017513280A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
KR101809968B1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
US10091486B2 (en) Apparatus and method for transmitting and receiving digital broadcasting signal
US9554198B2 (en) Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same
US9338431B2 (en) Method and apparatus for processing a broadcast signal for 3D broadcast service
US9036700B2 (en) Simulcast of stereoviews for 3D TV
KR101789636B1 (ko) 이미지 처리 방법 및 장치
US20160269711A1 (en) Method and apparatus for processing 3-dimensional broadcasting signal
KR101623020B1 (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
KR102094892B1 (ko) 신호 송수신 장치 및 신호 송수신 방법
RU2633385C2 (ru) Передающее устройство, способ передачи, приемное устройство, способ приема и способ отображения приема
US20180213216A1 (en) Media data transmission device, media data reception device, media data transmission method, and media data rececption method
US9549228B2 (en) Broadcast signal processing method and device for 3-dimensional (3D) broadcasting service
US9948952B2 (en) Broadcast signal transmitting device and broadcast signal receiving device
US20160057488A1 (en) Method and System for Providing and Displaying Optional Overlays
US11936936B2 (en) Method and system for providing and displaying optional overlays
US9930382B2 (en) Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service
KR20120036255A (ko) 디지털 방송에 있어서 3차원 비디오 서비스 관련 정보 전송 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant