KR20150071505A - 멀티 앵글 뷰 처리장치 - Google Patents

멀티 앵글 뷰 처리장치 Download PDF

Info

Publication number
KR20150071505A
KR20150071505A KR1020130158617A KR20130158617A KR20150071505A KR 20150071505 A KR20150071505 A KR 20150071505A KR 1020130158617 A KR1020130158617 A KR 1020130158617A KR 20130158617 A KR20130158617 A KR 20130158617A KR 20150071505 A KR20150071505 A KR 20150071505A
Authority
KR
South Korea
Prior art keywords
view data
angle view
angle
mpd
main
Prior art date
Application number
KR1020130158617A
Other languages
English (en)
Other versions
KR101700626B1 (ko
Inventor
김태정
전주일
김창기
김재호
유정주
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130158617A priority Critical patent/KR101700626B1/ko
Priority to US14/253,175 priority patent/US20150172734A1/en
Publication of KR20150071505A publication Critical patent/KR20150071505A/ko
Application granted granted Critical
Publication of KR101700626B1 publication Critical patent/KR101700626B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/418—External card to be used in combination with the client device, e.g. for conditional access
    • H04N21/4183—External card to be used in combination with the client device, e.g. for conditional access providing its own processing capabilities, e.g. external module for video decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 멀티 앵글 뷰 처리장치에 관한 것으로, 동일한 하나의 장치를 통해 메인 뷰 데이터와 적어도 하나의 멀티 뷰 데이터를 수신하여 처리하고, 메인 뷰 데이터와 멀티 뷰 데이터를 각각 상이한 장치로 제공함으로써 사용자가 선택한 멀티 앵글 뷰 화면을 최적화된 해상도로 끊김 없이 시청할 수 있도록 한 것이다.

Description

멀티 앵글 뷰 처리장치{Multi angle view processing apparatus}
본 발명은 방송 처리 기술에 관련한 것으로, 특히 멀티 앵글 뷰 처리장치에 관한 것이다.
TV 방송 프로그램은 하나의 채널을 통해 시청자에게 영상을 제공하고 있으며, 스포츠, 음악 프로그램, 예능 프로그램 등은 다수의 카메라를 여러 각도에 배치하고 각 상황을 시청자에게 제공하도록 제작되고 있다. 하지만, 시청자들에게 제공되는 화면은 제작된 여려 화면 중 방송사의 선택에 의해 결정된 하나의 화면만을 보여줌으로 시청자가 원하는 위치의 화면을 볼 수 없는 단점이 있다.
이러한 문제점을 해결하기 위해 최근 대한민국 공개특허 제10-2012-0133550호 등에서 제안한 바와 같이, IPTV 등에서 다수의 카메라로 촬영된 영상을 서로 다른 채널을 통해 전송하고 시청자가 원하는 화면을 선택하여 시청할 수 있는 멀티 앵글 (Multi angle) 방송 서비스가 제공되고 있다.
그러나, 종래의 멀티 앵글 서비스는 이미 제작된 영상을 송출하기 위한 기술이며, 하나의 망을 통해 하나의 단말로 서비스를 제공하기 때문에 지극히 개인형 콘텐츠 소비 형태이고, 화면 변화 시 지터 타임(Jitter Time)이 약 1초간 발생하여 화면 및 음성이 끊기는 현상이 있다.
이러한 문제를 해결하기 위해 본 발명자는 방송 프로그램의 메인 화면은 온 가족이 즐겨 볼 수 있도록 스마트 TV 등의 메인 뷰 디스플레이 장치를 통해 제공하고, 멀티 앵글 뷰는 스마트 폰 등과 같은 멀티 앵글 뷰 디스플레이 장치를 통해 제공함으로써 사용자가 원하는 멀티 앵글 뷰 화면을 끊김 없이 시청할 수 있는 기술에 대한 연구를 하게 되었다.
대한민국 공개특허 제10-2012-0133550호(2012. 12. 11)
본 발명은 상기한 취지하에 발명된 것으로, 동일한 하나의 장치를 통해 메인 뷰 데이터와 적어도 하나의 멀티 뷰 데이터를 수신하여 처리하고, 메인 뷰 데이터와 멀티 뷰 데이터를 각각 상이한 장치로 제공하여 사용자가 원하는 멀티 앵글 뷰 화면을 끊김 없이 시청할 수 있도록 한 멀티 앵글 뷰 처리장치를 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 멀티 앵글 뷰 처리장치가 방송망을 통해 방송 컨텐츠의 메인 뷰(Main View) 데이터를 수신하는 메인 뷰 데이터 수신기와; 인터넷망을 통해 해당 방송 컨텐츠의 적어도 하나의 멀티 앵글 뷰(Multi Angle View) 데이터를 수신하는 멀티 앵글 뷰 데이터 수신기와; 상기 메인 뷰 데이터 수신기와 멀티 앵글 뷰 데이터 수신기 각각을 통해 수신된 메인 뷰 데이터 및 적어도 하나의 멀티 앵글 뷰 데이터를 복호화하는 멀티 디코더(Multi-decoder)와; 상기 멀티 디코더에 의해 복호화된 메인 뷰 데이터와 적어도 하나의 멀티 앵글 뷰 데이터를 랜더링하여 메인 영상과 서브 영상으로 구분하여 재생 처리하는 멀티 랜더러(Multi-renderer)를; 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 메인 뷰 데이터 수신기가 멀티 앵글 뷰 서비스 및 동기화 관련 정보를 기록한 서비스 메타 데이터(Metadata)를 수신하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 서비스 메타 데이터가 적어도 하나의 멀티 앵글 뷰 데이터의 MPD(Metadata Point Descriptor) 파일 저장 위치를 지시하는 MPD URL 정보와; 메인 뷰 데이터와 멀티 앵글 뷰 데이터를 동기화하기 위한 동기화 정보와; 멀티 앵글 뷰 넘버(Number)와 각 멀티 앵글 뷰 네임(Name)을 지시하는 멀티 앵글 뷰 정보를; 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 동기화 정보가 PCR(Program Clock Reference) 기반 시간 예측 동기화 정보인 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 동기화 정보가 프레임 넘버(Frame Number) 기반 동기화 정보인 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 서비스 메타 데이터가 디지털 방송 규격의 메인 뷰 데이터 프레임의 PES(Packetized Elementary Stream) 패킷에 포함되는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
본 발명의 부가적인 양상에 따르면, 상기 메인 뷰 데이터 수신기가 서비스 메타 데이터로부터 MPD URL 정보를 추출하고, 추출된 MPD URL 정보를 상기 멀티 앵글 뷰 데이터 수신기로 제공하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 멀티 앵글 뷰 데이터 수신기가 상기 메인 뷰 데이터 수신기로부터 제공되는 MPD URL 정보를 수신하고, 수신된 MPD URL 정보에 포함된 적어도 하나의 MPD URL로 MPD 파일을 요청하여 수신하고, 수신된 적어도 하나의 MPD 파일을 해석하여 적어도 하나의 멀티 앵글 뷰 데이터 저장 위치를 획득하는 MPD 제어기와; 상기 MPD 제어기에 의해 획득된 적어도 하나의 멀티 앵글 뷰 데이터 저장 위치로부터 멀티 앵글 뷰 데이터를 각각 수신하는 적어도 하나의 세그먼트(Segment) 수신기를 포함하는 DASH(Dynamic Adaptive Streaming over HTTP) 클라이언트 모듈을; 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 DASH 클라이언트 모듈이 사용자 디바이스에 의해 선택된 멀티 앵글 뷰에 대해서는 어느 하나의 세그먼트 수신기를 이용해 최적 해상도의 멀티 앵글 뷰 데이터를 수신하고, 그 외의 멀티 앵글 뷰에 대해서는 다른 세그먼트 수신기들을 이용해 최소 해상도의 멀티 앵글 뷰 데이터를 수신하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 멀티 앵글 뷰 데이터 저장 위치가 멀티 앵글 뷰 서비스를 제공하는 웹(WEB) 서버의 특정 URL인 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 각 세그먼트 수신기가 디지털 방송 규격의 멀티 앵글 뷰 데이터 프레임의 TS 패킷을 디먹싱(De-muxing)하여 상기 멀티 디코더로 ES 패킷들을 전달하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 멀티 랜더러가 상기 멀티 디코더의 시스템 클럭을 이용해 참조 클럭(Reference Clock)인 멀티 앵글 뷰 데이터의 PCR과 같은 시점에 멀티 앵글 뷰 데이터를 재생하도록 처리하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 멀티 랜더러가 메인 뷰 프레임 넘버와 동일한 넘버를 가진 멀티 앵글 뷰 프레임 넘버를 가진 멀티 앵글 뷰 데이터를 재생하도록 처리하는 것을 특징으로 한다.
본 발명은 동일한 하나의 장치를 통해 메인 뷰 데이터와 적어도 하나의 멀티 뷰 데이터를 수신하여 처리하고, 메인 뷰 데이터와 멀티 뷰 데이터를 각각 상이한 장치로 제공하여 사용자가 원하는 멀티 앵글 뷰 화면을 최적의 해상도로 끊김 없이 시청할 수 있도록 할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 멀티 앵글 뷰 처리장치가 적용된 방송 시스템 개요도이다.
도 2 는 본 발명에 따른 멀티 앵글 뷰 처리장치의 일 실시예의 구성을 도시한 블럭도이다.
도 3 은 본 발명에 따른 멀티 앵글 뷰 처리장치의 멀티 앵글 뷰 데이터 수신기의 일 실시예의 구성을 도시한 블럭도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명에 따른 멀티 앵글 뷰 처리장치가 적용된 방송 시스템 개요도이다. 도 1 에 도시한 바와 같이, 본 발명에 따른 멀티 앵글 뷰 처리장치는 셋톱박스(10) 또는 이와 유사한 기능을 수행하는 스마트 디바이스(도면 도시 생략) 등에 구현될 수 있다.
상기 멀티 앵글 뷰 처리장치(100)는 방송망을 통해서는 방송 서버(20)에서 제공하는 메인 뷰 데이터를, 인터넷망을 통해서는 멀티 앵글 뷰 서비스를 제공하는 웹(WEB) 서버(30)로부터 적어도 하나의 멀티 뷰 데이터를 수신하고, 이를 복호화(Decoding) 및 랜더링(Redering) 처리하여 메인 뷰 데이터와 멀티 뷰 데이터를 메인 영상과 서브 영상으로 구분하여 각각 상이한 장치로 제공하여 끊김 없이 재생할 수 있도록 한다. 도 1 에서 도면 부호 40은 스마트 TV 등과 같은 메인 뷰 디스플레이 장치, 50은 스마트 폰 등과 같은 멀티 앵글 뷰 디스플레이 장치이다.
도 2 는 본 발명에 따른 멀티 앵글 뷰 처리장치의 일 실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 이 실시예에 따른 멀티 앵글 뷰 처리장치(100)는 메인 뷰 데이터 수신기(110)와, 멀티 앵글 뷰 데이터 수신기(120)와, 멀티 디코더(Multi-decoder)(130)와, 멀티 랜더러(Multi-renderer)(140)를 포함하여 이루어진다.
상기 메인 뷰 데이터 수신기(110)는 방송망을 통해 방송 컨텐츠의 메인 뷰(Main View) 데이터를 수신한다. 이 때, 상기 메인 뷰 데이터 수신기(110)가 멀티 앵글 뷰 서비스 및 동기화 관련 정보를 기록한 서비스 메타 데이터(Metadata)를 수신하도록 구현될 수 있다.
이 때, 상기 서비스 메타 데이터는 디지털 방송 규격의 메인 뷰 데이터 프레임의 PES(Packetized Elementary Stream) 패킷에 포함되어 메인 뷰 데이터 수신기(110)로 수신될 수 있다.
예컨대, 상기 서비스 메타 데이터가 적어도 하나의 멀티 앵글 뷰 데이터의 MPD(Metadata Point Descriptor) 파일 저장 위치를 지시하는 MPD URL 정보와, 메인 뷰 데이터와 멀티 앵글 뷰 데이터를 동기화하기 위한 동기화 정보와, 멀티 앵글 뷰 넘버(Number)와 각 멀티 앵글 뷰 네임(Name)을 지시하는 멀티 앵글 뷰 정보를 포함할 수 있다.
상기 MPD(Metadata Point Descriptor) 파일은 멀티 앵글 뷰 데이터 저장 위치를 포함하는 멀티 앵글 뷰 데이터와 관련한 정보를 기록한 파일이다. 예컨대, 상기 멀티 앵글 뷰 데이터 저장 위치가 멀티 앵글 뷰 서비스를 제공하는 웹(WEB) 서버의 특정 URL일 수 있다.
한편, 상기 동기화 정보는 PCR(Program Clock Reference) 기반 시간 예측 동기화 정보 또는 프레임 넘버(Frame Number) 기반 동기화 정보일 수 있다. PCR 기반 시간 예측 동기화는 시스템 클럭을 이용해 시간 기반으로 동기화하는 기법이고, 프레임 넘버 기반 동기화는 수신 데이터 프레임 순서를 이용해 데이터 기반으로 동기화하는 기법이다.
한편, 상기 멀티 앵글 뷰 넘버(Number)와 각 멀티 앵글 뷰 네임(Name)은 멀티 앵글 뷰를 식별하기 위해 각 멀티 앵글 뷰마다 고유하게 부여되는 정보로, 서로 매칭되는 정보이다
이 때, 상기 메인 뷰 데이터 수신기(110)가 서비스 메타 데이터로부터 MPD URL 정보를 추출하고, 추출된 MPD URL 정보를 멀티 앵글 뷰 데이터 수신기(120)로 제공하도록 구현될 수 있다.
상기 멀티 앵글 뷰 데이터 수신기(120)는 인터넷망을 통해 해당 방송 컨텐츠의 적어도 하나의 멀티 앵글 뷰(Multi Angle View) 데이터를 수신한다. 예컨대, 멀티 앵글 뷰 데이터 수신기(120)가 도 3 에 도시한 바와 같이 구현될 수 있다.
도 3 은 본 발명에 따른 멀티 앵글 뷰 처리장치의 멀티 앵글 뷰 데이터 수신기의 일 실시예의 구성을 도시한 블럭도이다. 도 3 을 참조해 보면, 멀티 앵글 뷰 데이터 수신기(120)가 MPD 제어기(121)와, DASH(Dynamic Adaptive Streaming over HTTP) 클라이언트 모듈(122)을 포함한다.
상기 MPD 제어기(121)는 상기 메인 뷰 데이터 수신기(110)로부터 제공되는 MPD URL 정보를 수신하고, 수신된 MPD URL 정보에 포함된 적어도 하나의 MPD URL로 MPD 파일을 요청하여 수신하고, 수신된 적어도 하나의 MPD 파일을 해석하여 적어도 하나의 멀티 앵글 뷰 데이터 저장 위치를 획득한다.
상기 DASH 클라이언트 모듈(122)은 적어도 하나의 세그먼트(Segment) 수신기(122a)를 포함하며, 각 세그먼트 수신기(122a)는 상기 MPD 제어기(121)에 의해 획득된 적어도 하나의 멀티 앵글 뷰 데이터 저장 위치로부터 멀티 앵글 뷰 데이터를 각각 수신한다. 상기 멀티 앵글 뷰 데이터는 멀티 앵글 뷰 넘버(Number)와 각 멀티 앵글 뷰 네임(Name)에 의해 식별된다.
이 때, 상기 DASH 클라이언트 모듈(122)이 스마트 폰 등의 멀티 앵글 뷰를 재생하는 사용자 디바이스에 의해 선택된 멀티 앵글 뷰에 대해서는 어느 하나의 세그먼트 수신기를 이용해 최적 해상도의 멀티 앵글 뷰 데이터를 수신하고, 그 외의 멀티 앵글 뷰에 대해서는 다른 세그먼트 수신기들을 이용해 최소 해상도의 멀티 앵글 뷰 데이터를 수신하도록 구현하여 채널 적응적으로 멀티 앵글 뷰 데이터를 수신할 수 있도록 함으로써 멀티 앵글 뷰 데이터 수신을 위한 자원 할당을 최소화할 수 있어 끊김 없는 서비스가 가능해진다.
상기 각 세그먼트 수신기(122a)는 디지털 방송 규격의 멀티 앵글 뷰 데이터 프레임의 TS 패킷을 디먹싱(De-muxing)하여 멀티 디코더(130)로 ES 패킷들을 전달하도록 구현될 수 있다.
상기 멀티 디코더(130)는 상기 메인 뷰 데이터 수신기(110)와 멀티 앵글 뷰 데이터 수신기(120) 각각을 통해 수신된 메인 뷰 데이터 및 적어도 하나의 멀티 앵글 뷰 데이터를 복호화한다.
메인 뷰를 제공하는 방송 서버와 멀티 앵글 뷰 서비스를 제공하는 웹(WEB) 서버는 각각 메인 뷰 데이터와 적어도 하나의 멀티 앵글 뷰 데이터를 부호화하여 각각 방송망 및 인터넷망을 통해 멀티 앵글 뷰 처리장치(100)로 제공한다. 그러면, 멀티 앵글 뷰 처리장치(100)는 수신된 부호화된 메인 뷰 데이터와 적어도 하나의 멀티 앵글 뷰 데이터를 상기 멀티 디코더(130)를 통해 복호화한다.
상기 멀티 랜더러(140)는 상기 멀티 디코더(130)에 의해 복호화된 메인 뷰 데이터와 적어도 하나의 멀티 앵글 뷰 데이터를 랜더링하여 메인 영상과 서브 영상으로 구분하여 재생 처리한다. 상기 멀티 랜더러(140)에 의해 랜더링(Rendering)된 메인 영상과 서브 영상은 각각 메인 영상을 재생하는 스마트 TV 등과 같은 메인 뷰 디스플레이 장치 및 서브 영상을 재생하는 스마트 폰 등과 같은 멀티 앵글 뷰 디스플레이 장치로 제공되어 재생된다.
이 때, 상기 멀티 랜더러(140)가 PCR(Program Clock Reference) 기반 시간 예측 동기화를 통해 상기 멀티 디코더(130)의 시스템 클럭을 이용해 참조 클럭(Reference Clock)인 멀티 앵글 뷰 데이터의 PCR과 같은 시점에 멀티 앵글 뷰 데이터를 재생하도록 처리할 수 있다.
이와는 달리, 상기 멀티 랜더러(140)가 프레임 넘버(Frame Number) 기반 동기화를 통해 메인 뷰 프레임 넘버와 동일한 넘버를 가진 멀티 앵글 뷰 프레임 넘버를 가진 멀티 앵글 뷰 데이터를 재생하도록 처리할 수도 있다.
이와 같이 구현함에 의해 본 발명은 동일한 하나의 장치를 통해 메인 뷰 데이터와 적어도 하나의 멀티 뷰 데이터를 수신하여 처리하고, 메인 뷰 데이터와 멀티 뷰 데이터를 메인 영상과 서브 영상으로 구분하여 각각 상이한 장치로 제공함으로써 사용자가 선택한 멀티 앵글 뷰 화면을 최적의 해상도로 끊김 없이 시청할 수 있도록 할 수 있으므로, 상기에서 제시한 본 발명의 목적을 달성할 수 있다.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
본 발명은 디지털 방송 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.
100 : 멀티 앵글 뷰 처리장치
110 : 메인 뷰 데이터 수신기
120 : 멀티 앵글 뷰 데이터 수신기
121 : MPD 제어기
122 : DASH 클라이언트 모듈
122a : 세그먼트 수신기
130 : 멀티 디코더
140 : 멀티 랜더러

Claims (13)

  1. 방송망을 통해 방송 컨텐츠의 메인 뷰(Main View) 데이터를 수신하는 메인 뷰 데이터 수신기와;
    인터넷망을 통해 해당 방송 컨텐츠의 적어도 하나의 멀티 앵글 뷰(Multi Angle View) 데이터를 수신하는 멀티 앵글 뷰 데이터 수신기와;
    상기 메인 뷰 데이터 수신기와 멀티 앵글 뷰 데이터 수신기 각각을 통해 수신된 메인 뷰 데이터 및 적어도 하나의 멀티 앵글 뷰 데이터를 복호화하는 멀티 디코더(Multi-decoder)와;
    상기 멀티 디코더에 의해 복호화된 메인 뷰 데이터와 적어도 하나의 멀티 앵글 뷰 데이터를 랜더링하여 메인 영상과 서브 영상으로 구분하여 재생 처리하는 멀티 랜더러(Multi-renderer)를;
    포함하여 이루어지는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  2. 제 1 항에 있어서,
    상기 메인 뷰 데이터 수신기가:
    멀티 앵글 뷰 서비스 및 동기화 관련 정보를 기록한 서비스 메타 데이터(Metadata)를 수신하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  3. 제 2 항에 있어서,
    상기 서비스 메타 데이터가:
    적어도 하나의 멀티 앵글 뷰 데이터의 MPD(Metadata Point Descriptor) 파일 저장 위치를 지시하는 MPD URL 정보와;
    메인 뷰 데이터와 멀티 앵글 뷰 데이터를 동기화하기 위한 동기화 정보와;
    멀티 앵글 뷰 넘버(Number)와 각 멀티 앵글 뷰 네임(Name)을 지시하는 멀티 앵글 뷰 정보를;
    포함하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  4. 제 3 항에 있어서,
    상기 동기화 정보가:
    PCR(Program Clock Reference) 기반 시간 예측 동기화 정보인 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  5. 제 3 항에 있어서,
    상기 동기화 정보가:
    프레임 넘버(Frame Number) 기반 동기화 정보인 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  6. 제 2 항에 있어서,
    상기 서비스 메타 데이터가:
    디지털 방송 규격의 메인 뷰 데이터 프레임의 PES(Packetized Elementary Stream) 패킷에 포함되는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  7. 제 3 항에 있어서,
    상기 메인 뷰 데이터 수신기가:
    서비스 메타 데이터로부터 MPD URL 정보를 추출하고, 추출된 MPD URL 정보를 상기 멀티 앵글 뷰 데이터 수신기로 제공하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  8. 제 7 항에 있어서,
    상기 멀티 앵글 뷰 데이터 수신기가:
    상기 메인 뷰 데이터 수신기로부터 제공되는 MPD URL 정보를 수신하고, 수신된 MPD URL 정보에 포함된 적어도 하나의 MPD URL로 MPD 파일을 요청하여 수신하고, 수신된 적어도 하나의 MPD 파일을 해석하여 적어도 하나의 멀티 앵글 뷰 데이터 저장 위치를 획득하는 MPD 제어기와;
    상기 MPD 제어기에 의해 획득된 적어도 하나의 멀티 앵글 뷰 데이터 저장 위치로부터 멀티 앵글 뷰 데이터를 각각 수신하는 적어도 하나의 세그먼트(Segment) 수신기를 포함하는 DASH(Dynamic Adaptive Streaming over HTTP) 클라이언트 모듈을;
    포함하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  9. 제 8 항에 있어서,
    상기 DASH 클라이언트 모듈이:
    사용자 디바이스에 의해 선택된 멀티 앵글 뷰에 대해서는 어느 하나의 세그먼트 수신기를 이용해 최적 해상도의 멀티 앵글 뷰 데이터를 수신하고, 그 외의 멀티 앵글 뷰에 대해서는 다른 세그먼트 수신기들을 이용해 최소 해상도의 멀티 앵글 뷰 데이터를 수신하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  10. 제 8 항에 있어서,
    상기 멀티 앵글 뷰 데이터 저장 위치가:
    멀티 앵글 뷰 서비스를 제공하는 웹(WEB) 서버의 특정 URL인 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  11. 제 8 항에 있어서,
    상기 각 세그먼트 수신기가:
    디지털 방송 규격의 멀티 앵글 뷰 데이터 프레임의 TS 패킷을 디먹싱(De-muxing)하여 상기 멀티 디코더로 ES 패킷들을 전달하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  12. 제 4 항에 있어서,
    상기 멀티 랜더러가:
    상기 멀티 디코더의 시스템 클럭을 이용해 참조 클럭(Reference Clock)인 멀티 앵글 뷰 데이터의 PCR과 같은 시점에 멀티 앵글 뷰 데이터를 재생하도록 처리하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
  13. 제 5 항에 있어서,
    상기 멀티 랜더러가:
    메인 뷰 프레임 넘버와 동일한 넘버를 가진 멀티 앵글 뷰 프레임 넘버를 가진 멀티 앵글 뷰 데이터를 재생하도록 처리하는 것을 특징으로 하는 멀티 앵글 뷰 처리장치.
KR1020130158617A 2013-12-18 2013-12-18 멀티 앵글 뷰 처리장치 KR101700626B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130158617A KR101700626B1 (ko) 2013-12-18 2013-12-18 멀티 앵글 뷰 처리장치
US14/253,175 US20150172734A1 (en) 2013-12-18 2014-04-15 Multi-angle view processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130158617A KR101700626B1 (ko) 2013-12-18 2013-12-18 멀티 앵글 뷰 처리장치

Publications (2)

Publication Number Publication Date
KR20150071505A true KR20150071505A (ko) 2015-06-26
KR101700626B1 KR101700626B1 (ko) 2017-01-31

Family

ID=53370086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130158617A KR101700626B1 (ko) 2013-12-18 2013-12-18 멀티 앵글 뷰 처리장치

Country Status (2)

Country Link
US (1) US20150172734A1 (ko)
KR (1) KR101700626B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221194A1 (ko) * 2020-04-28 2021-11-04 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014212456A (ja) * 2013-04-18 2014-11-13 ソニー株式会社 送信装置、メタファイル送信方法、受信装置および受信処理方法
CN105939492A (zh) * 2016-06-15 2016-09-14 乐视控股（北京）有限公司 一种基于多路节目流的视频播放方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090028017A (ko) * 2007-09-13 2009-03-18 에스케이 텔레콤주식회사 멀티 앵글 모바일 방송 서비스를 제공하는 서버, 시스템 및방법
KR20110037824A (ko) * 2009-10-05 2011-04-13 한국전자통신연구원 멀티 앵글 방송 서비스 제공 시스템
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
KR20120133550A (ko) 2011-05-31 2012-12-11 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US8250617B2 (en) * 1999-10-29 2012-08-21 Opentv, Inc. System and method for providing multi-perspective instant replay
US7782363B2 (en) * 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US20050025465A1 (en) * 2003-08-01 2005-02-03 Danieli Damon V. Enhanced functionality for audio/video content playback
US20060047674A1 (en) * 2004-09-01 2006-03-02 Mohammed Zubair Visharam Method and apparatus for supporting storage of multiple camera views
US20060067580A1 (en) * 2004-09-01 2006-03-30 Lee C C Consumer electronic device supporting navigation of multimedia content across multiple camera views of a scene
US20060218610A1 (en) * 2005-03-28 2006-09-28 Gail Jansen System and method of communicating media signals in a network
US20100208082A1 (en) * 2008-12-18 2010-08-19 Band Crashers, Llc Media systems and methods for providing synchronized multiple streaming camera signals of an event
WO2010088515A1 (en) * 2009-01-30 2010-08-05 Priya Narasimhan Systems and methods for providing interactive video services
US8340654B2 (en) * 2009-05-26 2012-12-25 Lextech Labs Llc Apparatus and method for video display and control for portable device
EP2408196B1 (en) * 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US20140003502A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and Methods for Decoding Video Encoded Using Predictions that Reference Higher Rate Video Sequences
US9532095B2 (en) * 2012-11-29 2016-12-27 Fanvision Entertainment Llc Mobile device with smart gestures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090028017A (ko) * 2007-09-13 2009-03-18 에스케이 텔레콤주식회사 멀티 앵글 모바일 방송 서비스를 제공하는 서버, 시스템 및방법
KR20110037824A (ko) * 2009-10-05 2011-04-13 한국전자통신연구원 멀티 앵글 방송 서비스 제공 시스템
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
KR20120133550A (ko) 2011-05-31 2012-12-11 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221194A1 (ko) * 2020-04-28 2021-11-04 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Also Published As

Publication number Publication date
US20150172734A1 (en) 2015-06-18
KR101700626B1 (ko) 2017-01-31

Similar Documents

Publication Publication Date Title
JP6462566B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5977760B2 (ja) 複数のリアルタイム伝送ストリームを受信する受信装置と、その送信装置およびマルチメディアコンテンツ再生方法
CA2965667C (en) Methods of implementing multi mode trickplay
US11375258B2 (en) Transitioning between broadcast and unicast streams
US20140223502A1 (en) Method of Operating an IP Client
US20140090007A1 (en) Broadcast receiving apparatus, playback apparatus, broadcast communication system, broadcast receiving method, playback method and program
WO2016145913A1 (zh) 自适应流媒体处理方法及装置
KR102575539B1 (ko) 은닉된 교체가능한 미디어 슬롯들
US20150181258A1 (en) Apparatus and method for providing multi-angle viewing service
KR20090107000A (ko) 방송 신호 수신 방법 및 방송 신호 수신 장치
KR20080108819A (ko) 채널 전환 방법, 상기 방법을 수행하기 위한 장치 및 방법
US10390059B2 (en) Latent binding of content based on user preference
US20130271568A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
KR101700626B1 (ko) 멀티 앵글 뷰 처리장치
CN105812961B (zh) 自适应流媒体处理方法及装置
KR101666246B1 (ko) 메타데이터 우선제공 증강방송 장치 및 방법
JP6397923B2 (ja) 制御情報生成装置、送信装置、受信装置、テレビジョン受像機、映像信号伝送システム、制御プログラム、および記録媒体
US20150067749A1 (en) Method and apparatus for providing extended tv data
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
EP3360332A1 (en) Client and method for playing a sequence of video streams, and corresponding server and computer program product
EP3172901A1 (en) Methods of implementing multi mode trickplay
JP7462199B1 (ja) 番組受信表示装置及び番組受信表示制御方法
JP6446347B2 (ja) サムネイル提供装置、表示装置、サムネイル映像表示システム、サムネイル映像表示方法、及びプログラム
WO2023136241A1 (ja) 番組受信表示装置及び番組受信表示制御方法
KR20170026329A (ko) 시청각 콘텐츠 스트림을 ｍｐｅｇ２ 사설 섹션내에 캡슐화하는 방법, ｍｐｅｇ２ 전송 스트림 내에 멀티플렉스되어질 ｍｐｅｇ２ 사설 섹션내에 시청각 콘텐츠를 캡슐화하는 장치, 디지털 ｔｖ용의 양방향 어플리케이션, 사용자 장치, 시청각 콘텐츠 또는 데이터의 전송을 위한 방법 및 데이터 네트워크를 위한 통신 프로토콜

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 4