KR20140044258A - 기록 매체 재생 장치 및 그 재생 방법 - Google Patents

기록 매체 재생 장치 및 그 재생 방법 Download PDF

Info

Publication number
KR20140044258A
KR20140044258A KR1020130022954A KR20130022954A KR20140044258A KR 20140044258 A KR20140044258 A KR 20140044258A KR 1020130022954 A KR1020130022954 A KR 1020130022954A KR 20130022954 A KR20130022954 A KR 20130022954A KR 20140044258 A KR20140044258 A KR 20140044258A
Authority
KR
South Korea
Prior art keywords
data
image
information
recording medium
network bandwidth
Prior art date
Application number
KR1020130022954A
Other languages
English (en)
Inventor
박홍석
김민석
박봉길
양종호
이재준
장용석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2013/008916 priority Critical patent/WO2014054925A1/en
Priority to US14/046,383 priority patent/US20140099065A1/en
Priority to EP13187426.5A priority patent/EP2717562A3/en
Priority to CN201310464858.9A priority patent/CN103713855A/zh
Publication of KR20140044258A publication Critical patent/KR20140044258A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/10611—3D video data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

기록 매체 재생 장치가 개시된다. 본 장치는, 제1 데이터가 기록된 기록 매체를 로딩하기 위한 드라이버부, 서버 장치와 네트워크 적응적 통신(network adaptive communication)을 수행하여 제2 데이터를 수신하는 통신부. 데이터 바인딩(data binding)을 위한 메니페스트(manifest) 파일을 이용하여, 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트하는 제어부, 가상 데이터 패키지에 기초하여, 제1 데이터 및 상기 제2 데이터를 연결시켜 재생하는 데이터 처리부, 외부 장치로 재생된 데이터를 출력하는 인터페이스부를 포함한다. 이에 따라, 다양한 컨텐츠 재생 서비스를 제공할 수 있다.

Description

기록 매체 재생 장치 및 그 재생 방법 { APPARATUS FOR REPRODUCING A RECORDING MEDIA AND METHOD THEREOF }
본 발명은 기록 매체 재생 장치 및 그 재생 방법에 대한 것으로 보다 상세하게는 기록 매체에 기록된 데이터와 서버 장치로부터 제공되는 데이터를 이용하여 컨텐츠를 재생하는 기록 매체 재생 장치 및 그 재생 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치들이 개발 및 보급되고 있다. 특히, 최근에는 디스플레이 기능을 갖춘 디스플레이 장치의 사용이 크게 늘어나면서, 디스플레이 장치에서 제공하여 줄 수 있는 컨텐츠에 대한 관심도 높아지고 있다.
가령, 종래에는 단순한 2D 컨텐츠를 재생하는 서비스 정도에 만족하였으나, 최근의 사용자들은 3D 컨텐츠나 고해상도 컨텐츠 등을 자신의 디스플레이 장치를 통해 보고자 하는 경우가 늘어나고 있다. 이러한 컨텐츠들은 CD, DVD, 블루레이 디스크와 같은 기록 매체에 기록된 상태로 사용자에게 제공될 수 있다. 하지만, 이러한 기록 매체에서 데이터를 기록할 수 있는 데이터 용량은 제한적이다. 따라서, 큰 사이즈를 가지는 컨텐츠는 하나의 기록 매체를 이용하여 재생하기 어렵다는 문제점이 있었다.
또한, 기록 매체는 그 특성상 한번 판매되고 나면 수정이 어렵다. 즉, 영화 컨텐츠가 기록된 기록 매체가 출시된 경우, 출시 이후에 자막이나 일부 장면, 메뉴 등을 수정하고자 하더라도 기존에 출시된 기록 매체에 대해서는 수정할 수 있는 방법이 없다. 따라서, 기록 매체의 출시 일정에 맞추어 자막이나 메뉴 등과 같은 정보들의 제작을 서둘러야 하는 바, 컨텐츠의 완성도에 문제가 생길 수 있다는 어려움이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 기록 매체에 기록된 데이터와 서버 장치로부터 제공되는 데이터를 이용하여 서비스를 제공하는기록 매체 재생 장치 및 그 재생 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 기록 매체 재생 장치는, 제1 데이터가 기록된 기록 매체를 로딩하기 위한 드라이버부, 서버 장치와 네트워크 적응적 통신(network adaptive communication)을 수행하여 제2 데이터를 수신하는 통신부, 상기 제2 데이터가 저장되는 데이터 저장부, 데이터 바인딩(data binding)을 위한 메니페스트(manifest) 파일을 저장하는 메모리, 상기 메니페스트(manifest) 파일을 이용하여, 상기 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트하는 제어부, 상기 가상 데이터 패키지에 기초하여, 상기 제1 데이터 및 상기 제2 데이터를 연결시켜 재생하는 데이터 처리부, 외부 장치로 상기 재생된 데이터를 출력하는 인터페이스부;를 포함한다.
여기서, 상기 제어부는, 초기 네트워크 대역폭을 체크하고, 상기 메니페스트 파일 내에 다중 구성된 애셋(assets) 목록 중에서 상기 초기 네트워크 대역 폭에 대응되는 애셋 항목을 선택하며, 선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로 상기 제2 데이터를 다운로딩하도록 상기 통신부를 제어할 수 있다.
또는, 상기 제어부는, 네트워크 대역폭을 실시간 체크하여, 상기 메니페스트 파일 내에 다중 구성된 정보 중에서 상기 체크된 네트워크 대역폭에 대응되는 정보에 따라 상기 제2 데이터를 다운로딩하며, 다운로딩된 상기 제2 데이터를 상기 가상 데이터 패키지에 따라 상기 제1 데이터와 연결하여 재생하도록 상기 데이터 처리부를 제어할 수 있다.
또는, 상기 제어부는, 네트워크 대역폭을 실시간 체크하여, 상기 네트워크 대역폭에 따라 상기 가상 데이터 패키지를 업데이트할 수 있다.
여기서, 상기 제어부는, 상기 메니페스트 파일 내에 다중 구성된 애셋 목록 중에서, 상기 체크된 네트워크 대역폭에 대응되는 애셋 항목을 선택하고, 선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로, 상기 가상 데이터 패키지를 실시간 업데이트할 수 있다.
이러한 실시 예들에서, 상기 제1 데이터는 좌안 영상 및 우안 영상을 포함하며, 상기 제2 데이터는 뎁스 맵 또는 디스패리티 맵을 포함할 수 있다.
여기서, 상기 데이터 처리부는, 상기 뎁스 맵 또는 상기 디스패리티 맵과, 상기 좌안 영상 및 상기 우안 영상을 이용하여 다시점 영상을 생성하고, 상기 인터페이스부는, 상기 생성된 다시점 영상을 상기 외부 장치로 전송할 수 있다.
또는, 상기 제1 데이터는 메인 이미지 데이터를 포함하고, 상기 제2 데이터는 서브 이미지 데이터를 포함할 수 있다. 상기 데이터 처리부는, 상기 메인 이미지 데이터 및 상기 서브 이미지 데이터를 이용하여, 메인 이미지 내에 적어도 하나의 서브 이미지를 표현할 수 있다.
또는, 상기 제1 데이터는 이미지 데이터를 포함하고, 상기 제2 데이터는 객체 위치를 정의하기 위한 객체 식별 정보 및 객체 위치에 연동되는 객체 부가 정보를 포함할 수 있다. 여기서, 상기 데이터 처리부는 상기 이미지 데이터, 상기 객체 식별 정보 및 상기 객체 부가 정보를 이용하여, 이미지 내에 사용자 인터렉션 객체를 표현할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 기록 매체 재생 방법은, 제1 데이터가 기록된 기록 매체로부터 제1 데이터를 검출하는 단계, 서버 장치와 네트워크 적응적 통신(network adaptive communication)을 수행하여 제2 데이터를 수신하는 통신 단계, 데이터 바인딩(data binding)을 위한 메니페스트(manifest) 파일을 이용하여, 상기 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트하는 업데이트 단계, 상기 가상 데이터 패키지에 기초하여 상기 제1 데이터 및 상기 제2 데이터를 연결시켜 재생하는 재생 단계 및 외부 장치로 상기 재생된 데이터를 출력하는 단계를 포함한다.
상기 업데이트 단계는, 초기 네트워크 대역폭을 체크하는 단계, 상기 메니페스트 파일 내에 다중 구성된 애셋(assets) 목록 중에서 상기 초기 네트워크 대역 폭에 대응되는 애셋 항목을 선택하는 단계, 선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로 상기 데이터 패키지를 상기 가상 데이터 패키지로 업데이트하는 단계를 포함할 수 있다.
그리고, 상기 통신 단계는, 네트워크 대역폭을 실시간 체크하는 단계; 상기 메니페스트 파일 내에 다중 구성된 정보 중에서 상기 체크된 네트워크 대역폭에 대응되는 정보에 따라 상기 제2 데이터를 다운로딩하는 단계를 포함할 수 있으며, 여기서, 상기 재생 단계는, 다운로딩된 상기 제2 데이터를 상기 가상 데이터 패키지에 따라 상기 제1 데이터와 연결하여 재생할 수 있다.
또는, 컨텐츠 재생 방법은, 네트워크 대역폭을 실시간 체크하여, 상기 네트워크 대역폭에 따라 상기 가상 데이터 패키지를 업데이트하는 단계를 더 포함할 수도 있다.
또는, 네트워크 대역폭을 실시간 체크하는 단계, 상기 메니페스트 파일 내에 다중 구성된 애셋 목록 중에서, 상기 체크된 네트워크 대역폭에 대응되는 애셋 항목을 선택하는 단계, 선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로 상기 가상 데이터 패키지를 실시간 업데이트하는 단계를 더 포함할 수도 있다.
한편, 상기 제1 데이터는 좌안 영상 및 우안 영상을 포함하며, 상기 제2 데이터는 뎁스 맵 또는 디스패리티 맵을 포함할 수 있다. 이 경우, 상기 재생 단계는, 상기 뎁스 맵 또는 상기 디스패리티 맵과, 상기 좌안 영상 및 상기 우안 영상을 이용하여 다시점 영상을 생성하는 단계를 더 포함할 수 있다.
또는, 상기 제1 데이터는 메인 이미지 데이터를 포함하고, 상기 제2 데이터는 서브 이미지 데이터를 포함하며, 상기 재생 단계는, 상기 메인 이미지 데이터 및 상기 서브 이미지 데이터를 이용하여 메인 이미지 내에 적어도 하나의 서브 이미지를 추가하는 단계를 더 포함할 수도 있다.
또는, 상기 제1 데이터는 이미지 데이터를 포함하고, 상기 제2 데이터는 사용자 인터렉션 객체를 구성하기 위한 객체 식별 정보 및 객체 부가 정보를 포함하며, 상기 재생 단계는, 상기 이미지 데이터, 상기 객체 식별 정보 및 상기 객체 부가 정보를 이용하여 이미지 내에 상기 사용자 인터렉션 객체를 표시하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 기록 매체 재생 장치에서는 기록 매체로부터 데이터를 검출하고, 서버 장치로부터 적절하게 데이터를 수신하며, 각 데이터를 이용하여 다양한 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 기록 매체 재생 장치의 동작을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 기록 매체 재생 장치의 컨텐츠 재생 방법을 설명하기 위한 흐름도,
도 3은 네트워크 적응적 통신을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 기록 매체 재생 장치의 구성을 나타내는 블럭도,
도 5는 가상 데이터 패키지의 생성 방법을 설명하기 위한 도면,
도 6은 네트워크 적응적 통신을 수행하는 제1 예를 설명하기 위한 도면,
도 7은 제1 예에 따른 메니페스트 파일의 구성을 나타내는 도면,
도 8은 제1 예에 따른 통신 방법을 설명하기 위한 흐름도,
도 9는 네트워크 적응적 통신을 수행하는 제2 예를 설명하기 위한 도면,
도 10은 제2 예에 따른 메니페스트 파일의 구성을 나타내는 도면,
도 11은 제2 예에 따른 통신 방법을 설명하기 위한 흐름도,
도 12는 비트레이트에 따라 구분 가능한 클립 정보 내의 목록을 다중 구성한 파일 예를 나타내는 도면,
도 13은 AV 스트림에 명시적으로 비트레이트를 표시하는 방법을 설명하기 위한 도면,
도 14는 실시간 네트워크 상황에 따른 실시간 다운로드 항목의 예를 나타내는 도면,
도 15는 네트워크 적응적 통신을 수행하는 제3 예를 설명하기 위한 도면,
도 16은 뎁스 맵을 이용하여 스테레오 영상을 생성하는 방법을 설명하기 위한 도면,
도 17은 뎁스 맵을 이용하여 다시점 영상을 생성하는 방법을 설명하기 위한 도면,
도 18은 서브 패스를 이용하여 뎁스 맵 스트림을 구성한 경우를 나타내는 도면,
도 19는 다시점 영상을 구성하여 디스플레이 장치로 전송하는 시스템을 나타내는 도면,
도 20은 복수의 영상을 조합하여 구성한 다시점 프레임의 예를 나타내는 도면,
도 21은 디스플레이 장치에서 다시점 영상을 생성하는 시스템을 나타내는 도면,
도 22는 다시점 영상을 생성하는 방법을 설명하기 위한 도면,
도 23 내지 도 26은 본 발명의 또 다른 실시 예에 따른 기록 매체 재생 장치에서 PIP 화면을 제공하는 다양한 예를 나타내는 도면,
도 27 및 도 28은 알파 플레인의 다양한 예를 나타내는 도면,
도 29 및 도 30은 알파 플레인을 제공하기 위한 데이터 베이스의 구성을 나타내는 도면,
도 31 내지 도 34는 알파 플레인의 다양한 활용 방법을 설명하기 위한 도면,
도 35 내지 도 37은 데이터 처리부의 다양한 구성 예를 설명하기 위한 도면,
도 38은 본 발명의 또 다른 실시 예에 따른 기록 매체 재생 장치에서 사용자 인터렉션 객체를 제공하는 방법을 설명하기 위한 도면,
도 39는 복수의 객체 영역을 포함하는 뎁스 맵의 예를 나타내는 도면,
도 40 및 도 41은 뎁스 맵과 연동되는 객체 식별 정보 및 객체 부가 정보를 포함하는 메타데이터 구성의 다양한 예를 나타내는 도면,
도 42는 워터마크 형태의 객체 정보를 포함하는 뎁스 맵의 구성을 나타내는 도면,
도 43 내지 도 45는 객체 식별 정보 및 객체 부가 정보를 제공하기 위한 스트림 구성의 다양한 예를 나타내는 도면,
도 46은 비디오 프레임과 객체를 동기화시켜 표시하는 방법을 설명하기 위한 도면,
도 47 및 도 48은 모바일 디바이스를 이용하여 사용자 인터렉션 서비스를 제공하는 시스템의 다양한 구성 예를 나타내는 도면이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 기록 매체 재생 장치의 동작을 설명하기 위한 도면이다. 기록 매체 재생 장치(100)란 기록 매체에 기록된 데이터를 검출하여 재생하는 장치를 의미한다.
기록 매체(10)는 블루레이(Blue-ray) 디스크, 홀로그래픽 디스크, DVD, CD, USB 메모리 스틱, 외장 하드 등과 같은 다양한 유형의 매체가 될 수 있다. 기록 매체 재생 장치(100)는 도 1에 도시된 바와 같이 하나의 독립적인 장치로 구현될 수도 있으나, 반드시 이에 한정되는 것은 아니다. 가령, TV 등과 같은 디스플레이 장치에 탑재되는 형태로 구현될 수도 있다. 이하의 실시 예들에서는 설명의 편의상, 블루레이 디스크를 재생시켜 그 재생되는 데이터를 디스플레이 장치로 제공하는 장치를 예로 들어 설명한다.
도 1에 따르면, 기록 매체 재생 장치(100)는 기록 매체(10)가 장착되면, 그 기록 매체(10)를 로딩(loading)하여 데이터를 검출한다. 또한, 서버 장치(200)에 액세스하여 기록 매체(10)에 대응되는 데이터를 수신한다. 기록 매체(10)로부터 검출되는 데이터는 디스크 패키지, 메인 컨텐츠 등과 같은 다양한 이름으로 명명할 수 있으나, 설명의 편의를 위해서 본 명세서에서는 제1 데이터로 명명한다. 또한, 서버 장치(200)로부터 수신되는 데이터는 바인딩 유닛, 바인딩 데이터, 서브 컨텐츠, 부가 컨텐츠 등과 같은 다양한 이름으로 명명할 수 있으나, 설명의 편의를 위해서 본 명세서에서는 제2 데이터로 명명한다. 제 1 및 제 2 라는 표현은 각 데이터의 소스가 상이하다는 것을 의미하는 것일 뿐, 각 데이터가 서로 다른 종류의 데이터임을 의미하는 것은 아니다.
기록 매체 재생 장치(100)는 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트한다. 가상 데이터 패키지란 제1 데이터와 제2 데이터를 조합하여 컨텐츠를 재생하기 위한 가상의 파일 시스템을 의미한다. 기록 매체 재생 장치(100)는 가상 데이터 패키지에 기반하여, 제1 및 제2 데이터를 연결시켜 재생할 수 있다. 결과적으로 제1 및 제2 데이터로 구성된 하나의 컨텐츠를 재생할 수 있게 된다.
제1 데이터 및 제2 데이터는 각각 다양한 내용으로 이루어질 수 있다. 구체적으로는, 제1 데이터는 2D 영상 데이터나 3D 영상 데이터, 제2 데이터는 뎁스 맵이나 디스패리티 맵을 포함할 수 있다. 또는, 제1 데이터는 메인 영상 데이터, 제2 데이터는 부가 영상 데이터 등을 포함할 수 있다. 또는, 제1 데이터는 영상 데이터, 제2 데이터는 영상 데이터에 부가하여 표현할 수 있는 메뉴나 기타 객체에 대한 데이터가 될 수 있다.
이 밖에도, 제1 및 제2 데이터는 다양한 종류로 구현될 수 있다. 기록 매체 재생 장치(100)는 이와 같이 다양한 종류의 컨텐츠를 하나의 패키지처럼 취급하여 재생할 수 있다. 특히, 제2 데이터는 네트워크를 통해 서버 장치로부터 제공받을 수 있게 되므로, 컨텐츠 사이즈에 구애받지 않고 재생 서비스를 제공할 수 있다. 이하에서는, 기록 매체 재생 장치(100)의 동작 및 구성과 관련한 다양한 실시 예에 대해 구체적으로 설명한다.
< 네트워크 적응적 통신을 이용하는 실시 예 >
도 2는 본 발명의 일 실시 예에 따른 기록 매체 재생 방법을 설명하기 위한 흐름도이다. 도 2에 따르면, 기록 매체 재생 장치는 기록 매체로부터 제1 데이터를 검출하는 한편(S210), 서버 장치로부터 제2 데이터를 수신한다(S220). 도 2에서는 제1 데이터 검출 단계가 먼저 이루어지는 것으로 도시되었으나, 각 단계의 순서는 상황에 따라 변경될 수도 있고 동시에 병렬적으로 이루어질 수도 있다.
기록 매체 재생 장치는 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트할 수 있다(S230). 기록 매체 재생 장치는, 데이터 바인딩을 위한 메니페스트 파일에 기초하여 가상 데이터 패키지 업데이트를 수행할 수 있다.
기록 매체 재생 장치는 업데이트된 가상 데이터 패키지에 따라 제1 및 제2 데이터를 연결시켜, 컨텐츠를 재생한다(S240). 기록 매체 재생 장치는 재생된 컨텐츠를 외부 장치로 출력한다(S250). 도 2의 각 단계에서 서버 장치와의 통신은 네트워크 상태에 적응적인 방식으로 이루어질 수 있다.
도 3은 네트워크 적응적 통신의 일 예를 설명하기 위한 도면이다. 기록 매체 재생 장치(100)는 서버 장치(200)와의 통신 상태에 따라 송수신하는 컨텐츠의 비트레이트를 조정할 수 있다. 도 3에서는 네트워크 대역폭에 따라 컨텐츠의 비트레이트를 적응적으로 조정하는 상태를 나타낸다. 즉, 네트워크 대역폭이 커지면 상대적으로 큰 비트 레이트로 컨텐츠를 다운로딩하고, 네트워크 대역폭이 작아지면 상대적으로 작은 비트 레이트로 컨텐츠를 다운로딩한다. 이에 따라, 네트워크를 통해 제공되는 컨텐츠의 안정성을 보장할 수 있다.
도 4는 도 2와 같은 방식으로 기록 매체를 재생하는 기록 매체 재생 장치의 구성의 일 예를 나타내는 블럭도이다. 상술한 바와 같이 기록 매체 재생 장치(100)는 컨텐츠 재생에 사용되는 일부 데이터를 네트워크를 통해 수신한다. 하지만, 네트워크 상태는 늘 안정적이지는 않기 때문에, 네트워크를 통해 제공되는 컨텐츠는 그 안정성을 보장하기 어려울 수 있다. 이에 따라, 본 실시 예에서는 네트워크 적응적 통신(network adaptive communication)을 수행하여 안정적으로 컨텐츠를 재생할 수 있는 기록 매체 재생 장치를 제공한다.
도 4에 따르면, 기록 매체 재생 장치(100)는 드라이버부(110), 통신부(120), 제어부(130), 데이터 처리부(140), 메모리(150), 인터페이스부(160), 데이터 저장부(170)를 포함한다.
드라이버부(110)는 기록 매체(10)가 장착되면, 그 기록 매체(10)를 구동시켜 데이터를 검출하기 위한 구성요소이다. 기록 매체 재생 장치(100)가 블루레이 디스크와 같은 광 디스크를 재생하는 장치로 구현된 경우, 드라이버부(110)는 광 디스크를 올리기 위한 트레이, 광 디스크를 회전시키는 모터, 메인보드와 연결되어 각종 데이터를 송신 또는 수신하는 커넥터, 전원공급장치로부터 전원을 공급받는 파워 커넥터, 레이저를 발사해 광 디스크에 신호를 기록하거나 반사되는 신호를 읽어들이는 광 픽업 유닛, 대물렌즈, 드라이버부(110)의 전반적인 기능을 제어하고 동작시키기 위한 DSP(Digital Signal Processor), 광픽업유닛의 레이저 발산 동작을 제어하고, 수신된 신호를 해석하기 위한 FEP(Front End Processor)등을 포함할 수 있다. 드라이버부(110)에서 검출된 제1 데이터는 데이터 처리부(140)로 제공되거나, 데이터 저장부(170)에 저장될 수 있다.
통신부(120)는 서버 장치(200)로부터 제2 데이터를 수신하기 위한 구성이다. 본 실시 예에 따르면, 통신부(120)는 서버 장치(200)와 네트워크 적응적 통신(network adaptive communication)을 수행하여 제2 데이터를 수신할 수 있다. 네트워크 적응적 통신이란 네트워크 상태를 반영하여 적응적으로 데이터를 다운로딩하는 통신 방식을 의미한다. 통신부(120)는 와이파이, IEEE, 블루투스, LAN 등을 이용하여 서버 장치(200)에 액세스할 수 있다. 서버 장치(200)는 컨텐츠 제작자나 컨텐츠 처리 장치 제작자, 디스플레이 장치 제작자, 방송국 등이 운영하는 서버 장치일 수 있다. 통신부(120)에서 수신된 제2 데이터는 데이터 저장부(170)에 저장될 수 있다.
제어부(130)는 드라이버부(110)에서 검출된 제1 데이터와 통신부(120)에 의해 수신되어 데이터 저장부(170)에 저장된 제2 데이터를 조합하여 가상 데이터 패키지를 생성한다. 가상 데이터 패키지 생성을 위해서, 제어부(130)는 메니페스트 파일(manifest file)을 이용할 수 있다.
메니페스트 파일은 데이터 바인딩(data binding)을 위한 정보를 제공하는 파일로, 다르게는 BUMF(Binding Unit Manifest File)이라고 명명될 수도 있다. 메니페스트 파일에는 파일 및 타이틀 관계 리스트(Files and titles relation list), 네임 매핑 정보(name mapping information), 프로그레시브 플레이리스트 정보(progressive playlist information), 크레덴셜 정보(credential information), 삭제 기술 정보(DeleteDescription information), 삭제리스트 정보(Delete List information) 등이 저장될 수 있다. 이 중 네임 매핑 정보는 가상 데이터 패키지 구성을 위한 제1 데이터 및 제2 데이터 간의 연결 정보를 기술한 정보를 의미한다. 프로그레시브 플레이리스트 정보는 가상 데이터 패키지의 생성 또는 업데이트 이후에 실시간으로 컨텐츠를 다운로드받아 재생하기 위한 AV 스트림의 리스트를 제공하기 위한 정보이다. 이러한 연결 정보나 AV 스트림의 리스트는 메니페스트 파일 내에서 애셋(assets) 항목으로 정리되어 기술될 수 있다.
이러한 메니페스트 파일은 메모리(150)에 기록되어 제어부(130)로 제공될 수 있다. 메니페스트 파일은 기록 매체로부터 재생되어 메모리(150)에 기록될 수도 있고, 서버 장치(200)나 기타 외부 소스로부터 수신되어 메모리(150)에 기록될 수도 있다. 메모리(150)에는 이 밖에 다양한 프로그램이나, 데이터가 기록될 수 있다. 메모리(150)는 ROM, RAM 등을 포함할 수 있다.
제어부(130)는 메니페스트 파일을 이용하여 네트워크 적응적 통신을 수행하도록 통신부(120)를 제어하고, 통신에 의해 제2 데이터가 수신되면 수신된 제2 데이터를 데이터 저장부(170)에 저장한다. 데이터 저장부(170)는 제2 데이터를 저장하기 위한 구성요소이다.
제어부(130)는 제1 데이터 및 제2 데이터를 조합하여 상술한 바와 같이 가상 데이터 패키지를 생성한다.
데이터 처리부(140)는 가상 데이터 패키지에 기초하여 컨텐츠를 재생한다. 구체적으로는, 데이터 처리부(140)는 드라이버부(110)에 의해 검출된 제1 데이터를 처리하여 비디오 프레임을 생성한다. 데이터 처리부(140)는 고해상도 컨텐츠로부터 비디오 데이터, 오디오 데이터, 부가 데이터 등을 검출하기 위한 디멀티플렉서, 비디오 데이터를 디코딩하기 위한 비디오 디코더, 스케일러, 오디오 데이터를 디코딩하기 위한 오디오 디코더, 노이즈 필터링을 위한 필터링부, 오디오 신호 증폭을 위한 신호 증폭부, 부가 데이터 처리를 위한 데이터 디코더부, 디코딩된 부가 데이터에 따라 객체를 생성하는 렌더링부, 믹서 등을 포함할 수 있다. 블루레이 디스크의 경우, MPEG-2나 H.264/MPEG-4 AVC, 혹은 VC-1 규격의 코덱으로 압축된 영상 데이터가 저장될 수 있다. 데이터 처리부(140)는 이러한 코덱을 이용하여, 드라이버부(110)에서 검출되는 제1 데이터 및 데이터 저장부(170)에 저장된 제2 데이터 중에서 영상 데이터를 디코딩하여 비디오 프레임을 생성할 수 있다. 오디오 데이터에 대한 처리 과정은 본 명세서에서는 도시 및 기재를 생략한다.
인터페이스부(160)는 재생된 컨텐츠를 외부 장치로 제공한다. 일 예로, 인터페이스부(160)는 HDMI(High Definition Multimedia Interface)로 구현될 수 있으며, 외부 장치는 TV나 모니터, 기타 디스플레이 수단을 갖춘 각종 디스플레이 장치가 될 수 있다.
도 5는 가상 데이터 패키지의 구체적인 생성 방법을 설명하기 위한 도면이다. 도 5에 따르면, 기록 매체(10)로부터 검출되는 제1 데이터(410)는 도 5의 (a)에 도시된 바와 같은 파일 시스템으로 구성된다.
도 5의 (a)는 블루레이 디스크의 파일 시스템의 구성을 나타낸다. 블루레이 디스크는 인덱스 테이블, 무비 오브젝트/BD-J 오브젝트(object), 플레이리스트, 클립(clip), 스트림 등과 같은 복수의 레이어로 구성된다. 클립은 비디오 스트림 파일인 clip AV 스트림 파일과, 그 파일과 연관된 데이터베이스 형태의 속성 파일인 클립 인포메이션 파일로 구성된다. 플레이리스트는 재생 시에 사용되는 비트 스트림들이 어떤 순서로 재생되어야 하는지를 알려주는 정보 구조로서, 복수 개의 플레이 아이템으로 구성되어 있다. 통상적으로 플레이리스트는 영화 또는 드라마와 같은 컨텐츠 하나를 구성하고, 플레이 아이템은 그 컨텐츠의 한 챕터(chapter)를 구성한다. 플레이 리스트의 플레이 아이템에는 재생되어야 하는 비디오 스트림, 오디오 스트림, 자막 스트림, 메뉴 스트림등이 어떤 것이며, 구체적으로는 어떤 스트림 ID(또는 스트림 넘버)를 가지고 어떤 스트림 속성을 가지는 지를 알려준다. 가령, 비디오의 경우 비디오 포맷, 프레임 레이트, 자막, 오디오의 경우 언어 코드와 같은 스트림 속성을 알려준다.
한편, 서버 장치(200)로부터 수신되는 제2 데이터(420)는 도 5의 (b)에 도시된 바와 같은 파일 시스템으로 구성된다. 제어부(130)는 메니페스트 파일 내의 네임 매핑 정보(430)를 이용하여, 각 파일 시스템 내의 파일들을 조합하여 도 5의 (c)와 같은 가상 데이터 패키지(440)를 생성한다.
도 5의 (c)에서는 제1 데이터(410)의 파일 시스템을 기본 골자로 하고, 제2 데이터(420)의 파일 시스템 내에서 필요한 데이터들을 적절한 위치에 배치하는 형태의 가상 데이터 패키지(440)를 나타낸다. 이와 같이, 제어부(130)는 기록 매체(10)의 파일 시스템 내에서 플레이리스트나, 클립 인포메이션, 스트림, 부가 데이터 등에 서버 장치(200)로부터 수신된 데이터를 적절히 배치하여, 가상 데이터 패키지(440)를 구성한다. 데이터 처리부(140)는 가상 데이터 패키지(440)에 기반하여, 제1 및 제2 데이터가 조합된 컨텐츠를 재생할 수 있다.
네트워크 적응적 통신을 수행하는 방법은 다양한 실시 예에 따라 다르게 구현될 수 있다. 이하에서는, 네트워크 적응적 통신을 수행하는 방법에 대하여 실시 예 별로 구체적으로 설명한다.
< 네트워크 적응적 통신 방식의 제1 예 >
도 6은 초기 네트워크 상태를 반영하여 가상 데이터 패키지를 구성하는 실시 예를 설명하기 위한 도면이다.
도 6에 따르면, 기록 매체 재생 장치(100)의 메모리(150)에는 BD-J 어플리케이션(151), 네트워크 대역폭 평가 모듈(network bandwidth estimator)(152), 미들웨어(M/W)(153) 등과 같은 프로그램이 저장된다.
제어부(130)는 이러한 프로그램을 이용하여 초기 네트워크 상태를 체크한 후, 그 체크된 네트워크 상태에 따라 통신할 데이터를 선택한다. 네트워크 상태에는 대역폭이나 통신 속도, 안정성 등과 같은 다양한 정보들이 포함될 수 있다. 구체적으로는, 제어부(130)는 메니페스트 파일 내에서 초기 네트워크 상태에 대응되는 정보를 선택하여, 통신을 수행할 수 있다. 이에 따라, 도 6에 도시된 바와 같이 플레이리스트, 클립 정보, AV 스트림(61, 62) 등이 초기 네트워크 대역폭에 대응되는 비트레이트로 수신될 수 있다.
도 7은 본 실시 예에 따른 메니페스트 파일의 구성 예시를 나타낸다. 도 7에 따르면, 메니페스트 파일은 다중 구성된 애셋(assets) 항목(710, 720)에 대한 목록을 포함한다. 제1 애셋 항목(710)은 대역 폭이 4 Mbps인 경우에 대해 설정된 항목이고, 제2 애셋 항목(720)은 대역 폭이 8 Mbps인 경우에 대해 설정된 항목이다.
제어부(130)는 이러한 애셋 항목들 중에서 초기 네트워크 대역 폭에 대응되는 애셋 항목을 선택한다. 가령 초기 네트워크 대역폭이 4Mbps일 때는 제1 애셋 항목(710)을 선택하고, 8Mbps일 때는 제2 애셋 항목(720)을 선택한다.
그리고, 선택된 애셋 항목이 제공하는 데이터베이스 연결 정보를 기반으로 제2 데이터를 다운로딩하도록 통신부(120)를 제어한다. 데이터베이스 연결 정보란 서버 장치(200)와의 연결을 위해 제공되는 정보이다. 데이터베이스 연결 정보는 클립 정보, 플레이리스트 등과 같은 네임 매핑 정보가 될 수 있다.
도 8은 본 실시 예에 따른 가상 데이터 패키지 생성 방법을 설명하기 위한 흐름도이다. 본 가상 데이터 패키지 생성 방법은 제어부(130)가 메모리(150)에 저장된 BD-J 어플리케이션(151), 네트워크 대역폭 평가 모듈(network bandwidth estimator)(152), 미들웨어(M/W)(153) 등을 실행시켜, 단계적으로 이루어질 수 있다.
도 8에 따르면, 네트워크 대역폭 평가 모듈(152)은 네트워크 대역폭을 체크한다(S810). 네트워크 대역폭이 체크되면, BD-J 어플리케이션(151)은 메니페스트 파일의 애셋 목록 중에서 가장 적합한 대역폭을 갖는 애셋 항목을 선택한다(S820).
BD-J 어플리케이션(151)은 선택된 애셋 항목이 제공하는 네임 매핑 정보(클립 정보, 플레이리스트 등)와 같은 데이터베이스 연결 정보를 기반으로, 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트한다(S830). 그리고 나서 BD-J 어플리케이션(151)은 프로그레시브 플레이리스트를 기반으로 순차적으로 A/V 스트림을 다운로드받고, 미들웨어(153)는 가상 데이터 패키지를 기반으로, 다운로드된 AV 스트림에 대한 재생을 수행하도록 데이터 처리부(140)를 제어한다.
본 실시 예에서는 초기 가상 데이터 패키지 생성 과정에서 다운받는 애셋 항목이 결정되기 때문에, 도 6에 도시된 바와 같이 하나의 비트레이트로 고정된 AV 스트림(62)을 수신하게 된다.
한편, 이와 달리 실시간 네트워크 상황을 고려하여 제2 데이터를 수신할 수도 있다. 이하에서는 실시간 네트워크 상태에 따라 통신을 수행하는 실시 예들에 대해서 설명한다.
< 네트워크 적응적 통신 방식의 제2 예 >
도 9에 따르면, 가상 데이터 패키지가 일단 구성된 이후에도 네트워크 상황을 체크 하여 다운로드 받을 AV 스트림을 결정하여 수신할 수 있다. 이에 따라, 도 9에 도시된 바와 같이 AV 스트림(62)의 비트레이트가 네트워크 상태에 따라 적응적으로 변화하게 된다.
도 9에 따르면, 기록 매체 재생 장치(100)의 메모리(150)에는 BD-J 어플리케이션(151), 네트워크 대역폭 평가 모듈(network bandwidth estimator)(152), 미들웨어(M/W)(153) 등과 같은 프로그램이 저장된다. 제어부(130)는 이러한 프로그램을 이용하여 네트워크 상태를 실시간으로 체크한 후, 그 체크된 네트워크 상태에 대응되는 동작을 수행할 수 있다.
본 실시 예에서는 메니페스트 파일은 네트워크 대역폭에 따라 AV 스트림을 결정할 수 있도록 프로그레시브(Progressive 또는 프로그레시브애셋(ProgressiveAsset) 레벨에서 다중으로 구성되어야 한다.
도 10은 본 실시 예에 따른 메니페스트 파일의 구성 예를 나타낸다. 도 10에 따르면, 메니페스트 파일은 다중 구성된 프로그레시브 플레이리스트(1010, 1020)를 포함할 수 있다. 도 10에서는 4Mbps 용 플레이리스트(1010)와 8Mbps 용 플레이리스트(1020)를 포함하는 구성을 예시하였다.
제어부(130)는 메니페스트 파일에 다중 구성된 이러한 정보들(1010, 1020) 중에서 실시간으로 체크된 네트워크 상태에 대응되는 정보를 선택하여, 그에 따른 AV 스트림을 수신하도록 통신부(120)를 제어한다.
도 11은 본 실시 예에 따른 데이터 수신 방법을 구체적으로 설명하기 위한 흐름도이다. 도 11에 따르면, 제어부(130)는 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트한다(S1110). 가상 데이터 패키지는 도 6 내지 도 8에서 설명한 실시 예와 같은 방식으로 생성될 수도 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 초기 네트워크 대역폭을 고려하지 않고 가상 데이터 패키지를 생성할 수도 있다.
가상 데이터 패키지가 업데이트되어 있는 상태에서 제어부(130)는 네트워크 대역폭 평가 모듈(network bandwidth estimator)(152)을 이용하여 네트워크 대역폭을 평가한다(S1120). BD-J 어플리케이션(151)은 대역폭이 체크되면, 메니페스트 파일에서 제공되는 프로그레시브 플레이리스트 가운데에서 가장 적합한 대역폭을 가지는 <Progressive> 또는 <ProgressiveAsset> 항목을 선택하여 수신한다(S1130). BD-J 어플리케이션(151)은 재생이 종료되기 이전까지는(S1140), 상술한 단계를 반복적으로 수행한다. 이에 따라, 네트워크 대역폭을 실시간으로 확인하면서 이에 맞는 AV 스트림을 순차적으로 다운로드받을 수 있다. M/W(153)는 다운받은 A/V 스트림, 즉, 제2 데이터를, 가상 데이터 패키지에 기초하여 제1 데이터와 연결하여 재생한다.
한편, 본 실시 예에서는 생성된 가상 데이터 패키지의 정보와, 네트워크 상황에 따라 실시간으로 다운로드 받은 AV 스트림을 연결할 수 있는 방법이 필요하다. 이를 해결하기 위하여, 가상 데이터 패키지의 초기 업데이트를 통해 구성되는 데이터베이스는 대역폭 종류에 따라 선택 가능한 다중 정보를 가질 수 있다
이러한 다중 정보는 다양한 형태로 제공될 수 있다.
일 예로, 비트레이트에 따라 구분 가능한 clip_bitrate 필드를 포함하는 플레이아이템 및 클립 정보를 다중으로 구성하여 제공할 수 있다.
구체적으로는, xxxxx.mpls 파일의 PlayList() 항목은 복수 개의 PlayItem()을 포함한다. 각 PlayItem()은 복수 개의 영역으로 구분된다. 구분된 각 영역내의 reserved 영역에는 clip_bitrate 필드가 추가된다. 이에 따라, 각 영역의 필드에는 bitrate에 따라 연결가능한 clip information이 구분되어 기록된다. 가령, multi_bit_stream_ID가 0인 Playitem 정보가, 4Mbps의 Bitrate를 가지는 m2ts 파일과 연결되는 00000.clpi의 정보와 연동되며, multi_bit_stream_ID=1을 가지는 Playitem정보가 8Mbps의 Bitrate를 가지는 m2ts파일과 연결되는 00000.clpi와 연동될 수 있다. 기록 매체 재생 장치(100)는 이러한 정보에 기초하여, 가상 데이터 패키지와 실시간으로 수신되는 AV 스트림을 연동시켜 재생을 수행할 수 있다.
00000.clpi 파일에는 4Mbps의 Bitrate를 가지는 m2ts 파일, 8Mbps 파일 등과 같이 다양한 파일들이 함께 구성될 수 있다. 이 경우, 두 파일은 명시적으로 00000.clpi의 동일한 이름을 갖지만, 00000.clpi 내부에서 정의되는 clip_bitrate 필드에 의해 연결되는 m2ts 의 종류가 구분될 수 있다.
M/W(153)는 clip_bitrate 필드를 이용하여, 연결 가능한 playitem과 clip_information을 구분하여 m2ts파일과 연결할 수 있다. 이에 따라, 실시간 수신된 제2 데이터와 제1 데이터가 적절히 조합되어 재생이 이루어질 수 있다.
또는, 이와 다른 예로, 비트레이트에 따라 구분 가능한 clip_bitrate 필드를 포함하는 클립 정보를 제공하여 줄 수도 있다. 이 경우, 플레이리스트() 항목에는 복수의 플레이아이템()이 포함된다. 각 플레이아이템은 00000.clpi 파일만 clip_bitrate 필드로 구분되어 복수 개의 파일로 구성된다. M/W(153)는 clip_information의 clip_bitrate 필드를 이용하여 해당 bitrate의 m2ts파일과 연결할 수 있다.
또는, 이와 다른 예로, 클립 정보 내의 목록을 다중 구성할 수도 있다.
도 12는 비트레이트에 따라 구분 가능한 클립 정보 내의 목록을 다중 구성한 cipi 파일의 구조를 나타낸다. 도 12에서는 PlayList() 항목이 포함하는 PlayItem()과 Clip information 파일은 각각 단일 구성을 가진다. 하지만, 도 12의 (a)에 도시된 바와 같이 Clip information 파일이 포함하는 CPI()정보를 비트레이트에 따라 구분하거나, 도 12의 (b)에 도시된 바와 같이 CPI()내 EP_map()정보를 bitrate로 구분할 수 있다. clip의 bitrate 구분 정보는 CPI() 정보 또는 EP_map()정보 내의 reserved 공간에 기록될 수 있다.
이상과 같이, 제어부(130)는 상술한 다양한 방법을 이용하여 가상 데이터 패키지와, 네트워크 상황에 따라 실시간으로 다운받은 AV Stream을 연결할 수 있다. 하지만, AV 스트림의 다운로드는 BD-J 어플리케이션(151)이 담당하기 때문에, 기록 매체 재생 장치(100)의 구현 방법에 따라서, M/W(153)가 다운로드한 AV 스트림의 종류를 구분할 수 없는 경우가 발생할 수도 있다. 이러한 경우는 M/W(153)가 BD-J Application(151)와 별도의 정보 교환 없이 초기에 구성된 가상 데이터 패키지를 기반으로 재생을 할 때 생길 수 있다. 이러한 경우를 대비하여, BD-J Application(151)이 다운받은 AV Stream에 대한 정보를 M/W(153)가 인식할 수 있도록 하는 방법이 추가로 제공될 수도 있다.
구체적으로는, 다운받는 AV Stream에 명시적으로 Bitrate를 표시하는 방법이 사용될 수 있다. 도 13은 이러한 방법에 따른 파일명의 예시를 나타낸다.
도 13에 따르면, BD-J Application(151)은 다운로드 받은 AV Stream, 즉 m2ts 파일에 대해, 명시적인 Bitrate 구분을 위하여 파일 이름에 Postifx 방식의 이름을 부여할 수 있다. 따라서 BD-J Application(151)과는 별도로 M/W(153)는 파일 이름을 통해 다운받은 AV Stream의 Bitrate를 구분할 수 있으며, 이를 통해 연결되는 Database의 종류를 식별할 수 있다.
이상과 같이, 기록 매체 재생 장치는 네트워크 상태를 실시간으로 확인하면서 AV 스트림을 수신하고, 기 생성된 가상 데이터 패키지와 수신된 AV 스트림을 연결시켜, 재생을 수행할 수 있다. 한편, 이러한 실시 예와 달리, 가상 데이터 패키지 자체를 실시간으로 업데이트할 수도 있다.
< 네트워크 적응적 통신 방식의 제3 예 >
이하에서는, 가상 데이터 패키지를 실시간으로 업데이트하여 컨텐츠를 재생하는 실시 예에 대하여 구체적으로 설명한다.
본 실시 예에 따르면, 기록 매체 재생 장치(100)는 가상 데이터 패키지를 초기 업데이트한 이후에도 네트워크 상황을 수시로 체크하여, 가상 데이터 패키지를 실시간 업데이트할 수 있다. 구체적으로는, 기록 매체 재생 장치(100)는 다운로드받을 AV 스트림과 플레이리스트, 클립 정보의 종류를 결정하며, 다운로드받은 결과에 기초하여 가상 데이터 패키지를 실시간 업데이트할 수 있다.
본 실시 예에서는 메니페스트 파일은 대역폭에 따라 <Assets> 을 결정할 수 있도록 다중으로 구성되어야 한다. 일 예로, 메니페스트 파일은 도 7과 같이 4Mbpds, 8Mbps 등과 같은 다양한 대역폭 중에서 하나를 선택할 수 있는 형태로 구성될 수 있다. 본 실시 예는 상술한 제2 예와 비교하면 실시간으로 네트워크 상황을 체크한다는 점에서는 유사하나, 실시간으로 다운로드받는 항목이 AV 스트림으로 한정되지 않으며, 이와 연결되는 플레이리스트나 클립 정보와 같은 데이터 베이스 관련 정보도 실시간으로 다운로드 받는다는 점에서 차이가 있다.
도 14는 본 실시 예에 따른 기록 매체 재생 장치에서 실시간 네트워크 상황에 따라 실시간으로 다운로드받는 항목들을 예시하였다. 도 14에 따르면, 플레이리스트 내에서 플레이 아이템, clpi 파일, m2ts 파일 등과 같이 다양한 데이터를 수신하여, 이에 따라 가상 데이터 패키지를 업데이트할 수 있다. 도 14에 따르면, 네트워크 상태에 따라 수신된 각 AV 스트림의 사이즈가 다른 것을 알 수 있다.
도 15는 본 실시 예에 따른 가상 데이터 패키지 업데이트 방법을 설명하기 위한 흐름도이다. 도 15에 따르면, 가상 데이터 패키지가 초기 업데이트된 상태에서(S1510), 기록 매체 재생 장치(100)는 네트워크 대역폭을 체크한다(S1520). 여기서, 가상 데이터 패키지는 초기 네트워크 대역폭을 고려하여 생성할 수도 있고, 임의로 생성할 수도 있다. 또한, 네트워크 대역폭은 상술한 바와 같이 네트워크 대역폭 평가 모듈(152)을 이용하여 실시간으로 체크할 수 있다.
네트워크 대역폭이 체크되면, 기록 매체 재생 장치(100)의 BD-J Application(151)은 메니페스트 파일의 <Assets> 가운데 가장 적합한 Bandwidth를 갖는 <Assets>을 선택한다. 또한 BD-J Application(151)은 해당 <Assets>이 제공하는 네임 매핑 정보(Clip information, PlayList 등)와 같은 데이터 베이스 연결 정보와 프로그레시브 플레이리스트 등과 같은 정보를 다운로드한다(S1530). 이에 따라, 다운로드되는 각종 정보를 기반으로 가상 데이터 패키지를 재 업데이트한다(S1540). 기록 매체 재생 장치(100)의 M/W(153)는 업데이트된 가상 데이터 패키지를 기반으로 컨텐츠를 재생한다(S2050). 기록 매체 재생 장치(100)는 재생이 종료될 때까지(S1560), 이러한 단계들을 반복적으로 수행하여, 네트워크 상황을 실시간으로 반영할 수 있다.
이상과 같이, 기록 매체 재생 장치는 서버 장치(200)로부터 네트워크 상황에 적응적인 방식으로 제2 데이터를 안정적으로 수신할 수 있다. 이에 따라, 기록 매체(10)에 기록된 제1 데이터와 제2 데이터를 함께 이용하여 다양한 컨텐츠를 재생할 수 있게 된다.
이하에서는, 기록 매체 재생 장치에서 처리하는 데이터의 유형과 이에 따른 기록 매체 재생 장치의 동작에 대해서 실시 예 별로 구체적으로 설명한다. 이하의 실시 예들은 상술한 바와 같이 네트워크 적응적 통신을 수행하는 실시 예들과 함께 구현될 수도 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 네트워크 상황을 고려하지 않으면서 통신을 수행하는 기록 매체 재생 장치에서도 이하의 실시 예들에 따른 동작을 수행할 수 있음은 물론이다.
< 입체적 컨텐츠(stereoscopic contents)를 재생하는 실시 예 >
도 16 및 도 17은 본 발명의 또 다른 실시 예에 따른 기록 매체 재생 장치의 동작을 설명하기 위한 도면이다. 본 실시 예에 따르면, 기록 매체 재생 장치는 제2 데이터로 뎁스 맵이나 디스패리티 맵을 수신하여, 이에 기초하여 입체적인 컨텐츠를 재생할 수 있다.
도 16은 제1 데이터가 2D BD(Blu-lay Disc) 타이틀(title)을 포함하고, 제2 데이터가 뎁스 맵을 포함하는 경우를 나타낸다. 이 경우, 기록 매체 재생 장치는 2D BD 타이틀 및 뎁스 맵을 이용하여 스테레오 영상을 생성할 수도 있고, 다시점 영상(multi-view image)를 생성할 수도 있다. 스테레오 영상이란 하나의 피사체를 다른 각도에서 촬영한 두 개의 영상을 의미한다. 구체적으로는 좌안 영상 및 우안 영상을 의미한다. 다시점 영상이란 서로 다른 시점에서 촬영된 복수 개의 영상을 의미한다. 통상적으로 다시점 영상은 3개 이상의 시점에서 촬영된 영상들을 의미할 수 있다.
뎁스 맵이란 뎁스의 변화 상태를 하나의 영상으로 구성한 것을 의미한다. 여기서, 뎁스란 피사체와 카메라 간의 거리, 피사체와 피사체의 영상이 맺히는 기록매체 (예를 들어, 필름)간의 거리 등과 같이 입체감의 정도를 나타내는 정보를 의미한다. 즉, 좌안 영상과 우안 영상 간의 서로 대응되는 포인트 간의 거리 차(즉, 디스패리티)가 크면 그만큼 더 입체감이 증대한다. 뎁스 맵이란 이러한 뎁스의 변화 상태를 하나의 영상으로 구성한 것으로, 좌안 영상 및 우안 영상에서 서로 매칭되는 포인트 간의 거리의 크기에 따라 상이해지는 그레이 레벨로 표현될 수 있다. 디스패리티 맵이란 좌안 영상 및 우안 영상에서 서로 매칭되는 포인트 간의 거리를 의미하는 디스패리티를 맵 형태로 정리한 정보를 의미한다.
도 17은 제1 데이터가 3D BD 타이틀을 포함하고, 제2 데이터가 뎁스 맵을 포함하는 경우를 나타낸다. 이 경우, 기록 매체 재생 장치(100)는 뎁스 맵을 이용하여 다시점 영상을 생성할 수 있다.
이상과 같이, 본 실시 예에서는 서버 장치(200)를 이용하여 뎁스 맵이나 디스패리티 맵과 같은 부가 정보를 제공하여, 컨텐츠를 입체적으로 구성할 수 있다. 따라서, 기록 매체의 물리적 저장 용량이 부족하더라도 3D 영상이나 다시점 영상을 제공할 수 있다. 또한, 블루레이디스크에 뎁스 맵이나 디스패리티 맵까지 기록하기 위해서는, 타이틀을 제작하는 시간 이외에 이러한 부가 정보를 생성하여 기록하는 시간까지 추가로 소요된다. 따라서, 기록 매체를 출시하는 시간이 길어지게 된다. 하지만, 본 실시 예에 따르면 이러한 부가 정보를 기록 매체 출시 후에도 서버 장치(200)를 통해 제공할 수 있게 되므로, 용량 부족이나 출시 지연 등과 같은 문제 없이도 입체적 컨텐츠를 제공할 수 있다.
도 16 및 도 17에 도시된 바와 같이 제2 데이터에 부가 정보가 포함된 경우, 기록 매체 재생 장치(100)의 제어부(130)는 기록 매체(10)로부터 검출된 제1 데이터와, 서버 장치(200)를 통해 수신된 제2 데이터를 이용하여 가상 데이터 패키지를 생성한 후, 메모리(150)에 저장한다. 이에 따라, 가상 데이터 패키지에는 상술한 뎁스 맵이나 디스패리티 맵과 같은 부가 정보도 함께 포함될 수 있다.
도 18은 가상 데이터 패키지 내에서 부가 정보를 검출하는 서브 패스의 구성의 일 예를 나타낸다. 도 18에 따르면, 플레이 리스트(a) 내에는 메인 패스와 서브 패스가 존재한다. 메인 패스에는 플레이 아이템들이 존재하고, 서브 패스에는 각종 서브 플레이 아이템들이 존재한다.
도 18에서는 Subpath_type=10으로 정의되는 서브 패스를 통해서 뎁스 맵 스트림이 제공되는 경우를 나타낸다. 구체적으로는, 서브 패스 중에서 서브 플레이 아이템#2에 포함된 클립 정보(b) 중에서 PID=x로 정의된 패킷으로부터 뎁스 맵(c)을 검출하여 사용하는 경우를 나타낸다. 도 18에 도시된 바와 같이, 뎁스 맵이나 디스패리티 맵과 같이 입체화를 위해 필요한 각종 부가 정보를 제공하기 위해서 블루레이 디스크 데이터베이스를 확장할 수 있다.
한편, 뎁스 맵이나 디스패리티 맵 등과 같은 부가 정보를 제공하는 경우, 그 부가 정보를 이용하여 입체적 컨텐츠를 구성하기 위한 정보도 제공되어야 한다.
부가 정보는 인덱스 테이블 파일을 확장하여 제공할 수 있다. 구체적으로는, index.bdmv 파일 내에서 멀티뷰 지원을 위한 AppInfoBDMV()를 확장하여, 각종 정보를 기록할 수 있다. 확장된 AppInfoBDMV()의 리저브 영역에는 multiview_output_mode_preference와, Depth_content_exist_flag 등이 추가로 마련될 수 있다.
multiview_output_mode_preference은 초기 출력 모드를 유지할지, 멀티 뷰 모드로 출력할지 여부를 결정하는 값이 기록되는 부분이다. 구체적으로는 multiview_output_mode_preference는 다음 표와 같이 구성될 수 있다.
multiview_output_mode_preference Meaning
0 Preserve Initial Output Mode
1 Multi-view Output Mode
그리고, Depth_content_exist_flag는 부가 정보의 존재 여부를 알리기 위한 값이 기록되는 플래그이다. 구체적으로는, Depth_content_exist_flag는 다음 표와 같이 구성될 수 있다.
Depth_content_exist_flag Meaning
0 Profile 7 functionality is not used
1 Profile 7 functionality may be used
표 2에서 Profile 7이란 부가 정보를 이용하는 서비스를 신규로 정의한 것이다.
또는, 무비 플레이리스트(xxxxx.mpls) 파일에 포함된 AppInfoPlayList()를 확장하여, 각종 부가 정보를 기록할 수 있다. 구체적으로는, AppInfoPlayList() 내의 리저브 영역에 DepthMap_matching_flag를 마련하여, 정보를 기록할 수 있다. DepthMap_matching_flag는 좌안 영상 및 우안 영상 중에서 기준이 되는 메인 영상(즉, 베이스 뷰)에 매칭되는 뎁스 맵인지, 메인 영상이 아닌 서브 영상(즉, Dependant view)에 매칭되는 뎁스 맵인지를 지시하기 위한 시그널링 정보를 의미한다. 구체적으로는, DepthMap_matching_flag는 다음 표와 같이 정의될 수 있다.
DepthMap_matching_flag Meaning
0 DepthMap matches MVC Base view video
1 DepthMap matches MVC Dependant view video
또는, 서브패스 타입을 확장하여 시그널링 정보를 제공할 수도 있다. 구체적으로는, 무비 플레이리스트(xxxxx.mpls)파일에 포함된 playlist()의 Subpath_type을 확장시켜, 부가 정보를 제공할 수 있다. 일 예로, 다음 표와 같이 Subpath_type=0x05에 Out-of-mux 형태로 제공되는 뎁스 맵을 정의할 수 있다.
Subpath_type Meaning
... ...
5 Out-of-mux and Synchronous type of one or more elementary
streams path (Primary audio, PG, IG, Secondary audio path).
Out-of-mux and Synchronous type of Picture-in-Picture
presentation path.
Out-of mux MPEG-4 MVC Dependent view video presentation path.
Out-of-mux and Synchronous type of DepthMap
... ...
또는, STN()을 통한 뎁스 맵 제공을 위하여 stream_entry(), stream_attributes()를 확장하여 신규 정의할 수도 있다.
그 밖에, 클립 정보를 확장하여 부가 정보를 제공할 수도 있다. 구체적으로는, 클립 정보 파일(zzzzz.clpi)내의 clipinfo() 부분을 확장하여 뎁스 맵을 제공할 수 있다. 일 예로, clipinfo()의 신택스 중에서 application_type을 확장하여 뎁스 맵을 제공할 수 있다. application_type은 다음 표와 같이 확장될 수 있다.
application_type meaning
... ...
10 Sub TS for a sub-path of DepthMap video
이상과 같이, 기록 매체 재생 장치(100)는 확장된 데이터베이스를 기반으로 뎁스맵이나 디스패리티 맵과 같은 부가 정보를 검출하고, 이를 이용하여 스테레오 영상 또는 다시점 영상을 생성할 수 있다.
도 19는 스트레오 영상 및 뎁스 맵을 이용하여 복수 개의 서로 다른 시점의 영상을 생성하여, 외부 장치(300)로 제공하는 경우를 나타낸다. 도 19에 따르면, 기록 매체 재생 장치(100)의 데이터 처리부(140)는 기록 매체(10)로부터 리딩된 좌안 영상(L) 및 우안 영상(R)을 기반으로 뎁스 맵을 이용하여 복수 개의 서로 다른 시점의 영상을 생성할 수 있다.
구체적으로는, 데이터 처리부(140)는 좌안 영상 및 우안 영상 중 하나를 기준 영상으로 두고, 뎁스맵을 기반으로 기준 영상 내의 각 픽셀들의 뎁스를 확인한다. 데이터 처리부(140)는 확인된 뎁스에 대응되는 거리 만큼 기준 영상의 각 픽셀들을 쉬프트시켜, 새로운 영상을 생성한다. 생성된 영상은 기준 영상과는 소정 각도만큼 이격된 상태에서 피사체를 바라본 영상이 된다. 이러한 방식으로 데이터 처리부(140)는 다른 시점의 영상을 다양한 개수만큼 생성할 수 있다. 인터페이스부(160)는 생성된 영상들을 외부 장치(300)로 전송한다. 상술한 바와 같이, 인터페이스부(160)는 HDMI 등과 같은 무압축 인터페이스로 구현될 수 있다.
외부 장치(300)는 인터페이스부(160)를 통해서 다양한 시점의 영상을 수신하여 멀티 뷰 화면을 디스플레이할 수 있다. 멀티 뷰 화면은 외부 장치(300)의 종류에 따라 다양한 방식으로 구성될 수 있다.
도 20은 무안경 방식의 외부 장치(300)의 디스플레이 방법의 일 예를 나타낸다. 구체적으로는, 외부 장치(300)는 1 내지 5 시점 영상을 각각 복수의 세로 라인으로 구분한 후, 각 시점 영상들을 세로 라인별로 순차적으로 조합하여 하나의 프레임을 생성할 수 있다. 이에 따라, 사용자의 좌안과 우안에 서로 다른 시점의 영상이 각각 인식되어, 입체감을 느낄 수 있게 된다.
외부 장치(300)는 TV나 모니터 등과 같이 디스플레이 수단을 갖춘 디스플레이 장치로 구현될 수 있다. 외부 장치(300)는 그 종류에 따라 복수의 영상들을 디스플레이하여, 사용자가 입체감을 느끼도록 할 수 있다.
도 19 및 도 20에서는 복수 개의 서로 다른 시점의 영상들을 그대로 외부 장치(300)로 전송하고, 외부 장치(300)에서 각 영상들을 세로 라인으로 조합하는 것으로 도시하였으나, 경우에 따라서는 외부 장치(300)에서 도 20과 같은 포맷으로 구성한 후, 외부 장치(300)로 전송하여 줄 수도 있다.
또한, 도 19 및 도 20에서는 기록 매체 재생 장치(100)에서 다시점 영상을 생성하는 것으로 설명하였으나, 외부 장치에서 다시점 영상을 생성할 수도 있다.
도 21은 외부의 디스플레이 장치에서 다시점 영상을 생성하는 경우를 나타낸다. 도 21에 따르면, 제어부(130)는 가상 데이터 패키지에 포함되는 좌안 영상 및 우안 영상(L, R)을 뎁스 맵과 함께 인터페이스부(160)를 통해 외부 장치(300)로 전송한다. 외부 장치(300)는 좌안 영상 및 우안 영상과 뎁스 맵을 이용하여 다시점 영상(view #1 ~ #5)을 생성한 후, 이를 이용하여 멀티 뷰 화면을 디스플레이한다.
도 22는 두 개의 영상과 두 개의 뎁스 맵을 이용하여 다시점 영상을 생성하는 경우를 나타낸다. 도 22에 따르면, 2개의 실제 카메라(2201, 2202)에 의해 촬영된 2개의 실제 영상(2221, 2222)과, 그 영상(2221, 2222)에 대응되는 뎁스 맵(2231, 2232)가 제공된 경우를 나타낸다.
기록 매체 재생 장치(100)는 2개의 실제 영상(2221, 2222)과 2 개의 뎁스 맵(2231, 2232)을 이용하여, 3개의 가상 카메라(2211, 2212, 2213)에서 촬영한 다시점 영상(2241, 2242, 2243)을 생성한다. 이에 따라 총 5개의 영상(2241, 2221, 2242, 2222, 2243)이 획득된다.
이상과 같이, 기록 매체 재생 장치(100)는 기록 매체(10)에 기록된 데이터와 서버 장치(200)로부터 제공되는 데이터를 함께 이용하여 입체적 컨텐츠를 재생할 수 있다.
이 밖에도 기록 매체 재생 장치(100)에서는 기록 매체(10)로부터 재생되는 이미지와 함께 서버 장치(200)로부터 제공되는 이미지를 한 화면에 중첩시켜 표시할 수도 있다. 이에 따라, 다양한 화면을 구성할 수 있다.
< PIP를 제공하는 실시 예 >
도 23은 본 발명의 또 다른 실시 예에 따른 기록 매체 재생 장치(100)에 의해 구성되는 화면의 일 예를 나타낸다. 본 실시 예에 따르면, 기록 매체(10)로부터 검출되는 제1 데이터는 메인 이미지 데이터를 포함하고, 서버 장치(200)로부터 수신되는 제2 데이터는 서브 이미지 데이터를 포함한다. 데이터 처리부(140)는 메인 이미지 데이터 및 서브 이미지 데이터를 이용하여 메인 이미지 화면(2300) 내에 서브 이미지(2310)를 추가하여 PIP(Picture In Picture) 화면을 표시할 수 있다. 메인 이미지 및 서브 이미지는 각각 프라이머리 비디오(primary video) 및 세컨더리 비디오(secondary video)로 명명될 수도 있다.
도 23에서는 사각 형태의 PIP 화면(2310)이 화면(2300)에 표시된 상태를 나타낸다. 하지만, PIP 화면(2310)의 형태는 다양하게 변형될 수 있으며, 그 개수 역시 하나로 한정되지 않고 복수 개로 표현될 수 있다. 또한, PIP 화면(2310)에 대해 그라데이션(gradation) 효과를 적용될 수도 있다.
도 24은 원형으로 구성된 PIP 화면(2320)이 메인 이미지 화면(2300) 내에 표시된 상태를 나타낸다. 도 25는 부가 이미지 중에서 배경을 제외한 객체(2330)만을 분리하여 표시한 상태를 나타낸다. 도 25에 따르면, 객체(2330)는 기 설정된 투명도에 따라 투명하게 구성되어 메인 이미지 화면(2300) 내에 표시될 수 있다.
도 26은 부가 이미지를 이용하여 생성된 복수의 객체(2341, 2342, 2343)가 메인 이미지 화면(2300) 내에 표시된 경우를 나타낸다. 각 객체(2341, 2342, 2343)의 표시 위치는 임의로 설정될 수 있다. 객체는 모두 동일하게 표현될 수도 있지만, 세번째 객체(2343)와 같이 동일한 형상으로 방향만을 변경하여 표시할 수도 있다.
기록 매체 재생 장치(100)는 α플레인(plane)을 일종의 마스크(mask)처럼 사용하여 도 23 내지 도 26에 도시된 바와 같이 다양한 부가 이미지를 표시할 수 있다. α플레인(plane)은 바이너리(binary) 또는 그레이 스케일(gray scale) 기반으로 제공될 수 있다.
도 27은 바이너리 값으로 표현된 α플레인(plane)(2710)을 나타낸다. 도 27에 따르면, α플레인(plane)(2710)은 0 또는 1 값으로 표현된다. α플레인(plane)(2710)내에서 서브 이미지(2700)의 사람이나 기타 사물과 같은 객체에 대응되는 부분은 1값, 나머지 배경 부분은 0값으로 표현할 수 있다. 데이터 처리부(140)는 서브 이미지(2700)에 대해 α플레인(plane)(2710)을 중첩할 수 있다. 만약, 1 값은 불투명, 0 값은 투명으로 정의한다면, 서브 이미지 내에서 객체 부분만이 화면에 보여지게 되고, 배경 부분은 삭제된다. 이에 따라, 종래의 사각 형태의 PIP 화면이 아니라 객체만 분리된 상태로 메인 이미지 화면 내에 표시될 수 있다.
도 27에서 alpha_value는 서브 이미지의 전체적인 투명도 값을 의미한다. 또한, boundary_feature_value는 객체 및 배경 간의 경계 부분에서의 그라데이션 구간을 정의한다. 이와 같이 α플레인(plane)을 이용하여 영상을 합성하게 되면, 객체에 대해 투명도를 제공하거나 경계 면에서 그라데이션 효과나 페이드 인/아웃 효과도 표현할 수 있다. 이에 따라, 자연스러운 영상을 제공할 수 있다.
도 28은 그레이 스케일로 구성된 α플레인(plane)을 나타낸다. 도 28에 따르면 서브 이미지(2700)에 대응되는 α플레인(plane)(2800)은 0 내지 255 레벨의 그레이값으로 표현될 수 있다. α플레인(plane)(2800) 내에서 255는 완전 불투명, 0은 완전 투명으로 정의할 수 있다. 이와 같이 0 내지 255 사이의 값을 통해 픽셀 단위의 알파 블렌딩(alpha blending) 값을 제공할 수 있다. 데이터 처리부(140)는 이러한 α플레인(plane)을 이용하여 다양한 형태의 PIP 화면을 표현할 수 있다. 그레이 스케일로 구성된 α플레인(plane)은 그레이 스케일의 투명도 값의 변화를 통해 투명도 및 그라데이션을 표현할 수 있다.
이러한 α플레인(plane) 데이터 역시 서브 이미지 데이터와 함께 서버 장치(200)로부터 수신될 수 있다.
α플레인(plane) 스트림은 손실 압축 기반 또는 무손실 압축 기반으로 제공될 수 있다. 손실 압축(Lossy Encoding) 기반이란 그레이 스케일 기반의 α플레인(plane)을 스트림으로 제공함에 있어, 일반 RGB 영상의 압축 방식과 유사한 손실 압축 방식으로 압축하여 전송함으로써, 필요한 비트레이트의 양을 줄이는 방법이다. 구체적으로는, AVC(Advanced Video Coding), MPEG2, HEVC(High Efficiency Video Coding)등과 같은 압축 방식이 사용될 수 있다.
무손실 압축(Lossless encoding) 기반이란 그레이 스케일 기반 또는 바이너리 데이터 기반의 α플레인(plane)을 스트림으로 제공함에 있어, 원본 α플레인(plane) 값이 변형되지 않도록 손실 없이 압축하여 전송하는 방법이다. 구체적으로는, RLE(Run Length Encoding) 등과 같은 압축 방식이 사용될 수 있다.
도 29는 α플레인(plane)을 제공하는 Path가 추가된 데이터베이스 구조의 일 예를 나타낸다. 도 29의 (a)에 따르면, 메인 path 내에는 복수의 서브 패스(sub path)가 마련된다. 그 중 하나는 In-mux Alpha plane을 제공하기 위한 제1 서브 패스(2910)이고, 또 다른 하나는 Out of mux Alpha plane을 제공하기 위한 제2 서브 패스(2920)이다.
도 29의 (b)는 제1 서브 패스(2910)의 클립 정보를 나타낸다. 도 29의 (b)에 따르면, 비디오 데이터 및 오디오 데이터와 함께 α플레인(plane)도 제공된다. 도 29의 (c)는 제2 서브 패스(2920)의 클립 정보를 나타낸다. 도 29의 (c)에 따르면, 별도의 α플레인(plane)이 제공될 수 있다.
도 30은 α플레인(plane)을 제공하기 위한 데이터베이스 구조의 다른 예를 나타낸다. α플레인(plane)은 메인 이미지 또는 서브 이미지에 관련된 것일 수 있다. 각 이미지와 α플레인(plane) 사이의 관계는 Alpha plane STN Table 내에 정의될 수 있다.
도 30에 따르면, 플레이리스트 내의 플레이 아이템에 정의된 Alpha plane STN Table에는 메인 이미지(Primary Video)에 대한 α플레인(plane) #1, #2의 PID와, 서브 이미지(Secondary Video)에 대한 α플레인(plane) #1, #2의 PID 등이 정의될 수 있다.
또는 Alpha plane STN Table 에는 메인 이미지(또는 프라이머리 비디오), 서브 이미지(또는 세컨더리 비디오)와 매핑 가능한 α플레인(plane)의 스트림 ID 정보가 저장될 수 있다. 제어부(130)는 이러한 스트림 ID 정보를 이용하여 비디오에 적용할 α플레인(plane)을 선택적으로 변경할 수 있다.
도 31은 α플레인(plane)을 이용하여 복수의 서브 이미지를 표시하는 방법을 설명하기 위한 도면이다. 블루레이 디스크를 재생하는 재생 장치에서는 2개의 비디오 플레인(video plane)의 표현이 가능하다. 본 실시 예에 따른 기록 매체 재생 장치(100)에서는 비디오 플레인의 개수를 늘이지 않고도 α플레인(plane)을 이용하여 복수 개의 서브 이미지를 생성할 수 있다. 이에 따라, 복수의 PIP가 제공되는 듯한 효과를 얻을 수 있다.
도 31에 따르면, 메인 이미지(2300) 및 서브 이미지(2310)와 함께 복수의 투명 영역(transparent area)을 포함하는 α플레인(plane)(3100)이 제공될 수 있다. 데이터 처리부(140)는 서브 이미지(2310)에 대해 α플레인(plane)을 적용하여, 메인 이미지 화면(2300) 내에 복수의 서브 이미지(3110, 3120, 3130)를 중첩 표시한다.
도 32는 α플레인(plane)을 이용하여 애니메이션 효과를 표현하는 방법을 설명하기 위한 도면이다. 도 32에 따르면, 메인 이미지 화면(2300)에 복수의 애니메이션 객체를 제공하기 위하여 서브 이미지(2310) 및 α플레인(plane)(3200)가 사용된다. α플레인(plane)(3200)은 복수의 투명 영역(3211, 3212, 3213)을 포함하고, 서브 이미지(2310)는 복수 개의 애니메이션 객체(3201, 3202, 3203)가 표시된다. 이러한 상태에서, 데이터 처리부(140)는 α플레인(plane)(3200)을 이용하여 각 애니메이션 객체(3201, 3202, 3203)에 투명도를 부여할 수 있다. 애니메이션 객체(3201, 3202, 3203)란 움직이는 그래픽 객체가 될 수 있으나, 이에 한정되는 것은 아니다. 즉, 정지된 그래픽 객체나 일반 실사 영상에 대해서도 α플레인(plane)(3200)을 적용하여 PIP로 표현할 수 있다.
한편, α플레인(plane)은 하나만 제공되는 것이 아니라 복수 개로 제공될 수 있다. 도 33은 복수의 α플레인(plane)을 이용하는 경우를 나타낸다.
도 33에 따르면, 기록 매체 재생 장치(100)는 서버 장치(200)로부터 복수 개의 α플레인(plane)(3310, 3320, 3330) 데이터를 수신할 수 있다. 각 α플레인(plane)(3310, 3320, 3330)에는 투명 영역(3211, 3212, 3213)이 적절한 형태 및 개수로 배치될 수 있다. 데이터 처리부(140)는 α플레인(plane)(3310, 3320, 3330)을 선택적으로 적용하여 다양한 효과의 합성 영상을 제공할 수 있다.
도 34는 α플레인(plane)을 이용하여 모자이크 효과를 제공하는 경우를 나타낸다. 모자이크 효과란 영상을 흐리게 보이도록 처리하는 효과를 의미한다. 시청 나이 제한에 따라 흉기, 담배, 신체 부위 등과 같이 미성년자 관람 불가 이미지에 대해서는 모자이크 효과를 부여할 수 있다. 데이터 처리부(140)는 이미지(3400)에 대해 α플레인(plane)(3410)을 부여하여, 일부 객체가 모자이크(3420)처리된 이미지(3400)를 생성할 수 있다. 모자이크 처리를 하는 이미지(3400)는 서브 이미지로만 한정되는 것은 아니며, 메인 이미지가 될 수도 있다. 이 경우, Alpha_plane_dependency, Alpha_plane_presentation_type, Mosaic_type 등과 같은 정보가 더 제공될 수 있다. Alpha_plane_dependency는 제공되는 α플레인(plane)이 메인 이미지에 관련되는 것인지 서브 이미지에 관련되는 것인지를 지시하기 위한 정보이다. Alpha_plane_presentation_type은 α플레인(plane)이 투명도 설정을 위해 이용되는 것인지 모자이크 효과를 위해 이용되는지를 지시하기 위한 정보이다. Mosaic_type은 Alpha_plane_presentation_type이 모자이크 효과로 설정된 경우에 표현 가능한 모자이크 타입을 지시하기 위한 정보이다.
이상과 같이 기록 매체 재생 장치(100)는 α플레인(plane)을 이용하여 다양한 중첩 화면을 제공할 수 있다.
도 35 내지 도 37은 데이터 처리부(140)에서 서브 이미지를 처리하는 다양한 방법을 설명하기 위한 도면이다.
도 35에 따르면, 데이터 처리부(140)는 스케일러(141), 알파 블렌더(142), 가산기(143)를 포함한다. 도시하지는 않았으나 데이터 처리부(140)는 적어도 하나의 버퍼(buffer)를 포함하여, 메인 이미지, 서브 이미지 등을 저장할 수 있다.
스케일러(141)는 서브 이미지(3520) 및 α플레인(plane)(3530)의 해상도와 출력 해상도가 서로 다른 경우, 서브 이미지(3520) 및 α플레인(plane)(3530)에 대해 업 스케일링 또는 다운 스케일링을 수행한다. 또한, 스케일러(141)는 α플레인(plane)(3530) 내에서 서브 이미지(3520)의 객체에 블렌딩될 영역을 지정하는 포지셔닝(positioning) 작업도 함께 수행할 수 있다.
알파 블렌더(142)는 서브 이미지(3520)에 α플레인(plane)(3530)를 적용하는 알파 블렌딩을 수행한다. 그리고, 가산기(143)는 알파 블렌딩된 이미지를 메인 이미지(3510)에 믹싱(mixing)한다. 이에 따라, 중첩 영상이 생성될 수 있다.
도 36은 알파 블렌딩 이후에 스케일링을 수행하는 데이터 처리부(140)의 구성을 나타낸다. 도 36에 따르면, 알파 블렌더(142)는 서브 이미지(3520) 및 알파 플레인(3530)를 각각 입력받아 알파 블렌딩을 수행한다. 그리고 나서, 스케일러(141)는 알파 블렌딩된 이미지를 스케일링 및 포지셔닝하고, 가산기(143)는 스케일링된 이미지와 메인 이미지(3510)를 믹싱한다.
도 37은 데이터 처리부(140)의 또 다른 구성 예를 나타낸다. 도 37에 따르면, 데이터 처리부(140)는 포스트 필터(145), 포스트 프로세서(144), 가산기(143)를 포함한다. 도 37은 상술한 손실 압축 기법에 따른 비디오 코딩 시 α플레인(plane)에 생길 수 있는 결함(artifact)를 최소화하기 위한 구성이다.
즉, 손실 압축 기법으로 α플레인(plane) 영상 스트림을 구성하는 경우, 복원 과정에서 블러킹(blocking)과 같은 결함이 존재할 수 있다. 포스트 필터(145)는 α플레인(plane)(3530) 내의 결함 부분을 필터링한다. 그리고, 포스트 프로세서(144)는 복원된 α플레인(plane)(3530)과 서브 이미지(3520)를 알파 블렌딩하고, 스케일링 및 포지셔닝(positioning)과 같은 처리를 수행한다. 가산기(143)는 처리된 이미지와 메인 이미지(3510)를 믹싱한다.
이 밖에도, 사용자 화면을 구성하기 위하여 α플레인(plane) 및 위치 참조 정보(position reference information)을 활용할 수도 있다.
즉, 사용자의 다양한 유저 인터렉션(User Interaction)이 있는 경우에는 PG(Parental Guidance) 정보, IG(Interactional Guidance) 정보, PIP 등과 같은 다양한 객체들이 한 화면에 동시에 표현될 수 있다. 이 때 각 객체들이 겹칠 수 있는데, 이러한 경우, α플레인(plane) 및 위치 참조 정보를 활용하여 일부 객체들의 전부 또는 일부분을 투명하게 표시하여 줄 수 있다. 이는 PIP 이미지에 한정되지 않으며 메인 이미지 부분에 대해서도 α플레인(plane)을 활용하여 PG,IG 화면이 제공될 수 있는 위치를 마련할 수도 있다.
이상과 같이, 기록 매체 재생 장치에서는 서버 장치를 통해 서브 이미지 데이터 및 α플레인(plane) 정보 등과 같은 다양한 부가 정보를 수신하여, 다양한 화면을 구성할 수 있다. 이러한 부가 정보에는 사용자 인터렉션을 위한 객체에 대한 정보도 포함될 수 있다. 이하에서는 사용자 인터렉션을 위한 부가 정보를 제공하는 실시 예에 대하여 설명한다.
< 객체(object) 단위의 사용자 인터렉션을 제공하는 실시 예 >
상술한 바와 같이 디스플레이 장치의 성능이 향상되면서 컨텐츠 역시 UHD급 초고화질 컨텐츠, 3D 입체 컨텐츠 등과 같은 실감형 컨텐츠로 진화하고 있다. 이에 따라, 이하의 실시 예에서는, 시청자가 단순히 컨텐츠를 감상하는 수준에 그치지 않고 능동적으로 컨텐츠를 이용할 수 있도록 사용자 인터렉션 객체를 제공한다. 사용자 인터렉션 객체란 사용자에게 알리기 위한 알림 메시지나, 사용자가 선택 가능한 선택 메뉴 등과 같이 다양하게 있을 수 있다.
도 38은 본 발명의 또 다른 실시 예에 따른 기록 매체 재생 장치에서의 사용자 인터렉션 객체 표시 방법을 설명하기 위한 도면이다. 사용자 인터렉션 객체에 대한 정보는 서버 장치(200)나 기타 다양한 외부 장치들로부터 제공될 수 있다.
도 38에 따르면, 기록 매체 재생 장치(100)의 데이터 처리부(140)는 기록 매체(10)로부터 검출된 제1 데이터를 처리하여 메인 무비 플레인, 즉, 메인 이미지(3810)를 생성한다. 그리고, 서버 장치나 기타 소스로부터 수신한 정보를 이용하여 프리젠테이션 플레인(3820), 인터렉티브 플레인(3830) 등을 생성한다. 프리젠테이션 플레인(3820)에는 각종 알림 정보(3821)가 표시될 수 있고, 인터렉티브 플레인(3830)에는 사용자가 선택 가능한 각종 메뉴나 버튼(3831, 3832)가 표시될 수 있다.
데이터 처리부(140)는 생성된 각 플레인들(3810, 3820, 3830)을 가산하여, 출력 화면(3840)을 생성한다. 이에 따라, 메인 이미지(3810)와 결합된 알림 정보(3821), 버튼(3831, 3832) 등이 표시된다. 이와 같이, 본 실시 예에 따른 기록 매체 재생 장치(100)는 객체 단위의 사용자 인터렉션을 제공할 수 있다.
객체 단위의 사용자 인터렉션을 제공하기 위해서는 기존의 BD 타이틀에서 제공하는 컨텐츠 이외에 객체 단위를 구분하기 위한 객체 식별 정보와, 관련 정보를 연동할 수 있는 객체 부가 정보 등이 필요하다. 이러한 정보들은 서버 장치로부터 제공될 수 있다.
한편, 상술한 바와 같이 기록 매체 재생 장치(100)는 서버 장치(200)로부터 뎁스 맵이나 디스패리티 맵과 같은 정보들을 수신할 수 있다. 객체 식별 정보나 객체 부가 정보는 실시 예에 따라 다양한 방식으로 제공될 수 있다.
일 실시 예에 따르면, 이러한 정보들은 뎁스 맵이나 디스패리티 맵 등과는 별도로, 메타데이터 형태로 제공될 수 있다. 이러한 방식은 복수 스트림 기반 방식이라고 명명할 수 있다. 또는 객체 식별 정보나 객체 부가 정보는 뎁스 맵이나 디스패리티 맵과 동일한 파일로 제공될 수 있다. 이러한 방식은 단일 스트림 기반 방식이라고 명명할 수 있다.
복수 스트림 기반 방식으로 구현된 경우, 객체 식별 정보는 뎁스 맵의 그레이 레벨과 연동되는 메타 데이터, 객체의 좌표 정보를 포함하는 메타데이터, 윤곽(contour) 정보를 포함하는 메타데이터 등이 될 수 있고, 객체 부가 정보는 객체 식별 정보에 의해 식별되는 객체에 링크되는 URL 등을 포함할 수 있다.
도 39는 뎁스 맵에서 객체가 표시되는 영역(region)을 구분하는 방식을 설명하기 위한 도면이다. 도 39에 따르면, 뎁스 맵(3900)내의 각 객체들은 3개의 객체 영역(region #1, #2, #3)(3910, 3920, 3930)과 배경 영역(region #0)으로 이루어진다.
도 40은 객체 식별 정보가 좌표 정보를 포함하는 메타데이터의 예를 나타낸다. 도 40에 따르면, 메타데이터는 XML 형식으로 표현될 수 있다. 메타데이터에는 각 영역(region #0, #1, #2, #3)을 특정할 수 있는 좌표 값((x1, y1), (x2, y2), ...(xn, yn))들과, 그 영역에 링크되는 URL 정보들이 포함될 수 있다.
제어부(130)는 통신부(120)를 이용해서, 메타데이터내의 URL 정보에 대응되는 서버 장치로 액세스한다. 이에 따라, 서버 장치로부터 객체 정보들을 수신한다. 데이터 처리부(140)는 수신된 객체 정보에 따른 객체들을, 좌표 값으로 지정된 영역에 생성한다. 이에 따라, 각종 객체들을 포함하는 합성 화면이 디스플레이 장치로 제공될 수 있다. 사용자는 디스플레이 장치의 화면을 터치하여, 객체를 선택할 수 있다. 디스플레이 장치는 터치 센서를 이용하여 화면 상의 터치 좌표 값을 감지한 후, 기록 매체 재생 장치로 전송한다.
제어부(130)는 디스플레이 장치로부터 제공되는 터치 좌표 값과 메타데이터 내의 좌표 값을 비교하여, 객체 선택 여부를 판단한다. 하나의 객체가 선택되었다고 판단되면, 제어부(130)는 해당 객체에 대응되는 URL에 대응되는 서버 장치로 액세스하도록 통신부(120)를 제어한다. 이에 따라, 객체 선택에 따른 피드백 화면을 서버 장치로부터 수신할 수 있다. 가령, BD 타이틀에 대응되는 상세 정보를 확인하기 위한 메뉴가 선택되면, 통신부(120)는 서버 장치로부터 상세 정보를 수신하고, 데이터 처리부(140)는 수신된 상세 정보를 화면 상에 중첩한다.
도 40에서는 좌표 값을 이용하여 객체를 식별하는 경우의 메타 데이터를 도시하였으나, 객체의 윤곽(contour), 즉, 에지(edge) 부분의 좌표 값을 제공하여 객체를 식별할 수도 있다. 이 경우, 제어부(130)는 메타 데이터에 기재된 좌표값 내부 영역을 하나의 단일 객체로 인식할 수 있다.
또는 뎁스 맵과 연동시켜 객체를 식별할 수도 있다. 이 경우, 뎁스 맵의 그레이 레벨을 이용할 수 있다. 도 41은 뎁스 맵의 그레이 레벨을 이용하여 객체를 식별하는 메타데이터의 예를 나타낸다.
도 41에 따르면, 메타데이터는 XML 형식으로 표현될 수 있다. 뎁스 맵은 객체 별로 상이한 그레이 레벨로 표시될 수 있다. 이에 따라, 각 그레이 레벨 범위에 매칭되는 객체 부가 정보가 메타 데이터에 포함된다. 도 41에서는 그레이 레벨이 50, 100, 200, 240인 경우에 대해 각각 매칭되는 URL 정보를 나타낸다.
상술한 바와 같이 제어부(130)는 뎁스 맵의 그레이 레벨과 연동하는 객체 부가 정보를 이용하여 객체 단위의 사용자 인터렉션을 제공할 수 있다.
이 밖에도, 상술한 바와 같이 단일 스트림 기반 방식으로 객체를 제공할 수도 있다.
도 42는 단일 스트림 기반 방식을 설명하기 위한 도면이다. 도 42에 따르면, 서버 장치(200)로부터 전송되는 뎁스 맵 내에 워터마크(watermark) 형식으로 객체 부가 정보를 포함시킬 수 있다. 서버 장치(200)는 영상의 공간 영역 또는 주파수 영역의 LSB를 이용하여 워터마크를 제공할 수 있다. 도 42에서는 뎁스 값을 나타내기 위한 8 비트 중에서, 공간 영역의 하위 LSB bit 0-1을 워터마크 영역으로 사용하여 URL 정보를 제공하고, 나머지 비트 2-7은 그레이 레벨로 표시되는 뎁스 맵 정보를 가지는 경우를 나타낸다. 이와 같이, 뎁스 맵 데이터 중 일부를 이용하여 URL과 같은 객체 부가 정보를 제공하여 줄 수 있다.
이러한 객체 식별 정보, 객체 부가 정보등을 제공하기 위하여 BD 패키지의 구성이 변형될 수 있다.
도 43은 메인 패스 스트림을 통해 뎁스 맵과 메타 데이터를 제공하는 구성을 나타낸다. 도 43의 (a)는 플레이리스트 내의 메인 패스 스트림을 나타낸다. 도 43의 (b)는 메인 패스 스트림 내에서 플레이아이템에 포함되는 메인 클립 정보를 나타낸다. 도 43 에 도시된 바와 같이, 메인 패스 스트림 내에서 플레이아이템에 메인 클립 정보 내에 기본적인 비디오 스트림, 오디오 스트림 이외에 뎁스 맵(c), 메타 데이터(d) 등도 함께 제공할 수 있다.
이 밖에도, 플레이아이템 내의 STN_table의 stream_entry(), stream_attribute()을 확장 정의하여 메타 데이터를 제공할 수 있다.
stream_entry()에서 뎁스 맵, 객체 메타데이터는 메인 패스(main path)로 제공되기 때문에 type=1로 정의할 수 있다. stream_attribute()의 스트림 코딩 타입에 있어서 뎁스 맵은 일반 비디오 속성을 가지기 때문에 0x02, 0x1B, 0xEA, 0x20 가운데 하나로 정의될 수 있고, 객체 메타데이터는 리저브되어 있는 값을 이용하여 신규 정의할 수 있다.
또는 메인 패스와 함께 서브 패스 스트림을 이용하여 뎁스 맵 및 메타데이터를 제공할 수도 있다.
도 44는 메인 패스 스트림을 통해 기본적인 비디오 스트림, 오디오 스트림과 함께 뎁스 맵을 제공하고, 서브 패스 스트림을 통해 메타데이터 정보를 제공하는 경우를 나타낸다. 도 44의 구성은 일 예에 불과하며, 각 스트림에 포함되는 정보는 반대로 구성될 수도 있다.
도 44의 (a)는 플레이리스트의 구성을 나타낸다. 플레이리스트 내에서 메인 패스 스트림의 플레이 아이템에는 메인 클립 정보(b)가 포함되고, 서브 패스 스트림의 플레이아이템에는 서브 클립 정보(c)가 포함된다. 메인 클립 정보(b)에는 비디오 스트림, 오디오 스트림과 함께 뎁스 맵(d)이 포함되고, 서브 클립 정보(c)에는 메타데이터(e)가 포함된다.
한편, 뎁스 맵이나 메타 데이터 중 하나를 서브 패스로 제공하기 위하여 신규 subpath_type을 정의할 수 있다. 가령, 뎁스 맵을 위한 신규 subpath_type은 리저브되어 있는 값들 중 0x10 값으로 정의하고, 메타데이터를 위한 신규 subpath_type은 리저브되어 있는 값들 중 0x11값으로 정의할 수 있다.
메타 데이터를 서브 패스 스트림을 이용하여 전송하는 경우에도, 플레이아이템 내의 STN_table의 stream_entry(), stream_attribute()을 확장 정의할 수 있다. 가령, 메인 패스로 제공되는 스트림의 stream_entry()의 타입 값은 1로 정의하고, 서브 패스로 제공되는 스트림의 타입값은 2, 3 또는 신규 값으로 정의할 수 있다. 그리고, stream_attribute()의 스트림 코딩 타입에 있어서 뎁스 맵은 0x02, 0x1B, 0xEA, 0x20 가운데 하나로 정의될 수 있고, 객체 메타데이터는 리저브되어 있는 값을 이용하여 신규 정의할 수 있다.
또한, 서브 패스를 통해 주어지는 뎁스 맵이나 메타데이터에 대해서 clipinpo()의 신규 어플리케이션 타입을 정의할 수도 있다. 가령, 서브 패스를 통해 제공되는 뎁스 맵에 대해서는 application_type의 값을 10으로 정의하고, 메타데이터에 대해서는 11로 정의하여 줄 수 있다.
한편, 뎁스 맵 및 메타 데이터는 서브 패스 스트림을 통해서 동시에 제공될 수도 있다. 도 45는 서브 패스 스트림을 이용하여 뎁스 맵, 메타 데이터를 함께 제공하는 경우를 나타낸다.
도 45의 (a)는 플레이리스트의 구성을 나타낸다. 이 중 서브 패스 스트림에 포함된 서브 클립 정보(b)에는 뎁스 맵(c) 및 메타 데이터(d)가 함께 포함된다.
서브 패스 스트림을 통해서 뎁스 맵 및 메타데이터를 함께 제공하기 위해서는 신규 subpath_type를 정의할 수 있다. 가령, 뎁스 맵을 위한 신규 Subpath_type은 리저브되어 있는 0x10값으로 신규 정의하고, 메타데이터를 위한 신규 Subpath_type은 리저브되어 있는 0x11값으로 신규 정의할 수 있다.
또한, 뎁스 맵 및 메타 데이터를 서브 패스 스트림을 이용하여 함께 전송하는 경우에도, 플레이아이템 내의 STN_table의 stream_entry(), stream_attribute()을 확장 정의할 수 있다. 가령, 서브 패스로 제공되는 스트림의 타입값은 2, 3 또는 신규 값으로 정의할 수 있다. 그리고, stream_attribute()의 스트림 코딩 타입에 있어서 뎁스 맵은 0x02, 0x1B, 0xEA, 0x20 가운데 하나로 정의될 수 있고, 객체 메타데이터는 리저브되어 있는 값을 이용하여 신규 정의할 수 있다. 또한, 서브 패스를 통해 주어지는 뎁스 맵 및 메타데이터에 대해서 clipinpo()의 신규 어플리케이션 타입을 정의할 수도 있다. 가령, 서브 패스를 통해 제공되는 뎁스 맵에 대해서는 application_type의 값을 10으로 정의하고, 메타데이터에 대해서는 11로 정의하여 줄 수 있다.
한편, 뎁스 맵 및 메타데이터를 제공하기 위한 공통 속성이 정의될 수도 있다. 즉, 뎁스 맵, 메타데이터를 이용한 객체 단위의 사용자 인터렉션을 위해서 UO_mark_table(User Operation mark table)을 확장 정의할 수 있다. 구체적으로는, UO_mark_table의 리저브 공간(reserved area)에 object_selection_mark을 정의할 수 있다. UO_mark_table은 xxxx.mpls의 AppInfoPlayList() 또는 PlayItem()에서 정의될 수 있다.
한편, 객체는 비디오 프레임과 동기화되어 표시되어야 한다. 동기화를 위하여, 뎁스 맵, 메타 데이터는 비디오와 동일한 프레임 단위의 동기화 정보를 가질 수 있다. 동기화 정보의 예로는 PTS(Time Stamp)가 사용될 수 있다. 이에 따라, 뎁스 맵, 메타데이터를 통해 식별 가능한 객체는, 제공되는 비디오와 프레임단위로 동기화될 수 있다.
도 46은 비디오 프레임과 뎁스맵이 동기화된 상태를 도시하였다. 도 46에 따르면, 데이터 처리부(140)는 각 프레임 #1, #2, #3(4601, 4602, 4603)과 동일한 PTS를 가지는 뎁스맵(4611, 4612, 4613)과 메타데이터를 이용하여 프레임 단위로 일치하는 객체를 제공한다.
이상과 같이 기록 매체 재생 장치의 제어부(130)는 다양한 시그널링 정보들을 이용하여 메타데이터를 확인하고, 이를 바탕으로 상술한 바와 같이 객체 단위의 사용자 인터렉션을 제공할 수 있다.
이에 따라, 객체 단위의 사용자 입력을 제어부(130)가 직접 처리하며 사용자 인터렉션에 대한 결과를 기록 매체의 A/V 출력 결과에 더하여 디스플레이 장치로 전송한다.
도 47은 기록 매체 재생 장치가 모바일 디바이스를 통해 입력되는 사용자 인터렉션에 따른 결과를 디스플레이 장치로 전송하는 과정을 설명하기 위한 도면이다. 도 47에 따르면, 기록 매체 재생 장치(100)는 모바일 디바이스(400)를 통해 입력되는 사용자 조작에 따라 사용자 인터렉션을 제공한다. 모바일 디바이스(400)는 휴대폰이나 리모콘, 태블릿 PC 등과 같이 다양한 종류의 디바이스로 구현될 수 있다.
제어부(130)는 객체 식별 정보 및 객체 부가 정보와 메인 이미지를 모바일 디바이스(400)로 전송하거나, 객체 식별 정보 및 객체 부가 정보에 의해 생성된 객체는 메인 이미지에 중첩한 상태로 모바일 디바이스(400)로 전송할 수 있다. 사용자는 모바일 디바이스(400)의 화면을 터치하거나, 방향키 등을 조작하여 화면 상의 객체를 선택하는 등의 인터렉션을 할 수 있다. 모바일 디바이스(400)는 사용자의 터치 좌표 값을 기록 매체 재생 장치(100)로 전송하고, 기록 매체 재생 장치(100)는 터치 좌표 값에 대응되는 객체 부가 정보를 이용하여 사용자 인터렉션에 대한 피드백을 제공할 수 있다. 기록 매체 재생 장치(100)는 그 피드백 화면을 A/V 스트림에 적용하여 적용된 결과물을 디스플레이 장치(300)로 전송한다.
기록 매체 재생 장치(100)는 모바일 디바이스(400)와 직접적으로 통신하여 사용자 인터렉션 신호를 수신할 수도 있지만, 디스플레이 장치(200)를 통해 사용자 인터렉션 신호를 수신할 수도 있다.
도 48은 디스플레이 장치(200)를 통해 사용자 인터렉션을 수행하는 경우를 나타내는 도면이다. 기록 매체 재생 장치(100)의 제어부(130)는 객체 식별 정보 및 객체 부가 정보와 AV 데이터를 함께 디스플레이 장치(200)로 전송하여 줄 수 있다. 디스플레이 장치(200)는 수신된 데이터를 모바일 디바이스(400)로 전송하고, 모바일 디바이스(400)는 이를 화면 상에 표시한다. 모바일 디바이스(400)는 화면 상에서 사용자 인터렉션이 이루어지면, 그 사용자 인터렉션 신호를 디스플레이 장치(300)를 통해 기록 매체 재생 장치(100)로 제공한다. 이와 같이, 사용자는 모바일 디바이스(400)를 이용하여 디스플레이 장치(200)의 화면을 변경하거나, 다양한 화면을 시청할 수 있다.
기록 매체 재생 장치(100)는 HDMV 인터렉티브 객체 디코더/컨트롤러 모듈을 이용하여 사용자 인터렉션을 처리할 수 있다.
한편, 본 실시 예에에서는 복수 파일 기반 및 단일 파일 기반 방식에서는 뎁스 맵과 함께 객체 식별 정보나 객체 부가 정보가 제공되는 경우를 설명하였으나, 뎁스 맵과 별도로 객체 식별 정보 및 객체 부가 정보만이 제공될 수도 있다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 기록 매체 재생 장치는 기록 매체에 저장된 데이터와 서버 장치로부터 전송되는 데이터를 조합하여 다양한 화면을 구성할 수 있다. 구체적으로는, 스테레오 영상이나 다시점 영상을 제공하거나, PIP 화면, 사용자 인터렉션 객체 등을 제공할 수 있다. 또한, 각 실시 예에서는, 네트워크 상태를 고려하여 적응적으로 통신을 수행하여 데이터를 수신할 수 있어, 안정적인 컨텐츠 재생이 가능해질 수도 있다.
이러한 기록 매체 재생 장치의 동작은 기록 매체 재생 장치에 탑재되는 비일시적 판독 가능 매체에 저장된 프로그램에 의해 수행될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
구체적으로는, 제1 데이터가 기록된 기록 매체로부터 제1 데이터를 검출하는 단계, 서버 장치와 네트워크 적응적 통신(network adaptive communication)을 수행하여 제2 데이터를 수신하는 통신 단계, 데이터 바인딩(data binding)을 위한 메니페스트(manifest) 파일에 따라, 제1 데이터 및 상기 제2 데이터를 조합하여 가상 데이터 패키지를 생성하는 단계, 가상 데이터 패키지에 기초하여 컨텐츠를 재생하는 재생 단계 및 외부 장치로 상기 재생된 컨텐츠를 출력하는 단계를 순차적으로 수행하여 컨텐츠 재생을 수행하는 프로그램이 비일시적 판독 가능 매체에 저장될 수 있다.
또는, 제1 데이터가 기록된 기록 매체로부터 제1 데이터를 검출하는 단계, 서버 장치로부터 제2 데이터를 수신하는 통신 단계, 제1 데이터를 이용하여 메인 이미지 화면을 생성하는 단계, 제2 데이터를 이용하여 적어도 하나의 PIP(Picture In Picture) 객체를 생성하는 단계, 메인 이미지 화면 내에 적어도 하나의 PIP 객체를 중첩시켜 화면을 구성하는 단계, 구성된 화면을 외부 장치로 출력하는 단계를 순차적으로 수행하여 컨텐츠 재생을 수행하는 프로그램이 비일시적 판독 가능 매체에 저장될 수 있다.
또는, 제1 데이터가 기록된 기록 매체로부터 제1 데이터를 검출하는 단계, 서버 장치로부터 제2 데이터를 수신하는 통신 단계, 제1 데이터를 이용하여 메인 이미지 화면을 생성하는 단계, 제2 데이터를 이용하여 메인 이미지 화면 내에 사용자 인터렉션 객체를 표시하는 단계, 사용자 인터렉션 객체가 선택되면 선택된 사용자 인터렉션 객체에 대응되는 동작을 수행하는 단계를 순차적으로 수행하여 컨텐츠 재생을 수행하는 프로그램이 비일시적 판독 가능 매체에 저장될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 드라이버부 120 : 통신부
130 : 제어부 140 : 데이터 처리부
150 : 메모리 160 : 인터페이스부
170 : 데이터 저장부

Claims (16)

  1. 제1 데이터가 기록된 기록 매체를 로딩하기 위한 드라이버부;
    서버 장치와 네트워크 적응적 통신(network adaptive communication)을 수행하여 제2 데이터를 수신하는 통신부;
    상기 제2 데이터가 저장되는 데이터 저장부;
    데이터 바인딩(data binding)을 위한 메니페스트(manifest) 파일을 저장하는 메모리;
    상기 메니페스트(manifest) 파일을 이용하여, 상기 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트하는 제어부;
    상기 가상 데이터 패키지에 기초하여, 상기 제1 데이터 및 상기 제2 데이터를 연결시켜 재생하는 데이터 처리부;
    외부 장치로 상기 재생된 데이터를 출력하는 인터페이스부;를 포함하는 기록 매체 재생 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    초기 네트워크 대역폭을 체크하고, 상기 메니페스트 파일 내에 다중 구성된 애셋(assets) 목록 중에서 상기 초기 네트워크 대역 폭에 대응되는 애셋 항목을 선택하며, 선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로 상기 데이터 패키지를 상기 가상 데이터 패키지로 업데이트하는 것을 특징으로 하는 기록 매체 재생 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    네트워크 대역폭을 실시간 체크하고, 상기 메니페스트 파일 내에 다중 구성된 정보 중에서 상기 체크된 네트워크 대역폭에 대응되는 정보에 따라 상기 제2 데이터를 다운로딩하며, 다운로딩된 상기 제2 데이터를 상기 가상 데이터 패키지에 따라 상기 제1 데이터와 연결하여 재생하는 것을 특징으로 하는 기록 매체 재생 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    네트워크 대역폭을 실시간 체크하여, 상기 네트워크 대역폭에 따라 상기 가상 데이터 패키지를 업데이트하는 것을 특징으로 하는 기록 매체 재생 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 메니페스트 파일 내에 다중 구성된 애셋 목록 중에서, 상기 체크된 네트워크 대역폭에 대응되는 애셋 항목을 선택하고, 선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로, 상기 가상 데이터 패키지를 실시간 업데이트하는 것을 특징으로 하는 기록 매체 재생 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 데이터는 좌안 영상 및 우안 영상을 포함하며,
    상기 제2 데이터는 뎁스 맵 또는 디스패리티 맵을 포함하며,
    상기 데이터 처리부는,
    상기 뎁스 맵 또는 상기 디스패리티 맵과, 상기 좌안 영상 및 상기 우안 영상을 이용하여 다시점 영상을 생성하고,
    상기 인터페이스부는, 상기 생성된 다시점 영상을 상기 외부 장치로 전송하는 것을 특징으로 하는 기록 매체 재생 장치.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 데이터는 메인 이미지 데이터를 포함하고,
    상기 제2 데이터는 서브 이미지 데이터를 포함하며,
    상기 데이터 처리부는, 상기 메인 이미지 데이터 및 상기 서브 이미지 데이터를 이용하여, 메인 이미지 내에 적어도 하나의 서브 이미지를 표현하는 것을 특징으로 하는 기록 매체 재생 장치.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 데이터는 이미지 데이터를 포함하고,
    상기 제2 데이터는 객체 위치를 정의하기 위한 객체 식별 정보 및 객체 위치에 연동되는 객체 부가 정보를 포함하며,
    상기 데이터 처리부는 상기 이미지 데이터, 상기 객체 식별 정보 및 상기 객체 부가 정보를 이용하여, 이미지 내에 사용자 인터렉션 객체를 표현하는 것을 특징으로 하는 기록 매체 재생 장치.
  9. 기록 매체 재생 방법에 있어서,
    제1 데이터가 기록된 기록 매체로부터 제1 데이터를 검출하는 단계;
    서버 장치와 네트워크 적응적 통신(network adaptive communication)을 수행하여 제2 데이터를 수신하는 통신 단계;
    데이터 바인딩(data binding)을 위한 메니페스트(manifest) 파일을 이용하여, 상기 제1 데이터의 데이터 패키지를 가상 데이터 패키지로 업데이트하는 업데이트 단계;
    상기 가상 데이터 패키지에 기초하여 상기 제1 데이터 및 상기 제2 데이터를 연결시켜 재생하는 재생 단계; 및
    외부 장치로 상기 재생된 데이터를 출력하는 단계;를 포함하는 컨텐츠 재생 방법.
  10. 제9항에 있어서,
    상기 업데이트 단계는,
    초기 네트워크 대역폭을 체크하는 단계;
    상기 메니페스트 파일 내에 다중 구성된 애셋(assets) 목록 중에서 상기 초기 네트워크 대역 폭에 대응되는 애셋 항목을 선택하는 단계;
    선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로 상기 데이터 패키지를 상기 가상 데이터 패키지로 업데이트하는 단계;를 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
  11. 제9항에 있어서,
    상기 통신 단계는,
    네트워크 대역폭을 실시간 체크하는 단계;
    상기 메니페스트 파일 내에 다중 구성된 정보 중에서 상기 체크된 네트워크 대역폭에 대응되는 정보에 따라 상기 제2 데이터를 다운로딩하는 단계;를 포함하며,
    상기 재생 단계는,
    다운로딩된 상기 제2 데이터를 상기 가상 데이터 패키지에 따라 상기 제1 데이터와 연결하여 재생하는 것을 특징으로 하는 컨텐츠 재생 방법.
  12. 제9항에 있어서,
    네트워크 대역폭을 실시간 체크하여, 상기 네트워크 대역폭에 따라 상기 가상 데이터 패키지를 업데이트하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
  13. 제9항에 있어서,
    네트워크 대역폭을 실시간 체크하는 단계;
    상기 메니페스트 파일 내에 다중 구성된 애셋 목록 중에서, 상기 체크된 네트워크 대역폭에 대응되는 애셋 항목을 선택하는 단계;
    선택된 애셋 항목에 기록된 데이터베이스 연결 정보를 기반으로 상기 가상 데이터 패키지를 실시간 업데이트하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 데이터는 좌안 영상 및 우안 영상을 포함하며,
    상기 제2 데이터는 뎁스 맵 또는 디스패리티 맵을 포함하며,
    상기 재생 단계는,
    상기 뎁스 맵 또는 상기 디스패리티 맵과, 상기 좌안 영상 및 상기 우안 영상을 이용하여 다시점 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
  15. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 데이터는 메인 이미지 데이터를 포함하고,
    상기 제2 데이터는 서브 이미지 데이터를 포함하며,
    상기 재생 단계는,
    상기 메인 이미지 데이터 및 상기 서브 이미지 데이터를 이용하여 메인 이미지 내에 적어도 하나의 서브 이미지를 추가하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
  16. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 데이터는 이미지 데이터를 포함하고,
    상기 제2 데이터는 사용자 인터렉션 객체를 구성하기 위한 객체 식별 정보 및 객체 부가 정보를 포함하며,
    상기 재생 단계는,
    상기 이미지 데이터, 상기 객체 식별 정보 및 상기 객체 부가 정보를 이용하여 이미지 내에 상기 사용자 인터렉션 객체를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 재생 방법.
KR1020130022954A 2012-10-04 2013-03-04 기록 매체 재생 장치 및 그 재생 방법 KR20140044258A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2013/008916 WO2014054925A1 (en) 2012-10-04 2013-10-04 Apparatus for reproducing recording medium and method thereof
US14/046,383 US20140099065A1 (en) 2012-10-04 2013-10-04 Apparatus for reproducing recording medium and method thereof
EP13187426.5A EP2717562A3 (en) 2012-10-04 2013-10-04 Apparatus for reproducing recording medium and method thereof
CN201310464858.9A CN103713855A (zh) 2012-10-04 2013-10-08 记录介质再生装置及其再生方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261709413P 2012-10-04 2012-10-04
US61/709,413 2012-10-04

Publications (1)

Publication Number Publication Date
KR20140044258A true KR20140044258A (ko) 2014-04-14

Family

ID=50652361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130022954A KR20140044258A (ko) 2012-10-04 2013-03-04 기록 매체 재생 장치 및 그 재생 방법

Country Status (1)

Country Link
KR (1) KR20140044258A (ko)

Similar Documents

Publication Publication Date Title
CA2680696C (en) Recording medium on which 3d video is recorded, recording medium for recording 3d video, and reproducing device and method for reproducing 3d video
KR101987820B1 (ko) 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법
CA2816434C (en) Recording medium, playback device, recording device, playback method and recording method for editing recorded content while maintaining compatibility with old format
JP5368463B2 (ja) 立体視映像再生装置、及び立体視映像表示装置
RU2552137C2 (ru) Точки входа для ускоренного 3d-воспроизведения
WO2010116998A1 (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録媒体
WO2010116895A1 (ja) 記録装置、記録方法、再生装置、再生方法、記録媒体、およびプログラム
US20140099065A1 (en) Apparatus for reproducing recording medium and method thereof
TWI479879B (zh) Data structure and recording medium, and reproducing apparatus, reproducing method, program, and program storage medium
KR20140044258A (ko) 기록 매체 재생 장치 및 그 재생 방법
JP4985893B2 (ja) 記録方法
JP4984192B2 (ja) 記録方法
JP4984193B2 (ja) 再生装置、再生方法、および記録方法
JP2012124925A (ja) 記録方法

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination