KR20130007672A - 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법 - Google Patents

데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법 Download PDF

Info

Publication number
KR20130007672A
KR20130007672A KR1020127033439A KR20127033439A KR20130007672A KR 20130007672 A KR20130007672 A KR 20130007672A KR 1020127033439 A KR1020127033439 A KR 1020127033439A KR 20127033439 A KR20127033439 A KR 20127033439A KR 20130007672 A KR20130007672 A KR 20130007672A
Authority
KR
South Korea
Prior art keywords
stream
video
sub
audio
reproduced
Prior art date
Application number
KR1020127033439A
Other languages
English (en)
Other versions
KR101244148B1 (ko
Inventor
아야꼬 이와세
모또끼 가또
시노부 하또리
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130007672A publication Critical patent/KR20130007672A/ko
Application granted granted Critical
Publication of KR101244148B1 publication Critical patent/KR101244148B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/877—Regeneration of colour television signals by assembling picture element blocks in an intermediate memory
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은, 픽처-인-픽처(Picture-in-Picture)의 표시를 설정할 수 있는 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법에 관한 것이다. pip_metadata에는, 픽처-인-픽처 표시에 필요한 정보가 기재된다. pip_horizotal_position은, 프라이머리 비디오의 프레임 상의 세컨더리 비디오가 표시되는 서브 표시 화면의 좌상 코너의 X 좌표를 나타내고, pip_vertical_position은, 프라이머리 비디오의 프레임 상의 세컨더리 비디오가 표시되는 서브 표시 화면의 좌상 코너의 Y 좌표를 나타낸다. pip_scale은, 세컨더리 비디오가 표시되는 서브 표시 화면의 크기를 나타내는 정보가 기재되고, 예를 들면, 프라이머리 비디오에 대한 세컨더리 비디오의 크기의 비율, 세컨더리 비디오의 오리지날 화상에 대한 축소율, 또는 서브 표시 화면을 구성하는 화소가 종횡 각각 몇 화소로 구성되는지를 나타내는 정보 등이 기재된다. 본 발명은, 재생 장치에 적용할 수 있다.

Description

데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법{DATA GENERATING METHOD, RECORDING DEVICE, RECORDING METHOD, AND STORAGE MEDIUM, REPRODUCTION DEVICE, AND REPRODUCTION METHOD}
본 발명은, 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법에 관한 것으로, 특히, 스트림 데이터를 재생하는 경우에 이용하기에 적합한, 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법에 관한 것이다.
서로 다른 콘텐츠를 동시 시청하기 위해서, 복수의 콘텐츠의 영상 데이터를 디코드한 후, 비압축의 화상 데이터를 합성하고, 그 후, D/A 변환을 실행하고, 영상 출력 단자에 출력하여, 외부의 표시 장치에 표시시키는 기술이 있다(예를 들면, 특허 문헌 1).
[특허 문헌1] 일본 특개 2005-20242호 공보
전술한 바와 같이, 복수의 콘텐츠의 영상 데이터를 합성하여 표시시키는 경우뿐만 아니라, 1개의 콘텐츠가, 복수의 영상 데이터를 포함하는 경우 등에 있어서도, 복수의 영상 데이터를 합성하여 출력시키는 것이 요구되고 있다.
복수의 영상 데이터가 합성되어 출력되는 경우, 메인 표시 화면에 대한 서브 표시 화면의 표시 방법을, 재생 장치에 의존시키는 것이 아니라, 예를 들면, 콘텐츠마다, 또는, 콘텐츠의 소정의 재생 개소마다, 콘텐츠의 작성원 또는 콘텐츠의 배급원 등을 설정하는 것은 곤란했다.
본 발명은 이러한 상황을 감안하여 이루어진 것으로, 메인 표시 화면에 대한 서브 표시 화면의 표시 방법을 지정할 수 있도록 하는 것이다.
본 발명의 데이터 생성 방법은, 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터를 생성하는 데이터 생성 방법으로서, 메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 단계; 상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 단계; 상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 단계; 및 상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 단계를 포함하고, 상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림 이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성된다.
본 발명의 기록 장치는, 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터가 기록되는 기록 매체에 데이터를 기록하는 기록 장치로서, 메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 제1 취득 수단과, 상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 제2 취득 수단과, 상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 제3 취득 수단과, 상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 생성 수단과, 취득된 상기 메인 스트림의 영상 및 음성, 취득된 상기 서브 스트림의 영상 및 음성 또는 상기 서브 스트림의 영상, 및 생성된 상기 재생 관리 데이터를 상기 기록 매체에 기록하는 기록 수단을 포함하고, 상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성된다.
본 발명의 기록 방법은, 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터가 기록되는 기록 매체의 기록 방법으로서, 메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 단계; 상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 단계; 상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 단계; 상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 단계; 취득된 상기 메인 스트림의 영상 및 음성, 취득된 상기 서브 스트림의 영상 및 음성 또는 상기 서브 스트림의 영상, 및 생성된 상기 재생 관리 데이터를 상기 기록 매체에 기록하는 단계를 포함하고, 상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성된다.
본 발명의 프로그램 저장 매체는, 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터가 기록되는 기록 매체에 데이터를 기록하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 프로그램 저장 매체로서, 상기 프로그램은, 메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 단계; 상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 단계; 상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 단계; 상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 단계; 취득된 상기 메인 스트림의 영상 및 음성, 취득된 상기 서브 스트림의 영상 및 음성 또는 상기 서브 스트림의 영상, 및 생성된 상기 재생 관리 데이터를 상기 기록 매체에 기록하는 단계를 포함하는 처리를 컴퓨터에 실행시키되, 상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성되는 것을 특징으로 한다.
본 발명의 재생 장치는, 메인 스트림 및 서브 스트림을 재생하는 재생 장치로서, 상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 상기 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 취득하는 취득 수단과, 상기 취득 수단에 의해 취득된 상기 재생 관리 데이터에 기초하여, 재생되는 상기 메인 스트림 및 상기 서브 스트림을 읽어내는 읽어내기 수단과, 상기 취득 수단에 의해 취득된 상기 재생 관리 데이터에 포함되어 있는 상기 표시 상태에 관한 정보를 기초로, 상기 읽어내기 수단에 의해 읽어내어진 상기 메인 스트림의 영상과, 상기 서브 스트림의 영상을 합성하는 영상 합성 수단과, 유저의 조작 입력을 받는 조작 입력 수단을 포함하고, 상기 취득 수단에 의해 취득되는 상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고, 상기 영상 합성 수단은, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상을 합성한다.
본 발명의 재생 방법은, 메인 스트림 및 서브 스트림을 재생하는 재생 장치의 재생 방법으로서, 상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 상기 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 읽어내는 단계; 상기 재생 관리 데이터에 기초하여, 재생되는 상기 메인 스트림 및 상기 서브 스트림을 읽어내는 단계; 상기 재생 관리 데이터에 포함되어 있는 상기 표시 상태에 관한 정보를 기초로, 읽어내어진 상기 메인 스트림의 영상과, 상기 서브 스트림의 영상을 합성하는 단계를 포함하고, 상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고, 상기 영상을 합성하는 단계에서는, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상을 합성한다.
네트워크란, 적어도 2개의 장치가 접속되고, 임의의 장치로부터, 다른 장치에 대하여, 정보의 전달을 할 수 있도록 한 구조를 말한다. 네트워크를 통하여 통신하는 장치는, 독립된 장치끼리이어도 되고, 1개의 장치를 구성하고 있는 내부 블록끼리여도 된다.
또한, 통신이란, 무선 통신 및 유선 통신은 물론, 무선 통신과 유선 통신이 혼재한 통신, 즉, 임의의 구간에서는 무선 통신이 행해지고, 다른 구간에서는 유선 통신이 행해지는 것이어도 된다. 또한, 임의의 장치로부터 다른 장치로의 통신이 유선 통신으로 행해지고, 다른 장치로부터 임의의 장치로의 통신이 무선 통신으로 행해지는 것이어도 된다.
또한, 기록 장치는, 독립한 장치이어도 되고, 기록 재생 장치의 기록 처리를 행하는 블록이어도 된다.
이상과 같이, 본 발명의 제1 측면에 따르면, 메인 스트림 파일의 영상과, 서브 스트림 파일의 영상을 합성할 수 있고, 특히, 재생 관리 정보에 포함되는 서브 스트림 파일의 영상의 표시 상태에 관한 정보에 기초하여, 메인 스트림 파일의 영상과, 서브 스트림 파일의 영상을 합성할 수 있으므로, 예를 들면, 픽처-인-픽처(Picture-in-Picture) 표시에서의 서브 표시 화면의 크기와 표시 위치는, 재생 장치의 사양에 의존하지 않고, 콘텐츠의 제작자, 또는, 콘텐츠의 배급원이, 적절히 정할 수 있다.
또한, 본 발명의 제2 측면에 따르면, 적어도 1개의 스트림을 포함하는 메인 스트림 파일의 재생을 관리하는 정보인 재생 관리 정보를 포함하는 데이터 구조를 갖는 데이터를 제공할 수 있고, 특히, 재생 관리 정보에, 메인 스트림 파일의 시간축 상의 위치를 나타내는 메인 재생 패스를 포함하는 제1 정보와, 메인 스트림 파일과는 상이한 서브 스트림 파일의 서브 재생 패스를 포함하는 제2 정보와, 메인 스트림 파일의 영상과 합성되는 서브 스트림 파일의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 데이터를 제공할 수 있으므로, 예를 들면, 픽처-인-픽처 표시에서의 서브 표시 화면의 크기와 표시 위치는, 재생 장치의 사양에 의존하지 않고, 콘텐츠의 제작자, 또는, 콘텐츠의 배급원이, 적절히 정할 수 있다.
도 1은 본 발명을 적용한 재생 장치에 장착되는 기록 매체 상의 어플리케이션 포맷의 예를 도시하는 도면.
도 2는 메인 패스와 서브 패스의 구조를 설명하는 도면.
도 3은 메인 패스와 서브 패스의 예를 설명하는 도면.
도 4는 메인 패스와 서브 패스의 다른 예를 설명하는 도면.
도 5는 메인 표시 화면과 서브 표시 화면에 대하여 설명하는 도면.
도 6은 재생 가능한 데이터 파일의 파일 시스템의 예를 도시하는 도면.
도 7은 PLAYLIST 디렉토리에 저장되는, 확장자 「.mpls」를 갖는 PlayList 파일의 데이터 구조를 도시하는 도면.
도 8은 PlayListExtensionData()의 문법을 도시하는 도면.
도 9는 data_block에 기재되는 pip_metadata의 문법의 제1 예를 설명하는 도면.
도 10은 도 9의 pip_metadata_type의 값과 그 의미를 설명하는 도면.
도 11은 data_block에 기재되는 pip_metadata의 문법의 제2 예를 설명하는 도면.
도 12는 data_block에 기재되는 pip_metadata의 문법의 제3 예를 설명하는 도면.
도 13은 도 12의 pip_scale의 값과 그 의미를 설명하는 도면.
도 14는 도 12의 pip_timeline_type의 값과 그 의미를 설명하는 도면.
도 15는 도 12의 pip_timeline_type=1일 때의 pip_metadata_time_stamp의 의미를 설명하는 도면.
도 16은 도 12의 pip_timeline_type=2일 때의 pip_metadata_time_stamp의 의미를 설명하는 도면.
도 17은 도 12의 pip_timeline_type=3일 때의 pip_metadata_time_stamp의 의미를 설명하는 도면.
도 18은 PlayList()의 문법을 도시하는 도면.
도 19는 SubPath()의 문법을 도시하는 도면.
도 20은 SubPath_type을 설명하는 도면.
도 21은 SubPlayItem(i)의 문법을 도시하는 도면.
도 22는 PlayItem()의 문법을 도시하는 도면.
도 23은 STN_table()의 문법을 도시하는 도면.
도 24는 stream_entry()의 문법을 도시하는 도면.
도 25는 stream_attribute()의 문법을 도시하는 도면.
도 26은 stream_cording_type을 설명하는 도면.
도 27은 video_format을 설명하는 도면.
도 28은 frame_rate를 설명하는 도면.
도 29는 aspect_ratio를 설명하는 도면.
도 30은 audio_presentation_type을 설명하는 도면.
도 31은 sampling_frequency를 설명하는 도면.
도 32는 문자 코드를 설명하는 도면.
도 33은 STN_table()의 문법을 도시하는 도면.
도 34는 STN_table()의 문법을 도시하는 도면.
도 35는 본 발명을 적용한 재생 장치의 구성예를 도시하는 블록도.
도 36은 도 35의 재생 장치에서의 재생 처리를 설명하는 플로우차트.
도 37은 프라이머리 비디오(primary video) 재생 처리를 설명하는 플로우차트.
도 38은 프라이머리 비디오 재생 처리를 설명하는 플로우차트.
도 39는 프라이머리 비디오 재생 처리를 설명하는 플로우차트.
도 40은 프라이머리 비디오 및 세컨더리 비디오((secondary video)) 재생 처리를 설명하는 플로우차트.
도 41은 프라이머리 및 세컨더리 비디오 재생 처리를 설명하는 플로우차트.
도 42는 프라이머리 및 세컨더리 비디오 재생 처리를 설명하는 플로우차트.
도 43은 포지셔닝과 스케일링을 설명하는 도면.
도 44는 luma_keying 합성을 설명하는 도면.
도 45는 luma_keying 합성을 설명하는 도면.
도 46은 재생 장치에서 재생 가능한 데이터를 기록한 기록 매체의 제조에 대하여 설명하기 위한 도면.
도 47은 재생 장치에서 재생 가능한 데이터를 기록한 기록 매체의 제조에 대하여 설명하기 위한 도면.
도 48은 퍼스널 컴퓨터의 구성을 도시하는 도면.
이하, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다.
도 1은, 본 발명을 적용한 재생 장치(20)(도 35를 참조하여 후술함)에 장착되는 기록 매체 상의 어플리케이션 포맷의 예를 도시하는 도면이다. 기록 매체는, 후술하는 광 디스크 외에, 자기 디스크나 반도체 메모리여도 된다.
어플리케이션 포맷은, AV(Audio Visual) 스트림의 관리를 위해서, PlayList(플레이 리스트)와 Clip(클립)의 2개의 레이어를 갖고 있다. 여기에서는, 1개의 AV 스트림과 그것에 부수되는 정보인 Clip 인포메이션의 페어를 1개의 오브젝트로 생각하고, 이들을 통합하여 Clip이라고 칭한다. 이하, AV 스트림을 AV 스트림 파일이라고도 칭한다. 또한, Clip 인포메이션을 Clip 인포메이션 파일이라고도 칭한다.
일반적으로, 컴퓨터 등에서 이용되는 파일은 바이트 열로서 취급되지만, AV 스트림 파일의 콘텐츠는 시간축 상에 전개되고, Clip의 액세스 포인트는, 주로, 타임 스탬프에서 PlayList에 의해 지정된다. 즉, PlayList와 Clip은, AV 스트림의 관리를 위한 레이어이다.
Clip 중의 액세스 포인트가 타임 스탬프에서 PlayList에 의해 나타내어져 있는 경우, Clip 인포메이션 파일은, 타임 스탬프로부터, AV 스트림 파일 중의 디코드를 개시할 어드레스 정보를 찾아내기 위해서 사용된다.
PlayList는, AV 스트림의 재생 구간의 모임이다. 임의의 AV 스트림 중의 1개의 재생 구간은 PlayItem이라고 불리고, 그것은, 시간축 상의 재생 구간의 IN점(재생 개시점)과 OUT점(재생 종료점)의 페어로 표시된다. 따라서, PlayList는, 도 1에 도시된 바와 같이 1개, 또는 복수의 PlayItem에 의해 구성된다.
도 1에 있어서, 좌측으로부터 1번째의 PlayList는 2개의 PlayItem으로 구성되고, 그 2개의 PlayItem에 의해, 좌측의 Clip에 포함되는 AV 스트림의 전반 부분과 후반 부분이 각각 참조되고 있다. 또한, 좌측으로부터 2번째의 PlayList는 1개의 PlayItem으로 구성되고, 이에 따라, 우측의 Clip에 포함되는 AV 스트림 전체가 참조되고 있다. 또한, 좌측으로부터 3번째의 PlayList는 2개의 PlayItem으로 구성되고, 그 2개의 PlayItem에 의해, 좌측의 Clip에 포함되는 AV 스트림이 있는 부분과, 우측의 Clip에 포함되는 AV 스트림이 있는 부분이 각각 참조되고 있다.
예를 들면, 도 1의 디스크 네비게이션 프로그램에 의해, 그 때의 재생 위치를 나타내는 정보로서, 좌측으로부터 1번째의 PlayList에 포함되는 좌측의 PlayItem이 지정된 경우, 그 PlayItem이 참조하는, 좌측의 Clip에 포함되는 AV 스트림의 전반 부분의 재생이 행해진다. 이와 같이, PlayList는, AV 스트림 파일의 재생을 관리하기 위한 재생 관리 정보로서 이용된다.
디스크 네비게이션 프로그램은, PlayList의 재생의 순서나, PlayList의 인터랙티브한 재생을 컨트롤하는 기능을 갖는다. 또한, 디스크 네비게이션 프로그램은, 각종의 재생 실행을 유저가 지시하기 위한 메뉴 화면을 표시하는 기능 등도 갖는다. 이 디스크 네비게이션 프로그램은, 예를 들면, Java(등록상표) 등의 프로그래밍 언어로 기술되고, 기록 매체 상에 준비된다.
이 실시 형태에서는, PlayList 중에서, 1개 이상의 PlayItem의 배열에 의해(연속하는 PlayItem에 의해) 만들어지는 재생 패스를 메인 패스(Main Path)라고 칭하고, PlayList 중에서, 메인 패스에 평행(병렬)하여, 1개 이상의 서브 패스(Sub Path)의 배열에 의해(비연속이어도 되고, 연속하여도 되는 SubPlayItem에 의해) 만들어지는 재생 패스를 서브 패스라고 칭한다. 즉, 재생 장치(20)(도 35를 참조하여 후술함)에 장착되는 기록 매체 상의 어플리케이션 포맷은, 메인 패스에 관련지어(더불어) 재생되는 서브 패스를 PlayList 중에 갖는다.
도 2는, 메인 패스와 서브 패스의 구조를 설명하는 도면이다. PlayList는, 1개의 메인 패스와 1개 이상의 서브 패스를 가질 수 있다. 1개의 메인 패스는, 1개 이상의 PlayItem의 배열에 의해 만들어지고, 1개의 서브 패스는, 1개 이상의 SubPlayItem의 배열에 의해 만들어진다.
도 2의 예의 경우, PlayList는, 3개의 PlayItem의 배열에 의해 만들어지는 1개의 메인 패스와, 3개의 서브 패스를 갖고 있다. 메인 패스를 구성하는 PlayItem에는, 선두부터 순서대로 각각 ID(Identification)가 첨부되어 있다. 구체적으로는, 메인 패스는, PlayItem_id=0, PlayItem_id=1, 및 PlayItem_id=2의 PlayItem으로 이루어진다. 또한, 서브 패스에도 선두부터 순서대로 Subpath_id=0, Subpath_id=1, 및 Subpath_id=2, 로 각각 ID가 첨부되어 있다. Subpath_id=0의 서브 패스에는, 1개의 SubPlayItem이 포함되고, Subpath_id=1의 서브 패스에는, 2개의 SubPlayItem이 포함되고, Subpath_id=2의 서브 패스에는, 1개의 SubPlayItem이 포함된다.
Subpath_id=0의 서브 패스에 포함되는 SubPlayItem이 참조하는 스트림은, 예를 들면, 영화의 일본어 더빙의 음성으로 상정되고, Mainpath에 의해 참조되는 AV 스트림 파일의 오디오 스트림으로 바꾸어 재생되는 경우가 생각된다. 또한, Subpath_id=1의 서브 패스에 포함되는 SubPlayItem이 참조하는 스트림은, 예를 들면, 영화의 디렉터즈 컷트로 상정되고, 메인 패스에 의해 참조되는 AV 스트림 파일의 소정의 부분에만, 영화 감독 등의 코멘트가 들어가 있는 경우가 생각된다.
1개의 PlayItem이 참조하는 Clip AV 스트림 파일에는, 적어도 비디오 스트림 데이터(메인 화상 데이터)가 포함된다. 또한, Clip AV 스트림 파일에는, Clip AV 스트림 파일에 포함되는 비디오 스트림(메인 화상 데이터)과 동일한 타이밍에서(동기해서) 재생되는 오디오 스트림이 1개 이상 포함되어도 되고, 포함되지 않아도 된다. 또한, Clip AV 스트림 파일에는, Clip AV 스트림 파일에 포함되는 비디오 스트림과 동일한 타이밍에서 재생되는 비트맵 자막 스트림이 1개 이상 포함되어도 되고, 포함되지 않아도 된다. 또한, Clip AV 스트림 파일에는, Clip AV 스트림 파일에 포함되는 비디오 스트림과 동일한 타이밍에서 재생되는 인터랙티브 그래픽스 스트림이 1개 이상 포함되어도 되고, 포함되지 않아도 된다. 그리고, Clip AV 스트림 파일에 포함되는 비디오 스트림과, 비디오 스트림과 동일한 타이밍에서 재생되는 오디오 스트림, 비트맵 자막 스트림 파일, 또는 인터랙티브 그래픽스 스트림은 다중화되어 있다. 즉, 1개의 PlayItem이 참조하는 Clip AV 스트림 파일에는, 비디오 스트림 데이터와, 그 비디오 스트림에 맞춰서 재생되는 0개 이상의 오디오 스트림, 0개 이상의 비트맵 자막 스트림 데이터, 및 0개 이상의 인터랙티브 그래픽스 스트림 데이터가 다중화되어 있다.
즉, 1개의 PlayItem이 참조하는 Clip AV 스트림 파일에는, 비디오 스트림, 오디오 스트림, 비트맵 자막 스트림 파일, 또는, 인터랙티브 그래픽스 스트림 등의, 복수의 종류의 스트림이 포함되어 있다.
또한, 1개의 SubPlayItem은, PlayItem이 참조하는 Clip AV 스트림 파일과는 상이한 스트림(별도의 스트림)의 오디오 스트림 데이터나 자막 데이터를 참조한다.
메인 패스만을 갖는 PlayList를 재생하는 경우, 유저에 의한 음성 전환이나 자막 전환이라고 하는 조작은, 그 메인 패스가 참조하는 Clip에 다중화되어 있는 오디오 스트림과 서브 픽처 스트림 중에서밖에 음성이나 자막을 선택할 수 없다. 이에 대하여, 메인 패스와 서브 패스를 갖는 PlayList를 재생하는 경우, 그 메인 패스가 참조하는 Clip AV 스트림 파일에 다중화되어 있는 오디오 스트림과 서브 픽처 스트림 외에, SubPlayItem이 참조하는 Clip의 오디오 스트림이나 서브 픽처 스트림을 참조할 수 있다.
이와 같이, 1개의 PlayList 중에 SubPath를 복수 포함시키고, 각각의 SubPath가 각각 SubPlayItem을 참조하는 구성으로 했으므로, 확장성이 높은, 또한, 자유도가 높은 AV 스트림을 실현할 수 있다. 즉, MainPath에서 참조되는 Clip AV 스트림 외에, 나중에, SubPlayItem을 추가할 수 있는 구성으로 할 수 있다.
도 3은, 메인 패스와 서브 패스의 예를 설명하는 도면이다. 도 3에서는, 메인 패스와 동일한 타이밍에서(AV 동기해서) 재생되는 오디오의 재생 패스를, 서브 패스를 사용하여 도시하고 있다.
도 3의 PlayList에는, 메인 패스로서, PlayItem_id=0인 1개의 PlayItem과, 서브 패스로서 1개의 SubPlayItem이 포함되어 있다. 메인 패스의 PlayItem_id=0인 1개의 PlayItem()은, 도 3의 메인 AV 스트림을 참조하고 있다. SubPlayItem()에는, 이하에 기재하는 데이터가 포함된다. 우선, SubPlayItem()에는, PlayList 중의 서브 패스가 참조하는 Clip을 지정하기 위한 Clip_Information_file_name이 포함된다. 도 3의 예의 경우, SubPlayItem에 의해, SubClip_entry_id=0의 보조 오디오 스트림(Auxiliary audio stream)이 참조되고 있다. 또한, SubPlayItem()에는, Clip(여기에서는, 보조 오디오 스트림) 중의 서브 패스의 재생 구간을 지정하기 위한 SubPlayItem_IN_time과 SubPlayItem_OUT_time이 포함된다. 또한, SubPlayItem()에는, 메인 패스의 시간축(재생 시간축) 상에서 서브 패스가 재생 개시하는 시각을 지정하기 위한 sync_PlayItem_id와 sync_start_PTS_of_PlayItem이 포함된다. 도 3의 예의 경우, sync_PlayItem_id=0으로 되고, sync_start_PTS_of_PlayItem=t1로 되어 있다. 이에 의해, 메인 패스의 PlayItem_id=0의 시간축(재생 시간축) 상에서 서브 패스가 재생을 개시하는 시각 t1을 지정할 수 있다. 즉, 도 3의 예의 경우에서는, 메인 패스의 재생 개시 시각 t1과 서브 패스의 개시 시각 t1이 동일 시각임을 나타내고 있다.
여기에서, 서브 패스에 참조되는 오디오의 Clip AV 스트림은, STC 불연속점(시스템 타임 베이스의 불연속점)을 포함해서는 안된다. 서브 패스에 사용되는 Clip의 오디오 샘플의 클럭은, 메인 패스의 오디오 샘플의 클럭에 로크되어 있다.
환언하면, SubPlayItem()에는, 서브 패스가 참조하는 Clip을 지정하는 정보, 서브 패스의 재생 구간을 지정하는 정보, 및 메인 패스의 시간축 상에서 서브 패스가 재생을 개시하는 시각을 지정하는 정보가 포함되어 있다. 서브 패스에 사용되는 Clip AV 스트림이 STC를 포함하지 않기 때문에, SubPlayItem()에 포함되는 정보(서브 패스가 참조하는 Clip을 지정하는 정보, 서브 패스의 재생 구간을 지정하는 정보, 및 메인 패스의 시간축 상에서 서브 패스가 재생을 개시하는 시각을 지정하는 정보)에 기초하여, 메인 패스가 참조하는 Clip AV 스트림(메인 AV 스트림)과는 상이한 Clip AV 스트림의 오디오 스트림을 참조하여, 재생할 수 있다.
이와 같이, PlayItem과 SubPlayItem은, Clip AV 스트림 파일을 각각 관리하는 것으로, 여기에서는, PlayItem이 관리하는 Clip AV 스트림 파일(메인 AV 스트림)과 SubPlayItem이 관리하는 Clip AV 스트림 파일과는 상이한 파일로 된다.
또한, 도 3의 예와 마찬가지로 하여, 메인 패스와 동일한 타이밍에서 재생되는 자막 스트림 재생 패스를, 서브 패스를 사용하여 나타낼 수도 있다.
도 4는, 메인 패스와 서브 패스의 다른 예를 설명하는 도면이다. 도 4에서는, 메인 패스와 동일한 타이밍에서(AV 동기해서) 재생되는 비디오와 오디오의 재생 패스를, 서브 패스를 사용하여 도시하고 있다.
메인 패스의 PlayItem-1이 참조하는 스트림 파일은, Clip-0의 프라이머리(primary) 비디오 스트림 및 프라이머리 오디오 스트림, 및, PG(Presentation Graphics) 스트림 및 IG(Interactive Graphics) 스트림의 전반 부분이고, PlayItem-2가 참조하는 메인 AV 스트림 파일은, Clip-0의 프라이머리 비디오 스트림 및 프라이머리 오디오 스트림, 및, PG 스트림 및 IG 스트림의 후반이다.
그리고, 서브 패스의 SubPlayItem이 참조하는 스트림 파일은, Clip-1의 세컨더리(2ndary) 비디오 스트림과, 세컨더리 오디오 스트림이다.
예를 들면, 메인 패스에 의해 참조되는 프라이머리 비디오 스트림 및 프라이머리 오디오 스트림, 및, PG 스트림 및 IG 스트림을 1개의 영화의 콘텐츠(AV 콘텐츠)로 하고, 서브 패스에 의해 참조되는 세컨더리 비디오 스트림과, 세컨더리 오디오 스트림을 그 영화에 대하여 감독이 코멘트하고 있는 보너스 트랙으로 하고, 메인 패스에서 참조되는 비디오 및 오디오의 스트림에 서브 패스에서 참조되는 비디오 및 오디오의 스트림을 믹싱(겹쳐서) 재생하는 경우에, 이러한 구성이 이용된다.
또한, 세컨더리 스트림이 프라이머리의 스트림과 동기(반드시 동시에 재생되는 플레이 리스트의 설정)하지 않고 있는 경우에도, 유저가, 영화를 보면서, 보너스 트랙을 합성시켜 표시시키는 명령을 재생 장치(플레이어)에 입력한 경우에, 메인 패스에서 참조되는 프라이머리 스트림의 영상 및 음성과, 서브 패스에서 참조되는 세컨더리 스트림의 영상 및 음성이 믹싱되어 재생되는 경우에는, 마찬가지로 이러한 구성이 이용된다.
도 4에서는, 메인 패스에 2개의 PlayItem이 PlayItem_id=0, 1로 배치되고, 서브 패스(Subpath_id=0)에 1개의 SubPlayItem이 배치되어 있다. 그리고, SubPath(도 19에서 후술함)에서 호출하는 SubPlayItem(도 21에서 후술함)은, Subpath의 재생 구간을 지정하기 위한, SubPlayItem_IN_time과, SubPlayItem_out_time을 포함한다.
도 4를 이용하여 설명한 프라이머리 비디오, 프라이머리 오디오에 대하여, 세컨더리 비디오, 세컨더리 오디오가 중첩되어 재생 출력되는 경우, 음성은, 합성되어 출력되고, 영상은, 도 5에 도시된 바와 같이, 프라이머리 비디오가 표시되는 메인 표시 화면(1)에 대하여, 세컨더리 비디오가, 소정의 위치에서 소정의 크기의 서브 표시 화면(2)에 의해 서로 겹쳐서 표시된다.
또한, 도 4에서는, 메인 패스에 의해 참조된 것이 프라이머리 스트림이고, 서브 패스에 의해 참조된 것이 세컨더리 스트림이지만, 프라이머리 스트림 및 세컨더리 스트림은, 각각, 메인 패스에 의해 참조되고 있어도 되고, 서브 패스에 의해 참조되고 있어도 된다. 예를 들면, 프라이머리 스트림 및 세컨더리 스트림이 모두 메인 패스에 의해 참조되고 있어도 되고, 프라이머리 스트림 및 세컨더리 스트림이 모두 서브 패스에 의해 참조되고 있어도 된다.
즉, 이러한 구성은, 도 5에 도시된 바와 같이, 프라이머리 비디오 스트림을 메인 화면으로서 표시시키고, 메인 화면 중에, 세컨더리 스트림을 자화면으로서 합성하여 표시시키는, 소위 PinP(픽처-인-픽처: Picture-in-Picture) 표시를 행하는 경우에 이용할 수 있다.
도 6은, 재생 장치(20)(도 35를 참조하여 후술함)에서 재생 가능한 데이터 파일의 파일 시스템의 예를 도시하는 도면이다. 도 6에는, 일례로서, 재생 장치(20)에서 재생 가능한 데이터 파일이 광 디스크 등의 기록 매체에 의해 공급되어 있는 경우를 나타내고 있으며, 이 파일 시스템은 디렉토리 구조를 갖고 있다. 또한, 재생 장치(20)에서 재생 가능한 데이터 파일이 광 디스크 이외의 기록 매체에 기록되어 공급되어 있는 경우나, 내부의 기록 매체에 기록되어 재생되는 경우 등에 있어서도, 재생 장치(20)에서 재생 가능한 데이터 파일은, 도 6에 도시되는 바와 같은 파일 시스템을 가지면 바람직하다.
이 파일 시스템에 있어서, 「root」의 아래에는 「BDMV」의 이름이 설정된 디렉토리가 준비되고, 그 디렉토리에, 「Index.bdmv」의 이름이 설정된 파일과, 「NavigationObject.bdmv」의 이름이 설정된 파일이 저장되어 있다. 이하, 적절히, 이들 파일을 각각 Index 파일, NavigationObject 파일이라고 칭한다. 또한, 적절히, 각 파일에 대해서는, 「파일명」에 「파일」을 부가한 형태로, 또는, 각 디렉토리에 대해서는, 「디렉토리명」에 「디렉토리」를 부가한 형태로 칭한다.
Index 파일은, 전술한 인덱스 테이블이 기재된 파일로서, 재생 장치(20)에서 재생 가능한 데이터 파일을 재생하는 메뉴에 관한 정보를 포함한다. 재생 장치(20)는, 예를 들면, 재생 장치(20)에서 재생 가능한 데이터 파일에 포함되는 콘텐츠를 모두 재생한다, 특정한 챕터만 재생한다, 반복 재생한다, 초기 메뉴를 표시한다 등의 내용의 항목을 포함하는 재생 메뉴 화면을 Index 파일에 기초하여, 표시 장치에 표시시킨다. Index 파일의 인덱스 테이블에는 각 항목이 선택되었을 때에 실행하는 NavigationObject를 설정할 수 있고, 유저에 의해 재생 메뉴 화면으로부터 1개의 항목이 선택된 경우, 재생 장치(20)는 Index 파일의 인덱스 테이블에 설정되어 있는 NavigationObject의 커맨드를 실행한다.
NavigationObject 파일은, NavigationObject를 포함하는 파일이다. NavigationObject는, 재생 장치(20)에서 재생 가능한 데이터 파일에 포함되어 있는 PlayList의 재생을 제어하는 커맨드를 포함하고, 예를 들면, 재생 장치(20)는, 이 파일 시스템에 포함되어 있는 NavigationObject 중에서 1개를 선택하여, 실행함으로써, 콘텐츠를 재생시킬 수 있다.
BDMV 디렉토리에는 또한, 「BACKUP」의 이름이 설정된 디렉토리(BACKUP 디렉토리), 「PLAYLIST」의 이름이 설정된 디렉토리(PLAYLIST 디렉토리), 「CLIPINF」의 이름이 설정된 디렉토리(CLIPINF 디렉토리), 「STREAM」의 이름이 설정된 디렉토리(STREAM 디렉토리), 「AUXDATA」의 이름이 설정된 디렉토리(AUXDATA 디렉토리)가 설치되어 있다.
BACKUP 디렉토리에는, 재생 장치(20)에서 재생 가능한 파일이나 데이터를 백업하기 위한 파일이나 데이터가 기록된다.
PLAYLIST 디렉토리에는, PlayList 파일이 저장된다. 각 PlayList 파일에는, 도면 중에 도시된 바와 같이 5자리의 숫자로 이루어지는 파일명에 확장자 「.mpls」를 부가한 명칭이 명명된다. PlayList 파일에 대해서는, 도 7을 이용하여 후술한다.
CLIPINF 디렉토리에는, Clip 인포메이션 파일이 저장된다. 각 Clip 인포메이션 파일에는, 도면 중에 도시된 바와 같이 5자리의 숫자로 이루어지는 파일명에 확장자 「.clpi」를 부가한 명칭이 명명된다.
STREAM 디렉토리에는, Clip AV 스트림 파일이나 서브 스트림 파일이 저장된다. 각 스트림 파일에는, 도면 중에 도시된 바와 같이 5자리의 숫자로 이루어지는 파일명에 확장자 「.m2ts」를 부가한 명칭이 명명된다.
AUXDATA 디렉토리에는, Clip AV 스트림 파일이나 서브 스트림 파일에 포함되지 않고, Clip AV 스트림 파일이나 서브 스트림 파일로부터 참조되는 데이터나, Clip AV 스트림 파일이나 서브 스트림 파일은 독립하여 이용되는 데이터 등의 파일이 저장된다. 도 6의 예에서는, AUXDATA 디렉토리에는, 「11111.otf」의 이름이 붙여져 있는 자막의 폰트의 파일, 「sound.bdmv」의 이름이 설정된 효과음 등의 사운드 데이터가 저장되어 있다.
또한, 재생 장치(20)에서 재생 가능한 데이터 파일이 광 디스크에 의해 배포되어 있는 경우, 예를 들면, 제작 회사나 영화의 배급 회사 등, 이 콘텐츠 제작원이나, 또는, 이 기록 매체의 공급원인 타이틀 오서를 식별하기 위해 각 타이틀 오서에 할당된 식별자인 author_id, 및, author_id에 나타내어지는 타이틀 오서에 있어서 제작된 광 디스크의 종류를 식별하기 위하여 할당된 식별자인 disc_id가, 유저 등에 의해 재기입할 수 없는 시큐어한 전자 데이터로서, 또는, 물리적으로 피트에 의해 기록되어 있다.
또한, 재생 장치(20)에서 재생 가능한 데이터 파일이 광 디스크 이외의 리무버블한 기록 매체에 기록되어 있는 경우나, 네트워크를 통하여 다운로드되고, 재생 장치 내부의 기록 매체에 기록되어 있거나, 내부의 기억부에 기억되어 있는 경우도, author_id, 및, author_id에 상당하는 id가 할당되어 각각 구별 가능하도록 이루어지고, 도 6에 도시한 경우와 마찬가지의 디렉토리 구조를 갖고 있으면 바람직하다. 또한, 재생 장치(20)에서 재생 가능한 데이터 파일에는, author_id, 및, author_id에 상당하는 id가 할당되어 있지 않다고 하더라도, 도 6을 이용하여 설명한 경우와 마찬가지로, 「Index.bdmv」의 이름이 설정된 파일, 「NavigationObject.bdmv」의 이름이 설정된 파일이 포함되어 있고, 「BACKUP」의 이름이 설정된 파일군, 「PLAYLIST」의 이름이 설정된 파일군, 「CLIPINF」의 이름이 설정된 파일군, 「STREAM」의 이름이 설정된 파일군, 「AUXDATA」의 이름이 설정된 파일군 중, 적절히 필요한 파일군이 포함되어 있다.
다음으로, 도 2 내지 도 4를 이용하여 설명한 메인 패스와 서브 패스의 구조를 구체적으로 실현하기 위한, 도 6을 이용하여 설명한 각각의 파일의 데이터 구조(문법)를 설명한다.
도 7에, PLAYLIST 디렉토리에 저장되는, 확장자 「.mpls」를 갖는 PlayList 파일의 데이터 구조를 도시한다.
type_indicator는, 이 파일의 종류를 나타내는 정보가 기재되어 있는 것으로써, 이 필드에는, ISO646에 따라서, "MPLS"으로 부호화되어야 한다.
version_number는, 이 xxxx.mpls의 버전 넘버를 나타내는 4개의 문자를 나타내는 것으로서, vesrion_number는 ISO "0089"으로 부호화되어야 한다.
PlayList_start_address는, PlayList 파일의 선두 바이트로부터의 상대 바이트 수를 단위로 하여, PlayList()의 선두 어드레스를 나타내는 것이다.
PlayListMark_start_address는, PlayList 파일의 선두 바이트로부터의 상대 바이트 수를 단위로 하여, PlayListMark()의 선두 어드레스를 나타내는 것이다.
PlayListEntsnsionData_start_address는, PlayList 파일의 선두 바이트로부터의 상대 바이트 수를 단위로 하여, PlayListEntsnsionData()의 선두 어드레스를 나타내는 것이다.
AppInfoPlayList()에는, PlayList의 재생 컨트롤에 관한 파라미터가 저장되어 있다.
PlayList()에는, PlayList의 메인 패스나 서브 패스 등에 관한 파라미터가 저장되어 있다. PlayList()의 상세 내용은, 도 18을 이용하여 후술한다.
PlayListMark()에는, PlayList의 마크 정보가 저장되어 있다. 또한, PlayListExtensionData() 중에는, 프라이빗 데이터를 삽입할 수 있게 되어 있다.
도 8에, PlayListExtensionData()의 문법을 도시한다.
Length는, 이 length 필드의 직후부터 PlayListExtensionData()의 최후까지의 PlayListExtensionData()의 바이트 수를 나타내는 것이다.
data_blocks_start_address는, PlayListExtensionData()의 선두 바이트로부터의 상대 바이트 수를 단위로 하여, 최초의 data_block()의 선두 어드레스를 나타내는 것이다.
number_of_PL_ext_data_entries는, PlayListExtensionData() 중에 포함되어 있는 PlayListExtensionData의 엔트리 수를 나타내는 것이다. PlayListExtensionData() 내에는, 동일한 ID가 2개 이상 존재해서는 안 된다.
ID1/ID2에는, 이 PlayListExtensionData()의 data_block에 기재되는 정보의 종류를 식별할 수 있는 정보(식별자 등)가 기재된다.
PL_ext_data_start_address는, 그 PlayListExtensionData가 개시되는 data_block의 번호를 나타내는 것이다. PlayListExtensionData의 선두 데이터는, data_block의 선두에 얼라인되어야 한다.
PL_ext_data_length는, 바이트 단위에서 PlayListExtensionData의 크기를 나타내는 것이다.
data_block은, PlayListExtensionData가 저장되는 영역으로, PlayListExtensionData() 내의 모든 data_block은, 동일한 사이즈이어야 한다.
그리고, data_block에는, 도 5를 이용하여 설명한 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 표시 위치나 크기를 나타내는 정보를 기재할 수 있다. data_block에는, 픽처-인-픽처(Picture-in-Picture)의 표시 설정을 나타내는 메타 데이터를 기재할 수 있다.
도 9에, data_block에 기재되는 pip_metadata(Picture-in-Picture의 표시 설정을 나타내는 메타 데이터)의 문법의 제1 예를 도시한다.
length는, 이 length 필드의 직후부터 pip_metadata()의 최후까지의 pip_metadata()의 바이트 수를 나타내는 것이다.
pip_metadata_type의 필드는, pip_metadata의 종류를 나타내는 것이다. 도 10에 도시된 바와 같이, pip_metadata_type=0x01인 경우, 이 pip_metadata()에 의해 픽처-인-픽처 표시가 지정되는 세컨더리 비디오 스트림은 동기형, 즉, 메인 패스의 PlayItem의 시간축(재생 시간축)에 동기하여 재생되므로, 프라이머리 스트림에 대하여, 세컨더리 스트림이 동기하여 항상 재생 출력된다. 또한, pip_metadata_type=0x02인 경우, 이 pip_metadata()에 의해 픽처-인-픽처 표시가 지정되는 세컨더리 비디오 스트림은 비동기형, 즉, 서브 패스의 SubPlayItem의 시간축에 동기하여 재생되지만, 메인 패스의 PlayItem의 시간축에는 동기하지 않아도 되므로, 유저의 조작 입력에 의해, 세컨더리 스트림의 표시가 명령된 경우에만, 세컨더리 스트림이 재생 출력되도록 이루어져 있다.
즉, pip_metadata_type=0x02에서, 「SubPlayItem에 동기한다」란, 이 pip_metadata()에 의해 픽처-인-픽처 표시가 지정되는 세컨더리 비디오 스트림은, 메인 패스의 시간축은 비동기이지만, 서브 패스의 시간축에는 동기하고 있다고 하는 의미이다. 즉, pip_metadata_type=0x02인 경우의 pip_metadata()는, 유저의 액션(조작 입력)에 의해 세컨더리 비디오의 표시가 스타트한 순간을 기준으로 생각한 경우의 SubPlayItem 재생 중의 서브 표시 화면(2)의 표시 위치 및 크기를 나타내는 것이다.
ref_to_PlayItem/SubPath_id는, pip_metadata가 적응되는 PlayItem의 PlayItem_id의 값을 나타낸다든지, 또는, pip_metadata가 적응되는 SubPlayItem의 SubPath_id의 값을 나타내는 것이다. 즉, 이 pip_metadata()에 의해 픽처-인-픽처 표시가 지정되는 세컨더리 비디오 스트림이 메인 패스와 동기하는 경우(pip_metadata_type=0x01인 경우), ref_to_PlayItm으로 되고, 이 pip_metadata()에 의해 픽처-인-픽처 표시가 지정되는 세컨더리 비디오 스트림이 서브 패스와 동기하는 경우(pip_metadata_type=0x02인 경우), ref_to_SubPath_id로 된다.
pip_metadata_time_stamp는, pip_metadata가 적응되는 PlayItem의 타임 스탬프로서, pip_metadata_time_stamp에 나타내어지는 타이밍에서 pip_metadata()에 의해 지정되는 표시 위치 및 크기로, 세컨더리 비디오 스트림의 영상이 서브 표시 화면(2)에 표시된다.
즉, pip_metadata_time_stamp는, ref_to_PlayItem/SubPath_id에서 참조되는 PlayItem의 In_time/Out_time의 사이에 있는 presentation-time을 가리킬 필요가 있다. 그리고, 이 pip_metadata()에 의해 픽처-인-픽처 표시가 지정되는 세컨더리 비디오 스트림이 서브 패스와 동기인 경우(즉, pip_metadata_type=0x02일 때)에는, SubPlayItem의 시간축 내에서 pip_metadata_time_stamp에 나타내어지는 타이밍에서 pip_metadata()에 의해 지정되는 표시 위치 및 크기로, 세컨더리 비디오 스트림의 영상이 서브 표시 화면(2)에 표시된다.
pip_entry_video_PID는, 픽처-인-픽처 표시에 이용되는 세컨더리 비디오의 PID의 값을 나타내는 것이다.
pip_horizotal_position은, 프라이머리 비디오의 프레임(도 5의 메인 표시 화면(1)) 상에 있어서, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 좌상 코너의 X 좌표를 나타내는 것이다. 또한, pip_vertical_position은, 프라이머리 비디오의 프레임(도 5의 메인 표시 화면(1)) 상에 있어서, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 좌상 코너의 Y 좌표를 나타내는 것이다.
또한, 예를 들면, 서브 표시 화면(2)의 우하 코너의 X 좌표 및 Y 좌표의 지정이나, 미리 정해진 복수의 표시 위치 중 어느 하나를 지정하는 등, pip_horizotal_position 및 pip_vertical_position에 의한 서브 표시 화면(2)의 좌상 코너의 X 좌표 및 Y 좌표의 지정 이외의 방법에 의해, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 표시 위치를 지정하도록 하여도 되는 것은 물론이다.
pip_scale은, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 크기를 나타내는 정보가 기재되는 필드로서, 예를 들면, 프라이머리 비디오에 대한 세컨더리 비디오의 크기의 비율, 세컨더리 비디오의 오리지날 화상의 크기에 대한 축소율, 또는, 서브 표시 화면(2)을 구성하는 화소가, 종횡 각각 몇 화소로 구성되어 있는지를 나타내는 정보 등이 기재된다.
도 10에, 도 9의 pip_metadata_type의 값과 그 의미를 나타낸다.
pip_metadata_type=0x00은, 장래의 확장을 위해서 의미가 미설정으로 되어 있는 값이다. pip_metadata_type=0x01인 경우, 이 pip_metadata()는 동기형, 즉, 메인 패스의 PlayItem의 시간축에 동기하고 있으므로, 프라이머리 스트림에 대하여, 세컨더리 스트림이 동기하여 항상 재생 출력되는 것으로, pip_metadata_type=0x02인 경우, 이 pip_metadata()는 비동기형, 즉, 서브 패스의 SubPlayItem의 시간축에 동기하도록 이루어져 있으므로, 유저의 조작 입력에 의해, 세컨더리 스트림의 표시가 명령된 경우에만, 세컨더리 비디오 스트림의 영상이 서브 표시 화면(2)에 재생 출력되도록 이루어져 있는 것이다. 또한, pip_metadata_type의 전술한 3개의 값 이외에는, 장래의 확장을 위해서 의미가 미설정으로 되어 있다.
도 11에, data_block에 기재되는 pip_metadata의 문법의, 도 9에서의 경우와 상이한 제2 예를 도시한다. 또한, 도 9에서의 경우와 동일 명칭으로 동일 정의의 data field에 관한 설명은 적절히 생략한다.
number_of_pip_entries는, 픽처-인-픽처의 어플리케이션 수를 나타내는 필드이다.
Synchronous_PIP_metadata_flag는, 픽처-인-픽처의 어플리케이션(즉, 세컨더리 비디오 스트림)이 어느 패스에 동기하는지를 나타내는 것이다. 즉, Synchronous_PIP_metadata_flag의 값이 0'인 경우, 이 픽처-인-픽처의 어플리케이션은, SubPath에 동기하는 것으로, ref_to_PlayItem/SubPath_id에서는, ref_to_SubPath_id가 등록된다. 이에 대하여, Synchronous_PIP_metadata_flag의 값이 1'인 경우, 이 픽처-인-픽처의 어플리케이션은, MainPath에 동기하는 것으로, ref_to_PlayItem/ SubPath_id에서는, ref_to_PlayItem이 등록된다.
즉, 도 11의 Synchronous_PIP_metadata_flag는, 도 9를 이용하여 설명한 pip_metadata에서의 pip_metadata_type(도 10)와 거의 동일한 내용을 정의하기 위한 정보이다.
number_of_pip_metadata_entries는, ref_to_PlayItem/ref_to_SubPath_id의 Video 스트림을 위한 PinP Metadata의 총 수를 나타내는 필드이다.
pip_metadata_type은, 이 픽처-인-픽처의 메타 데이터의 종류를 나타내는 것으로서, 예를 들면, 세컨더리 비디오 스트림이 표시되는 서브 표시 화면(2)의 위치와 크기를 나타내는 정보 이외에, 예를 들면, 세컨더리 비디오 스트림의 원 영상에 대하여 표시되는 영상의 회전이나 색의 지정 등에 관한 정보를 기재할 수 있는 것이다.
즉, 도 11의 pip_metadata_type은, 도 9를 이용하여 설명한 pip_metadata에서의 pip_metadata_type과는 정의가 서로 다른 정보이다.
또한, 도 12에, data_block에 기재되는 pip_metadata의 문법의, 도 9 및 도 11에서의 경우와 상이한 제3 예를 도시한다.
Length는, 이 length 필드의 직후부터 pip_metadata()의 최후까지의 pip_metadata()의 바이트 수를 나타내는 정보가 기재되는 필드이다.
number_of_metadata_block_entries는, pip_metadata() 중에 포함되어 있는 metadata block의 엔트리 수를 나타내는 정보가 기재되는 필드이다.
metadata_block_header[k]()에는, metadata block에 관련한 헤더 정보를 포함하는 정보가 기재된다.
ref_to_PlayItem_id[k]는, pip_metadata가 적용되는 PlayItem의 PlayItem_id의 값을 나타내는 정보가 기재되는 필드이다.
ref_to_secondary_video_stream_id[k]는, pip_metadata가 적용되는 세컨더리 비디오의 id로, ref_to_PlayItem_id에 의해 참조되는 PlayItem 내의 STN_table(도 22에서 후술함)에서 정의되어 있는 secondary_video_stream_id의 값을 나타내는 정보가 기재되는 필드이다.
pip_timeline_type[k]는, pip_metadata_time_stamp가 참조하는 시간축의 타입을 나타내는 정보가 기재되는 필드이다. 또한, pip_timeline_type[k]의 값과 그 의미에 대해서는 후술한다.
is_luma_key는, 이 플래그가 1로 세트되어 있는 경우에는, luma-keying이 lower_limit_luma_key와 upper_limit_luma_key의 값에 따라서, 세컨더리 비디오 스트림에 적용된다.
lower_limit_luma_key는, luma keying을 위한 세컨더리 비디오의 휘도치의 하한을 나타내는 정보가 기재되는 필드이다.
upper_limit_luma_key는, luma keying을 위한 세컨더리 비디오의 휘도치의 상한을 나타내는 정보가 기재되는 필드이다.
여기에서 luma keying은, 밝기(휘도치)의 성분차를 이용하여 불필요한 부분을 오려낸 화상을, 영상에 겹쳐서 합성하는 것을 의미한다. 즉, is_luma_key의 플래그가 1로 설정되어 있는 경우에는, lower_limit_luma_key와 upper_limit_luma_key에서 정의된, 휘도치의 하한으로부터 상한까지의 범위에서 지정된 휘도치를 갖는 화상을 투명하게 설정함으로써, 이 밝기 정보에서 지정된 범위의 화상이 제거된 세컨더리 비디오가 프라이머리 비디오에 겹쳐서 합성된다.
이에 의해, 필요 최소한의 세컨더리 비디오를 표시함으로써, 세컨더리 비디오의 불필요한 부분에 의해, 프라이머리 비디오가 잘 보이지 않게 되는 것을 방지할 수 있는 외에, 세컨더리 비디오와 프라이머리 비디오의 합성을 의해 유연하게 행할 수 있다.
또한, 이 실시예에서는, lower_limit_luma_key와 upper_limit_luma_key의 2개의 임계치를 이용함으로써, 투명하게 설정할 수 있는 것으로 설명했지만, 본 발명은 그에 한하지 않고, 임계치를 어느 한쪽으로 함으로써, 휘도치가, 예를 들면, upper_limit_luma_key 이하 또는 lower_limit_luma_key 이상으로 되는 부분만을 투명하게 설정하는 등으로 하여도 된다.
metadata_block_data_start_address[k]는, pip_metadata()의 선두 바이트로부터의 상대 바이트 수를 단위로 하여, 최초의 metadata_block_data[k]()의 선두 어드레스를 나타내는 정보가 기재되는 필드이다. 또한, pip_metadata() 내에 엔트리되어 있는 metadata_block_data_start_address[k]는, 어드레스치의 조준에 의해 등록되어 있어야 한다.
padding_word에는, metadata_block_data_start_address[k]의 값에 의해, padding word가 삽입된다.
metadata_block_data[k]()에는, metadata block의 데이터 정보를 포함하는 정보가 기재된다.
number_pip_metadata_entries[k]는, metadata_block_data에 있는 pip_metadata의 총 수를 나타내는 정보가 기재되는 필드이다.
pip_metadata_time_stamp[i]는, pip_metadata가 적용되는 시간을 나타내는, 예를 들면, 45㎑의 타임 스탬프를 포함하는 정보가 기재되는 필드이다. 또한, 연속하는 2개의 pip_metadata_time_stamp의 최소 간격은 1초이다. 또한, pip_timeline_type의 값에 따른 pip_metadata_time_stamp의 의미에 대해서는, 후술한다.
pip_composition_metadata()는, 프라이머리 비디오의 프레임의 크기나 위치 등에 관한 정보가 기재되는 필드이다.
pip_horizontal_position[i]은, 프라이머리 비디오의 프레임(도 5의 메인 표시 화면(1)) 상에서, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 좌상 코너의 X 좌표를 나타내는 것이다. pip_vertical_position[i]은, 프라이머리 비디오의 프레임(도 5의 메인 표시 화면(1)) 상에서, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 좌상 코너의 Y 좌표를 나타내는 것이다.
pip_scale[i]은, 도 13에 도시한 바와 같이, 세컨더리 비디오의 오리지날 화상의 크기에 대한 축소율을, 1배, 1/2배, 1/4배, 1.5배, 또는 full Screen(세컨더리 비디오가 도 5의 메인 표시 화면(1)의 전체 화면에 표시됨)으로 하는 정보가 기재되는 필드이다.
또한, pip_metadata_time_stamp[i]의 pip_composition_metadata()는, pip_metadata_time_stamp[i]로부터 pip_metadata_time_stamp[i+1]의 interval의 사이, 유효해진다. 단, 최후의 pip_composition_metadata의 유효 interval은, 최후의 pip_metadata_time_stamp로부터, ref_to_secondary_video_stream_id[k]에 의해 나타내어지는 SubPath의 presentation end time까지로 된다.
다음으로, 도 14를 참조하여 pip_timeline_type의 값과 그 의미를 설명하고, 도 15 내지 도 17을 참조하여 pip_timeline_type의 값에 따른 pip_metadata_time_stamp의 의미를 설명한다.
pip_timeline_type=0은, 장래의 확장을 위해서 의미가 미설정으로 되어 있는 값이다.
pip_timeline_type=1은, 픽처-인-픽처 프리젠테이션 패스는 동기형의 타입인 것을 의미한다. 이 때 ref_to_secondary_video_stream_id에서 지시되어 있는 Subpath의 타입은, 5 또는 7이어야 한다(Subpath의 타입의 상세는, 도 20에서 후술함).
pip_metadata_time_stamp는 이 때, 도 15에 도시한 바와 같이, ref_to_PlayItem_id의 PlayItem의 시간축을 참조하여, 관련지어진 SubPlayItem의 재생 구간을 나타내고 있다. 즉 SubPlayItem의 재생 구간은 ref_to_PlayItem_id[k]에서 참조되는 PlayItem의 시간축에 투영된다. pip_metadata_time_stamp[0]는, SubPath 내의 SubPlayItem[0]의 재생 구간의 선두를 나타내고 있다.
pip_timeline_type=2는, 픽처-인-픽처 프리젠테이션 패스는 비동기형의 타입인 것을 의미한다. 이 때 ref_to_secondary_video_stream_id에서 지시되어 있는 Subpath의 타입은, 6이어야 한다. 이 경우 SubPath_type=6의 SubPath에는 1개의 SubPlayItem밖에 포함되어 있지 않다.
pip_metadata_time_stamp는 이 때, 도 16에 도시한 바와 같이, Subpath의 시간축을 참조하여, ref_to_secondary_video_stream_id[k]에 의해 나타내어지는 SubPath의 SubPlayItem의 재생 구간을 나타내고 있다. pip_metadata_time_stamp[0]는, SubPlayItem의 재생 구간의 선두를 나타내고 있다.
pip_timeline_type=3은, 픽처-인-픽처 프리젠테이션 패스는 비동기형의 타입인 것을 의미한다. 이 때 ref_to_secondary_video_stream_id에서 지시되어 있는 Subpath의 타입은, 6이어야 한다.
pip_metadata_time_stamp는 이 때, 도 17에 도시한 바와 같이, ref_to_PlayItem_id의 PlayItem의 시간축을 참조하여, ref_to_PlayItem_id[k]의 PlayItem의 재생 구간을 나타내고 있다. pip_metadata_time_stamp[0]는, ref_to_PlayItem_id[k]의 PlayItem의 재생 구간의 선두를 나타내고 있다.
도 18은, PlayList()의 문법을 도시하는 도면이다.
length는, 이 length 필드의 직후부터 PlayList()의 최후까지의 바이트 수를 나타내는 32 비트의 부호 없음 정수이다. 즉, reserved_for_future_use로부터 Playlist의 최후까지의 바이트 수를 나타내는 필드이다. 이 length 후에는, 16 비트의 reserved_for_future_use가 준비된다. number_of_PlayItems는, PlayList 중에 있는 PlayItem의 수를 나타내는 16 비트의 필드이다. 예를 들면, 도 2의 예의 경우 PlayItem의 수는 3개이다. PlayItem_id의 값은, PlayList 중에서 PlayItem()이 나타나는 순서대로 0부터 할당된다. 예를 들면, 도 2 및 도 4에 도시된 바와 같이, PlayItem_id=0, 1, 2가 할당된다.
number_of_SubPaths는, PlayList 중에 있는 SubPath의 수(엔트리 수)를 나타내는 16 비트의 필드이다. 예를 들면, 도 2의 예의 경우, 서브 패스의 수는 3개이다. SubPath_id의 값은, PlayList 중에서 SubPath()가 나타내는 순서대로 0부터 할당된다. 예를 들면, 도 2에 도시된 바와 같이, Subpath_id=0, 1, 2가 할당된다. 그 후의 for문에서는, PlayItem의 수만큼 PlayItem이 참조되고, 서브 패스의 수만큼, 서브 패스가 참조된다.
도 19는, SubPath()의 문법을 도시하는 도면이다.
length는, 이 length 필드의 직후부터 SubPath()의 최후까지의 바이트 수를 나타내는 32 비트의 부호 없음 정수이다. 즉, reserved_for_future_use부터 Playlist의 최후까지의 바이트 수를 나타내는 필드이다. 이 length 후에는, 16 비트의 reserved_for_future_use가 준비된다. SubPath_type은, SubPath의 어플리케이션 종류를 나타내는 8 비트의 필드이다. SubPath_type은, 예를 들면, 서브 패스가 오디오인지, 비트맵 자막인지, 텍스트 자막인지 등의 종류를 나타내는 경우에 이용된다. 이 SubPath_type에 대해서는, 도 20을 참조하여 후술한다. SubPath_type 후에는, 15 비트의 reserved_for_future_use가 준비된다. is_repeat_SubPath는, SubPath의 재생 방법을 지정하는 1비트의 필드이며, 메인 패스의 재생의 사이에 SubPath의 재생을 반복하여 행할지, 또는 SubPath의 재생을 한번만 행할지를 나타내는 것이다. 예를 들면, 메인 AV 스트림과 서브 패스가 지정하는 Clip의 재생 타이밍이 상이한 경우(메인 패스를 정지 화상의 슬라이드 쇼로 하고, 서브 패스의 오디오 패스를 메인 패스의 BGM(백그라운드 뮤직)으로서 사용하는 경우 등)에 이용된다. Is_repeat_SubPath 후에는, 8 비트의 reserved_for_future_use가 준비된다. number_of_SubPlayItems는, 1개의 SubPath중에 있는 SubPlayItem의 수(엔트리 수)를 나타내는 8 비트의 필드이다. 예를 들면, number_of_SubPlayItems는, 도 2의 SubPath_id=0의 SubPlayItem은 1개이고, SubPath_id=1의 SubPlayItem은 2개이다. 그 후의 for문에서는, SubPlayItem의 수만큼, SubPlayItem이 참조된다.
도 20은, SubPath_type(서브 패스의 타입)의 예를 설명하는 도면이다. 즉, SubPath의 종류는, 예를 들면, 도 20에 도시된 바와 같이 정의되어 있다.
또한, 각각의 서브 패스 타입 중, 「Out-of-mux…type」이라고 하는 기술은, 서브 패스에서 참조되는 ES(엘리멘터리 스트림)가 포함되는 TS(트랜스포트 스트림), 즉, Clip과, 메인 패스에서 참조되는 플레이 아이템(1 이상의 ES)이 포함되는 TS(Clip)가 상이한 경우의 서브 패스의 타입(종류), 즉, 서브 패스에서 참조되는 ES가, 메인 패스에서 참조되는 플레이 아이템이 포함되는 TS(Clip)에 다중화되어 있지 않는 서브 패스의 타입(종류)인 것을 나타내고 있다. 이하, 이러한 종류를, 메인 패스 비다중형의 패스라고 칭한다.
도 20에서, SubPath_type=0, 1은, 미설정으로 되어 있다. SubPath_type=2는, 브라우저블 슬라이드쇼의 오디오 프리젠테이션 패스(Audio presentation path of the Browsable slideshow)로 되어 있다. 예를 들면, SubPath_type=2는, 플레이 리스트 중에 있어서, 서브 패스에서 참조되는 오디오 프리젠테이션 패스와, 플레이 아이템에서 참조되는 메인 패스가 비동기인 것을 나타내고 있다.
SubPath_type=3은, 인터랙티브 그래픽스 프레젠테이션 메뉴(Interactive graphics presentation menu)로 되어 있다. 예를 들면, SubPath_type=3은, 플레이 리스트 중에서, 서브 패스에서 참조되는 인터랙티브 그래픽스의 메뉴와, 플레이 아이템에서 참조되는 메인 패스가 비동기인 것을 나타내고 있다.
SubPath_type=4는, 텍스트 자막 프레젠테이션 패스(Text subtitle presentation path)로 되어 있다. 예를 들면, SubPath_type=4는, 플레이 리스트 중에서, 서브 패스에서 참조되는 텍스트 자막의 프레젠테이션 패스와, 플레이 아이템에서 참조되는 메인 패스가 동기하고 있는 것을 나타내고 있다.
여기에서, SubPath_type=2, 3과 같이, 메인 패스에서 참조되는 ES와 서브 패스에서 참조되는 ES가 비동기인 경우, 그 서브 패스의 타입(종류)을, 이하, 비동기형의 패스라고 칭한다. 한편, SubPath_type=4와 같이, 메인 패스에서 참조되는 ES와 서브 패스에서 참조되는 ES가 동기하는 경우, 그 서브 패스의 타입(종류)을, 이하, 동기형의 패스라고 칭한다.
SubPath_type=5는, Out-of-mux 그리고 한 개 이상의 엘리멘터리 스트림 패스의 AV 동기화 타입(프라이머리 오디오/PG/IG/세컨더리 오디오 패스). Out-of-mux, 그리고 한 개 이상의 엘리멘터리 스트림 패스를 포함하는 픽처-인-픽처 프리젠테이션 패스의 AV 동기화 타입으로 되어 있다. 즉, SubPath_type=5는, 메인 패스 TS 비다중형, 또한, 동기형의 패스로서, 1개 이상의 ES(Primary audio/PG/IG/Secondary audio)의 패스나, 픽처-인-픽처 프리젠테이션 패스로 되어 있다.
여기에서, 픽처-인-픽처 프리젠테이션 패스와는, 전술한 픽처-인-픽처의 방법에서, 소정의 프라이머리 비디오 스트림(메인 패스에서 참조되는 비디오 스트림)에 대한, 프라이머리 오디오 스트림, 세컨더리 비디오 스트림, 세컨더리 오디오 스트림, 및, 자막 스트림 중 1 이상의 패스(그러한 서브 패스의 타입)인 것을 말한다.
SubPath_type=6은, Out-of-mux, 그리고 한 개 이상의 엘리멘터리 스트림 패스를 포함하는 픽처-인-픽처 프리젠테이션 패스의 AV 비동기화 타입으로 되어 있다. 즉, SubPath_type=6은, 메인 패스 TS 비다중형, 또한, 비동기형의 패스로서, 픽처-인-픽처 프리젠테이션 패스(1 이상의 ES의 패스)로 되어 있다.
SubPath_type=7은, In-mux 타입, 그리고 한 개 이상의 엘리멘터리 스트림 패스를 포함하는 픽처-인-픽처 프리젠테이션 패스의 AV 비동기화 타입으로 되어 있다.
여기에서, 「In-mux type」라고 하는 기술은, 서브 패스에서 참조되는 ES가 포함되는 TS(Clip)와, 메인 패스에서 참조되는 플레이 아이템(1 이상의 ES)이 포함되는 TS(Clip)가 동일한 경우의 서브 패스의 타입(종류), 즉, 서브 패스에서 참조되는 ES가, 메인 패스에서 참조되는 플레이 아이템이 포함되는 TS(Clip)에 다중화되어 있는 서브 패스의 타입(종류)인 것을 나타내고 있다. 이하, 이러한 종류를, 메인 패스 다중형의 패스라고 칭한다.
즉, SubPath_type=7은, 메인 패스 TS 다중형, 또한, 동기형의 패스로서, 픽처-인-픽처 프리젠테이션 패스(1 이상의 ES의 패스)로 되어 있다.
SubPath_type=8 내지 255는, 미설정으로 되어 있다.
도 21은, SubPlayItem(i)의 문법을 도시하는 도면이다.
length는, 이 length 필드의 직후부터 Sub playItem()의 최후까지의 바이트 수를 나타내는 16 비트의 부호 없음 정수이다.
도 21에서는, SubPlayItem이 1개의 Clip을 참조하는 경우와, 복수의 Clip을 참조하는 경우로 나누어져 있다.
최초에, SubPlayItem이 1개의 Clip을 참조하는 경우에 대하여 설명한다.
SubPlayItem에는, Clip을 지정하기 위한 Clip_Information_file_name[0]이 포함된다. 또한, Clip의 CODEC 방식을 지정하는 Clip_codec_identifier[0], reserved_for_future_use, 멀티 클립의 등록의 유무를 나타내는 플래그인 is_multi_Clip_entries, STC 불연속점(시스템 타임 베이스의 불연속점)에 관한 정보인 ref_to_STC_id[0]를 포함한다. is_multi_Clip_entries의 플래그가 서 있는 경우, SubPlayItem이 복수의 Clip을 참조하는 경우의 문법이 참조된다. 또한, Clip 중에 있는 서브 패스의 재생 구간을 지정하기 위한 SubPlayItem_IN_time과 SubPlayItem_OUT_time을 포함한다. 또한, 메인 패스의 시간축 상에서 서브 패스가 재생 개시하는 시각을 지정하기 위해서 sync_PlayItem_id와 sync_start_PTS_of_PlayItem을 포함한다. 이 sync_PlayItem_id와 sync_start_PTS_of_PlayItem은, 전술한 바와 같이, 도 3과 도 4의 경우(메인 AV 스트림과 서브 패스에 의해 나타내어지는 파일의 재생 타이밍이 동일한 경우)에 사용되고, 메인 AV 스트림과 서브 패스에 의해 나타내어지는 파일의 재생 타이밍이 상이한 경우(예를 들면, 정지 화상으로 구성되는 슬라이드 쇼의 BGM과 같이, 메인 패스에 의해 참조되는 정지 화상과 서브 패스에 의해 참조되는 오디오가 동기하지 않는 경우)에는 사용되지 않는다. 또한, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, sync_start_PTS_of_PlayItem은, SubPlayItem이 참조하는 Clip에 있어서 공통으로 사용된다.
다음으로, SubPlayItem이 복수의 Clip을 참조하는 경우(if(is_multi_Clip_entries==1b)인 경우, 즉 멀티 클립의 등록이 행해지고 있는 경우)에 대하여 설명한다. 구체적으로는, 도 4에 도시된 바와 같이, SubPlayItem이 복수의 Clip을 참조하는 경우를 나타낸다.
num_of_Clip_entries는, Clip의 수를 나타내고 있고, Clip_Information_file_name[SubClip_entry_id]의 수가, Clip_Information_file_name[0]을 제외한, Clips를 지정한다. 즉, Clip_Information_file_name[0]을 제외한, Clip_Information_file_name[1], Clip_Information_file_name[2] 등의 Clip을 지정한다. 또한, SubPlayItem은, Clip의 CODEC 방식을 지정하는 Clip_codec_identifier[SubClip_entry_id], STC 불연속점(시스템 타임 베이스의 불연속점)에 관한 정보인 ref_to_STC_id[SubClip_entry_id], 및 reserved_for_future_use를 포함한다.
또한, 복수의 Clip의 사이에서, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, 및 sync_start_PTS_of_PlayItem은 공통되어 사용된다. 도 4의 예의 경우, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, 및 sync_start_PTS_of_PlayItem은, SubClip_entry_id=0과 SubClip_entry_id=1 사이에서 공통하여 사용되는 것으로, 선택된 SubClip_entry_id에 대한 텍스트 기반 자막이 이 SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, 및 sync_start_PTS_of_PlayItem에 기초하여 재생된다.
여기에서, SubClip_entry_id의 값은, SubPlayItem 중에 있는 Clip_Information_file_name[SubClip_entry_id]이 나타나는 순서대로 1부터 할당된다. 또한, Clip_Information_file_name[0]의 SubClip_entry_id는 0이다.
도 22는, PlayItem()의 문법을 도시하는 도면이다.
length는, 이 length 필드의 직후부터 PlayItem()의 최후까지의 바이트 수를 나타내는 16 비트의 부호 없음 정수이다. Clip_Information_file_name[0]은, PlayItem이 참조하는 Clip을 지정하기 위한 필드이다. 도 3의 예의 경우, Clip_Information_file_name[0]에 의해, 메인 AV 스트림이 참조된다. 또한, Clip의 CODEC 방식을 지정하는 Clip_codec_identifier[0], reserved_for_future_use, is_multi_angle, connection_condition, STC 불연속점(시스템 타임 베이스의 불연속점)에 관한 정보인 ref_to_STC_id[0]를 포함한다. 또한, Clip 중의 PlayItem의 재생 구간을 지정하기 위한 IN_time과 OUT_time을 포함한다. 도 3의 예의 경우, IN_time 과 OUT_time에 의해, 메인 Clip AV 스트림 파일의 재생 범위가 나타내어진다. 또한, UO_mask_table(), PlayItem_random_access_mode, still_mode를 포함한다. is_multi_angle이 복수 있는 경우에 대해서는, 본 발명과 직접적으로는 관계없으므로 그 설명을 생략한다.
PlayItem() 중의 STN_table()은, 대상의 PlayItem과 그에 관련지어 재생되는 1개 이상의 SubPath가 준비되어 있는 경우에, 유저에 의한 음성 전환이나 자막 전환이라고 하는 조작이, 그 PlayItem이 참조하는 Clip과 이들 1개 이상의 SubPath가 참조하는 Clips 중에서 선택할 수 있는 구조를 제공하는 것이다. 또한, STN_table()은, 2개의 오디오 스트림의 믹싱 재생을 선택할 수 있는 구조를 제공하는 것이다.
도 23은, STN_table()의 문법의 제1 예를 도시하는 도면이다. STN_table()은, PlayItem의 속성으로서 설정되어 있다.
length는, 이 length 필드의 직후부터 STN_table()의 최후까지의 바이트 수를 나타내는 16 비트의 부호 없음 정수이다. length 후에는, 16 비트의 reserved_for_future_use가 준비된다. number_of_video_stream_entries는, STN_table() 중에서 엔트리되는(등록되는) video_stream_id가 공급되는 스트림 수를 나타낸다. video_stream_id는, 비디오 스트림을 식별하기 위한 정보이고, video_stream_number는, 비디오 전환에 사용되는, 유저로부터 보이는 비디오 스트림 번호이다.
number_of_audio_stream_entries는, STN_table() 중에서 엔트리되는 audio_stream_id가 공급되는 1번째의 오디오 스트림의 스트림 수를 나타낸다. audio_stream_id는, 오디오 스트림을 식별하기 위한 정보이고, audio_stream_number는, 음성 전환에 사용되는 유저로부터 보이는 오디오 스트림 번호이다. number_of_audio_stream2_entries는, STN_table() 중에서 엔트리되는 audio_stream_id2가 공급되는 2번째의 오디오 스트림의 스트림 수를 나타낸다. audio_stream_id2는, 오디오 스트림을 식별하기 위한 정보이고, audio_stream_number는, 음성 전환에 사용되는 유저로부터 보이는 오디오 스트림 번호이다. 구체적으로는, STN_table()에서 엔트리되는 number_of_audio_stream_entries의 오디오 스트림은, 후술하는 도 35의 재생 장치(20)의 1st 오디오 디코더(75-1)에서 디코드되는 오디오 스트림이고, STN_table()에서 엔트리되는 number_of_audio_stream2_entries의 오디오 스트림은, 후술하는 도 35의 재생 장치(20)의 2nd 오디오 디코더(75-2)에서 디코드되는 오디오 스트림이다. 이와 같이, 도 23, 및, 후술하는 도 33 및 도 34의 STN_table()에서는, 2개의 오디오 디코더의 각각에 디코드시키는 오디오 스트림을 엔트리할 수 있다.
또한, 이하에서, 도 35의 재생 장치(20)의 1st 오디오 디코더(75-1)에서 디코드되는 number_of_audio_stream_entries의 오디오 스트림, 즉, 프라이머리 오디오 스트림을 오디오 스트림 #1이라고 칭하고, 도 35의 재생 장치(20)의 2nd 오디오 디코더(75-2)에서 디코드되는 number_of_audio_stream2_entries의 오디오 스트림, 즉, 세컨더리 오디오 스트림을 오디오 스트림 #2라고 칭한다. 또한, 오디오 스트림 #1은, 오디오 스트림 #2보다도 우선되는 오디오 스트림인 것으로 한다.
number_of_PG_txtST_stream_entries는, STN_table() 중에서 엔트리되는 PG_txtST_stream_id가 공급되는 스트림 수를 나타낸다. 이 중에서는, DVD의 서브 픽처와 같은 비트맵 자막을 런랭스 부호화한 스트림(PG, Presentation Graphics stream)과 텍스트 자막 파일(txtST)이 엔트리된다. PG_txtST_stream_id는, 자막 스트림을 식별하기 위한 정보이고, PG_txtST_stream_number는, 자막 전환에 사용되는 유저로부터 보이는 자막 스트림 번호(텍스트 자막 스트림의 번호)이다.
number_of_IG_stream_entries는, STN_table() 중에서 엔트리되는 IG_stream_id가 공급되는 스트림 수를 나타낸다. 이 중에서는, 인터랙티브 그래픽스 스트림이 엔트리된다. IG_stream_id는, 인터랙티브 그래픽스 스트림을 식별하기 위한 정보이고, IG_stream_number는, 그래픽스 전환에 사용되는 유저로부터 보이는 그래픽스 스트림 번호이다.
여기에서, stream_entry()의 문법에 대하여 도 24를 참조하여 설명한다.
length는, 이 length 필드의 직후부터 stream_entry()의 최후까지의 바이트 수를 나타내는 8 비트의 부호 없음 정수이다. type은, 전술한 스트림 번호가 공급되는 스트림을 일의적으로 특정하기 위하여 필요한 정보의 종류를 나타내는 8 비트의 필드이다.
type=1에서는, PlayItem에 의해 참조되는 Clip(Main Clip) 중에 다중화되어 있는 복수의 엘리멘터리 스트림 중에서 1개의 엘리멘터리 스트림을 특정하기 위해서, 16 비트의 패킷 ID(PID)가 지정된다. ref_to_stream_PID_of_mainClip이, 이 PID를 나타내고 있다. 즉, type=1에서는, 메인 Clip AV 스트림 파일 중의 PID를 지정하는 것만으로 스트림이 결정된다.
type=2에서는, SubPath가 한번에 복수 개의 Clips를 참조하여, 각각의 Clip이 복수의 엘리멘터리 스트림을 다중화하는 경우에, SubPath에 의해 참조되는 1개의 Clip(SubClip)의 복수의 엘리멘터리 스트림 중에서 1개의 엘리멘터리 스트림을 특정하기 위해서, 그 SubPath의 SubPath_id, Clip id, 및 패킷 ID(PID)가 지정된다. ref_to_SubPath_id가 이 SubPath_id를 나타내고, ref_to_SubClip_entry_id가 이 Clip id를 나타내고, ref_to_stream_PID_of_SubClip이 이 PID를 나타내고 있다. SubPlayItem 중에서 복수의 Clip이 참조되고, 또한 이 Clip에 복수의 엘리멘터리 스트림이 참조되어 있는 경우에 이용된다.
이와 같이, type(type=1과 type=2의 2개의 type)을 사용함으로써, PlayItem과 그에 관련지어 재생되는 1개 이상의 SubPath가 준비되어 있는 경우에, 이 PlayItem이 참조하는 Clip과 1개 이상의 SubPath가 참조하는 Clip 중에서 1개의 엘리멘터리 스트림을 특정할 수 있다. 또한, type=1은 메인 패스가 참조하는 Clip(메인 Clip)을 나타내고 있고, type=2는 서브 패스가 참조하는 Clip(서브 Clip)을 나타내고 있다.
도 23의 STN_table()의 설명으로 되돌아가, 비디오 스트림 ID(video_stream_id)의 for 루프 중에서, 순서대로 stream_entry()마다 특정되는 1개의 비디오 엘리멘터리 스트림에, 0부터 video_stream_id가 공급된다. 또한, 비디오 스트림 ID(video_stream_id) 대신에, 비디오 스트림 번호(video_stream_number)를 이용하도록 하여도 된다. 이 경우, video_stream_number는, 0이 아니라 1부터 공급된다. 즉, video_stream_id의 값에 1을 가산한 것이 video_stream_number이다. 비디오 스트림 번호는, 비디오 전환에 사용되는, 유저로부터 보이는 비디오 스트림 번호이므로, 1부터 정의된다.
마찬가지로, 오디오 스트림 ID(audio_stream_id)의 for 루프 중에서, 순서대로 stream_entry()마다 특정되는 1개의 오디오 엘리멘터리 스트림에, 0부터 audio_stream_id가 공급된다. 또한, 비디오 스트림의 경우와 마찬가지로, 오디오 스트림 ID(audio_stream_id) 대신에, 오디오 스트림 번호(audio_stream_number)를 이용하도록 하여도 된다. 이 경우, audio_stream_number는, 0이 아니라 1부터 공급된다. 즉, audio_stream_id의 값에 1을 가산한 것이 audio_stream_number이다. 오디오 스트림 번호는, 음성 전환에 사용되는, 유저로부터 보이는 오디오 스트림 번호이므로, 1부터 정의된다.
마찬가지로, 오디오 스트림 ID2(audio_stream_id2)의 for 루프 중에서, 순서대로 stream_entry()마다 특정되는 1개의 오디오 엘리멘터리 스트림에, 0부터 audio_stream_id2가 공급된다. 또한, 비디오 스트림의 경우와 마찬가지로, 오디오 스트림 ID2(audio_stream_id2) 대신에, 오디오 스트림 번호 2(audio_stream_number2)를 이용하도록 하여도 된다. 이 경우, audio_stream_number2는, 0이 아니라 1부터 공급된다. 즉, audio_stream_id2의 값에 1을 가산한 것이 audio_stream_number2이다. 오디오 스트림 번호 2는, 음성 전환에 사용되는, 유저로부터 보이는 오디오 스트림 번호 2이므로, 1부터 정의된다.
즉, 도 23의 STN_table()에서는, number_of_audio_stream_entries(오디오 스트림 #1)의 오디오 스트림과, number_of_audio_stream2_entries(오디오 스트림 #2)의 오디오 스트림이 정의된다. 바꾸어 말하면, STN_table()을 이용하여, 오디오 스트림 #1과 오디오 스트림 #2를 엔트리할 수 있으므로, 유저는, 동기하여 재생하는 오디오 스트림을 2개 선택할 수 있다.
마찬가지로, 자막 스트림 ID(PG_txtST_stream_id)의 for 루프 중에서, 순서대로 stream_entry()마다 특정되는 1개의 비트맵 자막 엘리멘터리 스트림 또는 텍스트 자막에, 0부터 PG_txtST_stream_id가 공급된다. 또한, 비디오 스트림의 경우와 마찬가지로, 자막 스트림 ID(PG_txtST_stream_id) 대신에, 자막 스트림 번호(PG_txtST_stream_number)를 이용하도록 하여도 된다. 이 경우, PG_txtST_stream_number는, 0이 아니라 1부터 공급된다. 즉, PG_txtST_stream_id의 값에 1을 가산한 것이 PG_txtST_stream_number이다. 자막 스트림 번호는, 자막 전환에 사용되는 유저로부터 보이는 자막 스트림 번호(텍스트 자막 스트림의 번호)이므로, 1부터 정의된다.
마찬가지로, 그래픽스 스트림 ID(IG_stream_id)의 for 루프 중에서, 순서대로 stream_entry()마다 특정되는 1개의 인터랙티브 그래픽스 엘리멘터리 스트림에, 0부터 IG_stream_id가 공급된다. 또한, 비디오 스트림의 경우와 마찬가지로, 그래픽스 스트림 ID(IG_stream_id) 대신에, 그래픽스 스트림 번호(IG_stream_number)를 이용하도록 하여도 된다. 이 경우, IG_stream_number는, 0이 아니라 1부터 공급된다. 즉, IG_stream_id의 값에 1을 가산한 것이 IG_stream_number이다. 그래픽스 스트림 번호는, 그래픽스 전환에 사용되는 유저로부터 보이는 그래픽스 스트림 번호이므로, 1부터 정의된다.
다음으로, 도 23의 STN_table()의 stream_attribute()에 대하여 설명한다.
reserved_for_future_use의 후의 for문에서는, 비디오 스트림의 분만큼 비디오 스트림이 참조되고, 디스크 제조자가, 오디오 스트림에 대하여 메인 패스 및 서브 패스를 설정한 분만큼 audio stream이 참조되고, PG textST stream의 분만큼 PG textST stream이 참조되고, IG stream의 분만큼 IG stream이 참조된다.
비디오 스트림 ID(video_stream_id)의 for 루프 중의 stream_attribute()는, stream_entry()마다 특정되는 1개의 비디오 엘리멘터리 스트림의 스트림 속성 정보를 부여한다. 즉, 이 stream_attribute()에는, stream_entry()마다 특정되는 1개의 비디오 엘리멘터리 스트림의 스트림 속성 정보가 기술되어 있다.
마찬가지로, 오디오 스트림 ID(audio_stream_id)의 for 루프 중의 stream_attribute()는, stream_entry()마다 특정되는 1개의 오디오 엘리멘터리 스트림의 스트림 속성 정보를 부여한다. 즉, 이 stream_attribute()에는, stream_entry()마다 특정되는 1개의 오디오 엘리멘터리 스트림의 스트림 속성 정보가 기술되어 있다. 예를 들면, 도 24의 stream_entry()의 type=1 또는 type=2로 특정되는 오디오 엘리멘터리 스트림은 1개이므로, stream_attribute()는, 그 1개의 오디오 엘리멘터리 스트림의 스트림 속성 정보를 부여한다.
마찬가지로, 오디오 스트림 ID2(audio_stream_id2)의 for 루프 중의 stream_attribute()는, stream_entry()마다 특정되는 1개의 오디오 엘리멘터리 스트림의 스트림 속성 정보를 부여한다. 즉, 이 stream_attribute()에는, stream_entry()마다 특정되는 1개의 오디오 엘리멘터리 스트림의 스트림 속성 정보가 기술되어 있다. 예를 들면, 도 24의 stream_entry()의 type=1 또는 type=2로 특정되는 오디오 엘리멘터리 스트림은 1개이므로, stream_attribute()는, 그 1개의 오디오 엘리멘터리 스트림의 스트림 속성 정보를 부여한다.
마찬가지로, 자막 스트림 ID(PG_txtST_stream_id)의 for 루프 중의 stream_attribute()는, stream_entry()마다 특정되는 1개의 비트맵 자막 엘리멘터리 스트림 또는 텍스트 자막 엘리멘터리 스트림의 스트림 속성 정보를 부여한다. 즉, 이 stream_attribute()에는, stream_entry()마다 특정되는 1개의 비트맵 자막 엘리멘터리 스트림의 스트림 속성 정보가 기술되어 있다.
마찬가지로, 그래픽스 스트림 ID(IG_stream_id)의 for 루프 중의 stream_attribute()는, stream_entry()마다 특정되는 1개의 인터랙티브 그래픽스 엘리멘터리 스트림의 스트림 속성 정보를 부여한다. 즉, 이 stream_attribute()에는, stream_entry()마다 특정되는 1개의 인터랙티브 그래픽스 엘리멘터리 스트림의 스트림 속성 정보가 기술되어 있다.
여기에서, stream_attribute()의 문법에 대하여 도 25를 참조하여 설명한다.
length는, 이 length 필드의 직후부터 stream_attribute()의 최후까지의 바이트 수를 나타내는 16 비트의 부호 없음 정수이다.
stream_coding_type은, 도 26에 도시된 바와 같이 엘리멘터리 스트림의 부호화 타입을 나타낸다. 엘리멘터리 스트림의 부호화 타입으로서는, MPEG-2 비디오 스트림, HDMV LPCM 오디오, Dolby AC-3 오디오, dts 오디오, 프리젠테이션 그래픽 스트림(Presentation graphics stream), 인터랙티브 그래픽스 스트림(Interactive graphics stream), 및 텍스트 자막 스트림(Text subtitle stream)이 기술된다.
video_format은, 도 27에 도시된 바와 같이 비디오 엘리멘터리 스트림의 비디오 포맷을 나타낸다. 비디오 엘리멘터리 스트림의 비디오 포맷으로서는, 480i, 576i, 480p, 1080i, 720p, 및 1080p가 기술된다.
frame_rate는, 도 28에 도시된 바와 같이, 비디오 엘리멘터리 스트림의 프레임 레이트를 나타낸다. 비디오 엘리멘터리 스트림의 프레임 레이트로서는, 24000/1001, 24, 25, 30000/1001, 50, 및 60000/1001이 기술된다.
aspect_ratio는, 도 29에 도시된 바와 같이 비디오 엘리멘터리 스트림의 종횡비 정보를 나타낸다. 비디오 엘리멘터리 스트림의 종횡비 정보로서는, 4:3 표시 종횡비, 및 16:9 표시 종횡비가 기술된다.
audio_presentation_type은, 도 30에 도시된 바와 같이 오디오 엘리멘터리 스트림의 프레젠테이션 타입 정보를 나타낸다. 오디오 엘리멘터리 스트림의 프레젠테이션 타입 정보로서는, 단일 모노 채널, 듀얼 모노 채널, 스테레오(2-채널), 및 멀티-채널이 기술된다.
sampling_frequency는, 도 31에 도시된 바와 같이 오디오 엘리멘터리 스트림의 샘플링 주파수를 나타낸다. 오디오 엘리멘터리 스트림의 샘플링 주파수로서는, 48㎑, 및 96㎑가 기술된다.
audio_language_code는, 오디오 엘리멘터리 스트림의 언어 코드(일본어, 한국어, 중국어 등)를 나타낸다.
PG_language_code는, 비트맵 자막 엘리멘터리 스트림의 언어 코드(일본어, 한국어, 중국어 등)를 나타낸다.
IG_language_code, 인터랙티브 그래픽스 엘리멘터리 스트림의 언어 코드(일본어, 한국어, 중국어 등)를 나타낸다.
textST_language_code는, 텍스트 자막 엘리멘터리 스트림의 언어 코드(일본어, 한국어, 중국어 등)를 나타낸다.
character_code는, 도 32에 도시된 바와 같이 텍스트 자막 엘리멘터리 스트림의 문자 코드를 나타낸다. 텍스트 자막 엘리멘터리 스트림의 문자 코드로서는, Unicode V1.1(ISO 10646-1), Shift JIS(일본어), KSC 5601-1987 including KSC 5653 for Roman character(한국어), GB 18030-2000(중국어), GB2312(중국어), 및 BIG 5(중국어)가 기술된다.
이하에, 도 25의 stream_attribute()의 문법에 대해서, 도 25와, 도 26 내지 도 32를 이용하여 구체적으로 설명한다.
엘리멘터리 스트림의 부호화 타입(도 25의 stream_coding_type)이 MPEG-2 비디오 스트림(도 26)인 경우, stream_attribute()에는, 그 엘리멘터리 스트림의 비디오 포맷(도 27), 프레임 레이트(도 28), 및 종횡비 정보(도 29)가 포함된다.
엘리멘터리 스트림의 부호화 타입(도 25의 stream_coding_type)이 HDMV LPCM 오디오, Dolby AC-3 오디오, 또는 dts 오디오(도 26)인 경우, stream_attribute()에는, 그 오디오 엘리멘터리 스트림의 프레젠테이션 타입 정보(도 30), 샘플링 주파수(도 31), 및 언어 코드가 포함된다.
엘리멘터리 스트림의 부호화 타입(도 25의 stream_coding_type)이 프리젠테이션 그래픽 스트림(도 26)인 경우, stream_attribute()에는, 그 비트맵 자막 엘리멘터리 스트림의 언어 코드가 포함된다.
엘리멘터리 스트림의 부호화 타입(도 25의 stream_coding_type)이 인터랙티브 그래픽스 스트림(도 26)인 경우, stream_attribute()에는, 그 인터랙티브 그래픽스 엘리멘터리 스트림의 언어 코드가 포함된다.
엘리멘터리 스트림의 부호화 타입(도 25의 stream_coding_type)이 텍스트 자막 스크린(도 26)인 경우, stream_attribute()에는, 그 텍스트 자막 엘리멘터리 스트림의 문자 코드(도 32), 언어 코드가 포함된다.
또한, 이들 속성 정보는 이것에 한정되지 않는다.
이와 같이, PlayItem과 그것과 관련지어 재생되는 1개 이상의 SubPath가 준비되어 있는 경우에, 이 PlayItem이 참조하는 Clip과 1개 이상의 SubPath가 참조하는 Clip 중에서, stream_entry()에 의해 특정된 1개의 엘리멘터리 스트림의 속성 정보를 stream_attribute()에 의해 알 수 있다.
재생 장치는, 이 속성 정보(stream_attribute())를 조사하는 것에 의해, 그 엘리멘터리 스트림을 자기 자신이 재생하는 기능을 갖고 있는지 여부를 조사할 수 있다. 또한, 재생 장치는, 이 속성 정보를 조사함으로써, 재생 장치의 언어 설정의 초기 정보에 대응한 엘리멘터리 스트림의 선택할 수 있다.
예를 들면, 재생 장치가, 비트맵 자막 엘리멘터리 스트림의 재생 기능만을 갖고, 텍스트 자막 엘리멘터리 스트림의 재생 기능을 갖고 있지 않은 경우를 상정한다. 이 재생 장치에 대하여, 유저가 언어 전환을 지시한 경우, 재생 장치는, 자막 스트림 ID(PG_txtST_stream_id)의 for 루프 중에서, 비트맵 자막 엘리멘터리 스트림만을 순차적으로 선택하여, 재생한다.
또한, 예를 들면, 재생 장치의 언어 설정의 초기 정보가 일본어인 경우를 상정한다. 이 재생 장치에 대하여, 유저가 음성 전환을 지시한 경우, 재생 장치는, 오디오 스트림 ID(Audio stream id)의 for 루프 중에서, 언어 코드가 일본어인 오디오 엘리멘터리 스트림만을 순차적으로 선택하여, 재생한다.
또한, 예를 들면, 메인 패스에 의해 참조되는, 비디오 스트림과 오디오 스트림으로 이루어지는 AV 스트림(예를 들면, 영화)을 재생하는 경우, 재생 장치에 대하여, 유저가 음성의 전환을 명령하고, 오디오 스트림 #1(통상의 영화에서 출력되는 음성)과, 오디오 스트림 #2(감독이나 출연자에 의한 코멘트)를, 재생할 음성으로서 지정(선택)한 경우, 재생 장치는, 오디오 스트림 #1과 오디오 스트림 #2를 믹싱(중첩)하여, 비디오 스트림과 함께 재생한다.
또한, 오디오 스트림 #1과 오디오 스트림 #2는, 도 23의 STN_table()을 참조해도 알 수 있는 바와 같이, 양쪽 모두 메인 패스에 의해 참조되는 Clip에 포함되는 오디오 스트림으로 하여도 된다. 또한, 오디오 스트림 #1과 오디오 스트림 #2중의, 한쪽을 메인 패스에 의해 참조되는 Clip에 포함되는 오디오 스트림으로 하고, 다른 쪽을 서브 패스에 의해 참조되는 Clip에 포함되는 오디오 스트림으로 하여도 된다. 이와 같이, 메인 패스에 의해 참조되는 메인 AV 스트림에 중첩된 복수의 오디오 스트림을 2개 선택하여, 믹싱해서 재생하는 것도 가능하다.
이와 같이 하여, PlayItem() 중의 STN_table()은, 이 PlayItem과 그것과 관련지어 재생되는 1개 이상의 SubPath가 준비되어 있는 경우에, 유저에 의한 음성 전환이나 자막 전환이라고 하는 조작이, 이 PlayItem이 참조하는 Clip과 1개 이상의 SubPath가 참조하는 Clip 중에서 선택할 수 있는 구조를 제공하도록 했으므로, 메인 AV 스트림이 기록되어 있는, 재생할 AV 스트림과는 상이한 스트림이나 데이터 파일에 대해서도, 인터랙티브한 조작을 행할 수 있다.
또한, 1개의 PlayList 중에 SubPath를 복수 사용하여, 각각의 SubPath가 각각 SubPlayItem을 참조하는 구성으로 했으므로, 확장성이 높고, 또한, 자유도가 높은 AV 스트림을 실현할 수 있다. 즉, 나중에, SubPlayItem을 추가할 수 있는 구성으로 할 수 있다. 예를 들면, 메인 패스가 참조하는 Clip AV 스트림 파일과 이것에 대응지어진 PlayList가 있으며, 이 PlayList가 새로운 서브 패스를 추가한 PlayList로 재기입된 경우, 새로운 PlayList에 기초하여, 메인 패스가 참조하는 Clip AV 스트림 파일과 함께, 메인 패스가 참조하는 Clip AV 스트림 파일과는 상이한 Clip AV 스트림 파일을 참조하여, 재생을 행할 수 있다. 이와 같이, 확장성을 갖는 구성으로 할 수 있다.
또한, PlayItem() 중의 STN_table()은, 후술하는 도 35의 재생 장치(20)의 1st 오디오 디코더(75-1)에서 디코드되는 오디오 스트림 #1과, 2nd 오디오 디코더(75-2)에서 디코드되는 오디오 스트림 #2를 믹싱하여 재생할 수 있는 구조를 제공하도록 했다. 예를 들면, PlayItem()과 그것에 관련지어 재생되는 1개 이상의 SubPath가 준비되어 있는 경우에, PlayItem이 참조하는 Clip의 오디오 스트림을 오디오 스트림 #1로 하고, SubPath가 참조하는 Clip의 오디오 스트림을 오디오 스트림 #2로 하여, 이들을 믹싱해서 재생할 수 있는 구조를 제공하도록 했다. 또한, 예를 들면, PlayItem이 참조하는 Clip(메인 Clip)에 포함되는 2개의 오디오 스트림을, 각각 오디오 스트림 #1과 오디오 스트림 #2로 하고, 이들을 믹싱하여 재생할 수 있는 구조를 제공하도록 했다. 이에 의해, 메인 AV 스트림이 기록되어 있는, 재생할 메인의 오디오 스트림과는 상이한 오디오 스트림(예를 들면, 감독의 코멘트의 스트림)의 중첩 재생을 행할 수 있다. 또한, 메인 AV 스트림에 중첩되어 있는 2개의 오디오 스트림 #1과 오디오 스트림 #2를 중첩(믹싱)하여 재생할 수 있다.
또한, STN_table()에 의해, 프라이머리 비디오 스트림과 조합하여 동시 재생되는, 세컨더리 비디오 스트림, 프라이머리 오디오 스트림, 세컨더리 오디오 스트림, 및, 자막 스트림의 조합을 정의할 수 있다. 도 33 및 도 34는, STN_table()의 문법의 제2 예를 도시하는 도면이다.
도 33과 도 34는, 프라이머리 비디오 스트림과 조합하여 동시 재생되는, 세컨더리 비디오 스트림, 프라이머리 오디오 스트림, 세컨더리 오디오 스트림, 및, 자막 스트림의 조합을 정의하는 경우의 STN_table()의 문법의 예를 도시하는 도면이다. 또한, 도면 중, 도 23과 동일한 부분에 대해서는, 반복으로 되므로 그 설명은 생략한다.
도 33과 도 34의 예에서는, 프라이머리 비디오 스트림과 조합하여 동시 재생되는, 세컨더리 비디오 스트림, 프라이머리 오디오 스트림, 세컨더리 오디오 스트림, 및, 자막 스트림의 조합은, 다음과 같이 정의된다. 즉, 최초로, 프라이머리 비디오 스트림과 조합하여 동시 재생되는 세컨더리 비디오 스트림이 1 이상 정의된다. 그리고, 1 이상의 세컨더리 비디오 스트림의 각각에 대하여, 동시에 재생되는 오디오 스트림(프라이머리 오디오 스트림과 세컨더리 오디오 스트림)과 자막 스트림이 정의된다.
구체적으로는, 도 33에서, number_of_video_stream2_entries는, STN_table() 중에서 엔트리되는(등록되는) video_stream_id2가 공급되는 스트림 수를 나타낸다. video_stream_id2는, 세컨더리 비디오 스트림을 식별하기 위한 정보로서, video_stream_number2는, 비디오 전환에 사용되는, 유저로부터 보이는 세컨더리 비디오 스트림번호이다.
도 34에서, 비디오 스트림 ID2(video_stream_id2)의 for 루프 중에서, 순서대로 stream_entry()마다 특정되는 1개의 비디오 엘리멘터리 스트림(세컨더리 비디오 스트림으로 되는 비디오 엘리멘터리 스트림)에, 0부터 video_stream_id2가 공급된다.
이 때, video_stream_id2에 대하여, number_of_Audio_combinations_for_video2가 공급되고, 그 후의 for문에서는, number_of_Audio_combinations_for_video2의 수만큼, audio_stream_id와 audio_stream_id2가 공급된다. number_of_Audio_combinations_for_video2와 그 후의 for문은, 세컨더리 비디오 스트림과 동시 재생되는 오디오 스트림의 조합, 즉, audio_stream_id로 특정되는 프라이머리 오디오 스트림과, audio_stream_id2로 특정되는 세컨더리 오디오 스트림의 조합을 정의하는 정보이다. video_stream_id2 로 특정되는 세컨더리 비디오 스트림과 조합 가능한 오디오 스트림의 조(프라이머리 오디오 스트림과 세컨더리 오디오 스트림의 조)의 수가, number_of_Audio_combinations_for_video2로 된다. 그리고, video_stream_id2로 특정되는 세컨더리 비디오 스트림과 조합 가능한 오디오 스트림의 조로서, 프라이머리 오디오 스트림을 특정하는 audio_stream_id와, 세컨더리 오디오 스트림을 특정하는 audio_stream_id2가, number_of_Audio_combinations_for_video2의 후의 for문에서 각각 정의된다.
또한, 동일한 video_stream_id2에 대하여, number_of_Subtitle_combinations_for_video2가 공급되고, 그 후의 for문에서는, number_of_Subtitle_combinations_for_video2의 수만큼, PG_textST_stream_id가 공급된다. number_of_Subtitle_combinations_for_video2와 그 후의 for문은, 세컨더리 비디오 스트림과 동시 재생되는 자막 스트림의 조합, 즉, PG_textST_stream_id로 특정되는 자막 스트림의 조합을 정의하는 정보이다. video_stream_id2로 특정되는 세컨더리 비디오 스트림과 조합 가능한 자막 스트림의 수가, number_of_Subtitle_combinations_for_video2로 된다. 그리고, video_stream_id2로 특정되는 세컨더리 비디오 스트림과 조합 가능한 자막 스트림을 특정하는 PG_textST_stream_id가, number_of_Subtitle_combinations_for_video2의 후의 for문에서 정의된다.
또한, 도 23을 참조하여 설명한 경우와 마찬가지로, 각 ID 대신에 각 번호, 예를 들면, audio_stream_id 대신에, 오디오 스트림 번호(audio_stream_number)를 이용하거나, audio_stream_id2 대신에, 오디오 스트림 번호 2(audio_stream_number2)를 이용하도록 하여도 된다. 비디오 스트림이나 자막 스트림에 대해서도 마찬가지이다.
도 33과 도 34에 따르면, video_stream_id2를 이용하여, 프라이머리 비디오 스트림과 동시 재생되는 세컨더리 비디오 스트림을 정의할 수 있고, 또한, video_stream_id2, 및, audio_stream_id, audio_stream_id2, 및, PG_textST_stream_id를 이용하여, 그 세컨더리 비디오 스트림과 동시 재생되는, 프라이머리 오디오 스트림, 세컨더리 오디오 스트림, 및, 자막 스트림의 조합을 정의할 수 있다. 즉, 프라이머리 비디오 스트림과 동시 재생되는, 세컨더리 비디오 스트림, 프라이머리 오디오 스트림, 세컨더리 오디오 스트림, 및, 자막 스트림의 조합을 정의할 수 있다.
따라서, 프라이머리 비디오 스트림과 동시 재생되는, 세컨더리 비디오 스트림, 프라이머리 오디오 스트림, 세컨더리 오디오 스트림, 및, 자막 스트림의 조합으로서, 모순되는 조합을 정의하지 않고 완료되므로, 유저는, 프라이머리 비디오 스트림과 동시 재생 가능한 스트림의 조합의 재생을 용이하게 선택할 수 있다.
또한, PlayItem() 중의 STN_table()은, 이 PlayItem과 그것에 관련지어 재생되는 1개 이상의 SubPath가 준비되어 있는 경우에, 이 Subpath의 Subpath_type을 5 내지 7, 즉 픽처-인-픽처 프리젠테이션 패스(세컨더리 비디오 스트림, 세컨더리 오디오 스트림, 및, 프리젠테이션 그래픽 스트림 중의 1 이상의 패스)라고 정의함으로써, 도 5를 이용하여 설명하도록 하고, 주로 재생 표시되는 프라이머리 비디오 스트림에 대하여, 세컨더리 비디오 스트림을 표시함으로써, 픽처-인-픽처 표시를 행할 수 있게 된다.
또한, 픽처-인-픽처의 표시 설정을, 도 9, 도 11, 또는 도 12를 이용하여 설명하도록 하고, pip_metadata에 기재하도록 했으므로, 도 5를 이용하여 설명한 서브 표시 화면(2)의 크기나 표시 위치는, 재생 장치에 의존하지 않고, 콘텐츠의 작성원 또는 콘텐츠의 제공원 등이 임의로 설정할 수 있다. 또한, 픽처-인-픽처의 표시 설정은, 픽처-인-픽처 표시되는 비디오 스트림(세컨더리 비디오 스트림)의 데이터 자체에 기재되는 것이 아니라, 도 9, 도 11, 또는 도 12를 이용하여 설명한 pip_metadata에 기재된다. 즉, 도 5를 이용하여 설명한 서브 표시 화면(2)의 크기나 표시 위치를 변경하고자 하는 경우에는, 픽처-인-픽처 표시되는 비디오 스트림(세컨더리 비디오 스트림)을 수정할 필요는 없으며, pip_metadata의 기재를 수정하도록 하면 된다.
또한, 픽처-인-픽처의 표시 설정을, 도 9, 도 11, 또는 도 12를 이용하여 설명하도록 하고, pip_metadata에 기재하도록 함으로써, 도 5를 이용하여 설명한 서브 표시 화면(2)에 표시되는 영상의 크기는, 세컨더리 비디오 스트림의 바탕으로 되는 화상의 크기에도 의존하지 않고, 콘텐츠의 작성원 또는 콘텐츠의 제공원 등이 임의로 설정할 수 있다.
다음으로, 본 발명을 적용한 재생 장치에 대하여 설명한다. 도 35는, 본 발명을 적용한 재생 장치(20)의 구성예를 도시하는 블록도이다. 이 재생 장치(20)는, 전술한 메인 패스와 서브 패스를 갖는 PlayList를 재생하는 재생 장치(20)이다.
재생 장치(20)에는, 스토리지 드라이브(31), 스위치(32), AV 디코더부(33), 및 컨트롤러(34)가 설치되어 있다.
도 35의 예의 경우, 최초로, 컨트롤러(34)가 스토리지 드라이브(31)를 통하여 PlayList 파일을 읽어내고, PlayList 파일의 정보에 기초하여, 스토리지 드라이브(31)를 통하여 HDD, 블루레이 디스크, 또는 DVD 등의 기록 매체로부터 AV 스트림이나 AV 데이터를 읽어낸다. 유저는, 유저 인터페이스를 이용하여, 컨트롤러(34)에 대하여, 음성이나 자막 등의 전환의 명령을 행할 수 있다. 또한, 컨트롤러(34)에는, 재생 장치(20)의 언어 설정의 초기 정보가 도시하지 않은 기억부 등으로부터 공급된다.
PlayList 파일에는, 메인 패스, 서브 패스의 정보 외에, STN_table()이 포함되어 있다. 컨트롤러(34)는, PlayList 파일에 포함되는 PlayItem이 참조하는 메인 Clip AV 스트림 파일(이하, 메인 Clip이라고 칭함）, SubPlayItem이 참조하는 서브 Clip AV 스트림 파일(이하, 서브 Clip이라고 칭함）, 및 SubPlayItem이 참조하는 텍스트 자막 데이터를, 스토리지 드라이브(31)를 통하여 기록 매체 등으로부터 읽어낸다. 여기에서, PlayItem이 참조하는 메인 Clip과 SubPlayItem이 참조하는 서브 Clip이, 서로 다른 기록 매체에 기록되어 있어도 된다. 예를 들면, 메인 Clip이 기록 매체에 기록되어 있고, 대응하는 서브 Clip은 도시하지 않은 네트워크를 통하여 공급되고, HDD에 기억된 것이어도 된다. 또한, 컨트롤러(34)는, 자기 자신(재생 장치(20))의 재생 기능에 대응하는 엘리멘터리 스트림을 선택하여, 재생하도록 제어하거나, 재생 장치(20)의 언어 설정의 초기 정보에 대응하는 엘리멘터리 스트림만을 선택하여, 재생하도록 제어한다.
또한, 컨트롤러(34)는, PlayList 파일의 PlayListExtensionData()의 ID1/ID2에 기재되어 있는 정보(또는 식별자)를 참조하여, 이 PlayListExtensionData()의 data_block에, 픽처-인-픽처 표시에 관한 정보(pip_metadata)가 기재되어 있는 것을 검출한 경우, 도 9 또는 도 11을 이용하여 설명한 pip_metadata를 참조하여, 도 5를 이용하여 설명한 서브 표시 화면(2)에 표시되는 세컨더리 비디오의 표시 설정을 취득하고, AV 디코더부(33)의 비디오 플레인 생성부(92)에 의한 프라이머리 비디오 스트림과 세컨더리 비디오 스트림의 영상의 합성을 제어한다.
AV 디코더부(33)에는, 버퍼(51 내지 54), PID 필터(55), PID 필터(56), 스위치(57 내지 59), PID 필터(60), 백그라운드 디코더(71), 1st 비디오 디코더(72-1), 2nd 비디오 디코더(72-2), 프리젠테이션 그래픽스 디코더(73), 인터랙티브 그래픽스 디코더(74), 1st 오디오 디코더(75-1), 2nd 오디오 디코더(75-2), Text-ST 컴포지션(76), 스위치(77), 백그라운드 플레인 생성부(91), 비디오 플레인 생성부(92), 프리젠테이션 그래픽스 플레인 생성부(93), 인터랙티브 그래픽스 플레인 생성부(94), 버퍼(95), 비디오 데이터 처리부(96), 믹싱 처리부(97), 및 믹싱 처리부(98)가 설치되어 있다.
1st 비디오 디코더(72-1)는, 프라이머리 비디오 스트림을 디코드하기 위한 것이고, 2nd 비디오 디코더(72-2)는, 세컨더리 비디오 스트림을 디코드하기 위한 것이다. 또한, 1st 오디오 디코더(75-1)는, 오디오 스트림 #1(프라이머리 오디오 스트림)을 디코드하기 위한 것이고, 2nd 오디오 디코더(75-2)는, 오디오 스트림 #2(세컨더리 오디오 스트림)를 디코드하기 위한 것이다. 구체적으로는, 도 23, 및, 도 33 및 도 34의 STN_table()에 있어서, video_stream_id에서 공급되는 비디오 스트림을 디코드하기 위한 것이 1st 비디오 디코더(72-1)이고, video_stream_id2에서 공급되는 비디오 스트림을 디코드하기 위한 것이 2nd 비디오 디코더(72-2)이고, audio_stream_id에서 공급되는 오디오 스트림을 디코드하기 위한 것이 1st 오디오 디코더(75-1)이고, audio_stream_id2에서 공급되는 오디오 스트림을 디코드하기 위한 것이 2nd 오디오 디코더(75-2)이다.
이와 같이, 재생 장치(20)는, 2개의 비디오 스트림을 디코드하기 위해 2개의 비디오 디코더(1st 비디오 디코더(72-1), 2nd 비디오 디코더(72-2))를 갖고, 2개의 오디오 스트림을 디코드하기 위해서, 2개의 오디오 디코더(1st 오디오 디코더(75-1), 2nd 오디오 디코더(75-2))를 갖고 있다. 또한, 이하에서, 1st 비디오 디코더(72-1)와 2nd 비디오 디코더(72-2)를 개개로 구별하지 않는 경우, 비디오 디코더(72)라고 칭하고, 1st 오디오 디코더(75-1)와 2nd 오디오 디코더(75-2)를 개개로 구별하지 않는 경우, 오디오 디코더(75)라고 칭한다.
컨트롤러(34)에 의해 읽어내어진 파일 데이터는, 도시하지 않은 복조, ECC 복호부에 의해, 복조되고, 복조된 다중화 스트림에 오류 정정이 실시된다. 스위치(32)는, 복조되고, 오류 정정이 실시된 데이터를, 컨트롤러(34)로부터의 제어에 기초하여, 스트림의 종류마다 선택하여, 대응하는 버퍼(51 내지 54)에 공급한다. 구체적으로는, 스위치(32)는, 컨트롤러(34)로부터의 제어에 기초하여, 백그라운드 이미지 데이터를 버퍼(51)에 공급하고, 메인 Clip의 데이터를 버퍼(52)에 공급하고, 서브 Clip의 데이터를 버퍼(53)에 공급하고, Text-ST의 데이터를 버퍼(54)에 공급하도록 스위치(32)를 전환한다. 버퍼(51)는, 백그라운드 이미지 데이터를 버퍼링하고, 버퍼(52)는, 메인 Clip의 데이터를 버퍼링하고, 버퍼(53)는, 서브 Clip의 데이터를 버퍼링하고, 버퍼(54)는, Text-ST 데이터를 버퍼링한다.
메인 Clip은, 비디오와 오디오와 비트맵 자막(프리젠테이션 그래픽 스트림)과 인터랙티브 그래픽스 중, 비디오 외에 1개 이상의 스트림을 다중화한 스트림(예를 들면 트랜스포트 스트림)이다. 서브 Clip은, 비디오와 비트맵 자막과 인터랙티브 그래픽스와 오디오 중, 1개 이상의 스트림을 다중화한 스트림이다. 또한, 텍스트 자막 데이터 파일(Text-ST)의 데이터는, 트랜스포트 스트림과 같은 다중화 스트림의 형식이더라도, 그렇지 않더라도 된다.
또한, 메인 Clip과 서브 Clip 및 텍스트 자막 데이터를, 스토리지 드라이브(31)(기록 매체)로부터 읽어낼 때에, 각각의 파일을 시분할로 교대로 읽어내어도 되고, 또는, 서브 Clip나 텍스트 자막 데이터를 메인 Clip으로부터 읽어내기 전에, 전부 버퍼(버퍼(53) 또는 버퍼(54))에 프리 로드하여도 된다.
재생 장치(20)는, 이들 파일의 데이터를, 스토리지 드라이브(31)를 통하여 기록 매체로부터 읽어내어, 비디오, 비트맵 자막, 인터랙티브 그래픽스, 및 오디오를 재생한다.
구체적으로는, 메인 Clip용 리드 버퍼인 버퍼(52)로부터 읽어내어진 스트림 데이터는, 소정의 타이밍에서, 후단의 PID(패킷 ID) 필터(55)에 출력된다. 이 PID 필터(55)는, 입력된 메인 Clip을 PID(패킷 ID)에 따라서, 후단의 각 엘리멘터리 스트림의 디코더에 분류하여 출력한다. 즉, PID 필터(55)는, 비디오 스트림을 1st 비디오 디코더(72-1) 또는 2nd 비디오 디코더(72-2) 중 어느 하나에 공급하기 위한 PID 필터(60)에 공급하고, 프리젠테이션 그래픽스 스트림을 프리젠테이션 그래픽스 디코더(73)에의 공급원으로 되는 스위치(57)에 공급하고, 인터랙티브 그래픽스 스트림을 인터랙티브 그래픽스 디코더(74)에의 공급원으로 되는 스위치(58)에 공급하고, 오디오 스트림을 1st 오디오 디코더(75-1)와 2nd 오디오 디코더(75-2)에의 공급원으로 되는 스위치(59)에 공급한다.
프리젠테이션 그래픽스 스트림은, 예를 들면, 비트맵의 자막 데이터이고, 텍스트 자막 데이터는, 예를 들면, 텍스트 자막 데이터이다.
서브 Clip용 리드 버퍼인 버퍼(53)로부터 읽어내어진 스트림 데이터는, 소정의 타이밍에서, 후단의 PID(패킷 ID) 필터(56)에 출력된다. 이 PID 필터(56)는, 입력된 서브 Clip을 PID(패킷 ID)에 따라서, 후단의 각 엘리멘터리 스트림의 디코더에 분류하여 출력한다. 즉, PID 필터(56)는, 공급된 비디오 스트림을 1st 비디오 디코더(72-1) 또는 2nd 비디오 디코더(72-2) 중 어느 하나에 공급하기 위한 PID 필터(60)에 공급하고, 프리젠테이션 그래픽스 스트림을 프리젠테이션 그래픽스 디코더(73)에의 공급원으로 되는 스위치(57)에 공급하고, 인터랙티브 그래픽스 스트림을 인터랙티브 그래픽스 디코더(74)에의 공급원으로 되는 스위치(58)에 공급하고, 오디오 스트림을 1st 오디오 디코더(75-1)와 2nd 오디오 디코더(75-2)에의 공급원으로 되는 스위치(59)에 공급한다.
백그라운드 이미지 데이터를 버퍼링하는 버퍼(51)로부터 읽어내어진 데이터는, 소정의 타이밍에서 백그라운드 디코더(71)에 공급된다. 백그라운드 디코더(71)는, 백그라운드 이미지 데이터를 디코드하고, 디코드한 백그라운드 이미지 데이터를 백그라운드 플레인 생성부(91)에 공급한다.
스위치(57)는, PID 필터(55)로부터 공급된 메인 Clip에 포함되는 프리젠테이션 그래픽스 스트림과, 서브 Clip에 포함되는 프리젠테이션 그래픽스 스트림 중의 어느 하나를 선택하고, 선택한 프리젠테이션 그래픽스 스트림을, 후단의 프리젠테이션 그래픽스 디코더(73)에 공급한다. 프리젠테이션 그래픽스 디코더(73)는, 프리젠테이션 그래픽스 스트림을 디코드하고, 디코드한 프리젠테이션 그래픽스 스트림의 데이터를 프리젠테이션 그래픽스 플레인 생성부(93)에의 공급원으로 되는 스위치(77)에 공급한다.
또한, 스위치(58)는, PID 필터(55)로부터 공급된 메인 Clip에 포함되는 인터랙티브 그래픽스 스트림과, 서브 Clip에 포함되는 인터랙티브 그래픽스 스트림 중의 어느 하나를 선택하고, 선택한 인터랙티브 그래픽스 스트림을, 후단의 인터랙티브 그래픽스 스트림 디코더(74)에 공급한다. 즉, 인터랙티브 그래픽스 디코더(74)에 동시에 입력되는 인터랙티브 그래픽스 스트림은, 메인 Clip 또는 서브 Clip의 어느 하나로부터 분리된 스트림이다. 인터랙티브 그래픽스 디코더(74)는, 인터랙티브 그래픽스 스트림을 디코드하고, 디코드한 인터랙티브 그래픽스 스트림의 데이터를, 인터랙티브 그래픽스 플레인 생성부(94)에 공급한다.
또한, 스위치(59)는, PID 필터(55)로부터 공급된 메인 Clip에 포함되는 오디오 스트림과, 서브 Clip에 포함되는 오디오 스트림 중의 어느 하나를 선택하고, 선택한 오디오 스트림을, 후단의 1st 오디오 디코더(75-1) 또는, 2nd 오디오 디코더(75-2)에 공급한다. 여기에서, 1st 오디오 디코더(75-1)에 동시에 입력되는 오디오 스트림은, 메인 Clip 또는 서브 Clip의 어느 하나로부터 분리된 스트림이다. 또한, 마찬가지로, 2nd 오디오 디코더(75-2)에 동시에 입력되는 오디오 스트림도, 메인 Clip 또는 서브 Clip의 어느 하나로부터 분리된 스트림이다. 예를 들면, 메인 Clip에 오디오 스트림 #1과 오디오 스트림 #2가 포함되어 있었던 경우, PID 필터(55)는, 오디오 스트림의 PID에 기초하여, 오디오 스트림 #1과 오디오 스트림 #2를 필터링하여, 스위치(59)에 공급한다.
스위치(59)는, 예를 들면, PID 필터(55)로부터 공급된 오디오 스트림 #1을, 1st 오디오 디코더(75-1)에 공급하도록 스위치를 선택하고, PID 필터(55)로부터 공급된 오디오 스트림 #2를, 2nd 오디오 디코더(75-2)에 공급하도록 스위치를 선택한다.
PID 필터(60)는, PID 필터(55)로부터 공급된 메인 Clip에 포함되어 있었던 비디오 스트림, 또는, PID 필터(56)로부터 공급된 서브 Clip에 포함되어 있었던 비디오 스트림의 입력을 받아, 컨트롤러(34)의 제어에 기초하여, 프라이머리 비디오 스트림인지, 세컨더리 비디오 스트림인지를 판별하여, 프라이머리 비디오 스트림을 1st 비디오 디코더(72-1)에 공급하고, 세컨더리 비디오 스트림을 2nd 비디오 디코더(72-2)에 공급한다.
PID 필터(60)에 의해 분류된 비디오 스트림은, 후단의 1st 비디오 디코더(72-1) 또는 2nd 비디오 디코더(72-2)에 공급된다. 1st 비디오 디코더(72-1) 또는 2nd 비디오 디코더(72-2)는, 공급된 비디오 스트림을 디코드하고, 디코드한 비디오 데이터를 비디오 플레인 생성부(92)에 출력한다.
비디오 플레인 생성부(92)는, 1st 비디오 디코더(72-1) 및 2nd 비디오 디코더(72-2)로부터 비디오 데이터가 공급된 경우, pip_metadata를 참조한 컨트롤러(34)의 제어에 기초하여, 공급된 비디오 데이터를 합성하고, 도 5를 이용하여 설명한 바와 같은, 메인 표시 화면(1) 및 서브 표시 화면(2)으로 구성되는 비디오 플레인을 생성하고, 이것을 비디오 데이터 처리부(96)에 공급한다. 또한, 비디오 플레인 생성부(92)는, 1st 비디오 디코더(72-1)만으로부터 비디오 데이터가 공급된 경우, 공급된 비디오 데이터를 이용하여 비디오 플레인을 생성하고, 이것을 비디오 데이터 처리부(96)에 공급한다. 또한, 2개의 비디오 데이터를 합성하는 것은, 예를 들면, 믹싱, 중첩한다고도 칭해진다.
1st 오디오 디코더(75-1)는, 오디오 스트림을 디코드하고, 디코드한 오디오 스트림의 데이터를 믹싱 처리부(101)에 공급한다. 또한, 2nd 오디오 디코더(75-2)는, 오디오 스트림을 디코드하고, 디코드한 오디오 스트림의 데이터를 믹싱 처리부(101)에 공급한다.
여기에서, 오디오 스트림 #1과 오디오 스트림 #2를 중첩하여 재생하는 경우(유저에 의해 재생하는 오디오 스트림으로서, 2개의 오디오 스트림이 선택된 경우), 1st 오디오 디코더(75-1)에 의해 디코드된 오디오 스트림 #1과, 2nd 오디오 디코더(75-2)에 의해 디코드된 오디오 스트림 #2가, 믹싱 처리부(101)에 공급된다.
믹싱 처리부(101)는, 1st 오디오 디코더(75-1)로부터의 오디오 데이터와, 2nd 오디오 디코더(75-2)로부터의 오디오 데이터를 믹싱(중첩)하여, 후단의 믹싱 처리부(97)에 출력한다. 또한, 본 실시 형태에서는, 1st 오디오 디코더(75-1)로부터 출력되는 오디오 데이터와 2nd 오디오 디코더(75-2)로부터 출력되는 오디오 데이터를 믹싱(중첩)하는 것을, 합성한다고도 칭한다. 즉, 합성은, 2개의 오디오 데이터를, 믹싱하는 것도 나타내는 것으로 한다.
또한, 스위치(32)에 의해 선택된 사운드 데이터는, 버퍼(95)에 공급되고, 버퍼링된다. 버퍼(95)는, 소정의 타이밍에서 사운드 데이터를 믹싱 처리부(97)에 공급한다. 사운드 데이터는, 이 경우, 메뉴 선택 등에 의한 효과음의 데이터이다. 믹싱 처리부(97)는, 믹싱 처리부(101)에 의해 믹싱된 오디오 데이터(1st 오디오 디코더(75-1)로부터 출력된 오디오 데이터와 2nd 오디오 디코더(75-2)로부터 출력된 오디오 데이터가 믹싱된 오디오 데이터)와, 버퍼(95)로부터 공급되어 온 사운드 데이터를 믹싱(중첩, 또는 합성)하여, 음성 신호로서 출력한다.
텍스트 자막용 리드 버퍼인 버퍼(54)로부터 읽어내어진 데이터는, 소정의 타이밍에서, 후단의 텍스트 자막 컴포지션(디코더)(76)에 출력된다. 텍스트 자막 컴포지션(76)은, Text-ST 데이터를 디코드하여, 스위치(77)에 공급한다.
스위치(77)는, 프리젠테이션 그래픽스 디코더(73)에 의해 디코드된 프리젠테이션 그래픽스 스트림과, Text-ST(텍스트 자막 데이터) 중, 어느 하나를 선택하고, 선택한 데이터를 프리젠테이션 그래픽스 플레인 생성부(93)에 공급한다. 즉, 프리젠테이션 그래픽스 플레인(93)에 동시에 공급되는 자막 화상은, 프리젠테이션 그래픽스 디코더(73) 또는 텍스트 자막(Text-ST) 컴포지션(76) 중의 어느 하나의 출력이다. 또한, 프리젠테이션 그래픽스 디코더(73)에 동시에 입력되는 프리젠테이션 그래픽스 스트림은, 메인 Clip 또는 서브 Clip 중 어느 하나로부터 분리된 스트림이다(스위치(57)에 의해 선택됨). 따라서, 프리젠테이션 그래픽스 플레인(93)에 동시에 출력되는 자막 화상은, 메인 Clip으로부터의 프리젠테이션 그래픽스 스트림, 또는 서브 Clip으로부터의 프리젠테이션 그래픽스 스트림, 또는 텍스트 자막 데이터의 디코드 출력이다.
백그라운드 플레인 생성부(91)는, 백그라운드 디코더(71)로부터 공급된 백그라운드 이미지 데이터에 기초하여, 예를 들면, 비디오 화상을 축소 표시한 경우에 바탕 화면 화상으로 되는 백그라운드 플레인을 생성하고, 이것을, 비디오 데이터 처리부(96)에 공급한다.
프리젠테이션 그래픽스 플레인 생성부(93)는, 스위치(77)에 의해 선택되어, 공급된 데이터(프리젠테이션 그래픽스 스트림 또는 텍스트 자막 데이터)에 기초하여, 예를 들면, 렌더링 화상인 프리젠테이션 그래픽스 플레인을 생성하고, 이것을 비디오 데이터 처리부(96)에 공급한다. 인터랙티브 그래픽스 플레인 생성부(94)는, 인터랙티브 그래픽스 디코더(74)로부터 공급된 인터랙티브 그래픽스 스트림의 데이터에 기초하여, 인터랙티브 그래픽스 플레인을 생성하고, 이것을 비디오 데이터 처리부(96)에 공급한다.
비디오 데이터 처리부(96)는, 백그라운드 플레인 생성부(91)로부터의 백그라운드 플레인, 비디오 플레인 생성부(92)로부터의 비디오 플레인, 프리젠테이션 그래픽스 플레인 생성부(93)로부터의 프리젠테이션 그래픽스 플레인, 및 인터랙티브 그래픽스 플레인 생성부(94)로부터의 인터랙티브 그래픽스 플레인을 합성하여, 비디오 신호로서 출력한다. 또한, 믹싱 처리부(97)는, 믹싱 처리부(101)로부터의 오디오 데이터(1st 오디오 디코더(75-1)에 의해 디코드된 오디오 데이터와 2nd 오디오 디코더(75-2)에 의해 디코드된 오디오 데이터가 믹싱된 오디오 데이터)와, 버퍼(95)로부터의 사운드 데이터를 믹싱(합성 또는 중첩)하여, 음성 신호로서 출력한다.
이들 스위치(57 내지 59), 및 스위치(77)는, 유저 인터페이스를 통하는 유저로부터의 선택, 또는, 대상으로 되는 데이터가 포함되는 파일측에 기초하여, 스위치를 전환한다. 예를 들면, 서브 Clip AV 스트림 파일밖에만, 오디오 스트림이 포함되어 있지 않는 경우, 스위치(59)는 서브측으로 스위치를 전환한다.
다음으로, 도 35의 재생 장치(20)에서의 재생 처리를, 도 36의 플로우차트를 참조하여 설명한다. 또한, 이 처리는, 유저에 의해 유저 인터페이스를 통하여, 소정의 AV 스트림의 재생이 명령되었을 때 개시된다.
스텝 S1에서, 컨트롤러(34)는, 스토리지 드라이브(31)를 통하여, 기록 매체나 도시하지 않은 HDD(Hard Disk Drive)에 기록되어 있는 PlayList 파일을 읽어낸다. 예를 들면, 도 7을 이용하여 설명한 PlayList 파일(×××××.mpls)이 읽어내어진다.
스텝 S2에서, 컨트롤러(34)는, 읽어낸 PlayList 파일에 기초하여, 재생할 스트림에 세컨더리 비디오가 존재하는지의 여부를 판단한다.
구체적으로는, 컨트롤러(34)는, 읽어낸 PlayList 파일 중의 PlayItem 중의, 예를 들면, 도 33 및 도 34를 이용하여 설명한 STN_table()의 세컨더리 비디오 루프(video_stream_id2의 for 루프)를 실행함으로써, 재생할 스트림에 세컨더리 비디오가 존재하는지의 여부를 판단한다.
스텝 S2에서, 세컨더리 비디오가 존재하지 않는다고 판단된 경우, 스텝 S3에서, 도 37 내지 도 39를 이용하여 후술하는 프라이머리 비디오 재생 처리가 실행된다.
스텝 S4에서, 컨트롤러(34)는, 읽어내어진 PlayList 파일에 대응하는 스트림의 재생은 종료인지의 여부를 판단한다. 스텝 S4에서, 스트림의 재생은 종료가 아니라 판단된 경우, 처리는, 스텝 S3으로 되돌아가, 그 이후의 처리가 반복되고, 스트림의 재생은 종료라고 판단된 경우, 처리가 종료된다.
스텝 S2에서, 세컨더리 비디오가 존재한다고 판단된 경우, 스텝 S5에서, 컨트롤러(34)는, pip_metadata를 읽어낸다. 또한, 상기와 같이 세컨더리 비디오가 포함되는 것을 확인하고 나서, PlayItem에 관련한 pip_metadata만을 메모리에 유지하도록 하여도 되고, 또한, 도 7 내지 도 9에서 설명한 바와 같이 pip_metadata는, Playlist의 일부이기 때문에, 스텝 S1의 PlayList 파일 읽어내기 시에 pip_metadata도 동시에 읽어내도록 해도 된다.
구체적으로는, 컨트롤러(34)는, 예를 들면, 현재의 PlayItem_id 및 STN_table()에 의해 판별되는 secondary_video_stream_id에 기초하여, 대상으로 되는 pip_metadata를 특정하고, PlayList 파일로부터 특정한 pip_metadata를 읽어낸다.
스텝 S6에서, 컨트롤러(34)는, 읽어낸 pip_metadata의 기재에 기초하여, 세컨더리 스트림은, 프라이머리 스트림에 동기하고 있는(즉, 메인 패스의 PlayItem의 시간축에 동기하고 있는)지 여부를 판단한다.
구체적으로는, 예를 들면, pip_metadata의 데이터 구조가, 도 9를 이용하여 설명한 것이었던 경우, 컨트롤러(34)는, 도 10을 이용하여 설명한 pip_metadata_type의 값에 기초하여, 세컨더리 스트림은, 프라이머리 스트림에 동기하고 있는지의 여부를 판단하고, pip_metadata의 데이터 구조가, 도 11을 이용하여 설명한 것이었던 경우, 컨트롤러(34)는, Synchronous_PIP_metadata_flag를 참조하여, 세컨더리 스트림은, 프라이머리 스트림에 동기하고 있는지의 여부를 판단할 수 있다.
또한, 예를 들면, pip_metadata의 데이터 구조가, 도 12를 이용하여 설명한 것이었던 경우, 컨트롤러(34)는, Subpath_type에 의해, 세컨더리 스트림은, 프라이머리 스트림과 동기하고 있는지의 여부를 판단할 수 있다.
또한, pip_metadata의 데이터 구조가, 도 9 또는 도 11을 이용하여 설명한 것이었던 경우, 세컨더리 스트림이 프라이머리 스트림에 동기하고 있는지의 여부는, pip_metadata 이외에도, 도 12의 pip_metadata의 데이터 구조와 마찬가지로, Subpath_type에 의해 판단할 수도 있다. 즉, 컨트롤러(34)는, Subpath_type에 의해, 세컨더리 스트림이 프라이머리 스트림에 동기하고 있는지의 여부를 판단할 수 있다.
스텝 S6에서, 세컨더리 스트림은, 프라이머리 스트림에 동기하고 있다고 판단된 경우, 스텝 S7로 진행하여, 컨트롤러(34)는, 도 17을 참조하여 설명한 바와 같이, 프라이머리 스트림의 표시 시각이, 세컨더리 스트림의 재생 구간의 선두를 나타내는 SubPlayItem_IN_time으로 되어 있는지의 여부를 판단한다.
스텝 S7에서, 프라이머리 스트림의 표시 시각이, SubPlayItem_IN_time이 아니라고 판단된 경우, 스텝 S8에서, 도 37 내지 도 39를 이용하여 후술하는 프라이머리 비디오 재생 처리가 실행된다.
한편, 스텝 S7에서, 프라이머리 스트림의 표시 시각이, SubPlayItem_IN_time이라고 판단된 경우, 스텝 S9에서, 도 40 내지 도 42를 이용하여 후술하는 프라이머리 및 세컨더리 비디오 재생 처리가 실행된다.
스텝 S10에서, 컨트롤러(34)는, 프라이머리 스트림의 표시 시각이, 세컨더리 스트림의 재생 구간의 종료를 나타내는 SubPlayItem_OUT_time인지의 여부를 판단한다. 스텝 S10에서, SubPlayItem_OUT_time이 아니라고 판단된 경우, 스텝 S9로 되돌아가, 그 이후의 처리가 반복되고, SubPlayItem_OUT_time이라고 판단된 경우, 스텝 S11에서, 컨트롤러(34)는, 읽어내어진 PlayList 파일에 대응하는 스트림의 재생이 종료인지의 여부를 판단한다.
스텝 S11에서, 스트림의 재생은 종료가 아니라고 판단된 경우, 처리는, 스텝 S7로 되돌아가, 그 이후의 처리가 반복되고, 스트림의 재생은 종료라고 판단된 경우, 처리가 종료된다.
한편, 스텝 S6에서, 세컨더리 스트림은, 프라이머리 스트림에 동기하지 않고 있다(즉, 서브 패스의 SubPlayItem의 시간축에 동기하고 있다)고 판단된 경우, 유저로부터 세컨더리 비디오 스트림의 표시가 지시될 때까지, 프라이머리 비디오 스트림만이 표시되므로, 스텝 S12에서, 도 37 내지 도 39를 이용하여 후술하는 프라이머리 비디오 재생 처리가 실행된다.
스텝 S13에서, 컨트롤러(34)는, 유저로부터, 세컨더리 비디오 스트림의 표시의 지시를 받았는지 여부를 판단한다.
스텝 S13에서, 세컨더리 스트림의 표시의 지시를 받지 않았다고 판단된 경우, 스텝 S14에서, 컨트롤러(34)는, 읽어내어진 PlayList 파일에 대응하는 스트림의 재생이 종료인지의 여부를 판단한다. 스텝 S14에서, 스트림의 재생은 종료가 아니라고 판단된 경우, 처리는, 스텝 S12로 되돌아가, 그 이후의 처리가 반복되고, 스트림의 재생은 종료라고 판단된 경우, 처리가 종료된다.
한편, 스텝 S13에서, 세컨더리 비디오 스트림의 표시의 지시를 받았다고 판단된 경우, 스텝 S15에서, 도 40 내지 도 42를 이용하여 후술하는 프라이머리 및 세컨더리 비디오 재생 처리가 실행된다.
스텝 S16에서, 컨트롤러(34)는, 유저로부터, 세컨더리 비디오 스트림의 표시 종료의 명령을 받았는지 여부를 판단한다. 스텝 S16에서, 세컨더리 스트림의 표시 종료의 명령을 받았다고 판단된 경우, 처리는, 스텝 S12로 되돌아가, 그 이후의 처리가 반복된다.
스텝 S16에서, 세컨더리 비디오 스트림의 표시 종료의 명령을 받지 않았다고 판단된 경우, 스텝 S17에서, 컨트롤러(34)는, 읽어내어진 PlayList 파일에 대응하는 스트림의 재생은 종료인지의 여부를 판단한다. 스텝 S17에서, 스트림의 재생은 종료가 아니라고 판단된 경우, 처리는, 스텝 S15로 되돌아가, 그 이후의 처리가 반복되고, 스트림의 재생은 종료라고 판단된 경우, 처리가 종료된다.
이러한 처리에 의해, 읽어내어진 PlayList 파일에 대응하는 스트림의 재생에 있어서, 세컨더리 스트림이 존재하는지의 여부, 존재하는 경우에는, 프라이머리 스트림(메인 패스)에 동기하고 있는지의 여부에 기초하여, 세컨더리 스트림을 프라이머리 스트림에 중첩시켜 항상 표시시킬 것인지 여부가 결정되고, 프라이머리 스트림(메인 패스)에 동기하지 않고 있는 경우에는, 유저로부터 세컨더리 스트림의 표시가 명령되었는지, 또는, 세컨더리 스트림의 표시 종료가 명령되었는지에 기초하여, 세컨더리 스트림을 프라이머리 스트림에 중첩시킬 것인지의 여부가 결정된다.
다음으로, 도 37 내지 도 39의 플로우차트를 참조하여, 도 36의 스텝 S3, 스텝 S8, 또는 스텝 S12에서 실행되는, 프라이머리 비디오 재생 처리에 대하여 설명한다.
스텝 S41에서, 컨트롤러(34)는, 메인 Clip, 서브 Clip, 및 텍스트 자막 데이터(Text-ST 데이터)를 읽어낸다. 구체적으로는, 컨트롤러(34)는, 도 18을 이용하여 설명한 PlayList에 포함되는, 도 22를 이용하여 설명한 PlayItem에 기초하여, 메인 Clip을 읽어낸다. 또한, 컨트롤러(34)는, PlayList에 포함되는 SubPath에서 참조되는, 도 21을 이용하여 설명한 SubPlayItem에 기초하여, 서브 Clip과, 텍스트 자막 데이터를 읽어낸다.
스텝 S42에서, 컨트롤러(34)는, 읽어낸 데이터(메인 Clip, 서브 Clip, 및 텍스트 자막 데이터)를 대응하는 버퍼(51 내지 54)에 공급하도록 스위치(32)를 제어한다. 구체적으로는, 컨트롤러(34)는, 백그라운드 이미지 데이터를 버퍼(51)에 공급하고, 메인 Clip의 데이터를 버퍼(52)에 공급하고, 서브 Clip의 데이터를 버퍼(53)에 공급하고, Text-ST의 데이터를 버퍼(54)에 공급하도록 스위치(32)를 전환한다.
스텝 S43에서, 스위치(32)는 컨트롤러(34)로부터의 제어에 기초하여, 스위치(32)를 전환한다. 이에 의해, 백그라운드 이미지 데이터는 버퍼(51)에 공급되고, 메인 Clip의 데이터는 버퍼(52)에 공급되고, 서브 Clip의 데이터는 버퍼(53)에 공급되고, 텍스트 자막 데이터는 버퍼(54)에 공급된다.
스텝 S44에서, 각 버퍼(51 내지 54)는, 공급된 데이터를 각각 버퍼링한다. 구체적으로는, 버퍼(51)는, 백그라운드 이미지 데이터를 버퍼링하고, 버퍼(52)는, 메인 Clip의 데이터를 버퍼링하고, 버퍼(53)는, 서브 Clip의 데이터를 버퍼링하고, 버퍼(54)는, Text-ST 데이터를 버퍼링한다.
스텝 S45에서, 버퍼(51)는, 백그라운드 이미지 데이터를 백그라운드 디코더(71)에 출력한다.
스텝 S46에서, 버퍼(52)는 메인 Clip의 스트림 데이터를 PID 필터(55)에 출력한다.
스텝 S47에서, PID 필터(55)는, 메인 Clip AV 스트림 파일을 구성하는 TS 패킷에 첨부되어 있는 PID에 기초하여, 각 엘리멘터리 스트림의 디코더에 분류한다. 구체적으로는, PID 필터(55)는, 비디오 스트림을 PID 필터(60)를 통하여 1st 비디오 디코더(72-1)에 공급하고, 프리젠테이션 그래픽스 스트림을 프리젠테이션 그래픽스 디코더(73)에의 공급원으로 되는 스위치(57)에 공급하고, 인터랙티브 그래픽스 스트림을 인터랙티브 그래픽스 디코더(74)에의 공급원으로 되는 스위치(58)에 공급하고, 오디오 스트림을 1st 오디오 디코더(75-1)에의 공급원으로 되는 스위치(59)에 공급한다. 즉, 비디오 스트림, 프리젠테이션 그래픽스 스트림, 인터랙티브 그래픽스 스트림, 및 오디오 스트림에는, 각각 서로 다른 PID가 첨부되어 있다.
스텝 S48에서, 버퍼(53)는, 서브 Clip의 스트림 데이터를 PID 필터(56)에 출력한다.
스텝 S49에서, PID 필터(56)는, PID에 기초하여, 각 엘리멘터리 스트림의 디코더에 분류한다. 구체적으로는, PID 필터(56)는, 공급된 비디오 스트림을 PID 필터(60)를 통하여 1st 비디오 디코더(72-1)에 공급하고, 프리젠테이션 그래픽스 스트림을 프리젠테이션 그래픽스 디코더(73)에의 공급원으로 되는 스위치(57)에 공급하고, 인터랙티브 그래픽스 스트림을 인터랙티브 그래픽스 디코더(74)에의 공급원으로 되는 스위치(58)에 공급하고, 오디오 스트림을 1st 오디오 디코더(75-1)와 2nd 오디오 디코더(75-2)에의 공급원으로 되는 스위치(59)에 공급한다.
스텝 S50에서, PID 필터(55) 및 PID 필터(56)의 후단의 스위치(57 내지 59) 및 PID 필터(60)는, 유저 인터페이스를 통하는 컨트롤러(34)로부터의 제어에 기초하여, 메인 Clip과 서브 Clip 중 어느 하나를 선택한다. 구체적으로는, 스위치(57)는, PID 필터(55)로부터 공급된 메인 Clip 또는 서브 Clip의 프리젠테이션 그래픽스 스트림을 선택하여, 후단의 프리젠테이션 그래픽스 디코더(73)에 공급한다. 또한, 스위치(58)는, PID 필터(55)로부터 공급된 메인 Clip 또는 서브 Clip의 인터랙티브 그래픽스 스트림을 선택하여, 후단의 인터랙티브 그래픽스 스트림 디코더(74)에 공급한다. 또한, 스위치(59)는, PID 필터(55)로부터 공급된 메인 Clip, 또는, PID 필터(56)로부터 공급된 서브 Clip의 오디오 스트림(여기에서는, 음성이 전환되기 전이므로, 오디오 스트림 #1)을 선택하여, 후단의 1st 오디오 디코더(75-1)에 공급한다. 또한, 음성을 전환하는 바와 같은 명령이 유저에 의해 행해진 경우에는, 스위치(59)는, 메인 Clip의 오디오 스트림을 2nd 오디오 디코더(75-2)에 공급하거나, 서브 Clip의 오디오 스트림을 1st 오디오 디코더(75-1)나 2nd 오디오 디코더(75-2)에 공급하기도 하지만, 여기에서는, 음성이 전환되기 전의 재생 처리에 대하여 설명하고 있으므로, 그 설명은 생략하고 있다.
스텝 S51에서, 버퍼(54)는, 텍스트 자막 데이터를 텍스트 자막 컴포지션(76)에 출력한다.
스텝 S52에서, 백그라운드 디코더(71)는, 백그라운드 이미지 데이터를 디코드하고, 이것을 백그라운드 플레인 생성부(91)에 출력한다.
스텝 S53에서, 1st 비디오 디코더(72-1)는, 비디오 스트림(즉, 공급된 프라이머리 비디오 스트림)을 디코드하고, 이것을 비디오 플레인 생성부(92)에 출력한다.
스텝 S54에서, 프리젠테이션 그래픽스 디코더(73)는, 스위치(57)에 의해 선택되어, 공급된 프리젠테이션 그래픽스 스트림을 디코드하고, 이것을 후단의 스위치(77)에 출력한다.
스텝 S55에서, 인터랙티브 그래픽스 디코더(74)는, 스위치(58)에 의해 선택되어, 공급된 인터랙티브 그래픽스 스트림을 디코드하고, 이것을 후단의 인터랙티브 그래픽스 플레인 생성부(94)에 출력한다.
스텝 S56에서, 1st 오디오 디코더(75-1)는, 스위치(59)에 의해 선택되어, 공급된 오디오 스트림(오디오 스트림 #1)을 디코드하고, 이것을 후단의 믹싱 처리부(101)에 출력한다. 음성의 전환이 유저에 의해 지시되어 있지 않은 상태에서의 재생 처리에서는, 2nd 오디오 디코더(75-2)로부터 오디오 데이터가 출력되는 일은 없으므로, 믹싱 처리부(101)는, 1st 오디오 디코더(75-1)로부터 출력된 오디오 데이터를, 그대로 후단의 믹싱 처리부(97)에 공급한다.
스텝 S57에서, Text-ST 컴포지션(76)은, 텍스트 자막 데이터를 디코드하고, 이것을 후단의 스위치(77)에 출력한다.
스텝 S58에서, 스위치(77)는, 프리젠테이션 그래픽스 디코더(73) 또는 Text-ST 컴포지션(76)으로부터의 데이터 중 어느 하나를 선택한다. 구체적으로는, 스위치(77)는, 프리젠테이션 그래픽스 디코더(73)에 의해 디코드된 프리젠테이션 그래픽스 스트림과, Text-ST(텍스트 자막 데이터) 중, 어느 하나를 선택하고, 선택한 데이터를 프리젠테이션 그래픽스 플레인 생성부(93)에 공급한다.
스텝 S59에서, 백그라운드 플레인 생성부(91)는, 백그라운드 디코더(71)로부터 공급된 백그라운드 이미지 데이터에 기초하여, 백그라운드 플레인을 생성한다.
스텝 S60에서, 비디오 플레인 생성부(92)는 1st 비디오 디코더(72-1)로부터 공급된 비디오 데이터에 기초하여, 비디오 플레인을 생성한다.
스텝 S61에서, 프리젠테이션 그래픽스 플레인 생성부(93)는, 스텝 S58의 처리에서 스위치(77)에 의해 선택되어, 공급된 프리젠테이션 그래픽스 디코더(73)로부터의 데이터 또는 Text-ST 컴포지션(76)으로부터의 데이터에 기초하여, 프리젠테이션 그래픽스 플레인을 생성한다.
스텝 S62에서, 인터랙티브 그래픽스 플레인 생성부(94)는, 인터랙티브 그래픽스 디코더(74)로부터 공급된 인터랙티브 그래픽스 스트림의 데이터에 기초하여, 인터랙티브 그래픽스 플레인을 생성한다.
스텝 S63에서, 버퍼(95)는, 스텝 S43의 처리에서 선택되어, 공급된 사운드 데이터를 버퍼링하여, 소정의 타이밍에서 믹싱 처리부(97)에 공급한다.
스텝 S64에서, 비디오 데이터 처리부(96)는, 각 플레인의 데이터를 합성하여, 출력한다. 구체적으로는, 백그라운드 플레인 생성부(91), 비디오 플레인 생성부(92), 프리젠테이션 그래픽스 플레인 생성부(93), 및 인터랙티브 그래픽스 플레인 생성부(94)로부터의 데이터를 합성하여, 비디오 데이터로서 출력한다.
스텝 S65에서, 믹싱 처리부(97)는, 오디오 데이터(믹싱 처리부(101)로부터 출력된 오디오 데이터)와 사운드 데이터를 믹싱(합성)하여, 출력하고, 처리는, 도 36의 스텝 S3로 되돌아가, 스텝 S4로 진행하거나, 또는, 도 36의 스텝 S8로 되돌아가고, 스텝 S7로 진행하거나, 도 30의 스텝 S12로 되돌아가고, 스텝 S13으로 진행한다.
도 37 내지 도 39를 이용하여 설명한 처리에 의해, PlayList에 포함되는 메인 패스와 서브 패스에 의해 메인 Clip, 서브 Clip, 및 텍스트 자막 데이터가 참조되어, 재생된다. 여기에서, 표시되는 영상은, 프라이머리 비디오 스트림의 영상뿐이며, 도 5를 이용하여 설명한 서브 표시 화면(2)은 표시되지 않는다. PlayList에 메인 패스와 서브 패스를 설치하도록 하고, 서브 패스에서, 메인 패스에서 지정하는 Clip AV 스트림 파일은 서로 다른 Clip을 지정 가능한 구성으로 했으므로, 메인 패스의 PlayItem이 가리키는 메인 Clip과는 상이한 Clip인 서브 Clip의 데이터와 메인 Clip의 데이터를 모두(동일한 타이밍에서) 재생할 수 있다.
또한, 도 37 내지 도 39에 있어서, 스텝 S45, 스텝 S46의 처리는, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 또한, 스텝 S47, 스텝 S49의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 또한, 스텝 S52 내지 스텝 S57의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 또한, 스텝 S59 내지 스텝 S62의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 또한, 스텝 S64, 스텝 S65의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 즉, 도 35에 있어서, 세로로 동일한 계층의 버퍼(51 내지 54)의 처리, 스위치(57 내지 59)의 처리, 디코더(71 내지 76)의 처리, 플레인 생성부(91 내지 94)의 처리, 비디오 데이터 처리부(96) 및 믹싱 처리부(97)의 처리는, 각각, 평행하게 실행되어도 되고, 그 순번은 묻지 않는다.
다음으로, 도 40 내지 도 42의 플로우차트를 참조하여, 도 36의 스텝 S9 또는 스텝 S15에서 실행되는, 프라이머리 및 세컨더리 비디오 재생 처리에 대하여 설명한다.
스텝 S101 내지 스텝 S106에서, 도 37 및 도 38을 이용하여 설명한 스텝 S41 내지 스텝 S46과 기본적으로 마찬가지의 처리가 실행된다.
즉, 컨트롤러(34)에 의해, 메인 Clip, 서브 Clip, 및 텍스트 자막 데이터(Text-ST 데이터)가 읽어내어지고, 읽어낸 데이터(메인 Clip, 서브 Clip, 및 텍스트 자막 데이터)를 대응하는 버퍼(51 내지 54)에 공급하도록 스위치(32)가 제어된다. 스위치(32)에 의해, 컨트롤러(34)로부터의 제어에 기초하여, 백그라운드 이미지 데이터는 버퍼(51)에 공급되고, 메인 Clip의 데이터는 버퍼(52)에 공급되고, 서브 Clip의 데이터는 버퍼(53)에 공급되고, 텍스트 자막 데이터는 버퍼(54)에 공급되고, 버퍼(51 내지 54)에 버퍼링된다. 버퍼(51)는, 백그라운드 이미지 데이터를 백그라운드 디코더(71)에 출력한다. 버퍼(52)는 메인 Clip의 스트림 데이터를 PID 필터(55)에 출력한다.
스텝 S107에서, PID 필터(55)는, 메인 Clip AV 스트림 파일을 구성하는 TS 패킷에 첨부되어 있는 PID에 기초하여, 각 엘리멘터리 스트림의 디코더에 분류한다. 구체적으로는, PID 필터(55)는, 비디오 스트림을 PID 필터(60)에 공급하고, 프리젠테이션 그래픽스 스트림을 프리젠테이션 그래픽스 디코더(73)에의 공급원으로 되는 스위치(57)에 공급하고, 인터랙티브 그래픽스 스트림을 인터랙티브 그래픽스 디코더(74)에의 공급원으로 되는 스위치(58)에 공급하고, 오디오 스트림을 1st 오디오 디코더(75-1)에의 공급원으로 되는 스위치(59)에 공급한다. 즉, 비디오 스트림, 프리젠테이션 그래픽스 스트림, 인터랙티브 그래픽스 스트림, 및 오디오 스트림에는, 각각 상이한 PID가 첨부되어 있다. PID 필터(60)는, 컨트롤러(34)의 제어에 기초하여, 프라이머리 비디오 스트림을 1st 비디오 디코더(72-1)에 공급하고, 세컨더리 비디오 스트림을 2nd 비디오 디코더(72-2)에 공급한다.
스텝 S108에서, 버퍼(53)는, 서브 Clip의 스트림 데이터를 PID 필터(56)에 출력한다.
스텝 S109에서, PID 필터(56)는, PID에 기초하여, 각 엘리멘터리 스트림의 디코더에 분류한다. 구체적으로는, PID 필터(56)는, 공급된 비디오 스트림을 PID 필터(60)에 공급하고, 프리젠테이션 그래픽스 스트림을 프리젠테이션 그래픽스 디코더(73)에의 공급원으로 되는 스위치(57)에 공급하고, 인터랙티브 그래픽스 스트림을 인터랙티브 그래픽스 디코더(74)에의 공급원으로 되는 스위치(58)에 공급하고, 오디오 스트림을 1st 오디오 디코더(75-1)와 2nd 오디오 디코더(75-2)에의 공급원으로 되는 스위치(59)에 공급한다. PID 필터(60)는, 컨트롤러(34)의 제어에 기초하여, 프라이머리 비디오 스트림을 1st 비디오 디코더(72-1)에 공급하고, 세컨더리 비디오 스트림을 2nd 비디오 디코더(72-2)에 공급한다.
그리고, 스텝 S110 내지 스텝 S112에서, 도 37 및 도 38을 이용하여 설명한 스텝 S50 내지 스텝 S52와 기본적으로 마찬가지의 처리가 실행된다.
즉, 스위치(57 내지 59) 및 PID 필터(60)는, 컨트롤러(34)로부터의 제어에 기초하여, 메인 Clip과 서브 Clip 중 어느 하나를 선택한다. 버퍼(54)는, 텍스트 자막 데이터를 텍스트 자막 컴포지션(76)에 출력한다. 백그라운드 디코더(71)는, 백그라운드 이미지 데이터를 디코드하고, 이것을 백그라운드 플레인 생성부(91)에 출력한다.
그리고, 스텝 S113에서, 1st 비디오 디코더(72-1)는, 공급된 프라이머리 비디오 스트림을 디코드하고, 이것을 비디오 플레인 생성부(92)에 출력한다.
스텝 S114에서, 2nd 비디오 디코더(72-2)는, 공급된 세컨더리 비디오 스트림을 디코드하고, 이것을 비디오 플레인 생성부(92)에 출력한다.
스텝 S115에서, 프리젠테이션 그래픽스 디코더(73)는, 스위치(57)에 의해 선택되어, 공급된 프리젠테이션 그래픽스 스트림을 디코드하고, 이것을 후단의 스위치(77)에 출력한다.
스텝 S116에서, 인터랙티브 그래픽스 디코더(74)는, 스위치(58)에 의해 선택되어, 공급된 인터랙티브 그래픽스 스트림을 디코드하고, 이것을 후단의 인터랙티브 그래픽스 플레인 생성부(94)에 출력한다.
스텝 S117에서, 1st 오디오 디코더(75-1)는, 스위치(59)에 의해 선택되어, 공급된 프라이머리 오디오 스트림을 디코드하고, 이것을 후단의 믹싱 처리부(101)에 출력한다.
스텝 S118에서, 2nd 오디오 디코더(75-2)는, 스위치(59)에 의해 선택되어, 공급된 세컨더리 오디오 스트림을 디코드하고, 이것을 후단의 믹싱 처리부(101)에 출력한다.
스텝 S119에서, Text-ST 컴포지션(76)은, 프라이머리 또는 세컨더리 중, 표시되는 텍스트 자막 데이터를 디코드하고, 이것을 후단의 스위치(77)에 출력한다.
스텝 S120에서, 스위치(77)는, 프리젠테이션 그래픽스 디코더(73) 또는 Text-ST 컴포지션(76)으로부터의 데이터 중 어느 하나를 선택한다. 구체적으로는, 스위치(77)는, 프리젠테이션 그래픽스 디코더(73)에 의해 디코드된 프리젠테이션 그래픽스 스트림과, Text-ST(텍스트 자막 데이터) 중, 어느 하나를 선택하고, 선택한 데이터를 프리젠테이션 그래픽스 플레인 생성부(93)에 공급한다.
스텝 S121에서, 백그라운드 플레인 생성부(91)는, 백그라운드 디코더(71)로부터 공급된 백그라운드 이미지 데이터에 기초하여, 백그라운드 플레인을 생성한다.
스텝 S122에서, 비디오 플레인 생성부(92)는, pip_metadata를 참조한 컨트롤러(34)의 제어에 기초하여, 1st 비디오 디코더(72-1) 및 2nd 비디오 디코더(72-2)로부터 공급된 비디오 데이터를 합성하고, 도 5를 이용하여 설명한 바와 같은, 메인 표시 화면(1) 및 서브 표시 화면(2)으로 구성되는 비디오 플레인을 생성하고, 이것을 비디오 데이터 처리부(96)에 공급한다.
구체적으로는, 비디오 플레인 생성부(92)는, 예를 들면, 도 9, 도 11, 또는 도 12를 이용하여 설명한 pip_metadata를 참조한 컨트롤러(34)의 제어에 기초하여, 포지셔닝, 스케일링한 세컨더리 비디오 스트림을 프라이머리 비디오 스트림에 합성하고, 도 5를 이용하여 설명한 바와 같은, 메인 표시 화면(1) 및 서브 표시 화면(2)으로 구성되는 비디오 플레인을 생성하고, 이것을 비디오 데이터 처리부(96)에 공급한다.
여기에서, 도 43을 참조하여, 포지셔닝과 스케일링의 상세에 대하여 설명한다.
도 9, 도 11, 또는 도 12를 이용하여 설명한 pip_metadata에 도시한 바와 같이, pip_horizotal_position은, 예를 들면, 도 5의 메인 표시 화면(1) 상에 있어서, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 좌상 코너의 X 좌표를 나타내고, pip_vertical_position은, 예를 들면, 도 5의 메인 표시 화면(1) 상에 있어서, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 좌상 코너의 Y 좌표를 나타낸다. 또한, pip_scale은, 세컨더리 비디오가 표시되는 서브 표시 화면(2)의 크기에 관한 정보를 나타낸다.
즉, 도 43에 도시한 바와 같이, 프라이머리 비디오 플레인(Primary Video plane) 상에 있어서, pip_scale에 기초하여 소정의 크기로 조절된 스케일된 세컨더리 비디오(Scaled Secondary Video)는, 프라이머리 비디오 플레인의 좌상 코너로부터, X축 방향으로 pip_horizotal_position, Y축 방향으로 pip_vertical_position으로 되는 위치가, 스케일링 세컨더리 비디오의 좌상 코너로 되도록 배치되게 된다.
또한, 이 때, 도 12를 이용하여 설명한 pip_metadata에 있어서, "is_luma_key=1"인 경우, 비디오 플레인 생성부(92)는, 프라이머리 비디오 스트림과 세컨더리 비디오 스트림을 luma_keying 합성하여, 비디오 플레인을 생성하고, 이것을 비디오 데이터 처리부(96)에 공급한다.
여기에서, luma_keying 합성은, 도 12의 pip_metadata에 의해 설명한 바와 같이, 밝기(휘도치)의 성분차를 이용하여 불필요한 부분을 오려낸 화상을, 영상에 중첩하여 합성하는 방법이다. 다음으로, 도 44 및 도 45를 참조하여, luma_keying 합성의 상세에 대하여 설명한다.
도 44는, luma_keying 합성 전의 프라이머리 비디오와 세컨더리 비디오를 도시하는 도면이다.
도면 중 우측의 프라이머리 비디오와, 좌측의 세컨더리 비디오를 luma_keying 합성하는 경우, 도 12의 pip_metadata를 이용하여 설명한 바와 같이, lower_limit_luma_key에 의해 나타내어지는 휘도치의 하한으로부터, upper_limit_luma_key에 의해 나타내어지는 휘도치의 상한까지의 범위에 포함되는, 세컨더리 비디오의 휘도치를 투명하게 하고, 그 세컨더리 비디오를 프라이머리 비디오에 합성한다.
즉, lower_limit_luma_key와 upper_limit_luma_key에서 정의된 휘도치의 하한과 상한의 범위가 제거된 세컨더리 비디오가 프라이머리 비디오에 겹쳐서 합성된다. 구체적으로는, 도 44에서 도시한 바와 같이, 좌측의 세컨더리 비디오의 평행 사변형과 원 이외의 해칭된 영역은, 휘도치의 하한과 상한의 범위 내의 휘도치로 되므로 투명으로 되고, 그렇게 처리된 좌측의 세컨더리 비디오가, 우측의 프라이머리 비디오에 겹쳐서 합성된다.
도 45는, luma_keying 합성 후의 프라이머리 비디오와 세컨더리 비디오를 도시하는 도면이다.
luma_keying 합성 후의 프라이머리 비디오와 세컨더리 비디오는, 도 45에 도시한 바와 같이, 세컨더리 비디오의 평행 사변형과 원 이외의 영역은 투명으로 되어 있으므로, 세컨더리 비디오의 영역 중, 평행 사변형과 원의 영역만이, 프라이머리 비디오와 합성되게 된다.
또한, 도 45에서는, 설명을 이해하기 쉽게 하기 위해서, 세컨더리 비디오의 영역을 점선에 의해 표현하고 있지만, 실제로는, 이 점선이 표시되는 일은 없다.
도 42의 플로우차트로 되돌아가, 스텝 S123에서, 프리젠테이션 그래픽스 플레인 생성부(93)는, 스텝 S58의 처리에서 스위치(77)에 의해 선택되어, 공급된 프리젠테이션 그래픽스 디코더(73)로부터의 데이터 또는 Text-ST 컴포지션(76)으로부터의 데이터에 기초하여, 프리젠테이션 그래픽스 플레인을 생성한다.
스텝 S124에서, 인터랙티브 그래픽스 플레인 생성부(94)는, 인터랙티브 그래픽스 디코더(74)로부터 공급된 인터랙티브 그래픽스 스트림의 데이터에 기초하여, 인터랙티브 그래픽스 플레인을 생성한다.
스텝 S125에서, 버퍼(95)는, 스텝 S43의 처리에서 선택되어, 공급된 사운드 데이터를 버퍼링하여, 소정의 타이밍에서 믹싱 처리부(97)에 공급한다.
스텝 S126에서, 비디오 데이터 처리부(96)는, 각 플레인의 데이터를 합성하여, 출력한다. 구체적으로는, 백그라운드 플레인 생성부(91), 비디오 플레인 생성부(92), 프리젠테이션 그래픽스 플레인 생성부(93), 및 인터랙티브 그래픽스 플레인 생성부(94)로부터의 데이터를 합성하여, 비디오 데이터로서 출력한다.
스텝 S127에서, 믹싱 처리부(101)는, 1st 오디오 디코더(75-1)로부터 출력된 프라이머리 오디오 데이터, 및, 2nd 오디오 디코더(75-2)로부터 출력된 세컨더리 오디오 데이터를 합성하여, 믹싱 처리부(97)에 공급한다.
스텝 S128에서, 믹싱 처리부(97)는, 믹싱 처리부(101)로부터 출력된, 합성된 오디오 데이터와 사운드 데이터를 믹싱(합성)하여, 출력하고, 처리는, 도 36의 스텝 S9로 되돌아가, 스텝 S10으로 진행하거나, 또는, 도 36의 스텝 S15로 되돌아가고, 스텝 S16으로 진행한다.
도 40 내지 도 42를 이용하여 설명한 처리에 의해, PlayList에 포함되는 메인 패스와 서브 패스에 의해 메인 Clip, 서브 Clip, 및 텍스트 자막 데이터가 참조되어, 재생된다. PlayList에 메인 패스와 서브 패스를 설치하도록 하고, 서브 패스에서, 메인 패스에서 지정하는 Clip AV 스트림 파일과는 상이한 Clip을 지정 가능한 구성으로 하고, 프라이머리 비디오 스트림의 표시 화상에 세컨더리 비디오 스트림의 표시 화상을 중첩시킬 수 있다.
이 때, 세컨더리 비디오 스트림의 표시 화상의 크기와 표시 위치를 설정할 수 있도록 했으므로, 서브 표시 화면의 표시 위치나 표시의 크기가 재생 장치에 의존하여 미리 정해져 있는 경우와 비교하여, 콘텐츠에 의해, 또는, 표시되는 타이밍에 의해, 프라이머리 비디오 스트림의 표시의 방해로 되지 않는 위치나 크기로 세컨더리 비디오 스트림을 표시시키도록 하거나, 또는, 세컨더리 비디오 스트림의 내용에 따라서, 예를 들면, 중요한 내용이면, 눈에 띄는 위치에 크게 표시시키거나, 중요하지 않은 내용이면, 메인 표시 화면(1)의 끝에 작게 표시시키도록 하는 것 등이 가능하다.
또한, 세컨더리 비디오 스트림의 표시 화상의 크기와 표시 위치는, 콘텐츠의 제작자, 또는, 콘텐츠의 배급원이, 적절히 정할 수 있다.
또한, 도 40 내지 도 42에 있어서, 스텝 S105, 스텝 S106의 처리는, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 또한, 스텝 S107, 스텝 S109의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다.
또한, 스텝 S112 내지 스텝 S119의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 또한, 스텝 S121 내지 스텝 S124의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 또한, 스텝 S126의 처리와, 스텝 S127 및 스텝 S128의 처리도, 그 순번이 반대이어도 되고, 평행하게 실행되어도 된다. 즉, 도 35에 있어서, 세로로 동일한 계층의 버퍼(51 내지 54)의 처리, 스위치(57 내지 59)의 처리, 디코더(71) 내지 76의 처리, 플레인 생성부(91 내지 94)의 처리, 비디오 데이터 처리부(96) 및 믹싱 처리부(97)의 처리는, 각각, 평행하게 실행되어도 되고, 그 순번은 묻지 않는다.
이상의 처리를 정리하면, 아래와 같이 된다.
재생 장치(20)는, 적어도 1개의 스트림을 포함하는 메인 Clip AV 스트림 파일의 위치를 나타내는 메인 재생 패스인 메인 패스와, 메인 Clip AV 스트림 파일과는 상이한 재생 패스에서 재생되는 서브 Clip AV 스트림 파일의 재생 패스인 서브 패스의 정보를 포함하여 구성되는 재생 관리 정보로서의 PlayList를 취득한다. 그리고, 재생 장치(20)는, PlayList에 포함되는 재생하는 스트림을 선택하기 위한STN_table()에 기초하여, 재생할 스트림의 선택을 접수한다. STN_table()은, 메인 Clip AV 스트림 파일의 소정의 종류의 스트림(예를 들면, 프라이머리 비디오 스트림)과, 그 스트림의 재생의 타이밍에 맞추어, 또는, 비동기로 재생되는 다른 스트림 파일을 선택하기 위한 정보이므로, 이 STN_table()에 기초하여, 재생할 스트림의 선택을 접수할 수 있다.
또한, PlayList Subpath_type가 In-Mux의 것이면, 메인 패스와 서브 패스가 동일 Clip을 참조할 수 있고, 또한 서브 패스를 추가할 수 있으므로, 스트림에 확장성을 갖게 할 수 있다. 또한, 1개의 서브 패스에서 복수의 파일을 참조 가능한 구성으로 했으므로(예를 들면, 도 4), 복수의 서로 다른 스트림 중에서 유저가 선택할 수 있다.
또한, 메인 패스의 PlayItem 중에, 메인 패스의 의해 참조되는 AV 스트림 파일에 다중화되어 있는(포함되는) 부속 데이터(예를 들면, 오디오 스트림)와, 서브 패스에 의해 참조되는 부속 데이터를 정의하는 테이블로서, 도 23, 및, 도 33 및 도 34의 STN_table()을 설치하도록 했으므로, 보다, 확장성이 높은 스트림을 실현할 수 있다. 또한, STN_table()에 엔트리하면, 서브 패스를 용이하게 확장할 수 있다.
또한, STN_table()에 스트림의 속성 정보인 도 25의 stream_attribute()를 설치하도록 했으므로, 재생 장치(20) 측에서, 선택된 스트림을 재생 가능한지의 여부를 판정할 수 있다. 또한, stream_attribute()를 참조함으로써, 재생 기능을 갖는 스트림만을 선택하여 재생할 수 있다.
또한, STN_table()(도 23, 및, 도 33 및 도 34)에서, 2개의 동일한 종류의 스트림 파일(여기에서는, 프라이머리 비디오 스트림 파일과 세컨더리 비디오 스트림 파일, 또는, 프라이머리 오디오 스트림 파일과 세컨더리 오디오 스트림 파일)을 정의하도록 했다. 또한, 도 35의 재생 장치(20)에 2개의 비디오 디코더(1st 비디오 디코더(72-1)와 2nd 비디오 디코더(72-2)) 및 2개의 오디오 디코더(1st 오디오 디코더(75-1)와 2nd 오디오 디코더(75-2))를 설치했다. 그리고, 2개의 비디오 디코더에 의해 디코드된 프라이머리 비디오 데이터와 세컨더리 비디오 데이터를 합성(믹싱)하는 비디오 플레인 생성부(92)를 설치하고, 2개의 오디오 디코더에 의해 디코드된 오디오 데이터를 합성하는 믹싱 처리부(101)를 설치하도록 했다. 이에 의해, 2개의 동일한 종류의 스트림을 조합하여 동시에 재생할 수 있다.
즉, 본 발명을 적용한 재생 장치에서는, 도 5에 도시된 바와 같이, 프라이머리 비디오 스트림을 메인 화면에 표시시키고, 메인 화면 중에, 세컨더리 스트림을 자화면으로서 합성하여 표시시키는, 소위 PinP(픽처-인-픽처) 표시가 가능하다.
또한, 이 때, pip_metadata에 의해, 픽처-인-픽처 표시에서의 세컨더리 비디오 스트림의 표시 화상의 크기와 표시 위치를 설정할 수 있도록 했다. 이에 의해, 서브 표시 화면의 표시 위치나 표시의 크기가 재생 장치에 의존하여 미리 정해져 있는 경우와 비교하여, 콘텐츠에 의해, 또는, 표시되는 타이밍에 의해, 프라이머리 비디오 스트림의 표시의 방해로 되지 않는 위치나 크기로 세컨더리 비디오 스트림을 표시시키도록 하거나, 또는, 세컨더리 비디오 스트림의 내용에 따라서, 예를 들면, 중요한 내용이면, 눈에 띄는 위치에 크게 표시시키거나, 중요하지 않은 내용이면, 메인 표시 화면(1)의 끝에 작게 표시시키도록 하는 것 등이 가능하다.
또한, 세컨더리 비디오 스트림의 표시 화상의 크기와 표시 위치는, 콘텐츠의 제작자, 또는, 콘텐츠의 배급원이, 적절히 정할 수 있다.
또한, pip_metadata에는, 세컨더리 비디오 스트림의 표시 화상의 크기와 표시 위치 이외에, 이 픽처-인-픽처의 표시의 설정을 나타내는 정보를 기재할 수 있다. 세컨더리 비디오 스트림이 표시되는 서브 표시 화면(2)의 위치와 크기를 나타내는 정보 이외에, 예를 들면, 세컨더리 비디오 스트림의 원 영상에 대하여 표시되는 영상의 회전이나 색의 지정 등에 관한 정보를 기재할 수 있다.
여기에서, 세컨더리 비디오 스트림의 표시 화상의 크기와 표시 위치를 비롯한 표시에 관한 정보는, 세컨더리 비디오 스트림에는 기재되지 않고, 세컨더리 비디오 스트림의 재생을 제어하기 위한 플레이 리스트에 기재된다. 즉, 세컨더리 비디오 스트림을 변경하지 않고, 그 표시 형식만을 변경하고자 하는 경우(예를 들면, 세컨더리 비디오 스트림의 표시 위치만을 변경하거나, 표시의 크기를 변경하고자 하는 경우 등), 재생 장치의 설정이나, 세컨더리 비디오 스트림 자체에 가공하는 일없이, 플레이 리스트의 pip_metadata의 기재만을 갱신하도록 하면 된다.
또한, 제1 콘텐츠와 제2 콘텐츠에 있어서, 동일한 세컨더리 비디오 스트림을, 다른 표시 방법으로 표시시키는 것(예를 들면, 동일한 세컨더리 비디오 스트림을, 제1 콘텐츠에서는 크고, 제2 콘텐츠에서는 작게 표시시키는 것 등)이 매우 용이하다. 즉, 세컨더리 비디오 스트림자체의 데이터를 각각 변경하지 않고, 제1 콘텐츠와 제2 콘텐츠의 각각에 있어서, 플레이 리스트의 pip_metadata에, 원하는 표시 형식을 나타내는 정보를 기재함으로써, 제1 콘텐츠와 제2 콘텐츠에 있어서, 동일한 세컨더리 비디오 스트림을, 콘텐츠 작성자 또는 콘텐츠 배급원이 원하는 다른 표시 방법으로 표시시키는 것이 가능해진다.
또한, 세컨더리 비디오 스트림의 표시 화상의 크기와 표시 위치를 비롯한 표시에 관한 정보가, 시간 정보를 비롯한 상세한 재생 관리 정보를 갖는 플레이 리스트에 기재되므로, 세컨더리 비디오의 표시를 상세하게 설정하는 것이 가능해진다.
또한, 서브 패스에는, 도 20에 도시한 바와 같이, 서브 패스의 타입(오디오나 텍스트 자막이라고 하는 종류와, 메인 패스와 동기하고 있는지의 여부를 나타내는 타입)을 나타내는 SubPath_type, 서브 패스가 참조하는 서브 Clip의 명을 나타내는 도 21의 Clip_Information_file_name, 및 서브 패스가 참조하는 Clip의 인점을 나타내는 도 21의 SubPlayItem_IN_time과 아웃점을 나타내는 도 21의 SubPlayItem_OUT_time을 포함하도록 했으므로, 서브 패스가 참조하는 데이터를 적확하게 특정할 수 있다.
또한, 도 35의 스토리지 드라이브(31)가 읽어내는 데이터는, DVD(Digital Versatile Disc) 등의 기록 매체에 기록되어 있는 데이터이어도 되고, 하드디스크에 기록되어 있는 데이터이어도 되고, 도시하지 않은 네트워크를 통하여 다운로드한 데이터이어도 되고, 이들이 조합된 데이터이어도 된다. 예를 들면, 다운로드되어, 하드디스크에 기록된 PlayList 및 서브 Clip과, DVD에 기록된 메인 Clip AV 스트림 파일에 기초하여, 재생되어도 된다. 또한, 예를 들면, DVD에 기록된 Clip AV 스트림 파일을 서브 Clip으로 하는 PlayList와 메인 Clip이 하드디스크에 기록되어 있는 경우에, 하드디스크에 기록되어 있는 PlayList에 기초하여, 메인 Clip과 서브 Clip이 각각, 하드디스크와 DVD로부터 읽어내어져 재생되어도 된다.
또한, 세컨더리 비디오의 위치, 크기 등이 재생 장치(20)(player)의 기능에 의해 변경하도록 할 수도 있지만, 이 경우, 오서가 의도한 크기 등으로 되지 않을 때가 있다. 한편, 본원 발명과 같이 관리 정보인 Playlist에서 크기, 위치 등을 관리하면, 예를 들면 ROM 디스크의 취득 후에 위치 등을 변경시키고자 하는 경우에도, 실제의 Clip에 변경을 가하지 않더라도, 사이즈가 비교적 작은 플레이 리스트를 취득하는 것만으로, 오서가 의도한 대로 세컨더리 비디오의 위치 등을 변경할 수 있다.
다음으로, 도 46 및 도 47을 참조하여, 재생 장치(20)에서 재생 가능한 데이터가 기록된 기록 매체(21)의 제조 방법에 대하여, 기록 매체(21)가 디스크 형상의 기록 매체인 경우를 예로 하여 설명한다.
즉, 도 46에 도시한 바와 같이, 예를 들면 글래스 등으로 이루어지는 원반이 준비되고, 그 위에, 예를 들면 포토레지스트 등으로 이루어지는 기록 재료가 도포된다. 이에 의해, 기록용 원반이 제작된다.
그리고, 도 47에 도시한 바와 같이, 소프트 제작 처리부에 있어서, 부호화 장치(비디오 인코더)에서 부호화된, 재생 장치(20)에서 재생 가능한 형식의 비디오 데이터가, 일시 버퍼에 기억되고, 오디오 인코더에서 부호화된 오디오 데이터가, 일시 버퍼에 기억됨과 함께, 또한, 데이터 인코더에서 부호화된, 스트림 이외의 데이터(예를 들면, Indexes, Playlist, PlayItem 등)가 일시 버퍼에 기억된다. 각 각의 버퍼에 기억된 비디오 데이터, 오디오 데이터, 및, 스트림 이외의 데이터는, 다중화기(MPX)에서 동기 신호와 함께 다중화되고, 오류 정정 부호회로(ECC)에서 에러 정정용의 코드가 부가된다. 그리고, 변조 회로(MOD)에서 소정의 변조가 가해지고, 소정의 포맷에 따라서, 예를 들면 자기 테이프 등에 일단 기록되고, 재생 장치(20)에서 재생 가능한 기록 매체(21)에 기록되는 소프트웨어가 제작된다.
이 소프트웨어를 필요에 따라서 편집(프리마스터링)하고, 광 디스크에 기록할 포맷의 신호가 생성된다. 그리고, 도 46에 도시한 바와 같이, 이 기록 신호에 대응하여, 레이저 빔이 변조되어, 이 레이저 빔이 원반 상의 포토레지스트 상에 조사된다. 이에 의해, 원반 상의 포토레지스트가 기록 신호에 대응하여 노광된다.
그 후, 이 원반을 현상하고, 원반 상에 피트를 출현시킨다. 이렇게 해서 준비된 원반에, 예를 들면 전주 등의 처리를 실시하고, 글래스 원반 상의 피트를 전사한 금속 원반을 제작한다. 이 금속 원반으로부터, 또한 금속 스탬퍼를 제작하고, 이것을 성형 금형으로 한다.
이 성형 금형에, 예를 들면 인젝션 등에 의해 PMMA(아크릴) 또는 PC(폴리카보네이트) 등의 재료를 주입하여, 고정화시킨다. 혹은, 금속 스탬퍼 상에 2P(자외선 경화 수지) 등을 도포한 후, 자외선을 조사하여 경화시킨다. 이에 의해, 금속 스탬퍼 상의 피트를, 수지로 이루어지는 리플리커 상에 전사할 수 있다.
이와 같이 하여 생성된 리플리커 상에, 반사막이, 증착 혹은 스퍼터링 등에 의해 형성된다. 혹은 또한, 생성된 리플리커 상에, 반사막이, 스핀 코팅에 의해 형성된다.
그 후, 이 디스크에 대하여 내외 직경의 가공이 실시되고, 2매의 디스크를 접합시키는 등의 필요한 처치가 실시된다. 또한, 라벨을 접착하거나, 허브가 부착되어서, 캇트리지에 삽입된다. 이렇게 해서 재생 장치(20)에 의해 재생 가능한 데이터가 기록된 기록 매체(21)가 완성된다.
전술한 일련의 처리는, 하드웨어에 의해 실행시키는 것도 가능하고, 소프트웨어에 의해 실행시키는 것도 가능하다. 이 경우, 전술한 처리는, 도 48에 도시하는 바와 같은 퍼스널 컴퓨터(500)에 의해 실행된다.
도 48에 있어서, CPU(Central Processing Unit)(501)는, ROM(Read Only Memory)(502)에 기억되어 있는 프로그램, 또는, 기억부(508)로부터 RAM(Random Access Memory)(503)에 로드된 프로그램에 따라서 각종의 처리를 실행한다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행하는 데에 있어서 필요한 데이터 등이 적절히 기억된다.
CPU(501), ROM(502), 및 RAM(503)은, 내부 버스(504)를 통하여 서로 접속되어 있다. 이 내부 버스(504)에는 또한, 입출력 인터페이스(505)도 접속되어 있다.
입출력 인터페이스(505)에는, 키보드, 마우스 등으로 이루어지는 입력부(506), CRT(Cathode Ray Tube), LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이, 스피커 등으로 이루어지는 출력부(507), 하드디스크 등으로 구성되는 기억부(508), 및, 모뎀, 터미널 어댑터 등으로 구성되는 통신부(509)가 접속되어 있다. 통신부(509)는, 전화 회선이나 CATV를 포함하는 각종의 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(505)에는 또한, 필요에 따라서 드라이브(510)가 접속되고, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(521)가 적절히 장착되고, 그것으로부터 읽어내어진 컴퓨터 프로그램이, 필요에 따라서 기억부(508)에 인스톨된다.
일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 프로그램 저장 매체로부터 인스톨된다.
이 프로그램 저장 매체는, 도 48에 도시된 바와 같이, 컴퓨터와는 별도로, 유저에게 프로그램을 제공하기 위해서 배포되는, 프로그램이 기록되어 있는 리무버블 미디어(521)로 이루어지는 패키지 미디어로 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태로 유저에게 제공되는, 프로그램이 기록되어 있는 ROM(502)이나 기억부(508)가 포함되는 하드디스크 등으로 구성된다.
또한, 본 발명의 실시 형태는, 전술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
1: 메인 표시 화면
2: 서브 표시 화면
20: 재생 장치
31: 스토리지 드라이브
32: 스위치
33: AV 디코더부
34: 컨트롤러
51 내지 54: 버퍼
55, 56: PID 필터
57 내지 59: 스위치
71: 백그라운드 디코더
72-1: 1st 비디오 디코더
72-2: 2nd 비디오 디코더
73: 프리젠테이션 그래픽스 디코더
74: 인터랙티브 그래픽스 디코더
75: 오디오 디코더
76: Text-ST 컴포지션
77: 스위치
91: 백그라운드 플레인 생성부
92: 비디오 플레인 생성부
93: 프리젠테이션 그래픽스 플레인 생성부
94: 인터랙티브 그래픽스 플레인 생성부
95: 버퍼
96: 비디오 데이터 처리부
97: 믹싱 처리부
101: 믹싱

Claims (6)

  1. 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터를 생성하는 데이터 생성 방법으로서,
    메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 단계;
    상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 단계;
    상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 단계; 및
    상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 단계
    를 포함하고,
    상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림 이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고,
    상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성되는, 데이터 생성 방법.
  2. 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터가 기록되는 기록 매체에 데이터를 기록하는 기록 장치로서,
    메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 제1 취득 수단과,
    상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 제2 취득 수단과,
    상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 제3 취득 수단과,
    상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 생성 수단과,
    취득된 상기 메인 스트림의 영상 및 음성, 취득된 상기 서브 스트림의 영상 및 음성 또는 상기 서브 스트림의 영상, 및 생성된 상기 재생 관리 데이터를 상기 기록 매체에 기록하는 기록 수단
    을 포함하고,
    상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고,
    상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성되는, 기록 장치.
  3. 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터가 기록되는 기록 매체의 기록 방법으로서,
    메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 단계;
    상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 단계;
    상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 단계;
    상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 단계;
    취득된 상기 메인 스트림의 영상 및 음성, 취득된 상기 서브 스트림의 영상 및 음성 또는 상기 서브 스트림의 영상, 및 생성된 상기 재생 관리 데이터를 상기 기록 매체에 기록하는 단계
    를 포함하고,
    상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고,
    상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성되는, 기록 방법.
  4. 재생 장치에서 콘텐츠 재생에 사용되는 재생 관리 데이터가 기록되는 기록 매체에 데이터를 기록하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 프로그램 저장 매체로서,
    상기 프로그램은,
    메인 스트림의 영상과, 서브 스트림의 영상을 취득하는 단계;
    상기 메인 스트림에 대응하여 재생되는 음성을 취득하는 단계;
    상기 서브 스트림에 대응하여 재생되는 음성이 존재하는 경우에는, 상기 메인 스트림에 대응하여 재생되는 음성과 합성되는, 상기 서브 스트림에 대응하여 재생되는 음성을 취득하는 단계;
    상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 생성하는 단계;
    취득된 상기 메인 스트림의 영상 및 음성, 취득된 상기 서브 스트림의 영상 및 음성 또는 상기 서브 스트림의 영상, 및 생성된 상기 재생 관리 데이터를 상기 기록 매체에 기록하는 단계
    를 포함하는 처리를 컴퓨터에 실행시키되,
    상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고,
    상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상이 합성되는 것을 특징으로 하는 프로그램 저장 매체.
  5. 메인 스트림 및 서브 스트림을 재생하는 재생 장치로서,
    상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 상기 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 취득하는 취득 수단과,
    상기 취득 수단에 의해 취득된 상기 재생 관리 데이터에 기초하여, 재생되는 상기 메인 스트림 및 상기 서브 스트림을 읽어내는 읽어내기 수단과,
    상기 취득 수단에 의해 취득된 상기 재생 관리 데이터에 포함되어 있는 상기 표시 상태에 관한 정보를 기초로, 상기 읽어내기 수단에 의해 읽어내어진 상기 메인 스트림의 영상과, 상기 서브 스트림의 영상을 합성하는 영상 합성 수단과,
    유저의 조작 입력을 받는 조작 입력 수단
    을 포함하고,
    상기 취득 수단에 의해 취득되는 상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고,
    상기 영상 합성 수단은, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상을 합성하는, 재생 장치.
  6. 메인 스트림 및 서브 스트림을 재생하는 재생 장치의 재생 방법으로서,
    상기 메인 스트림을 재생하는 시간축 상의 위치를 나타내는 제1 정보와, 상기 메인 스트림과는 상이한 상기 서브 스트림을 재생하는 시간축 상의 위치를 나타내는 제2 정보와, 상기 메인 스트림의 영상과 합성되는 상기 서브 스트림의 영상의 표시 상태에 관한 정보를 포함하는 데이터 구조를 갖는 재생 관리 데이터를 읽어내는 단계;
    상기 재생 관리 데이터에 기초하여, 재생되는 상기 메인 스트림 및 상기 서브 스트림을 읽어내는 단계;
    상기 재생 관리 데이터에 포함되어 있는 상기 표시 상태에 관한 정보를 기초로, 읽어내어진 상기 메인 스트림의 영상과, 상기 서브 스트림의 영상을 합성하는 단계
    를 포함하고,
    상기 재생 관리 데이터에는, 상기 메인 스트림에 대하여 상기 서브 스트림이 반드시 동시에 재생되는지, 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는지를 나타내는 정보가 기재되고,
    상기 영상을 합성하는 단계에서는, 상기 유저로부터 명령되었을 때에만 상기 메인 스트림에 대하여 상기 서브 스트림이 동시에 재생되는 것을 나타내는 정보가 상기 재생 관리 데이터에 기재되어 있는 경우, 상기 유저의 조작 입력에 기초하여, 상기 유저로부터 상기 서브 스트림의 재생이 명령되었을 때에만, 상기 메인 스트림의 영상과 상기 서브 스트림의 영상을 합성하는, 재생 방법.
KR1020127033439A 2005-08-25 2006-08-17 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법 KR101244148B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2005-244612 2005-08-25
JP2005244612 2005-08-25
JPJP-P-2005-264041 2005-09-12
JP2005264041 2005-09-12
JPJP-P-2005-311477 2005-10-26
JP2005311477A JP4081772B2 (ja) 2005-08-25 2005-10-26 再生装置および再生方法、プログラム、並びにプログラム格納媒体
PCT/JP2006/316177 WO2007023728A1 (ja) 2005-08-25 2006-08-17 再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、並びに、記録媒体の製造方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020077014458A Division KR101320793B1 (ko) 2005-08-25 2006-08-17 재생 장치 및 재생 방법 및 프로그램 저장 매체

Publications (2)

Publication Number Publication Date
KR20130007672A true KR20130007672A (ko) 2013-01-18
KR101244148B1 KR101244148B1 (ko) 2013-03-15

Family

ID=37771476

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020077014458A KR101320793B1 (ko) 2005-08-25 2006-08-17 재생 장치 및 재생 방법 및 프로그램 저장 매체
KR1020127033439A KR101244148B1 (ko) 2005-08-25 2006-08-17 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020077014458A KR101320793B1 (ko) 2005-08-25 2006-08-17 재생 장치 및 재생 방법 및 프로그램 저장 매체

Country Status (8)

Country Link
US (1) US8340496B2 (ko)
EP (1) EP1919210B1 (ko)
JP (1) JP4081772B2 (ko)
KR (2) KR101320793B1 (ko)
CN (4) CN102855902A (ko)
ES (1) ES2517418T3 (ko)
TW (2) TWI479892B (ko)
WO (1) WO2007023728A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562757B1 (en) * 2004-02-16 2018-05-09 Sony Corporation Reproduction device, reproduction method, and program
AU2006277225B2 (en) 2005-08-09 2011-06-09 Panasonic Corporation Recording medium, playback apparatus, method and program
JP4870493B2 (ja) * 2005-08-09 2012-02-08 パナソニック株式会社 再生装置、記録方法、再生方法、システムｌｓｉ、プログラム
JP2009177527A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP2009177531A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP2009177619A (ja) 2008-01-25 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2010013382A1 (ja) * 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
JP2010135011A (ja) * 2008-12-05 2010-06-17 Funai Electric Co Ltd デジタル放送録画再生装置
KR101639053B1 (ko) * 2009-02-17 2016-07-13 코닌클리케 필립스 엔.브이. ３ｄ 이미지 및 그래픽 데이터의 조합
TWI400949B (zh) * 2010-04-06 2013-07-01 Hon Hai Prec Ind Co Ltd 媒體資料播放裝置及其重播方法
JP2012064135A (ja) 2010-09-17 2012-03-29 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US20130100248A1 (en) * 2011-05-11 2013-04-25 Shinya Kadono Video transmitting apparatus and video transmitting method
WO2012174301A1 (en) 2011-06-14 2012-12-20 Related Content Database, Inc. System and method for presenting content with time based metadata
JP2015510652A (ja) * 2012-01-09 2015-04-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ メディアコンテンツを処理するためのシステム及び方法
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
US9716904B2 (en) * 2012-05-17 2017-07-25 Ericsson Ab Video content presentation override control systems, methods and devices
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
US10356484B2 (en) 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9723245B2 (en) 2013-03-15 2017-08-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
EP3097696A4 (en) * 2014-01-21 2017-09-20 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN103888840B (zh) * 2014-03-27 2017-03-29 电子科技大学 一种视频移动终端实时拖动与缩放的方法及装置
US9697630B2 (en) * 2014-10-01 2017-07-04 Sony Corporation Sign language window using picture-in-picture
US20160098180A1 (en) * 2014-10-01 2016-04-07 Sony Corporation Presentation of enlarged content on companion display device
US10097785B2 (en) * 2014-10-01 2018-10-09 Sony Corporation Selective sign language location
US10204433B2 (en) 2014-10-01 2019-02-12 Sony Corporation Selective enablement of sign language display
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
KR102202576B1 (ko) * 2014-12-12 2021-01-13 삼성전자주식회사 음향 출력을 제어하는 디바이스 및 그 방법
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
CN107547917B (zh) * 2016-06-27 2020-07-10 中兴通讯股份有限公司 频道的播放和处理方法及装置，频道的处理系统
JP6934052B2 (ja) * 2017-06-28 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法及びプログラム
CN111182213B (zh) * 2019-12-31 2021-09-24 维沃移动通信有限公司 视频制作方法、电子设备及介质
CN111522497B (zh) * 2020-04-16 2022-09-13 深圳市颍创科技有限公司 Pip模式中触摸控制显示设备子画面大小和位置的方法
EP4007228A1 (en) * 2020-11-27 2022-06-01 Telefonica Digital España, S.L.U. System and method for live media streaming
US20230007210A1 (en) * 2021-06-30 2023-01-05 Lemon Inc. Signaling the Purpose of Preselection
US20230018718A1 (en) * 2021-06-30 2023-01-19 Lemon Inc. Signaling Replacement of Video Data Units in a Picture-in-Picture Region
CN114911407A (zh) * 2022-06-20 2022-08-16 上海联影医疗科技股份有限公司 医学诊疗系统的图像播放控制装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372037B2 (ja) 1995-08-21 2003-01-27 松下電器産業株式会社 記録媒体の記録方法、再生装置、再生方法
CN1205825A (zh) * 1995-12-29 1999-01-20 汤姆森消费电子有限公司 具有用于显示可变尺寸辅助图像的设备的电视系统
US6088064A (en) * 1996-12-19 2000-07-11 Thomson Licensing S.A. Method and apparatus for positioning auxiliary information proximate an auxiliary image in a multi-image display
US5963215A (en) * 1997-03-26 1999-10-05 Intel Corporation Three-dimensional browsing of multiple video sources
MY117040A (en) * 1997-09-17 2004-04-30 Matsushita Electric Ind Co Ltd Optical disc, recording apparatus, and computer-readable recording medium.
CN1147145C (zh) * 1997-12-01 2004-04-21 星视电视广播公司 在弹出区域中具有广告消息的电子节目表系统
JP2985878B1 (ja) 1998-06-30 1999-12-06 オムロン株式会社 合成画像作成装置および記録媒体
KR100277994B1 (ko) * 1998-12-31 2001-01-15 구자홍 경계 영역 표시 장치
JP4503858B2 (ja) 1999-04-14 2010-07-14 ライト チャンス インコーポレイテッド 遷移ストリームの生成／処理方法
JP4328989B2 (ja) * 1999-11-24 2009-09-09 ソニー株式会社 再生装置、再生方法、並びに記録媒体
JP2001251266A (ja) 2000-03-07 2001-09-14 Sony Corp データ送出装置及びトランスポートストリーム生成装置並びにそのデータストリーム生成方法
CN1239021C (zh) * 2000-04-21 2006-01-25 索尼公司 信息处理设备及方法、程序和记录介质
KR100676328B1 (ko) * 2000-06-28 2007-01-30 삼성전자주식회사 피아이피 기능을 갖는 디지탈 영상표시기기의 피봇장치
US6697123B2 (en) * 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Adaptive picture-in-picture
CN100414537C (zh) * 2002-02-07 2008-08-27 三星电子株式会社 包含显示模式信息的信息存储介质、再现装置及其方法
JP3901538B2 (ja) 2002-02-15 2007-04-04 株式会社東芝 映像データ記録再生装置及び映像データ記録再生方法
JP3741668B2 (ja) 2002-03-26 2006-02-01 池上通信機株式会社 データ多重化装置
EP1408505A1 (en) * 2002-10-11 2004-04-14 Deutsche Thomson-Brandt Gmbh Method and apparatus for synchronizing data streams containing audio, video and/or other data
JP4441884B2 (ja) * 2002-11-11 2010-03-31 ソニー株式会社 情報処理装置および方法、プログラム格納媒体、記録媒体、並びにプログラム
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
US20040189828A1 (en) * 2003-03-25 2004-09-30 Dewees Bradley A. Method and apparatus for enhancing a paintball video
US8065614B2 (en) 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
KR101130368B1 (ko) 2003-06-02 2012-03-27 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어 시스템 및 방법
JP3895305B2 (ja) 2003-06-06 2007-03-22 シャープ株式会社 データ記録方法、データ記録装置、およびデータ記録媒体
JP2005020242A (ja) 2003-06-25 2005-01-20 Toshiba Corp 再生装置
WO2005024824A1 (en) * 2003-09-04 2005-03-17 Koninklijke Philips Electronics N.V. Record carrier carrying a video signal and at least one additional information signal
KR101003957B1 (ko) * 2003-11-20 2010-12-30 엘지전자 주식회사 광디스크 장치에서의 유저 마크 기록방법
US20050179817A1 (en) * 2004-01-14 2005-08-18 Matsushita Electric Industrial Co., Ltd. Video signal display unit
CN1939055B (zh) * 2004-01-30 2011-02-09 松下电器产业株式会社 记录方法、再生装置、再生方法
US7609947B2 (en) * 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources
US20060200842A1 (en) * 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts

Also Published As

Publication number Publication date
CN102572454A (zh) 2012-07-11
CN101091385A (zh) 2007-12-19
ES2517418T3 (es) 2014-11-03
EP1919210A1 (en) 2008-05-07
KR101320793B1 (ko) 2013-10-23
EP1919210A4 (en) 2011-09-07
TWI346506B (ko) 2011-08-01
CN102855901B (zh) 2014-10-29
JP2007104615A (ja) 2007-04-19
CN102855902A (zh) 2013-01-02
CN102855901A (zh) 2013-01-02
CN102572454B (zh) 2013-09-11
EP1919210B1 (en) 2014-10-01
US8340496B2 (en) 2012-12-25
US20080267588A1 (en) 2008-10-30
CN101091385B (zh) 2012-10-10
KR101244148B1 (ko) 2013-03-15
KR20080040617A (ko) 2008-05-08
JP4081772B2 (ja) 2008-04-30
TW200715853A (en) 2007-04-16
TWI479892B (zh) 2015-04-01
WO2007023728A1 (ja) 2007-03-01
TW201108739A (en) 2011-03-01

Similar Documents

Publication Publication Date Title
KR101244148B1 (ko) 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법
JP4770601B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP4923751B2 (ja) 再生装置、並びに記録媒体及びその製造方法
KR101104528B1 (ko) 재생 장치, 재생 방법 및 기록 매체
KR101265555B1 (ko) 재생 장치 및 재생 방법, 프로그램, 기록 매체, 데이터구조, 및 기록 매체의 제조 방법
US9076495B2 (en) Reproducing apparatus, reproducing method, computer program, program storage medium, data structure, recording medium, recording device, and manufacturing method of recording medium
JP4822081B2 (ja) 再生装置、再生方法、および記録媒体
JP4849343B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP2008193604A (ja) 再生装置および方法、並びにプログラム
JP4720676B2 (ja) 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
JP4900708B2 (ja) 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP5201428B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP4821456B2 (ja) 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体
JP5472229B2 (ja) 再生装置、記録媒体、及び記録方法
JP2008052836A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP2012075187A (ja) 再生装置、再生方法、および記録方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee