WO2018190122A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2018190122A1
WO2018190122A1 PCT/JP2018/012518 JP2018012518W WO2018190122A1 WO 2018190122 A1 WO2018190122 A1 WO 2018190122A1 JP 2018012518 W JP2018012518 W JP 2018012518W WO 2018190122 A1 WO2018190122 A1 WO 2018190122A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
packet
control information
information
reproduction
Prior art date
Application number
PCT/JP2018/012518
Other languages
English (en)
French (fr)
Inventor
幸一 内村
健二朗 上田
伸一 竹田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019512417A priority Critical patent/JP7024787B2/ja
Publication of WO2018190122A1 publication Critical patent/WO2018190122A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program. More specifically, an information processing apparatus, an information processing method, and a program for performing editing processing on media recording data of MMT (MPEG Media Transport) format data, which is being standardized as a future data transmission standard in broadcast waves, etc. About.
  • MMT MPEG Media Transport
  • the MMT format includes control information (SI: Signaling Information (SI) including various management information such as encoded data that constitutes content, such as images (Video), audio (Audio), subtitles (Subtitles), and control information and attribute information.
  • SI Signaling Information
  • Data transmission method transport format for transmitting data such as signaling information)) via broadcast waves or networks.
  • the MMT format is scheduled to be used for broadcasting next-generation content such as 4K images and high dynamic range (HDR) images.
  • next-generation content such as 4K images and high dynamic range (HDR) images.
  • HDR high dynamic range
  • the MPEG-2TS format is often used as a transmission format for current images (Video), audio (Audio), subtitles (Subtitles), etc., or a data recording format for media.
  • BDMV and BDAV standards are widely used as recording / playback application standards (formats) compatible with the MPEG-2TS format.
  • BDMV and BDAV are data recording / playback application standards mainly using BD (Blu-ray (registered trademark) Disc), but these standards are not limited to BD, and other standards such as flash memory and HD are also used.
  • the present invention is also applicable to data recording / playback using media other than BD.
  • a data recording / playback processing configuration using BD is described in, for example, Japanese Patent Application Laid-Open No. 2011-023071.
  • BDMV is an application standard developed for BD-ROM in which, for example, movie content is recorded in advance, and is widely used mainly in non-rewritable BD-ROM such as package content.
  • BDAV is a standard developed for the purpose of applying to data recording / playback processing using a rewritable BD-RE type disc or a BD-R type disc that can be recorded only once.
  • BDAV is used, for example, for recording / reproducing video captured by a user with a video camera or the like and recording / reproducing television broadcast.
  • MMTP MMT Protocol
  • TLV Type Length Value
  • the MMTP packet and the TLV packet store reproduction data such as images, audio, captions, and control information (SI: Signaling Information) including various management information.
  • SI Signaling Information
  • an MMTP packet or TLV packet that stores content such as images, audio, and subtitles is recorded on a recording medium such as a BD (Blu-ray (registered trademark) Disc), flash memory, or HDD (hard disk), and the content from the medium is recorded.
  • a recording medium such as a BD (Blu-ray (registered trademark) Disc), flash memory, or HDD (hard disk)
  • BD Blu-ray (registered trademark) Disc
  • HDD hard disk
  • the BDAV format defines database files such as playlist files and clip information files as playback control information files, and a BDAV compatible playback application performs data playback processing with reference to these playback control information files (database files). Execute. Therefore, it is necessary to perform reproduction processing on the MMT format data using the reproduction control information recorded in these playlist files and clip information files.
  • data such as images and sounds, which are MMT format data received from broadcasting stations, and control information (SI) are stored in MMTP packets and TLV packets. These packet sequences are defined in the BDAV format. As a clip AV stream file, it is recorded on the medium.
  • SI control information
  • Various editing processes may be performed on a BDAV stream file composed of the MMT format recorded on the medium. For example, there is a possibility that various editing processes such as deleting the CM part in the program content or deleting other parts while leaving only the contents of the user's favorite part may be performed.
  • the packet (MMTP packet or TLV packet) constituting the clip AV stream file stores not only reproduction data such as images and sound but also control information (SI).
  • the control information includes, for example, information such as a time stamp applied to image and audio data playback processing.
  • the storage packet for playback data such as images and sound is different from the storage packet for control information. Therefore, the recording position of the storage packet of the image data on the medium and the recording position of the storage packet of the control information such as the time stamp for reproducing the image data are separated from each other.
  • the present disclosure has been made in view of, for example, the above-described problem, and information processing that realizes editing processing that can reliably reproduce residual data when editing processing of media recording data of MMT format data is performed.
  • An object is to provide an apparatus, an information processing method, and a program.
  • the first aspect of the present disclosure is: A data processing unit that executes editing processing of a stream file composed of a packet sequence storing MMT (MPEG Media Transport) format data;
  • the data processing unit In the editing process, when there is control information used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file,
  • the information processing apparatus performs processing for moving the control information to the remaining section or recording the control information in a separate file.
  • the second aspect of the present disclosure is: An information processing method executed in an information processing apparatus,
  • the information processing apparatus includes: A data processing unit that executes editing processing of a stream file composed of a packet sequence storing MMT (MPEG Media Transport) format data;
  • the data processing unit is In the editing process, when there is control information used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file, In the information processing method, the control information is moved to the remaining section or recorded in a separate file.
  • MMT MPEG Media Transport
  • the third aspect of the present disclosure is: A program for executing information processing in an information processing apparatus;
  • the information processing apparatus includes: A data processing unit that executes editing processing of a stream file composed of a packet sequence storing MMT (MPEG Media Transport) format data;
  • the program is stored in the data processing unit.
  • the editing process when there is control information used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file,
  • the control information is moved to the remaining section or recorded in a separate file.
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • a configuration is realized that enables editing of MMT format data that enables reliable data reproduction even after editing processing such as data deletion.
  • a data processing unit that executes editing processing of a stream file composed of a packet sequence that stores MMT format data has a playback section that is in the remaining section outside the deletion section in the deletion section that is deleted from the stream file. If there is control information used by the data, the control information is moved to the remaining section or recorded in a separate file.
  • the stream file is composed of an encryption unit having a fixed data length
  • the control information storage packet is expanded to a fixed data length and recorded as one encryption unit in the remaining section.
  • media information recording medium
  • FIG. It is a figure explaining the example of a process recorded on an information recording medium (media) as a TLV packet sequence which stored the MMTP packet which is MMT format data for the reception data from a broadcasting station etc.
  • FIG. It is a figure explaining the example of a process in the case of recording MMT format data as BDAV format data.
  • MPT MMT package table
  • asset_type asset type recorded on a MMT package table
  • FIG. 25 is a diagram for describing a configuration example of an information processing apparatus that executes data recording processing on an information recording medium (media). It is a figure which shows the flowchart explaining the process sequence of a data edit process. It is a figure which shows the flowchart explaining the process sequence of a data edit process. It is a figure explaining the hardware structural example of the information processing apparatus applied to the process of this indication.
  • FIG. 1 An example of a communication system, which is an example of a usage configuration of an information processing apparatus that executes the processing of the present disclosure, will be described with reference to FIG.
  • the information processing apparatus 30 shown in FIG. 1 is loaded with media such as a BD (Blu-ray (registered trademark) Disc), flash memory, and hard disk (HDD), and performs data recording processing for these mounted media, Data reproduction processing, and data copy processing for other media.
  • media such as a BD (Blu-ray (registered trademark) Disc), flash memory, and hard disk (HDD)
  • the data recorded on the medium by the information processing apparatus 30 is transmission content provided by the transmission apparatus 20 such as the broadcast station (broadcast server) 21 or the data distribution server 22, for example. Specifically, it is a broadcast program provided by a television station. These transmission contents are transmitted from the transmission device 20 to the information processing device 30 via a broadcast wave or a network such as the Internet.
  • the information processing device 30 is, for example, a recording / reproducing device 31, a television 32, a PC 33, a portable terminal 34, etc.
  • These information processing devices are, for example, a BD (Blu-ray (registered trademark) Disc) 41, an HDD (hard disk), and the like. 42, various media such as a flash memory 43 are mounted, and data recording processing, media recording data editing processing, data reproduction processing from the media, data copying processing between media, and the like are executed.
  • MMT MPEG Media Transport
  • the MMT format is a data transfer method (transport format) for transmitting encoded data, which is content configuration data, such as images (Video), audio (Audio), subtitles (Subtitles), etc., via a broadcast wave or a network. It is specified.
  • the transmission apparatus 20 encodes the content data, generates a data file including the encoded data and the metadata of the encoded data, and stores the generated encoded data in an MMTP (MMT Protocol) packet defined in the MMT. Transmit via broadcast wave or network.
  • MMT Protocol MMT Protocol
  • the data provided to the information processing device 30 by the transmission device 20 is control configured by various management information such as guide information such as program guides, notification information, and control messages in addition to reproduction target data such as images, sounds, and captions.
  • Information SI: Signaling Information (signaling information)).
  • MMT MPEG Media Transport format
  • FIG. 2 is a diagram showing a stack model in the MMT format.
  • a physical layer PHY
  • the physical layer is divided into a broadcast layer that performs broadcast processing and a broadband layer that performs network processing.
  • the MMT enables processing using two communication networks, a broadcast system and a network system.
  • TLV Type Length Value
  • PHY physical layer
  • TLV is a format defining layer that defines a multiplexing method for IP packets. A plurality of IP packets are multiplexed and transmitted as TLV packets.
  • TLV-SI is a transmission layer of control information (SI) such as control messages according to the TLV format.
  • the control information (SI) is configured by setting information necessary for receiving and playing back content (program) on the information processing apparatus 30 side, guide information such as a program guide, notification information, control information, and management information. .
  • the control information (SI) stored in the TLV packet generated by the TLV layer is TLV-SI, which is mainly composed of control information related to reception processing.
  • Control information (SI) stored in the MMTP packet which is a packet generated according to the MMT protocol (MMTP), is MMT-SI shown in the highest layer, and is mainly composed of control information related to playback control.
  • a UDP / IP layer is set on the TLV layer.
  • the UDP / IP layer can be divided into an IP layer and a UDP layer in detail, but is a layer that defines transmission for storing a UDP packet in the payload of the IP packet.
  • An MMT layer and a File delivery method layer are set on the UDP / IP layer. The setting is such that the MMTP packet is stored in an IP packet and transmitted, and the method of transmitting data as an IP packet using the File delivery method, which is a data transmission method that does not use an MMTP packet, can be used together.
  • Image (Video) data that is encoded image data in accordance with HEVC (High Efficiency Video Coding), which is an image encoding standard
  • Audio data that is encoded audio data in accordance with AAC (Advanced Audio Coding) that is an audio encoding standard
  • Subtitle data that is encoded subtitle data in accordance with TTML (Timed Text Markup Language) that is a subtitle encoding standard
  • Control information MMT-SI
  • HTML5 Hyper Text Markup Language 5
  • the control information is control information (signaling information) transmitted in an MMTP packet, such as setting information necessary for reproducing content (program) on the information processing device 30 side, program guide, etc. It consists of various management information such as guidance information, notification information, and control information.
  • time information is absolute time information and is directly stored in a UDP packet and transmitted.
  • Other data services for data distribution can be distributed using a file distribution method (File delivery method) different from MMT.
  • control information MMT-SI
  • applications composed of various management information such as images, voices, subtitles, various notification information and control information, and the like are transmitted by MMTP packets.
  • FIG. 3 shows the following four types of data configuration examples.
  • A MPU (Media Presentation Unit)
  • B MMTP payroto
  • c MMTP packet
  • d TLV packet
  • a TLV packet is a packet transmitted via a broadcast wave or a network, and each header information of a UDP header, an IP header, and a TLV header is set in the TLV packet.
  • the TLV packet is set as an individual packet for each data type.
  • one type of data is stored in the TLV payload of one TLV packet.
  • image (V), audio (A), caption (S), or control information (SI) including various management information is individually stored.
  • Control information (SI) includes control information (MMT-SI) stored in the MMTP packet and control information (TLV-SI) transmitted in the TLV packet, which are stored in different individual TLV packets. .
  • TLV payload that is the payload of the TLV packet is the MMTP packet shown in FIG. 3C is the MMTP packet shown in FIG. 3C .
  • the MMTP packet shown in FIG. 3C includes an MMTP header and an MMTP payload.
  • One type of data is stored in the MMTP payload of one MMTP packet. Specifically, for example, image (V), audio (A), caption (S), control information (MMT-SI) stored in the MMTP packet, and any one of these data is an individual MMTP packet.
  • FIGS. 3A and 3B show the detailed configuration of image data stored in the MMTP payload of the MMTP packet shown in FIG.
  • FIG. 3B shows only the MMTP payload shown in FIG. 3C selected with the MMTP payload being image data (V).
  • the MMTP payload shown in FIG. 3B is composed of a header and a data unit.
  • the data unit stores image data and the following various parameters.
  • AU Delimiter Access Unit Delimiter
  • SPS Sequence Parameter Set
  • PPS Physical Parameter Set
  • SEIs Supplemental Enhancement Information
  • the MPU (Media Presentation Unit) shown in FIG. 3A is one data processing unit of reproduction target data such as images, sounds, and captions in the MMT format.
  • the example shown in FIG. 3A is an example of an MPU of image data, and is the same unit as a GOP (Group of Pictures) as a so-called encoding / decoding processing unit.
  • the image data is divided into parameters and image configuration data defined in the MMT format, stored in the MMTP payload shown in FIG. It is configured as an MMTP packet shown in c). Furthermore, the MMTP packet is set as the payload of the TLV packet shown in FIG. 3D, and the TLV packet is transmitted via a broadcast wave or a network.
  • MMTP packets and TLV packets in units of data types are also set and transmitted for each data such as voice and caption, and each MMT-SI data.
  • the TLV-SI is stored in the TLV packet without being stored in the MMTP packet and transmitted.
  • BDAV format and SPAV format there is a recording data format in the case where the distribution content according to the above MMT format is recorded and reproduced on a medium such as a BD (Blu-ray (registered trademark) Disc), a flash memory, or an HDD (hard disk).
  • BD Blu-ray (registered trademark) Disc
  • HDD hard disk
  • BD Blu-ray (registered trademark) Disc
  • HDD high definition digital versatile disk
  • playback control information for performing playback processing of these content And index information is required.
  • the reproduction control information and index information are generally called a database file. These playback control information and index information differ depending on the playback application that executes the playback processing of the recording data of the media.
  • BDMV and BDAV standards data recording formats
  • data recording formats data recording formats
  • application standards are established as data recording / reproducing application standards mainly using BD (Blu-ray (registered trademark) Disc).
  • BDMV and BDAV are data recording / playback application standards mainly using BDs, and are data recording formats (standards), but these standards are not limited to BDs, but other BDs such as flash memories.
  • the present invention can also be applied to data recording / playback using media.
  • BDMV is an application standard developed for BD-ROM in which, for example, movie content is recorded in advance, and is widely used mainly in non-rewritable BD-ROM such as package content.
  • BDAV is a standard developed for the purpose of applying to data recording / playback processing using a rewritable BD-RE type disc or a BD-R type disc that can be recorded only once.
  • BDAV is used, for example, for recording / reproducing video captured by a user with a video camera or the like and recording / reproducing television broadcast.
  • the BDAV format defines playlist files, clip information files, and the like as recording files for playback control information, and the BDAV compatible playback application uses the recording information of these playback control information files (database files).
  • the data reproduction process is executed using the data.
  • FIG. 4 is a diagram showing an example of a directory structure of data recorded on the information recording medium (medium) 40 in accordance with the BDAV format. As shown in FIG. 4, various management information, reproduction control information, and reproduction target data storage files are set in the directory.
  • the management information file includes, for example, an info file (info), a menu file (menu), a mark file (mark), and the like shown in FIG. These store mainly title management information to be shown to the user. Also, as a playback control information file, Playlist file (playlist), Clip information file (clipinf) For example, these files are recorded. Further, a clip AV stream file (stream) is recorded as a reproduction data storage file.
  • the playlist file is a file that defines the playback order of contents in accordance with the program information of the playback program specified by the title.
  • the playlist file includes specification information of a clip information file that records playback position information and the like.
  • the clip information file is a file specified by the playlist file, and has reproduction position information of the clip AV stream file.
  • the clip AV stream file is a file storing AV stream data to be reproduced and management information.
  • a clip AV stream file is composed of a packet storing management data, each piece of data such as an image, audio, and caption to be reproduced.
  • management information defined in the MPEG-2TS format and recorded in a clip AV stream file for example, there is PSI / SI (Program Specific Information / Service Information).
  • MPEG-2TS format data composed of TS (Transport Stream) packets, but data including high-definition images such as 4K and 8K images in the future are described above. It is expected to be MMT format data composed of MMTP packets.
  • a stream file (nnnnn.m2ts) composed of MPEG-2 TS format data composed of TS packets
  • MMT format data (nnnnnn.mmtv) composed of MMTP packets
  • the discussion is progressing in the direction of recording a clip AV stream file when MMT format data is recorded on a medium as a packet sequence of packets storing data according to the MMT format. Specifically, the discussion is proceeding in the direction of recording as a packet string of an MMTP (MMT Protocol) packet or a TLV (Type Length Value) packet that is an upper packet of the MMTP packet. This specific example will be described in detail later.
  • MMT Protocol MMT Protocol
  • TLV Type Length Value
  • Management information file, playlist file, clip information file, and these data files are management information storage files applied to playback processing of images, audio, subtitles, and the like, which are playback data stored in the clip AV stream file. These are files that store reproduction control information, reproduction data attribute information, and the like, and are called database files.
  • the sequence for reproducing the content recorded on the information recording medium is as follows.
  • FIG. 5 shows the following data recorded on the information recording medium (medium) 40, that is, Playlist files, Clip information file, Clip AV stream file, It is a figure explaining the correspondence of these data.
  • An AV stream made up of reproduction target data such as images, sounds, and subtitles as actual reproduction target data is recorded as a clip AV stream (Clip AV Stream) file, and further, as management information and reproduction control information file of these AV streams.
  • a playlist (PlayList) file and a clip information (Clip Information) file are defined.
  • a playlist layer including a playlist (PlayList) file, A clip layer consisting of a clip AV stream (Clip AV Stream) file and a clip information (Clip Information) file, It can be divided into these two layers.
  • One clip AV stream (Clip AV Stream) file is associated with one clip information (Clip Information) file, and these pairs are considered as one object, and these are grouped into a clip (Clip) or a clip. Called a file.
  • Clip Information Detailed information of data included in the clip AV stream file, for example, management information such as an EP map in which I picture position information of MPEG data is recorded is recorded in the clip information file.
  • a clip AV stream file is composed of TS packets in the case of MPEG-2 TS format data. Further, in the case of MMT format data, it is composed of MMTP packets.
  • Clip Information file, for example, correspondence between the data position of the byte sequence data of the clip AV stream file and the playback time position such as the entry point (EP) that is the playback start point when expanded on the time axis
  • the management information for acquiring the reproduction start position of the data stored in the clip AV stream file, such as data, is stored.
  • the playlist has information indicating an access point corresponding to a playback start position or playback end position of a clip (Clip) with a time stamp which is information on the time axis. For example, it is possible to acquire a data read position of a clip AV stream file, that is, an address as a playback start point by referring to the clip information file based on a time stamp indicating a playback time elapsed position from the start point of the content. Become.
  • the clip information file (Clip Information file) is used to find address information from which to start decoding the stream in the clip AV stream file from this time stamp.
  • a clip AV stream file that stores data to be played is composed of TS packets in the case of conventional MPEG-2 TS format data.
  • high-definition image data such as 4K and 8K images that are expected to be used in the future
  • MMT format data it is constituted by MMTP packets.
  • the MMT format and the MPEG-2TS format will be described with reference to FIGS.
  • the MPEG-2TS format stores encoded data and management information (PSI / SI), which are content configuration data, such as images (Video), audio (Audio), subtitles (Subtitles), etc. in a recording medium (media), broadcast waves,
  • PSI / SI content configuration data
  • This is a format that defines a data storage format (container format) for encoded data and the like for transmission over a network.
  • the MPEG-2TS format is a format standardized by ISO13818-1, and is used for data recording, digital broadcasting, and the like for BD (Blu-ray (registered trademark) Disc), for example.
  • FIGS. 6A to 6C are diagrams showing the structure of MPEG-2TS format data.
  • FIG. 6A shown at the bottom is a diagram showing the overall structure of MPEG-2TS format data.
  • the MPEG-2TS format data is composed of a plurality of elementary streams (Elementary streams).
  • An elementary stream is a unit that is set as one unit such as an image, sound, or caption.
  • PES Packetized Elementary stream
  • FIG. 7 the explanatory diagram of the MMT format shown in FIG. 7 is a diagram explaining the correspondence with the MPEG-2TS format described with reference to FIG. 6 in an easy-to-understand manner. is there.
  • the MMT format is a data transfer method for transmitting encoded data, which is content configuration data, such as an image (Video), audio (Audio), subtitle (Subtitle), etc., via a broadcast wave or a network.
  • content configuration data such as an image (Video), audio (Audio), subtitle (Subtitle), etc.
  • Transport format is specified.
  • FIG. 7 is a diagram for explaining the MMT format which is a file format defined in ISO / IEC 23008-1.
  • FIG. 7A to 7C show the structure of MMT format data.
  • FIG. 7A shown at the bottom is a diagram showing the overall configuration of MMT format data.
  • the MMT format data is composed of a plurality of media presentation units (MPUs).
  • MPU is a unit set as one unit, such as an image, an audio
  • 1 MPU corresponds to 1 GOP (Group of Picture) which is one MPEG compressed image unit.
  • Payload_type 0x0 (MPU)
  • Packet_id the same packet identifier
  • the MMTP packet has a variable length and can be set to various packet sizes.
  • Each MMTP packet includes a header (MMTP header) that stores attribute information and the like, and a payload (MMTP payload) that stores actual data of the encoded image and the like.
  • SPAV format As a format similar to the BDAV format.
  • BDMV and BDAV are data recording / playback application standards mainly using BD.
  • SPAV format is an application standard for data recording / playback mainly for hard disks.
  • both the BDAV format and the SPAV format are formats that can be used for recording and reproduction using various media such as BD, flash memory, and HDD.
  • SPAV format data can be recorded / reproduced by a process similar to the data recording / reproduction process in the BDAV format.
  • the SPAV format is partially different from the BDAV format in the file name setting.
  • FIG. 8 shows a directory structure example of SPAV format.
  • the management information file includes, for example, an info file (INFO), a menu file (MENU), a mark file (MARK), and the like shown in FIG. These store mainly title management information to be shown to the user. Also, as a playback control information file, Playlist file (PLAYLIST), Clip information file (CLIPINF) For example, these files are recorded. Further, a clip AV stream file (STREAM) is recorded as a reproduction data storage file.
  • the setting of the directory name of SPAV format and the extension of each file is different from the BDAV format described with reference to FIG.
  • the data stored in each file and the role of each file are the same as in the BDAV format.
  • the MMT format is a data distribution format that will be used for 4K images and the like that are scheduled to be distributed by broadcasting stations and the like in the future, and is a format according to the protocol stack described with reference to FIG. is there.
  • the BDAV format is a data recording format for media, and as described with reference to FIG. 4, a database file including playback control information files such as a playlist file and a clip information file is defined.
  • the BDAV format is a data recording format and also supports a data recording / playback application standard. Data playback recorded on a medium according to the BDAV format is performed using a playback application compatible with the BDAV format.
  • the clip AV stream file [02001. set to the BDAV format shown in FIG. 4 or the SPAV format shown in FIG. mmtv etc.] the packet sequence of the packet storing the data according to the MMT format is recorded.
  • the clip AV stream file storing the MMT format data has been discussed in the direction of recording as a packet sequence of a MMTP (MMT Protocol) packet or a TLV (Type Length Value) packet that is a higher-order packet of the MMTP packet.
  • MMT Protocol MMT Protocol
  • TLV Type Length Value
  • FIG. 9 is a diagram for explaining a processing example of recording an MMTP (MMT Protocol) packet sequence according to the MMT format on a recording medium such as a BD, a flash memory, or an HDD (hard disk).
  • MMT Protocol MMT Protocol
  • FIG. 9 shows the following three data.
  • A TLV packet sequence that is broadcast distribution data
  • B One TLV packet processed as reception / playback data
  • C MMTP packet sequence proposed as a configuration of media recording data
  • a TLV packet sequence that is broadcast distribution data is a sequence (sequence) of TLV packets having the MMT (MPEG Media Transport) format described above with reference to FIG.
  • This TLV packet sequence is transmitted from a transmission apparatus 20 such as a broadcasting station.
  • TLV packet to be processed as received reproduction data is one TLV packet that is received by the information processing apparatus 30 such as a television or a recorder and performs reproduction processing.
  • the information processing apparatus 30 such as a television or a recorder and performs reproduction processing.
  • the detailed structure of one TLV packet which comprises the TLV packet sequence shown to (A) is shown.
  • This is a TLV packet having the MMT (MPEG Media Transport) format described above with reference to FIG.
  • MMT MPEG Media Transport
  • the MMTP packet sequence shown as the configuration of media recording data is an MMTP packet sequence that is currently proposed as recording data for media.
  • the MMTP packet recorded on the medium is an MMTP packet that is a part of the configuration data of the TLV packet, as understood from the dotted line showing the correspondence with FIG. 9B, and is composed of the following elements: .
  • (B) MMTP packet data (MMTP_packet_data) ( payload)
  • One configuration currently proposed as recording data for an information recording medium is to extract only MMTP packets that are constituent elements of TLV packets as shown in FIG. 9C and record them in a line. It is the structure to do.
  • FIG. 10 is a diagram for explaining an example of processing for recording a packet sequence of an upper TLV packet storing an MMTP packet, not a MMTP (MMT Protocol) packet, on a recording medium such as a BD, a flash memory, or an HDD (hard disk). It is.
  • FIG. 10 shows the following three data as in FIG. (A) TLV packet sequence which is broadcast distribution data (B) One TLV packet processed as reception / playback data (C) TLV packet sequence proposed as a configuration of media recording data
  • the TLV packet sequence shown as the configuration of media recording data is a TLV packet sequence that is another example currently proposed as recording data for media.
  • MMTP MMT Protocol
  • TLV Type Length Value
  • a playback control information file that supports the BDAV format That is, reproduction is performed using a playlist file or clip information file.
  • the BDAV format is a data recording format and also supports a data recording / reproducing application standard, and reproduction of data recorded on a medium according to the BDAV format is executed using a reproducing application compatible with the BDAV format.
  • the BDAV format defines BDAV format-specific database files such as playlist files and clip information files that are playback control information files, and the BDAV compatible playback application uses the recording information of these playback control information files (database files).
  • the data reproduction process is executed using the data.
  • database files such as playlist files and clip information files defined in the BDAV format are originally defined as files that can be generated based on the distribution data in the MPEG-2TS format. Therefore, even if the distribution data according to the MMT format, which is different from the MPEG-2TS format, is recorded as it is in the playlist file or clip information file stipulated in the current BDAV format, it cannot be used by the current BDAV compatible playback application. It may become.
  • the playlist file or clip corresponding to the MMT format data is used. It is necessary to generate an information file and record it on a medium. Further, when reproducing MMT format data recorded on a medium, it is necessary to perform reproduction using a playlist file or clip information file compatible with MMT format data.
  • a clip information file (nnnnn.clpi) 52 and a play list file (nnnnn.rpls) 53 corresponding to the MMT format data storage clip AV stream file 51 are generated, and the media ( BD, flash memory, HDD, etc.) and processing for use in reproduction is required.
  • the clip information file (nnnnn.clpi) 52 corresponding to the MMT format data storage clip AV stream file 51 and the playlist file (nnnnn. rpls) 53 can be used to perform playback processing.
  • the data distributed according to the MMT format which is the distribution data of the broadcasting station, is not configured to include all the recording data of the playlist file and the clip information file specified in the BDAV format.
  • the MMT format data storage clip AV stream file 51 has a data format different from that of the MPEG-2TS format data, such as a playlist file corresponding to the MPEG-2TS format data and a playlist file having the same format as the clip information file. Even if a clip information file is used, there is a problem that correct reproduction processing cannot be executed.
  • MMTP packet or TLV packet storing content such as images, audio, and subtitles is recorded on a recording medium such as a BD (Blu-ray (registered trademark) Disc), flash memory, or HDD (hard disk). Further, editing processing may be performed on the media recording data.
  • BD Blu-ray (registered trademark) Disc
  • HDD hard disk
  • Playback data such as images, sounds, and subtitles to be edited is stored in a clip AV stream file.
  • the packet MMTP packet or TLV packet
  • the control information includes, for example, information such as a time stamp applied to image and audio data reproduction processing.
  • time stamps such as PTS (Presentation Timestamp) that defines playback time information, DTS (Decoding Timestamp) that defines decoding time information, and the like.
  • the clip AV stream file stores reproduction data such as images, sounds, and subtitles as well as control information applied to these reproduction processes.
  • a storage packet for reproduction data such as images and sounds is different from a storage packet for control information. Therefore, the recording position of the storage packet of the image data on the medium and the recording position of the storage packet of the control information such as a time stamp for reproducing the image data are often separated from each other.
  • FIG. 12 shows an example of a packet sequence constituting a part of a clip AV stream file recorded on a medium such as a BD.
  • the example shown in the figure is an example in which a clip AV stream file recorded on a medium is configured by a TLV packet sequence. As described above with reference to FIG. 9 and FIG. MMTP packet sequence, or TLV packet sequence, One of these settings is assumed.
  • the example shown in FIG. 12 is an example of data editing processing for a TLV packet sequence composed of MMT format data recorded on a medium such as a BD. It is assumed that the user performs editing to delete the deletion section AB shown in FIG.
  • control information such as a time stamp necessary for the reproduction processing of reproduction data such as an image in the remaining section exists in the deletion section AB.
  • time stamps such as PTS (Presentation Timestamp) that defines playback time information, DTS (Decoding Timestamp) that defines decoding time information, and the like.
  • PTS Presentation Timestamp
  • DTS Decoding Timestamp
  • FIG. 13 is an example of data editing processing for a TLV packet sequence composed of MMT format data recorded on a medium such as BD, as in FIG. It is assumed that the user performs editing to delete the deletion section AB shown in FIG. Here, in the remaining section, there is a reproduction data storage packet 101 in which reproduction data such as an image is stored.
  • a control information storage packet 102 that stores control information that records a time stamp to be applied to the playback processing of the image data stored in the playback data storage packet 101 exists in the deletion section AB.
  • the deletion section AB is deleted, reproduction timing information of reproduction data such as an image stored in the reproduction data storage packet 101 in the remaining section, that is, a time stamp is acquired from the control information storage packet 102. I can't. As a result, it is impossible to reproduce the image stored in the reproduction data storage packet 101.
  • control information in which the time stamp stored in the control information storage packet 102 is recorded is specifically recorded in, for example, an MMT package table (MPT) defined in the MMT format.
  • MPT MMT package table
  • the MMT format data includes control information necessary for receiving and playing back content (program) on the information processing apparatus 30 side, and guide information such as a program guide.
  • Control information including notification information, management information, and the like.
  • Control information (signaling information) defined in the MMT format includes signaling information (MMT-SI) transmitted in MMTP packets and signaling information (TLV-SI) transmitted in TLV packets.
  • MMT package table MMT Package Table
  • the MMT package table is a table in which, for example, data attribute information (asset descriptor) is recorded in detail for each data type (asset type) such as image, audio, subtitle, and the like.
  • time stamps such as PTS (Presentation Timestamp) defining playback time information and DTS (Decoding Timestamp) defining decoding time information are recorded.
  • PTS Presentation Timestamp
  • DTS Decoding Timestamp
  • the transmission interval between the playback data storage packet and the control information (MPT) storage packet storing control information such as a time stamp required for playback of the playback data is defined in the MMT format, and broadcast stations, etc.
  • the transmission interval of each packet from the transmission device is specified to be in the range of 2700 ms to 500 ms.
  • the control information (MPT) storage packet may be retransmitted after the reproduction data storage packet as a countermeasure against a reception error or the like.
  • a recording device that receives a packet sequence received from a transmission device such as a broadcasting station and records the packet sequence on a medium such as a BD sequentially records the received packet sequence on the medium. As a result, a packet sequence as shown in FIG. 13 is recorded on the medium.
  • MMT package table MMT Package Table
  • FIG. 14 is a diagram illustrating a data configuration (syntax) of the MMT package table (MPT).
  • FIG. 14 shows the data structure (Syntax), the number of bits (No. of bits), and the data notation (Mnemonic) of the MMT package table (MPT).
  • “uimsbf” in data notation means “unsigned integer most significant bit first” notation.
  • “Bslbf” means “bit string, left bit means first (bit string, left bit first)”.
  • the MMT package table (MPT: MMT Package Table) defined in the MMT format is, for example, data attribute information (asset descriptor) for each data type (asset type) such as image, audio, subtitle, etc. Is a table in which is recorded in detail.
  • Asset type (asset_type)
  • Asset descriptor (asset_descriptors_byte)
  • the asset type is an area for recording an identifier for each data type, such as an image, audio, or caption.
  • An asset is a unit of data processing having a common attribute, and images, audio, subtitles, and the like are set as different assets.
  • a specific example of the asset type (asset_type) recorded in the MMT package table (MPT) is shown in FIG.
  • asset types there are the following types of asset types (asset_type) recorded in the MPT, for example.
  • hvc1 HEVC image mp4a: audio stpp: subtitles, etc.
  • aapp application
  • Asset descriptor As shown in the lower part of the MPT in FIG. Asset descriptor (asset_descriptors_byte) In this field, various asset information corresponding to each asset type (for example, image, audio, subtitle) and their data types are recorded.
  • One piece of information recorded as the asset descriptor includes reproduction time information such as an image and sound.
  • the reproduction time information is recorded as time information according to NTP (Network Time Protocol).
  • FIG. 16 shows the data structure (syntax) of an MPU time stamp descriptor in which playback time information (time stamp) in units of MPU recorded as asset descriptors (asset_descriptors_bytes) is recorded in the MMT package table (MPT).
  • the MPU is the MPU (Media Presentation Unit) shown in FIG. 3A as described above with reference to FIG. 3, and is one data processing unit in the MMT format.
  • the example shown in FIG. 3A is an example of an MPU of image data, and is the same unit as a GOP (Group of Pictures) as a so-called encoding / decoding processing unit.
  • the MPU time stamp descriptor recorded in the MMT package table (MPT) corresponds to the reproduction time information in units of MPU. As shown in FIG. 16, the following data is recorded in the MPU time stamp descriptor.
  • MPU sequence number MPU_sequence_number
  • MPU playback time MPU_presentation_time
  • An MPU identifier is recorded in the MPU sequence number (MPU_sequence_number).
  • MPU_presentation_time the playback time (presentation time) of the MPU is recorded as time information according to NTP (Network Time Protocol).
  • NTP time NTP time stamp
  • the NTP time is, for example, absolute time information of 64-bit data, that is, absolute time information indicating an elapsed time from a predetermined reference time.
  • the upper 32 bits indicate time information (elapsed time information) of 1 second or more, and the lower 32 bits indicate time information (elapsed time information) of 1 second or less. It is also possible to set the whole to 32 bits and use short-format NTP time information that indicates time information of 1 second or more in the upper 16 bits and time information of 1 second or less in the lower 16 bits.
  • time stamps such as MPU time stamps, which are playback time information (time stamps) in units of MPU, are recorded as asset descriptors (asset_descriptors_bytes).
  • the information processing apparatus 30 When the clip AV stream file is recorded on the information recording medium (media), the information processing apparatus 30 records the clip AV stream file as an MMTP packet sequence or a TLV packet sequence as described above with reference to FIGS.
  • These packet sequences include control information storage packets such as an MMT package table (MPT) storing the above-mentioned time stamps, in addition to packets storing reproduction data such as images, audio, and captions.
  • MPT MMT package table
  • FIG. 17 is a diagram for explaining the process of moving the control information storage packet 102a in the deletion section AB to the remaining data area, inserting it between the packets in the remaining data, and leaving it as the control information storage packet 102b. If such packet movement processing is performed, the time stamp of the reproduction data such as an image stored in the reproduction data storage packet 101 can be acquired from the control information storage packet 102b.
  • FIG. 18 is a diagram illustrating a setting example of an encryption unit (encryption block) of a packet constituting a clip AV stream file AV stream file.
  • the example shown in FIG. 18 shows an example in which an encryption unit with two packets as one unit is set and encryption is performed by applying different encryption keys to each unit.
  • MMTP packet or TLV packet When recording MMT format data on a medium such as a BD, encryption processing of packet (MMTP packet or TLV packet) stored data may be required.
  • a standard relating to the copyright protection of recorded data on an information recording medium (media) such as BD (Blu-Ray (registered trademark) Disc), HD, and DVD is defined by AACS (Advanced Access Content System), such as BD.
  • AACS Advanced Access Content System
  • broadcast content is not restricted by the AACS rules, and it is not necessary to use the encryption mode of the AACS rules, and distribution is performed in a unique encryption mode.
  • an information processing apparatus that receives a broadcast wave composed of MMT format data and records the data on an information recording medium (media) records the encrypted data received as broadcast data or the encrypted data as it is. It is necessary to read the data recorded on the first medium such as a hard disk, decrypt it once, and then re-encrypt it using a method in accordance with the AACS standard and record it on the information recording medium (second medium) of the copy destination. It becomes.
  • FIG. 19 is a diagram for explaining a sequence of encryption processing of one encryption unit constituting a clip AV stream file composed of recording data for a medium, specifically, a packet sequence according to the MMT format.
  • Each of the encryption units is encrypted with a different encryption key, and becomes encrypted data in accordance with the AACS standard.
  • Step S1 the information processing apparatus performs an acquisition process for the seed information 121.
  • the seed information is information used to generate an encryption key to be applied to the encryption process of the encryption unit, and is different information for each encryption unit.
  • This seed information can use, for example, configuration data of an additional header set in the preceding stage of the encryption unit.
  • the additional header is set for each encryption unit, and is different 16-byte data for each unit.
  • the additional header may be a header in which, for example, copy control information regarding each encryption unit is recorded.
  • the additional header is generated and recorded when an information processing apparatus that performs data recording processing on media receives a broadcast wave composed of MMT format data and records the media, or when copying data between media.
  • an information processing apparatus that performs data recording processing on media acquires copy control information from control information (SI) that constitutes MMT format data, and converts the acquired copy control information into a data format that conforms to AACS regulations. Record in the additional header.
  • SI control information
  • the additional header includes copy control information stored in subsequent packets, and is set to be different data for each additional header.
  • the configuration data of this additional header as seed information applied to the encryption generation of each encryption unit, the encryption key applied to each encryption unit can be made different for each unit.
  • seed information corresponding to each unit may be recorded in a file different from the clip AV stream file, for example, a usage control information file (Usage File), without setting an additional header.
  • Usage File Usage File
  • step S11 the information processing apparatus determines seed information (16 bytes) 121 that is different for each encryption unit from an additional header for each encryption unit or another file such as a usage control information file (Usage File). Perform the acquisition process.
  • seed information (16 bytes) 121 that is different for each encryption unit from an additional header for each encryption unit or another file such as a usage control information file (Usage File).
  • step S13 the information processing apparatus inputs the encryption processing target unit 124 composed of plaintext TLV packet data, executes the encryption process using the block key generated in step S12, and executes the encryption unit, That is, the encryption unit 125 that is the configuration data in the clip AV stream file is generated.
  • the encryption processing target unit 124 composed of plaintext TLV packet data is plaintext TLV packet data obtained by decrypting encrypted data transmitted from a broadcasting station or the like. It is the same data as the result of decoding in the reproduction process.
  • the encryption unit 125 generated by executing the encryption process to which the block key is applied, that is, the encrypted TLV packet data is recorded on the information recording medium (media).
  • the encryption process using the block key can be executed as an encryption process using the ECB mode or the CBC mode, for example.
  • padding data may be added when performing these encryption processes. For example, in consideration of compatibility with a block cipher such as AES, padding data composed of a data string such as 000... 0 may be added so that the encrypted TLV packet is a multiple of 16 bytes.
  • All packets constituting the clip AV stream file are subjected to encryption processing (block encryption processing) with a different encryption key in the same unit unit, and recorded as a clip AV stream file on an information recording medium such as a BD. .
  • the encryption key corresponding to each encryption unit described with reference to FIG. 19 can also be used as a decryption key for decrypting the encryption unit.
  • an encryption key (decryption key) is generated in the same sequence as the processing sequence shown in FIG. 19, and the generated encryption key (decryption key) is applied for encryption. Decoding processing in units can be performed.
  • the encryption unit is configured by two TLV packets.
  • the encryption unit can be set in various ways. is there.
  • the structure which set the additional header containing the seed information used as encryption key generation data with respect to a fixed-size encryption unit, and the structure which is not possible are possible.
  • (B) is an example in which the encryption unit has a variable data length.
  • 1 encryption unit 1 packet (MMTP packet or TLV packet)
  • One encryption unit multiple packets (MMTP packet or TLV packet)
  • One encryption unit packet (MMTP packet or TLV packet) configuration data (variable data length)
  • Such a variable data size is used. Even in the case of this variable size, a configuration in which an additional header including seed information serving as encryption key generation data is set for the encryption unit and a configuration in which no additional header is set are possible.
  • FIG. 20 shows an example in which the encryption unit (b) has a variable data length.
  • FIG. 20 is a diagram illustrating a configuration example of media recording data in which an encryption unit is set in units of a plurality of packets.
  • an information processing apparatus that records received data from a transmission apparatus such as a broadcasting station on a medium provides one copy control information for a plurality of (N) packets (MMTP packets or TLV packets). Set and record the recorded additional header.
  • FIG. 20 shows a packet sequence as the following two data recording examples.
  • A1 MMTP packet sequence in which one additional header is set for multiple (N) MMTP packets
  • the MMTP packet 130 to be recorded on the medium is divided in units of N, and an additional header (MMTP packet additional header 131) is set at the head portion of the N MMTP packets, and is recorded on the medium. It is an example.
  • the TLV packet 132 to be recorded on the medium is divided in units of N, and an additional header (TLV packet additional header 133) is set at the head portion of the N TLV packets and recorded on the medium. It is an example. In this example, N is 2 or more.
  • MMTP packet addition header 131 for example, copy control information corresponding to storage data of a plurality of subsequent (N) MMTP packets 130 is recorded.
  • TLV packet addition header 133 copy control information corresponding to storage data of a plurality of (N) subsequent TLV packets 132 is recorded.
  • the copy apparatus By recording this additional header on the medium, the copy apparatus (information processing apparatus) that executes the copy process uses the MMT format for the storage data of a plurality of subsequent MMTP packets or TLV packets based on the recorded content of the additional header. Corresponding copy control information can be acquired.
  • Editing restriction with encryption unit unit as deletion permission unit (2) Editing restriction when reproduction information corresponding to remaining section exists in deletion section (2-1) Reproduction data corresponding to remaining section Processing to extend control information storage packet to encryption unit size and move to remaining section and record (2-2) Add NULL packet to control information storage packet corresponding to playback data of remaining section and move to remaining section (2-3) Processing in the case where control information including GOP information corresponding to reproduction data in the remaining section exists in the deletion section (2-4) Control information corresponding to reproduction data in the remaining section is clip AV stream Processing to copy and record to a control information file different from the file (3) Permit deletion of preceding MPT storage packet and subsequent packets before the next MPT storage packet Edit restrictions that place to be
  • the clip AV stream file recorded on a medium such as a BD is data encrypted with different encryption keys in units of encryption units.
  • an editing restriction is set in which an allowable data deletion unit is an encryption unit unit. A specific example will be described with reference to FIG.
  • FIG. 21 is a diagram showing an example of allowable editing processing. That is, this is an example in which the deletion interval is in units of encryption units. (Allowable editing process example 1) shown in FIG. 21 is an example in which the deletion section AB is one encryption unit, and data deletion with such a setting is allowed.
  • control information such as a time stamp to be applied to reproduction of reproduction data of the remaining section is recorded in the deletion section, a process for moving the control information is necessary. This process will be described later.
  • (Allowable editing process example 2) shown in FIG. 21 is an example in which the deletion section AB is a plurality of encryption units, and data deletion with such settings is also permitted. Even in this case, if control information such as a time stamp to be applied to reproduction of the reproduction data of the remaining section is recorded in the deletion section, a process for moving the control information is necessary. This process will be described later.
  • Non-permitted editing processing example 1 is an example in which the deletion section AB is set smaller than one encryption unit, and data deletion with such setting is not permitted.
  • non-permitted editing processing example 2 shown in FIG. 22 is an example in which the deletion section AB is set to be larger than one encryption unit but smaller than two encryption units, and data in such a setting is used. Deletion is not allowed. Thus, the data deletion process in the data editing process is set to be permitted only when it is executed in units of encryption units.
  • the transmission interval between the reproduction data storage packet and the control information (MPT) storage packet storing control information such as a time stamp necessary for reproduction of the reproduction data is defined in the MMT format.
  • the transmission interval of each packet from a transmission apparatus such as a broadcasting station is defined to be in the range of 2700 ms to 500 ms.
  • the destination of the control information storage packet 202a is set in the range of 2700 ms to 500 ms from the reproduction data storage packet 201 on a transmission interval basis.
  • control information storage packet 202a is moved and inserted between the encryption unit 01 and the encryption unit 02 in the remaining section.
  • control information storage packet 202b is inserted between the encryption unit 01 and the encryption unit 02 in the remaining section.
  • control information storage packet 202b is only a part of the encryption unit 03 that is the original encryption unit, and depends on the setting mode (fixed data length or variable data length) of the encryption unit as follows. Such a problem occurs.
  • the control information storage packet 202b can be processed to be included in the existing encryption unit.
  • the seed information corresponding to the existing encryption unit is already included in the additional header or another file (usage control information file (Usage File). )), It is necessary to change the seed information.
  • the seed information includes copy control information in units of encryption units, and there is a problem that it cannot be rewritten unnecessarily.
  • the reproduction processing of the reproduction data of the remaining section is performed by applying the control information after the editing process. An example of processing that enables this will be described.
  • FIG. 24 is a diagram for explaining the present embodiment.
  • a control information storage packet 212a including an MPT (MMT package table) in which a time stamp applied to the reproduction processing of the reproduction data storage packet 211 in the remaining section is recorded.
  • MPT MMT package table
  • a packet size changing process for expanding the control information storage packet 212a to a specified encryption unit size is executed.
  • the control information storage packet 212b shown in the figure is a size change packet having a specified encryption unit size.
  • the control information storage packet 212b having the specified encryption unit size is moved to the remaining section and recorded.
  • the control information storage packet 212b that moves and records in the remaining section uses this one packet as a new encryption unit. That is, in this embodiment, a new seed corresponding to the control information storage packet 212b is set, an encryption key using the seed is generated, and the configuration data of the control information storage packet 212b is encrypted using the generated encryption key. And record. The processing for other packets is unnecessary, and the necessary data processing can be reduced.
  • the recording destination of the control information storage packet 212b is 2700 ms to 500 ms on a transmission interval basis from the packet storing the reproduction data using the time stamp in the packet, that is, the reproduction data storage packet 211 in the remaining section shown in the figure.
  • the range This is because the packet recording configuration satisfies the above-mentioned regulations on the MMT format.
  • a packet size changing process for expanding the control information storage packet 212a in the deletion section AB to a specified encryption unit size is executed.
  • the control information storage packet 212b shown in the figure is a size change packet having a specified encryption unit size.
  • the TLV packet and the MMTP packet defined in the MMT format are not originally fixed in packet size, and packets of various sizes can be set. However, when the packet size is changed, it is necessary to record the changed packet size information in a packet header or the like. The recording information of the packet header of the TLV packet will be described with reference to FIG.
  • FIG. 25 is a diagram illustrating data of a TLV header (TLV header) set in a TLV packet.
  • FIG. 25 shows the data structure (Syntax), the number of bits (No. of bits), and the data notation (Mnemonic) of the TLV header (TLV header).
  • the information processing apparatus When the information processing apparatus that performs the editing process performs the packet size extension described with reference to FIG. 24, the information processing apparatus updates the packet length data (length) to the data size after the extension process.
  • various control information (SI: Signaling Information (signaling information)) is transmitted from a broadcasting station or the like according to the MMT format.
  • SI Signaling Information
  • An MPT MMT package table
  • a time stamp related to reproduction data is recorded is one piece of control information transmitted by a broadcasting station or the like.
  • the MPT is collectively stored and transmitted in a PA (Package Access) message storing various tables including the MPT.
  • the PA message is further stored in a TLV packet and an MMTP packet and transmitted.
  • An MMT package table (MPT) in which a time stamp is recorded is recorded in the PA message.
  • the PA message transmits a PA table having various information necessary for data reception, encoding, reproduction processing, and the like on the receiving device side that receives the broadcast wave.
  • the PA table includes a plurality of tables, one of which is an MMT package table (MPT).
  • the PA message is stored in the TLV packet.
  • the length of the TLV packet storing the control information (MPT) is extended as described with reference to FIG. 24, the data length of the PA message stored in the TLV packet is changed.
  • a method of adjusting can be used.
  • a method for adjusting the data length of the PA message will be described with reference to FIG.
  • the data structure of the PA message will be described with reference to FIG. message_id is a 16-bit fixed value for identifying a PA message in various signaling information.
  • version is an 8-bit integer parameter indicating the PA message version. For example, if some parameters constituting the MPT are also updated, version is incremented by +1.
  • the length is a 32-bit parameter indicating the size of the PA message in bytes, which is counted immediately after this field. When the data size of the PA message is changed, the length data is rewritten to the extended data length.
  • index information of each table arranged in the payload field is arranged.
  • 8-bit table_id, 8-bit table_version, and 16-bit table_length are arranged.
  • MMT package table (MPT) is also recorded here.
  • a stuff byte recording allowable area is set in the final area of the PA message. This is an area where stuff bytes (all 1) for adjusting the data length of the PA message can be recorded.
  • the packet size of the TLV packet storing this PA message can be adjusted to be equal to the specified encryption unit size. it can.
  • FIG. 27 is a diagram showing a data structure of a stuff descriptor (stuffing_descriptor) recorded in the stuff byte recording allowable area of the PA message.
  • a stuff descriptor (stuffing_descriptor) recorded in the stuff byte recording allowable area of the PA message.
  • descriptor_tag a tag (0x42) indicating a stuff descriptor is recorded.
  • descriptor_length the descriptor length of the stuff descriptor is recorded.
  • stuffing_byte stuff bytes (all 1) necessary for adjusting the data length can be recorded.
  • data (all 1) is stored in the stuff byte recording area of the PA message described above. It is possible to apply a method of recording
  • a technique for changing the packet size of a TLV packet or MMTP packet which is a control information (MPT) storage packet in which a time stamp is recorded, to a specified encryption unit size
  • MPT control information
  • it may be configured to perform processing for changing the data length of the MPT (MMT package table) itself stored in the PA message. This method will be described with reference to FIG.
  • FIG. 28 shows the data structure (syntax) of the MMT package table (MPT).
  • the data is the same as described above with reference to FIG.
  • the MMT package table (MPT) also has the following data recording areas as in the PA message described above with reference to FIG. Length recording area, Stuff byte recording allowable area (MPT_descriptor_byte)
  • the length is a 16-bit length parameter indicating the size of the MPT counted immediately after this field in bytes.
  • the stuff byte recording allowable area is an area in which stuff bytes (all 1) for adjusting the data length of the MMT package table (MPT) can be recorded.
  • the packet size of the TLV packet storing this MMT package table is set to be equal to the specified encryption unit size. Can be adjusted.
  • FIG. 29 is a diagram showing a data structure of a stuff descriptor (stuffing_descriptor) recorded in the stuff byte recording allowable area of the MMT package table (MPT).
  • a tag (0x42) indicating a stuff descriptor is recorded.
  • descriptor_length the descriptor length of the stuff descriptor is recorded.
  • stuffing_byte stuff bytes (all 1) necessary for adjusting the data length can be recorded.
  • control information (MPT) storage packet 212a described above with reference to FIG. 24 is defined by writing the stuff byte (all 1) in the stuff byte recording allowable area of the MMT package table (MPT). It is possible to extend to the encryption unit size.
  • the packet size of the control information storage packet 212a in the deletion section is expanded to the specified encryption unit size, and the size is changed. Processing to move and record the control information storage packet 212b to the remaining section becomes possible.
  • the information processing apparatus When performing the processing described with reference to FIG. 24, the information processing apparatus that performs the editing processing sets the control information storage packet 212b moved to the remaining section as one new encryption unit.
  • the information processing apparatus that performs the editing process extends the data length of the control information storage packet 212b to the specified encryption unit size, sets a new seed corresponding to the control information storage packet 212b with the adjusted data length, An encryption key using the seed is generated, and the configuration data of the control information storage packet 212b is encrypted and recorded with the generated encryption key.
  • the processing for other packets is unnecessary, and the necessary data processing can be reduced.
  • control information storage packet 212 in the deletion section when the control information storage packet 212 in the deletion section is moved to the remaining section, the data length needs to be extended only when the encryption unit size is fixed.
  • the encryption unit size is variable, the control information storage packet 212 in the deletion section is moved to the remaining section without changing the data size, and the control information storage packet 212 is used as a new encryption unit.
  • a new seed corresponding to the new encryption unit is set, an encryption key using the seed is generated, and the configuration data of the control information storage packet 212 is encrypted and recorded with the generated encryption key. In this case as well, processing for other packets is unnecessary, and necessary data processing can be reduced.
  • FIG. 30 is a diagram for explaining the present embodiment.
  • MPT MMT package table
  • a NULL packet 217 is added to the control information storage packet 216, and processing for making the total data length of these packets equal to the specified encryption unit size is executed.
  • the total size of the packet size of the control information storage packet 216 and the packet size of the NULL packet 217 shown in the figure is made equal to the specified encryption unit size.
  • the NULL packet 217 is a packet that stores invalid values, for example, data such as all 0s and all 1s.
  • the information processing apparatus that executes the editing process adds a NULL packet 217 to the control information storage packet 216, executes a process for making the total data length of these packets equal to the specified encryption unit size, Move to the remaining section and record.
  • a set of the control information storage packet 216 and the NULL packet 217 to be moved and recorded in the remaining section is defined as one new encryption unit yy.
  • the information processing apparatus that executes the editing process sets a new seed corresponding to the new encryption unit yy, generates an encryption key using the seed, and generates a control information storage packet 216 using the generated encryption key.
  • the configuration data of the NULL packet 217 is encrypted and recorded. The processing for other packets is unnecessary, and the necessary data processing can be reduced.
  • control information storage packet 216 in the deletion section When the control information storage packet 216 in the deletion section is moved to the remaining section, it is necessary to add the NULL packet 217 and extend the data length only when the encryption unit size is fixed. .
  • the encryption unit size is variable
  • the control information storage packet 216 in the deletion section is moved to the remaining section without changing the data size, and this control information storage packet 216 is set as a new encryption unit yy. Then, a new seed corresponding to the new encryption unit yy is set, an encryption key using the seed is generated, and the configuration data of the control information storage packet 216 is encrypted and recorded with the generated encryption key. In this case as well, processing for other packets is unnecessary, and necessary data processing can be reduced.
  • the MMT format data is composed of a plurality of media presentation units (MPUs).
  • MPU is a unit set as one unit, such as an image, an audio
  • 1 MPU corresponds to 1 GOP (Group of Picture) which is one MPEG compressed image unit.
  • One MPU includes, for example, a plurality of compressed image data, and by mutually referring to data in units of one MPU, a plurality of image frames included in the MPU can be decoded (expanded) and reproduced. It becomes.
  • the information (GOP information) applied to the MPU decoding process is recorded in the MMT package table (MPT) in the same manner as the time stamp described above. Whether or not GOP information is recorded in the MMT package table (MPT) can be confirmed by referring to the MPU sequence number (MPU_sequence_number) recorded in the MMT package table (MPT). This is recorded in the MPU time stamp descriptor of the MMT package table (MPT) described above with reference to FIG.
  • FIG. 31 again shows the MPU time stamp descriptor of the MMT package table (MPT). As shown in FIG. 31, the following data is recorded in the MPU time stamp descriptor. MPU sequence number (MPU_sequence_number) MPU playback time (MPU_presentation_time)
  • MPU_sequence_number MPU sequence number
  • decoding data such as an image belonging to a certain MPU (GOP)
  • MPU_sequence_number MPU sequence number
  • GOP information necessary for decoding the MPU is the MMT package. It is confirmed whether or not it is recorded in the table (MPT), and if it is confirmed that it is recorded, GOP information necessary for decoding is obtained from the MMT package table (MPT) and decoding processing is performed.
  • a reproduction data storage packet storing reproduction data constituting MPU (GOP), GOP information necessary for decoding the reproduction data, and a control storing MPU sequence number (MPU_sequence_number) are stored.
  • the recording positions of information (MPT) storage packets on the medium are likely to be separated.
  • the TLV packet sequence shown in FIG. 32 is a packet sequence constituting a clip AV stream file recorded on the medium.
  • MPU (GOP) unit data 220 composed of packets storing reproduction data.
  • the GOP information applied to the decoding process of the MPU (GOP) unit data 220 and the control information (MPT) storage packet 221 storing the MPU sequence number (MPU_sequence_number) are in the deletion section AB.
  • the encryption unit 03 including the control information (MPT) storage packet 221 is excluded from the deletion target, and only the encryption unit 04 is deleted.
  • control information (MPT) storage packet 221 is moved to the remaining section and recorded.
  • This process executes the same process as any of the following processes described above.
  • the data length needs to be extended only when the encryption unit size is fixed when moving the control information storage packet 221 in the deletion section to the remaining section. is there. If the encryption unit size is variable, the control information storage packet can be moved to the remaining section without changing the data size of the control information storage packet in the deletion section, and the control information storage packet can be used as a new encryption unit. .
  • the encryption unit 03 including the control information (MPT) storage packet 221 is excluded from the deletion target, and only the encryption unit 04 is deleted.
  • MPT control information
  • the data stored in the reproduction data storage packet 222 is data that does not need to be subjected to reproduction processing.
  • a playlist file which is a reproduction control information file in the BDAV format
  • play items 251 and 252 are generated and recorded in a playlist file so that a reproduction data storage packet 222 storing reproduction target data is not designated by a play item having reproduction data designation data.
  • Stream file has playback section designation information for playable data included in the layer.
  • the information processing apparatus that executes the editing process changes the setting of the play item that has designated the playback data storage packet that is no longer necessary to be played back by the editing process as the playback section, and starts playback from the playback section of the play item.
  • a process of deleting a section of the reproduction data storage packet that is no longer necessary is performed. By this processing, the reproduction data that is no longer necessary to be reproduced is not reproduced.
  • FIG. 34 shows an example in which unnecessary reproduction data remains due to the restriction that deletion is permitted in units of encryption units.
  • the example shown in FIG. 34 is an example in which the deletion-scheduled section AB does not become an encryption unit unit and therefore cannot be deleted and remains.
  • Packets 231 and 232 are packets storing reproduction unnecessary data.
  • the information processing apparatus that executes the editing process changes the setting of the play item that has designated the playback data storage packets 231 and 232 that are no longer required to be played by the editing process as the playback section, and A process of deleting a playback data storage packet section that is no longer required for playback from the playback section of the item is performed.
  • the playlist file is set so that the playback data storage packets 231 and 232 are not set as playback sections. To record. By this processing, the reproduction data that is no longer necessary to be reproduced is not reproduced.
  • BDAV format which is the data format of media recording data, a playlist file, a clip information file, and the like are defined as playback control information files for playback data stored in a clip AV stream file.
  • a playback device that performs playback processing of BDAV format data refers to recorded information in a playlist file or clip information file, and executes playback processing of playback data stored in the clip AV stream file.
  • the playback apparatus uses this information by performing a process of copying and recording the control information to a playlist file or a clip information file. Playback processing can be performed.
  • control information of the deletion section is copied and recorded in a control information file different from the clip AV stream file.
  • the TLV packet sequence shown in FIG. 36 is a packet sequence constituting a clip AV stream file recorded on the medium.
  • MPT control information
  • the stored packet 272 is in the deletion section AB.
  • the information processing apparatus that executes the editing process acquires the control information (MPT) storage packet 272 in the deletion section AB, reads the control information (MPT) from this packet, and stores this data in the BDAV Copy and record in the control information file specified in the format.
  • MPT control information
  • the control information data stored in the control information (MPT) storage packet 272 is copied to the playlist file 280, which is a control information file defined in the BDAV format.
  • the copy target data may be all data of the control information stored in the control information (MPT) storage packet 272, or only necessary data may be selected and recorded. After performing these copy processes, the packets in the deletion section AB are deleted.
  • control information necessary for reproducing the remaining data after the editing process can be obtained from the playlist file or the clip information file, and a reliable reproduction process of the remaining data after editing can be performed. It can be carried out.
  • the TLV packet sequence shown in FIG. 37 is a packet sequence constituting a clip AV stream file recorded on the medium.
  • TLV packets 291 to 298 are shown.
  • a deletion scheduled section set by the user as unnecessary is set as a section AB including the packets 292 to 297.
  • an MPT storage packet section unit is set as an allowable deletion unit.
  • the reason why such a deletion allowable unit is set is that the MPT stored in the packet storing the MPT which is the control information has a control related to the reproduction data storage packet up to the next MPT among the packets following the MPT storage packet. This is because the information is recorded and the control information of the reproduction data after the next MPT is not included.
  • the reproduction control information of the reproduction data stored in the reproduction data storage packet subsequent to the preceding MPT storage packet is recorded in the MPT in the preceding MPT storage packet. Therefore, if data is deleted in units of one MPT storage packet section from the preceding MPT storage packet to the previous MPT storage packet, the playback data to be played back using the MPT to be deleted is bundled together with the MPT to be deleted. Deleted.
  • the remaining reproduction data control information other than the deletion section can be obtained from the MPT other than the deletion section.
  • packets 293 and 296 are control information (MPT) storage packets.
  • MPT1 control information
  • MPT2 control information
  • the control information (MPT2) storage packet 296 records reproduction control information such as a time stamp applied to reproduction of reproduction data stored in the subsequent packets 297 to 298.
  • the control information of the control information (MPT1) storage packet 293 to be deleted remains in the same deletion section. This information is used only for the subsequent packets 294 to 295 and is not used for reproduction data in the remaining section. In this way, it is guaranteed that the remaining reproduction data has no effect. Based on this reason, the section from the preceding MPT storage packet to the subsequent packet before the next MPT storage packet, that is, the MPT storage packet section unit is set as the deletion allowable unit.
  • the MPT storage packet section included in the scheduled deletion section is a section CD composed of packets 293, 294, and 295.
  • the encryption unit in the section CD is the section CE of the encryption unit 02 configured by the packets 293 and 294. Therefore, in the scheduled deletion section AB shown in FIG. 37, the section that is allowed to be deleted is only the section CE composed of two packets composed of the packets 293 and 294.
  • the scheduled deletion section AB includes packets 292 and 295 to 297 in addition to the deletion permission packets 293 and 294, but these are not allowed to be deleted and remain.
  • the remaining data includes, for example, a reproduction data storage packet 295 that performs a reproduction process using the MPT of the deleted control information (MPT) storage packet.
  • MPT deleted control information
  • a play item having the reproduction-unnecessary data set as a reproduction section is generated and recorded in the playlist file.
  • residual data that does not need to be reproduced is not selected as a reproduction target, and a reproduction error that occurs by selecting reproduction data that does not exist in the MTP and starting the reproduction process is prevented in advance. be able to.
  • processing for discriminating MPT stored packets is required. It is possible to determine the data type in the packet by checking the recorded data in the packet header, but it takes time to check the packet header of each packet, and editing processing takes time. .
  • the BDAV format which is the format data of the media recording data, has a playback control information file in which playback control information of playback data stored in the clip AV stream file is recorded.
  • a playlist file and a clip information file are defined.
  • the clip information file is, for example, a data position of byte sequence data of a clip AV stream file, a playback time position such as a playback start point (random access point) when expanded on the time axis (entry point: EP), etc.
  • Management information for acquiring the playback start position of the data stored in the clip AV stream file such as the corresponding data of the clip AV stream file.
  • the recorded data of entry points (EP) recorded in the clip information file is called an EP map.
  • EP map The recorded data of this EP map, the playback device can immediately grasp the data position where random access playback is possible, that is, the random access point, from the clip AV stream file.
  • FIG. 38 is a diagram illustrating a data configuration (syntax) of an EP map in which an EP entry is data indicating a packet position of a control information (MPT) storage packet.
  • the EP map shown in FIG. 38 has the following fields as data recording fields. NTP time recording area (NTP_time) 301, MMT byte address recording area (MMT_byte_address) 302, Byte offset recording area (byte_offset) 303,
  • NTP_time 64-bit NTP (Network Time Protocol) time is recorded.
  • This time information corresponds to, for example, a time stamp (PTS: presentation time stamp) that represents the reproduction start position of the random access destination included in the reproduction data reproduced by applying this EP map on the time axis.
  • PTS presentation time stamp
  • the time information according to NTP (network time protocol) recorded in the EP map is acquired from control information (SI) such as MPT (MMT package table) described above with reference to FIG.
  • SI control information
  • MPT MMT package table
  • the MMT byte address recording area (MMT_byte_address) 302 is Not the address information indicating the packet position of the packet storing the reproduction target data reproduced by applying this EP map, but the control information (MPT) applied to the reproduction processing of the reproduction target data reproduced by applying this EP map. This is a recording area for address information indicating the packet position of the stored packet.
  • a playback device that plays back using an EP map with this setting Recorded on the EP map, MMT byte address recording area (MMT_byte_address) 302, Using this data, the packet position of the control information (MPT) storage packet can be immediately detected.
  • MMT_byte_address MMT byte address recording area
  • the playback device that executes the playback process refers to the EP map having the data shown in FIG. 38, thereby entering the entry point indicated by the EP map that is the arrow position for the control information (MPT) storage packets # 1, 311 shown in FIG. Can be detected immediately.
  • MPT control information
  • a byte offset recording area (byte_offset) 303 includes a packet position of a reproduction data storage packet storing reproduction data reproduced by applying this EP map, time stamp information applied to reproduction processing of the reproduction data storage packet, and the like. Offset information corresponding to the separation distance from the stored control information storage packet is recorded as byte information.
  • the distance from the reference position to the packet position of the reproduction data storage packet is recorded in the byte offset recording area (byte_offset) 303 with the packet position of the control information storage packet storing time stamp information and the like as the reference position.
  • the recording data in the byte offset recording area (byte_offset) 303 will be described with reference to FIG.
  • the EP map is set in units of individual streams such as images, audio, and subtitles.
  • the packet position of the control information storage packet 311 storing time stamp information and the like is used as a reference position, and an image (V) as reproduction data is stored from this reference position.
  • the distance (byte_offset (V)) to the packet position of the reproduced data (V) storage packet 312 is recorded.
  • the packet position of the control information storage packet 311 storing time stamp information and the like is used as a reference position, and the voice as reproduction data from this reference position.
  • the distance (byte_offset (A1)) to the packet position of the reproduction data (A1) storage packet 313 storing (A1) is recorded.
  • the packet position of the control information storage packet 311 storing the time stamp information and the like is used as a reference position, and the voice as reproduction data from this reference position.
  • the distance (byte_offset (A2)) to the packet position of the reproduction data (A2) storage packet 314 storing (A2) is recorded.
  • an EP map in which the distance (byte_offset) to the packet position of the reproduction data storage packet storing the subtitles as reproduction data is set.
  • the EP map is set in units of individual streams such as images, sounds, and captions.
  • the reproduction data storage packet not only the separation distance between the reproduction data storage packet and the control information storage packet but also whether the reproduction data storage packet is recorded in the front or rear with the recording position of the control information storage packet as a reference position. May be set to record the direction information indicating, that is, the reproduction data recording position identification flag (Plus_minus_flag).
  • the processing procedure when the playback apparatus selects a clip AV stream storing MMT format data as a playback target and performs random access playback processing using the EP map shown in FIG. 38 is as follows.
  • the playback device uses the EP map shown in FIG. NTP time recording area (NTP_time) 301, MMT byte address recording area (MMT_byte_address) 302, These data are read to detect the recording position of the control information storage packet.
  • a time stamp (PTS / DTS) is acquired from the control information storage packet, and decoding processing and playback processing are executed according to the decoding start time and playback start time specified according to the acquired time stamp (DTS / PTS).
  • the playback apparatus can execute smooth random access playback processing without delay by referring to the EP map corresponding to MMT format data shown in FIG.
  • the TLV packet sequence shown in FIG. 40 is the same packet sequence as described above with reference to FIG. 37, and is a packet sequence constituting a clip AV stream file recorded on the medium.
  • TLV packets 291 to 298 are shown.
  • a deletion scheduled section set by the user as unnecessary is set as a section AB including the packets 292 to 297.
  • a section of an EP entry that specifies an MPT recorded in the EP map is set as a deletion allowable unit.
  • the reason for allowing deletion processing in units of sections of EP entries specifying MPT is the same as described above with reference to FIG. 37, and MPT stored in a packet storing MPT as control information. This is because, in the packet subsequent to the MPT storage packet, control information regarding the playback data storage packet up to the next MPT is recorded, and control information of playback data after the next MPT is not included.
  • packets 293 and 296 are control information (MPT) storage packets.
  • MPT control information
  • playback control information such as a time stamp applied to playback of playback data stored in the subsequent packets 294 to 295 is recorded.
  • the control information (MPT) storage packet 296 records reproduction control information such as a time stamp applied to reproduction of reproduction data stored in the subsequent packets 297 to 298.
  • an EP entry 1 indicating the packet position of the control information (MPT) storage packet 293 and an EP entry 2 indicating the packet position of the control information (MPT) storage packet 296 are recorded.
  • the information processing apparatus that intends to execute the editing process immediately detects the control information (MPT) storage packet 293 and the control information (MPT) storage packet 296 in the scheduled deletion section AB by referring to the EP map. Can do.
  • An EP entry section which is a section defined by EP entry 1 and EP entry 2 shown in FIG. However, the item [6-1.
  • the editing restrictions described in (1) Editing restrictions with an encryption unit unit as an allowable deletion unit] are also applied to this processing example. That is, when this processing example is applied, the section in which deletion is allowed is (Condition 1) In units of EP entries, and (Condition 2) The unit is an encryption unit. Only sections that satisfy these two conditions can be deleted.
  • the EP entry section included in the scheduled deletion section AB is a section CD composed of packets 293, 294, and 295. Further, the encryption unit in the section CD is the section CE of the encryption unit 02 configured by the packets 293 and 294.
  • the information processing apparatus records input data according to the MMT format as BDAV format data on an information recording medium such as a BD, an HD, or a flash memory, or performs an editing process on the recorded data.
  • control information and attribute information corresponding to MMT format data are recorded and edited in a database file such as a playlist or a clip information file.
  • FIG. 41 is a diagram illustrating a configuration of an information processing apparatus 400 that executes data recording processing on an information recording medium such as a BD and editing processing of data recorded on the information recording medium.
  • the information processing apparatus 400 records a clip AV stream file and a database file such as a playlist or a clip information file on an information recording medium (recording medium) 420.
  • the data input unit 401 inputs recording to the information recording medium 420, editing target data 431, that is, recording including image data, audio data, caption data, and editing target data 431, for example, MMT format data to be edited.
  • the data input unit 401 transmits data to be recorded and edited 431, for example, a receiving unit that receives transmission data from a broadcasting station, a content server, or the like, or reads data from a medium on which the data to be recorded and edited 431 is recorded. Configured by a media reading unit or the like.
  • the editing target data read from the information recording medium on which the editing process target data is recorded is input.
  • the record / edit target data 431 input from the data input unit 401 is a clip AV stream file, a playlist file, a clip information file, or the like according to the BDAV format to be edited.
  • the clip AV stream file input from the data input unit 401 is composed of MMT format data composed of an MMTP packet sequence or a TLV packet sequence as described above with reference to FIGS.
  • a packet (MMTP packet or TLV packet) constituting a clip AV stream file includes a packet storing control information such as MPT in addition to a reproduction data storage packet such as an image, sound, and caption.
  • the recording / editing target data 431 is stored in the storage unit 404 under the control of the control unit 403.
  • the user input unit 402 inputs, for example, a request for starting data recording or data editing processing on the information recording medium 420, editing information, for example, designation information of data to be deleted.
  • the demultiplexer (DeMUX) 405 is a packet storing each data such as image, sound, subtitle, etc. from the recording / editing target data 431, and signaling information (TLV-SI, MMT-SI) storing notification information, control information, etc. ) And the like, and is classified into data type packets. Each packet is classified into a subtitle data editing unit 411, an image data editing unit 412, and an audio data editing unit 413 according to the data type. The information is input to the auxiliary information editing unit 414.
  • the recording data editing unit 406 executes generation processing of recording data, editing processing such as data deletion described above, and the like. These processes are performed in units of data types. For example, when designation information such as a deletion range designated by the user is input via the user input unit 402, an editing process according to the editing restriction according to the above-described embodiment is performed.
  • the subtitle data editing unit 411 acquires subtitle data from the record / edit target data 431 input by the data input unit 401 and stored in the storage unit 404, and performs an editing process in accordance with an edit request input from the user input unit 402 To generate stream file storage data defined in the BDAV format.
  • the image data editing unit 412 receives image data from the record / edit target data 431 input by the data input unit 401 and stored in the storage unit 404, and performs an editing process in accordance with an editing request input from the user input unit 402. To generate stream file storage data defined in the BDAV format.
  • the voice data editing unit 413 receives the voice data from the record / edit target data 431 input by the data input unit 401 and stored in the storage unit 404, and performs an editing process in accordance with an editing request input from the user input unit 402. To generate stream file storage data defined in the BDAV format.
  • the data editing process executed here is an editing process in accordance with the various editing restrictions described above. That is, this corresponds to executing the processing according to the following editing restrictions described above with reference to FIGS.
  • (2-1) Reproduction data corresponding to remaining section Processing to extend control information storage packet to encryption unit size and move to remaining section and record
  • Control information corresponding to reproduction data in the remaining section is clip AV stream Processing to copy and record to a control information file different from the file
  • Auxiliary information editing unit 414 receives signaling information (TLV-SI, MMT-SI) stored in notification information, control information, etc. from record / edit target data 431, which is input by data input unit 401 and stored in storage unit 404. And the like, and data to be stored in a playlist file, a clip information file, and a clip AV stream file as a database file defined in the BDAV format are generated. Further, the recording data of the playlist file, clip information file, and clip AV stream file is edited as necessary.
  • signaling information TLV-SI, MMT-SI
  • the multiplexer (MUX) 415 is a subtitle data editing unit 411, an image data editing unit 412, a subtitle, image, and audio data converted by the audio data editing unit 413, and an auxiliary information editing unit 414 that records and signals the editing target data 431.
  • Various information acquired from information TLV-SI, MMT-SI) and the like are input, and a stream file storing these data is generated.
  • the database file editing unit 416 is a database such as a playlist file or a clip information file that records various information recorded from the signaling information (TLV-SI, MMT-SI) recorded and edited by the auxiliary information editing unit 414. Create a file and edit as necessary.
  • the recording file 432 including the stream file data generated by the recording data editing unit 406 and the database file such as the playlist file and the clip information file is information via the drive 408 by the recording unit 407 under the control of the control unit 403.
  • the data is output to the recording medium 420 and recorded.
  • the processing according to the flow shown in FIG. 42 can be executed under the control of a data processing unit (control unit) including a CPU having a program execution function, for example, according to a program stored in the storage unit of the information processing apparatus. it can.
  • a data processing unit control unit
  • CPU central processing unit
  • program execution function for example, according to a program stored in the storage unit of the information processing apparatus.
  • Step S101 First, in step S101, the information processing apparatus 400 inputs MMT format data to be edited via the data input unit 401.
  • the editing target data includes image data, audio data, caption data, and control information such as MPT.
  • Step S102 the information processing apparatus 400 determines a scheduled deletion section from the clip AV stream file including the input MMT format data.
  • step S103 the information processing apparatus 400 determines whether or not the scheduled deletion section determined in step S102 matches the encryption unit unit.
  • step S103 it is determined whether or not the scheduled deletion section determined in step S102 satisfies the editing restriction, that is, whether or not the scheduled deletion section matches the encryption unit unit. If the scheduled deletion section matches the encryption unit unit, the process proceeds to step S106. On the other hand, if the scheduled deletion section does not match the unit of encryption unit, the process proceeds to step S104.
  • Step S104 If the scheduled deletion section does not match the encryption unit unit, it is determined in step S104 whether or not the encryption unit is included in the scheduled deletion section. When an encryption unit is included in the scheduled deletion section, the process proceeds to step S105. If no encryption unit is included in the scheduled deletion section, the process proceeds to step S111.
  • Step S105 If it is determined in step S104 that an encryption unit is included in the scheduled deletion section, the process proceeds to step S105, and in step S105, the deletion section is changed to an encryption unit included in the planned deletion section.
  • Step S111 On the other hand, if it is determined in step S104 that no encryption unit is included in the scheduled deletion section, the process proceeds to step S111. In step S111, the deletion process is stopped and the process ends.
  • Step S106 If it is determined in step S103 that the scheduled deletion section matches the encryption unit unit, Alternatively, when the process of changing the deletion section to the encryption unit included in the scheduled deletion section is performed in step S105, the process proceeds to step S106.
  • step S106 it is determined whether or not the deletion section includes control information referred to by data in the remaining section, for example, MPT. If included, the process proceeds to step S107. If not included, the process proceeds to step S108.
  • Step S107 If it is determined in step S106 that the deleted section includes control information referred to by the data in the remaining section, for example, MPT, the control information (MPT) in the deleted section is moved to the remaining section or another file in step S107. To record.
  • MPT control information
  • This process corresponds to executing one of the following processes described above with reference to FIGS. (2) Editing restrictions when control information corresponding to reproduction data in the remaining section exists in the deletion section (2-1) Control information storage packet corresponding to reproduction data in the remaining section is expanded to the encryption unit size and the remaining section (2-2) Processing to add a NULL packet to the control information storage packet corresponding to the reproduction data of the remaining section and record it by moving to the remaining section (2-3) Correspondence to the reproduction data of the remaining section (2-4) Processing for copying control information corresponding to playback data in the remaining section to a control information file different from the clip AV stream file and recording it
  • Step S108 If it is determined in step S106 that the deletion section does not include control information referred to by data of the remaining section, for example, MPT, Alternatively, in step S107, when the control information (MPT) in the deletion section is moved to the remaining section or another file and the process of recording is completed, In any of the above cases, the process proceeds to step S108. In step S108, data deletion in the deletion section is executed.
  • MPT control information
  • Step S109 When the data deletion is completed in step S108, it is verified in step S109 whether or not reproduction unnecessary data has been generated. If reproduction unnecessary data has been generated, play is performed so that the reproduction unnecessary data is not selected as reproduction designation data. Perform reconfiguration of play items in the list file. This process is the process described above with reference to FIGS.
  • control information (MPT) used for reproducing the remaining reproduction data is left in the remaining section of the clip AV stream file or another file such as a playlist file. It is possible to execute correct reproduction processing using control information (MPT).
  • playback unnecessary data that was in the scheduled deletion period but could not be deleted due to various editing restrictions would be excluded from being designated as being played back by editing the play item in step S109, and may be played back erroneously. It is possible to prevent the occurrence of reproduction error.
  • the flow shown in FIG. 42 is the process described above with reference to FIGS. (3) Editing restriction with the preceding MPT storage packet and the subsequent packet before the next MPT storage packet as the unit of deletion allowance This is a sequence in the case of performing processing not considering this editing restriction.
  • FIG. 43 shows a processing flow in the case of performing processing in consideration of this “(3) editing restriction with the preceding MPT stored packet and the subsequent packet before the next MPT stored packet as a deletion allowable unit”.
  • step S106b The difference between the flow shown in FIG. 43 and the flow shown in FIG. 42 is step S106b in the flow shown in FIG.
  • the flow shown in FIG. 43 is different in that step S106b is inserted between step S106 and step S107 of the flow shown in FIG.
  • the process of step S106b will be described.
  • Step S106b The process of step S106b is executed when it is determined in step S106 that the control information (MPT) referred to by the remaining section data exists in the remaining section.
  • MPT control information
  • step S106b it is determined whether or not the deletion section matches the MPT section.
  • the MPT section corresponds to the section CD described above with reference to FIGS. Specifically, when the first packet in the deletion section is an MPT storage packet and the packet next to the last packet in the deletion section is an MPT storage packet, it is determined that the deletion section matches the MPT section.
  • the position of the MPT stored packet can be determined by referring to the packet header information or the EP map in which the MPT position is recorded in the EP entry as described above.
  • step S106b If it is determined in step S106b that the deletion section matches the MPT section, the process proceeds to step S108, and the deletion section that matches the MPT section is deleted.
  • step S106b determines whether the deleted section does not coincide with the MPT section. If it is determined in step S106b that the deleted section does not coincide with the MPT section, the process proceeds to step S107, and processing for recording the MPT in the deleted section in the remaining section or another file is executed.
  • control information (MPT) used for reproducing the remaining reproduction data is left in the remaining section of the clip AV stream file or another file such as a playlist file. It is possible to execute correct reproduction processing using control information (MPT).
  • a CPU (Central Processing Unit) 601 functions as a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 602 or a storage unit 608. For example, processing according to the sequence described in the above-described embodiment is executed.
  • a RAM (Random Access Memory) 603 stores programs executed by the CPU 601 and data. These CPU 601, ROM 602, and RAM 603 are connected to each other by a bus 604.
  • the CPU 601 is connected to an input / output interface 605 via a bus 604, and an input unit 606 including various switches, a keyboard, a mouse, and a microphone, and an output unit 607 including a display and a speaker are connected to the input / output interface 605. Yes.
  • the CPU 601 executes various processes in response to commands input from the input unit 606 and outputs the processing results to the output unit 607, for example.
  • the storage unit 608 connected to the input / output interface 605 includes, for example, a hard disk and stores programs executed by the CPU 601 and various data.
  • the communication unit 609 functions as a data communication transmission / reception unit via a network such as the Internet or a local area network, and further as a broadcast wave transmission / reception unit, and communicates with an external device.
  • the drive 610 connected to the input / output interface 605 drives a removable medium 611 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
  • a removable medium 611 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technology disclosed in this specification can take the following configurations.
  • the data processing unit In the editing process, when there is control information used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file,
  • An information processing apparatus that performs processing for moving the control information to a remaining section or recording the control information in a separate file.
  • the control information is The information processing apparatus according to (1), which is information recorded in an MPT (MMT package table) defined in the MMT format.
  • MPT MMT package table
  • the control information is The information processing apparatus according to (1) or (2), which is control information in which a time stamp to be applied to reproduction processing of reproduction data is recorded.
  • the time stamp is The information processing apparatus according to (3), wherein the time stamp is at least one of a PTS (Presentation Timestamp) that defines reproduction time information and a DTS (Decoding Timestamp) that defines decoding time information.
  • PTS Presentation Timestamp
  • DTS Decoding Timestamp
  • the control information is The information processing apparatus according to any one of (1) to (4), which is control information in which information (GOP information) to be applied to decoding processing of reproduction data is recorded.
  • the stream file is configured by a MMTP (MMT Protocol) packet sequence or a TLV (Type Length Value) packet sequence,
  • the information processing apparatus according to any one of (1) to (5), which is a file including a reproduction data storage packet and a control information storage packet.
  • the stream file is a file including an encryption unit encrypted with an individual encryption key for each unit.
  • the data processing unit The information processing apparatus according to any one of (1) to (6), wherein data deletion processing is executed in accordance with an editing restriction in which a deletion section of the stream file is an encryption unit unit.
  • the stream file is a file composed of an encryption unit having a fixed data length encrypted with an individual encryption key in units.
  • the data processing unit When there is a control information storage packet used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file, The information processing apparatus according to any one of (1) to (7), wherein the data length of the control information storage packet is extended to the fixed data length and recorded in the remaining section as one encryption unit.
  • the control information storage packet is: A packet storing a PA message recording MPT (MMT package table) defined in the MMT format;
  • the data processing unit The information processing apparatus according to (8), wherein the data length of the control information storage packet is extended by extending the data length of the MPT or the PA message.
  • the stream file is a file composed of an encryption unit having a fixed data length encrypted with an individual encryption key in units.
  • the data processing unit When there is a control information storage packet used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file, A NULL packet is added to the control information storage packet so that the total data length of the two packets matches the fixed data length, and the control information storage packet and the NULL packet are used as one encryption unit in the remaining period.
  • the information processing apparatus according to any one of (1) to (7) for recording.
  • the stream file is a file composed of an encryption unit with a variable data length encrypted with an individual encryption key in units.
  • the data processing unit When there is a control information storage packet used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file, The information processing apparatus according to any one of (1) to (7), wherein the control information storage packet is recorded as one encryption unit in the remaining period.
  • the stream file is a clip AV stream file defined in the BDAV format or SPAV format
  • the data processing unit In the editing process, when there is control information used by playback data in the remaining section outside the deletion section in the deletion section to be deleted from the clip AV stream file, The information processing apparatus according to any one of (1) to (7), wherein the control information is recorded in a playlist file defined in a BDAV format or a SPAV format.
  • the control information is: Information recorded in MPT (MMT package table) defined in MMT format,
  • MPT MMT package table
  • the data processing unit Data deletion processing is executed in accordance with an editing restriction in which the deletion section of the stream file is an MPT section unit that is a section from the preceding MPT storage packet to the packet immediately before the subsequent MPT storage packet (1) to (12)
  • An information processing apparatus according to claim 1.
  • the data processing unit The information processing apparatus according to (13), wherein the MPT storage packet position is acquired from an EP map recorded as an EP entry, and the MPT storage packet is identified.
  • the data processing unit In the editing process, when unnecessary data remains in the stream file, The information processing apparatus according to any one of (1) to (14), wherein update processing of reproduction control information for removing the reproduction unnecessary data from reproduction designation data is executed.
  • the stream file is a clip AV stream file defined in a BDAV format or a SPAV format
  • the information processing apparatus includes: A data processing unit that executes editing processing of a stream file composed of a packet sequence storing MMT (MPEG Media Transport) format data;
  • the data processing unit is In the editing process, when there is control information used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file, An information processing method for performing a process of moving the control information to a remaining section or recording it in a separate file.
  • MMT MPEG Media Transport
  • a program for executing information processing in an information processing device includes: A data processing unit that executes editing processing of a stream file composed of a packet sequence storing MMT (MPEG Media Transport) format data;
  • the program is stored in the data processing unit.
  • a program for performing a process of moving the control information to a remaining section or recording it in a separate file when there is control information used by the reproduction data in the remaining section outside the deletion section in the deletion section to be deleted from the stream file.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • a configuration that enables editing of MMT format data that enables reliable data reproduction even after editing processing such as data deletion is realized.
  • a data processing unit that executes editing processing of a stream file composed of a packet sequence that stores MMT format data has a playback section that is in the remaining section outside the deletion section in the deletion section that is deleted from the stream file. If there is control information used by the data, the control information is moved to the remaining section or recorded in a separate file.
  • the stream file is composed of an encryption unit having a fixed data length
  • the control information storage packet is expanded to a fixed data length and recorded as one encryption unit in the remaining section.

Abstract

データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成を実現する。MMTフォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部は、ストリームファイルから削除する削除区間に、削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、制御情報を残存区間に移動、または別ファイルに記録する。例えば、ストリームファイルが、固定データ長の暗号化ユニットから構成される場合、制御情報格納パケットを、固定データ長に拡張して1つの暗号化ユニットとして残存区間に記録する。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、放送波等における今後のデータ伝送規格として規格化が進められているMMT(MPEG Media Transport)フォーマットデータのメディア記録データに対する編集処理を行う情報処理装置、および情報処理方法、並びにプログラムに関する。
 現在、4K画像や8K画像等の放送等、高画質画像のデータ伝送を実現するための規格化が進められており、その一つとして、MMT(MPEG Media Transport)フォーマットを利用したデータ配信方式についての検討が進められている。
 MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツを構成する符号化データや、制御情報や属性情報等の様々な管理情報からなる制御情報(SI:Signaling Information(シグナリング情報))等のデータを、放送波やネットワークを介して伝送するデータ転送方式(トランスポートフォーマット)を規定したものである。
 MMTフォーマットは、例えば4K画像、高ダイナミックレンジ(HDR:High Dynamic Range)画像等の次世代コンテンツの放送等に利用される予定となっている。
 なお、現行の画像(Video)、音声(Audio)、字幕(Subtitle)等の伝送フォーマット、あるいは、メディアに対するデータ記録フォーマットとしては、MPEG-2TSフォーマットが多く利用されている。
 また、このMPEG-2TSフォーマット対応の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)が広く利用されている。
 なお、BDMVやBDAVは、主にBD(Blu-ray(登録商標) Disc)を利用したデータ記録再生のアプリケーション規格であるが、これらの規格はBDに限らず、フラッシュメモリやHDなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
 BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011-023071号公報)等に記載がある。
 BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
 一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
 上述のMMTフォーマットに従った配信コンテンツを、情報記録媒体(メディア)に記録し、メディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
 現在、BDAVフォーマットを拡張し、MMTフォーマットデータを記録、再生可能とするための構成について議論が進められている。
 例えば、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに記録する場合、画像、音声、字幕データや、制御情報(SI)等のデータを、MMTフォーマットに従ったデータを格納したパケットのパケット列としてメディアに記録する方向で議論が進んでいる。
 具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列をメディアに記録する方向で議論が進んでいる。
 MMTPパケットやTLVパケットには、再生データである画像、音声、字幕、さらに、様々な管理情報からなる制御情報(SI:Signaling Information)等が格納されている。
 例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHDD(ハードディスク)等の記録メディアに、画像、音声、字幕等のコンテンツを格納したMMTPパケットやTLVパケットを記録し、メディアからのコンテンツ再生を上述のBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
 BDAVフォーマットは、再生制御情報ファイルとして、プレイリストファイルやクリップ情報ファイル等のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)を参照してデータ再生処理を実行する。
 従って、MMTフォーマットデータについても、これらのプレイリストファイルやクリップ情報ファイルに記録された再生制御情報を利用して再生処理を行うことが必要となる。
 一方、放送局から受信するMMTフォーマットデータである画像や音声等のデータや、制御情報(SI)は、MMTPパケット、およびTLVパケットに格納されており、これらのパケット列は、BDAVフォーマットにおいて規定されるクリップAVストリームファイルとして、メディアに記録されることになる。
 メディアに記録されたMMTフォーマットから構成されるBDAVストリームファイルに対しては、様々な編集処理が行われる可能性がある。
 例えば番組コンテンツ中のCM部分を削除するような編集処理や、ユーザのお気に入り部分のコンテンツのみを残し、他の部分を削除するといった様々な編集処理が行われる可能性がある。
 しかし、上述したように、クリップAVストリームファイルを構成するパケット(MMTPパケット、またはTLVパケット)には、画像や音声等の再生データのみならず、制御情報(SI)も格納されている。
 制御情報には、例えば、画像や音声データの再生処理に適用するタイムスタンプ等の情報が含まれる。
 画像や音声等の再生データの格納パケットと、制御情報の格納パケットは異なるパケットである。従って、画像データの格納パケットのメディア上の記録位置と、その画像データ再生用のタイムスタンプ等の制御情報の格納パケットの記録位置は離間した位置となる。
 このようなメディア記録データに対して、例えば、クリップAVストリームファイルから選択したユーザのお気に入り部分の画像格納パケットを残存させ、その他のパケットを消去するといった編集処理が行われる可能性がある。
 このようなデータ編集処理が行われると、残存画像の再生に必要なタイムスタンプ等の制御情報の格納パケットが削除され、結果として残存画像の再生ができなくなるといった事態が発生する可能性がある。
特開2011-023071号公報
 本開示は、例えば、上記の問題点に鑑みてなされたものであり、MMTフォーマットデータのメディア記録データに対する編集処理を行う場合に、残存データを確実に再生可能とする編集処理を実現する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
 前記データ処理部は、
 編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
 前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置にある。
 さらに、本開示の第2の側面は、
 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
 前記データ処理部が、
 編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
 前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法にある。
 さらに、本開示の第3の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
 前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
 具体的には、例えば、MMTフォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部は、ストリームファイルから削除する削除区間に、削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、制御情報を残存区間に移動、または別ファイルに記録する。例えば、ストリームファイルが、固定データ長の暗号化ユニットから構成される場合、制御情報格納パケットを、固定データ長に拡張して1つの暗号化ユニットとして残存区間に記録する。
 本構成により、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理を実行する情報処理装置の利用構成例について説明する図である。 MMTフォーマットについて説明する図である。 MMTフォーマットに従った画像データ格納構成例について説明する図である。 BDAVフォーマットについて説明する図である。 BDAVフォーマットに従ったデータ再生処理例について説明する図である。 MPEG-2TSフォーマットについて説明する図である。 MMTフォーマットについて説明する図である。 SPAVフォーマットについて説明する図である。 放送局等からの受信データをMMTフォーマットデータであるMMTPパケット列として、情報記録媒体(メディア)に記録する処理例について説明する図である。 放送局等からの受信データをMMTフォーマットデータであるMMTPパケットを格納したTLVパケット列として、情報記録媒体(メディア)に記録する処理例について説明する図である。 MMTフォーマットデータを、BDAVフォーマットデータとして記録する場合の処理例について説明する図である。 データ編集処理の一例について説明する図である。 データ編集処理における問題点について説明する図である。 MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。 MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例について説明する図である。 MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す図である。 データ編集処理における問題点について説明する図である。 暗号化ユニットの設定例について説明する図である。 コピー制御情報を記録したTLVパケット追加ヘッダをTLVパケットに追加して情報記録媒体(メディア)に記録する場合の暗号化処理について説明する図である。 メディアに記録するパケット列と追加ヘッダの設定例について説明する図である。 データ編集処理において許容されるデータ削除区間の設定例について説明する図である。 データ編集処理において許容されないデータ削除区間の設定例について説明する図である。 データ編集処理における問題点について説明する図である。 データ削除区間にある制御情報に対する処理の一例について説明する図である。 TLVパケットヘッダのデータ構成について説明する図である。 PAメッセージのデータ構成について説明する図である。 PAメッセージのデータサイズの変更処理について説明する図である。 MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。 MMTパッケージテーブル(MPT)のデータサイズの変更処理について説明する図である。 データ削除区間にある制御情報に対する処理の一例について説明する図である。 MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す図である。 データ削除区間にある制御情報に対する処理の一例について説明する図である。 再生不要データが発生した場合のプレイアイテムの設定変更例について説明する図である。 編集処理において、再生不要データが発生する場合の例について説明する図である。 再生不要データが発生した場合のプレイアイテムの設定変更例について説明する図である。 データ削除区間にある制御情報に対する処理の一例について説明する図である。 データ削除区間にある制御情報に対する処理の一例について説明する図である。 MPT格納パケットの位置を示すEPエントリを記録したEPマップの例について説明する図である。 MPT格納パケットの位置を示すEPエントリを記録したEPマップの記録データの詳細について説明する図である。 MPT格納パケットの位置を示すEPエントリを記録したEPマップを用いて削除許容区間を識別する例について説明する図である。 情報記録媒体(メディア)に対するデータ記録処理を実行する情報処理装置の構成例についてを説明する図である。 データ編集処理の処理シーケンスを説明するフローチャートを示す図である。 データ編集処理の処理シーケンスを説明するフローチャートを示す図である。 本開示の処理に適用される報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.通信システムの構成例について
 2.MMT(MPEG Media Transport)フォーマットについて
 3.BDAVフォーマットとSPAVフォーマットについて
 4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について
 5.メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について
 6.メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について
 6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限
 6-2.(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
 6-2-1.(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
 6-2-2.(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
 6-2-3.(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
 6-2-4.(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
 6-3.(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
 7.情報記録媒体に対するデータ記録や、編集処理を実行する情報処理装置の構成と処理について
 8.情報処理装置の構成例について
 9.本開示の構成のまとめ
  [1.通信システムの構成例について]
 まず、図1を参照して本開示の処理を実行する情報処理装置の一つの利用構成例である通信システムの例について説明する。
 図1に示す情報処理装置30は、BD(Blu-ray(登録商標) Disc)や、フラッシュメモリ、ハードディスク(HDD)などのメディアを装着し、これらの装着メディアに対するデータ記録処理や、装着メディアからのデータ再生処理、さらに、他メディアに対するデータコピー処理等を実行する。
 情報処理装置30がメディアに記録するデータは、例えば放送局(放送サーバ)21や、データ配信サーバ22等の送信装置20の提供する送信コンテンツである。具体的には、テレビ局の提供する放送番組等である。
 これらの送信コンテンツは、放送波、あるいはインターネット等のネットワークを介して送信装置20から情報処理装置30に送信される。
 情報処理装置30は、例えば記録再生装置31、テレビ32、PC33、携帯端末34等である、これらの情報処理装置は、例えば、BD(Blu-ray(登録商標) Disc)41、HDD(ハードディスク)42、フラッシュメモリ43等の様々なメディアを装着し、これらのメディアに対するデータ記録処理や、メディア記録データの編集処理、メディアからのデータ再生処理、さらに、メディア間のデータコピー処理等を実行する。
 送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
 MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランンスポートフォーマット)を規定したものである。
 送信装置20は、コンテンツデータを符号化し、符号化データおよび符号化データのメタデータを含むデータファイルを生成し、生成した符号化データをMMTにおいて規定されるMMTP(MMT Protocol)パケットに格納して放送波、またはネットワークを介して送信する。
 送信装置20が情報処理装置30に提供するデータは、画像、音声、字幕等の再生対象データの他、番組ガイド等の案内情報や通知情報、制御メッセージ等の様々な管理情報によって構成される制御情報(SI:Signaling Information(シグナリング情報))によって構成される。
  [2.MMT(MPEG Media Transport)フォーマットについて]
 上述したように、送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
 図2以下を参照して、MMT(MPEG Media Transport)フォーマットについて説明する。
 図2は、MMTフォーマットのスタック・モデルを示す図である。
 図2に示すMMTスタック・モデルにおいて、最下層には、物理レイヤ(PHY)がある。物理レイヤは、放送系の処理を行なうブロードキャスト(Broadcasting)レイヤと、ネットワーク系の処理を行なうブロードバンド(Broadband)レイヤに分割されている。
 MMTは放送系、ネットワーク系の2つの通信網を利用した処理を可能としている。
 物理レイヤ(PHY)の上位レイヤとして、TLV(Type Length Value)レイヤがある。TLVはIPパケットの多重化方式を規定したフォーマット規定レイヤである。複数のIPパケットが多重化されてTLVパケットとして送信される。TLV-SIは、TLVフォーマットに従った制御メッセージ等の制御情報(SI)の伝送レイヤである。
 制御情報(SI)は、情報処理装置30側においてコンテンツ(番組)を受信、再生するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報、管理情報によって構成される。
 TLVレイヤで処理が生成されるTLVパケットに格納される制御情報(SI)がTLV-SIであり、主に受信処理に関する制御情報によって構成されている。
 MMTプロトコル(MMTP)に従って生成されるパケットであるMMTPパケットに格納される制御情報(SI)は最上位レイヤに示すMMT-SIであり、主に再生制御に関する制御情報によって構成されている。
 TLVレイヤ上には、UDP/IPレイヤが設定される。
 UDP/IPレイヤは、詳細にはIPレイヤとUDPレイヤに分割可能であるが、IPパケットのペイロードにUDPパケットを格納する伝送を規定するレイヤである。
 UDP/IPレイヤ上にMMTレイヤ、およびFile delivery methodレイヤ が設定される。
 MMTPパケットをIPパケットに格納して送信する場合と、MMTPパケットを用いないデータ伝送方式であるFile delivery methodを利用してIPパケットとしてデータ送信する方式が併用可能な設定となっている。
 MMTレイヤ上には、以下のレイヤが設定される。
 画像符号化規格であるHEVC(High Efficiency Video Coding)に従った符号化画像データである画像(Video)データ、
 音声符号化規格であるAAC(Advanced Audio Coding)に従った符号化音声データである音声(Audio)データ、
 字幕符号化規格であるTTML(Timed Text Markup Language)に従った符号化字幕データである字幕(Subtitle)データ、
 MMTPパケットを利用して送信される制御情報(MMT-SI)、
 さらに、HTML5(Hyper Text Markup Language 5)に従って記述された様々なアプリケーション、
 これらの各データがMMTPパケットに格納されて送信される。
 制御情報(MMT-SI)は、MMTPパケットで送信される制御情報(シグナリング情報)であり、情報処理装置30側においてコンテンツ(番組)を再生するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報等の様々な管理情報によって構成される。
 なお、時刻情報(NTP:Network Time Protocol)は絶対時刻情報であり、UDPパケットに直接格納され送信される。
 その他のデータ配信を行うデータサービス(Data service)、コンテンツダウンロード等(Contentdownload,etc.)がMMTと異なるファイル配信メソッド(File delivery method)を利用して配信可能な構成を有している。
 図2に示すように、画像、音声、字幕、さらに、様々な通知情報や制御情報等の様々な管理情報からなる制御情報(MMT-SI)やアプリケーションは、MMTPパケットによって送信される。
 図3を参照してMMTPパケットの具体的構成例について説明する。
 図3には以下の4種類のデータ構成例を示している。
 (a)MPU(Media Presentation Unit)
 (b)MMTPペイロート
 (c)MMTPパケット
 (d)TLVパケット
 (d)TLVパケットが放送波やネットワークを介して送信されるパケットであり、TLVパケットには、UDPヘッダ、IPヘッダ、TLVヘッダの各ヘッダ情報が設定される。TLVパケットは、データ種類ごとに個別のパケットとして設定される。
 すなわち、1つのTLVパケットのTLVペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、あるいは、様々な管理情報からなる制御情報(SI)が個別に格納される。
 なお、制御情報(SI)については、MMTPパケットに格納する制御情報(MMT-SI)と、TLVパケットで送信される制御情報(TLV-SI)があり、それぞれ異なる個別のTLVパケットに格納される。
 TLVパケットのペイロードであるTLVペイロートの一例が、図3(c)に示すMMTPパケットである。
 図3(c)に示すMMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。
 1つのMMTPパケットのMMTPペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、さらにMMTPパケットに格納する制御情報(MMT-SI)、これらのいずれか一種類のデータが、個別のMMTPパケットに格納される。
 図3(a),(b)は、図3(c)に示すMMTPパケットのMMTPペイロードに格納される画像データの詳細構成を示している。
 図3(b)は、図3(c)に示すMMTPパケット中、MMTPペイロードが画像データ(V)であるもののみを選択して示している。
 図3(b)に示すMMTPペイロードは、ヘッダとデータユニットによって構成される。
 データユニットには、図3(a)に示すように、画像データおよび、以下の各種のパラメータが格納される。
 AU Delimiter(Access Unit Delimiter)
 SPS(Sequence Parameter Set)
 PPS(Picture Parameter Set)
 SEIs(Supplemental Enhancement Information)
 これらのパラメータは、画像表示に利用されるパラメータである。
 図3(a)に示すMPU(Media Presentation Unit)は、MMTフォーマットにおける画像、音声、字幕等の再生対象データの1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
 このように、例えば画像データは、図3(a)に示すように、MMTフォーマットにおいて規定されたパラメータと画像構成データに分割され、図3(b)に示すMMTPペイロードに格納され、図3(c)に示すMMTPパケットとして構成される。
 さらに、MMTPパケットは、図3(d)に示すTLVパケットのペイロードとして設定されて、TLVパケットが放送波やネットワークを介して送信される。
 なお、音声、字幕等の各データ、MMT-SIの各データについても、それぞれデータ種類単位のMMTPパケット、TLVパケットが設定されて送信される。
 TLV-SIは、MMTPパケットに格納されることなくTLVパケットに格納されて送信される。
  [3.BDAVフォーマットとSPAVフォーマットについて]
 次に、上述のMMTフォーマットに従った配信コンテンツを例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリ、あるいはHDD(ハードディスク)等のメディアに記録して再生する場合の記録データフォーマットであるBDAVフォーマットとSPAVフォーマットについて図4以下を参照して説明する。
 例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHDD等のメディアから、画像、音声、字幕等のコンテンツを再生する場合には、これらのコンテンツの再生処理を行なうための再生制御情報やインデックス情報が必要となる。再生制御情報やインデックス情報は一般的にデータベースファイルと呼ばれる。
 これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
 前述したように、現行の記録再生アプリケーション規格(=データ記録フォーマット)としてBDMVやBDAV規格(データ記録フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu-ray(登録商標) Disc)を利用したデータ記録再生アプリケーション規格として策定されたものである。
 なお、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格であり、データ記録フォーマット(規格)であるが、これらの規格はBDに限らず、フラッシュメモリなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
 BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
 一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
 上述のMMTフォーマットに従った配信コンテンツを記録したメディアからのコンテンツ再生処理を、BDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
 前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等を規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
 図4は、情報記録媒体(メディア)40にBDAVフォーマットに従って記録されたデータのディレクトリ構成例を示す図である。
 ディレクトリには、図4に示すように様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
 管理情報ファイルは、例えば、図4に示すインフォファイル(info)、メニューファイル(menu)、マークファイル(mark)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
 また、再生制御情報ファイルとして、
 プレイリストファイル(playlist)、
 クリップ情報ファイル(clipinf)
 例えば、これらのファイルが記録される。
 さらに、再生データ格納ファイルとして、クリップAVストリームファイル(stream)が記録される。
 プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
 クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
 クリップAVストリームファイルは、再生対象となるAVストリームデータや管理情報を格納したファイルである。クリップAVストリームファイルは、再生対象となる画像、音声、字幕等の各データや、管理情報を格納したパケットによって構成される。
 なお、MPEG-2TSフォーマットにおいて規定され、クリップAVストリームファイルに記録される管理情報として、例えば、PSI/SI(Program Specific Information/Service Information)がある。
 なお、従来の放送データや、ネットワーク配信データは、TS(Transport Stream)パケットによって構成されたMPEG-2TSフォーマットデータであるが、今後の4K,8K画像等の高精細画像等を含むデータは前述したMMTPパケットによって構成されるMMTフォーマットデータとなることが予想される。
 図4にはクリップAVストリームファイル(stream)として、
 TSパケットによって構成されたMPEG-2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
 MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
 これらの2種類のストリームファイルを示している。
 図4に示すディレクトリ例は、情報処理装置30が受信したデータがMPEG-2TSフォーマットデータである場合は、そのまま、MPEG-2TSフォーマットデータとしてメディアに記録し、受信データがMMTフォーマットデータである場合は、MMTフォーマットデータとしてメディアに記録する設定の場合のディレクトリ例である。
 なお、MMTフォーマットデータをメディアに記録する場合のクリップAVストリームファイルは、MMTフォーマットに従ったデータを格納したパケットのパケット列として記録する方向で議論が進んでいる。
 具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
 この具体例については後段で詳細に説明する。
 管理情報ファイル、プレイリストファイル、クリップ情報ファイル、これらのデータファイルは、クリップAVストリームファイルに格納された再生データである画像、音声、字幕等の再生処理に適用する管理情報の格納ファイルである。これらは、再生制御情報や、再生データの属性情報等を格納したファイルであり、データベースファイルと呼ばれる。
 情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
 (a)まず、再生アプリケーションによって管理情報ファイルから特定のプレイリストを指定する。
 (b)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
 図5は、情報記録媒体(メディア)40に記録される以下のデータ、すなわち、
 プレイリストファイル、
 クリップ情報ファイル、
 クリップAVストリームファイル、
 これらのデータの対応関係を説明する図である。
 実際の再生対象データである画像、音声、字幕等の再生対象データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
 これら複数のカテゴリのファイルは、図5に示すように、
 プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
 クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
 これらの2つのレイヤに区分できる。
 なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)、あるいはクリップファイルと呼ぶ。
 クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
 なお、クリップAVストリーム(Clip AV Stream)ファイルは、MPEG-2TSフォーマットデータである場合はTSパケットによって構成される。
 また、MMTフォーマットデータである場合はMMTPパケットによって構成される。
 クリップ情報(Clip Information)ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントであるエントリポイント(EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
 プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
 例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
 クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
 このように、プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
 プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
 なお、再生対象データを格納したクリップAVストリーム(Clip AV Stream)ファイルは、前述したように、従来型のMPEG-2TSフォーマットデータである場合はTSパケットによって構成される。
 また、今後、利用が拡大されると予想される4K,8K画像等の高精細画像データの場合は、MMTフォーマットデータである場合はMMTPパケットによって構成される。
 図6、図7を参照して、MMTフォーマットと、MPEG-2TSフォーマットについて説明する。
 まず、図6を参照して、MPEG-2TSフォーマットについて説明する。
 MPEG-2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データや管理情報(PSI/SI)を記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
 MPEG-2TSフォーマットは、ISO13818-1において標準化されたフォーマットであり、例えばBD(Blu-ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
 図6(a)~(c)はMPEG-2TSフォーマットデータの構成を示す図である。
 最下段に示す図6(a)は、MPEG-2TSのフォーマットデータの全体構成を示す図である。
 図6(a)に示すように、MPEG-2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
 エレメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
 1つのエレメンタリストリーム(Elementary stream)は、図2(b)に示すように、1つまたは複数のPES(Packetized Elementary stream)パケットによって構成される。
 具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
 1つのPESパケットは、図6(c)に示すように、1つまたは複数のTSパケットによって構成される。
 具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
 TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
 次に、図7を参照してMMT(MPEG Media Transport)フォーマットについて説明する。
 MMTフォーマットについては、先に図3を参照しているが、図7に示すMMTフォーマットの説明図は、図6を参照して説明したMPEG-2TSフォーマットとの対応関係を分かり易く説明した図である。
 先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
 図7は、ISO/IEC 23008-1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
 図7(a)~(c)にはMMTフォーマットデータの構成を示している。
 最下段に示す図7(a)は、MMTフォーマットデータの全体構成を示す図である。
 図7(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
 MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
 1つのMPUは、図7(b)に示すように、1つまたは複数のメディアフラグメントユニット(MFU:Media Fragment unit)によって構成される。
 具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
 1つのMFUは、図7(c)に示すように、1つまたは複数のMMTPパケットによって構成される。
 具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTPパケットの1つ、または複数から構成される。
 MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
 MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTPヘッダ)と、符号化画像の実データ等を格納するペイロード(MMTPペイロード)により、構成される。
 なお、BDAVフォーマットに類似するフォーマットとしてSPAVフォーマットがある。前述したように、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格である。これに対して、SPAVフォーマットは、主にハードディスクに対するデータ記録再生のアプリケーション規格である。
 ただし、BDAVフォーマット、SPAVフォーマットのいずれも、BD,フラッシュメモリ、HDD等、様々なメディアを利用した記録再生に利用可能なフォーマットである。
 SPAVフォーマットデータは、BDAVフォーマットにおけるデータ記録再生処理と同様の処理でデータ記録再生を実行することが可能である。ただし、SPAVフォーマットは、ファイル名設定が、BDAVフォーマットと一部、異なっている。
 図8にSPAVフォーマットのディレクトリ構成例を示す。
 図8に示すSPAVフォーマットのディレクトリには、先に図4を参照して説明したBDAVフォーマットと同様、様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
 管理情報ファイルは、例えば、図8に示すインフォファイル(INFO)、メニューファイル(MENU)、マークファイル(MARK)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
 また、再生制御情報ファイルとして、
 プレイリストファイル(PLAYLIST)、
 クリップ情報ファイル(CLIPINF)
 例えば、これらのファイルが記録される。
 さらに、再生データ格納ファイルとして、クリップAVストリームファイル(STREAM)が記録される。
 図8に示すようにSPAVフォーマットのディレクトリ名や各ファイルの拡張子の設定が、図4を参照して説明したBDAVフォーマットと異なっている。
 ただし、各ファイルに格納されるデータや、各ファイルの役割は、BDAVフォーマットと同様である。
 以下の実施例の説明では、MMTフォーマットデータをBDAVフォーマットデータとして記録し、再生する処理例について説明するが、以下に説明する実施例は、MMTフォーマットデータをSPAVフォーマットデータとして記録し、再生する処理にも適用可能である。
  [4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について]
 次に、MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について説明する。
 先に説明したように、MMTフォーマットは、今後、放送局等によって配信が予定される4K画像等に利用されるデータ配信フォーマットであり、図3を参照して説明したプロトコルスタックに従ったフォーマットである。
 一方、BDAVフォーマットはメディアに対するデータ記録フォーマットであり、図4を参照して説明したようにプレイリストファイルやクリップ情報ファイル等の再生制御情報ファイルを含むデータベースファイルが規定されている。
 なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータ再生は、BDAVフォーマット対応の再生アプリケーションを利用して再生処理が実行される。
 従って、MMTフォーマットに従った配信コンテンツをメディアに記録し、記録したメディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、BDAVフォーマットに従ったデータ記録を行うことが必要である。
 前述したように、現在、BDAVフォーマットを拡張し、MMTフォーマットデータを記録、再生可能とするための規定について議論が進められている。
 例えば、放送局等が送信するMMTフォーマットに従った配信データを録画機等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHDD(ハードディスク)等のメディアに記録する処理を行う場合、画像、音声、字幕データや管理情報(SI)等のデータについては、MMTフォーマットに従ったデータを格納したパケットのパケット列としてそのまま記録する方向で議論が進んでいる。
 すなわち、図4に示すBDAVフォーマット、あるいは図8に示すSPAVフォーマットに設定されるクリップAVストリームファイル[02001.mmtv等]に、MMTフォーマットに従ったデータを格納したパケットのパケット列を記録する。
 なお、MMTフォーマットデータを格納したクリップAVストリームファイル[02001.mmtv等]に対応する再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイルについては、MMTフォーマットデータ対応の制御情報を設定したプレイリストファイルやクリップ情報ファイルを記録装置が生成してメディアに記録することになる。
 MMTフォーマットデータを格納したクリップAVストリームファイルは、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
 MMTフォーマットデータを格納したクリップAVストリームファイルの具体的な記録構成例について図9、図10を参照して説明する。
 図9は、BDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに、MMTフォーマットに従ったMMTP(MMT Protocol)パケット列を記録する処理例を説明する図である。
 図9には、以下の3つのデータを示している。
 (A)放送配信データであるTLVパケット列
 (B)受信再生データとして処理される1つのTLVパケット
 (C)メディア記録用データの構成として提案されているMMTPパケット列
 (A)放送配信データであるTLVパケット列は、先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットの列(シーケンス)である。
 このTLVパケット列が、放送局等の送信装置20から送信される。
 (B)受信再生データとして処理される1つのTLVパケットは、テレビや録画機等の情報処理装置30が受信し、再生処理を行う1つのTLVパケットである。(A)に示すTLVパケット列を構成する1つのTLVパケットの詳細構成を示している。
 先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットである。
 (C)メディア記録用データの構成として示すMMTPパケット列は、現在、メディアに対する記録データとして提案されているMMTPパケット列である。
 メディアに記録されるMMTPパケットは、図9(B)との対応関係を示す点線から理解されるように、TLVパケットの一部の構成データであるMMTPパケットであり、以下の要素から構成される。
 (a)MMTPパケットヘッダ(MMTP_packet_header)
 (b)MMTPパケットデータ(MMTP_packet_data)(=ペイロード)
 なお、MMTPパケットデータ(MMTP_packet_data)(=ペイロード)は以下の要素によって構成される。
 (b1)MMTPペイロードヘッダ(MMTP_payload_header)
 (b2)MMTPペイロードデータ(MMTP_payload_data)
 現在、情報記録媒体(メディア)に対する記録データとして提案されている一つの構成が、この図9(C)に示すような、TLVパケットの構成要素であるMMTPパケットのみを取り出して、一列に並べて記録する構成である。
 図10は、BDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに、MMTP(MMT Protocol)パケットではなく、MMTPパケットを格納した上位のTLVパケットのパケット列を記録する処理例を説明する図である。
 図10には、図9と同様、以下の3つのデータを示している。
 (A)放送配信データであるTLVパケット列
 (B)受信再生データとして処理される1つのTLVパケット
 (C)メディア記録用データの構成として提案されているTLVパケット列
 (A),(B)は、図9を参照して説明したと同様のデータである。
 (C)メディア記録用データの構成として示すTLVパケット列は、現在、メディアに対する記録データとして提案されているもう1つの例であるTLVパケット列である。
 メディアに記録されるTLVパケットは、図10(B)との対応関係を示す点線から理解されるように、MMTPパケットを含むTLVパケットであり、以下の要素から構成される。
 (a)TLVパケットヘッダ(TLV_header)
 (b)TLVパケットデータ(TLV_data)(=ペイロード)
 このように、BD等のメディアに対するMMTフォーマットデータの記録態様として、
 図9を参照して説明したMMTP(MMT Protocol)パケットのパケット列、あるいは、
 図10を参照して説明したTLV(Type Length Value)パケットのパケット列、
 これらいずれかのパケット列として記録することが想定される。
 図9、または図10に示すような設定でMMTフォーマットデータをメディアに記録して、MMTフォーマットデータの再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行う場合、BDAVフォーマット対応の再生制御情報ファイル、すなわち、プレイリストファイルやクリップ情報ファイルを利用して再生を行うことになる。
 なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータの再生は、BDAVフォーマット対応の再生アプリケーションを利用して実行される。
 BDAVフォーマットは、再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイル等のBDAVフォーマット固有のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
 前述したように、BDAVフォーマット規定のプレイリストファイルやクリップ情報ファイル等のデータベースファイルは、もともと、MPEG-2TSフォーマットの配信データに基づいて生成可能なファイルとして規定されたものである。
 従って、MPEG-2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
 MMTフォーマットデータをメディアに記録し、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うことを可能とするためには、メディアに対するMMTフォーマットデータの記録処理に際して、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
 また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
 具体的には、図11に示すように、MMTフォーマットデータ格納クリップAVストリームファイル51対応のクリップ情報ファイル(nnnnn.clpi)52と、プレイリストファイル(nnnnn.rpls)53を生成して、メディア(BD,フラッシュメモリ,HDD等)に記録して再生に利用する処理が必要となる。
 メディアに記録されたMMTフォーマットデータ格納クリップAVストリームファイル51を再生する場合には、このMMTフォーマットデータ格納クリップAVストリームファイル51対応のクリップ情報ファイル(nnnnn.clpi)52と、プレイリストファイル(nnnnn.rpls)53を利用して再生処理を行うことができる。
 しかし、前述したように、放送局の配信データであるMMTフォーマットに従って配信されるデータは、BDAVフォーマットで規定するプレイリストファイルやクリップ情報ファイルの記録用データを全て含むようには構成されていない。
 また、MMTフォーマットデータ格納クリップAVストリームファイル51は、MPEG-2TSフォーマットデータとは異なるデータ形式となり、MPEG-2TSフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルと同一形式のデータを持つプレイリストファイルやクリップ情報ファイルを利用しても、正しい再生処理は実行できないという問題がある。
 従って、このMMTフォーマットデータをメディアに記録して、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うためには、MMTフォーマットデータ格納クリップAVストリームファイル51の再生制御を行うことができるMMTフォーマットデータ固有のデータ形式を持つプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
  [5.メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について]
 次に、メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について説明する。
 例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHDD(ハードディスク)等の記録メディアに、画像、音声、字幕等のコンテンツを格納したMMTPパケットやTLVパケットを記録した場合、ユーザは、さらにそのメディア記録データに対する編集処理を行う場合がある。
 例えば番組コンテンツ中のCM部分を削除するような編集処理や、ユーザのお気に入り部分のコンテンツのみを残し、他の部分を削除するといった様々な編集処理が行われる可能性がある。
 編集対象となる画像、音声、字幕等の再生データは、クリップAVストリームファイルに格納されている。
 しかし、クリップAVストリームファイルを構成するパケット(MMTPパケット、またはTLVパケット)には、画像や音声等の再生データのみならず、制御情報(SI)も格納されている。
 制御情報には、例えば、画像や音声データの再生処理に適用するタイムスタンプ等の情報も含まれる。
 具体的には、例えば再生時間情報を規定したPTS(Presentation Timestamp)や、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプである。
 すなわち、クリップAVストリームファイルには、画像、音声、字幕等の再生データとともに、これらの再生処理に適用する制御情報が混在して格納されている。
 画像や音声等の再生データの格納パケットと、制御情報の格納パケットは異なるパケットである。従って、画像データの格納パケットのメディア上の記録位置と、その画像データ再生用のタイムスタンプ等の制御情報の格納パケットの記録位置は、多くの場合、離間した位置にある。
 このようなメディア記録データに対して、例えば、ユーザのお気に入り部分の画像格納パケットを残存させ、その他のパケットを消去するといった編集処理が行われる可能性がある。
 このようなデータ編集処理が行われると、必要な画像を残しても、その画像再生に必要なタイムスタンプ等の制御情報が消去される場合がある。このような場合、残存させた画像の再生が実行できなくなるといった問題が発生する。
 図12を参照して、BD等のメディアに記録されたデータの編集処理例について説明する。
 図12には、BD等のメディアに記録されたクリップAVストリームファイルの一部を構成するパケット列の一例を示している。
 なお、図に示す例は、メディアに記録されたクリップAVストリームファイルが、TLVパケット列によって構成されている例である。
 先に図9、図10を参照して説明したように、メディアに対する記録データは、
 MMTPパケット列、または、
 TLVパケット列、
 これらいずれかの設定とすることが想定されている。
 以下の実施例では、一例として、クリップAVストリームファイルが、TLVパケット列によって構成されている場合の例について説明するが、以下に説明する実施例は、メディア記録データがMMTPパケットである場合も適用可能である。
 すなわち、以下の実施例の説明における「TLVパケット」を「MMTPパケット」に置き換えることが可能である。
 図12に示す例は、BD等のメディアに記録されたMMTフォーマットデータから構成されるTLVパケット列に対するデータ編集処理の一例である。
 ユーザは、図12に示す削除区間ABを削除する編集を行うものとする。
 ここで、残存区間にある画像等の再生データの再生処理に必要となるタイムスタンプ等の制御情報が削除区間AB内に存在する場合がある。
 具体的には、例えば再生時間情報を規定したPTS(Presentation Timestamp)や、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプである。
 この場合、削除区間ABを削除してしまうと、削除区間AB以外の残存区間にある画像等の再生データの再生処理が不可能になる。
 具体例について、図13を参照して説明する
 図13は、図12と同様、BD等のメディアに記録されたMMTフォーマットデータから構成されるTLVパケット列に対するデータ編集処理の一例である。
 ユーザは、図13に示す削除区間ABを削除する編集を行うものとする。
 ここで、残存区間には、画像等の再生データを格納した再生データ格納パケット101がある。
 この再生データ格納パケット101に格納された画像データの再生処理に適用するためのタイムスタンプを記録した制御情報を格納した制御情報格納パケット102が削除区間AB内に存在する。
 この場合、削除区間ABを削除してしまうと、残存区間にある再生データ格納パケット101に格納された画像等の再生データの再生タイミング情報、すなわちタイムスタンプを、制御情報格納パケット102から取得することができない。
 この結果、再生データ格納パケット101に格納された画像等の再生処理が不可能となる。
 なお、制御情報格納パケット102に格納されるタイムスタンプを記録した制御情報は、具体的には、例えばMMTフォーマットにおいて規定されるMMTパッケージテーブル(MPT)に記録されている。
 先に図2他を参照して説明したように、MMTフォーマットデータには、情報処理装置30側においてコンテンツ(番組)を受信、再生するために必要となる制御情報や、番組ガイド等の案内情報や通知情報、管理情報等によって構成される制御情報(シグナリング情報)が含まれる。
 MMTフォーマットで規定された制御情報(シグナリング情報)には、MMTPパケットで送信されるシグナリング情報(MMT-SI)と、TLVパケットで送信されるシグナリング情報(TLV-SI)がある。
 MMTPパケットで送信されるシグナリング情報(MMT-SI)の一つにMMTパッケージテーブル(MPT:MMT Package Table)がある。MMTパッケージテーブル(MPT)は、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
 MMTパッケージテーブル(MPT)には、再生時間情報を規定したPTS(Presentation Timestamp)、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプが記録されている。
 なお、MMTパッケージテーブル(MPT:MMT Package Table)は、パケットID=0x0000のMMTPパケットに格納されており、情報処理装置は、パケットヘッダに記録されたパケットIDに基づいてMMTパッケージテーブル(MPT)の格納パケットを判別することができる。
 なお、再生データ格納パケットと、その再生データの再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケットとの送信間隔についてはMMTフォーマット上の規定があり、放送局等の送信装置からの各パケットの送信間隔は2700ms~500msの範囲とするように規定されている。
 なお、制御情報(MPT)格納パケットについては、受信エラー等の対策として、再生データ格納パケットの後に再送することも許容されている。
 放送局等の送信装置から受信されるパケット列を受信して、BD等のメディアに記録する記録装置は、受信パケット列を順次、メディアに記録することになる。
 この結果として、図13に示すようなパケット列がメディアに記録される。
 データの再生処理に適用するためのタイムスタンプを記録した制御情報であるMMTパッケージテーブル(MPT:MMT Package Table)の構成について図14を参照して説明する。
 図14は、MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。
 図14には、MMTパッケージテーブル(MPT)のデータ構造(Syntax)、ビット数(No. of bits)、データ表記(Mnemonic)を示している。
 なお、データ表記中の「uimsbf」は「符号無し整数、最上位ビットが先頭」(unsigned integer most significant bit first)表記を意味する。
 「bslbf」は、「ビット列、左ビットが先頭(bit string,left bit first)を意味する。
 MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)は、前述したように、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルである。
 MMTパッケージテーブル(MPT)には、図14に示すように、
 アセットタイプ(asset_type)
 アセット記述子(asset_descriptors_byte)
 これらのデータ記録領域が含まれる。
 アセットタイプ(asset_type)は、画像、音声、字幕等のデータ種類別の識別子を記録する領域である。アセットとは、共通属性を持つデータ処理の単位であり、画像、音声、字幕等は、各々、異なるアセットとして設定される。
 MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例を図15に示す。
 図15に示すように、MPTに記録されるアセットタイプ(asset_type)には、例えば以下の種類がある。
 hvc1:HEVC画像
 mp4a:音声
 stpp:字幕等
 aapp:アプリケーション
 図14に示すMPTのアセットタイプ(asset_type)記録フィールドには、例えば上記のいずれかのタイプ情報が記録される。
 図14のMPTの下段に示す、
 アセット記述子(asset_descriptors_byte)
 このフィールドには、各アセットタイプ(例えば画像、音声、字幕)、これらのデータ種類に応じた様々な属性情報が記録される。
 このアセット記述子(asset_descriptors_byte)として記録される情報の一つに画像や音声等の再生時間情報が含まれる。
 再生時間情報は、NTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
 図16に、MMTパッケージテーブル(MPT)にアセット記述子(asset_descriptors_byte)として記録されるMPU単位の再生時間情報(タイムスタンプ)を記録したMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す。
 なお、MPUは、先に図3を参照して説明したように、図3(a)に示すMPU(Media Presentation Unit)であり、MMTフォーマットにおける1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
 MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子は、このMPU単位の再生時間情報に相当する。
 図16に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
 MPUシーケンス番号(MPU_sequence_number)
 MPU再生時刻(MPU_presentation_time)
 MPUシーケンス番号(MPU_sequence_number)には、MPUの識別子が記録される。
 MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
 なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
 なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
 このように、MMTパッケージテーブル(MPT)には、アセット記述子(asset_descriptors_byte)として、MPU単位の再生時間情報(タイムスタンプ)であるMPUタイムスタンプ等のタイムスタンプが記録されている。
 情報処理装置30は、情報記録媒体(メディア)にクリップAVストリームファイルを記録する場合、先に図9、図10を参照して説明したように、MMTPパケット列、またはTLVパケット列として記録する。
 これらのパケット列には、画像、音声、字幕等の再生データを格納したパケットの他、上述のタイムスタンプを格納したMMTパッケージテーブル(MPT)等の制御情報格納パケットが含まれる。
 この結果、任意区間でのデータ削除を行うと、先に図13を参照して説明したような事態が発生する。
 すなわち、図13に示す削除区間ABを削除してしまうと、残存区間にある再生データ格納パケット101に格納された画像等の再生データの再生タイミング情報、すなわちタイムスタンプを制御情報格納パケット102から取得することができなくなり、再生データ格納パケット101に格納された画像等の再生処理が不可能となる。
 このような事態を防止するための手法として、制御情報格納パケット102を削除区間ABから取り出して、残存区間内に移動させて残すという手法が考えられる。
 このパケット移動記録処理例について、図17を参照して説明する。
 図17は、削除区間ABにある制御情報格納パケット102aを残存データ領域に移動して、残存データ内のパケット間に挿入して、制御情報格納パケット102bとして残す処理を説明する図である。
 このようなパケット移動処理を行えば、再生データ格納パケット101に格納された画像等の再生データのタイムスタンプを制御情報格納パケット102bから取得することができる。
 しかし、メディア記録データであるクリップAVストリームファイルは、所定の暗号化ユニット(暗号化ブロック)単位で個別の暗号鍵による暗号化処理(ブロック暗号化処理)が施されており、パケットを簡単に移動させることができないという問題がある。
 この問題点について、図18以下を参照して説明する。
 図18は、クリップAVストリームファイルAVストリームファイルを構成するパケットの暗号化ユニット(暗号化ブロック)の設定例を示す図である。
 図18に示す例では、パケット2つを一単位とした暗号化ユニットを設定し、各ユニットにそれぞれ異なる暗号鍵を適用して暗号化を行った例を示している。
 BD等のメディアに、MMTフォーマットデータを記録する場合、パケット(MMTPパケット、またはTLVパケット)格納データの暗号化処理が必要となる場合がある。
 例えば、BD(Blu-Ray(登録商標) Disc)やHD、DVD等の情報記録媒体(メディア)の記録データの著作権保護に関する規格はAACS(Advanced Access Content System)によって規定されており、BD等のメディア記録コンテンツの暗号化態様はAACS規定に従った方式であることが必要となる。
 しかし、放送コンテンツについてはAACS規定に拘束されず、AACS規定の暗号化態様が利用する必要がなく、独自の暗号化態様での配信がなされる。
 従って、MMTフォーマットデータによって構成される放送波を受信して、情報記録媒体(メディア)にデータを記録する情報処理装置は、放送データとして受信する暗号化データ、あるいはその暗号化データをそのまま記録したハードディスク等の第1メディアの記録データを読み出して、一旦、復号し、その後、AACS規定に従った方式で再暗号化を行ってコピー先の情報記録媒体(第2メディア)に記録することが必要となる。
 以下、この暗号化処理の具体的シーケンスについて、図19を参照して説明する。
 図19は、メディアに対する記録データ、具体的には、MMTフォーマットに従ったパケット列からなるクリップAVストリームファィルを構成する1つの暗号化ユニットの暗号化処理のシーケンスを説明する図である。
 暗号化ユニットの各々は、異なる暗号鍵によってによって暗号化され、AACS規定に従った暗号化データとなる。
 図19に示すステップS11~S13の各処理について説明する。
  (ステップS1)
 まず、情報処理装置は、ステップS11において、シード情報121の取得処理を行う。シード情報は、暗号化ユニットの暗号化処理に適用する暗号鍵を生成するために利用する情報であり、暗号化ユニット各々において異なる情報となる。
 このシード情報は、例えば、暗号化ユニットの前段に設定した追加ヘッダの構成データを利用することが可能である。
 追加ヘッダは、暗号化ユニット単位で設定し、各ユニット単位で異なる16バイトデータとする。なお、追加ヘッダは、例えば各暗号化ユニットに関するコピー制御情報等を記録したヘッダとすることも可能である。
 追加ヘッダは、メディアに対するデータ記録処理を実行する情報処理装置が、MMTフォーマットデータからなる放送波を受信してメディア記録する場合、あるいは、メディア間でのデータコピーを行う場合に生成して記録する。
 例えば、メディアに対するデータ記録処理を実行する情報処理装置は、MMTフォーマットデータを構成する制御情報(SI)からコピー制御情報を取得し、取得したコピー制御情報をAACS規定に従ったデータ形式に変換して、追加ヘッダ内に記録する。
 この場合、追加ヘッダは、後続のパケットに格納されたコピー制御情報を含み、各追加ヘッダ単位で異なるデータとなるように設定される。
 この追加ヘッダの構成データを各暗号化ユニットの暗号化生成に適用するシード情報として利用することで、各暗号化ユニットに適用する暗号鍵を各ユニット単位で異ならせることができる。
 なお、追加ヘッダを設定せず、クリップAVストリームファイルとは別のファイル、例えば利用制御情報ファイル(Usage File)に、各ユニット対応のシード情報を記録する構成としてもよい。
 このように、ステップS11において、情報処理装置は、各暗号化ユニット単位の追加ヘッダ、あるいは利用制御情報ファイル(Usage File)等の別ファイルから、暗号化ユニットごとに異なるシード情報(16バイト)121の取得処理を行う。
  (ステップS12)
 次に、情報処理装置は、ステップS12において、シード情報121に対して、予め乱数生成処理等により生成したタイトル鍵122を適用した一方向性関数による演算を実行して、ブロック鍵123を生成する。
 すなわち、暗号化ユニット(暗号化ブロック)単位(=暗号化処理単位)の暗号鍵であるブロック鍵123を生成する。
  (ステップS13)
 次に、情報処理装置は、ステップS13において、平文TLVパケットデータからなる暗号化処理対象ユニット124を入力して、ステップS12で生成したブロック鍵を適用した暗号化処理を実行して暗号化ユニット、すなわちクリップAVストリームファイル内の構成データである暗号化ユニット125を生成する。
 なお、平文TLVパケットデータからなる暗号化処理対象ユニット124は、放送局等から送信される暗号化データを復号して得た平文TLVパケットデータである。再生処理に際して復号された結果と同じデータである。
 ブロック鍵を適用した暗号化処理を実行して生成した暗号化ユニット125、すなわち暗号化TLVパケットデータを、情報記録媒体(メディア)に記録する。
 なお、ブロック鍵を適用した暗号化処理は、例えば、ECBモードやCBCモードを適用した暗号化処理として実行可能である。また、これらの暗号化処理を行う場合にパディングデータを付加する設定としてもよい。例えばAES等のブロック暗号との相性を考えて、暗号化TLVパケットが16バイトの倍数となるように000・・・0等のデータ列からなるパディングデータを付加する設定としてもよい。
 クリップAVストリームファイルを構成するすべてのパケットについて、同様のユニット単位の異なる暗号鍵で暗号化処理(ブロック暗号化処理)を実行して、クリップAVストリームファイルとして、BD等の情報記録媒体に記録する。
 なお、図19を参照して説明した各暗号化ユニット対応の暗号鍵は、暗号化ユニットを復号する復号鍵としても利用可能である。情報記録媒体に記録された暗号化ユニットを復号する場合、図19に示す処理シーケンスと同様のシーケンスで暗号鍵(復号鍵)を生成し、生成した暗号鍵(復号鍵)を適用して暗号化ユニット単位の復号処理を行うことができる。
 なお、図18、図19を参照して説明した例では、暗号化ユニットを2つのTLVパケットによって構成される設定としたが、これは一例であり、暗号化ユニットは、様々な設定が可能である。
 例えば、暗号化ユニットは、以下のような設定が可能である。
 (a)暗号化ユニット=固定データ長単位、
 (b)暗号化ユニット=可変データ長単位、
 (a)は暗号化ユニットを固定データ長とした例である。
 具体的には、例えば、
 1つの暗号化ユニット=6Kバイト
 1つの暗号化ユニット=128Kバイト
 このような固定バイトサイズとする。
 なお、固定サイズの暗号化ユニットに対して、暗号鍵生成データとなるシード情報を含む追加ヘッダを設定した構成と、しない構成とが可能である。
 (b)は暗号化ユニットを可変データ長とした例である。
 具体的には、
 1つの暗号化ユニット=1つのパケット(MMTPパケットまたはTLVパケット)
 1つの暗号化ユニット=複数のパケット(MMTPパケットまたはTLVパケット)
 1つの暗号化ユニット=パケット(MMTPパケットまたはTLVパケット)構成データ(可変データ長)
 このような可変データサイズとする。なお、この可変サイズの場合も、暗号化ユニットに対して、暗号鍵生成データとなるシード情報を含む追加ヘッダを設定した構成と、しない構成とが可能である。
 一例として、上記(b)の暗号化ユニットを可変データ長とした例を図20に示す。
 図20は、複数パケット単位で暗号化ユニットを設定したメディア記録データの構成例を示す図である。
 放送局等の送信装置からの受信データをメディアに記録する情報処理装置は、図20に示すように、複数(N個)のパケット(MMTPパケットまたはTLVパケット)に対して1つのコピー制御情報を記録した追加ヘッダを設定して記録する。
 図20には、以下の2つのデータ記録例であるパケット列を示している。
 (A1)複数(N個)のMMTPパケットに対して1つの追加ヘッダを設定したMMTPパケット列
 (A2)複数(N個)のTLVパケットに対して1つの追加ヘッダを設定したTLVパケット列
 (A1)に示す例は、メディアに記録するMMTPパケット130をN個単位で区切り、N個のMMTPパケットの先頭部分に、追加ヘッダ(MMTPパケット追加ヘッダ131)を設定して、メディアに記録する例である。
 (A2)に示す例は、メディアに記録するTLVパケット132をN個単位で区切り、N個のTLVパケットの先頭部分に、追加ヘッダ(TLVパケット追加ヘッダ133)を設定して、メディアに記録する例である。
 本例において、Nは2以上である。
 MMTPパケット追加ヘッダ131には、例えば、後続の複数(N個)のMMTPパケット130の格納データに対応するコピー制御情報が記録される。
 TLVパケット追加ヘッダ133には、後続の複数(N個)のTLVパケット132の格納データに対応するコピー制御情報が記録される。
 この追加ヘッダをメディアに記録することで、コピー処理を実行するコピー装置(情報処理装置)は、追加ヘッダの記録内容に基づいて後続の複数のMMTPパケット、またはTLVパケットの格納データについてのMMTフォーマット対応のコピー制御情報を取得することが可能となる。
  [6.メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について]
 次に、メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について説明する。
 メディアに記録されたMMTフォーマットデータの確実な再生を可能とするためには、許容する編集処理や禁止する編集処理等、様々な編集制限を設定することが必要となる。以下、これらの編集制限について説明する。
 以下の項目に従って、順次、説明する。
 (1)暗号化ユニット単位を削除許容単位とする編集制限
 (2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
 (2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
 (2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
 (2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
 (2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
 (3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
  [6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限]
 まず、暗号化ユニット単位を削除許容単位とする編集制限について説明する。
 先に図18~図20を参照して説明したようにBD等のメディアに記録されるクリップAVストリームファイルは、暗号化ユニット単位で異なる暗号鍵によって暗号化されたデータである。
 従って、データ削除単位を暗号化ユニット単位としないと、暗号化ユニットの再設定や、暗号化処理のやり直しが必要となる。
 このような処理を避けるため、許容するデータ削除単位を暗号化ユニット単位とする編集制限を設定する。
 具体例について、図21を参照して説明する。
 図21は、許容される編集処理例を示す図である。すなわち、削除区間を暗号化ユニット単位とした例である。
 図21に示す(許容編集処理例1)は、削除区間ABを1つの暗号化ユニットとした例であり、このような設定でのデータ削除は許容される。
 なお、この削除区間に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報が記録されている場合は、その制御情報を移動する処理が必要である。この処理については後述する。
 図21に示す(許容編集処理例2)は、削除区間ABを複数の暗号化ユニットとした例であり、このような設定でのデータ削除も許容される。
 なお、この場合でも、削除区間に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報が記録されている場合は、その制御情報を移動する処理が必要である。この処理については後述する。
 次に、図22を参照して許容されない編集処理例について説明する。
 図22に示す例は、削除区間が暗号化ユニット単位でない例である。
 図22に示す(非許容編集処理例1)は、削除区間ABが、1つの暗号化ユニットより小さく設定した例であり、このような設定でのデータ削除は許容しない。
 また、図22に示す(非許容編集処理例2)は、削除区間ABが、1つの暗号化ユニットより大きいが、2つの暗号化ニットより小さく設定した例であり、このような設定でのデータ削除も許容しない。
 このように、データ編集処理におけるデータ削除処理は、暗号化ユニット単位で実行する場合のみ許容する設定とする。
  [6-2.(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限]
 次に、残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限について説明する。
 図21~図22を参照して説明したように、削除区間は、暗号化ユニットを単位とすることを原則とするが、この削除区間内に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報(MPT)が記録されている場合は、その制御情報を移動する処理が必要である。以下、この処理について説明する。
 タイムスタンプ等の制御情報(MPT)を格納した制御情報格納パケットを単に残存区間に移動すると、暗号化ユニットの設定が変更されてしまうという問題がある。
 図23を参照してこの問題点について説明する。
 図23に示す暗号化ユニット03を削除区間ABとして削除する処理を想定する。この削除区間ABには、制御情報格納パケット202aがあり、このパケットは、残存区間の再生データ格納パケット201のタイムスタンプを格納している。
 この制御情報格納パケット202aを残存区間の暗号化ユニット01と暗号化ユニット02の間に挿入する処理を行うとする。
 なお、前述したように、再生データ格納パケットと、その再生データの再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケットとの送信間隔についてはMMTフォーマット上の規定があり、放送局等の送信装置からの各パケットの送信間隔は2700ms~500msの範囲とするように規定されている。このフォーマット規定に従って、制御情報格納パケット202aの移動先は、再生データ格納パケット201から、送信間隔ベースで2700ms~500msの範囲とする。
 図23に示すように、制御情報格納パケット202aを移動して、残存区間の暗号化ユニット01と暗号化ユニット02の間に挿入する。
 図23に示すように、制御情報格納パケット202bが残存区間の暗号化ユニット01と暗号化ユニット02の間に挿入される。
 しかし、制御情報格納パケット202bは、元の暗号化ユニットである暗号化ユニット03の一部に過ぎず、暗号化ユニットの設定態様(固定データ長か、可変データ長か)に応じて、以下のような問題が発生する。
 (a)暗号化ユニットが固定データ長に規定されている場合、
 制御情報格納パケット202bを含む新たな固定データ長の暗号化ユニットを規定することが必要となり、さらに、この処理に伴い、挿入した制御情報格納パケット202bに後続するパケットの全てに対して、あらたなユニット設定と再暗号化処理が必要となる。
 (b)暗号化ユニットが可変データ長に規定されている場合、
 制御情報格納パケット202bについて、既存の暗号化ユニットに含める処理を行うことが可能であるが、既存の暗号化ユニット対応のシード情報は、既に追加ヘッダ、または別ファイル(利用制御情報ファイル(Usage File))に記録済みであり、このシード情報の変更が必要となる。
 前述したように、シード情報は、暗号化ユニット単位のコピー制御情報を含み、むやみに書き換えることができないという問題がある。
 以下、これらの問題を解決して、残存区間の再生データ対応の制御情報が削除区間内に存在する場合に、編集処理後に残存区間の再生データの再生処理を、制御情報を適用して行うことを可能とする処理例について説明する。
  [6-2-1.(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理]
 まず、残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理について説明する。
 図24は、本実施例を説明する図である。
 削除区間ABには、残存区間の再生データ格納パケット211の再生処理に適用するタイムスタンプを記録したMPT(MMTパッケージテーブル)を含む制御情報格納パケット212aが記録されている。
 本処理例では、この制御情報格納パケット212aを、規定の暗号化ユニットサイズに拡張するパケットサイズ変更処理を実行する。
 図に示す制御情報格納パケット212bが、規定の暗号化ユニットサイズを持つサイズ変更パケットである。
 この規定の暗号化ユニットサイズを持つ制御情報格納パケット212bを、残存区間に移動して記録する。
 残存区間に移動して記録する制御情報格納パケット212bは、この1つのパケットを新たな暗号化ユニットとする。
 すなわち、本実施例では、この制御情報格納パケット212bに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212bの構成データを暗号化して記録する。
 その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
 なお、制御情報格納パケット212bの暗号鍵生成に必要となる新たに生成したシード情報は、制御情報格納パケット212bの前段に追加ヘッダとして記録する。あるいは、利用制御情報ファイル(Usage File)等の別ファイル内に記録する。
 また、制御情報格納パケット212bの記録先は、このパケット内のタイムスタンプを利用する再生データを格納したパケット、すなわち、図に示す残存区間の再生データ格納パケット211から、送信間隔ベースで2700ms~500msの範囲とする。これは、前述したMMTフォーマット上の規定を満たしたパケット記録構成とするためである。
 図24に示すように、本実施例では、削除区間AB内の制御情報格納パケット212aに対して、規定の暗号化ユニットサイズに拡張するパケットサイズ変更処理を実行する。
 図に示す制御情報格納パケット212bが、規定の暗号化ユニットサイズを持つサイズ変更パケットである。
 なお、MMTフォーマットにおいて規定されるTLVパケットや、MMTPパケットは、元々、パケットサイズが固定されておらず、様々なサイズのパケットを設定可能である。
 ただし、パケットサイズを変更した場合、変更後のパケットサイズ情報をパケットヘッダ等に記録することが必要である。
 図25を参照してTLVパケットのパケットヘッダの記録情報について説明する。
 図25は、TLVパケットに設定されるTLVヘッダ(TLV header)のデータを示す図である。
 図25には、TLVヘッダ(TLV header)のデータ構造(Syntax)、ビット数(No. of bits)、データ表記(Mnemonic)を示している。
 図25に示すように、TLVパケットに設定されるTLVヘッダには、TLVパケットのパケットレングスデータ(length)が記録される。
 これはTLVパケットのTLVヘッダを除くTLV_data(=TLVペイロード)のデータ長に相当する。具体的には、TLV_data(=TLVペイロード)のデータバイト長が記録される。
 編集処理を行う情報処理装置は、図24を参照して説明したパケットサイズの拡張を行った場合、このパケットレングスデータ(length)を、拡張処理後のデータサイズに更新する処理を行う。
 なお、先に図2を参照して説明したように、MMTフォーマットに従って放送局等からは、様々な制御情報(SI:Signaling Information(シグナリング情報))が送信される。
 再生データに関するタイムスタンプを記録したMPT(MMTパッケージテーブル)は、放送局等が送信する制御情報の1つである。
 MPTは、多くの場合、MPTを含む様々なテーブルを格納したPA(Packege Access)メッセージに一括して格納され送信される。
 PAメッセージは、さらにTLVパケット、およびMMTPパケットに格納されて送信される。PAメッセージ内にタイムスタンプを記録したMMTパッケージテーブル(MPT)が記録されている。
 PAメッセージは、放送波を受信する受信装置側におけるデータ受信および、符号、再生処理等に必要な様々な情報を持つPAテーブルを伝送する。PAテーブルには、複数のテーブルが含まれ、その1つとしてMMTパッケージテーブル(MPT)が含まれる。
 PAメッセージは、TLVパケットに格納されており、図24を参照して説明したように制御情報(MPT)を格納したTLVパケット長を拡張する場合、TLVパケットに格納されたPAメッセージのデータ長を調整する手法が利用化可能である。
 以下、図26以下を参照してPAメッセージのデータ長を調整する手法について説明するる
 図26を参照してPAメッセージのデータ構造について説明する。
 message_idは、各種シグナリング情報において、PAメッセージを識別する16ビットの固定値である。
 versionは、PAメッセージのバージョンを示す、8ビットの整数値のパラメータである。例えばMPTを構成する一部のパラメータでも更新した場合には、versionは+1だけインクリメントされる。
 lengthは、このフィールドの直後からカウントされる、当該PAメッセージのサイズをバイト単位で示す、32ビット長のパラメータである。
 このPAメッセージのデータサイズを変更した場合、このレングス(length)データを拡張後のデータ長に書き換える。
 extensionフィールドには、payloadのフィールドに配置される各テーブルのインデックス情報が配置される。このフィールドには、8ビットのtable_idと、8ビットのtable_versionと、16ビットのtable_lengthが配置される。
 PAメッセージのpayloadフィールドには、各テーブルの詳細情報が記録される。
 MMTパッケージテーブル(MPT)もここに記録される。
 さらに、PAメッセージの最終領域には、図26に示すように、スタッフバイト記録許容領域が設定される。
 これは、PAメッセージのデータ長を調整するためのスタッフバイト(オール1)等を記録可能とした領域である。
 このスタッフバイト記録許容領域に、スタッフバイト(オール1)を書き込むことで、このPAメッセージを格納したTLVパケットのパケット長を、規定の暗号化ユニットサイズに等しくなるようにパケットサイズを調整することができる。
 図27は、PAメッセージのスタッフバイト記録許容領域に記録されるスタッフ記述子(stuffing_descriptor)のデータ構成を示す図である。
 descriptor_tagには、スタッフ記述子であることを示すタグ(0x42)が記録される。
 descriptor_lengthには、スタッフ記述子の記述子長が記録される。
 stuffing_byteには、データ長を調整するための必要なスタッフバイト(オール1)を記録することができる。
 このように、図24を参照して説明した制御情報(MPT)格納パケット212aを規定の暗号化ユニットサイズまで拡張する一つの手法として、上述したPAメッセージのスタッフバイト記録領域にデータ(オール1)を記録する手法が適用可能である。
 タイムスタンプを記録した制御情報(MPT)格納パケットであるTLVパケット、またはMMTPパケットのパケットサイズを、規定の暗号化ユニットサイズに変更する手法として、上述したPAメッセージのデータ長を変更するという手法が適用可能であるが、さらに、PAメッセージ内に格納されるMPT(MMTパッケージテーブル)自体のデータ長を変更する処理を行う構成としてもよい。
 この手法について、図28以下を参照して説明する。
 図28は、MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。先に図14を参照して説明したと同様のデータである。
 このMMTパッケージテーブル(MPT)にも、先に図26を参照して説明したPAメッセージと同様、以下の各データ記録領域が設けられている。
 レングス(length)記録領域、
 スタッフバイト記録許容領域(MPT_descriptor_byte)
 lengthは、このフィールドの直後からカウントされるMPTのサイズをバイト単位で示す、16ビット長のパラメータである。
 スタッフバイト記録許容領域は、MMTパッケージテーブル(MPT)のデータ長を調整するためのスタッフバイト(オール1)等を記録可能とした領域である。
 このスタッフバイト記録許容領域に、スタッフバイト(オール1)を書き込むことで、このMMTパッケージテーブル(MPT)を格納したTLVパケットのパケット長を、規定の暗号化ユニットサイズに等しくなるようにパケットサイズを調整することができる。
 図29は、MMTパッケージテーブル(MPT)のスタッフバイト記録許容領域に記録されるスタッフ記述子(stuffing_descriptor)のデータ構成を示す図である。
 descriptor_tagには、スタッフ記述子であることを示すタグ(0x42)が記録される。
 descriptor_lengthには、スタッフ記述子の記述子長が記録される。
 stuffing_byteには、データ長を調整するための必要なスタッフバイト(オール1)を記録することができる。
 このように、MMTパッケージテーブル(MPT)のスタッフバイト記録許容領域に、スタッフバイト(オール1)を書き込むことでも、先に図24を参照して説明した制御情報(MPT)格納パケット212aを規定の暗号化ユニットサイズまで拡張することが可能となる。
 このいずれかの手法を適用して、図24を参照して説明したように、削除区間にある制御情報格納パケット212aのパケットサイズを、規定の暗号化ユニットサイズに拡張して、サイズを変更した制御情報格納パケット212bを残存区間に移動して記録する処理が可能となる。
 編集処理を行う情報処理装置は、図24を参照して説明した処理を行う場合、残存区間に移動した制御情報格納パケット212bを1つの新しい暗号化ユニットとして設定する。
 編集処理を行う情報処理装置は、制御情報格納パケット212bのデータ長を規定の暗号化ユニットサイズに拡張し、さらにデータ長を調整した制御情報格納パケット212bに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212bの構成データを暗号化して記録する。
 その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
 なお、削除区間にある制御情報格納パケット212を残存区間に移動する際に、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
 暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケット212のデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケット212を新たな暗号化ユニットとして、その新たな暗号化ユニット対応の新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212の構成データを暗号化して記録する。
 この場合も、その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
  [6-2-2.(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理]
 次に、残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理について説明する。
 図30は、本実施例を説明する図である。
 削除区間ABには、残存区間の再生データ格納パケット215の再生処理に適用するタイムスタンプを記録したMPT(MMTパッケージテーブル)を含む制御情報格納パケット216が記録されている。
 本処理例では、この制御情報格納パケット216にNULLパケット217を追加して、これらのパケットの合計データ長を、規定の暗号化ユニットサイズに等しくす処理を実行する。
 図に示す制御情報格納パケット216のパケットサイズと、NULLパケット217のパケットサイズの合計サイズを、規定の暗号化ユニットサイズに等しくする。
 NULLパケット217は、無効値、例えばオール0やオール1等のデータを格納したパケットである。
 編集処理を実行する情報処理装置は、制御情報格納パケット216にNULLパケット217を追加して、これらのパケットの合計データ長を規定の暗号化ユニットサイズに等しくす処理を実行し、これらのパケットを残存区間に移動して記録する。
 残存区間に移動して記録する制御情報格納パケット216とNULLパケット217の組を1つの新たな暗号化ユニットyyとする。
 編集処理を実行する情報処理装置は、この新たな暗号化ユニットyyに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット216とNULLパケット217の構成データを暗号化して記録する。
 その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
 なお、削除区間にある制御情報格納パケット216を残存区間に移動する際に、NULLパケット217を追加して、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
 暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケット216のデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケット216を新たな暗号化ユニットyyとして、その新たな暗号化ユニットyy対応の新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット216の構成データを暗号化して記録する。
 この場合も、その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
  [6-2-3.(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理]
 次に、残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理について説明する。
 先に、図7等を参照して説明したように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
 MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
 1つのMPUは例えば複数の圧縮画像データが含まれ、1つのMPU単位で、相互にデータ参照を行うことによって、そのMPUに含まれる複数の画像フレームを復号(伸長)して再生することが可能となる。
 このMPUの復号処理に適用する情報(GOP情報)は、前述のタイムスタンプと同様、MMTパッケージテーブル(MPT)に記録されている。
 GOP情報が、MMTパッケージテーブル(MPT)に記録されているか否かは、MMTパッケージテーブル(MPT)に記録されているMPUシーケンス番号(MPU_sequence_number)を参照して確認することが可能である。
 これは、先に図16を参照して説明したMMTパッケージテーブル(MPT)のMPUタイムスタンプ記述子中に記録される。
 図31に、MMTパッケージテーブル(MPT)のMPUタイムスタンプ記述子を再度、示す。
 図31に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
 MPUシーケンス番号(MPU_sequence_number)
 MPU再生時刻(MPU_presentation_time)
 MPUシーケンス番号(MPU_sequence_number)を参照することで、どのMPUの復号処理に適用する情報(GOP情報)が、MMTパッケージテーブル(MPT)に記録されているか否かを確認することができる。
 ある1つのMPU(GOP)に属する画像等のデータの復号を行う場合、まず、このMPUシーケンス番号(MPU_sequence_number)を参照して、そのMPUの復号に必要となる情報(GOP情報)が、MMTパッケージテーブル(MPT)に記録されているか否かを確認し、記録されていることが確認されたら、そのMMTパッケージテーブル(MPT)から復号に必要となるGOP情報を取得して復号処理を行う。
 しかし、前述したタイムスタンプと同様、MPU(GOP)を構成する再生データを格納した再生データ格納パケットと、その再生データの復号に必要となるGOP情報や、MPUシーケンス番号(MPU_sequence_number)を格納した制御情報(MPT)格納パケットのメディア上の記録位置は、離間している可能性が高い。
 従って、データ編集を行う場合、残存区間内の再生データの復号処理に適用するGOP情報や、MPUシーケンス番号(MPU_sequence_number)を格納した制御情報(MPT)格納パケットが、削除区間に存在する場合、この制御情報(MPT)格納パケットを残存区間に移動する等の処理により残す処理を行うことが必要となる。
 具体例について、図32を参照して説明する。
 図32に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
 削除区間ABの外の残存区間に、再生データを格納したパケットから構成されるMPU(GOP)単位データ220がある。このMPU(GOP)単位データ220の復号処理に適用するGOP情報や、MPUシーケンス番号(MPU_sequence_number)を格納した制御情報(MPT)格納パケット221が、削除区間AB内にある。
 このような場合、以下のいずれかの処理を実行する。
 (処理1)制御情報(MPT)格納パケット221を含む暗号化ユニットを削除対象から除外する。
 (処理2)制御情報(MPT)格納パケット221を、残存区間に移動させて記録して、その他の削除区間内のデータを暗号化ユニット単位で削除する。
 (処理1)を行う場合、図32の例では、制御情報(MPT)格納パケット221を含む暗号化ユニット03を削除対象から除外し、暗号化ユニット04のみを削除する。
 (処理2)を行う場合は、制御情報(MPT)格納パケット221を、残存区間に移動させて記録する。この処理は、先に説明した以下のいずれかの処理と同様の処理を実行する。
 (2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
 (2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
 なお、上記(処理2)を行う場合、削除区間にある制御情報格納パケット221を残存区間に移動する際に、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
 暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケットのデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケットを新たな暗号化ユニットとすればよい。
 また、上記の(処理1)を行う場合、図32の例では、制御情報(MPT)格納パケット221を含む暗号化ユニット03が削除対象から除外され、暗号化ユニット04のみが削除されるので、結果として、暗号化ユニット03に不要な再生対象データ格納パケット、図に示す再生データ格納パケット222が残存してしまうことになる。
 この再生データ格納パケット222の格納データは再生処理の対象とする必要のないデータである。
 このような再生不要データが発生した場合は、BDAVフォーマットにおける再生制御情報ファイルであるプレイリストファイルのプレイアイテムの編集処理を実行して、再生データ格納パケット222を再生しない設定とすることが好ましい。
 具体例を図33に示す。
 図33に示すように、再生対象データを格納した再生データ格納パケット222を、再生データ指定データを持つプレイアイテムによって指定されないようにプレイアイテム251,252を生成してプレイリストファイルに記録する。
 先に図5を参照して説明したように、プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
 編集処理を実行する情報処理装置は、編集処理によって再生の必要のなくなった再生データ格納パケットを再生区間として指定していたプレイアイテムの設定を変更して、そのプレイアイテムの再生区間から、再生の必要のなくなった再生データ格納パケットの区間を削除する処理を行う。
 この処理によって、再生の必要のなくなった再生データは再生されることがなくなる。
 なお、編集処理によって再生不要な再生データ格納パケットが残存してしまうケースは、図32に示すケースに限らず、例えば、暗号化ユニット単位で削除を許容するという制限に起因する場合もある。
 暗号化ユニット単位で削除を許容するという制限に起因して、不要な再生データが残存する場合の例を図34に示す。
 図34に示す例は、削除予定区間ABが暗号化ユニット単位とならないため、削除できず残存してしまった例である。
 パケット231,232が再生不要データを格納したパケットである。
 このような場合、編集処理を実行する情報処理装置は、編集処理によって再生の必要のなくなった再生データ格納パケット231,232を再生区間として指定していたプレイアイテムの設定を変更して、そのプレイアイテムの再生区間から、再生の必要のなくなった再生データ格納パケットの区間を削除する処理を行う。
 図35に示すように、例えば、再生データ格納パケット231,232を再生区間としていたプレイアイテム251,252の設定を変更して、再生データ格納パケット231,232を再生区間としない設定としてプレイリストファイルに記録する。
 この処理によって、再生の必要のなくなった再生データは再生されることがなくなる。
  [6-2-4.(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理]
 次に、残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理について説明する。
 先に説明したように、メディア記録データのデータフォーマットであるBDAVフォーマットには、クリップAVストリームファイルに格納された再生データの再生制御情報ファイルとしてプレイリストファイルやクリップ情報ファイル等が規定されている。
 BDAVフォーマットデータの再生処理を行う再生装置は、プレイリストファイルやクリップ情報ファイルの記録情報を参照して、クリップAVストリームファイルに格納された再生データの再生処理を実行する。
 従って、例えば編集処理による削除区間に、必要な制御情報が存在する場合、この制御情報をプレイリストファイルやクリップ情報ファイルにコピーして記録する処理を行えば、再生装置は、この情報を利用した再生処理を行うことができる。
 すなわち、削除区間の制御情報を、クリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録するものである。
 この実施例について、図36を参照して説明する。
 図36に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
 削除区間ABの外の残存区間に、再生データ格納パケット271があり、この再生データ格納パケット271の格納データの再生に必要なタイムスタンプ、あるいはGOP情報等の制御情報を記録した制御情報(MPT)格納パケット272が、削除区間AB内にある。
 このような設定において、編集処理を実行する情報処理装置は、削除区間AB内にある制御情報(MPT)格納パケット272を取得し、このパケット内から制御情報(MPT)を読み取り、このデータをBDAVフォーマットにおいて規定される制御情報ファイルにコピーして記録する。
 図36に示す例では、BDAVフォーマットにおいて規定される制御情報ファイルであるプレイリストファイル280に、制御情報(MPT)格納パケット272に格納された制御情報のデータをコピーする例を示している。
 なお、コピー対象データは、、制御情報(MPT)格納パケット272に格納された制御情報の全データとしてもよいし、必要なデータのみを選択して記録する構成としてもよい。
 これらのコピー処理を行った後、削除区間AB内のパケットを削除する。
 このような処理を実行すれば、編集処理後の残存データの再生に必要な制御情報は、プレイリストファイルやクリップ情報ファイルから取得することが可能となり、編集後の残存データの確実な再生処理を行うことができる。
  [6-3.(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限]
 次に、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限について説明する。
 この処理例について、図37を参照して説明する。
 図37に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
 図にはTLVパケット291~298を示している。
 ユーザが不要と判断して設定した削除予定区間を、パケット292~297を含む区間ABとする。
 本処理例は、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットまでの区間、すなわちMPT格納パケット区間単位を削除許容単位とするものである。
 このように、MPT格納パケット区間単位を削除許容単位とする理由について説明する。
 このような削除許容単位を設定する理由は、制御情報であるMPTを格納したパケットに格納されたMPTには、そのMPT格納パケットに後続するパケット中、次のMPTまでの再生データ格納パケットに関する制御情報が記録され、次のMPT以降の再生データの制御情報は含まれないことが理由である。
 例えば、先行MPT格納パケットに後続する再生データ格納パケットに格納された再生データの再生制御情報は、先行MPT格納パケット内のMPTに記録されている。
 従って、先行するMPT格納パケットから、次のMPT格納パケットの前までの1つのMPT格納パケット区間単位で削除すれば、削除対象のMPTを利用した再生を行う再生データは、削除対象MPTとともに一括して削除される。
 削除区間以外の残存する再生データの制御情報は、削除区間以外のMPTから取得可能となる。
 具体例について、図37を参照して説明する。
 図37に示すTLVパケット291~298列において、パケット293,296が制御情報(MPT)格納パケットである。
 制御情報(MPT1)格納パケット293には、後続のパケット294~295に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
 また、制御情報(MPT2)格納パケット296には、後続のパケット297~298に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
 従って、制御情報(MPT1)格納パケット293から、再生データ格納パケット295までのMPT格納パケット区間CDを削除しても、削除される制御情報(MPT1)格納パケット293の制御情報は、同じ削除区間の後続パケット294~295にのみ利用される情報であり、残存区間にある再生データには利用されない。
 このように、残存する再生データは影響を与えないことが保証される。
 このような理由に基づいて、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットまでの区間、すなわちMPT格納パケット区間単位を削除許容単位とする。
 ただし、先に項目[6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限]において説明した編集制限は、本処理例においても適用されることになる。
 すなわち、本処理例を適用する場合、削除が許容される区間は、
 (条件1)先行MPT格納パケットから後続MPT格納パケットの前までのMPT格納パケット区間内で、かつ、
 (条件2)暗号化ユニット単位であること、
 これら2つの条件を満足する区間のみ削除許容区間とする。
 図37に示す例では、
 削除予定区間内に含まれるMPT格納パケット区間は、パケット293,294,295から構成される区間CDである。
 さらに、この区間CD内の暗号化ユニットは、パケット293,294によって構成される暗号化ユニット02の区間CEである。
 従って、図37に示す削除予定区間AB内において削除が許容される区間は、パケット293,294から構成される2つのパケットからなる区間CEのみとなる。
 なお、図37に示す例において、削除予定区間ABには、削除許容パケット293,294以外にパケット292,295~297が含まれるが、これらは削除が許容されず、残存することになる。
 残存データには、例えば削除された制御情報(MPT)格納パケットのMPTを利用した再生処理を行う再生データ格納パケット295も含まれる。
 しかし、削除予定区間AB内の残存パケット292,295~297は、いずれも再生不要データであり、再生処理を行う必要がない。
 このような再生不要残存データについては、先に図33や図35を参照して説明したように、再生不要データを再生区間としない設定としたプレイアイテムを生成してプレイリストファイルに記録する。
 この処理を行うことで、再生不要な残存データが再生対象として選択されることはなくなり、MTP不在の再生データを選択して再生処理を開始してしまうことで発生する再生エラーを未然に防止することができる。
 なお、本処理例を適用する場合、MPT格納パケットを判別する処理が必要となる。
 パケットヘッダの記録データを確認することで、パケット内のデータ種類を判別することも可能であるが、1つ1つのパケットのパケットヘッダを確認すると時間を要し、編集処理に時間が必要となる。
 以下、高速にMPT格納パケットを判別することを可能とするためにEPマップを適用した処理例について説明する。
 先に図4、図5を参照して説明したようにメディア記録データのフォーマットデータであるBDAVフォーマットには、クリップAVストリームファイルに格納された再生データの再生制御情報を記録した再生制御情報ファイルとして、プレイリストファイルやクリップ情報ファイが規定される。
 クリップ情報ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイント(ランダムアクセスポイント)である(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
 クリップ情報ファイルに記録されるエントリポイント(EP)の記録データはEPマップと呼ばれる。
 再生装置は、このEPマップの記録データを参照することで、クリップAVストリームファイルから、ランダムアクセス再生可能なデータ位置、すなわちランダムアクセスポイントを即座に把握することができる。
 以下に説明する処理例では、通常のランダムアクセスポイントを記録したEPマツプの構成を変更し、MPT格納パケット位置を記録したEPマップを生成してクリップ情報ファイルに記録し、このEPマップを利用してMPT格納パケット位置を検出可能としたものである。
 本実施例において適用するEPマップの構成例を図38に示す。
 図38は、EPエントリを制御情報(MPT)格納パケットのパケット位置を示すデータとしたEPマップのデータ構成(シンタクス)を示す図である。
 この図38に示すEPマップは、データ記録フィールドとして、以下の各フィールドを有している。
 NTP時間記録領域(NTP_time)301、
 MMTバイトアドレス記録領域(MMT_byte_adress)302、
 バイトオフセット記録領域(byte_offset)303、
 NTP時間記録領域(NTP_time)301には、64ビットのNTP(ネットワークタイムプロトコル)時間を記録する。
 この時間情報は、例えば、このEPマップを適用して再生される再生データに含まれるランダムアクセス先の再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に相当する。
 なお、EPマップに記録されるNTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図14他を参照して説明したMPT(MMTパッケージテーブル)等の制御情報(SI)から取得される。
 MMTバイトアドレス記録領域(MMT_byte_adress)302は、
 このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報ではなく、このEPマップを適用して再生される再生対象データの再生処理に適用する制御情報(MPT)格納パケットのパケット位置を示すアドレス情報の記録領域である。
 この設定を持つEPマップを利用して再生を行う再生装置は、
 EPマップに記録された、
 MMTバイトアドレス記録領域(MMT_byte_adress)302、
 このデータを利用して、制御情報(MPT)格納パケットのパケット位置を即座に検出することが可能となる。
 図39を参照して、EPマップの利用例について説明する。
 再生処理を実行する再生装置は、図38に示すデータを持つEPマップを参照することで、図39に示す制御情報(MPT)格納パケット#1,311に対する矢印位置であるEPマップの示すエントリポイントを即座に検出できる。
 バイトオフセット記録領域(byte_offset)303は、このEPマップを適用して再生される再生データを格納した再生データ格納パケットのパケット位置と、その再生データ格納パケットの再生処理に適用するタイムスタンプ情報等を格納した制御情報格納パケットとの離間距離に相当するオフセット情報がバイト情報として記録される。
 タイムスタンプ情報等を格納した制御情報格納パケットのパケット位置を基準位置として、この基準位置から、再生データ格納パケットのパケット位置までの距離をバイトオフセット記録領域(byte_offset)303に記録する。
 図39を参照してバイトオフセット記録領域(byte_offset)303の記録データについて説明する。
 EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
 画像対応のEPマップには、図39に示すように、タイムスタンプ情報等を格納した制御情報格納パケット311のパケット位置を基準位置として、この基準位置から、再生データとしての画像(V)を格納した再生データ(V)格納パケット312のパケット位置までの距離(byte_offset(V))が記録される。
 さらに、音声(A1)対応のEPマップには、図39に示すように、タイムスタンプ情報等を格納した制御情報格納パケット311のパケット位置を基準位置として、この基準位置から、再生データとしての音声(A1)を格納した再生データ(A1)格納パケット313のパケット位置までの距離(byte_offset(A1))が記録される。
 さらに、音声(A2)対応のEPマップには、図39に示すように、タイムスタンプ情報等を格納した制御情報格納パケット311のパケット位置を基準位置として、この基準位置から、再生データとしての音声(A2)を格納した再生データ(A2)格納パケット314のパケット位置までの距離(byte_offset(A2))が記録される。
 なお、図には示していないが、字幕についても同様に、再生データとしての字幕を格納した再生データ格納パケットのパケット位置までの距離(byte_offset)を記録したEPマップが設定される。
 このように、EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
 なお、EPマップには、再生データ格納パケットと制御情報格納パケットの離間距離のみならず、制御情報格納パケットの記録位置を基準位置として、再生データ格納パケットが前方、後方のいずれに記録されているかを示す方向情報、すなわち再生データ記録位置識別フラグ(Plus_minus_flag)を記録する設定としてもよい。
 再生装置が、MMTフォーマットデータを格納したクリップAVストリームを再生対象として選択し、図38に示すEPマップを適用したランダムアクセス再生処理を行う場合の処理手順は以下の通りとなる。
 まず、再生装置は、図38に示すEPマップから、
 NTP時間記録領域(NTP_time)301、
 MMTバイトアドレス記録領域(MMT_byte_adress)302、
 これらのデータを読み取り、制御情報格納パケットの記録位置を検出する。
 次に、図38に示すEPマップから、
 バイトオフセット記録領域(byte_offset)303、
 を読み取り、ランダムアクセス再生対象データを格納した再生データ格納パケットの記録位置を確認し、再生データを取得する。
 さらに、制御情報格納パケットからタイムスタンプ(PTS/DTS)を取得し、取得したタイムスタンプ(DTS/PTS)に従って規定されるデコード開始時間、再生開始時間に従ってデコード処理と再生処理を実行する。
 このように、再生装置は、図38に示すMMTフォーマットデータ対応のEPマップを参照することで、遅延のないスムーズなランダムアクセス再生処理を実行することができる。
 このように、制御情報(MPT)格納パケットの記録位置情報を記録したEPマップをクリップ情報ファイルに記録されていることを前提とした編集処理例について、図40を参照して説明する。
 図40に示すTLVパケット列は、先に図37を参照して説明した同様のパケット列であり、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
 図にはTLVパケット291~298を示している。
 ユーザが不要と判断して設定した削除予定区間を、パケット292~297を含む区間ABとする。
 本処理例は、EPマップに記録されたMPTを指定するEPエントリの区間を削除許容単位とする。
 なお、MPTを指定するEPエントリの区間単位での削除処理を許容する理由は、先に図37を参照して説明したと同様であり、制御情報であるMPTを格納したパケットに格納されたMPTには、そのMPT格納パケットに後続するパケット中、次のMPTまでの再生データ格納パケットに関する制御情報が記録され、次のMPT以降の再生データの制御情報は含まれないことが理由である。
 EPマップに記録されたMPTを指定するEPエントリの区間を削除許容単位とする具体例について、図40を参照して説明する。
 図40に示すTLVパケット291~298列において、パケット293,296が制御情報(MPT)格納パケットである。
 制御情報(MPT)格納パケット293には、後続のパケット294~295に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
 また、制御情報(MPT)格納パケット296には、後続のパケット297~298に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
 クリップ情報ファイルのEPマップには、制御情報(MPT)格納パケット293のパケット位置を示すEPエントリ1と、制御情報(MPT)格納パケット296のパケット位置を示すEPエントリ2が記録されている。
 編集処理を実行しようとする情報処理装置は、EPマップを参照することで、削除予定区間AB内の制御情報(MPT)格納パケット293と、制御情報(MPT)格納パケット296を即座に検出することができる。
 図40に示すEPエントリ1とEPエントリ2によって規定される区間であるEPエントリ区間が削除許容区間となる。
 ただし、先に項目[6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限]において説明した編集制限は、本処理例においても適用されることになる。
 すなわち、本処理例を適用する場合、削除が許容される区間は、
 (条件1)EPエントリ区間単位で、かつ、
 (条件2)暗号化ユニット単位であること、
 これら2つの条件を満足する区間のみ削除可能となる。
 図40に示す例では、
 削除予定区間AB内に含まれるEPエントリ区間は、パケット293,294,295から構成される区間CDである。
 さらに、この区間CD内の暗号化ユニットは、パケット293,294によって構成される暗号化ユニット02の区間CEである。
 このように、MPT格納パケット位置を示すEPエントリを記録したEPマップを利用することで、MPT格納パケット位置を高速に検出し、削除許容単位であるEPエントリ区間を即座に判別することが可能となる。
  [7.情報記録媒体に対するデータ記録や、編集処理を実行する情報処理装置の構成と処理について]
 次に、図41以下を参照して、例えばBD等の情報記録媒体に対するデータ記録や、情報記録媒体に記録されたデータの編集処理を実行する情報処理装置の構成と処理について説明する。
 本開示の情報処理装置は、MMTフォーマットに従った入力データを、BDAVフォーマットデータとして、BDやHD、あるいはフラッシュメモリ等の情報記録媒体に記録する、または記録データの編集処理を行う。
 このデータ記録処理や編集処理に際して、プレイリストやクリップ情報ファイル等のデータベースファイルに、MMTフォーマットデータ対応の制御情報、属性情報等の記録や編集処理を行う。
 図41は、BD等の情報記録媒体に対するデータ記録処理や、情報記録媒体に記録されたデータの編集処理を実行する情報処理装置400の構成を示す図である。
 情報処理装置400は、情報記録媒体(記録メディア)420に、クリップAVストリームファイル、さらに、プレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
 データ入力部401は、情報記録媒体420に対する記録、編集対象データ431、すなわち画像データ、音声データ、字幕データ等を含む記録、編集対象データ431、例えば編集対象となるMMTフォーマットデータを入力する。
 データ入力部401は、記録、編集対象データ431を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、記録、編集対象データ431を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
 編集処理を実行する場合は、編集処理対象のデータを記録した情報記録媒体から読み取られた編集対象データが入力される。
 この場合、データ入力部401から入力する記録、編集対象データ431は、編集対象となるBDAVフォーマットに従ったクリップAVストリームファイルや、プレイリストファイル、クリップ情報ファイル等である。
 データ入力部401から入力するクリップAVストリームファイルは、先に図9、図10を参照して説明したようにMMTPパケット列、またはTLVパケット列によって構成されるMMTフォーマットデータからなる。
 クリップAVストリームファイルを構成するパケット(MMTPパケットまたはTLVパケット)には、画像、音声、字幕等の再生データ格納パケットの他、MPT等の制御情報を格納したパケットが含まれる。
 記録、編集対象データ431は、制御部403の制御によって、記憶部404に格納される。
 ユーザ入力部402は、例えば情報記録媒体420に対するデータ記録やデータ編集処理の開始要求や、編集情報、例えば削除対象データの指定情報等を入力する。
 ユーザ入力部402から、データ記録開始要求やデータ編集情報等を入力すると、この入力をトリガとして、記憶部404に格納された記録、編集対象データ431が、デマルチプレクサ(DeMUX)405に入力される。
 デマルチプレクサ(DeMUX)405は、記録、編集対象データ431から、画像、音声、字幕等の各データを格納したパケットや、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、記録データ編集部406の字幕データ編集部411、画像データ編集部412、音声データ編集部413、補助情報編集部414に入力する。
 記録データ編集部406では、記録データの生成や、先に説明したテータ削除等の編集処理等を実行する。
 これらの処理は、データ種類単位で行われる。
 例えば、ユーザ入力部402を介してユーザの指定した削除範囲等の指定情報が入力されると、先に説明した実施例に従った編集制限に従った編集処理が行われることになる。
 字幕データ編集部411は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、字幕データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
 画像データ編集部412は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、画像データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
 音声データ編集部413は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、音声データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
 なお、ここで実行するデータ編集処理は、先に説明した各種の編集制限に従った編集処理である。
 すなわち、先に、図24~図40を参照して説明した以下の編集制限に従った処理を実行することに相当する。
 (1)暗号化ユニット単位を削除許容単位とする編集制限
 (2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
 (2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
 (2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
 (2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
 (2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
 (3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
 補助情報編集部414は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、BDAVフォーマットにおいて規定されるデータベースファイルとしてのプレイリストファイルやクリップ情報ファイル、クリップAVストリームファイルに格納すべきデータを生成する。
 また、必要に応じてプレイリストファイルやクリップ情報ファイル、クリップAVストリームファイルの記録データの編集処理を実行する。
 マルチプレクサ(MUX)415は、字幕データ編集部411、画像データ編集部412、音声データ編集部413が変換した字幕、画像、音声各データ、および補助情報編集部414が記録、編集対象データ431のシグナリング情報(TLV-SI,MMT-SI)等から取得した様々な情報を入力し、これらのデータを格納したストリームファイルを生成する。
 データベースファイル編集部416は、補助情報編集部414が記録、編集対象データ431のシグナリング情報(TLV-SI,MMT-SI)から取得した様々な情報を記録したプレイリストファイルやクリップ情報ファイル等のデータベースファイルを生成し、必要に応じて編集を行う。
 記録データ編集部406の生成したストリームファイルデータと、プレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データ432は、制御部403の制御の下、記録部407によって、ドライブ408を介して情報記録媒体420に出力され、記録される。
 次に、図41に示す情報処理装置400が実行するデータ編集処理、すなわちデータ入力部401から入力するMMTフォーマットデータに対するデータ削除等の編集処理を実行して情報記録媒体420に記録する処理シーケンスについて、図42に示すフローチャートを参照して説明する。
 図42に示すフローに従った処理は、例えば情報処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
 以下、図42のフローに示す各ステップの処理について、順次、説明する。
  (ステップS101)
 まず、情報処理装置400は、ステップS101において、データ入力部401を介して編集対象となるMMTフォーマットデータを入力する。
 なお、この編集対象データには画像データ、音声データ、字幕データ、さらに、MPT等の制御情報が含まれる。
  (ステップS102)
 次に、ステップS102において、情報処理装置400は、入力したMMTフォーマットデータからなるクリップAVストリームファイルから、削除予定区間を決定する。
  (ステップS103)
 次に、ステップS103において、情報処理装置400は、ステップS102で決定した削除予定区間が、暗号化ユニット単位に一致するか否かを判定する。
 先に図21他を参照して説明したように、編集後に残存する再生データを確実に再生可能とするための編集制限の一つとして、
 (1)暗号化ユニット単位を削除許容単位とする編集制限
 がある。
 ステップS103では、ステップS102で決定した削除予定区間が、この編集制限を満足するものであるか否か、すなわち削除予定区間が、暗号化ユニット単位に一致するか否かを判定する。
 削除予定区間が暗号化ユニット単位に一致する場合は、ステップS106に進む。
 一方、削除予定区間が暗号化ユニット単位に一致しない場合は、ステップS104に進む。
  (ステップS104)
 削除予定区間が暗号化ユニット単位に一致しない場合は、ステップS104において、削除予定区間に暗号化ユニットが含まれるか否かを判定する。
 削除予定区間に暗号化ユニットが含まれる場合は、ステップS105に進む。
 削除予定区間に暗号化ユニットが含まれない場合は、ステップS111に進む。
  (ステップS105)
 ステップS104で、削除予定区間に暗号化ユニットが含まれると判定した場合は、ステップS105に進み、ステップS105において、削除区間を削除予定区間内に含まれる暗号化ニット単位に変更する。
  (ステップS111)
 一方、ステップS104で、削除予定区間に暗号化ユニットが含まれないと判定した場合は、ステップS111に進み、ステップS111において、削除処理を中止して処理を終了する。
  (ステップS106)
 ステップS103において、削除予定区間が暗号化ユニット単位に一致すると判定した場合、
 または、ステップS105において、削除区間を削除予定区間内に含まれる暗号化ニット単位に変更する処理を行った場合、ステップS106に進む。
 ステップS106では、削除区間に、残存区間のデータが参照する制御情報、例えばMPTが含まれるか否かを判定する。
 含まれる場合は、ステップS107に進む。
 含まれない場合は、ステップS108に進む。
  (ステップS107)
 ステップS106で、削除区間に、残存区間のデータが参照する制御情報、例えばMPTが含まれると判定した場合、ステップS107において、削除区間内の制御情報(MPT)を残存区間、あるいは別ファイルに移動して記録する処理を行う。
 この処理は、先に、図24~図32を参照して説明した以下の処理のいずれかを実行することに相当する。
 (2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
 (2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
 (2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
 (2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
 (2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
 なお、上記処理(2-1)~(2-3)を行う場合、削除区間にある制御情報格納パケットを残存区間に移動する際に、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
 暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケットのデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケットを新たな暗号化ユニットとすればよい。
  (ステップS108)
 ステップS106において、削除区間に残存区間のデータが参照する制御情報、例えばMPTが含まれないと判定した場合、
 あるいは、ステップS107において、削除区間内の制御情報(MPT)を残存区間、あるいは別ファイルに移動して記録する処理を完了した場合、
 上記、いずれかの場合にステップS108に進む。
 ステップS108では、削除区間のデータ削除を実行する。
  (ステップS109)
 ステップS108において、データ削除を完了すると、ステップS109において、再生不要データが発生したか否かを検証し、再生不要データが発生した場合は、その再生不要データが再生指定データに選択されないようにプレイリストファイルのプレイアイテムの再構成を実行する。
 この処理は、先に図33~図35を参照して説明した処理である。
 これらの処理により、データ編集が完了する。
 このフローに従った処理を行うことにより、残存する再生データの再生に利用する制御情報(MPT)は、クリップAVストリームファイルの残存区間、またはプレイリストファイル等の別ファイルに残されることになり、制御情報(MPT)を利用した正しい再生処理を実行することが可能となる。
 また、削除予定区間内にありながら、各種の編集制限によって削除できなかった再生不要データは、ステップS109のプレイアイテム編集によって再生でーたとしての指定から外れることになり、誤って再生されるといった再生エラーノ発生も防止することが可能となる。
 なお、図42に示すフローは、先に図37~図40を参照して説明した処理、すなわち、
 (3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
 この編集制限については考慮しない処理を行う場合のシーケンスである。
 この「(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限」を考慮した処理を行う場合の処理フローを図43に示す。
 図43に示すフローと図42に示すフローの差異は、図43に示すフロー中のステップS106bである。
 図43に示すフローは、図42に示すフローのステップS106とステップS107の間にステップS106bを挿入している点が異なる。
 このステップS106bの処理について説明する。
  (ステップS106b)
 ステップS106bの処理は、ステップS106において、残存区間データが参照する制御情報(MPT)が残存区間に存在するとの判定がなされた場合に実行される。
 ステップS106bでは、削除区間が、MPT区間に一致するか否かを判定する。
 MPT区間とは、先に図37や図40を参照して説明した区間CDに相当する。
 具体的には、削除区間の先頭パケットがMPT格納パケットであり、削除区間の最終パケットの次のパケットがMPT格納パケットである場合に、削除区間がMPT区間に一致すると判定される。
 なお、MPT格納パケットの位置については、先に説明したように、パケットヘッダ情報、あるいはMPT位置をEPエントリに記録したEPマップを参照することで判別することができる。
 ステップS106bにおいて、削除区間がMPT区間に一致すると判定した場合は、ステップS108に進み、MPT区間に一致する削除区間を削除する。
 一方、テップS106bにおいて、削除区間がMPT区間に一致しないと判定した場合は、ステップS107に進み、削除区間内のMPTを残存区間、または別ふぁいるに記録する処理を実行する。
 これらの処理により、データ編集が完了する。
 このフローに従った処理を行うことにより、残存する再生データの再生に利用する制御情報(MPT)は、クリップAVストリームファイルの残存区間、またはプレイリストファイル等の別ファイルに残されることになり、制御情報(MPT)を利用した正しい再生処理を実行することが可能となる。
  [8.情報処理装置の構成例について]
 次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図44を参照して説明する。
 CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
 CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、ディスプレイ、スピーカなどよりなる出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
 入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
  [9.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
 前記データ処理部は、
 編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
 前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置。
 (2) 前記制御情報は、
 MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報である(1)に記載の情報処理装置。
 (3) 前記制御情報は、
 再生データの再生処理に適用するタイムスタンプが記録された制御情報である(1)または(2)に記載の情報処理装置。
 (4) 前記タイムスタンプは、
 再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプである(3)に記載の情報処理装置。
 (5) 前記制御情報は、
 再生データの復号処理に適用する情報(GOP情報)が記録された制御情報である(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記ストリームファイルは、MMTP(MMT Protocol)パケット列、またはTLV(Type Length Value)パケット列によって構成され、
 再生データ格納パケットと、制御情報格納パケットを含むファイルである(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された暗号化ユニットから構成されたファイルであり、
 前記データ処理部は、
 前記ストリームファイルの削除区間を暗号化ユニット単位とする編集制限に従って、データ削除処理を実行する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
 前記データ処理部は、
 前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
 前記制御情報格納パケットのデータ長を、前記固定データ長に拡張して、1つの暗号化ユニットとして、残存区間に記録する(1)~(7)いずれかに記載の情報処理装置。
 (9) 前記制御情報格納パケットは、
 MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)を記録したPAメッセージを格納したパケットであり、
 前記データ処理部は、
 前記MPT、または前記PAメッセージのデータ長を拡張することで、前記制御情報格納パケットのデータ長の拡張を行う(8)に記載の情報処理装置。
 (10) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
 前記データ処理部は、
 前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
 前記制御情報格納パケットに、NULLパケットを追加して、2つのパケットの総データ長を前記固定データ長に一致させて、前記制御情報格納パケットとNULLパケットを1つの暗号化ユニットとして、残存期間に記録する(1)~(7)いずれかに記載の情報処理装置。
 (11) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された可変データ長の暗号化ユニットから構成されたファイルであり、
 前記データ処理部は、
 前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
 前記制御情報格納パケットを1つの暗号化ユニットとして、残存期間に記録する(1)~(7)いずれかに記載の情報処理装置。
 (12)
 前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
 前記データ処理部は、
 編集処理において、前記クリップAVストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
 前記制御情報を、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイルに記録する(1)~(7)いずれかに記載の情報処理装置。
 (13) 前記制御情報は、
 MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報であり、
 前記データ処理部は、
 前記ストリームファイルの削除区間を、先行MPT格納パケットから、後続MPT格納パケットの直前のパケットまでの区間であるMPT区間単位とする編集制限に従って、データ削除処理を実行する(1)~(12)いずれかに記載の情報処理装置。
 (14) 前記データ処理部は、
 MPT格納パケット位置をEPエントリとして記録したEPマップから取得して、MPT格納パケットの識別を行う(13)に記載の情報処理装置。
 (15) 前記データ処理部は、
 編集処理において、前記ストリームファイルに再生不要データが残存した場合、
 前記再生不要データを再生指定データから除去する再生制御情報の更新処理を実行する(1)~(14)いずれかに記載の情報処理装置。
 (16) 前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
 前記再生制御情報は、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイル中のプレイアイテムである(15)に記載の情報処理装置。
 (17) 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
 前記データ処理部が、
 編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
 前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法。
 (18) 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
 前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
 具体的には、例えば、MMTフォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部は、ストリームファイルから削除する削除区間に、削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、制御情報を残存区間に移動、または別ファイルに記録する。例えば、ストリームファイルが、固定データ長の暗号化ユニットから構成される場合、制御情報格納パケットを、固定データ長に拡張して1つの暗号化ユニットとして残存区間に記録する。
 本構成により、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
  20 送信装置
  21 放送サーバ
  22 データ配信サーバ
  30 情報処理装置
  31 BDプレーヤ
  32 TV
  33 PC
  34 携帯端末
  40 情報記録媒体(メディア)
  41 BD
  42 HDD
  43 フラッシュメモリ
 400 情報処理装置
 401 データ入力部
 402 ユーザ入力部
 403 制御部
 404 記憶部
 405 デマルチプレクサ
 406 記録データ編集部
 407 記録部
 408 ドライブ
 411 字幕データ編集部
 412 画像データ編集部
 413 音声データ編集部
 414 補助情報編集部
 415 マルチプレクサ
 416 データベースファイル編集部
 420 情報記録媒体
 601 CPU
 602 ROM
 603 RAM
 604 バス
 605 入出力インタフェース
 606 入力部
 607 出力部
 608 記憶部
 609 通信部
 610 ドライブ
 611 リムーバブルメディア

Claims (18)

  1.  MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
     前記データ処理部は、
     編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
     前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置。
  2.  前記制御情報は、
     MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報である請求項1に記載の情報処理装置。
  3.  前記制御情報は、
     再生データの再生処理に適用するタイムスタンプが記録された制御情報である請求項1に記載の情報処理装置。
  4.  前記タイムスタンプは、
     再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプである請求項3に記載の情報処理装置。
  5.  前記制御情報は、
     再生データの復号処理に適用する情報(GOP情報)が記録された制御情報である請求項1に記載の情報処理装置。
  6.  前記ストリームファイルは、MMTP(MMT Protocol)パケット列、またはTLV(Type Length Value)パケット列によって構成され、
     再生データ格納パケットと、制御情報格納パケットを含むファイルである請求項1に記載の情報処理装置。
  7.  前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された暗号化ユニットから構成されたファイルであり、
     前記データ処理部は、
     前記ストリームファイルの削除区間を暗号化ユニット単位とする編集制限に従って、データ削除処理を実行する請求項1に記載の情報処理装置。
  8.  前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
     前記データ処理部は、
     前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
     前記制御情報格納パケットのデータ長を、前記固定データ長に拡張して、1つの暗号化ユニットとして、残存区間に記録する請求項1に記載の情報処理装置。
  9.  前記制御情報格納パケットは、
     MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)を記録したPAメッセージを格納したパケットであり、
     前記データ処理部は、
     前記MPT、または前記PAメッセージのデータ長を拡張することで、前記制御情報格納パケットのデータ長の拡張を行う請求項8に記載の情報処理装置。
  10.  前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
     前記データ処理部は、
     前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
     前記制御情報格納パケットに、NULLパケットを追加して、2つのパケットの総データ長を前記固定データ長に一致させて、前記制御情報格納パケットとNULLパケットを1つの暗号化ユニットとして、残存期間に記録する請求項1に記載の情報処理装置。
  11.  前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された可変データ長の暗号化ユニットから構成されたファイルであり、
     前記データ処理部は、
     前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
     前記制御情報格納パケットを1つの暗号化ユニットとして、残存期間に記録する請求項1に記載の情報処理装置。
  12.  前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
     前記データ処理部は、
     編集処理において、前記クリップAVストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
     前記制御情報を、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイルに記録する請求項1に記載の情報処理装置。
  13.  前記制御情報は、
     MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報であり、
     前記データ処理部は、
     前記ストリームファイルの削除区間を、先行MPT格納パケットから、後続MPT格納パケットの直前のパケットまでの区間であるMPT区間単位とする編集制限に従って、データ削除処理を実行する請求項1に記載の情報処理装置。
  14.  前記データ処理部は、
     MPT格納パケット位置をEPエントリとして記録したEPマップから取得して、MPT格納パケットの識別を行う請求項13に記載の情報処理装置。
  15.  前記データ処理部は、
     編集処理において、前記ストリームファイルに再生不要データが残存した場合、
     前記再生不要データを再生指定データから除去する再生制御情報の更新処理を実行する請求項1に記載の情報処理装置。
  16.  前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
     前記再生制御情報は、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイル中のプレイアイテムである請求項15に記載の情報処理装置。
  17.  情報処理装置において実行する情報処理方法であり、
     前記情報処理装置は、
     MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
     前記データ処理部が、
     編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
     前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法。
  18.  情報処理装置において情報処理を実行させるプログラムであり、
     前記情報処理装置は、
     MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
     前記プログラムは、前記データ処理部に、
     編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
     前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラム。
PCT/JP2018/012518 2017-04-11 2018-03-27 情報処理装置、および情報処理方法、並びにプログラム WO2018190122A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019512417A JP7024787B2 (ja) 2017-04-11 2018-03-27 情報処理装置、および情報処理方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-077993 2017-04-11
JP2017077993 2017-04-11

Publications (1)

Publication Number Publication Date
WO2018190122A1 true WO2018190122A1 (ja) 2018-10-18

Family

ID=63792534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012518 WO2018190122A1 (ja) 2017-04-11 2018-03-27 情報処理装置、および情報処理方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP7024787B2 (ja)
WO (1) WO2018190122A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019040647A (ja) * 2017-08-22 2019-03-14 株式会社東芝 電子装置及び方法
CN114422622A (zh) * 2022-01-14 2022-04-29 徐工汉云技术股份有限公司 一种工程机械设备工况数据解析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188704A (ja) * 2008-02-06 2009-08-20 Toshiba Corp コンテンツ編集装置
JP2017034664A (ja) * 2015-08-03 2017-02-09 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置。
JP2017034343A (ja) * 2015-07-29 2017-02-09 日立マクセル株式会社 放送受信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188704A (ja) * 2008-02-06 2009-08-20 Toshiba Corp コンテンツ編集装置
JP2017034343A (ja) * 2015-07-29 2017-02-09 日立マクセル株式会社 放送受信装置
JP2017034664A (ja) * 2015-08-03 2017-02-09 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置。

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019040647A (ja) * 2017-08-22 2019-03-14 株式会社東芝 電子装置及び方法
CN114422622A (zh) * 2022-01-14 2022-04-29 徐工汉云技术股份有限公司 一种工程机械设备工况数据解析方法
CN114422622B (zh) * 2022-01-14 2023-03-28 徐工汉云技术股份有限公司 一种工程机械设备工况数据解析方法

Also Published As

Publication number Publication date
JP7024787B2 (ja) 2022-02-24
JPWO2018190122A1 (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
US9398330B2 (en) Information processing device, information recording medium, information processing method, and program
CN109757117B (zh) 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法
JP7052733B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7024787B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7074068B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7215415B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7147755B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6500895B2 (ja) 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2015109131A (ja) ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体
WO2018173780A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2015083354A1 (ja) ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体
JP6982829B2 (ja) 記録装置、記録方法および記録媒体
WO2016002127A1 (en) Mpeg-2-ts to mp4 format conversion without decryption
EP3826297A1 (en) Information processing device, information recording medium, information processing method, and program
WO2015186479A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2015167059A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18784820

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019512417

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18784820

Country of ref document: EP

Kind code of ref document: A1