JP6500895B2 - 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP6500895B2
JP6500895B2 JP2016520993A JP2016520993A JP6500895B2 JP 6500895 B2 JP6500895 B2 JP 6500895B2 JP 2016520993 A JP2016520993 A JP 2016520993A JP 2016520993 A JP2016520993 A JP 2016520993A JP 6500895 B2 JP6500895 B2 JP 6500895B2
Authority
JP
Japan
Prior art keywords
data
format
packet
payload
start code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016520993A
Other languages
English (en)
Other versions
JPWO2015178112A1 (ja
Inventor
遼平 高橋
遼平 高橋
幸一 内村
幸一 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015178112A1 publication Critical patent/JPWO2015178112A1/ja
Application granted granted Critical
Publication of JP6500895B2 publication Critical patent/JP6500895B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Description

本開示は、情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えばフォーマット変換処理を確実に実行可能とする情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
映画や音楽等、様々なコンテンツを記録する情報記録媒体(メディア)として、DVD(Digital Versatile Disc)や、BD(Blu−ray(登録商標) Disc)が多く利用されている。
これらのディスクには、予め規定されたデータ記録フォーマットで画像、音声、さらに再生制御データ等の各種のデータが記録される。
例えば、BDに対するデータ記録フォーマットとして、BDMV(Blu−ray(登録商標) Disc Movie)フォーマットが利用される。
BDMVフォーマットの記録データを再生するためには、BDMVフォーマットデータの再生用のプログラムを保持していることが必要となる。
昨今、スマホ(スマートホン)や、タブレット端末等の携帯端末などで映画等のコンテンツ視聴を行うユーザが増加している。
このような携帯端末には、BDMVフォーマット対応の再生アプリケーションが搭載されているとは限らない。従って、BDの記録データを携帯端末のメデイアにコピーする場合、BDMVフォーマットではない携帯端末の再生アプリケーションが再生可能なフォーマットに変更してコンテンツを記録する必要がある。
なお、メディア間のデータコピー処理については、例えば特許文献1(特開2008−98765号公報)や、特許文献2(特開2011−222078号公報)に記載がある。
携帯端末等による利用を考慮して規格化されたデータ記録フォーマットとしてMP4フォーマット(以下MP4と呼ぶ)がある。
多くの携帯端末は、MP4フォーマットで記録されたMP4データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合MP4形式で記録することが求められる。
従って、例えば、BDMVフォーマットのデータを、携帯端末において利用するSDカード等のメディアにコピーする場合、BDMVからMP4へのフォーマット変換を伴うコピー処理を行なうことが必要となる。
しかし、現状においてこのフォーマット変換についての具体的な提案はなされていない。フォーマット変換が確実に行われない場合、コピー先でのコンテンツ再生が行えなくなる可能性がある。
特開2008−98765号公報 特開2011−222078号公報
本開示は、このような問題点に鑑みてなされたものであり、例えばフォーマット変換を伴うデータ記録処理を行なう構成において、フォーマット変換後の正常なデータ再生を可能とする情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部は、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有する情報処理装置にある。
さらに、本開示の第2の側面は、
MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部は、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報生成装置にある。
さらに、本開示の第3の側面は、
再生対象データとしてMPEG−2TSフォーマットデータを記録した情報記録媒体であり、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを記録し、
前記情報記録媒体の格納データのフォーマット変換を実行する情報処理装置が、前記TSパケットのヘッダ情報解析によって、スタートコード(SC)の位置を判別し、判別結果に基づくフォーマット変換を行うことを可能とした情報記録媒体にある。
さらに、本開示の第4の側面は、
情報処理装置においてデータフォーマット変換を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部が、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置においてデータ生成処理を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部が、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報処理方法にある。
さらに、本開示の第6の側面は、
情報処理装置においてデータフォーマット変換を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記プログラムは、前記データ変換部に、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別する処理と、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択する処理と、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行させるプログラムにある。
さらに、本開示の第7の側面は、
情報処理装置においてデータ生成処理を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記プログラムは、前記データ生成部に、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、MPEG−2TSフォーマットからMP4フォーマットへの変換を正しく確実に実行可能とする構成が実現される。
具体的には、フォーマット変換を実行するデータ変換部は、MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する。データ変換部は、例えばTSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する。
本構成により、MPEG−2TSフォーマットからMP4フォーマットへの変換を正しく確実に実行可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
BDMVフォーマットに従ってメディアに記録されるデータのディレクトリ構成例について説明する図である。 BDMVフォーマットにおいて規定されるプレイリストと、再生データとの対応について説明する図である。 クリップAVストリーム(Clip AV Stream)ファイルのデータ構成としてのMPEG−2TS(トランスポートストリーム)の構成例について説明する図である。 MP4フォーマットについて説明する図である。 CFF(Common File Format)の構成について説明する図である。 AVC,HEVC符号化データの構成について説明する図である。 MPEG−2TSとMP4フォーマットの差異について説明する図である。 MPEG−2TSに格納した1つのピクチャ対応のアクセスユニットの構成について説明する図である。 MPEG−2TSに格納した1つのピクチャ対応のアクセスユニットに含まれるデータの暗号化によって発生する問題点について説明する図である。 スタートコード(SC)位置識別子としてのトランスポートプライオリティをTSパケットヘッダに設定した構成例について説明する図である。 スタートコード(SC)位置識別子としてのトランスポートプライオリティを利用したMP4フォーマットへの変換処理例について説明する図である。 スタートコード(SC)位置識別子としてのトランスポートプライオリティを利用したMP4フォーマットへの変換処理例について説明する図である。 MP4フォーマットデータに設定するレングスの算出処理例について説明する図である。 スタートコード(SC)をTSパケットのペイロード先頭に設定するためのデータ調整例について説明する図である。 スタートコード位置識別用パケットを設定した実施例について説明する図である。 情報処理装置の構成例について説明する図である。 情報処理装置のデータ変換部の構成について説明する図である。 情報処理装置の構成例について説明する図である。 情報処理装置の実行するデータ変換処理のシーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するデータ変換処理のシーケンスについて説明するフローチャートを示す図である。
以下、図面を参照しながら本開示の情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.MPEG2−TSフォーマットと、MP4フォーマットについて
2.MPEG−2TSをMP4に変換する場合の問題点について
3.MPEG−2TSからMP4へのフォーマット変換を正しく実行するための構成について(実施例1)
4.MP4フォーマットにおけるレングス情報の算出例について
5.TSパケットのデータ長の制約に対する対応について
6.スタートコード(SC)位置識別用のTSパケットを設定した例について(実施例2)
7.フォーマット変換を行う情報処理装置の構成例について
8.データ生成または記録処理を行なう情報処理装置の構成例について
9.フォーマット変換処理のシーケンスについて
10.その他の実施例について
11.本開示の構成のまとめ
[1.MPEG−2TSフォーマットと、MP4フォーマットについて]
まず、MPEG−2TS(Transport stream)フォーマットと、MP4フォーマットについて説明する。
MPEG−2TSフォーマットと、MP4フォーマットは、いずれも画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG−2TSフォーマットは、ISO13818−2において標準化されたフォーマット(コンテナフォーマット)であり、例えばBD(Blu−ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
一方、MP4フォーマットは、ISO/IECC14496−14で規定されたフォーマット(コンテナフォーマット)であり、例えばフラッシュメモリ等にデータ記録を行う場合に適したフォーマットである。
昨今、利用されている多くの携帯端末は、MP4フォーマットに従って記録されたMP4データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合、MP4形式で記録することが求められる場合が多い。
前述したBDに対するデータ記録フォーマットであるBDMV(Blu−ray(登録商標) Disc Movie)フォーマットは、MPEG−2TSフォーマットに従って格納された画像や音声等の符号化データを構成要素とするBD専用のフォーマットである。
なお、MPEG−2TSフォーマットに従って格納が許容される画像、音声、静止画の符号化データは、例えば以下の符号化データである。
画像:MPEG−1、MPEG−2、AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声:MP1,MP2,MP3,リニアPCM,DTS
静止画:JPEG
例えば上記の各符号化データがMPEG−2TSにおいて規定するTS(トランスポートストリーム)パケットに分散して格納される。
まず、図1以下を参照して、BDや放送に用いられるMPEG−2TSフォーマットについて説明する。
図1は、例えばROM型のBD(Blu−ray(登録商標) Disc)であるメディア10に記録されたBDMVフォーマットに従った記録データのディレクトリを示す図である。
ディレクトリは図1に示すように管理情報設定部11(AACSディレクトリ)と、データ部12(BDMVディレクトリ)に分離されている。
管理情報設定部11(AACSディレクトリ)には、データの暗号化鍵であるCPSユニットキーファイルや利用制御情報ファイルなどが格納される。
一方、データ部12のBDMVディレクトリ以下には、
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
BDJOファイル、
例えば、これらのファイルが記録される。
インデックスファイルには、再生処理に適用するインデックス情報としてのタイトル情報が格納される。
プレイリストファイルは、タイトルによって指定されの再生プログラムのプログラム情報に従ったコンテンツの再生順等を規定したファイルであり、再生位置情報を持クリップ情報に対する指定情報を有する。
クリップ情報ファイルは、プレイリストファイルによつて指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。
BDJOファイルは、JAVA(登録商標)プログラム、コマンド等を格納したファイルの実行制御情報を格納したファイルである。
情報処理装置が情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによってインデックスファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられた再生プログラムが選択される。
(c)選択された再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したプレイリストが選択される。
(d)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
図2は、第1メディア110に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
実際の再生対象データである画像と音声データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
これら複数のカテゴリのファイルは、図2に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)と呼ぶ場合もある。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
クリップAVストリーム(Clip AV Stream)ファイルは、MPEG−2TS(トランスポートストリーム)をBDMVフォーマットの規定構造に従って配置したデータを格納している。この構成の詳細は図3を参照して後段で説明する。
また、クリップ情報(Clip Information)ファイルには、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントである(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプが与えられた時、クリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
再生対象となる画像や音声の実データを格納したクリップAVストリーム(Clip AV Stream)ファイルは、例えば図3に示すようなMPEG−2トランスポートストリーム(TS:Transport stream)ファイル構造を持つ。
図3に示すように、MPEG−2TSフォーマットは、以下の特徴を有する。
1)MPEG−2TSファイルは、整数個のアラインドユニット(Aligned unit)から構成される。
2)アラインドユニット(Aligned unit)の大きさは、6kB(=6144バイト(2048×3バイト))である。
3)アラインドユニット(Aligned unit)は、ソースパケットの第一バイト目から始まる。
4)ソースパケットは、192バイト長である。一つのソースパケットは、TP_extra_headerとTSパケットから成る。TP_extra_headerは、4バイト長であり、またTSパケットは、188バイト長である。
5)TSパケットはヘッダ(TPヘッダ)とペイロード部を有する。1つのTSパケットのペイロードには画像、音声等、いずれか一種類のデータの符号化データが格納される。
6)TSパケットのヘッダ(TPヘッダ)にはペイロードのデータ種類を示すPID(プログラムID)が記録される。
7)TSパケットのペイロードは画像や音声等の符号化データであるエレメンタリストリーム(ES)を格納したパケット(パケタイズドエレメンタリストリーム(PES))とPESヘッダ等によって構成される。
8)PESヘッダには、後続のPESパケットに格納されたエレメンタリストリーム(ES)の再生時間情報を示すプレゼンテーションタイムスタンプ(PTS)が記録される。
さらに、図3(E)に示すように、TSパケットのヘッダ情報には、以下の各データが格納される。
(a)同期用バイト(Sync byte)
(b)トランスポートエラー識別子(Transport_error_indicator)
(c)ペイロードユニットスタート識別子(Payload_unit_start_indicator)
(d)トランスポートプライオリティ(Transport_priority)
(e)プログラムID(PID)
(f)トランスポートスクランブリングコントロール(Transport scrambling control)
(g)アダプテーションフィールドコントロール(Adaptation field contrpl)
(h)コンティニュイテイカウンタ(Continuity counter)
(i)アダプテーションフィールド(Adaptation field)
次に、図4、図5を参照して、MP4フォーマットの概要について説明する。
図4には、ISO/IEC14496−14で規定されたMP4フォーマットの例として、以下の2つの例を示している。
(a)フラグメンテッド(分割型)MP4ファイル(fragmented movie)
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)
これら図4(a),(b)に示すMP4ファイルは、MP4フォーマットに従ったデータの記録あるいは再生処理における1つの処理単位として設定されるファイルである。
(a)フラグメンテッド(分割型)MP4ファイル(fragmented movie)は、再生対象データである画像や音声などのデータを所定時間内の再生データごとに分割して格納したファイルフォーマットである。
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)は、再生対象データである画像や音声などのデータを分割せずに格納したファイルフォーマットである。
MP4ファイルは、ボックス(box)単位の領域設定がなされ、各ボックスには、ボックス単位で定義されたデータが格納される。
各ボックスは、ボックスサイズ(box−size)、ボックスタイプ(box−type)、ボックスデータ(box−data)の各領域を有する。
ボックスサイズ(box−size)には、ボックスのデータ長(バイトサイズ)が記録される。
ボックスタイプ(box−type)には、ボックスに格納するデータの種類が記録される。
ボックスデータ(box−data)には、ボックスタイプで示される種類のデータが記録される。
図4(a)に示すフラグメンテッド(分割型)MP4ファイルには、以下のタイプのボックスが設定される。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
画像、音声、字幕等の再生対象データである実データはmdatボックスに分割して格納される。
また、mdatボックスの各々にはmoofボックスが対応付けられており、moofボックスには、moofボックスに対応付けられたmdatボックスに格納した分割実データに関する属性情報、再生制御情報等のメタデータを格納する。
図4(a)に示すフラグメンテッド(分割型)MP4ファイルは、再生対象データの分割データである実データ(mdat)と分割実データ対応のメタデータ(moof)を1つのセットデータとして、多数のセットデータを格納し、さらに、格納した複数のセットデータ全体に関するメタデータをmoovボックスに格納した構成を有する。
分割実データ対応のメタデータ(moof)の内部には、trafボックスが設定される。
trafボックスには、対応付けられた実データ(mdat)の再生シーケンス情報等が格納される。
moovボックスは、MP4ファイル全体に格納されたデータの再生制御情報等のメタデータの格納領域として設定されるボックスである。
moovボックス内には、1つ以上のtrakボックスが設定される。trakボックスは、例えば画像、音声、字幕等のデータ種類別に設定可能であり、各データの再生シーケンス情報等を格納する。
なお、MP4ファイルに格納される再生データに複数の異なる画像データ、例えばHD画像、4K画像等が含まれる場合には、これらの画像種類に応じて個別のtrakボックスを設定することが可能である。
また、MP4ファイルの格納音声データに複数の異なる音声データ、例えば日本語音声、英語音声等が含まれる場合には、これらの音声種類に応じて個別のtrakボックスを設定可能である。
同様に、MP4ファイルの格納字幕データに複数の異なる字幕データ、例えば日本語字幕、英語字幕等が含まれる場合には、これらの字幕種類に応じて個別のtrakボックスを設定可能である。
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)は、再生対象データである画像や音声などのデータを分割せずに格納したファイルフォーマットである。
図4(b)に示すノンフラグメンテッド(非分割型)MP4ファイルには、以下のタイプのボックスが設定される。
moovボックス、
trakボックス、
mdatボックス、
上記の各ボックスが設定される。
mdatボックスにはは、再生対象となる実データが格納される。
moovボックスには、再生対象データである実データ(mdat)に対応して設定されるメタデータ、例えば再生対象実データ(mdat)の属性や再生制御情報を含むメタデータが格納される。
moovボックス内に設定されるtrakボックスには、実データ(mdat)の再生シーケンス情報等が格納される。
前述の(a)フラグメンテッド(分割型)MP4ファイルと同様、(b)ノンフラグメンテッド(非分割型)MP4ファイルに設定されるmoovボックス内にも1つ以上のtrakボックスが設定される。各trakボックスは、例えば画像、音声、字幕等のデータ種類別に設定される。
図4は、MP4フォーマットの基本構成例を示している。
MP4フォーマットに関する規格化団体であるDECE(Digital Entertainment Content Ecoststem)は、MP4ベースの新たなファイルフォーマットとしてCFF(Common File Format)を規格化した。このCFFについて、図5を参照して説明する。
図5に示すCFF(Common File Format)は、基本的には、図4(a)を参照して説明した分割型(fragmented movie)MP4と同様のデータ構成を有する。
すなわち、図5に示すCFF(Common File Format)ファイルには、先に説明した図4(a)のフラグメンテッド(分割型)MP4ファイルと同様、以下の各ボックスが設定される。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
各ボックスの格納データは、図4(a)のフラグメンテッド(分割型)MP4ファイルとほぼ同様である。
ただし、CFFでは、各mdatボックスには、1つの種類のデータのみを格納するという制約が設けられている。
すなわち、各mdatボックスには、
(a)画像
(b)音声
(c)字幕
これらのデータのいずれか一種類のデータを格納する。上記(a)〜(c)のデータを混在させて格納してはならないという制約がある。
なお、CFFファイルに複数の異なる画像データ、例えばHD画像、4K画像等が含まれる場合には、これらの異なる画像は、異なるmdatボックスに格納する。
同様に、異なる音声データ、例えば日本語音声、英語音声等についても個別のmdatボックスに格納し、日本語字幕、英語字幕等についても異なるmdatボックスに格納する。
図4(a)に示す一般的なフラグメンテッド(分割型)MP4ファイルでは、1つの分割データ(フラグメント)の格納ボックスとして設定されるmdatボックスに、画像、音声、字幕等の異なる種類のデータを混在させて格納することが許容されていた。
しかし、図5に示すCFF(Common File Format)では、1つのmdatボックスには、1つの種類のデータのみしか格納してはならないという制約が設けられている。
すなわち、画像、音声、または字幕のいずれか一種類のデータのみが各mdatボックスに個別に格納される。
従ってmdatボックス対応のメタデータ格納領域であるmoofボックスも、画像、音声、字幕いずれか一種類のデータに対応して設定されるメタデータを格納する設定となる。
なおMP4フォーマットのデータ部であるmdatボックスの格納データは、基本データ単位としてのサンプル(sample)に区分される。
CFF(Common File Format)では、1つのmdatボックスには画像サンプルのみの集合、あるいは音声サンプルのみの集合、または字幕サンプルのみの集合、いずれか同一種類のデータサンプルの集合が格納されることになる。
さらに、DECEの規定したCFFでは、CFFファイルに格納することを許容する画像、音声、字幕の符号化態様(コーデック)やデータ形式についても規定している。
CFFファイルに格納することが許容されるデータ形式には、例えば、以下のデータ形式がある。
画像(Video):AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声(Audio):MPEG−4−AAC、Dolby、AC−3
字幕(subtitle):SMPTE Timed Text(SMPTE−TT)
[2.MPEG−2TSをMP4に変換する場合の問題点について]
例えばBD(Blu−ray(登録商標) Disc)に記録されたMPEG−2TSフォーマットデータ、あるいは、ネットワークや放送波を介して入力するMPEG−2TSフォーマットデータを、MP4フォーマットに変換してフラッシュメモリ等のメディアに記録する処理を行う場合の問題点について説明する。
なお、以下では、MPEG−2TSと、MP4の両フォーマットにおいて格納することが許容されたAVCまたはHEVC符号化画像データの変換処理例について説明する。
すなわち、BD等のメディアにMPEG−2TSフォーマットに従って格納されたAVCまたはHEVC符号化画像データを、MP4フォーマットデータに従った符号化データ格納形式に変換してフラッシュメモリ等のメディアに記録する場合の処理例について説明する。
まず、図6を参照してAVCまたはHEVC符号化画像データの基本構成について説明する。
例えば1枚の画像データ(1ピクチャ)に対応する符号化データ、およびその復号処理等に適用するパラメータ等は、複数のNALユニット(Network Abstruction Layer Unit)に格納される。
1枚の画像データ対応のNALユニットのセットをアクセスユニット(AU)と呼ぶ。
すなわち、AVC符号化画像データ、およびHEVC符号化画像データは、図6(A)に示すように、複数のNALユニットによって構成される。
各NALユニットは、NALヘッダとNALデータを有し、NALヘッダにはNALユニットのデータ種類識別情報等、NALデータに対応する属性情報(メタデータ)が格納される。
各NALユニットには、画像の符号化データの他、例えば符号化データのシーケンス情報や復号処理に適用するためのパラメータなどが格納される。
各NALユニットに格納されるデータの種類は、NALヘッダのIDによって識別される。
NALユニットに格納されるデータは、例えば以下のデータである。
(1)AU delimiter(AUD):アクセスユニット(AU)の開始位置
(2)SPS:シーケンスパラメータ
(3)PPS:ピクチャパラメータ
(4)SEI:各種補助情報
(5)Slice data:符号化画像(ビデオ)データの構成要素
(6)Filler data:サイズ調整用データ
(7)End of **:アクセスユニット(AU)の終点位置
これらのデータが各NALユニットに格納される。
符号化データの格納形式(コンテナフォーマット)を規定したMPEG−2TSフォーマット、およびMP4フォーマットは、いずれもAVC符号化画像データ、あるいはHEVC符号化画像データを格納する場合、図6に示すNALユニットを各フォーマットに従って格納する。
図7は、これら2つのフォーマットに従ったNALユニット格納例を示している。
図7(1)はMPEG−2TSフォーマットに従ったNALユニットの格納例であり、バイトストリームフォーマット(byte stream format)と呼ばれる。
図7(2)は、MP4フォーマットに従ったNALユニットの格納例であり、サンプルストラクチャ(sample structure)と呼ばれる。
図7(1)に示すMPEG−2TSフォーマットでは、各NALユニットの前方位置にスタートコード(SC:Start code)が設定される。
このスタートコード(SC)は、NALユニットの開始位置を示す識別子であり、特定のビット列(0x000001)によって構成される。
MPEG−2TSフォーマットデータの処理を行なう例えば再生装置は、このスタートコード(SC)のコード(0x000001)を検出して、SCの次の位置がNALユニット開始位置であると識別することができる。この識別処理によって、正確にNALユニット構成データを抽出することが可能となる。
一方、図7(2)に示すMP4フォーマットでは、各NALユニットの前方位置にレングス情報(Length)が設定される。
このレングス情報(Length)は、次のNALユニットのデータ長(サイズ)を示すデータであり、各NALユニットのデータ長(サイズ)が格納される。
MP4フォーマットデータの処理を行なう例えば再生装置は、このレングス情報(Length)に基づいて、次の位置からのNALユニットのデータ長を判別して、データ長(サイズ)に従って、NALユニット構成データを抽出することが可能となる。
なお、NALユニットは様々なデータ長に設定可能であり、各NALユニットの長さは異なるものとなる。
図7(1),(2)に示すように、AVC/HEVC画像符号化データを格納したMPEG−2TSフォーマットと、MP4フォーマットは異なるフォーマットとなる。
具体的には、MPEG−2TSのスタートコード(SC)が、MP4フォーマットでは、レングス情報(Length)に置き換えられている。
NALユニットについては、MPEG−2TS、MP4フォーマットのいずれにも格納される。
従って、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換する場合には、MPEG−2TSのスタートコード(SC)の位置を正確に判別して、MPEG−2TSフォーマットデータからNALユニットを確実に取得してMP4フォーマットデータの構成データとして設定する処理が必要となる。
しかし、既存のBD−ROMのBDMV規格では、先に図3を参照して説明したアラインドユニット(Aligned Unit(6144bytes))単位で暗号化することを規定している。この規定に従うと、スタートコード(SC)も暗号化されて記録されることになる。
MPEG−2TSからMP4への変換処理を行なうためには、スタートコード(SC)の位置識別が必要となるため、一旦、アラインドユニット単位の暗号化データの復号を行い、スタートコード(SC)(=0x000001))を確認することが必要となる。
このように、MPEG−2TSからMP4へのフォーマット変換時にデータを復号し、スタートコード(SC)(=0x000001))を確認し、さらに、再暗号化してMP4フォーマットに変換してフラッシュメモリに記録するのは、ユーザ装置における処理負荷を増大させることになる。また、変換時の復号処理によって、平文コンテンツが漏えいする可能性も大きくなり、コンテンツ著作権保護の観点からも好ましくない。
このような問題を解決するため、ISO23001−9(策定中)では、新たなBD−ROM用の規格が準備されている。具体的には、MPEG−2TSの暗号化方法を変更し、MPEG−2TSの一部の構成データのみを暗号化するサブサンプル暗号を許容する規格を認める方向としている。
この新しい規格では、MPEG−2TS内のスタートコード(SC)を暗号化対象から除き、MPEG−2TSに含まれるスタートコード(SC)を平文としてMPEG−2TSに記録することを許容するものである。
これは、秘匿性の高い画像データについては暗号化対象として、スタートコード(SC)等の付随データについては、非暗号化データ(平文)とすることを許容するものである。
このサブサンプル暗号化を施したMPEG−2TSの構成例を図8に示す。
図8は、1ピクチャ単位の符号化画像データとメタデータによって構成される1つのアクセスユニット(AU)単位のMPEG−2TSフォーマットデータであり、符号化画像データの領域のみを暗号化したデータ、すなわちサブサンプル暗号化を施したMPEG−2TSの例を示している。
スタートコード(SC)は、非暗号化データであり、特定のコード(0x000001)がそのまま維持されている。従って、MPEG−2TSからMP4への変換を行う装置は、MPEG−2TSからスタートコード(SC=0x000001)を検出し、SCに続くNALユニットを抽出して、NALユニットをMP4の構成データとして設定することが可能となる。
NALユニット内の符号化画像データは暗号化されたデータであるので、データ漏えいの可能性も少なく安全なフォーマット変換および記録処理が可能となる。
しかし、ここで、新たな問題が発生する。
この問題点について、図9を参照して説明する。
図9には、以下の2つのアクセスユニット(AU)を示している。
(1)サブサンプル暗号化前のアクセスユニット(AU)対応のMPEG−2TS
(2)サブサンプル暗号化後のアクセスユニット(AU)対応のMPEG−2TS
図9(2)のMPEG−2TSは、図8(1)に示す暗号化前のMPEG−2TSに対して、図8を参照して説明したサブサンプル暗号化を施した結果である。すなわち、符号化画像データの領域のみを暗号化したサブサンプル暗号化を施したMPEG−2TSの例である。
図9(2)に示す暗号化後のMPEG−2TSにおいて、スタートコード(SC)は、非暗号化データであり、SCデータであることを示すコード(0x000001)を有する。
しかし、暗号化画像データの構成データである暗号化スライスデータ(Encrypted slice data)中にも、スタートコード(SC)と同じビット列(0x000001)が発生してしまう可能性がある。
この暗号化スライスデータ(Encrypted slice data)中のビット列(0x000001)は、何らかの画像構成データの暗号化処理によって偶然、生成されたビット列である。
MPEG−2TSからMP4フォーマットへの変換処理を実行する装置は、この暗号化スライスデータ(Encrypted slice data)中のビット列(0x000001)をスタートコード(SC)として誤認識してしまう可能性がある。
このような誤認識が発生すると、MP4へのフォーマット変換が正しく実行されず、誤ったMP4フォーマットデータが生成されてしまう。
[3.MPEG−2TSからMP4へのフォーマット変換を正しく実行するための構成について(実施例1)]
上述したように、スタートコード(SC)を暗号化しないサブサンプル暗号化を実行した場合でも、スタートコード(SC)以外のデータ領域内、例えば画像の暗号化データ中にスタートコード(SC)と同一のビット列が発生する可能性がある。
このように、暗号化処理によって偶然、スタートコード(SC)と同一のビット列が発生し、このビット列をスタートコード(SC)として判断してしまうと、MPEG−2TSからMP4への正しいフォーマット変換が不可能になる。
以下、この問題点を解決し、MPEG−2TSからMP4へのフォーマット変換を正しく実行することを可能とした実施例について説明する。
図10は、本実施例にかかるMPEG−2TSの構成例を示す図である。
図10(1)には、MPEG−2TSを構成する複数のTSパケットとして、3つのTSパケット(P1〜P3)を示している。
各TSパケット(P1〜P3)はTSパケットヘッダとTSペイロードによって構成される。
本実施例では、TSパケットのTSペイロードの先頭位置にスタートコード(SC)が設定されているか否かを識別する識別子を、TSパケットヘッダに設定する。
TSパケットヘッダ内に設定されるトランスポートプライオリティ(Transport priority)の値を、TSペイロードの先頭位置にスタートコード(SC)が設定されているか否かに応じて異なる値とする。
具体的には、例えば以下の設定とする。
(a)TSペイロードの先頭位置にスタートコード(SC)がある場合、トランスポートプライオリティ=1とする。
(b)TSペイロードの先頭位置にスタートコード(SC)がない場合、トランスポートプライオリティ=0とする。
なお、本実施例構成において、MPEG−2TSフォーマット内の全てのスタートコード(SC)は、TSペイロードの先頭位置のみに設定が許容される。TSペイロードの先頭部以外の位置、例えば、ペイロードの中間位置や後半位置には設定しないものとする。このためのデータ調整処理については後述する。
TSパケットヘッダは、先に図3を参照して説明したように、図10(2)に示すデータ構成を有する。
TSパケットヘッダ内に含まれるトランスポートプライオリティ(Transport priority)は、様々な用途に利用可能な領域である。
本実施例では、このトランスポートプライオリティ(Transport priority)を、各TSパケットのTSペイロードの先頭がスタートコード(SC)であるか否かを示すスタートコード(SC)位置識別子を記録する領域とした。
図10(1)に示す3つのTSパケットにおいて、各TSパケットヘッダのトランスポートプライオリティの値は以下の設定となる。
(1)TSパケット(P1)=1(TSペイロードの先頭にSCがある)
(2)TSパケット(P2)=1(TSペイロードの先頭にSCがある)
(3)TSパケット(P3)=0(TSペイロードの先頭にSCがない)
MPEG−2TSからMP4へのフォーマット変換処理を実行する変換装置は、MPEG−2TSを構成する各TSパケットのTSパケットヘッダのトランスポートプライオリティ(Transport priority)の設定値を確認する。
この設定値確認処理の結果、トランスポートプライオリティ(Transport priority)の値が[1]であることが確認された場合は、そのTSパケットのTSペイロードの先頭にスタートコード(SC)があると判断する。
すなわち、ペイロードの先頭にスタートコード(SC)があり、その後続位置にNALユニットの構成データがあると判断し、スタートコード(SC)に後続する位置のNALユニットを取得してMP4の構成データとして設定する。
一方、TSパケットのTSパケットヘッダのトランスポートプライオリティ(Transport priority)の設定値が[0]であることが確認された場合は、そのTSパケットのTSペイロードの先頭にはスタートコード(SC)がないと判断する。
すなわち、そのTSパケットのペイロード先頭はスタートコード(SC)ではなく、ペイロードは先頭からNALユニットの構成データであると判断する。
変換装置は、先頭にスタートコードを持たないペイロード内のNALユニット構成データは、先行TSパケットのペイロードのNALユニットと同じNALユニットの構成データであると判断する。
変換装置は、このペイロード内のNALユニットを取得して、MP4の構成データとして設定する。
この例は、図10(1)に示すTSパケット(P3)に対する処理例に相当する。
次に、図11を参照して、MPEG−2TSフォーマットからMP4フォーマットへの変換処理を行なう変換装置における具体的処理例について説明する。
変換装置は、MPEG−2TSフォーマットデータを構成する各TSパケットのTSパケットヘッダ内に設定されたトランスポートプライオリティの値を参照して、MP4への変換処理を行なう。
図11には、以下の2つのデータ構成を示している。
(1)変換前のMPEG−2TSフォーマットデータ
(2)変換後のMP4フォーマットデータ
変換装置は、図11(1)に示すMPEG−2TSフォーマットデータを入力して、フォーマット変換を実行して図11(2)に示すMP4フォーマットデータを生成する。
図11には、(1)MPEG−2TSフォーマットデータの構成データであるTSパケット(P2)と、TSパケット(P3)に対する変換処理の詳細を示している。
変換装置は、TSパケット(P2)の処理に際して、TSパケット(P2)のTSパケットヘッダ内に設定されたトランスポートプライオリティの値を参照する。
TSパケット(P2)のトランスポートプライオリティの値は[1]である。
変換装置は、この値に基づいて、TSパケット(P2)のTSペイロードの先頭データがスタートコード(SC)であると判断する。
変換装置は、この判断に基づいて、TSパケット(P2)のペイロードの先頭のスタトコード(SC)に後続するTSペイロードをNALユニット構成データであると判断して、このNALユニット構成データを抽出し、抽出データをMP4フォーマットデータの構成データとして設定する。
このデータが、図11(2)MP4フォーマットデータに示すデータ部c〜dの構成データとなる。
さらに、変換装置は、次のTSパケット(P3)の処理に際して、TSパケット(P3)のTSパケットヘッダ内に設定されたトランスポートプライオリティの値を参照する。
TSパケット(P3)のトランスポートプライオリティの値は[0]である。
変換装置は、この値に基づいて、TSパケット(P3)のTSペイロードの先頭データがスタートコード(SC)でないと判断する。
変換装置は、この判断に基づいて、TSパケット(P3)のペイロードは、先行するTSパケット(P2)のペイロードに含まれるNALユニットの後続データであると判断する。
変換装置は、この判断に基づいて、TSパケット(P3)のペイロードを抽出し、抽出データを、図11(2)MP4フォーマットデータのNALユニット構成データとして設定する。
TSパケット(P3)のペイロードは、先行して処理を行なったTSパケット(P2)からの抽出NALユニット構成データを格納した図11(2)MP4フォーマットデータに示すデータ部c〜dの後続位置:d〜eに格納する。
なお、図11には示していないが、図11(1)のMPEG−2TSのTSパケット(P3)に後続するTSパケット(P4)のトランスポートプライオリティの値が1であれば、図11(2)に示すMP4のデータ位置eが1つのNALユニットの終端位置となる。
一方、TSパケット(P4)のトランスポートプライオリティの値が0であれば、図11(2)に示すMP4のデータ位置eの後に、さらに、TSパケット(P4)のペイロードが格納されることになる。
なお、変換装置は、この変換処理に際して、MP4フォーマットで規定されるレングス(L:Length)を記録する必要がある。すなわち、MP4フォーマットデータに格納する各NALユニットのサイズを、図11(2)に示すMP4フォーマットデータのレングス情報(L)として記録しなければならない。
このレングス設定処理の具体例については後述する。
図11に示すフォーマット変換処理において、例えば図11(1)に示すTSパケット(P2)や、TSパケット(P3)のTSペイロードは、暗号化画像データである暗号化スライスデータ(Encrypted slice data)を含む。この暗号化スライスデータ(Encrypted slice data)には、スタートコード(SC)と同じビット列(0x000001)が含まれる可能性がある。
しかし、本実施例では、変換装置は、スタートコード(SC)のコードを示すビット列(0x000001)の検出のみに依存したスタートコード(SC)判定処理を実行しない。
各TSパケットのTSパケットヘッダ内のトランスポートプライオリティの値に基づいてスタートコード(SC)の位置を判別する。
従って、図11(1)に示すように、TSパケットのTSペイロードとして格納された暗号化画像データである暗号化スライスデータ(Encrypted slice data)内にスタートコード(SC)と同一のビット列(0x000001)が含まれていても、これをスタートコード(SC)であると誤認識することがない。
この処理によって、確実なNALユニットの抽出処理、およびフォーマット変換処理が可能となり、正しいMP4フォーマットデータを生成することが可能となる。
図12は、MPEG−2TSフォーマットにおいて規定されるPESパケット、すなわち、1つの画像フレームに相当する1ピクチャに関する符号化データおよびそのメタデータを格納したPESパケットの構成データについての、MPEG−2TSフォーマットデータと、MP4フォーマットデータとの対応について説明する図である。
図12(2)に示すPESパケットは、1つの画像フレーム(1ピクチャ)に対応する画像データとその復号処理に適用する情報等からなるメタデータをペイロードとして格納したパケットである。
このPESパケットは、図12(1)に示すように複数のTSパケットによって構成される。
この1つのTSパケット(Pn)の詳細構成例を図12(3)に示す。
図12(3)に示すTSパケット(Pn)は、TSパケットヘッダのトランスポートプライオリティの値が[1]、すなわち、このTSパケット(Pn)のペイロードの先頭位置にスタートコード(SC)が存在することを示している。
図12(4)は、MPEG−2TSフォーマットデータを構成するTSパケットからTSペイロードのみを取り出して並べたデータ列である。
これは、AVCまたはHEVC符号化データのES(エレメンタリストリーム)バイトストリームフォーマット(AVC/HEVC ES byte stream format)データに相当する。
MPEG−2TSフォーマットからMP4フォーマットへの変換を行う場合は、この図12(4)に示すバイトストリームデータを、図12(5)に示すMP4対応のMP4サンプルストラクチャ(AVC/HEVC sample structure)に変換することになる。
この変換処理に際して、図12(4)のESバイトストリームフォーマット内のスタートコード(SC)の位置を正確に検出する必要がある。
本開示の処理では、このスタートコード(SC)の位置を、MPEG−2TSの各TSパケットのTSパケットヘッダ内のトランスポートプライオリティの値に基づいて判定する。
従って、例えば図12(4)に示すESバイトストリームフォーマットに含まれる暗号化データ(Encrypted slice data)にスタートコード(SC)と同様のビット列(0x000001)が含まれていても、このビット列をスタートコード(SC)と誤認識することなく、図12(5)に示す正しいMP4フォーマットデータを生成することが可能となる。
[4.MP4フォーマットにおけるレングス情報の算出例について]
先に説明したように、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換する場合、MPEG−2TSフォーマットデータのスタートコード(SC)を、MP4フォーマットデータのレングス情報(L:Length)に置き換えることが必要となる。
MP4フォーマットデータのレングス情報(L:Length)は、後続のNALユニットの長さ、すなわちサイズを示す情報である。
従って、変換装置は、MP4フォーマットデータに設定する各NALユニットのサイズを算出または取得する必要がある。
図13を参照して変換装置が実行するNALユニットのレングス情報(L:length)の算出処理の一例について説明する。
図13(1)は、図12(4)に示したデータと同様のデータである。すなわち、は、MPEG−2TSフォーマットデータを構成するTSパケットからTSペイロードのみを取り出して並べたデータである。
これは、AVCまたはHEVC符号化データのES(エレメンタリストリーム)バイトストリームフォーマット(AVC/HEVC ES byte stream format)データに相当する。
MPEG−2TSフォーマットからMP4フォーマットへの変換を行う場合は、この図13(1)に示すバイトストリームデータを、図13(3)に示すMP4対応のMP4サンプルストラクチャ(AVC/HEVC sample structure)に変換することになる。
変換装置は、TSパケットのヘッダのトランスポートプライオリティの値に基づいて、図13(1)に示すバイトストリームデータから、スタートコード(SC)の位置を判別する。
次に、各スタートコードの間のデータをNALユニットとして抽出する。このSC間のデータのデータ長をNALユニットのデータ長(サイズ)として算出する。
この算出値を図13(3)に示すMP4フォーマットデータのレングス情報(L:Length)として設定する。
変換装置は、例えばこの図13に示す処理に従って各NALユニットのデータ長(サイズ)を算出する。すなわち、エレメンタリストリーム(ES)のスタートコード(SC)間のデータ長を1つのNALユニットのデータ長として算出し、この算出値をMP4フォーマットデータのレングス情報(L:Length)として設定する。
なお、図13に示すレングス算出処理例は、一例であり、この他の方法を適用してもよい。
例えば、予め各NALユニットのサイズ情報を記録したデータを別に保持する設定として、この記録情報を利用する構成としてもよい。
[5.TSパケットのデータ長の制約に対する対応について]
先に、図3他を参照して説明したように、MPEG−2TSフォーマットのTSパケットは、パケットサイズが188バイトに規定されている。
従って、上述した実施例に従って、スタートコード(SC)を必ず、TSパケットのペイロードの先頭に設定するためにはデータの調整が必要となる。
図14を参照して、この調整処理について説明する。
上述した実施例に従って、スタートコード(SC)を、必ずTSパケットのペイロードの先頭に設定するため、いわゆるダミーデータの設定領域であるアダプテーションフィールド(adaptation field)を利用する。
データ調整を行わず、MPEG−2TSの構成データを188バイトのTSパケットのペイロードに格納すると、スタートコード(SC)の設定位置は、TSペイロードの様々な位置に設定されてしまう。
例えば、図14(1)に示すように、スタートコード(SC)はTSパケットのペイロードの先頭ではない位置に設定される場合がある。
このような事態を防止するため、MPEG−2TSのデータ作成時に、すべてのスタートコード(SC)がTSパケットのペイロード先頭に位置するようにデータ調整を行う。
このデータ調整に、TSパケットの構成要素であるアダプテーションフィールド(adaptation field)を用いる。
アダプテーションフィールドはTSパケットの構成データであり、様々なデータ長のダミーデータの格納領域として利用できる。
このアダプテーションフィールドに様々なデータ長のダミーデータを格納して、全てのスタートコード(SC)がTSパケットのペイロードの先頭に位置するようにする。
具体的には、MPEG−2TSフォーマットデータを生成する情報処理装置は、例えば、図14(1)に示す設定を有するデータに対して、図14(2)に示すように、TSパケット(P1)にデータ長を調整したアダプテーションフィールドを設定する。この処理により、スタートコード(SC)を、次のTSパケット(P2)のペイロードの先頭に位置させることが可能となる。
このように、MPEG−2TSフォーマットデータを生成する情報処理装置は、MPEG−2TSフォーマットデータの生成時に、データ長を調整したアダプテーションフィールドを持つTSパケットを生成する。この処理により、全てのスタートコード(SC)がTSパケットのペイロード先頭に位置するMPEG−2TSフォーマットデータを生成する。
さらに、TSパケットのTSパケットヘッダのトランスポートプライオリティに、TSペイロード先頭がスタートコード(SC)である場合は、[1]、そうでない場合は[0]を設定する処理を行なう。
このような処理によって生成したMPEG−2TSフォーマットデータを利用してMP4変換を行なうことで、上述した実施例に従った処理が可能となり、正しいフォーマット変換が実現される。
[6.スタートコード(SC)位置識別用のTSパケットを設定した例について(実施例2)]
上述した実施例1は、MPEG−2TSのTSパケットのTSパケットヘッダ内のトランスポートプライオリティの値をスタートコード(SC)の位置識別子として用いた実施例である。
次に、上記構成とは異なる構成を用いてスタートコード(SC)の位置を識別可能とした実施例2について説明する。
図15は、本実施例2に従ったMPEG−2TSフォーマットに従ったTSパケットの構成について説明する図である。本実施例2においても、MPEG−2TS内のスタートコード(SC)の位置を確実に検出することが可能となる。
MPEG−2TSフォーマットに従ったデータを生成する場合、MPEG−2TSフォーマットデータを生成する生成装置や記録装置は、まず、先に図14を参照して説明したアダプテーションフィールド(adaptation field)のデータ長を調整して、全てのスタートコード(SC)をTSパケットのペイロード先頭に位置するように調整したMPEG−2TSフォーマットデータを生成する。
図15(1)に示す「アダプテーションフィールドを利用してSC位置を調整したMPEG−2TS」である。
さらに、この(1)に示すMPEG−2TSに対して、ペイロード先頭にスタートコード(SC)を有するTSパケットの前に、追加TSパケットを設定する。
図に示す例では、TSパケット(P2)がペイロード先頭にスタートコード(SC)を有するTSパケットである。
このTSパケット(P2)の前に追加TSパケット(Padd)を追加する。
この追加されたTSパケット(Padd)は、ダミーデータであるアダプテーションフィールドのみからなるデータとしてもよいし、その他の特定の情報をペイロードとして含むパケットとしてもよい。
この追加TSパケット(Padd)が、スタートコード(SC)位置識別用パケットとなる。
この追加TSパケット(Padd)のTSパケットヘッダ中のPIDフィールドには、特定のプログラムID(PID)を設定する。すなわち、スタートコード(SC)位置識別用パケットであることが判別できるPID、例えば(PID=xxx)を設定する。
例えばMPEG−2TSからMP4への変換処理を実行する変換装置は、MPEG−2TSを構成する各TSパケットのTSパケットヘッダを参照し、PIDにスタートコード(SC)位置識別用パケットであることを示す識別子(PID=xxx)が設定されているパケットが検出された場合、そのパケットの次のパケットがペイロード先頭にスタートコード(SC)を持つパケットであると判定する。
このような構成により、変換装置は、確実にMPEG−2TSフォーマットデータからスタートコード(SC)を抽出することが可能となり、スタートコードの後に設定されたNALユニットを確実に抽出することができる。
[7.フォーマット変換を行う情報処理装置の構成例について]
次に、上述した実施例に従った処理を実行する装置の構成例について図16以下を参照して説明する。
図16に示す情報処理装置は、第1メディア110に記録されたMPEG−2TSフォーマットデータを変換して生成したMP4フォーマットデータを第2メディア120に記録する変換装置である。
情報処理装置100は、例えばBD(Blu−ray(登録商標) Disc)等の情報記録媒体である第1メディア110に記録されたデータを読み出し、フラッシュメモリ等の情報記録媒体である第2メディア120に記録する、いわゆるコピー処理を行なう。
あるいは、通信部103を介して入力したデータをフラッシュメモリ等の第2メディア120に記録する処理を行なう。
なお、第1メディア110、あるいは通信部103を介して入力するデータのデータフォーマットを第1フォーマット、第2メディア120に対して記録するデータのフォーマットを第2フォーマットとする。
情報処理装置は、第1メディア110、あるいは通信部103を介して入力する第1フォーマットのデータをフラッシュメモリ等の第2メディア120に記録する際に、第1フォーマットデータを第2フォーマットデータに変換する処理を行なう。
なお、上述した実施例では、第1メディア110、または通信部103から入力するデータのフォーマットはMPEG−2TSフォーマットであり、第2メディアの記録フォーマットはMP4フォーマットである。
情報処理装置100は、第2メディア120に対するデータ記録処理に際して、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行する。
情報処理装置100は、図16に示すように、制御部101、入力部102、通信部103、記憶部104、出力部105、第1メディアIF(インタフェース)106、データバッファ107、データ変換部108、第2メディアIF109を有する。
制御部101は、メディアを利用したデータ記録再生、メディア間のデータコピー処理等、情報処理装置100において実行するデータ処理の制御を行う、これらの制御は、例えば記憶部104に格納されたプログラム従って行われる。
入力部102は、ユーザの操作可能なスイッチ、ボタン、タッチパネル等の入力部であり、再生、コピー、記録等の様々な処理の指示入力などを行う入力部である。
また、入力部102は、メディアに記録する画像や音声等を入力する撮像部、マイクを持つ構成としてもよい。
通信部103は、例えば外部サーバ、あるいは外部機器との通信を行い、メディアに対する記録データや、記録データに関する制御情報、あるいはコピー処理の許可情報の取得など、各種の通信処理に利用される。
記憶部104は、制御部101の実行するプログラムや、プログラム実行に用いるパラメータ等の記憶領域、さらにプログラム実行時のワーク領域等に利用される。
具体的には、第2メディア120に対するデータ記録時に第1メディア110から読み出したデータ、あるいは通信部103を介して入力したデータを一時的に格納する領域としても利用される。
記憶部104は、例えばRAM、ROM等によって構成される。
出力部105は、外部装置に対する出力部や、メディアからの再生データの出力部によって構成される。例えば、第2メディア120に対するデータ記録処理の進行状況の表示、ユーザに対するメッセージ表示などに利用され、ディスプレイやスピーカ等を含む。
第1メディアインタフェース(IF)106は、例えばBD(Blu−ray(登録商標) Disc)等の第1メディア110に対するアクセスを行い、第1メディア110に対するデータ記録やデータ読み取りを行なうデータ記録再生部として機能するインタフェースである。
データバッファ107は、第1メディア110からの読み出しデータや、通信部103から入力するデータを一時的に格納するバッファである。例えば第2メディア120に記録するデータを一時的に格納する。
データ変換部108は、第1メディア110の記録データ、あるいは通信部103を介して入力するデータのフォーマットである第1フォーマットのデータを、データ記録先である第2メディア120に記録する際のデータフォーマットである第2フォーマットに変換するフォーマット変換処理を実行する。
第2メディアインタフェース(IF)109は、第2メディア120に対するアクセスを行い、第2メディア120に対するデータ記録あるいは読み取り処理を行なうデータ記録再生部として機能するインタフェースである。
このように、情報処理装置100は、第1メディア110、あるいは通信部103を介して入力する第1フォーマットのデータをフラッシュメモリ等の第2メディア120に記録する処理を行なう。この処理の際に、第1フォーマットデータを第2フォーマットデータに変換する処理を行なう。
なお、第1フォーマットとは、例えはMPEG−2TSフォーマットデータであり、第2フォーマットは、MP4フォーマットデータである。
なお、情報処理装置100は、第1メディア110から取得出来ないデータのみを外部のサーバから通信部103を介して取得し、第1メディア110からの読み取りデータと、通信部103を介して取得した受信データを併せて第2メディア120に記録する処理を行なってもよい。
また、図16に示す構成において、第1メディア110は、例えば、BD(Blu−ray(登録商標) Disc)である。第2メディア120は、例えばSDカード等のフラッシュメモリである。
なお、第1メディア110、第2メディア120は、上記の組み合わせに限らず、様々な組み合わせがせ可能である。
次に、図17を参照してデータ変換部108の詳細構成について説明する。
図17に示すように、データ変換部108は、データ解析部151、画像データ変換部152、音声データ変換部153、字幕データ変換部154、多重化処理実行部155を有する。
データ解析部151は、データバッファ107に格納された第1メディア110からの読み出しデータ、または通信部103を介して入力するデータ(パケット)に設定された識別子(PID:プログラムID)に基づいて、各データ(パケット)を、
画像データ、
音声データ、
字幕データ、
これら3種類のデータに分類する。
データ解析部151は、画像データを画像データ変換部152に出力し、音声データを音声データ変換部153に出力し、字幕データを字幕データ変換部154に出力する。
画像データ変換部152、音声データ変換部153、字幕データ変換部154は、入力データのデータフォーマットである第1フォーマット、例えばMPEG−2TSフォーマットデータを、第2メディア120に記録する第2フォーマット、具体的には例えばMP4形式のフォーマットデータに変換する処理を実行する。
すなわち、画像データ変換部152は、第2メディア120に対するデータ記録フォーマットであるMP4フォーマットの画像データを生成して多重化処理実行部155に出力する。
音声データ変換部153は、MP4フォーマットの音声データを生成して多重化処理実行部155に出力する。
字幕データ変換部154は、MP4フォーマットの字幕データを生成して多重化処理実行部155に出力する。
多重化処理部155は、
(a)画像データ生成部152の生成した第2フォーマット(MP4)形式の画像フォーマットデータ、
(b)音声データ生成部153の生成した第2フォーマット(MP4)形式の音声フォーマットデータ、
(c)字幕データ生成部154の生成した第2フォーマット(MP4)形式の字幕フォーマットデータ、
(d)記憶部104に格納した例えば再生制御情報ファイルから抽出したデータ、
例えば、これらの各データの多重化処理を実行して、第2フォーマット(MP4)形式の記録データを生成する。
多重化処理実行部155の生成データは、第2メディアインタフェース109を介して第2メディア120に記録される。
このように、情報処理装置100は、第1メディア110の記録データ、あるいは通信部103を介して入力する第1フォーマット(MPEG−2TSVフォーマット)のデータを、第2メディア120の記録フォーマットである第2フォーマット(MP4)に変換して、第2メディア120に記録する処理を実行する。
なお、画像データ変換部152は、データ解析部151がPIDに基づいて検出した画像データ対応のTSパケットについて、上述した実施例に従ったスタートコード(SC)検出処理を実行する。
具体的には、TSパケットのTSパケットヘッダに設定されたトランスポートプライオリティの値を参照して、各TSパケットのペイロードの先頭がスタートコード(SC)であるか否かを判定する。
さらに、画像データ変換部152は、各スタートコード(SC)に後続するNALユニットを抽出してMP4フォーマットデータの構成データとして設定するとともに、NALユニットのサイズを算出または取得してMP4フォーマットデータのレングス情報(L:Length)として設定する処理を行なう。
なお、先に図15を参照して説明した実施例2に従った処理を行なう場合は、画像データ変換部152は、MPEG−2TS中のTSパケットからPIDの設定等に基づいてSC位置識別用パケットを検出する。
検出したSC位置識別用パケットの次のTSパケットのペイロード先頭がSCであると判断して、MP4フォーマットへの変換処理を実行する。
[8.データ生成または記録処理を行なう情報処理装置の構成例について]
図18に示す情報処理装置は、上述した実施例に対応するMPEG−2TSフォーマットデータを生成する装置である。生成したデータは、第1メディア210に記録される。あるいは出力部205、通信部203を介して外部に出力する。
情報処理装置200は、図18に示すように、制御部201、入力部202、通信部203、記憶部204、出力部205、第1メディアIF(インタフェース)206、データ生成部207を有する。
制御部201は、メディアを利用したデータ記録再生処理等、情報処理装置200において実行するデータ処理の制御を行う、これらの制御は、例えば記憶部204に格納されたプログラム従って行われる。
入力部202は、ユーザの操作可能なスイッチ、ボタン、タッチパネル等の入力部であり、再生、コピー、記録等の様々な処理の指示入力などを行う入力部である。
また、入力部202は、メディアに記録する画像や音声等を入力する撮像部、マイクを持つ構成としてもよい。
通信部203は、例えば外部サーバ、あるいは外部機器との通信を行い、メディアに対する記録データや、記録データに関する制御情報、あるいはコピー処理の許可情報の取得など、各種の通信処理に利用される。
記憶部204は、制御部201の実行するプログラムや、プログラム実行に用いるパラメータ等の記憶領域、さらにプログラム実行時のワーク領域等に利用される。
具体的には、第1メディア210に対する記録用データ、あるいは通信部203を介して入力したデータを一時的に格納する領域としても利用される。
記憶部204は、例えばRAM、ROM等によって構成される。
出力部205は、外部装置に対する出力部や、第1メディア210からの再生データの出力部であるディスプレイやスピーカ等によって構成される。
第1メディアインタフェース(IF)206は、例えばBD(Blu−ray(登録商標) Disc)等の第1メディア210に対するアクセスを行い、第1メディア210に対するデータ記録やデータ読み取りを行なうデータ記録再生部として機能するインタフェースである。
データ生成部207は、MPEG−2TSフォーマットデータの生成を行う。
このデータ生成においては、上述した実施例に従ったデータ構成を持つTSパケットを持つMPEG−2TSフォーマットデータを生成する。
具体的には、スタートコード(SC)を全てTSパケットのペイロード先頭に位置する設定とし、さらに、TSパケットのペイロードの先頭がスタートコード(SC)であるパケットのヘッダのトランスポートプライオリティの値を[1]とする。また、TSパケットのペイロードの先頭がスタートコード(SC)でないパケットのヘッダのトランスポートプライオリティの値は[0]とする。
なお、先に図15を参照して説明した実施例2に従った処理を行なう場合は、データ生成部207は、MPEG−2TS中、ペイロード先頭がスタートコード(SC)であるTSパケットの前段にスタートコード(SC)位置識別用パケットを追加する処理を行なう。
この追加TSパケットのPIDは、スタートコード(SC)位置識別用パケットであることを識別可能とした特定のPIDとする。
データ生成部207の生成したMPEG−2TSフォーマットデータは、第1メディア210に記録される。あるいは、通信部203、または出力部205を介して外部に出力される。
[9.フォーマット変換処理のシーケンスについて]
次に、図19、図20を参照してMPEG−2TSフォーマットから、MP4フォーマットへの変換処理を実行する変換装置の実行する処理シーケンスについて、図19、図20に示すフローチャートを参照して説明する。
図19、および図20に示すフローに従った処理は、図17に示すデータ変換部108において実行する処理である。
データ変換部108は、例えば記憶部に格納されたプログラムに従って、図19、または図20に示すフローに従った処理を実行する。
図19に示すフローは、TSパケットのTSパケットヘッダに設定されたトランスポートプライオリティの値を参照して、各TSパケットのペイロードの先頭がスタートコード(SC)であるか否かを判定する処理を行なう場合の処理フローである。
図20は、先に図15を参照して説明した実施例2に従った処理を行なう場合のフローであり、MPEG−2TS中のTSパケットからPIDの設定等に基づいてSC位置識別用パケットを検出する処理を行なう場合の処理フローである。
まず、図19に示すフローに従った処理シーケンスについて説明する。
(ステップS101)
ステップS101において、変換対象データを含むMPEG−2TSフォーマットデータを入力する。
例えばBD等のメディア、あるいは通信部等を介して入力する。
(ステップS102)
ステップS102〜S108の処理は、入力したMPEG−2TSフォーマットデータ中の変換対象画像データがなくなるまで繰り返し実行する処理である。
まず、ステップS102において、入力したMPEG−2TSフォーマットデータ中に変換対象となる画像データが存在するか否かを判定する処理を実行する。存在する場合はステップS103に進む。存在しない場合は処理を終了する。
(ステップS103)
ステップS103では、データ解析部151が、TSパケットのヘッダに設定されたPIDに基づいて画像データ対応のデータを格納したTSパケットのみを選別して画像データ変換部152に出力する。
(ステップS104)
ステップS104において、画像データ変換部152は、TSパケットのヘッダのトランスポートプライオリティの値が[1]であるか否かを判定する。
[1]である場合は、ステップS105に進み、[0]である場合はステップS106に進む。
(ステップS105)
ステップS104において、TSパケットのヘッダのトランスポートプライオリティの値が[1]であると判定されると、ステップS105に進む。
ステップS105では、画像データ変換部152が、TSパケットのヘッダのトランスポートプライオリティの値が[1]であると判定されたTSパケットの処理を行なう。
画像データ変換部152は、TSパケットのペイロード先頭がスタートコード(SC)であると判断し、SC後のペイロードデータをNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
(ステップS106)
ステップS104において、TSパケットのヘッダのトランスポートプライオリティの値が[0]であると判定されると、ステップS106に進む。
ステップS106では、TSパケットのヘッダのトランスポートプライオリティの値が[0]であると判定されたTSパケットに対する処理を行なう。
画像データ変換部152は、TSパケットのペイロード先頭にはスタートコード(SC)が含まれないと判断し、ペイロードデータをNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
(ステップS107)
次の処理は、多重化処理部155の処理であり、ステップS105またはステップS106における画像データの変換データと、その他のデータとの多重化処理を実行する。
(ステップS108)
ステップS108では、変換処理の終了した画像データを変換対象データから除外する。
まだ、変換対象となる画像データが残っているときは、ステップS102以降の処理を繰り返す。
残存する変換対象データがないと判断した場合は、ステップS109に進む。
(ステップS109)
ステップS109では、生成したMP4フォーマットデータを出力する。生成したMP4フォーマットデータは、メディアに記録されるあるいは、通信部や出力部を介して外部に出力される。
次に、図20に示すフローチャートを参照して、先に図15を参照して説明した実施例2に従った処理を行なう場合の処理シーケンスについて説明する。
この処理は、MPEG−2TS中のTSパケットからPIDの設定等に基づいてSC位置識別用パケットを検出する処理を行なう場合の処理である。
(ステップS201)
ステップS201において、変換対象データを含むMPEG−2TSフォーマットデータを入力する。
例えばメディア、あるいは通信部等を介して入力する。
(ステップS202)
ステップS202〜S208の処理は、入力したMPEG−2TSフォーマットデータ中の変換対象画像データがなくなるまで繰り返し実行する処理である。
まず、ステップS202において、入力したMPEG−2TSフォーマットデータ中に変換対象となる画像データが存在するか否かを判定する処理を実行する。存在する場合はステップS203に進む。存在しない場合は処理を終了する。
(ステップS203)
ステップS203では、データ解析部151が、TSパケットのヘッダに設定されたPIDに基づいて画像データ対応のデータを格納したTSパケットのみを選別して画像データ変換部152に出力する。
(ステップS204)
ステップS204において、画像データ変換部152は、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されているか否かを判定する。
設定されている場合は、ステップS205に進み、設定されていない場合はステップS206に進む。
(ステップS205)
ステップS204において、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されていると判定されると、ステップS205に進む。
ステップS205では、画像データ変換部152が、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されているパケットの次のTSパケットを取得して取得したTSパケットのペイロード先頭がスタートコード(SC)であると判断する。
さらに、この取得したTSパケットのSC後のペイロードデータをNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
(ステップS206)
ステップS204において、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されていないと判定すると、ステップS206に進む。
ステップS206では、画像データ変換部152が、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されていないパケットの次のTSパケットを取得して取得したTSパケットの処理を行なう。
画像データ変換部152は、この取得したTSパケットのペイロードデータがNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
(ステップS207)
次の処理は、多重化処理部155の処理であり、ステップS205またはステップS206における画像データの変換データと、その他のデータとの多重化処理を実行する。
(ステップS208)
ステップS208では、変換処理の終了した画像データを変換対象データから除外する。
まだ、変換対象となる画像データが残っているときは、ステップS202以下の処理を繰り返す。
残存する変換対象データがないと判断した場合は、ステップS209に進む。
(ステップS209)
ステップS209では、生成したMP4フォーマットデータを出力するる
生成したMP4フォーマットデータは、メディアに記録されるあるいは、通信部や出力部を介して外部に出力される。
[10.その他の実施例について]
上述した実施例では、MPEG−2TSフォーマットデータ中のスタートコード(SC)の位置をTSパケットのTSパケットヘッダ内のデータ、具体的には、トランスポートプライオリティ、あるいはPIDの設定値に基づいて判断可能な構成とした実施例について説明した。
この他のヘッダ内のデータを用いてMPEG−2TSフォーマットデータ中のスタートコード(SC)の位置を識別可能な構成としてもよい。
さらに、MPEG−2TSフォーマットデータ中のスタートコード(SC)の位置を記録したマップ情報をMPEG―2TSフォーマットデータに対応するメタデータとして設定して、情報記録媒体に併せて記録する、あるいは通信部を介して送信するといった構成としてもよい。
例えば、変換装置が、サーバからMPEG−2TSフォーマットデータ中のスタートコード(SC)の位置を記録したマップ情報を、通信部を介して受信して、このマップ情報を利用してスタートコードの位置を判別してフォーマット変換を行う構成も可能である。
また、上述した実施例では画像データが暗号化されている場合の実施例について説明したが、暗号化されていないデータをペイロードとして格納したTSパケットについても本開示の処理は適用可能である。
さらに、上述した実施例においては、MPEG−2TSと、MP4の両フォーマットにおいて格納することが許容された符号化データの一例としてAVCまたはHEVC符号化画像データに対する変換処理例について説明したが、AVC,HEVC以外の符号化データについても、本開示の処理は適用可能である。
[11.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部は、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有する情報処理装置。
(2)前記画像データ変換部は、TSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する前記(1)に記載の情報処理装置。
(3)前記画像データ変換部は、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットについては、スタートコード(SC)に続くペイロード構成データを抽出し、ペイロード先頭領域にスタートコード(SC)が設定されていないTSパケットについては、ペイロード先頭からのペイロード構成データを抽出し、
抽出したペイロード構成データをMP4フォーマットデータの構成データとして設定する前記(1)または(2)に記載の情報処理装置。
(4)前記MPEG−2TSフォーマットに格納された画像データは、AVC符号化データ、またはHEVC符号化データのいずれかである前記(1)〜(3)いずれかに記載の情報処理装置。
(5)前記画像データ変換部は、TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する前記(1)〜(4)いずれかに記載の情報処理装置。
(6)前記画像データ変換部は、TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出してMP4フォーマットデータのレングス情報設定部の後続位置に抽出したNALユニットを格納する前記(1)〜(5)いずれかに記載の情報処理装置。
(7)前記画像データ変換部は、TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出し、スタートコード間のNALユニットのデータ長を算出し、算出したデータ長をMP4フォーマットデータのレングス情報に格納する前記(1)〜(6)いずれかに記載の情報処理装置。
(8)前記データ変換部は、前記画像データ変換部の生成した画像データ対応のMP4フォーマットデータと、画像以外のデータのMP4フォーマットデータとの多重化処理を実行する多重化処理実行部を有する前記(1)〜(7)いずれかに記載の情報処理装置。
(9)前記データ変換部は、BDMVフォーマットに従って記録されたディスクから読み出したMPEG−2TSフォーマットデータに対する変換処理を実行する前記(1)=(8)いずれかに記載の情報処理装置。
(10)前記データ変換部は、通信部を介して外部から入力するMPEG−2TSフォーマットデータに対する変換処理を実行する前記(1)〜(9)いずれかに記載の情報処理装置。
(11)前記画像データ変換部は、TSパケットのヘッダに設定されたPIDの値に基づいて、次の後続TSパケットがペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する前記(1)〜(10)いずれかに記載の情報処理装置。
(12) MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部は、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報生成装置。
(13)前記データ生成部は、画像データを格納したTSパケットのペイロード中に格納するスタートコード(SCの位置を全てTSペイロードの先頭に位置するようにデータ調整を実行してTSパケットを生成する前記(12)に記載の情報生成装置。
(14)前記データ生成部は、TSパケットヘッダのトランスポートプライオリティの値に基づいて、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを判別可能としたTSパケットを生成する前記(12)または(13)に記載の情報生成装置。
(15)前記情報生成装置は、前記データ生成部の生成したMPEG−2TSフォーマットデータを情報記録媒体に記録する記録部を有する前記(12)〜(14)いずれかに記載の情報生成装置。
(16) 再生対象データとしてMPEG−2TSフォーマットデータを記録した情報記録媒体であり、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを記録し、
前記情報記録媒体の格納データのフォーマット変換を実行する情報処理装置が、前記TSパケットのヘッダ情報解析によって、スタートコード(SC)の位置を判別し、判別結果に基づくフォーマット変換を行うことを可能とした情報記録媒体。
(17) 情報処理装置においてデータフォーマット変換を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部が、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する情報処理方法。
(18) 情報処理装置においてデータ生成処理を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部が、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報処理方法。
(19) 情報処理装置においてデータフォーマット変換を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記プログラムは、前記データ変換部に、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別する処理と、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択する処理と、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行させるプログラム。
(20) 情報処理装置においてデータ生成処理を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記プログラムは、前記データ生成部に、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、MPEG−2TSフォーマットからMP4フォーマットへの変換を正しく確実に実行可能とする構成が実現される。
具体的には、フォーマット変換を実行するデータ変換部は、MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する。データ変換部は、例えばTSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する。
本構成により、MPEG−2TSフォーマットからMP4フォーマットへの変換を正しく確実に実行可能とする構成が実現される。
100 情報処理装置
101 制御部
102 入力部
103 通信部
104 記憶部
105 出力部
106 第1メディアインタフェース
107 データバッファ
108 データ変換部
109 第2メディアインタフェース
110 第1メディア
120 第2メディア
151 データ解析部
152 画像データ変換部
153 音声データ変換部
154 字幕データ変換部
155 多重化処理部
200 情報処理装置
201 制御部
202 入力部
203 通信部
204 記憶部
205 出力部
206 第1メディアインタフェース
207 データ生成部

Claims (17)

  1. MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
    前記データ変換部は、
    MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
    前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
    スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有し、
    前記画像データ変換部は、
    TSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する情報処理装置。
  2. 前記画像データ変換部は、
    ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットについては、スタートコード(SC)に続くペイロード構成データを抽出し、
    ペイロード先頭領域にスタートコード(SC)が設定されていないTSパケットについては、ペイロード先頭からのペイロード構成データを抽出し、
    抽出したペイロード構成データをMP4フォーマットデータの構成データとして設定する請求項1に記載の情報処理装置。
  3. 前記MPEG−2TSフォーマットに格納された画像データは、AVC符号化データ、またはHEVC符号化データのいずれかである請求項1に記載の情報処理装置。
  4. 前記画像データ変換部は、
    TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する請求項1に記載の情報処理装置。
  5. 前記画像データ変換部は、
    TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出してMP4フォーマットデータのレングス情報設定部の後続位置に抽出したNALユニットを格納する請求項1に記載の情報処理装置。
  6. 前記画像データ変換部は、
    TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出し、スタートコード間のNALユニットのデータ長を算出し、算出したデータ長をMP4フォーマットデータのレングス情報に格納する請求項1に記載の情報処理装置。
  7. 前記データ変換部は、
    前記画像データ変換部の生成した画像データ対応のMP4フォーマットデータと、画像以外のデータのMP4フォーマットデータとの多重化処理を実行する多重化処理実行部を有する請求項1に記載の情報処理装置。
  8. 前記データ変換部は、
    BDMVフォーマットに従って記録されたディスクから読み出したMPEG−2TSフォーマットデータに対する変換処理を実行する請求項1に記載の情報処理装置。
  9. 前記データ変換部は、
    通信部を介して外部から入力するMPEG−2TSフォーマットデータに対する変換処理を実行する請求項1に記載の情報処理装置。
  10. MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
    前記データ変換部は、
    MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
    前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
    スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有し、
    前記画像データ変換部は、
    TSパケットのヘッダに設定されたPIDの値に基づいて、次の後続TSパケットがペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する情報処理装置。
  11. MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
    前記データ生成部は、
    画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成し、
    前記データ生成部は、
    TSパケットヘッダのトランスポートプライオリティの値に基づいて、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを判別可能としたTSパケットを生成する情報生成装置。
  12. 前記データ生成部は、
    画像データを格納したTSパケットのペイロード中に格納するスタートコード(SCの位置を全てTSペイロードの先頭に位置するようにデータ調整を実行してTSパケットを生成する請求項11に記載の情報生成装置。
  13. 前記情報生成装置は、
    前記データ生成部の生成したMPEG−2TSフォーマットデータを情報記録媒体に記録する記録部を有する請求項11に記載の情報生成装置。
  14. 情報処理装置においてデータフォーマット変換を実行する情報処理方法であり、
    前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
    前記データ変換部が、
    MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、
    選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
    スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行し、
    前記画像データ変換部は、
    TSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する情報処理方法。
  15. 情報処理装置においてデータ生成処理を実行する情報処理方法であり、
    前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
    前記データ生成部が、
    画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成し、
    前記データ生成部は、
    TSパケットヘッダのトランスポートプライオリティの値に基づいて、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを判別可能としたTSパケットを生成する情報処理方法。
  16. 情報処理装置においてデータフォーマット変換を実行させるプログラムであり、
    前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
    前記プログラムは、前記データ変換部に、
    MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別する処理と、
    選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択する処理と、
    スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行させ、さらに、
    前記画像データ変換部に、
    TSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定させるプログラム。
  17. 情報処理装置においてデータ生成処理を実行させるプログラムであり、
    前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
    前記プログラムは、前記データ生成部に、
    画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成させ、さらに、
    前記データ生成部に、
    TSパケットヘッダのトランスポートプライオリティの値に基づいて、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを判別可能としたTSパケットを生成させるプログラム。
JP2016520993A 2014-05-19 2015-04-07 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム Expired - Fee Related JP6500895B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014103141 2014-05-19
JP2014103141 2014-05-19
PCT/JP2015/060854 WO2015178112A1 (ja) 2014-05-19 2015-04-07 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2015178112A1 JPWO2015178112A1 (ja) 2017-04-20
JP6500895B2 true JP6500895B2 (ja) 2019-04-17

Family

ID=54553788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016520993A Expired - Fee Related JP6500895B2 (ja) 2014-05-19 2015-04-07 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US10535369B2 (ja)
EP (1) EP3148181B1 (ja)
JP (1) JP6500895B2 (ja)
WO (1) WO2015178112A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540095B2 (ja) * 2015-02-27 2019-07-10 日本電気株式会社 通信装置、情報処理システム、電文処理方法
US9998746B2 (en) * 2016-02-10 2018-06-12 Amazon Technologies, Inc. Video decoder memory optimization
CN111488171B (zh) * 2019-01-29 2023-11-03 杭州海康威视数字技术股份有限公司 一种数据生成和解析方法、装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086481A (ja) 1999-07-13 2001-03-30 Matsushita Electric Ind Co Ltd パケット分離装置、ディジタル信号転送システム、暗号化装置、媒体、および情報集合体
JP2001103444A (ja) * 1999-10-01 2001-04-13 Matsushita Electric Ind Co Ltd パケット暗号化装置およびプログラム記録媒体
US7567584B2 (en) * 2004-01-15 2009-07-28 Panasonic Corporation Multiplex scheme conversion apparatus
JP2005229587A (ja) 2004-01-15 2005-08-25 Matsushita Electric Ind Co Ltd 多重化方式変換装置
WO2006079368A1 (en) * 2005-01-25 2006-08-03 Nero Ag Method for preparing dvd-video formatted data, method for reconstructing dvd-video data and dvd-video data structure
JP4882653B2 (ja) 2006-10-06 2012-02-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5533162B2 (ja) 2010-04-08 2014-06-25 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2012004986A (ja) 2010-06-18 2012-01-05 Sony Corp 撮像装置、画像保存方法及びプログラム
US20130298171A1 (en) * 2010-11-18 2013-11-07 Sharp Kabushiki Kaisha Device for generating content data, method for generating content data, and recording medium
MX358606B (es) 2012-10-09 2018-08-24 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
JP6467680B2 (ja) * 2014-01-10 2019-02-13 パナソニックIpマネジメント株式会社 ファイル生成方法およびファイル生成装置

Also Published As

Publication number Publication date
EP3148181A4 (en) 2017-12-27
US10535369B2 (en) 2020-01-14
EP3148181B1 (en) 2020-01-01
US20170148483A1 (en) 2017-05-25
WO2015178112A1 (ja) 2015-11-26
JPWO2015178112A1 (ja) 2017-04-20
EP3148181A1 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
US9398330B2 (en) Information processing device, information recording medium, information processing method, and program
US20180302674A1 (en) File generating method and file generating apparatus
JP6500895B2 (ja) 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6863271B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US11330226B2 (en) Information processing apparatus, information recording medium and information processing method
US11375151B2 (en) Information processing apparatus, information recording medium, and information processing method
WO2018221292A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2018190122A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2015109131A (ja) ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体
CN110462735B (zh) 信息处理设备、信息记录介质、信息处理方法和程序
WO2015083354A1 (ja) ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体
WO2016002127A1 (en) Mpeg-2-ts to mp4 format conversion without decryption
WO2015186479A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2015153441A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2015072127A1 (ja) ファイル生成方法およびファイル生成装置
JP2015167059A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2015153440A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190304

R151 Written notification of patent or utility model registration

Ref document number: 6500895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees