JP6550055B2 - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP6550055B2
JP6550055B2 JP2016543859A JP2016543859A JP6550055B2 JP 6550055 B2 JP6550055 B2 JP 6550055B2 JP 2016543859 A JP2016543859 A JP 2016543859A JP 2016543859 A JP2016543859 A JP 2016543859A JP 6550055 B2 JP6550055 B2 JP 6550055B2
Authority
JP
Japan
Prior art keywords
data
format
variation
information processing
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016543859A
Other languages
English (en)
Other versions
JPWO2016027579A1 (ja
Inventor
健二朗 上田
健二朗 上田
丈於 大石
丈於 大石
芳和 高島
芳和 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016027579A1 publication Critical patent/JPWO2016027579A1/ja
Application granted granted Critical
Publication of JP6550055B2 publication Critical patent/JP6550055B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106Enforcing content protection by specific content processing
    • G06F21/1062Editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0021Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8541Content authoring involving branching, e.g. to different story endings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/101Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying security measures for digital rights management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Technology Law (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本開示は、情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えばフォーマット変換を伴うデータ記録を実行する情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
映画や音楽等、様々なコンテンツを記録する情報記録媒体(メディア)として、DVD(Digital Versatile Disc)や、BD(Blu−ray(登録商標) Disc)が多く利用されている。
なお、ディスク等の情報記録媒体には、予め規定されたデータ記録フォーマットで画像、音声、さらに再生制御データ等の各種のデータが記録される。
例えば、BDに対するデータ記録フォーマットとして、BDMV(Blu−ray(登録商標) Disc Movie)フォーマットが利用される。
BDMVフォーマットの記録データを再生するためには、BDMVフォーマットデータの再生用のプログラムを保持していることが必要となる。
なお、BDMVフォーマットデータには、再生対象データを記録したクリップAVストリームファイルや、再生制御情報ファイルとしてのプレイリストファイル、クリップ情報ファイル等が含まれる。
再生対象データである画像や音声データは、クリップAVストリームファイルに格納されるが、このクリップAVストリームファイルは、TS(Transport Stream)パケットによって構成されるMPEG−2TSフォーマットに従って記録される。
BD等の情報記録媒体に記録される音楽データ、画像データ等の多くのコンテンツは、その作成者あるいは販売者に著作権、頒布権等が保有されている。従って、このような情報記録媒体(メディア)にコンテンツを格納してユーザに提供する場合、正規な利用権を持つユーザのみにコンテンツの利用を許容する利用制御を行うのが一般的である。
具体的には、例えばコンテンツを暗号化コンテンツとして記録し、正規なコンテンツ購入処理を行ったユーザに提供した暗号鍵によってのみ復号可能とするといった制御等が行われる。しかし、このような処理を行っても、例えば暗号化コンテンツを取得したユーザが復号したコンテンツや、暗号鍵を不正に配布、あるいは公開するなどの処理を行ってしまうと不特定多数のコンテンツの不正利用が発生する。特に昨今は、ネットワークを介したデータの不正公開や配信が行われるケースが多く、これらの不正をいかに防止するかが大きな課題となっている。
上述したBD対応のデータの暗号化構成として復号(平文)コンテンツに基づいて、復号処理を行なった装置を判別可能とした構成がある。
これは、暗号化コンテンツを復号して生成した復号コンテンツ、例えば復号画像データを解析し、画像から抽出される識別データに基づいて復号処理を行なった装置を判別する構成である。
この出所追跡を可能とした構成については、例えば特許文献1(特開2007−43336号公報)等に記載がある。
この特許文献1に記載の構成は、コンテンツ構成データであるセグメント、例えば映画コンテンツを構成するある1つのシーンの画像データについて、複数のバリエーションデ―タを設定するものである。セグメント領域に設定される複数のバリエーションデータは、各々、異なる鍵で復号可能なデータである。
各再生装置は、再生装置が利用可能な再生装置に対応付けられた鍵(セグメントキー)を適用して、複数のバリエーションデータから復号可能な1つのデータを選択して復号し、再生する。
すなわち、再生装置によって異なるバリエーションデータが選択されて再生されることになり、再生装置に応じた異なる再生パスに従って再生が行われる。
例えば、復号コンテンツのコピーデータがネットワークを介して流通した場合、そのコンテンツに含まれるバリエーションデータや再生パスを解析することで、コンテンツを復号した装置を、ある程度の範囲で特定することが可能となる。
なお、各再生装置に格納される暗号鍵(復号鍵)は、装置のメーカー等によって異なり、これらの設定単位に応じて出所を追跡することが可能となる。
一方、昨今、スマホ(スマートホン)や、タブレット端末等の携帯端末などで映画等のコンテンツ視聴を行うユーザが増加している。
このような携帯端末には、上記のMPEG−2TSフォーマットやBDMVフォーマット対応の再生アプリケーションが搭載されているとは限らない。
従って、BDの記録データを携帯端末のメデイアにコピーする場合、BDMVフォーマットではない携帯端末の再生アプリケーションが再生可能なフォーマットに変更してコンテンツを記録する必要がある。
なお、メディア間のデータコピー処理については、例えば特許文献2(特開2008−98765号公報)や、特許文献3(特開2011−222078号公報)に記載がある。
携帯端末等による利用を考慮して規格化されたデータ記録フォーマットとしてMP4フォーマット(以下MP4と呼ぶ)がある。
多くの携帯端末は、MP4フォーマットで記録されたMP4データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合MP4形式で記録することが求められる。
しかし、MPEG−2TSフォーマットと、MP4フォーマットにおいて許容される暗号化形式、例えば暗号アルゴリズムや適用可能な鍵データの構成は一致するものとは限らない。従って、例えば、上述した出所追跡を可能とするバリエーションデータを含むMPEG−2TSフォーマットデータを、MP4へのフォーマットに変換して記録する場合には、MPEG−2TSフォーマットに従って記録されたバリエーションデータを、一旦復号してMP4フォーマットに従った暗号化構成を持つデータとする再暗号化する処理が必要となる。
しかし、再生装置が復号できるバリエーションデータは、1つのセグメント領域に設定された複数のバリエーションデータ中の1つのバリエーションデータのみである。
従って、すべてのバリエーションデータを復号して、再暗号化するといった処理を行なうことができない。
特開2007−43336号公報 特開2008−98765号公報 特開2011−222078号公報
本開示は、このような問題点に鑑みてなされたものであり、例えばフォーマット変換を伴うデータ記録処理を行なう構成において、フォーマット変換後の正常なデータ再生を可能とする情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
前記データ処理部は、
MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択し、選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する情報処理装置にある。
さらに、本開示の第2の側面は、
MPEG−2TSフォーマットデータを格納した情報記録媒体であり、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含み、
前記セグメント領域に設定されたバリエーションデータは、MPEG−2TS用バリエーションデータと、MP4用バリエーションデータを含む構成であり、
前記情報記録媒体に記録されたMPEG−2TSフォーマットデータを読み取り、MP4フォーマットデータに変換する変換装置が、前記MP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納することを可能とした情報記録媒体にある。
さらに、本開示の第3の側面は、
MP4フォーマットデータの再生処理を実行するデータ処理部と、
サーバとの通信を実行する通信部を有し、
前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
前記通信部は、前記サーバから再生の許容される再生パス情報を受信し、
前記データ処理部は、
前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行する情報処理装置にある。
さらに、本開示の第4の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
前記データ処理部が、
MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択し、選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MP4フォーマットデータの再生処理を実行するデータ処理部と、
サーバとの通信を実行する通信部を有し、
前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
前記データ処理部が、
前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行する情報処理方法にある。
さらに、本開示の第6の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
前記プログラムは、前記データ処理部に、
MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択する処理、
選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する処理を実行させるプログラムにある。
さらに、本開示の第7の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MP4フォーマットデータの再生処理を実行するデータ処理部と、
サーバとの通信を実行する通信部を有し、
前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
前記プログラムは、前記データ処理部に、
前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、バリエーションデータを持つMPEG−2TSフォーマットデータをMP4フォーマットに変換し、変換後のMP4データについても再生パス設定や出所追跡を可能とした構成を実現する。
具体的には、各々を異なる鍵で復号可能とした複数のバリエーションデータからなるセグメント領域を有し、選択バリエーションデータに応じた再生パスを設定可能なMPEG−2TSフォーマットデータをMP4フォーマットに変換するデータ処理部を有する。データ処理部は、MPEG−2TSフォーマットのセグメント領域から暗号化MP4用バリエーションデータを選択し、選択したMP4用バリエーションデータを暗号化データのままMP4ファイルに格納する。
本構成により、バリエーションデータを持つMPEG−2TSフォーマットデータをMP4フォーマットに変換し、変換後のMP4データについても再生パス設定や出所追跡を可能とした構成が実現される。
また、フォーマット変換時に復号、再暗号化処理が不要となり、処理が効率化するとともに、データ漏えいの可能性も低減される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
再生装置対応の再生パスを設定可能としたコンテンツの構成例について説明する図である。 再生装置対応の再生パスを設定可能としたコンテンツの構成データからの識別情報検出例について説明する図である。 BDMVフォーマットに従ってメディアに記録されるデータのディレクトリ構成例について説明する図である。 BDMVフォーマットにおいて規定されるプレイリストと、再生データとの対応について説明する図である。 クリップAVストリーム(Clip AV Stream)ファイルのデータ構成としてのMPEG−2TS(トランスポートストリーム)の構成例について説明する図である。 MP4フォーマットについて説明する図である。 CFF(Common File Format)の構成について説明する図である。 AVC,HEVC符号化データの構成について説明する図である。 MPEG−2TSとMP4フォーマットの差異について説明する図である。 本開示の一実施例に従ったバリエーションデータの設定例について説明する図である。 本開示の一実施例の処理に従って生成したMP4フォーマットデータにおける再生パスの設定例について説明する図である。 再生装置対応の再生パスを設定可能としたコンテンツの構成データからの識別情報検出例について説明する図である。 本開示の一実施例に従ったバリエーションデータの設定例について説明する図である。 本開示の一実施例に従ったフォーマット変換を伴うデータ記録処理のシーケンスについて説明するシーケンス図である。 本開示の一実施例に従ったフォーマット変換を伴うデータ記録処理によって生成されたMP4フォーマットデータの再生シーケンスについて説明するシーケンス図である。 本開示の一実施例に従ったフォーマット変換を伴うデータ記録処理のシーケンスについて説明するシーケンス図である。 本開示の一実施例に従ったフォーマット変換を伴うデータ記録処理によって生成されたMP4フォーマットデータの再生シーケンスについて説明するシーケンス図である。 情報処理装置の構成例について説明する図である。 情報処理装置のデータ変換部の構成例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.再生パス解析に基づく出所追跡処理を可能としたMPEG−2TSフォーマットデータの暗号化構成について
2.MPEG−2TSフォーマットとMP4フォーマットについて
2−1.MPEG−2TSフォーマットについて
2−2.MP4フォーマットについて
2−3.MPEG−2TSをMP4に変換する処理について
3.フォーマット変換に対応したバリエーションデータの設定について
3−1.(実施例1)各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した実施例
3−2.(実施例2)複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した実施例
4.フォーマット変換を伴うデータ記録処理と、MP4フォーマットデータの再生処理のシーケンスについて
4−1.各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した実施例における処理シーケンス
4−2.複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した実施例における処理シーケンス
5.フォーマット変換およびデータ記録処理を実行する情報処理装置の構成例について
6..データ再生、または記録処理を実行する情報処理装置、およびサーバの構成例について
7.本開示の構成のまとめ
[1.再生パス解析に基づく出所追跡処理を可能としたMPEG−2TSフォーマットデータの暗号化構成について]
まず、再生パス解析に基づく出所追跡処理を可能としたMPEG−2TSフォーマットデータの暗号化構成について説明する。
図1は、BD(Blu−ray(登録商標) Disc)の格納データを再生する再生装置に応じて設定されるコンテンツの再生パス設定例について説明する図である。
なお、BDに記録された再生対象となる画像や音声データは、MPEG−2TSフォーマットに従って記録されている。MPEG−2TSフォーマットの詳細については後段で説明する。
図1には、以下の各図を示している。
(1)再生装置Aの再生パスA
(2)再生装置Bの再生パスB
図に示すAV000,AV001,AV002・・・これらは、例えばある映画コンテンツを構成するあるシーンの画像データである。例えば数秒間の画像フレームによって構成されるコンテンツを構成する画像データである。
図の左から右に示す時間軸(time)に従って、順次再生されるシーンに対応する画像データを示している。
例えば、最初のシーンがAV000である。
最初のシーンAV000の次のデータとして、AV001〜AV0016の16個の画像データ(バリエーションデータ)が設定されている。
これらは、同一のシーンであるが、AV001〜AV0016の16個の画像データは、それぞれ異なる鍵(セグメント鍵)で暗号化されている。
各再生装置は、自装置に格納された鍵で利用可能な1つのデータを選択して、再生することができる。
このように複数のデータの中から1つのデータを選択再生可能な画像データ区間をセグメント、あるいはセグメント領域と呼ぶ。
セグメント領域以外の1つのデータのみ用意されている区間は、単一データ領域と呼ぶ。例えばAV000、AV017等の再生区間は1つのデータのみが設定されており、すべての再生装置は、この1つのデータのみを再生する。このような区間を単一データ領域と呼ぶ。
図1に示す例では、コンテンツ中に16個のセグメント領域(セグメント1〜16)が設定されている。
また、各セグメント1〜16の各々には、16個の異なる鍵で暗号化されたデータ(=異なる鍵で復号可能なデータ)が設定されている。セグメント領域に設定される異なる鍵で復号可能な複数のデータの各々をバリエーションデータと呼ぶ。
また、バリエーションデータの復号用の鍵をセグメントキーと呼ぶ。セグメントキーは、各バリエーションデータに応じて異なる鍵として設定される。
図1(1)に示す例は、再生装置Aの再生パスを示しているる
再生装置Aは、以下の各データを、順次、再生する。
AV000→[AV016]→AV017→[AV019]→AV034→[AV036]・・・・→AV238→[AV240]→AV255
これが、再生装置Aの再生パスAである。
なお、上記の再生データ中[AVxxx]のように、[ ]で囲んで示したデータが各セグメント領域に設定されたバリエーションデータである。
再生装置Aは、セグメント領域に設定された16個のバリエーションデータ(暗号化データ)から再生装置Aの復号可能なデータを選択して再生を行なう。
[ ]で囲まれていないデータは、セグメント領域以外のデータ、すなわち単一データ領域のデータむあり、すべての再生装置において共通に再生されるデータである。
一方、図1(2)に示す再生装置Bは、以下の各データを、順次、再生する。
AV000→[AV002]→AV017→[AV020]→AV034→[AV050]・・・・→AV238→[AV239]→AV255
これが、再生装置Bの再生パスBである。
上記の再生データ中[AVxxx]のように、[ ]で囲んで示したデータがバリエーションデータであり、再生装置Bは、セグメント領域に設定された16個のバリエーションデータ(暗号化データ)から再生装置Bの復号可能なデータを選択して再生を行なう。
[ ]で囲まれていないデータは、セグメント領域以外のデータであり、すべての再生装置において共通に再生されるデータである。
再生装置Aの再生パスAと、再生装置Bの再生パスBを比較すると、セグメント領域以外の単一データ領域の再生データは共通する。しかしセグメント領域において再生するバリエーションデータは、異なるデータとなっている。
各再生パス中のセグメント領域に設定されるバリエーションデータには、どのバリエーションデータであるかの識別子、すなわち[AVxxx]等のバリエーションデータ識別子が埋め込まれている。
すなわち、再生画像データを解析することで、どのバリエーションデータが再生されたかを判別することができる。
図2を参照して、各再生装置による再生画像データと、再生画像データに対する画像解析処理について説明する。
図2に示す情報記録媒体(ディスク)10には、図1を参照して説明したセグメント領域と単一データ領域から構成されるコンテンツが格納されている。
再生装置A21は、図1(1)を参照して説明した再生パスAに従ってコンテンツ再生を実行する。
再生装置B21は、図1(2)を参照して説明した再生パスBに従ってコンテンツ再生を実行する。
再生画像A,31は、1つのセグメント領域から選択されたバリエーションデータであり、再生パスAに含まれるバリエーションデータ[AV016]である。
再生画像B,32は、同じセグメント領域から選択された異なるバリエーションデータであり、再生パスBに含まれるバリエーションデータ[AV002]である。
これら2つの再生画像A,Bは、いずれも例えば映画コンテンツの同一シーンの画像であり、視聴者には区別なく鑑賞される画像である。
しかし、再生画像A,31は、再生パスAに含まれるバリエーションデータ[AV016]であり、この再生画像A,31には、バリエーションデータ[AV016]であることを示す識別情報(バリエーションデータ識別子)が埋め込まれている。例えば電子透かし(watermark)等の技術により識別情報が埋め込まれている。
なお、このように再生データに埋め込まれた識別情報はフォレンジックマーク(Forensic mark)、あるいはフォレンジックウォーターマーク(Forensic watermark)と呼ばれる。
一方の再生画像B,32は、再生パスBに含まれるバリエーションデータ[AV002]であり、この再生画像B,32には、バリエーションデータ[AV002]であることを示す識別情報(バリエーションデータ識別子)が埋め込まれている。
図1に示すコンテンツには、16個のセグメント領域が設定されている。
例えばネットワーク上から、不正流通したコピーコンテンツが発見された場合、この不正流通コンテンツに含まれる16個のセグメント領域における再生画像が、どのバリエーションデータであるかを判別すれば、そのコンテンツの再生パスが明らかになる。
例えば、不正に流通しているコピーコンテンツが、図1に示す再生パスAからなるコンテンツであれば、そのコピーコンテンツは、図2に示す再生装置Aによって復号されたコンテンツが元データであり、再生装置Aが不正コピーコンテンツの出所であると判断することができる。
また、例えば、不正に流通しているコピーコンテンツが、図1に示す再生パスBからなるコンテンツであれば、そのコピーコンテンツは、図2に示す再生装置Bによって復号されたコンテンツが元データであり、再生装置Bが不正コピーコンテンツの出所であると判断することができる。
[2.MPEG−2TSフォーマットとMP4フォーマットについて]
上述したバリエーションデータを用いたデータ暗号化構成は、MPEG−2TSフォーマットに従って記録されたデータに適用可能とした暗号化構成である。
先に説明したように、昨今、スマホ(スマートホン)や、タブレット端末等の携帯端末などで映画等のコンテンツ視聴を行うユーザが増加している。
このような携帯端末には、上記のMPEG−2TSフォーマット対応の再生アプリケーションが搭載されているとは限らない。
多くの携帯端末は、MP4フォーマットで記録されたMP4データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合MP4形式で記録することが求められる。
以下、MPEG−2TSフォーマットと、MP4フォーマットの概要について説明する。
[2−1.MPEG−2TSフォーマットについて]
MPEG−2TSフォーマットと、MP4フォーマットは、いずれも画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG−2TSフォーマットは、ISO13818−1において標準化されたフォーマットであり、例えばBD(Blu−ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
一方、MP4フォーマットは、ISO/IECC14496−14で規定されたフォーマットであり、例えばフラッシュメモリ等にデータ記録を行う場合に適したフォーマットである。
昨今、利用されている多くの携帯端末は、MP4フォーマットに従って記録されたMP4データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合、MP4形式で記録することが求められる場合が多い。
前述したBDに対するデータ記録フォーマットであるBDMV(Blu−ray(登録商標) Disc Movie)フォーマットは、MPEG−2TSフォーマットに従って格納された画像や音声等の符号化データを構成要素とするBD専用のフォーマットである。
なお、MPEG−2TSフォーマットに従って格納が許容される画像、音声、静止画の符号化データは、例えば以下の符号化データである。
画像:MPEG−1、MPEG−2、AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声:MP1,MP2,MP3,リニアPCM,DTS
静止画:JPEG
例えば上記の各符号化データがMPEG−2TSにおいて規定するTS(トランスポートストリーム)パケットに分散して格納される。
まず、図3以下を参照して、BDや放送に用いられるMPEG−2TSフォーマットについて説明する。
図3は、例えばROM型のBD(Blu−ray(登録商標) Disc)であるメディア50に記録されたBDMVフォーマットに従った記録データのディレクトリを示す図である。
ディレクトリは図3に示すように管理情報設定部51(AACSディレクトリ)と、データ部52(BDMVディレクトリ)に分離されている。
管理情報設定部51(AACSディレクトリ)には、データの暗号化鍵であるCPSユニットキーファイルや利用制御情報ファイルなどが格納される。
一方、データ部52のBDMVディレクトリ以下には、
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
BDJOファイル、
例えば、これらのファイルが記録される。
インデックスファイルには、再生処理に適用するインデックス情報としてのタイトル情報が格納される。
プレイリストファイルは、タイトルによって指定されの再生プログラムのプログラム情報に従ったコンテンツの再生順等を規定したファイルであり、再生位置情報を持クリップ情報に対する指定情報を有する。
クリップ情報ファイルは、プレイリストファイルによつて指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。
BDJOファイルは、JAVA(登録商標)プログラム、コマンド等を格納したファイルの実行制御情報を格納したファイルである。
情報処理装置が情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによってインデックスファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられた再生プログラムが選択される。
(c)選択された再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したプレイリストが選択される。
(d)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
図4は、メディア50に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
実際の再生対象データである画像と音声データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
これら複数のカテゴリのファイルは、図4に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)と呼ぶ場合もある。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
クリップAVストリーム(Clip AV Stream)ファイルは、MPEG−2TS(トランスポートストリーム)をBDMVフォーマットの規定構造に従って配置したデータを格納している。この構成の詳細は図5を参照して後段で説明する。
また、クリップ情報(Clip Information)ファイルには、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントである(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプが与えられた時、クリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
再生対象となる画像や音声の実データを格納したクリップAVストリーム(Clip AV Stream)ファイルは、例えば図5に示すようなMPEG−2トランスポートストリーム(TS:Transport stream)ファイル構造を持つ。
図5に示すように、MPEG−2TSフォーマットは、以下の特徴を有する。
1)MPEG−2TSファイルは、整数個のアラインドユニット(Aligned unit)から構成される。
2)アラインドユニット(Aligned unit)の大きさは、6kB(=6144バイト(2048×3バイト))である。
3)アラインドユニット(Aligned unit)は、ソースパケットの第一バイト目から始まる。
4)ソースパケットは、192バイト長である。一つのソースパケットは、TP_extra_headerとTSパケットから成る。TP_extra_headerは、4バイト長であり、またTSパケットは、188バイト長である。
5)TSパケットはヘッダ(TPヘッダ)とペイロード部を有する。1つのTSパケットのペイロードには画像、音声等、いずれか一種類のデータの符号化データが格納される。
6)TSパケットのヘッダ(TPヘッダ)にはペイロードのデータ種類を示すPID(プログラムID)が記録される。
7)TSパケットのペイロードは画像や音声等の符号化データであるエレメンタリストリーム(ES)を格納したパケット(パケタイズドエレメンタリストリーム(PES))とPESヘッダ等によって構成される。
8)PESヘッダには、後続のPESパケットに格納されたエレメンタリストリーム(ES)の再生時間情報を示すプレゼンテーションタイムスタンプ(PTS)が記録される。
さらに、図5(E)に示すように、TSパケットのヘッダ情報には、以下の各データが格納される。
(a)同期用バイト(Sync byte)
(b)トランスポートエラー識別子(Transport_error_indicator)
(c)ペイロードユニットスタート識別子(Payload_unit_start_indicator)
(d)トランスポートプライオリティ(Transport_priority)
(e)プログラムID(PID)
(f)トランスポートスクランブリングコントロール(Transport scrambling control)
(g)アダプテーションフィールドコントロール(Adaptation field control)
(h)コンティニュイティカウンタ(Continuity counter)
(i)アダプテーションフィールド(Adaptation field)
[2−2.MP4フォーマットについて]
次に、図6、図7を参照して、MP4フォーマットの概要について説明する。
図6には、ISO/IEC14496−14で規定されたMP4フォーマットの例として、以下の2つの例を示している。
(a)フラグメンテッド(分割型)MP4ファイル(fragmented movie)
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)
これら図6(a),(b)に示すMP4ファイルは、MP4フォーマットに従ったデータの記録あるいは再生処理における1つの処理単位として設定されるファイルである。
(a)フラグメンテッド(分割型)MP4ファイル(fragmented movie)は、再生対象データである画像や音声などのデータを所定時間内の再生データごとに分割して格納したファイルフォーマットである。
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)は、再生対象データである画像や音声などのデータを分割せずに格納したファイルフォーマットである。
MP4ファイルは、ボックス(box)単位の領域設定がなされ、各ボックスには、ボックス単位で定義されたデータが格納される。
各ボックスは、ボックスサイズ(box−size)、ボックスタイプ(box−type)、ボックスデータ(box−data)の各領域を有する。
ボックスサイズ(box−size)には、ボックスのデータ長(バイトサイズ)が記録される。
ボックスタイプ(box−type)には、ボックスに格納するデータの種類が記録される。
ボックスデータ(box−data)には、ボックスタイプで示される種類のデータが記録される。
図6(a)に示すフラグメンテッド(分割型)MP4ファイルには、以下のタイプのボックスが設定される。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
画像、音声、字幕等の再生対象データである実データはmdatボックスに分割して格納される。
また、mdatボックスの各々にはmoofボックスが対応付けられており、moofボックスには、moofボックスに対応付けられたmdatボックスに格納した分割実データに関する属性情報、再生制御情報等のメタデータを格納する。
図6(a)に示すフラグメンテッド(分割型)MP4ファイルは、再生対象データの分割データである実データ(mdat)と分割実データ対応のメタデータ(moof)を1つのセットデータとして、多数のセットデータを格納し、さらに、格納した複数のセットデータ全体に関するメタデータをmoovボックスに格納した構成を有する。
分割実データ対応のメタデータ(moof)の内部には、trafボックスが設定される。
trafボックスには、対応付けられた実データ(mdat)の再生シーケンス情報等が格納される。
moovボックスは、MP4ファイル全体に格納されたデータの再生制御情報等のメタデータの格納領域として設定されるボックスである。
moovボックス内には、1つ以上のtrakボックスが設定される。trakボックスは、例えば画像、音声、字幕等のデータ種類別に設定可能であり、各データの再生シーケンス情報等を格納する。
なお、MP4ファイルに格納される再生データに複数の異なる画像データ、例えばHD画像、4K画像等が含まれる場合には、これらの画像種類に応じて個別のtrakボックスを設定することが可能である。
また、MP4ファイルの格納音声データに複数の異なる音声データ、例えば日本語音声、英語音声等が含まれる場合には、これらの音声種類に応じて個別のtrakボックスを設定可能である。
同様に、MP4ファイルの格納字幕データに複数の異なる字幕データ、例えば日本語字幕、英語字幕等が含まれる場合には、これらの字幕種類に応じて個別のtrakボックスを設定可能である。
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)は、再生対象データである画像や音声などのデータを分割せずに格納したファイルフォーマットである。
図6(b)に示すノンフラグメンテッド(非分割型)MP4ファイルには、以下のタイプのボックスが設定される。
moovボックス、
trakボックス、
mdatボックス、
上記の各ボックスが設定される。
mdatボックスには、再生対象となる実データが格納される。
moovボックスには、再生対象データである実データ(mdat)に対応して設定されるメタデータ、例えば再生対象実データ(mdat)の属性や再生制御情報を含むメタデータが格納される。
moovボックス内に設定されるtrakボックスには、実データ(mdat)の再生シーケンス情報等が格納される。
前述の(a)フラグメンテッド(分割型)MP4ファイルと同様、(b)ノンフラグメンテッド(非分割型)MP4ファイルに設定されるmoovボックス内にも1つ以上のtrakボックスが設定される。各trakボックスは、例えば画像、音声、字幕等のデータ種類別に設定される。
図6は、MP4フォーマットの基本構成例を示している。
MP4フォーマットに関する規格化団体であるDECE(Digital Entertainment Content Ecosystem)は、MP4ベースの新たなファイルフォーマットとしてCFF(Common File Format)を規格化した。このCFFについて、図7を参照して説明する。
図7に示すCFF(Common File Format)は、基本的には、図6(a)を参照して説明した分割型(fragmented movie)MP4と同様のデータ構成を有する。
すなわち、図7に示すCFF(Common File Format)ファイルには、先に説明した図6(a)のフラグメンテッド(分割型)MP4ファイルと同様、以下の各ボックスが設定される。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
各ボックスの格納データは、図6(a)のフラグメンテッド(分割型)MP4ファイルとほぼ同様である。
ただし、CFFでは、各mdatボックスには、1つの種類のデータのみを格納するという制約が設けられている。
すなわち、各mdatボックスには、
(a)画像
(b)音声
(c)字幕
これらのデータのいずれか一種類のデータを格納する。上記(a)〜(c)のデータを混在させて格納してはならないという制約がある。
なお、CFFファイルに複数の異なる画像データ、例えばHD画像、4K画像等が含まれる場合には、これらの異なる画像は、異なるmdatボックスに格納する。
同様に、異なる音声データ、例えば日本語音声、英語音声等についても個別のmdatボックスに格納し、日本語字幕、英語字幕等についても異なるmdatボックスに格納する。
図6(a)に示す一般的なフラグメンテッド(分割型)MP4ファイルでは、1つの分割データ(フラグメント)の格納ボックスとして設定されるmdatボックスに、画像、音声、字幕等の異なる種類のデータを混在させて格納することが許容されていた。
しかし、図7に示すCFF(Common File Format)では、1つのmdatボックスには、1つの種類のデータのみしか格納してはならないという制約が設けられている。
すなわち、画像、音声、または字幕のいずれか一種類のデータのみが各mdatボックスに個別に格納される。
従ってmdatボックス対応のメタデータ格納領域であるmoofボックスも、画像、音声、字幕いずれか一種類のデータに対応して設定されるメタデータを格納する設定となる。
なおMP4フォーマットのデータ部であるmdatボックスの格納データは、基本データ単位としてのサンプル(sample)に区分される。
CFF(Common File Format)では、1つのmdatボックスには画像サンプルのみの集合、あるいは音声サンプルのみの集合、または字幕サンプルのみの集合、いずれか同一種類のデータサンプルの集合が格納されることになる。
さらに、DECEの規定したCFFでは、CFFファイルに格納することを許容する画像、音声、字幕の符号化態様(コーデック)やデータ形式についても規定している。
CFFファイルに格納することが許容されるデータ形式には、例えば、以下のデータ形式がある。
画像(Video):AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声(Audio):MPEG−4−AAC、Dolby、AC−3
字幕(subtitle):SMPTE Timed Text(SMPTE−TT)
[2−3.MPEG−2TSをMP4に変換する処理について]
次に、例えばBD(Blu−ray(登録商標) Disc)に記録されたMPEG−2TSフォーマットデータ、あるいは、ネットワークや放送波を介して入力するMPEG−2TSフォーマットデータを、MP4フォーマットに変換してフラッシュメモリ等のメディアに記録する処理の概要について説明する。
なお、以下では、MPEG−2TSと、MP4の両フォーマットにおいて格納することが許容されたAVCまたはHEVC符号化画像データの変換処理例について説明する。
すなわち、BD等のメディアにMPEG−2TSフォーマットに従って格納されたAVCまたはHEVC符号化画像データを、MP4フォーマットデータに従った符号化データ格納形式に変換してフラッシュメモリ等のメディアに記録する場合の処理例について説明する。
まず、図8を参照してAVCまたはHEVC符号化画像データの基本構成について説明する。
例えば1枚の画像データ(1ピクチャ)に対応する符号化データ、およびその復号処理等に適用するパラメータ等は、複数のNALユニット(Network Abstruction Layer Unit)に格納される。
1枚の画像データ対応のNALユニットのセットをアクセスユニット(AU)と呼ぶ。
すなわち、AVC符号化画像データ、およびHEVC符号化画像データは、図8(A)に示すように、複数のNALユニットによって構成される。
各NALユニットは、NALヘッダとNALデータを有し、NALヘッダにはNALユニットのデータ種類識別情報等、NALデータに対応する属性情報(メタデータ)が格納される。
各NALユニットには、画像の符号化データの他、例えば符号化データのシーケンス情報や復号処理に適用するためのパラメータなどが格納される。
各NALユニットに格納されるデータの種類は、NALヘッダのIDによって識別される。
NALユニットに格納されるデータは、例えば以下のデータである。
(1)AU delimiter(AUD):アクセスユニット(AU)の開始位置
(2)SPS:シーケンスパラメータ
(3)PPS:ピクチャパラメータ
(4)SEI:各種補助情報
(5)Slice data:符号化画像(ビデオ)データの構成要素
(6)Filler data:サイズ調整用データ
(7)End of **:アクセスユニット(AU)の終点位置
これらのデータが各NALユニットに格納される。
符号化データの格納形式(コンテナフォーマット)を規定したMPEG−2TSフォーマット、およびMP4フォーマットは、いずれもAVC符号化画像データ、あるいはHEVC符号化画像データを格納する場合、図8に示すNALユニットを各フォーマットに従って格納する。
図9は、これら2つのフォーマットに従ったNALユニット格納例を示している。
図9(1)はMPEG−2TSフォーマットに従ったNALユニットの格納例であり、バイトストリームフォーマット(byte stream format)と呼ばれる。
図9(2)は、MP4フォーマットに従ったNALユニットの格納例であり、サンプルストラクチャ(sample structure)と呼ばれる。
図9(1)に示すMPEG−2TSフォーマットでは、各NALユニットの前方位置にスタートコード(SC:Start code)が設定される。
このスタートコード(SC)は、NALユニットの開始位置を示す識別子であり、特定のビット列(0x000001)によって構成される。
MPEG−2TSフォーマットデータの処理を行なう例えば再生装置は、このスタートコード(SC)のコード(0x000001)を検出して、SCの次の位置がNALユニット開始位置であると識別することができる。この識別処理によって、正確にNALユニット構成データを抽出することが可能となる。
一方、図9(2)に示すMP4フォーマットでは、各NALユニットの前方位置にレングス情報(Length)が設定される。
このレングス情報(Length)は、次のNALユニットのデータ長(サイズ)を示すデータであり、各NALユニットのデータ長(サイズ)が格納される。
MP4フォーマットデータの処理を行なう例えば再生装置は、このレングス情報(Length)に基づいて、次の位置からのNALユニットのデータ長を判別して、データ長(サイズ)に従って、NALユニット構成データを抽出することが可能となる。
なお、NALユニットは様々なデータ長に設定可能であり、各NALユニットの長さは異なるものとなる。
図9(1),(2)に示すように、AVC/HEVC画像符号化データを格納したMPEG−2TSフォーマットと、MP4フォーマットは異なるフォーマットとなる。
具体的には、MPEG−2TSのスタートコード(SC)が、MP4フォーマットでは、レングス情報(Length)に置き換えられている。
NALユニットについては、MPEG−2TS、MP4フォーマットのいずれにも格納される。
従って、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換する場合には、MPEG−2TSのスタートコード(SC)の位置を正確に判別して、MPEG−2TSフォーマットデータからNALユニットを取得してMP4フォーマットデータの構成データとして設定する処理が必要となる。
[3.フォーマット変換に対応したバリエーションデータの設定について]
先に図1、図2を参照して説明したように、MPEG−2TSフォーマットデータの暗号化構成として、セグメント領域に異なる鍵で復号可能とした複数の異なる暗号化データであるバリエーションデータを設定して再生パス解析に基づく出所追跡処理を可能とした暗号化構成がある。
再生装置は、各セグメント領域に設定された1つのバリエーションデータのみを復号することが可能であり、再生装置に対応して設定される1つの再生パスに従って、各セグメント領域から1つのバリエーションデータを選択して復号、再生を行なう。
各再生装置が復号することができるバリエーションデータは、再生装置に設定された再生パスに従って各セグメント領域から選択される1つのバリエーションデータのみである。従って、バリエーションデータを持つMPEG−2TSフォーマットデータを、CFF(Common File Format)等のMP4フォーマットデータに変換してメディアに記録する場合、再生装置は、全てのバリエーションデータを復号して、MP4フォーマットに応じて再暗号化することはできない。
以下、バリエーションデータを持つMPEG−2TSフォーマットデータを、CFF(Common File Format)等のMP4フォーマットデータに変換してメディアに記録し、MP4フォーマットデータを記録したメディアからのデータ再生においても、1つの再生パスに従って各セグメント領域に設定された1つのバリエーションデータのみを復号して再生を実行することを可能とした構成について説明する。
本構成によれば、MPEG−2TSフォーマットデータのフォーマット変換によって生成したMP4フォーマットデータの再生データから、先に図2を参照して説明したと同様、バリエーション識別子が検出可能となり、例えば、不正コピーコンテンツが流通した場合、コピーデータの出所追跡が可能となる。
以下に示す2つの実施例について、順次、説明する。
(実施例1)各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した実施例
(実施例2)複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した実施例
[3−1.(実施例1)各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した実施例]
まず、実施例1として、各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した実施例について説明する。
図10に、本実施例1のバリエーションデータ設定例を示す。図10には、以下の2つの図を示している。
(A)MPEG−2TSフォーマットデータ
(B)MP4フォーマットデータ
図10(A)は、例えばBD(Blu−ray(登録商標)ディスク)に記録された再生対象データとであるMPEG−2TSフォーマットデータである。
このデータは、先に図1、図2を参照して説明したセグメント領域、すなわち各々が異なる鍵で復号可能なバリエーションデータを複数設定したセグメント領域を有するデータである。
図10(A)に示す例は、n個のセグメント領域が設定されたコンテンツであり、各セグメント領域には、16個(Sx−1〜Sx−16)のバリエーションデータが設定されている。
本実施例1においては、各セグメント領域に設定した16個のバリエーションデータ中、半分の8個(Sx−1〜Sx−8)のバリエーションデータをMPEG−2TSフォーマット対応のバリエーションデータ、すなわちMPEG−2TS用バリエーションデータ81として設定している。残り半分の8個(Sx−9〜Sx−16)のバリエーションデータをMP4フォーマット対応のバリエーションデータ、すなわちMP4用バリエーションデータ82として設定している。
なお、x=1〜nであり、各セグメント領域(Sx=S1〜Sn)ともすべて同様の設定とする。
MPEG−2TSフォーマットデータを再生する再生装置には、各セグメント領域の8つのバリエーションデータ(Sx−1〜Sx−8)のいずれか1つを選択した再生パスが割り当てられる。
MPEG−2TSフォーマットデータを再生する再生装置には、後半の8個のバリエーションデータ(Sx−9〜Sx−16)を選択する再生パスは設定しない。
後半の8個のバリエーションデータ(Sx−9〜Sx−16)は、MP4フォーマット用のデータであり、MP4フォーマットデータを再生する再生装置によって選択可能なバリエーションデータである。
MP4フォーマットデータを再生する再生装置には、各セグメント領域の8つのMP4用バリエーションデータ(Sx−9〜Sx−16)82のいずれか1つを選択した再生パスが割り当てられる。
図10(A)は、例えばBD(Blu−ray(登録商標)ディスク)に記録された再生対象データであるMPEG−2TSフォーマットデータである。
この図10(A)に示すMPEG−2TSフォーマットデータをフォーマット変換して、MP4フォーマットデータとして例えばSDカード等の第2メディアに記録するコンテンツコピー処理が実行される。
コピー処理を実行する装置は、図10(A)に示す各セグメント領域において、MP4対応のバリエーションデータ(Sx−9〜Sx−16)のみをコピー対象として選択する。前半のMPEG−2TS対応のバリエーションデータ(Sx−1〜Sx−8)は、コピー処理の対称としない。
このフォーマット変換を伴うコピー処理によって生成されるMP4フォーマットデータが、図10(B)に示すMP4フォーマットデータである。
図10(B)に示すMP4フォーマットデータは、例えばスマートホン等のフラッシュメモリ等のメディアに格納されるMP4フォーマットデータである。
MP4フォーマットデータは、先に説明した図6、図7に示すMP4ファイルとして構成される。図6、図7等を参照して説明したMP4ファイルには、データ種類別のボックスが設定され、再生対象データは、mdatボックスに格納される。
図10(B)に示すデータはmdatボックスに格納される再生対象データである。
図10(B)に示すデータにはセグメント領域が設定され、各セグメント領域には、各々が異なる鍵で復号可能なMP4用バリエーションデータ82が設定される。
各セグメント領域(Sx=S1〜Sn)は、8つのバリエーションデータ(Sx−9〜Sx−16)を有する。
これらのバリエーションデータは、図10(A)に示すMPEG−2TSフォーマットデータの各セグメント領域に設定された後半のバリエーションデータ(Sx−9〜Sx−16)である。
MPEG−2TSフォーマットデータをMP4フォーマットデータに変換する装置は、各セグメント領域から、後半のバリエーションデータ(Sx−9〜Sx−16)を選択して、これらをこのままMP4ファイルのmdatボックスに記録する。すなわち、復号処理や再暗号化処理を実行することなく、暗号化データのまま、MP4ファイルに記録する。
図10(B)に示すMP4フォーマットデータは、例えばスマートホン等の再生装置において再生される。
スマートホン等の再生装置には、図10(B)に示すデータの各セグメント領域に設定されたバリエーションデータ内の1つのバリエーションデータを復号するための鍵が格納または提供され、この鍵を適用して1つのバリエーションデータを復号して再生する。
MP4フォーマットデータの再生を実行する再生装置には、1つの再生パスが割り当てられる。各再生装置は、再生装置対応の再生パスに基づいて各セグメント領域から1つのバリエーションデータを選択して復号し、再生を実行する。
図11は、フラッシュメモリ等のメディアに格納されたMP4フォーマットデータを再生するスマートホン等の再生装置各々に設定される再生パスの例について説明する図である。
図11には、以下の各図を示している。
(1)再生装置Aの再生パスA
(2)再生装置Bの再生パスB
1つの楕円領域は、図の左から右に示す時間軸(time)に従って順次再生される画像データを示している。
各セグメント領域には、複数のバリエーションデータ(Sx−9〜Sx−16)が設定されている。これらは、それぞれ異なる鍵(セグメント鍵)で復号可能な暗号化データであり、図10を参照して説明したように、MPEG−2TSフォーマットデータ内に記録された暗号化データをそのままMP4フォーマットデータとして設定したものである。
各再生装置は、自装置に格納された鍵、あるいは外部から提供される鍵を適用して、各セグメント領域から1つのバリエーションデータを選択して、再生することができる。
図11に示す例では、コンテンツ中にn個のセグメント領域(セグメント1〜n)が設定されている。
各セグメント1〜nの各々には、8個の異なる鍵で暗号化されたバリエーションデータ(=異なる鍵で復号可能なデータ)が設定されている。
図11(1)に示す例は、再生装置Aの再生パスを示しているる
再生装置Aは、単一データ領域のデータと、各セグメント領域のデータを交互に再生する。
セグメント領域からは、以下の各データを、順次、選択して再生する。
[S1−16]→[S2−9]→[S3−11]・・・・→[Sn−9]
これが、再生装置Aの再生パスAに含まれるセグメント領域の再生対象バリエーションデータである。
再生装置Aは、セグメント領域に設定され8個のバリエーションデータ(暗号化データ)から再生装置Aの復号可能なデータを選択して再生を行なう。
一方、図11(2)に示す再生装置Bは、各セグメント領域から以下の各データを、順次、選択して再生する。
[S1−11]→[S2−10]→[S3−16]・・・・→[Sn−11]
これが、再生装置Bの再生パスBに含まれるセグメント領域の再生対象バリエーションデータである。
再生装置Bは、セグメント領域に設定され8個のバリエーションデータ(暗号化データ)から再生装置Aの復号可能なデータを選択して再生を行なう。
再生装置Aの再生パスAと、再生装置Bの再生パスBを比較すると、セグメント領域以外の単一データ領域の再生データは共通する。しかしセグメント領域において再生するバリエーションデータは、異なるデータとなっている。
各再生パス中のセグメント領域に設定されるバリエーションデータには、どのバリエーションデータであるかの識別子、すなわち[Sx−xxx]等のバリエーションデータ識別子が埋め込まれている。
すなわち、再生画像データを解析することで、どのバリエーションデータが再生されたかを判別することができる。
図12を参照して、各再生装置による再生画像データと、再生画像データに対する画像解析処理について説明する。
図12に示す情報記録媒体100には、図11を参照して説明したセグメント領域と単一データ領域から構成されるMP4コンテンツが格納されている。
再生装置A110は、図11(1)を参照して説明した再生パスAに従ってコンテンツ再生を実行する。
再生装置B120は、図11(2)を参照して説明した再生パスBに従ってコンテンツ再生を実行する。
再生画像A,111は、1つのセグメント領域から選択されたバリエーションデータであり、再生パスAに含まれるバリエーションデータ、例えば[S1−16]である。
再生画像B,121は、同じセグメント領域から選択された異なるバリエーションデータであり、再生パスBに含まれるバリエーションデータ、例えば[S1−11]である。
これら2つの再生画像A,Bは、いずれも例えば映画コンテンツの同一シーンの画像であり、視聴者には区別なく鑑賞される画像である。
しかし、再生画像A,111は、再生パスAに含まれるバリエーションデータ[S1−16]であり、この再生画像A,111には、バリエーションデータ[S1−16]であることを示す識別情報(バリエーションデータ識別子)が埋め込まれている。例えば電子透かし(watermark)等の技術により識別情報が埋め込まれている。
一方の再生画像B,121は、再生パスBに含まれるバリエーションデータ[S1−11]であり、この再生画像B,121には、バリエーションデータ[S1−11]であることを示す識別情報(バリエーションデータ識別子)が埋め込まれている。
図11に示すコンテンツには、n個のセグメント領域が設定されている。
例えばネットワーク上から、不正流通したコピーコンテンツが発見された場合、この不正流通コンテンツに含まれるn個のセグメント領域における再生画像が、どのバリエーションデータであるかを判別すれば、そのコンテンツの再生パスが明らかになる。
例えば、不正に流通しているコピーコンテンツが、図11に示す再生パスAからなるコンテンツであれば、そのコピーコンテンツは、図12に示す再生装置Aによって復号されたコンテンツが元データであり、再生装置Aが不正コピーコンテンツの出所であると判断することができる。
また、例えば、不正に流通しているコピーコンテンツが、図11に示す再生パスBからなるコンテンツであれば、そのコピーコンテンツは、図12に示す再生装置Bによって復号されたコンテンツが元データであり、再生装置Bが不正コピーコンテンツの出所であると判断することができる。
このようにMP4フォーマットデータにおいても、先に図1、図2を参照して説明したMPEG−2TSフォーマットデータと同様の出所追跡を可能とした暗号化構成が実現される。
[3−2.(実施例2)複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した実施例]
次に、実施例2として、複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した実施例について説明する。
図13に、本実施例2のバリエーションデータ設定例を示す。図13には、以下の2つの図を示している。
(A)MPEG−2TSフォーマットデータ
(B)MP4フォーマットデータ
図13(A)は、例えばBD(Blu−ray(登録商標)ディスク)に記録された再生対象データとしてのMPEG−2TSフォーマットデータである。
このデータは、先に図1、図2を参照して説明したセグメント領域、すなわち各々が異なる鍵で復号可能なバリエーションデータを複数設定したセグメント領域を有するデータである。
図13(A)に示す例は、n個のセグメント領域が設定されたコンテンツであり、各セグメント領域には、16個(Sx−1〜Sx−16)のバリエーションデータが設定された例である。
本実施例では、n個セグメント領域中、一部のセグメント領域、例えばセグメント2,4,6,・・・、これら1つおきのセグメント領域に、MP4用バリエーションデータ153を設定している。
図13(A)に示すMPEG−2TSフォーマットのコンテンツは、以下の2つの領域によって構成される。
(a)すべての再生装置が共通に再生する単一データを持つ単一データ領域
(b)セグメント領域
さらに、セグメント領域は、
(b1)MP4用バリエーションデータの設定されていないMP4用バリエーションデータ非設定セグメント領域
(b2)複数のMP4用バリエーションデータの設定されているMP4用バリエーションデータ設定セグメント領域
これらのセグメント領域に区分される。
MP4用バリエーションデータ153を設定したMP4用バリエーションデータ設定セグメント領域、例えば図13(A)のセグメント2は、S2−1〜S2〜16の16個のバリエーションデータを有する。
これら16個のバリエーションデータ中、1つのバリエーションデータ(S2−1)152は、MPEG−2TSフォーマットデータの再生処理を実行する再生装置において再生されるデータである。
一方、残りのバリエーションデータ(S2−2〜S2−16)は、MP4フォーマットデータの再生処理を実行する再生装置において選択的に再生されるMP4用バリエーションデータ153である。
MP4用バリエーションデータ設定セグメント領域は、MPEG−2TSフォーマットデータの再生装置に対して選択可能なバリエーションデータを1つのみ有する。
すなわち、MP4用バリエーションデータ設定セグメント領域は、1つの共通再生データを設定した単一データ領域と同様、すべての再生装置(MPEG−2TSフォーマットデータ再生装置)が1つの共通のバリエーションデータのみを再生する。
MP4用バリエーションデータを設定していないセグメント領域、図に示すセグメント1,3,5・・・等のMP4用バリエーションデータ非設定セグメント領域については、MPEG−2TSフォーマットデータの再生装置は、16個のMPEG−2TS用バリエーションデータ151から1つのバリエーションデータを選択再生する。
すなわち、n個のセグメント領域中、半分のMP4用バリエーションデータ非設定セグメント領域(セグメント1,3,5,7・・・)のみが、複数のバリエーションデータから1つのバリエーションデータを選択して再生する従来と同様のセグメント領域として利用される。
一方、残りのセグメント領域、すなわちMP4用バリエーションデータ153を設定しているMP4用バリエーションデータ設定セグメント領域(セグメント2,4,,6・・・)については、MPEG−2TSフォーマットデータを再生する再生装置は、1つのバリエーションデータ(Sx−1)を共通に選択して再生する。すなわち、単一データ設定領域と同様、すべての再生装置において共通のデータを再生する。
MP4用バリエーションデータ設定セグメント領域の1つのバリエーションデータ(Sx−1)を除く、その他のバリエーションデータ(Sx−2〜Sx−16)は、すべてMP4用のバリエーションデータであり、MPEG−2TSフォーマットデータの再生装置に許容される再生パスには含まれないデータとなる。
この図13(A)は、例えばBD(Blu−ray(登録商標)ディスク)に記録された再生対象データとしてのMPEG−2TSフォーマットデータである。
この図13(A)に示すMPEG−2TSフォーマットデータをフォーマット変換して、MP4フォーマットデータとして例えばSDカード等の第2メディアに記録するコンテンツコピー処理を実行する。
コピー処理を実行する装置は、図13(A)に示すセグメント領域(S1〜Sn)中、MP4対応のバリエーションデータを設定したるMP4用バリエーションデータ設定セグメント領域(セグメント2,4,6,・・・)から、MP4対応のバリエーションデータ(Sx−2〜Sx−16)のみをコピー対象として選択する。MPEG−2TS対応のバリエーションデータ(Sx−1)は、コピー処理を実行しない。
また、MP4対応のバリエーションデータを設定していないるMP4用バリエーションデータ非設定セグメント領域(セグメント1,3,5,・・・)については、コピー処理を実行する再生装置が復号可能なバリエーションデータのみを選択してMP4ファイルに格納する。
その他のバリエーションデータはコピー対象としない。
例えば、図13(A)に示す例において、以下のデータがコピー処理を実行する再生装置に与えられる再生パスに従って選択されるバリエーションデータであるとする。
セグメント1(S1)のバリエーションデータS1−1、
セグメント2(S2)のバリエーショナデータS2−1、
セグメント3(S3)のバリエーションデータS3−2、
・・・・
例えば上記のセグメント(S1〜S3)、これらのセグメント中、MP4対応のバリエーションデータを設定していないセグメント領域はセグメント1,3である。
これらのセグメントについては、コピー処理を実行する再生装置復号可能なバリエーションデータ、すなわち、
セグメント1(S1)のバリエーションデータS1−1、
セグメント3(S3)のバリエーションデータS3−2、
これらのバリエーションデータのみを選択してMP4ファイルに格納する。その他のバリエーションデータ(S1−2〜S1−16、S3−1,S3−3〜S3−16)についてはコピー対象としない。
このフォーマット変換を伴うコピー処理によって生成されるMP4フォーマットデータが、図13(B)に示すMP4フォーマットデータである。
図13(B)に示すMP4フォーマットデータは、例えばスマートホン等のフラッシュメモリなどのメディアに格納されるMP4フォーマットデータである。
MP4フォーマットデータは、先に説明した図6、図7に示すMP4ファイルとして構成される。図6、図7等を参照して説明したMP4ファイルには、データ種別のボックスが設定され、再生対象データは、mdatボックスに格納される。
図13(B)に示すデータはmdatボックスに格納される再生対象データである。
図13(B)に示すデータにはセグメント領域が設定される。
ただし、各々が異なる鍵で復号可能なバリエーションデータが設定されるセグメント領域は、セグメント2,4,6,・・・、これら1つおきのセグメントとなる。
残りのセグメント1,3,5,・・・、これらのセグメントは、再生対象データが1つのみ設定され、単一データ領域と同様の処理、すなわちすべてのMP4再生装置において共通に再生される1つのデータのみが設定される。
このデータは、フォーマット変換を伴うコピー処理を実行する装置が復号可能なバリエーションデータに相当する。
一方、複数のバリエーションデータを持つセグメント領域(S2,4,6,・・・)は、15個のバリエーションデータを有する。
これらのバリエーションデータは、図13(A)に示すMPEG−2TSフォーマットデータの1つおきのMP4用バリエーションデータ設定セグメント領域(セグメント2,4,6・・・)に設定された15個のMP4用のバリエーションデータ(Sx−2〜Sx−16)である。
MPEG−2TSフォーマットデータをMP4フォーマットデータに変換する装置は、MPEG−2TSフォーマットデータ内の「MP4バリエーションデータ設定セグメント領域」から、MP4用のバリエーションデータ(Sx−2〜Sx−16)を選択して、これらをこのままMP4ファイルのmdatボックスに記録する。すなわち、復号処理や再暗号化処理を実行することなく、暗号化データのまま、MP4ファイルに記録する。
図13(B)に示すMP4フォーマットデータは、例えばスマートホン等の再生装置において再生される。
スマートホン等の再生装置は、図13(B)に示すデータの1つおきのセグメント領域(セグメント2,4,6,・・・)に設定されたバリエーションデータ内の1つのバリエーションデータを復号するための鍵をメモリに格納、または外部から入力する。この鍵を適用して1つのバリエーションデータを復号して再生する。
すなわち、MP4フォーマットデータの再生を実行する再生装置各々に対応した再生パスが設定され、再生装置は、自己の再生パスに基づいて各セグメント領域から1つのバリエーションデータを選択して復号を行い、再生処理を実行する。
各再生パス中のセグメント領域に設定されるバリエーションデータには、どのバリエーションデータであるかの識別子、すなわち[Sx−xxx]等のバリエーションデータ識別子が埋め込まれている。
すなわち、再生画像データを解析することで、どのバリエーションデータが再生されたかを判別することができる。
[4.フォーマット変換を伴うデータ記録処理と、MP4フォーマットデータの再生処理のシーケンスについて]
図10〜図12、図13を参照して、フォーマット変換に対応したバリエーションデータの設定例として、2つの実施例を説明した。
次に、これら2つのバリエーションデータ設定構成を持つデータに対するフォーマット変換を伴う記録処理シーケンスと、フォーマット変換後のMP4フォーマットデータの再生処理のシーケンスについて説明する。
すなわち、
第1メディアから、図10(A)、または図13(A)に示すバリエーションデータ設定構成を持つMPEG−2TSフォーマットデータを読み取り、これをMP4フォーマットに変換して第2メディアに記録する処理のシーケンス、
第2メディアに記録したMP4フォーマットデータの再生処理のシーケンス、
これらの各シーケンスについて説明する。
図10〜図12、および図13を参照して説明した以下に示す2つの実施例に対応する処理シーケンスついて、順次、説明する。
(実施例1)各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した実施例
(実施例2)複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した実施例
[4−1.各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した実施例における処理シーケンス]
まず、先に図10〜図12を参照して説明した実施例1、すなわち、各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した構成を持つMPEG−2TSフォーマットデータを第1メディアから読み取り、MP4フォーマットに変換して第2メディアに記録する処理のシーケンスと、第2メディアに記録したMP4フォーマットデータの再生処理のシーケンスについて、図14、図15を参照して説明する。
図14は、フォーマット変換を伴うデータ記録処理シーケンスを説明するシーケンス図である。
図14に示す情報処理装置200が、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行する。
第1メディア201には、図10(A)を参照して説明したバリエーションデータの設定を持つMPEG−2TSフォーマットのコンテンツ213が格納されている。
すなわち、各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定したコンテンツ213である。
第1メディア201は、例えばBD(Blu−ray(登録商標)Disc)である。
第1メディア201には、コンテンツ213の他、メディア固有の識別子であるメディアID211、コンテンツの識別子であるコンテンツID212等を格納している。メディアID211は、例えば、メディア(ディスク)に書き換え困難な物理的記録処理によって記録されるPMSN(Prerecordede) Media Serial Number)である。
情報処理装置200は、第1メディア201からMPEG−2TSフォーマットに従って記録されたコンテンツ213を読み取り、フォーマット変換を実行してMP4フォーマットデータを生成して第2メディア202に記録する。
第2メディア202は、例えばSDカード等のフラッシュメモリなどによって構成される。
情報処理装置200は、第1メディア201、第2メディア202の2つのメディアを装着して、第1メディア201から読み取ったコンテンツ213のフォーマット変換を行い、フォーマット変換によって生成したMP4フォーマットデータを第2メディア202に記録する。
以下、各ステップの処理について、順次、説明する。
(ステップS101)
第1メディア201と、第2メディア202を装着した情報処理装置200は、まず、ステップS101において、コピー管理サーバ300との認証処理を実行する。
コピー管理サーバ300は、第1メディア201に記録されたコンテンツの管理を行うサーバであり、情報処理装置200は、コピー管理サーバ300からのコピー許可情報としてのエクスポート許可通知(=コピー許可通知)を受領したことを条件として、第1メディア201に記録されたデータ(コンテンツ213)を他のメディアに記録(コピー)することができる。
ステップS101において、情報処理装置200は、コピー管理サーバ300との認証処理を実行する。
例えば公開鍵暗号方式に従った相互認証を実行する。
情報処理装置200は、自装置のメモリに格納した公開鍵証明書(Device Cert)をコピー管理サーバ300に送信する。
コピー管理サーバ300もサーバの公開鍵証明書(Server Cert)を情報処理装置200に提供する。
これらの公開鍵証明書の交換を伴う処理によって、双方の正当性を確認する相互認証処理が実行される。
なお、この相互認証処理に際して、あるいは相互認証処理の成立後、情報処理装置200は、装着した第1メディア201から読み取ったメディアID211、またはコンテンツID212をコピー管理サーバ300に送信する。
これは、第1メディア201に格納されたコピー対象となるコンテンツ213を特定するためのデータとして利用される。
コピー管理サーバ300は、メディアID211、またはコンテンツID212に基づいてコピー対象コンテンツを特定し、コピー許可を行うか否かを判定する。
ステップS101の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS102に進む。
なお、相互認証が不成立となった場合は、ステップS102の処理は実行されない。すなわち、情報処理装置200はコピー管理サーバ300からエクスポート許可(コピー許可)通知を受信できず、コンテンツのコピー処理を行うことができない。
(ステップS102)
ステップS101の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS102に進む。
ステップS102では、コピー管理サーバ300が情報処理装置200に対して、エクスポート許可(コピー許可)を通知する。すなわち、第1メディア201に記録されたコンテンツを第2メディア202に記録することを許容する許可情報である。
このステップS102におけるエクスポート許可(コピー許可)通知処理に際して、コピー管理サーバ300は、情報処理装置200に対して、
a.再暗号鍵
を送信する。
この再暗号鍵は、第2メディア202に格納するMP4フォーマットデータを構成するコンテンツの暗号化に用いる鍵である。
情報処理装置200は、第1メディア201から読み出したコンテンツ201を復号し、復号コンテンツに対してMP4フォーマットの規定に従った暗号化処理を実行して生成した暗号化コンテンツを第2メディア202に記録する。再暗号化鍵は、このMP4フォーマットの規定に従った暗号化処理を実行するために適用する鍵である。
なお、この再暗号化鍵には、セグメント領域のバリエーションデータに対応する鍵は含まれない。
実施例1のバリエーションデータ設定構成では、図10を参照して説明したように、セグメント領域のバリエーションデータは、
(1)MPEG−2TS用バリエーションデータ、
(2)MP4用バリエーションデータ、
これら2つの種類のバリエーションデータに明確に区別されて設定されており、情報処理装置200がMP4フォーマットデータを記録する場合、セグメント領域からは、MP4用バリエーションデータをそのまま、すなわち暗号化データのまま、第1メディア201から読み出して第2メディア202に記録する。
なお、ステップS102におけるエクスポート許可(コピー許可)通知処理に際して、コピー管理サーバ300は、情報処理装置200に対して、再暗号鍵を送信するとともに、必要に応じて、以下のデータを送信する。
b.セグメントキーファイル
c.プレイリストファイル
これらのデータを送信する。
セグメントキーファイルは、情報処理装置200に対して設定される再生パスに従って再生されるバリエーションデータの復号に適用する鍵(セグメントキー)を格納したファイルである。
なお、このセグメントキーファイルに格納されたセグメントキーは、暗号化されており、情報処理装置200の保持する鍵で復号することで、再生パス対応のバリエーションデータを復号するためのセグメントキーを取得することが可能な構成となっている。
サーバ300から情報処理装置200に送信するセグメントキーファイルは、情報処理装置200に対して設定される再生パスに従って再生されるバリエーションデータの復号に必要となるセグメントキーのみからなるファイルとする。
あるいは、コンテンツを構成する全てのセグメント領域にあるすべてのバリエーションデータの復号に適用するセグメントキー全てを暗号化データとして含む設定としてもよい。ただし、この設定とする場合は、情報処理装置200に通知した再生パス上にある再生対象のバリエーションデータの復号に必要となるセグメントキーのみを、再生装置の有する鍵で復号可能な構成を持つセグメントキーファイルを生成して送信する。
プレイリストファイルは、情報処理装置200に対して設定される再生パスに応じたコンテンツ213の再生を実行するための再生制御情報ファイルである。
1つの再生パスに対して1つのプレイリストが対応づけられる。
すなわち、異なる再生パスのコンテンツ再生を行なうためには、異なるプレイリストを利用することが必要となる。
なお、コンテンツ213を記録した第1メディア201に、これら、
b.セグメントキーファイル
c.プレイリストファイル
これらのデータが記録されている場合は、情報処理装置200は、第1メディ201から、これらのデータを読み取ることが可能であり、コピー管理サーバ300から、これらのデータを送信する必要はない。
なお、ステップS102において、コピー管理サーバ300から情報処理装置200に提供するデータは、例えば、相互認証処理によって共有されるセッション鍵によって暗号化して提供する構成とすることが好ましい。
(ステップS103)
コピー管理サーバ300からエクスポート許可(コピー許可)通知を受領し、さらに、再暗号鍵等のデータを受領した情報処理装置200は、受領データや、第1メディア201の記録データを利用して、第1メディア201に記録されたコンテンツ213のフォーマット変換を伴うデータ記録処理を実行する。
フォーマット変換対象となるコンテンツ213は、図10(A)を参照して説明したデータ構成を持つ。すなわち、コンテンツは、以下の2つの領域によって構成される。
(a)すべての再生装置が共通に再生する単一データを持つ単一データ領域
(b)再生装置に応じて選択されるバリエーションデータを複数有するセグメント領域、
これらの2つの領域によって構成される。
なお、セグメント領域は、
MPEG−2TS用バリエーションデータ、
MP4用バリエーションデータ、
これらの2つのバリエーションデータによって構成されている。
情報処理装置200は、単一データ領域と、セグメント領域に対して、以下の処理を実行する。
単一データ領域から単一データを取得して、再生装置の保有鍵で復号し、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行し、さらに、サーバから取得した再暗号鍵で再暗号化して、MP4フォーマットデータを記録する第2メディアに記録する。
セグメント領域からは、MP4用バリエーションデータのみを選択し、そのまま第2メディアに記録する。
セグメント領域に記録されたMP4用バリエーションデータは、当初からMP4フォーマット対応の暗号化データとして記録されているので、復号、再暗号化処理を行なうことなく、暗号化データのまま、第2メディア202に記録する処理を行なう。
これらの処理によって、MP4フォーマットデータを生成して第2メディア202に記録する。
なお、ここでは、再生対象データのみの変換処理について説明したが、情報処理装置200は、その他の再生制御情報等についても、第1メディア201の記録データをMP4フォーマットデータに変換して記録する処理を実行する。
次に、図14を参照して説明したシーケンスに従って、第2メディア202に記録されたMP4フォーマットデータを再生する場合の処理シーケンスについて、図15を参照して説明する。
図15には、図14を参照して説明したシーケンスに従って記録されたMP4フーマットデータを格納した第2メディア202と、この第2メディア202を装着したMP4フォーマットデータの再生処理を実行する再生装置としての情報処理装置400を示している。
さらに、情報処理装置400と通信を実行して、情報処理装置400に許容される再生パスを通知し、さらに再生に必要なデータの提供処理を実行するMP4コンテンツ管理サーバ500を示している。
第2メディア202に格納された再生対象となるコンテンツは、MP4フォーマットデータである。このコンテンツは、先に図10(B)を参照して説明した構成を持つ。すなわち、異なる鍵(セグメントキー)で復号可能な複数のバリエーションデータからなるセグメント領域を含むコンテンツである。
第2メディア202には、コンテンツの他、コンテンツ識別子であるコンテンツIDが記録されている。これは、図14を参照して説明したコンテンツコピー処理に際して、第1メディア201から読み取られたコンテンツIDである。
また、第2メディア202には、第2メディア202の識別情報であるメディアIDが記録されている。
情報処理装置400は、この第2メディア202を装着してMP4フォーマットデータとしてのコンテンツの再生を実行する。
再生処理には、コンテンツの構成データであるバリエーションデータの復号用の鍵(セグメントキー)が必要である。
セグメントキーは、第2メディア202には記録されておらず、MP4コンテンツ管理サーバ500から提供される。
以下、図15に示すシーケンス図の各ステップの処理について。順次、説明する。
(ステップS201)
第2メディア202を装着した情報処理装置400は、まず、ステップS201において、MP4コンテンツ管理サーバ500との認証処理を実行する。
例えば公開鍵暗号方式に従った相互認証を実行する。
情報処理装置400は、自装置のメモリに格納した公開鍵証明書(Device Cert)をMP4コンテンツ管理サーバ500に送信する。
MP4コンテンツ管理サーバ500もサーバの公開鍵証明書(Server Cert)を情報処理装置400に提供する。
これらの公開鍵証明書の交換を伴う処理によって、双方の正当性を確認する相互認証処理が実行される。
なお、この相互認証処理に際して、あるいは相互認証処理の成立後、情報処理装置400は、装着した第2メディア202から読み取ったメディアID、またはコンテンツIDをMP4コンテンツ管理サーバ500に送信する。
これは、第2メディア202に格納されたコンテンツを特定するためのデータとして利用される。
MP4コンテンツ管理サーバ500は、メディアID、またはコンテンツIDに基づいて再生対象コンテンツを特定し、その再生に適用するための以下のデータを情報処理装置400に送信する。
a.復号鍵
b.セグメントキーファイル、
c.プレイリストファイル
これらのデータを情報処理装置400に提供する。
ステップS201の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS202に進む。
なお、相互認証が不成立となった場合は、ステップS202の処理は実行されない。すなわち、情報処理装置400はサーバから復号鍵、セグメントキーファイル、プレイリストファイルを受信できず、コンテンツ再生を行うことができない。
(ステップS202)
ステップS201の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS202に進む。
ステップS202では、MP4コンテンツ管理サーバ500が情報処理装置400に対して、再生パスを通知する。すなわち、例えば先に図11、図12等を参照して説明した再生パスである。
再生パスには再生パス個別の識別子、例えば再生パス番号が設定され、MP4コンテンツ管理サーバ500は、この再生パス番号を情報処理装置400に通知する。
さらに、この再生パスの通知に伴い、MP4コンテンツ管理サーバ500は、情報処理装置400に対して、
a.復号鍵
b.セグメントキーファイル、
c.プレイリストファイル
これらのデータを情報処理装置400に送信する。
a.復号鍵は、例えばコンテンツ構成データ中の単一データ領域の暗号化データを復号するために適用する鍵である。
b.セグメントキーファイルは、コンテンツのセグメント領域に設定されるバリエーションデータを復号するために必要となるセグメントキーを格納したファイルである。
なお、情報処理装置400がセグメントキーファイルから取得可能なセグメントキーは、情報処理装置400に対して通知された再生パスに従って選択されるバリエーションデータの復号に適用するセグメントキーのみである。
再生パスは、例えば先に図11を参照して説明したように、情報処理装置(再生装置)に応じて決定される。
MP4コンテンツ管理サーバ500は、情報処理装置400に許容する再生パスを通知し、通知した再生パスに従って再生される各セグメント領域のバリエーションデータの復号に適用するセグメントキーを情報処理装置400が取得可能なセグメントキーファイルを生成して提供する。
なお、このセグメントキーファイルに格納されたセグメントキーは、暗号化されており、情報処理装置400の保持する鍵で復号することで、セグメントキーを取得することが可能な構成としてもよい。
MP4コンテンツ管理サーバ500から情報処理装置400に送信するセグメントキーファイルは、情報処理装置400に通知した再生パスに従って再生されるバリエーションデータの復号に必要となるセグメントキーのみからなるファイルとする。
あるいは、コンテンツを構成する全てのセグメント領域にあるすべてのバリエーションデータの復号に適用するセグメントキー全てを暗号化データとして含む設定としてもよい。ただし、この設定とする場合は、情報処理装置400に通知した再生パス上にある再生対象のバリエーションデータの復号に必要となるセグメントキーのみを、情報処理装置400の有する鍵で復号可能な構成を持つセグメントキーファイルを生成して送信する。
c.プレイリストファイルは、MP4コンテンツ管理サーバ500が情報処理装置400に通知した再生パスに従ったコンテンツ再生を実行するための再生制御情報である。
1つの再生パスに対して1つのプレイリストが対応づけられる。
すなわち、異なる再生パスのコンテンツ再生を行なうためには、異なるプレイリストを利用することが必要となる。
図に示す例では、ステップS202においてMP4コンテンツ管理サーバ500から情報処理装置400に1つの再生パスが通知され、この通知された再生パスに従ったコンテンツ再生を実行するためのプレイリストが、MP4コンテンツ管理サーバ500から情報処理装置400に提供される。
なお、MP4コンテンツ管理サーバ500から情報処理装置400に提供するデータは、例えば、相互認証処理によって共有されるセッション鍵によって暗号化して提供する構成とすることが好ましい。
(ステップS203)
MP4コンテンツ管理サーバ500から再生パスについての通知を受領し、さらに、
a、復号鍵
b.通知された再生パスに設定されるバリエーションデータの復号に適用するセグメントキーを格納したセグメントキーファイルと、
c.通知された再生パスに従ったコンテンツ再生を行なうための再生制御情報であるプレイリストファイル、
これらの各データを受領した情報処理装置400は、これらを利用して、第2メディア202に格納されたMP4フォーマットに従ったコンテンツを復号して、再生する処理を実行する。
第2メディア202に格納されたコンテンツは、MP4フォーマットデータであり、先に図10(B)を参照して説明したように、各セグメント領域に複数のバリエーションデータが設定されたコンテンツである。
コンテンツ再生を行なう場合、再生対象コンテンツの再生パスに従ったコンテンツ再生を実行するための再生制御情報を記録したプレイリストに従ってコンテンツの再生が行われる。
コンテンツのセグメント領域には、各々異なる鍵で復号可能な複数のバリエーションデータが設定される。
情報処理装置400は、MP4コンテンツ管理サーバ500から受信したセグメントキーファイルから、例えば自装置のメモリに格納した鍵を適用して復号して得られるセグメントキーを利用して、各セグメント領域から選択される1つのバリエーションデータを復号して再生を実行する。
なお、MP4コンテンツ管理サーバ500から受信したプレイリストを適用した再生処理により、1つの再生パスが自動的に選択され、各セグメント領域から1つのバリエーションデータが、順次、選択される。情報処理装置400は、選択されたバリエーションデータを、セグメントキーファイルから取得したバリエーションデータ対応のセグメントキーで復号して再生を実行する。
なお、この復号処理によって得られる画像等のバリエーションデータには、どのバリエーションデータであるかのバリエーションデータ識別情報(フォレンジックマーク(Forensic Mark))が埋め込まれている。
これは、先に図12を参照して説明したバリエーションデータ識別情報(フォレンジックマーク(Forensic Mark))である。
例えば不正流通コンテンツが検出された場合、このバリエーションデータ識別情報(フォレンジックマーク(Forensic Mark))に基づいて、出所追跡を行うことが可能となる。
[4−2.複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した実施例における処理シーケンス]
次に、先に図13を参照して説明した実施例2対応の処理シーケンスについて説明する。
以下、複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した構成を持つMPEG−2TSフォーマットデータを第1メディアから読み取り、MP4フォーマットに変換して第2メディアに記録する処理のシーケンスと、
第2メディアに記録したMP4フォーマットデータの再生処理のシーケンスについて、図16、図17を参照して説明する。
図16は、フォーマット変換を伴うデータ記録処理シーケンスを説明するシーケンス図である。
図16に示す情報処理装置200が、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行する。
第1メディア201には、図13(A)を参照して説明したバリエーションデータの設定を持つMPEG−2TSフォーマットのコンテンツ213が格納されている。
すなわち、コンテンツ213は、複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定したコンテンツである。
第1メディア201は、例えばBD(Blu−ray(登録商標)Disc)である。
第1メディア201には、コンテンツ213の他、メディア固有の識別子であるメディアID211、コンテンツの識別子であるコンテンツID212等を格納している。メディアID211は、例えば、メディア(ディスク)に書き換え困難な物理的記録処理によって記録されるPMSN(Prerecordede) Media Serial Number)である。
情報処理装置200は、第1メディア201からMPEG−2TSフォーマットに従って記録されたコンテンツ213を読み取り、フォーマット変換を実行してMP4フォーマットデータを生成して第2メディア202に記録する。
第2メディア202は、例えばSDカード等のフラッシュメモリなどによって構成される。
情報処理装置200は、第1メディア201、第2メディア202の2つのメディアを装着して、第1メディア201から読み取ったコンテンツ213のフォーマット変換を行い、フォーマット変換によって生成したMP4フォーマットデータを第2メディア202に記録する。
以下、各ステップの処理について、順次、説明する。
(ステップS301)
第1メディア201と、第2メディア202を装着した情報処理装置200は、まず、ステップS301において、コピー管理サーバ300との認証処理を実行する。
コピー管理サーバ300は、第1メディア201に記録されたコンテンツの管理を行うサーバであり、情報処理装置200は、コピー管理サーバ300からのコピー許可情報としてのエクスポート許可通知を受領したことを条件として、第1メディア201に記録されたデータ(コンテンツ213)を他のメディアに記録(コピー)することができる。
ステップS301において、情報処理装置200は、コピー管理サーバ300との認証処理を実行する。
例えば公開鍵暗号方式に従った相互認証を実行する。
情報処理装置200は、自装置のメモリに格納した公開鍵証明書(Device Cert)をコピー管理サーバ300に送信する。
コピー管理サーバ300もサーバの公開鍵証明書(Server Cert)を情報処理装置200に提供する。
これらの公開鍵証明書の交換を伴う処理によって、双方の正当性を確認する相互認証処理が実行される。
なお、この相互認証処理に際して、あるいは相互認証処理の成立後、情報処理装置200は、装着した第1メディア201から読み取ったメディアID211、またはコンテンツID212をコピー管理サーバ300に送信する。
これは、第1メディア201に格納されたコピー対象となるコンテンツ213を特定するためのデータとして利用される。
コピー管理サーバ300は、メディアID211、またはコンテンツID212に基づいてコピー対象コンテンツを特定し、コピー許可を行うか否かを判定する。
ステップS301の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS302に進む。
なお、相互認証が不成立となった場合は、ステップS302の処理は実行されない。すなわち、情報処理装置200はコピー管理サーバ300からエクスポート許可(コピー許可)通知を受信できず、コンテンツのコピー処理を行うことができない。
(ステップS302)
ステップS301の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS302に進む。
ステップS302では、コピー管理サーバ300が情報処理装置200に対して、エクスポート許可(コピー許可)を通知する。すなわち、第1メディア201に記録されたコンテンツを第2メディア202に記録することを許容する許可情報である。
このステップS302におけるエクスポート許可(コピー許可)通知処理に際して、コピー管理サーバ300は、情報処理装置200に対して、
a.再暗号鍵
を送信する。
この再暗号鍵は、第2メディア202に格納するMP4フォーマットデータを構成するコンテンツの暗号化に用いる鍵である。
情報処理装置200は、第1メディア201から読み出したコンテンツ201を復号し、復号コンテンツに対してMP4フォーマットの規定に従った暗号化処理を実行して生成した暗号化コンテンツを第2メディア202に記録する。再暗号化鍵は、このMP4フォーマットの規定に従った暗号化処理を実行するために適用する鍵である。
なお、この再暗号化鍵には、複数のセグメント領域の一部のセグメント領域に設定されたMP4用のバリエーションデータに対応する鍵は含まれない。
実施例2のバリエーションデータ設定構成では、図13を参照して説明したように、複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータが設定されている。
情報処理装置200がMP4フォーマットデータを記録する場合、MP4用バリエーションデータは、そのまま、すなわち暗号化データのまま、第1メディア201から読み出して第2メディア202に記録する。
なお、ステップS302におけるエクスポート許可(コピー許可)通知処理に際して、コピー管理サーバ300は、情報処理装置200に対して、再暗号鍵を送信するとともに、必要に応じて、以下のデータを送信する。
b.セグメントキーファイル
c.プレイリストファイル
これらのデータを送信する。
セグメントキーファイルは、情報処理装置200の再生パスに従って再生されるバリエーションデータの復号に適用する鍵(セグメントキー)を格納したファイルである。
なお、このセグメントキーファイルに格納されたセグメントキーは、暗号化されており、情報処理装置200の保持する鍵で復号することで、再生パス対応のバリエーションデータを復号するためのセグメントキーを取得することが可能な構成となっている。
サーバ300から情報処理装置200に送信するセグメントキーファイルは、情報処理装置200に対して設定される再生パスに従って再生されるバリエーションデータの復号に必要となるセグメントキーのみからなるファイルとする。
あるいは、コンテンツを構成する全てのセグメント領域にあるすべてのバリエーションデータの復号に適用するセグメントキー全てを暗号化データとして含む設定としてもよい。ただし、この設定とする場合は、情報処理装置200に通知した再生パス上にある再生対象のバリエーションデータの復号に必要となるセグメントキーのみを、再生装置の有する鍵で復号可能な構成を持つセグメントキーファイルを生成して送信する。
プレイリストファイルは、情報処理装置200に対して設定される再生パスに応じたコンテンツ213の再生を実行するための再生制御情報ファイルである。
1つの再生パスに対して1つのプレイリストが対応づけられる。
すなわち、異なる再生パスのコンテンツ再生を行なうためには、異なるプレイリストを利用することが必要となる。
なお、コンテンツ213を記録した第1メディア201に、これら、
b.セグメントキーファイル
c.プレイリストファイル
これらのデータが記録されている場合は、情報処理装置200は、第1メディ201から、これらのデータを読み取ることが可能であり、コピー管理サーバ300から、これらのデータを送信する必要はない。
なお、ステップS302において、コピー管理サーバ300から情報処理装置200に提供するデータは、例えば、相互認証処理によって共有されるセッション鍵によって暗号化して提供する構成とすることが好ましい。
(ステップS303)
コピー管理サーバ300からエクスポート許可(コピー許可)通知を受領し、さらに、再暗号鍵等のデータを受領した情報処理装置200は、受領データや、第1メディア201の記録データを利用して、第1メディア201に記録されたコンテンツ213のフォーマット変換を伴うデータ記録処理を実行する。
フォーマット変換対象となるコンテンツ213は、図13(A)を参照して説明したデータ構成を持つ。すなわち、コンテンツは、以下の2つの領域によって構成される。
(a)すべての再生装置が共通に再生する単一データを持つ単一データ領域
(b)セグメント領域
さらに、セグメント領域は、
(b1)MP4用バリエーションデータの設定されていないMP4用バリエーションデータ非設定セグメント領域
(b2)複数のMP4用バリエーションデータの設定されているMP4用バリエーションデータ設定セグメント領域
これらのセグメント領域に区分される。
図13(A)において、セグメント1,3・・が(b1)MP4用バリエーションデータ非設定セグメント領域である。
図13(A)において、セグメント2,4・・が(b2)MP4用バリエーションデータ設定セグメント領域である。
情報処理装置200は、(a)単一データ領域、(b1)MP4用バリエーションデータ非設定セグメント領域、(c)MP4用バリエーションデータ設定セグメント領域の各々に対して、以下の処理を実行する。
(a)単一データ領域については、単一データ領域から単一データを取得して、再生装置の保有鍵で復号し、さらに、サーバから取得した再暗号鍵で再暗号化して、MP4フォーマットデータを記録する第2メディアに記録する。
(b)MP4用バリエーションデータ非設定セグメント領域については、MP4用バリエーションデータ非設定セグメント領域に設定された単一データを取得して、再生装置の保有鍵またはサーバからの取得鍵(セグメントキー)で復号し、さらに、サーバから取得した再暗号鍵で再暗号化して、MP4フォーマットデータを記録する第2メディアに記録する。
(c)MP4用バリエーションデータ設定セグメント領域については、全てのMP4用バリエーションデータを選択し、そのまま第2メディアに記録する。
(c)MP4用バリエーションデータ設定セグメント領域に記録されたMP4用バリエーションデータは、当初からMP4フォーマット対応の暗号化データとして記録されているので、復号、再暗号化処理を行なうことなく、暗号化データのまま、第2メディア202に記録する処理を行なう。
これらの処理によって、MP4フォーマットデータを生成して第2メディア202に記録する。
なお、ここでは、再生対象データのみの変換処理について説明したが、情報処理装置200は、その他の再生制御情報等についても、第1メディア201の記録データをMP4フォーマットデータに変換して記録する処理を実行する。
次に、図16を参照して説明したシーケンスに従って第2メディア202に記録されたMP4フォーマットデータを再生する場合の処理シーケンスについて、図17を参照して説明する。
図17には、図16を参照して説明したシーケンスに従って記録されたMP4フーマットデータを格納した第2メディア202と、この第2メディア202を装着したMP4フォーマットデータの再生処理を実行する再生装置としての情報処理装置400を示している。
さらに、情報処理装置400と通信を実行して、情報処理装置400に許容される再生パスを通知し、さらに再生に必要なデータの提供処理を実行するMP4コンテンツ管理サーバ500を示している。
第2メディア202に格納された再生対象となるコンテンツは、MP4フォーマットデータである。このコンテンツは、先に図13(B)を参照して説明した構成を持つ。すなわち、異なる鍵(セグメントキー)で復号可能な複数のバリエーションデータからなるセグメント領域を含むコンテンツである。
第2メディア202には、コンテンツの他、コンテンツ識別子であるコンテンツIDが記録されている。これは、図16を参照して説明したコンテンツコピー処理に際して、第1メディア201から読み取られたコンテンツIDである。
また、第2メディア202には、第2メディア202の識別情報であるメディアIDが記録されている。
情報処理装置400は、この第2メディア202を装着してMP4フォーマットデータであるコンテンツの再生を実行する。
再生処理には、コンテンツの構成データであるバリエーションデータの復号用の鍵(セグメントキー)が必要である。
セグメントキーは、第2メディア202には記録されておらず、MP4コンテンツ管理サーバ500から提供される。
以下、図17に示すシーケンス図の各ステップの処理について。順次、説明する。
(ステップS401)
第2メディア202を装着した情報処理装置400は、まず、ステップS401において、MP4コンテンツ管理サーバ500との認証処理を実行する。
例えば公開鍵暗号方式に従った相互認証を実行する。
情報処理装置400は、自装置のメモリに格納した公開鍵証明書(Device Cert)をMP4コンテンツ管理サーバ500に送信する。
MP4コンテンツ管理サーバ500もサーバの公開鍵証明書(Server Cert)を情報処理装置400に提供する。
これらの公開鍵証明書の交換を伴う処理によって、双方の正当性を確認する相互認証処理が実行される。
なお、この相互認証処理に際して、あるいは相互認証処理の成立後、情報処理装置400は、装着した第2メディア202から読み取ったメディアID、またはコンテンツIDをMP4コンテンツ管理サーバ500に送信する。
これは、第2メディア202に格納されたコンテンツを特定するためのデータとして利用される。
MP4コンテンツ管理サーバ500は、メディアID、またはコンテンツIDに基づいて再生対象コンテンツを特定し、その再生に適用するための以下のデータを情報処理装置400に送信する。
a.復号鍵
b.セグメントキーファイル、
c.プレイリストファイル
これらのデータを情報処理装置400に提供する。
ステップS401の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS402に進む。
なお、相互認証が不成立となった場合は、ステップS402の処理は実行されない。すなわち、情報処理装置400はサーバから復号鍵、セグメントキーファイル、プレイリストファイルを受信できず、コンテンツ再生を行うことができない。
(ステップS402)
ステップS401の相互認証処理が成立し、双方の機器の正当性が確認されると、ステップS402に進む。
ステップS402では、MP4コンテンツ管理サーバ500が情報処理装置400に対して、再生パスを通知する。すなわち、例えば先に図11、図12等を参照して説明した再生パスである。
再生パスには再生パス個別の識別子、例えば再生パス番号が設定され、MP4コンテンツ管理サーバ500は、この再生パス番号を情報処理装置400に通知する。
さらに、この再生パスの通知に伴い、MP4コンテンツ管理サーバ500は、情報処理装置400に対して、
a.復号鍵
b.セグメントキーファイル、
c.プレイリストファイル
これらのデータを情報処理装置400に送信する。
a.復号鍵は、例えばコンテンツ構成データ中の、
(a)単一データ領域
このデータ領域の暗号化データを復号するために適用する鍵である。
b.セグメントキーファイルは、コンテンツ構成データ中の、
(b1)MP4用バリエーションデータ非設定セグメント領域
(b2)MP4用バリエーションデータ設定セグメント領域
これらのセグメント領域に設定されるバリエーションデータを復号するために必要となるセグメントキーを格納したファイルである。
ただし、
(b1)MP4用バリエーションデータ非設定セグメント領域
この領域に設定されるバリエーションデータは1つのバリエーションデータであり、すべての再生装置が1つの共通データを再生する。従って、
(b1)MP4用バリエーションデータ非設定セグメント領域
この領域のデータ復号に適用するセグメントキーは、すべての再生装置(MP4再生装置)に共通に提供される。
この、(b1)MP4用バリエーションデータ非設定セグメント領域のデータ復号に適用するセグメントキーは、セグメントキーファイルに含めず、上記の単一データ領域対応の復号鍵に含めて、全ての再生装置に提供する構成としてもよい。
なお、情報処理装置400がセグメントキーファイルから取得可能なセグメントキーは、情報処理装置400に対して通知された再生パスに従って選択されるバリエーションデータの復号に適用するセグメントキーのみである。
再生パスは、例えば先に図11を参照して説明したように、情報処理装置(再生装置)に応じて決定される。
MP4コンテンツ管理サーバ500は、情報処理装置400に許容する再生パスを通知し、通知した再生パスに従って再生される各セグメント領域のバリエーションデータの復号に適用するセグメントキーを情報処理装置400が取得可能なセグメントキーファイルを生成して提供する。
なお、このセグメントキーファイルに格納されたセグメントキーは、暗号化されており、情報処理装置400の保持する鍵で復号することで、セグメントキーを取得することが可能な構成としてもよい。
MP4コンテンツ管理サーバ500から情報処理装置400に送信するセグメントキーファイルは、情報処理装置400に通知した再生パスに従って再生されるバリエーションデータの復号に必要となるセグメントキーのみからなるファイルとする。
あるいは、コンテンツを構成する全てのセグメント領域にあるすべてのバリエーションデータの復号に適用するセグメントキー全てを暗号化データとして含む設定としてもよい。ただし、この設定とする場合は、情報処理装置400に通知した再生パス上にある再生対象のバリエーションデータの復号に必要となるセグメントキーのみを、情報処理装置400の有する鍵で復号可能な構成を持つセグメントキーファイルを生成して送信する。
c.プレイリストファイルは、MP4コンテンツ管理サーバ500が情報処理装置400に通知した再生パスに従ったコミンテンツ再生を実行するための再生制御情報である。
1つの再生パスに対して1つのプレイリストが対応づけられる。
すなわち、異なる再生パスのコンテンツ再生を行なうためには、異なるプレイリストを利用することが必要となる。
図に示す例では、ステップS402においてMP4コンテンツ管理サーバ500から情報処理装置400に1つの再生パスが通知され、この通知された再生パスに従ったコンテンツ再生を実行するためのプレイリストが、MP4コンテンツ管理サーバ500から情報処理装置400に提供される。
なお、MP4コンテンツ管理サーバ500から情報処理装置400に提供するデータは、例えば、相互認証処理によって共有されるセッション鍵によって暗号化して提供する構成とすることが好ましい。
(ステップS403)
MP4コンテンツ管理サーバ500から再生パスについての通知を受領し、さらに、
a、復号鍵
b.通知された再生パスに設定されるバリエーションデータの復号に適用するセグメントキーを格納したセグメントキーファイルと、
c.通知された再生パスに従ったコンテンツ再生を行なうための再生制御情報であるプレイリストファイル、
これらの各データを受領した情報処理装置400は、これらを利用して、第2メディア202に格納されたMP4フォーマットに従ったコンテンツを復号して、再生する処理を実行する。
第2メディア202に格納されたコンテンツは、MP4フォーマットデータであり、先に図13(B)を参照して説明したように、
(a)単一データ領域
(b1)MP4用バリエーションデータ非設定セグメント領域
(b2)MP4用バリエーションデータ設定セグメント領域
これらの各領域を有する。
セグメントキーファイルは、(b2)MP4用バリエーションデータ設定セグメント領域に設定されるバリエーションデータを復号するために必要となるセグメントキーを格納したファイルである。
コンテンツ再生を行なう場合、再生対象コンテンツの再生パスに従ったコンテンツ再生を実行するための再生制御情報を記録したプレイリストに従ってコンテンツの再生が行われる。
コンテンツの「MP4用バリエーションデータ設定セグメント領域」には、各々異なる鍵で復号可能な複数のバリエーションデータが設定される。
情報処理装置400は、MP4コンテンツ管理サーバ500から受信したセグメントキーファイルから、例えば自装置のメモリに格納した鍵を適用して復号して得られるセグメントキーを利用して、「MP4用バリエーションデータ設定セグメント領域」から選択される1つのバリエーションデータを復号して再生を実行する。
なお、MP4コンテンツ管理サーバ500から受信したプレイリストを適用した再生処理により、1つの再生パスが自動的に選択され、各セグメント領域から1つのバリエーションデータが、順次、選択される。情報処理装置400は、選択されたバリエーションデータを、セグメントキーファイルから取得したバリエーションデータ対応のセグメントキーで復号して再生を実行する。
なお、この復号処理によって得られる画像等のバリエーションデータには、どのバリエーションデータであるかのバリエーションデータ識別情報(フォレンジックマーク(Forensic Mark))が埋め込まれている。
これは、先に図12を参照して説明したバリエーションデータ識別情報(フォレンジックマーク(Forensic Mark))である。
例えば不正流通コンテンツが検出された場合、このバリエーションデータ識別情報(フォレンジックマーク(Forensic Mark))に基づいて、出所追跡を行うことが可能となる。
[5.フォーマット変換およびデータ記録処理を実行する情報処理装置の構成例について]
次に、上述した実施例に従った処理を実行する装置の構成例について図18以下を参照して説明する。
図18に示す情報処理装置600は、第1メディア610に記録されたMPEG−2TSフォーマットデータを変換して生成したMP4フォーマットデータを第2メディア620に記録する情報処理装置である。
情報処理装置600は、例えばBD(Blu−ray(登録商標) Disc)等の情報記録媒体である第1メディア610に記録されたデータを読み出し、フラッシュメモリ等の情報記録媒体である第2メディア620に記録する、いわゆるコピー処理を行なう。
あるいは、通信部603を介して入力したデータをフラッシュメモリ等の第2メディア620に記録する処理を行なう。
なお、第1メディア610、あるいは通信部603を介して入力するデータのデータフォーマットを第1フォーマット、第2メディア620に対して記録するデータのフォーマットを第2フォーマットとする。
情報処理装置は、第1メディア610、あるいは通信部603を介して入力する第1フォーマットのデータをフラッシュメモリ等の第2メディア620に記録する際に、第1フォーマットデータを第2フォーマットデータに変換する処理を行なう。
なお、上述した実施例では、第1メディア610、または通信部603から入力するデータのフォーマットはMPEG−2TSフォーマットであり、第2メディアの記録フォーマットはMP4フォーマットである。
情報処理装置100は、第2メディア620に対するデータ記録処理に際して、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行する。
情報処理装置600は、図18に示すように、制御部601、入力部602、通信部603、記憶部604、出力部605、第1メディアIF(インタフェース)606、データバッファ607、データ変換部608、第2メディアIF609を有する。
制御部601は、メディアを利用したデータ記録再生、メディア間のデータコピー処理等、情報処理装置600において実行するデータ処理の制御を行う、これらの制御は、例えば記憶部604に格納されたプログラム従って行われる。
入力部602は、ユーザの操作可能なスイッチ、ボタン、タッチパネル等の入力部であり、再生、コピー、記録等の様々な処理の指示入力などを行う入力部である。
また、入力部602は、メディアに記録する画像や音声等を入力する撮像部、マイクを持つ構成としてもよい。
通信部603は、例えば外部サーバ、あるいは外部機器との通信を行い、メディアに対する記録データや、記録データに関する制御情報、あるいはコピー処理の許可情報の取得など、各種の通信処理に利用される。
記憶部604は、制御部601の実行するプログラムや、プログラム実行に用いるパラメータ等の記憶領域、さらにプログラム実行時のワーク領域等に利用される。
具体的には、第2メディア620に対するデータ記録時に第1メディア610から読み出したデータ、あるいは通信部603を介して入力したデータを一時的に格納する領域としても利用される。
記憶部604は、例えばRAM、ROM等によって構成される。
出力部605は、外部装置に対する出力部や、メディアからの再生データの出力部によって構成される。例えば、第2メディア620に対するデータ記録処理の進行状況の表示、ユーザに対するメッセージ表示などに利用され、ディスプレイやスピーカ等を含む。
第1メディアインタフェース(IF)606は、例えばBD(Blu−ray(登録商標) Disc)等の第1メディア610に対するアクセスを行い、第1メディア610に対するデータ記録やデータ読み取りを行なうデータ記録再生部として機能するインタフェースである。
データバッファ607は、第1メディア610からの読み出しデータや、通信部603から入力するデータを一時的に格納するバッファである。例えば第2メディア620に記録するデータを一時的に格納する。
データ変換部608は、第1メディア610の記録データ、あるいは通信部603を介して入力するデータのフォーマットである第1フォーマットのデータを、データ記録先である第2メディア620に記録する際のデータフォーマットである第2フォーマットに変換するフォーマット変換処理を実行する。
第2メディアインタフェース(IF)609は、第2メディア620に対するアクセスを行い、第2メディア620に対するデータ記録あるいは読み取り処理を行なうデータ記録再生部として機能するインタフェースである。
このように、情報処理装置600は、第1メディア610、あるいは通信部603を介して入力する第1フォーマットのデータをフラッシュメモリ等の第2メディア620に記録する処理を行なう。この処理の際に、第1フォーマットデータを第2フォーマットデータに変換する処理を行なう。
なお、第1フォーマットとは、例えはMPEG−2TSフォーマットデータであり、第2フォーマットは、MP4フォーマットデータである。
なお、情報処理装置600は、第1メディア610から取得出来ないデータを外部のサーバから通信部603を介して取得し、第1メディア610からの読み取りデータと、通信部603を介して取得した受信データを併せて第2メディア620に記録する処理を行なってもよい。
また、図18に示す構成において、第1メディア610は、例えば、BD(Blu−ray(登録商標) Disc)である。第2メディア620は、例えばSDカード等のフラッシュメモリである。
なお、第1メディア610、第2メディア620は、上記の組み合わせに限らず、様々な組み合わせがせ可能である。
次に、図19を参照してデータ変換部608の詳細構成について説明する。
図19に示すように、データ変換部608は、データ解析部651、画像データ変換部652、音声データ変換部653、字幕データ変換部654、多重化処理実行部655を有する。
データ解析部651は、データバッファ607に格納された第1メディア610からの読み出しデータ、または通信部603を介して入力するデータ(パケット)に設定された識別子(PID:プログラムID)に基づいて、各データ(パケット)を、
画像データ、
音声データ、
字幕データ、
これら3種類のデータに分類する。
データ解析部651は、画像データを画像データ変換部652に出力し、音声データを音声データ変換部653に出力し、字幕データを字幕データ変換部654に出力する。
画像データ変換部652、音声データ変換部653、字幕データ変換部654は、入力データのデータフォーマットである第1フォーマット、例えばMPEG−2TSフォーマットデータを、第2メディア620に記録する第2フォーマット、具体的には例えばMP4形式のフォーマットデータに変換する処理を実行する。
すなわち、画像データ変換部652は、第2メディア620に対するデータ記録フォーマットであるMP4フォーマットの画像データを生成して多重化処理実行部655に出力する。
音声データ変換部653は、MP4フォーマットの音声データを生成して多重化処理実行部655に出力する。
字幕データ変換部654は、MP4フォーマットの字幕データを生成して多重化処理実行部655に出力する。
多重化処理部655は、
(a)画像データ生成部652の生成した第2フォーマット(MP4)形式の画像フォーマットデータ、
(b)音声データ生成部653の生成した第2フォーマット(MP4)形式の音声フォーマットデータ、
(c)字幕データ生成部654の生成した第2フォーマット(MP4)形式の字幕フォーマットデータ、
(d)記憶部604に格納した例えば再生制御情報ファイルから抽出したデータ、
例えば、これらの各データの多重化処理を実行して、第2フォーマット(MP4)形式の記録データを生成する。
多重化処理実行部655の生成データは、第2メディアインタフェース609を介して第2メディア620に記録される。
このように、情報処理装置600は、第1メディア610の記録データ、あるいは通信部603を介して入力する第1フォーマット(MPEG−2TSフォーマット)のデータを、第2メディア620の記録フォーマットである第2フォーマット(MP4)に変換して、第2メディア620に記録する処理を実行する。
なお、データ変換部608は、先に説明した以下の各実施例に従ったバリエーションデータ設定を有するMPEG−2TSフォーマットデータのフォーマット変換を実行してMP4フォーマットデータを生成する。
(実施例1)図10〜図12、図14を参照して説明したバリエーションデータ設定実施例、
(実施例2)図13、図16を参照して説明したバリエーションデータ設定実施例、
なお、各実施例のバリエーションデータ設定構成は以下の通りである。
(実施例1)各セグメント領域に、MPEG−2TS用のバリエーションデータとMP4用のバリエーションデータを設定した構成。
(実施例2)複数のセグメント領域の一部のセグメント領域のみにMP4用のバリエーションデータを設定した構成。
例えば、画像データ変換部652は、データ解析部651がPIDに基づいて検出した画像データ対応のTSパケットを入力して、TSパケットから取り出したバリエーションデータを有する画像データに対して、上述した実施例に従ったフォーマット変換処理を実行する。
[6.データ再生、または記録処理を実行する情報処理装置、およびサーバの構成例について]
次に、例えば図15、図17に示すシーケンスに従ったMP4フォーマットデータの再生処理を実行する情報処理装置、あるいはMPEG−2TSフォーマットデータを生成してメディアに記録する情報処理装置、さらに、図14〜図17のシーケンス図を参照して説明した処理を行なうサーバとして適用可能な情報処理装置のハードウェア構成例について、図20を参照して説明する。
CPU(Central Processing Unit)701は、ROM(Read Only Memory)702、または記憶部708に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)703には、CPU701が実行するプログラムやデータなどが記憶される。これらのCPU701、ROM702、およびRAM703は、バス704により相互に接続されている。
CPU701はバス704を介して入出力インタフェース705に接続され、入出力インタフェース705には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部706、ディスプレイ、スピーカなどよりなる出力部707が接続されている。CPU701は、入力部706から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部707に出力する。
入出力インタフェース705に接続されている記憶部708は、例えばハードディスク等からなり、CPU701が実行するプログラムや各種のデータを記憶する。通信部709は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース705に接続されているドライブ710は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア711を駆動し、データの記録あるいは読み取りを実行する。
なお、データの符号化あるいは復号は、データ処理部としてのCPU701の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
前記データ処理部は、
MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択し、選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する情報処理装置。
(2) 前記MPEG−2TSフォーマットデータのセグメント領域に設定されたバリエーションデータの各々はバリエーション識別子が埋め込まれたデータであり、復号データからバリエーション識別子を抽出可能なデータである上記(1)に記載の情報処理装置。
(3) 前記MPEG−2TSフォーマットデータのセグメント領域は、再生装置に許容された再生パスに従って1つのバリエーションデータを選択して再生するデータ領域である上記(1)または(2)に記載の情報処理装置。
(4) 前記MP4フォーマットデータは、CFF(Common File Format)に従ったデータである上記(1)〜(3)いずれかに記載の情報処理装置。
(5) 前記MPEG−2TSフォーマットデータの各セグメント領域には、MPEG−2TS用バリエーションデータと、MP4用バリエーションデータが設定され、
前記データ処理部は、
MPEG−2TSフォーマットデータの各セグメント領域からMP4用バリエーションデータのみを選択してMP4フォーマット構成データとしてMP4ファイルに格納する上記(1)〜(4)いずれかに記載の情報処理装置。
(6) 前記MPEG−2TSフォーマットデータは、
(1)MP4用バリエーションデータの設定されていないMP4用バリエーションデータ非設定セグメント領域、
(2)複数のMP4用バリエーションデータの設定されているMP4用バリエーションデータ設定セグメント領域、
上記の異なる態様のセグメント領域を有し、
前記データ処理部は、
前記MP4用バリエーションデータ設定セグメント領域から、MP4用バリエーションデータのみを選択してMP4フォーマット構成データとしてMP4ファイルに格納する上記(1)〜(5)いずれかに記載の情報処理装置。
(7) 前記データ処理部は、
前記MP4用バリエーションデータ非設定セグメント領域については、復号可能な1つのバリエーションデータを選択してMP4フォーマット構成データとしてMP4ファイルに格納する上記(6)に記載の情報処理装置。
(8) 前記復号可能な1つのバリエーションデータは、
前記情報処理装置に対応して設定された再生パスに従って再生対象データとして選択されるバリエーションデータである上記(7)に記載の情報処理装置。
(9) 前記情報処理装置は、
サーバからのコピー許可通知を受信する通信部を有し、
前記データ処理部は、
前記コピー許可通知の受領を条件として、
第1メディアに格納されたMPEG−2TSフォーマットデータをMP4フォーマットデータに変換し、第2メディアに記録する上記(1)〜(8)いずれかに記載の情報処理装置。
(10) 前記データ処理部は、
前記MP4用バリエーションデータ以外のMPEG−2TSフォーマットデータの少なくとも一部のデータを復号し、前記サーバから受信した再暗号鍵を適用して再暗号化処理を実行して前記MP4ファイルに格納する上記(9)に記載の情報処理装置。
(11) MPEG−2TSフォーマットデータを格納した情報記録媒体であり、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含み、
前記セグメント領域に設定されたバリエーションデータは、MPEG−2TS用バリエーションデータと、MP4用バリエーションデータを含む構成であり、
前記情報記録媒体に記録されたMPEG−2TSフォーマットデータを読み取り、MP4フォーマットデータに変換する変換装置が、前記MP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納することを可能とした情報記録媒体。
(12) MP4フォーマットデータの再生処理を実行するデータ処理部と、
サーバとの通信を実行する通信部を有し、
前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
前記通信部は、前記サーバから再生の許容される再生パス情報を受信し、
前記データ処理部は、
前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行する情報処理装置。
(13) 前記MP4フォーマットデータは、情報記録媒体に格納されたデータであり、
前記通信部は、
前記MP4フォーマットデータ対応のコンテンツ識別子、または前記情報記録媒体の識別子を前記サーバに送信し、
前記サーバから、前記MP4フォーマットデータに対応して許容される再生パス情報を受信する上記(12)に記載の情報処理装置。
(14) 前記データ処理部は、
前記サーバから受信するセグメントキーファイルからセグメントキーを取得し、取得したセグメントキーを適用して前記バリエーションデータを復号する上記(12)または(13)に記載の情報処理装置。
(15) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
前記データ処理部が、
MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択し、選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する情報処理方法。
(16) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MP4フォーマットデータの再生処理を実行するデータ処理部と、
サーバとの通信を実行する通信部を有し、
前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
前記データ処理部が、
前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行する情報処理方法。
(17) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
前記プログラムは、前記データ処理部に、
MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択する処理、
選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する処理を実行させるプログラム。
(18) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MP4フォーマットデータの再生処理を実行するデータ処理部と、
サーバとの通信を実行する通信部を有し、
前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
前記プログラムは、前記データ処理部に、
前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、バリエーションデータを持つMPEG−2TSフォーマットデータをMP4フォーマットに変換し、変換後のMP4データについても再生パス設定や出所追跡を可能とした構成を実現する。
具体的には、各々を異なる鍵で復号可能とした複数のバリエーションデータからなるセグメント領域を有し、選択バリエーションデータに応じた再生パスを設定可能なMPEG−2TSフォーマットデータをMP4フォーマットに変換するデータ処理部を有する。データ処理部は、MPEG−2TSフォーマットのセグメント領域から暗号化MP4用バリエーションデータを選択し、選択したMP4用バリエーションデータを暗号化データのままMP4ファイルに格納する。
本構成により、バリエーションデータを持つMPEG−2TSフォーマットデータをMP4フォーマットに変換し、変換後のMP4データについても再生パス設定や出所追跡を可能とした構成が実現される。
また、フォーマット変換時に復号、再暗号化処理が不要となり、処理が効率化するとともに、データ漏えいの可能性も低減される。
10 情報記録媒体
21,22 再生装置
31,32 再生画像
50 メディア
51 管理情報設定部(AACSディレクトリ)
52 データ部(BDMVディレクトリ)
81 MPEG−2TS用バリエーションデータ
82 MP4用バリエーションデータ
100 情報記録媒体
110,120 再生装置
111,121 再生画像
151 MPEG−2TS用バリエーションデータ
153 MP4用バリエーションデータ
200 情報処理装置
201 第1メディア
202 第2メディア
211 メディアID
212 コンテンツID
213 コンテンツ
300 コピー管理サーバ
400 情報処理装置
500 MP4コンテンツ管理サーバ
600 情報処理装置
601 制御部
602 入力部
603 通信部
604 記憶部
605 出力部
606 第1メディアインタフェース
607 データバッファ
608 データ変換部
609 第2メディアインタフェース
610 第1メディア
620 第2メディア
651 データ解析部
652 画像データ変換部
653 音声データ変換部
654 字幕データ変換部
655 多重化処理部
701 CPU
702 ROM
703 RAM
704 バス
705 入出力インタフェース
706 入力部
707 出力部
708 記憶部
709 通信部
710 ドライブ
711 リムーバブルメディア

Claims (17)

  1. MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
    前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
    前記データ処理部は、
    MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択し、選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する情報処理装置。
  2. 前記MPEG−2TSフォーマットデータのセグメント領域に設定されたバリエーションデータの各々はバリエーション識別子が埋め込まれたデータであり、復号データからバリエーション識別子を抽出可能なデータである請求項1に記載の情報処理装置。
  3. 前記MPEG−2TSフォーマットデータのセグメント領域は、再生装置に許容された再生パスに従って1つのバリエーションデータを選択して再生するデータ領域である請求項1に記載の情報処理装置。
  4. 前記MP4フォーマットデータは、CFF(Common File Format)に従ったデータである請求項1に記載の情報処理装置。
  5. 前記MPEG−2TSフォーマットデータの各セグメント領域には、MPEG−2TS用バリエーションデータと、MP4用バリエーションデータが設定され、
    前記データ処理部は、
    MPEG−2TSフォーマットデータの各セグメント領域からMP4用バリエーションデータのみを選択してMP4フォーマット構成データとしてMP4ファイルに格納する請求項1に記載の情報処理装置。
  6. 前記MPEG−2TSフォーマットデータは、
    (1)MP4用バリエーションデータの設定されていないMP4用バリエーションデータ非設定セグメント領域、
    (2)複数のMP4用バリエーションデータの設定されているMP4用バリエーションデータ設定セグメント領域、
    上記の異なる態様のセグメント領域を有し、
    前記データ処理部は、
    前記MP4用バリエーションデータ設定セグメント領域から、MP4用バリエーションデータのみを選択してMP4フォーマット構成データとしてMP4ファイルに格納する請求項1に記載の情報処理装置。
  7. 前記データ処理部は、
    前記MP4用バリエーションデータ非設定セグメント領域については、復号可能な1つのバリエーションデータを選択してMP4フォーマット構成データとしてMP4ファイルに格納する請求項6に記載の情報処理装置。
  8. 前記復号可能な1つのバリエーションデータは、
    前記情報処理装置に対応して設定された再生パスに従って再生対象データとして選択されるバリエーションデータである請求項7に記載の情報処理装置。
  9. 前記情報処理装置は、
    サーバからのコピー許可通知を受信する通信部を有し、
    前記データ処理部は、
    前記コピー許可通知の受領を条件として、
    第1メディアに格納されたMPEG−2TSフォーマットデータをMP4フォーマットデータに変換し、第2メディアに記録する請求項1に記載の情報処理装置。
  10. 前記データ処理部は、
    前記MP4用バリエーションデータ以外のMPEG−2TSフォーマットデータの少なくとも一部のデータを復号し、前記サーバから受信した再暗号鍵を適用して再暗号化処理を実行して前記MP4ファイルに格納する請求項9に記載の情報処理装置。
  11. MP4フォーマットデータの再生処理を実行するデータ処理部と、
    サーバとの通信を実行する通信部を有し、
    前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
    各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
    前記通信部は、前記サーバから再生の許容される再生パス情報を受信し、
    前記データ処理部は、
    前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行する情報処理装置。
  12. 前記MP4フォーマットデータは、情報記録媒体に格納されたデータであり、
    前記通信部は、
    前記MP4フォーマットデータ対応のコンテンツ識別子、または前記情報記録媒体の識別子を前記サーバに送信し、
    前記サーバから、前記MP4フォーマットデータに対応して許容される再生パス情報を受信する請求項11に記載の情報処理装置。
  13. 前記データ処理部は、
    前記サーバから受信するセグメントキーファイルからセグメントキーを取得し、取得したセグメントキーを適用して前記バリエーションデータを復号する請求項11に記載の情報処理装置。
  14. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
    前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
    前記データ処理部が、
    MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択し、選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する情報処理方法。
  15. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    MP4フォーマットデータの再生処理を実行するデータ処理部と、
    サーバとの通信を実行する通信部を有し、
    前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
    各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
    前記データ処理部が、
    前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行する情報処理方法。
  16. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換するフォーマット変換を実行するデータ処理部を有し、
    前記MPEG−2TSフォーマットデータは、各々異なる鍵で復号可能な複数のバリエーションデータを有するセグメント領域を含むデータであり、
    前記プログラムは、前記データ処理部に、
    MPEG−2TSフォーマットデータのセグメント領域から暗号化されたMP4用バリエーションデータを選択する処理、
    選択したMP4用バリエーションデータの復号処理と再暗号化処理を実行することなく、暗号化データのままMP4フォーマット構成データとしてMP4ファイルに格納する処理を実行させるプログラム。
  17. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    MP4フォーマットデータの再生処理を実行するデータ処理部と、
    サーバとの通信を実行する通信部を有し、
    前記MP4フォーマットデータは、各々が異なる鍵で復号可能な複数のバリエーションデータからなるセグメント領域を有し、再生対象として選択するバリエーションデータに応じた複数の再生パスを設定可能なデータであり、
    各バリエーションデータは、復号データからバリエーションデータ識別子を解析可能なデータであり、
    前記プログラムは、前記データ処理部に、
    前記サーバから受信した再生パス情報に従って、セグメント領域からバリエーションデータを選択してコンテンツ再生を実行させるプログラム。
JP2016543859A 2014-08-22 2015-07-07 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Expired - Fee Related JP6550055B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462040445P 2014-08-22 2014-08-22
US62/040,445 2014-08-22
US14/573,709 2014-12-17
US14/573,709 US9398330B2 (en) 2014-08-22 2014-12-17 Information processing device, information recording medium, information processing method, and program
PCT/JP2015/069567 WO2016027579A1 (ja) 2014-08-22 2015-07-07 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2016027579A1 JPWO2016027579A1 (ja) 2017-06-08
JP6550055B2 true JP6550055B2 (ja) 2019-07-24

Family

ID=55349447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016543859A Expired - Fee Related JP6550055B2 (ja) 2014-08-22 2015-07-07 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US9398330B2 (ja)
EP (1) EP3185544B1 (ja)
JP (1) JP6550055B2 (ja)
WO (1) WO2016027579A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122781B2 (en) * 2016-01-29 2018-11-06 Roku Inc. Selection of video segments for adaptive streaming
US10218755B2 (en) 2016-01-29 2019-02-26 Roku, Inc. Extended selection and alignment of video segments for adaptive streaming
US10057654B2 (en) 2016-01-29 2018-08-21 Roku, Inc. Selection and alignment of video segments for adaptive streaming
JP6721832B2 (ja) * 2016-08-24 2020-07-15 富士通株式会社 データ変換プログラム、データ変換装置及びデータ変換方法
US11681781B2 (en) * 2018-02-21 2023-06-20 Comcast Cable Communications, Llc Systems and methods for content security
GB2585760B (en) * 2018-06-06 2022-04-20 Canon Kk Method, device, and computer program for transmitting media content
CN113645172B (zh) * 2020-04-27 2023-01-24 北京圜晖科技有限公司 三维模型数据的传输方法、服务器、用户终端和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4734960B2 (ja) 2005-02-25 2011-07-27 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにコンピュータ・プログラム
JP4715233B2 (ja) * 2005-02-25 2011-07-06 ソニー株式会社 情報処理装置、および情報記録媒体製造方法、並びにコンピュータ・プログラム
JP4882636B2 (ja) 2006-09-27 2012-02-22 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにコンピュータ・プログラム
US20130298171A1 (en) * 2010-11-18 2013-11-07 Sharp Kabushiki Kaisha Device for generating content data, method for generating content data, and recording medium
US8489760B2 (en) * 2011-03-31 2013-07-16 Juniper Networks, Inc. Media file storage format and adaptive delivery system
JP2013038766A (ja) * 2011-07-12 2013-02-21 Sharp Corp 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
JP2013093755A (ja) 2011-10-26 2013-05-16 Canon Inc 映像記録装置及び映像記録方法
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
JP6411862B2 (ja) * 2013-11-15 2018-10-24 パナソニック株式会社 ファイル生成方法およびファイル生成装置

Also Published As

Publication number Publication date
EP3185544A4 (en) 2018-03-14
EP3185544B1 (en) 2021-12-29
US20160057491A1 (en) 2016-02-25
US9398330B2 (en) 2016-07-19
WO2016027579A1 (ja) 2016-02-25
JPWO2016027579A1 (ja) 2017-06-08
EP3185544A1 (en) 2017-06-28

Similar Documents

Publication Publication Date Title
JP6550055B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6465144B2 (ja) 情報処理装置、情報記録媒体、情報処理システム、および情報処理方法、並びにプログラム
JPWO2018142985A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6500895B2 (ja) 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6380542B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2016084756A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6607195B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2016027512A (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
KR20190131025A (ko) 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 그리고 프로그램
WO2016167082A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2015186479A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6589984B2 (ja) 情報処理装置、情報処理システム、情報記録媒体、および情報処理方法、並びにプログラム
JP2016103303A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2015153441A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2017002541A1 (ja) 情報処理装置、情報処理システム、情報記録媒体、および情報処理方法、並びにプログラム
JP2015167059A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2015153440A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180625

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190628

R150 Certificate of patent or registration of utility model

Ref document number: 6550055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees