JP4366102B2 - メディアデータ処理装置及びその方法 - Google Patents

メディアデータ処理装置及びその方法 Download PDF

Info

Publication number
JP4366102B2
JP4366102B2 JP2003098044A JP2003098044A JP4366102B2 JP 4366102 B2 JP4366102 B2 JP 4366102B2 JP 2003098044 A JP2003098044 A JP 2003098044A JP 2003098044 A JP2003098044 A JP 2003098044A JP 4366102 B2 JP4366102 B2 JP 4366102B2
Authority
JP
Japan
Prior art keywords
data
ipmp
media data
media
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003098044A
Other languages
English (en)
Other versions
JP2004032695A (ja
Inventor
勉 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003098044A priority Critical patent/JP4366102B2/ja
Priority to US10/426,312 priority patent/US7239661B2/en
Publication of JP2004032695A publication Critical patent/JP2004032695A/ja
Priority to US11/744,178 priority patent/US8117634B2/en
Application granted granted Critical
Publication of JP4366102B2 publication Critical patent/JP4366102B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23895Multiplex stream processing, e.g. multiplex stream encrypting involving multiplex stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541Rights Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26613Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for generating or managing keys in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675Providing digital key or authorisation information for generation or regeneration of the scrambling sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Facsimiles In General (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数の情報データを同期制御する技術に関する。
【0002】
【従来の技術】
昨今、テキスト、動画(ビデオ)、音声(オーディオ)などのマルチメディアデータをネットワークを通じてリアルタイムに配信するための種々の方式が実用化されている。
【0003】
図1は、従来の受信側におけるマルチメディア処理部の構成を示す図である。図1において、101は受信部であり、伝送路からビデオ、オーディオのビットストリームを受信する。このビットストリームについては更に後述する。102はデマルチプレクサであり、受信したビットストリームをビデオ、オーディオに分別する。103はビデオデコーダであり、分別されたビデオビットストリームをデコード(復号)処理する。105はオーディオデコーダであり、分別されたオーディオビットストリームをデコード(復号)処理する。
【0004】
104は同期制御部であり、デマルチプレクサ102からビデオ、オーディオの同期制御データ(タイムスタンプ)を受信し、双方の再生のための同期制御を行う。このタイムスタンプについては更に後述する。106はビデオ再生制御部であり、108のビデオ再生機(ディスプレイ)へのビデオ再生を行い、ユーザに提示する。107はオーディオ再生制御部であり、109のオーディオ再生機(スピーカ)へのオーディオ再生を行い、ユーザに提示する。
【0005】
図2は、従来の送信側におけるマルチメディア処理部の構成を示す図である。図2において、201はビデオ処理部であり、ビデオソースを入力し、適宜変換(例えば、AD変換)やエンコードの前処理を行う。202はオーディオ処理部であり、オーディオソースを入力し、適宜変換やエンコードの前処理を行う。203はビデオエンコーダであり、ビデオ信号を符号化する。205はオーディオエンコーダであり、オーディオ信号を符号化する。
【0006】
204は同期制御部であり、ビデオエンコーダ203とオーディオエンコーダ205との同期を制御する。206はマルチプレクサ(多重化器)であり、後述するヘッダ情報やタイムスタンプ類を適宜挿入しながら、メディアを多重化して出力する。207は多重化されたビットストリームを保存するストレージであり、マルチメディアデータを蓄積しておくハードディスク(HD)である。208は配信サーバであり、クライアントからの要求に応じて、実際にクライアントの受信部101にビットストリームを配信する。
【0007】
図3は、多重化されたビットストリームの構成を示す図である。通常データは最適な手法によって予め圧縮(符号化)されており、このデータ形式を「ビットストリーム」と呼んでいる。また、ビデオ、オーディオのマルチメディアデータを同時に送信する場合、図3に示すように、双方のデータは特定のサイズ(以下「パケット」と呼ぶ)に分割されて重畳されている。
【0008】
図3において、307はヘッダ情報であり、パケット毎に付加される。308、310、312はそれぞれビデオのビットストリームである。509、511、513はそれぞれオーディオのビットストリームである。
【0009】
301〜306はそれぞれタイムスタンプと呼ばれる時間情報であり、301、303、305がそれぞれ後続するビデオビットストリームのタイムスタンプであり、同様に302、304、306がオーディオビットストリームのタイムスタンプである。また、このタイムスタンプにパケット毎のヘッダ情報が加わることもある。
【0010】
図4は、MPEG-4規格の受信側におけるマルチメディア処理部の構成を示す図である。ISO/IEC SC29/WG11 14496-1 (MPEG-4 Systems)規格においては、ビットストリームのフォーマットと、ビデオ、オーディオ間の同期方式について規格化が行われている。また、著作権の管理方法についても規定されている。MPEG-4では、シーン記述方式としてBIFS(Binary Format for Scene description)を用い、このデータを1つのメディアストリームとして伝送する。
【0011】
図4において、デマルチプレクサ402で分別されたビットストリームはBIFS、各メディア、IPMP(Intellectual Property Management and Protection)情報デコーダ用バッファ403〜406にそれぞれ蓄積され、デコード処理単位に次段のデコーダ407〜409で復号処理が行われる。このときBIFSストリームはシーンツリー生成部411でシーン情報が再構築され、IPMPストリームはIPMP処理に必要な情報(例えば暗号キーなど)が復号される。
【0012】
410はIPMP制御部であり、各部のデコーダや412のコンポジタ(合成器)の動作を制御する。具体的には、復号されたIPMP情報に基づき各メディアの復号や合成のオン又はオフ制御、あるいは制限つきの再生制御などを行う。413はレンダラーであり、ビデオ及びオーディオを再生すべくディスプレイ414及びスピーカ415へ出力する。
【0013】
図5は、従来のビデオ処理におけるタイムスタンプの例を示す図である。このMPEG-4 Systemsでは、DTS(Decode Time Stamp)及びCTS(Composition Time Stamp)と呼ばれる2種類のタイムスタンプを定義している。
【0014】
図5に示すDTSはデコーダの処理開始時間を示し、CTSは合成の処理開始時間を示している。Video AU1、Video AU2、Video AU3…は、それぞれ連続するビデオアクセスユニット(デコード単位)であり、それぞれに対応するDTS、CTSが伝送される(但し、片方が省略される場合もある。このときはDTS=CTSとして扱う)。また、図5の下部に、ビデオストリームに対して処理を行うIPMPデータのタイムスタンプを同時に示している。ここで、IPMP AU1, IPMP AU2, IPMP AU3,…はそれぞれVideo AU1、Video AU2、Video AU3…に対応したIPMP情報である。
【0015】
このように、IPMPデータも他のビデオ、オーディオなどのメディアストリームと同様に、ビットストリームの一種として扱われ、受信機の各ステージでの再生制御が行われる。例えば、IPMPデータに暗号キーに関する情報を埋め込んでおき、タイムスタンプに応じた(アクセスユニット毎に)暗号キーの更新などを行うことができる。
【0016】
【発明が解決しようとする課題】
しかしながら、従来例では、以下のような問題があった。
(1)IPMPストリームに付加されるタイムスタンプも他のメディアストリームと同じ扱いとなっており、IPMP用CTSの扱いと動作が定義されていない。
【0017】
ここで、コンポジションとはメディアストリームに対して行われる行為であり、IPMPストリームはそれ自身でコンポジションを行う性質のものではないためである。
(2)IPMPストリームに付加されるタイムスタンプと、各メディアストリームに付加されるタイムスタンプとの同期関係が定義されておらず、アクセスユニット単位でメディアデータとIPMPデータとの同期がとれない。
(3)上記暗号キーに関する情報を秘匿するために、暗号化処理した場合或いは電子透かし技術を用いて上記暗号キーに関する情報をIPMPデータに埋め込んだ場合とでは、IPMPデータの処理方法が異なり、IPMPデータの処理をフレキシブルに表現できない。
【0018】
尚、上記したIPMPデータの処理方法が異なる理由は、暗号化技術を用いた場合では、まず暗号を解除し、その後デコード処理して暗号キーに関する情報を抽出処理するが、一方、電子透かし技術を用いた場合では、まずデコード処理し、そのデコード済みデータから暗号キーに関する情報を抽出処理するからである。
【0019】
上述したような背景から本発明の一つの目的は、符号化されたメディアデータと前記メディアデータの知的財産を管理するための符号化された知的財産管理データとを再生時に確実に同期させることができ、前記メディアデータの知的財産を正確に管理することができるメディアデータ処理装置及びその方法を提供する。
【0020】
【課題を解決するための手段】
本発明のメディアデータ処理装置は、メディアデータと前記メディアデータの知的財産管理のためのIPMPデータとを入力する入力手段と、前記メディアデータを符号化する第1の符号化手段と、前記IPMPデータを符号化する第2の符号化手段と、前記第1の符号化手段により符号化されたメディアデータ前記メディアデータに復するタイミングを制御するための第1のタイミング情報と、前記第2の符号化手段により符号化されたIPMPデータ前記IPMPデータ復号するタイミングを制御するための第2のタイミング情報と、前記メディアデータと前記IPMPデータとを所定単位で同期を図るための同期情報とをパケット化して送信する送信手段とを有することを特徴とする。
【0021】
また、本発明のメディアデータ処理装置は、符号化されたメディアデータ復号するタイミングを制御するための第1のタイミング情報と、符号化されたIPMPデータ復号するタイミングを制御するための第2のタイミング情報と、前記IPMPデータと前記メディアデータとを所定単位で同期を図るための同期情報とがパケット化されて送信されたビットストリームを受信する受信手段と、前記第2のタイミング情報に応じて前記符号化されたIPMPデータを復号する第1の復号化手段と、前記第1のタイミング情報に応じて前記符号化されたメディアデータを復号する第2の復号化手段と、前記同期情報及び前記復号されたIPMPデータに応じて前記メディアデータの出力を制御する制御手段とを有することを特徴とする。
【0024】
【発明の実施の形態】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【0025】
まず、本実施形態におけるIPMP処理専用のタイムスタンプ(以下「ITS」と呼ぶ)が付加されたビットストリームを受信する受信側のマルチメディア処理部の構成及び動作について説明する。
【0026】
図6は、本実施形態の受信側におけるマルチメディア処理部の構成を示す図である。図6において、601はビットストリーム受信部であり、適宜サーバからビットストリームを受信する。602はデマルチプレクサであり、多重化されたビットストリームの逆多重化を行い、各ビットストリームを抽出する。ここで、抽出された各ビットストリームは、603のBIFSデコーダ用バッファ、604のメディアデコーダ用バッファ(ビデオ、オーディオなどを総合して「メディア」と称す)、605のIPMPデコーダ用バッファに個別に蓄積される。それぞれ蓄積されたビットストリームは、608のBIFSデコーダ、609のメディアデコーダ、610のIPMPデコーダによりそれぞれデコードされる。
【0027】
尚、後述するように、BIFS及び各メディアのデコード処理は、IPMP処理により禁止されることもある。
【0028】
また、デマルチプレクサ602からメディアストリーム及びIPMPストリームに対してそれぞれタイムスタンプが出力される。607はメディア用DTS検出器、616はメディア用CTS検出器であり、611はIPMP用DTS検出器、612はIPMP用CTS検出器である。
【0029】
尚、本実施形態においては、ITS検出器606によりITSと呼ばれるIPMP処理専用のタイムスタンプが抽出され、IPMPデコーダ610のデコードタイミングを制御する。メディア、IPMPそれぞれのDTS及びCTSは、それぞれ613のDTS比較器、617のCTS比較器により、メディア、IPMPそれぞれのDTS及びCTSが一致しているか否かを調べる。619はANDゲートであり、DTS及びCTSが一致した条件のANDをとる。
【0030】
従って、ANDデート619はメディア用のDTS/CTSとIPMP用のDTS/CTSとが一致した場合にのみ真値“1”を出力する。つまり、この構成により、メディア用のDTS/CTS及びIPMP用のDTS/CTSが完全に一致したか否かを判定することができる。
【0031】
620はシンクコントローラであり、各デコーダのデコードタイミング制御、メディア間の同期制御、再生タイミング制御を司る。上記メディア用のDTS/CTS 及びIPMP用のDTS/CTSが完全に一致した場合、IPMPデータの更新が該当するメディアのアクセスユニットに対応していると想定する。具体的な例としては、メディアデータがスクランブルされており、デスクランブルキーが定期的に切り替わる場合を考える。この場合、メディアの各アクセスユニットと、デスクランブルキーの更新タイミングが正確に規定されないと正常な再生が不可能になる。シンクコントローラ620は、DTS/CTS比較器の出力をモニタすることにより、このタイミングを制御する。具体的には、各デコーダに供給されるメディアデータをデスクランブルするタイミングとデスクランブルキーの更新タイミングの制御を行う。
【0032】
また、614はBIFSデコーダによってデコードされたシーン情報を再構成するBIFSコンポジタバッファであり、615はメディアコンポジタバッファであり、具体的にはデコードされた任意の画像フレーム及びオーディオデータが一時的に格納される。
【0033】
IPMPの方式がスクランブルのみである場合は、そのまま、コンポジタ618で各メディアがコンポジション(再構築)され、レンダラ621にて、表示・再生が行われる。
【0034】
623は画像(或いはビデオ)メディアが最終的にレンダリング(表示)されるモニタ装置であり、624はオーディオメディアがレンダリング(再生)されるスピーカ装置である。
【0035】
また、IPMPの方式がスクランブルのみならずメディアの再生可否制御が行われる場合を考える。この場合、各メディアが意図されたタイミングで正確に表示・再生が開始(或いは停止)されなければならない。この場合も、スクランブルの場合と同様で、シンクコントローラにより、各メディアがアクセスユニット毎に正確に表示・再生が開始(或いは停止)されるかを、DTS比較器613とCTS比較器617との比較結果に基づいてコンポジタ618及びレンダラ621を制御するとによって実現される。
【0036】
図10は、デスクランブル処理を説明するためのフローチャートである。デコードが開始される(S101)と、まずITS検出器606によりITSの検出(S102)が行われる。次に、検出されたITSのタイミングでIPMPデコーダ610によりIPMPデータがデコードされる(S103)。IPMPデータのデコード処理は、スクランブルキー自体が多重スクランブル(暗号化)されている場合など、実際にメディアデータをデコードするキーを抽出する処理などに相当する。
【0037】
次に、IPMPデータのDTS/CTSがIPMP用DTS検出器611及びIPMP用CTS検出器612により検出される(S104)。次に各メディアのDTS/CTSがメディア用DTS検出器607及びメディア用CTS検出器617により検出される(S105)。その後、上記IPMPデータ用DTS/CTS及びメディアデータ用DTS/CTSが各々DTS比較器613及びCTS比較器617により比較される。不一致だった場合には、スクランブルキーが更新されていないと判断し、既存のスクランブルキーでメディアをデスクランブル及びデコードする(S107)。
【0038】
一方、一致した場合には、スクランブルキーが更新されたと判断し、スクランブルキーを更新(S108)した後、メディアをデスクランブル及びデコードする(S109)。その後、適宜コンポジタ618によりコンポジション及びレンダラ621によりレンダリングが行われ(S110)、これをデータ終了まで繰り返す(S111)。
【0039】
尚、IPMPの方式がスクランブル以外に、メディアの表示/再生可否をも含まれる場合には、S110の状態において、別途表示/再生制御が行われることは言うまでもない。
【0040】
次に、本実施形態におけるITSを付加してビットストリームを送信する送信側のマルチメディア処理部の構成及び動作について説明する。
【0041】
図7は、本実施形態の送信側におけるマルチメディア処理部の構成を示す図である。図7において、701はメディアエンコーダであり、メディアデータに対して各メディアに適したエンコードを行う。例えば、メディアデータが画像データの場合は、MPEG-4 Visual(ISO/IEC 14496-2)に準拠した符号化を行い、スクランブルキーによりスクランブル処理される。702はDTS/CTSジェネレータであり、各メディアの再生条件に応じたタイムスタンプ(DTS/CTS)を発生する。
【0042】
703はIPMPエンコーダであり、IPMP情報に対してエンコードを行う。IPMPデータのエンコード処理は、例えばメディアデータにスクランブル処理を施すためのスクランブルキー自体をスクランブル(暗号化)する処理に相当する。704はDTS/CTSバッファであり、DTS/CTSジェネレータ702で生成されたDTS/CTSを一時的に蓄積する。
【0043】
705はシンクコントローラであり、DTS/CTSジェネレータ702で生成されたDTS/CTSとIPMPエンコーダ703でエンコード(スクランブル/暗号化)されたIPMP情報を入力し、各メディアの再生のための同期制御を行うと共に、後述するITS情報の生成を制御する。706はITSジェネレータであり、DTS/CTSバッファ704に蓄積されたDTS/ITSに基づき、シンクコントローラ705からの指示に従って各アクセスユニットに対するITS情報を生成する。
【0044】
707はパケッタイザであり、上述のようにエンコードされたメディア情報及びIPMP情報、DTS/CTS、ITS情報を用いて適宜パケット化を行う。IPMP用のDTS/CTSの値はメディア情報と同一とするので、DTS/CTSジュネレータ702がIPMP用のDTS/CTSを発生していることになる。
【0045】
このパケット化の際に、ヘッダ生成部709にて適宜ヘッダが追加され、マルチプレクサ708によって最終的に多重化が行われる。そして、710のビットストリーム送信部710によりマルチプレクサ709で多重化されたデータが適宜送信が行われる。
【0046】
図8は、本実施形態によるタイムスタンプのタイミングチャートを示す図である。図8では、メディアストリームの一例としてビデオストリームをあげているが他のメディアでもかまわない。着目すべきはビデオのDTS/CTSとIPMPのDTS/CTSの関係である。
【0047】
ここで、ビデオアクセスユニット1(Videio AU1)のデコード開始タイミングをDTS1、コンポジション開始タイミングをCTS1とすると、このアクセスユニットにおけるIPMPストリームのDTS/CTSもそれぞれDTS1、CTS1と同じ値となる。即ち、ビデオアクセスユニットとIPMPアクセスユニットのDTS/CTSを共に同一の値とすることにより、ビデオアクセスユニットとIPMPアクセスユニットとの対応付けを行うことができる。
【0048】
従って、IPMPストリーム用のDTS/CTSはそれ自身のデコード及びコンポジションタイミングを示すものではなく、各メディアストリームのアクセスユニットとの対応付けに利用されるものとなる。
【0049】
一方、新たに定義したITSによりIPMPストリーム自体のアクセスユニット単位でのデコード(例えば、ビデオストリームを解読する暗号マスターキーデータのスクランブルを解除するなど)タイミングを制御することが可能になる。
【0050】
[他の実施形態]
次に、図面を参照しながら本実施形態における他の実施形態を説明する。
【0051】
他の実施形態として、電子透かし技術を応用した場合について説明する。他の実施例では、電子透かし技術を用いてメディアデータのスクランブルキーをIPMPデータに埋め込んだ場合を示し、ITSは電子透かしにより埋め込まれたスクランブルキーを抽出する(デコードする)処理タイミングを示すことになる。
【0052】
図9は、他の実施形態によるタイムスタンプのタイミングチャートを示す図である。図9に示すDTS/CTSは、図8と同様に、メディアとIPMPの各ストリームのアクセスユニットの相互関係を示す目的で使用される。本実施形態では、例えば暗号を用いたシステムに対して適応可能であったが、ビットストリームが暗号化されている場合には、メディアビットストリームの暗号解除処理を行ってから、デコード処理、合成処理を行う必要がある。
【0053】
従って、ITS≦DTS≦CTSとなる(図8参照)。ここで、イコールは全ての処理がゼロ時間で実効可能な理想状態を示している。つまり、IPMP処理はデコーダの動作を制御する(デコードする・しない)ことになる。
【0054】
一方、電子透かしを用いたシステムでは、デコードされたビットストリームから電子透かしデータを抽出するため、デコード処理はかならず行われた後、IPMP処理はコンポジタの動作を制御する(合成する・しない)ことになる。
【0055】
従って、タイムスタンプの関係は、DTS≦ITS≦CTSとなる。図9は、この場合のタイミングチャートを示したものである。
【0056】
このように、IPMP処理専用のタイムスタンプを設け、メディア用のDTS/CTSをベースにCTS,ITSのタイミングを制御することにより、フレキシブルなIPMP処理を実行することが可能になる。
【0057】
以上説明した実施形態は、記述の方式を除き、ハードウェアで実現可能であるが、このシステム全体をソフトウェアで実現してもかまわないことは言うまでもない。
【0058】
また、実施形態では、マルチメディアデータとして、ビデオ及びオーディオを扱ったが、テキストやグラフィックスなどが含まれることも可能である。
【0059】
以上説明したように、実施形態によれば、各種のIPMP処理を確実に同期を取り、しかもフレキシブルに構成することが可能になる。
【0060】
尚、本発明は複数の機器(例えば、ホストコンピュータ,インターフェース機器,リーダ,プリンタなど)から構成されるシステムに適用しても、1つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用しても良い。
【0061】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPU若しくはMPU)が記録媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0062】
この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【0063】
プログラムコードを供給するための記録媒体としては、例えばフレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0064】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0065】
更に、記録媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0066】
【発明の効果】
以上説明したように、本発明によれば、メディアデータに付加される同期制御情報とIPMP情報に付加される同期制御情報とを同期させると共に、IPMP情報で規定される処理に応じてその処理を開始する時間を指示する情報を各同期制御情報に関連付けて生成することにより、知的財産管理の処理をフレキシブルに行うことができる。
【図面の簡単な説明】
【図1】従来の受信側におけるマルチメディア処理部の構成を示す図である。
【図2】従来の送信側におけるマルチメディア処理部の構成を示す図である。
【図3】多重化されたビットストリームの構成を示す図である。
【図4】 MPEG-4規格の受信側におけるマルチメディア処理部の構成を示す図である。
【図5】従来のビデオ処理におけるタイムスタンプの例を示す図である。
【図6】本実施形態の受信側におけるマルチメディア処理部の構成を示す図である。
【図7】本実施形態の送信側におけるマルチメディア処理部の構成を示す図である。
【図8】本実施形態によるタイムスタンプのタイミングチャートを示す図である。
【図9】他の実施形態によるタイムスタンプのタイミングチャートを示す図である。
【図10】デスクランブル処理を説明するためのフローチャートである。
【符号の説明】
101 ビットストリーム受信部
102 デマルチプレクサ(逆多重化器)
103 ビデオデコーダ
104 同期制御部
105 オーディオデコーダ
106 ビデオ再生制御部
107 オーディオ再生制御部
108 ディスプレイ
109 スピーカ
201 ビデオ処理部
202 オーディオ処理部
203 ビデオエンコーダ
204 同期制御部
205 オーディオエンコーダ
206 マルチプレクサ(多重化器)
207 蓄積装置
208 サーバ
401 ビットストリーム受信部
402 デマルチプレクサ
403 BIFSデコーディングバッファ
404 ビデオデコーディングバッファ
405 オーディオデコーディングバッファ
406 IPMPデコーダ
407 BIFSデコーダ
408 ビデオデコーダ
409 オーディオデコーダ
410 IPMPコントローラ
411 シーンツリー生成部
412 コンポジタ
413 レンダラ
414 ディスプレイ
415 スピーカ
601 ビットストリーム受信部
602 デマルチプレクサ
603 BIFSデコーダ用バッファメモリ
604 メディアデコーダ用バッファメモリ
605 IPMPデコーダ用バッファメモリ
606 抽出されたIPMPタイムスタンプ
607 メディアデコーダタイムスタンプ
608 BIFSデコーダ
609 メディアデコーダ
610 IPMPデコーダ
611 IPMPデコーダタイムスタンプ
612 IPMPコンポジションタイムスタンプ
613 デコーダタイムスタンプ比較器
614 BIFSコンポジションバッファ
615 メディアコンポジションバッファ
616 メディアコンポジションタイムスタンプ
617 コンポジションタイムスタンプ比較器
618 コンポジタ
619 アンドゲート
620 シンクコントローラ(同期制御部)
621 レンダラ
622 IPMPコントローラ
623 ディスプレイ
624 スピーカ
701 メディアエンコーダ
702 DTS/CTSジェネレータ
703 IPMPエンコーダ
704 DTS/CTSバッファ
705 シンクコントローラ(同期制御部)
706 IPMPタイムスタンプ(ITS)ジェネレータ
707 パケッタイザ
708 マルチプレクサ
709 ヘッダ生成器
710 ビットストリーム送信部

Claims (16)

  1. メディアデータと前記メディアデータの知的財産管理のためのIPMPデータとを入力する入力手段と、
    前記メディアデータを符号化する第1の符号化手段と、
    前記IPMPデータを符号化する第2の符号化手段と、
    前記第1の符号化手段により符号化されたメディアデータ前記メディアデータに復するタイミングを制御するための第1のタイミング情報と、
    前記第2の符号化手段により符号化されたIPMPデータ前記IPMPデータ復号するタイミングを制御するための第2のタイミング情報と、
    前記メディアデータと前記IPMPデータとを所定単位で同期を図るための同期情報とをパケット化して送信する送信手段とを有することを特徴とするメディアデータ処理装置。
  2. 前記第1のタイミング情報及び前記同期情報は、MPEG-4 systems(ISO/IEC 14496-1)で規定されているDTS/CTSであることを特徴とする請求項1記載のメディアデータ処理装置。
  3. 前記IPMPデータは、MPEG-4 systems(ISO/IEC 14496-1)で規定されているデータであることを特徴とする請求項2記載のメディアデータ処理装置。
  4. 前記メディアデータは画像データであり、前記第1の符号化手段は前記画像データを圧縮符号化してスクランブル化し、前記第2の符号化手段は前記IPMPデータをスクランブル化することを特徴とする請求項3記載のメディアデータ処理装置。
  5. 前記IPMPデータは、前記スクランブル化された画像データをデスクランブルするためのキーデータを含むことを特徴とする請求項4記載のメディアデータ処理装置。
  6. 符号化されたメディアデータ復号するタイミングを制御するための第1のタイミング情報と、
    符号化されたIPMPデータ復号するタイミングを制御するための第2のタイミング情報と、
    前記IPMPデータと前記メディアデータとを所定単位で同期を図るための同期情報とがパケット化されて送信されたビットストリームを受信する受信手段と、
    前記第2のタイミング情報に応じて前記符号化されたIPMPデータを復号する第1の復号化手段と、
    前記第1のタイミング情報に応じて前記符号化されたメディアデータを復号する第2の復号化手段と、
    前記同期情報及び前記復号されたIPMPデータに応じて前記メディアデータの出力を制御する制御手段とを有することを特徴とするメディアデータ処理装置。
  7. 前記第1のタイミング情報及び前記同期情報は、MPEG-4 systems(ISO/IEC 14496-1)で規定されているDTS/CTSであることを特徴とする請求項6記載のメディアデータ処理装置。
  8. 前記IPMPデータは、MPEG-4 systems(ISO/IEC 14496-1)で規定されているデータであることを特徴とする請求項7記載のメディアデータ処理装置。
  9. 前記受信手段によって受信された符号化されたメディアデータは、圧縮符号化された画像データを含み、前記符号化されたIPMPデータはスクランブル処理されていることを特徴とする請求項8記載のメディアデータ処理装置。
  10. 前記符号化されてメディアデータは、スクランブル処理されており、前記IPMPデータは、前記メディアデータをデスクランブルするためのキーデータを含むことを特徴とする請求項9記載のメディアデータ処理装置。
  11. メディアデータと前記メディアデータの知的財産管理のためのIPMPデータとを入力する入力工程と、
    前記メディアデータを符号化する第1の符号化工程と、
    前記IPMPデータを符号化する第2の符号化工程と、
    前記第1の符号化工程により符号化されたメディアデータ前記メディアデータに復するタイミングを制御するための第1のタイミング情報と、
    前記第2の符号化工程により符号化されたIPMPデータ前記IPMPデータ復号するタイミングを制御するための第2のタイミング情報と、
    前記メディアデータと前記IPMPデータとを所定単位で同期を図るための同期情報とをパケット化して送信する送信工程とを有することを特徴とするメディアデータ処理方法。
  12. コンピュータに請求項11記載のメディアデータ処理方法を実行させるためのプログラム。
  13. 請求項12記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  14. 符号化されたメディアデータ復号するタイミングを制御するための第1のタイミング情報と、
    符号化されたIPMPデータ復号するタイミングを制御するための第2のタイミング情報と、
    前記IPMPデータと前記メディアデータとを所定単位で同期を図るための同期情報とがパケット化されて送信されたビットストリームを受信する受信工程と、
    前記第2のタイミング情報に応じて前記符号化されたIPMPデータを復号する第1の復号化工程と、
    前記第1のタイミング情報に応じて前記符号化されたメディアデータを復号する第2の復号化工程と、
    前記同期情報及び前記復号されたIPMPデータに応じて前記メディアデータの出力を制御する制御工程とを有することを特徴とするメディアデータ処理方法。
  15. コンピュータに請求項14記載のメディアデータ処理方法を実行させるためのプログラム。
  16. 請求項15記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2003098044A 2002-05-01 2003-04-01 メディアデータ処理装置及びその方法 Expired - Fee Related JP4366102B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003098044A JP4366102B2 (ja) 2002-05-01 2003-04-01 メディアデータ処理装置及びその方法
US10/426,312 US7239661B2 (en) 2002-05-01 2003-04-30 Media data processing apparatus and media data processing method
US11/744,178 US8117634B2 (en) 2002-05-01 2007-05-03 Media data processing apparatus and media data processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002129796 2002-05-01
JP2003098044A JP4366102B2 (ja) 2002-05-01 2003-04-01 メディアデータ処理装置及びその方法

Publications (2)

Publication Number Publication Date
JP2004032695A JP2004032695A (ja) 2004-01-29
JP4366102B2 true JP4366102B2 (ja) 2009-11-18

Family

ID=29272391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003098044A Expired - Fee Related JP4366102B2 (ja) 2002-05-01 2003-04-01 メディアデータ処理装置及びその方法

Country Status (2)

Country Link
US (2) US7239661B2 (ja)
JP (1) JP4366102B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366102B2 (ja) * 2002-05-01 2009-11-18 キヤノン株式会社 メディアデータ処理装置及びその方法
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Av同期システム
FR2889902A1 (fr) * 2005-08-19 2007-02-23 France Telecom Procedes de transmission, d'encodage et de reception de donnees multimedia protegees par des cles de cryptage, signal, support de donnees, dispositif de restition et programmes correspondants
KR20050092688A (ko) * 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
JP5890208B2 (ja) * 2012-03-14 2016-03-22 日本放送協会 パケット送信装置、パケット受信装置及びパケット伝送システム
CN105100820B (zh) * 2015-08-18 2019-05-03 杭州士兰微电子股份有限公司 数字媒体文件的编码方法、解码方法、编码装置及解码装置
JP6101380B2 (ja) * 2016-02-17 2017-03-22 日本放送協会 パケット受信装置
JP7287454B2 (ja) * 2019-03-11 2023-06-06 ソニーグループ株式会社 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535919B1 (en) * 1998-06-29 2003-03-18 Canon Kabushiki Kaisha Verification of image data
US6415031B1 (en) * 1999-03-12 2002-07-02 Diva Systems Corporation Selective and renewable encryption for secure distribution of video on-demand
JP3976932B2 (ja) 1999-03-31 2007-09-19 キヤノン株式会社 データ処理方法及び装置並びに記憶媒体
US6810131B2 (en) * 2000-01-05 2004-10-26 Canon Kabushiki Kaisha Information processing method and apparatus
SG103829A1 (en) * 2000-01-28 2004-05-26 Canon Kk Digital contents distribution system, digital contents distribution method, roaming server, information processor, and information processing method
JP2001359070A (ja) * 2000-06-14 2001-12-26 Canon Inc データ処理装置、データ処理方法及びコンピュータ可読記憶媒体
US7231043B2 (en) * 2000-06-20 2007-06-12 Canon Kabushiki Kaisha Data processing apparatus and method, and computer-readable storage medium on which program for executing data processing is stored
US20020116705A1 (en) * 2001-02-20 2002-08-22 Perlman Stephen G. System and method for processing conditional access data
JP4366102B2 (ja) * 2002-05-01 2009-11-18 キヤノン株式会社 メディアデータ処理装置及びその方法

Also Published As

Publication number Publication date
JP2004032695A (ja) 2004-01-29
US7239661B2 (en) 2007-07-03
US20030206586A1 (en) 2003-11-06
US20070201552A1 (en) 2007-08-30
US8117634B2 (en) 2012-02-14

Similar Documents

Publication Publication Date Title
US6931531B1 (en) Image object recording, compression, and encryption method and system
US8117634B2 (en) Media data processing apparatus and media data processing method
US7203319B2 (en) Apparatus and method for installing a decryption key
US8423778B2 (en) Apparatus and method for transmitting secure and/or copyrighted digital video broadcasting data over internet protocol network
KR101167619B1 (ko) 트랜스코딩 케이블카드
EP1079627A1 (en) Copyright protection in MPEG-4 using digital watermarking
US6931541B1 (en) Information processing apparatus and method
US8270402B2 (en) Process and device for securing the transmission, recording and viewing of digital audiovisual packetized streams
KR20050026969A (ko) 암호화된 디지털 신호들의 저장
KR101343527B1 (ko) 디지털 시네마 컨텐츠 생성 및 재생 방법, 및 이를 이용한 디지털 시네마 컨텐츠 생성 및 재생 장치
US8509435B2 (en) Method and system for a transport single key change point for all package identifier channels
JP4335372B2 (ja) データ処理方法,データ処理装置及びデータ記憶媒体
JP4072260B2 (ja) 情報処理装置、情報処理方法及びコンテンツ配信サーバ並びにその制御方法
JP4902274B2 (ja) 暗号化コンテンツ作成装置およびそのプログラム、ならびに、コンテンツ復号化装置およびそのプログラム
JP3754847B2 (ja) データ処理方法、データ処理装置およびその記憶媒体
JP2001203683A (ja) データ処理装置及びその方法並びに記憶媒体
US7397921B2 (en) Receiving apparatus
JP2005051514A (ja) 情報伝送システム及び方法
KR100833792B1 (ko) 워터마킹을 이용한 ca메시지 송수신 장치 및 시스템
JP2001333405A (ja) 送信装置及び認証装置及びマルチメディア再生システム及びそれらの制御方法並びに記憶媒体
JP2002084516A (ja) マルチメディアデータ送信装置及び方法、マルチメディアデータ受信装置及び方法、マルチメディアデータ伝送システム並びに記憶媒体
JP2000253370A (ja) 電子透かし埋め込み方法および装置ならびに電子透かし埋め込み制御装置
JP2002044626A (ja) 画像処理装置及び方法及び記憶媒体
JP2002084318A (ja) データ処理装置、データ処理システム、データ処理方法、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4366102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees