JP3787836B2 - Additional information insertion device, additional information extraction device, additional information insertion method, and additional information extraction method - Google Patents

Additional information insertion device, additional information extraction device, additional information insertion method, and additional information extraction method Download PDF

Info

Publication number
JP3787836B2
JP3787836B2 JP2001316807A JP2001316807A JP3787836B2 JP 3787836 B2 JP3787836 B2 JP 3787836B2 JP 2001316807 A JP2001316807 A JP 2001316807A JP 2001316807 A JP2001316807 A JP 2001316807A JP 3787836 B2 JP3787836 B2 JP 3787836B2
Authority
JP
Japan
Prior art keywords
additional information
area
slice
information insertion
image code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001316807A
Other languages
Japanese (ja)
Other versions
JP2003125362A (en
Inventor
淳也 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001316807A priority Critical patent/JP3787836B2/en
Publication of JP2003125362A publication Critical patent/JP2003125362A/en
Application granted granted Critical
Publication of JP3787836B2 publication Critical patent/JP3787836B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置及び画像符号及び付加情報を含むコンテンツデータから付加情報を抽出する付加情報抽出装置に関する。
【０００２】
【従来の技術】
近年、ＭＰＥＧ(Motion Picture Experts Group)方式は、動画像及び音声を蓄積又は伝送する方式として普及してきており、例えば、ＣＤ−Ｒ(Compact Disc-Recordable)、ＤＶＤ(Digital Versatile Disc)、ハードディスク等のデジタル蓄積メディア(Digital Storage Medium)の記録フォーマットとして使用され、また、デジタルテレビ放送の符号化方式としても使用されている。また、ＭＰＥＧ方式は動画像及び音声のストリーミングの符号化方式としても使用されている。
【０００３】
ＭＰＥＧ方式では、ＭＰＥＧ信号にユーザデータを挿入する方式として、次に示す２種類の方式が規定されている。第１の方式は、プログラムストリーム（ＰＳ）中にユーザデータを含むＰＳパケットを挿入する方式であり、第２の方式は、ＰＥＳ(Packet Elementary Stream)になる前のビデオストリーム中にユーザデータ領域を挿入する方式である。
【０００４】
第１の方式を図２９を参照して次に説明する。プログラムストリームの各パケット（ＰＳパケット）は、プログラムストリームシステムヘッダ（ＢＢＨの値をとる。）とそれに続く複数のパックより構成される。各パックは、ＰＳパックヘッダ（ＢＡＨの値をとる。）及びＰＳシステムヘッダ（ＢＢＨの値をとる。）とそれに続く可変個数のＰＥＳ、ＰＳプログラムマップテーブル又はＰＳディレクトリより構成される。各ＰＥＳ内のエレメンタリストリームは、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム又はユーザデータ（プライベートデータ）等である。トリックモード制御情報は、各ＰＥＳのコンディショナルコーディングに含まれる。
【０００５】
第２の方式を図３０を参照して次に説明する。ユーザデータは、ビデオストリーム中のシーケンス層のデータであって、あるスタートコードプレフィックス（２３個以上の「０」とそれに続く１個の「１」より成る。）とユーザデータスタートコード(user_data_start_code)の値（Ｂ２Ｈ）をとるスタートコードＩＤの組から次のスタートコードプレフィックスの間のユーザデータ領域に存在する。ユーザデータ中のデータは、スタートコードプレフィックスと同一のシーケンスを含んではいけない。
【０００６】
特開平２０００−１９７０１８号には、番組送信装置において、送信すべきＭＰＥＧ２のトランスポートストリームに（１）ＵＲＬ(Uniform Resource Locator)、メールアドレス及び番組タイトル等を記述したユーザデータ（プライベートデータ）、（２）そのユーザデータと映像データと音声データを関連付ける情報を記述したプログラムマップテーブル並びに（３）そのプログラムマップテーブルを伝送しているトランスポートパケットのＰＩＤを記述したプログラムアソシエーションテーブルを挿入し、受信装置において、これらのデータ及びテーブルを参照して、番組内容に関連したＵＲＬ、メールアドレス及び番組タイトルに対応したそれぞれのボタンを画面上に表示し、ＵＲＬに対応するボタンがユーザにより押されたならば、そのＵＲＬのホームページを表示し、メールアドレスに対応するボタンがユーザにより押されたならば、そのメールアドレス宛にメールを送るためのメーラを起動し、番組タイトルに対応したボタンがユーザにより押されたならば、その番組タイトルを表示する従来技術が開示されている。この従来技術は、第１の方式と比較すると、ストリームがプログラムストリームであるか又はトランスポートストリームであるかの点において相違があるが、ユーザ（プライベート）データ専用の領域にユーザデータを挿入するものである点において、第１の方式と同一である。
【０００７】
また、特開平１０−２１０４２８号公報には、番組送信装置において、送信すべきＭＰＥＧ２のビットストリーム中のユーザデータ領域に番組識別情報を挿入し、番組受信装置において、受信したビットストリーム中のユーザデータ領域から番組識別情報を抽出し、抽出された番組識別情報に記述されている放送番組及び番組とユーザが番組受信装置に入力しておいた放送時間と番組が一致したときに番組を録画する従来技術が開示されている。この従来技術は、上記第２の方式を用いたものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の第１の方式及び第２の方式によれば、ユーザデータをコンテンツデータに挿入すると、挿入のために追加されたユーザデータパケット又はユーザデータ領域の分だけコンテンツデータのサイズが増えてしまう。従って、コンテンツデータをデジタル蓄積メディアに記録する場合には、デジタル蓄積メディアの記録容量が圧迫され、同一の伝送レートでコンテンツデータを伝送する場合には、伝送時間が長くなり、同一の伝送時間でコンテンツデータを伝送する場合には、伝送レートが高くなり通信容量を圧迫する。また、デジタル蓄積メディアに既に目一杯コンテンツデータが記録されている場合には、ユーザデータを追加することが不可能となる。
【０００９】
また、上記の第１の方式及び第２の方式によれば、映像データと音声データの同期がリップ(lip)同期の許容範囲を超えてずれる場合が起きる。
【００１０】
本発明は上記の問題点に鑑みてなされたものであり、コンテンツデータのサイズを増やさずにユーザデータ等の付加情報をコンテンツデータに挿入することを可能とする付加情報挿入装置及びこの付加情報挿入装置が挿入した付加情報をコンテンツデータから抽出する付加情報抽出装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の第１の観点によれば、画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入方法において、前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、前記空き領域に前記付加情報を挿入する付加情報挿入手段と、を備え、前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域に属する前記空き領域を生成し、前記付加情報挿入手段は、各スライス領域に属する前記空き領域毎に前記付加情報を挿入することを特徴とする付加情報挿入装置が提供される。
本発明の第１の観点による付加情報挿入装置において、前記付加情報挿入手段は、各スライス領域を検出する手段と、各スライス領域に含まれる前記画像符号が占める領域を検出する手段と、各スライス領域のうちの前記画像符号が占める領域以外の領域を前記空き領域として検出する手段と、を備えるようにしてもよい。
本発明の第１の観点による付加情報挿入装置において、前記コンテンツデータは、ＭＰＥＧ (Motion Picture Experts Group) データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であるようにしてもよい。
本発明の第２の観点によれば、画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置において、前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、前記空き領域に前記付加情報を挿入する付加情報挿入手段と、を備え、前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域のサイズを減らすと共に該スライス領域に属しない前記空き領域を生成し、前記付加情報挿入手段は、前記スライス領域に属しない前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入装置が提供される。
本発明の第２の観点による付加情報挿入装置において、サイズが減らされた複数の前記スライス領域の相互間隔を詰めることにより、前記スライス領域に属しない前記空き領域を複数個繋げる手段を更に備え、前記付加情報挿入手段は、複数個繋がった前記空き領域に前記付加情報を挿入するようにしてもよい。
本発明の第２の観点による付加情報挿入装置において、前記コンテンツデータは、ＭＰＥＧ (Motion Picture Experts Group) データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義された１のスタートコードプレフィックスと前記ＭＰＥＧ規格で定義されたユーザデータスタートコードの組と次のスタートコードプレフィックスに挟まれたユーザデータ領域を構成するようにしてもよい。
本発明の第２の観点による付加情報挿入装置において、前記コンテンツデータは、ＭＰＥＧ (Motion Picture Experts Group) データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義されたＰＥＳ (Packetized Elementary Stream) を構成するようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記コンテンツデータは、音声符号を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記空き領域生成手段は、前記画像符号により表される動画像の符号化ブロック毎に前記画像符号のビット数を削減するようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、複数の前記空き領域に分散して挿入されるようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、該付 加情報の種類を示す情報、該付加情報のサイズを示す情報及び付加情報本体を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、ＵＲＬ (Uniform Resource Locator) を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、コンテンツデータ再生装置を制御するために参照される参照情報を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、ストリーミングサーバを制御するために参照される参照情報を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、画像情報であるようにしてもよい。
本発明の第３の観点によれば、画像符号及び付加情報を含むコンテンツデータから前記付加情報を抽出する付加情報抽出装置において、前記付加情報は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域に含まれ、当該付加情報抽出装置は、前記スライス領域を検出する手段と、前記スライス領域に含まれる前記画像符号が占める領域を検出する手段と、前記スライス領域に含まれるが前記画像符号が占める領域以外の領域である付加情報領域を検出する手段と、前記付加情報領域に挿入されている前記付加情報を抽出する手段と、を備えることを特徴とする付加情報抽出装置が提供される。
本発明の第３の観点による付加情報抽出装置において、前記コンテンツデータは、音声符号を含むようにしてもよい。
本発明の第３の観点による付加情報抽出装置において、前記コンテンツデータはＭＰＥＧ (Motion Picture Experts Group) データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であるようにしてもよい。
本発明の第３の観点による付加情報抽出装置において、前記付加情報は、複数の前記付加情報領域に分散して挿入されており、当該付加情報抽出装置は、分散されて複数の前記付加情報領域に挿入されている付加情報を連結する連結手段を備えるようにしてもよい。
本発明の第３の観点による付加情報抽出装置を備える装置において、前記付加情報は、ＵＲＬ (Uniform Resource Locator) を含み、当該装置は、前記ＵＲＬにより示されるリソースにアクセスする手段を備えるようにしてもよい。
本発明の第３の観点による付加情報抽出装置を備えるコンテンツデータ再生装置において、前記付加情報は、当該コンテンツデータ再生装置を制御するために参照される参照情報を含み、当該再生装置は、前記参照情報とユーザから入力された情報に応じて動作する手段を備えるようにしてもよい。
本発明の第４の観点によれば、本発明の第３の観点による付加情報抽出装置を備えるストリーミングクライアントにおいて、前記付加情報は、ストリーミングサーバを制御するための制御情報を生成するために参照される参照情報を含み、当該ストリーミングクライアントは、前記参照情報とユーザから入力された情報に基づいて前記制御情報を生成する手段と、前記制御情報を前記ストリーミングサーバに送信する手段と、を備えることを特徴とするストリーミングクライアントが提供される。
【００３４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００３５】
［実施形態１］
［１］付加情報挿入装置
図１は本発明の実施形態１による付加情報挿入装置１０１Ａの構成を示すブロック図である。図１を参照すると、付加情報挿入装置１０１Ａは、挿入前プログラムストリーム１５１Ａに付加情報１５９を挿入して、付加情報１５９が挿入されたプログラムストリームを挿入後プログラムストリーム１５１Ｃとして出力する。挿入前プログラムストリーム１５１Ａは、ＭＰＥＧ２で規格化されているビットストリームである。挿入後プログラムストリーム１５１Ｃのサイズは、挿入前プログラムストリーム１５１Ａのサイズを超えない。挿入前プログラムストリーム１５１Ａは、挿入前プログラムストリームファイル１３１から読み出され、付加情報１５９は付加情報ファイル１３２から読み出され、挿入後プログラムストリームは挿入後プログラムストリームファイル１３３に書き込まれるが、これらはインターネット等のネットワークを通して送受信されても良い。また、付加情報挿入装置１０１Ａは、ビデオＰＥＳ検出部１１１、スライス検出部１１２、空き領域生成部１１３、付加情報挿入部１１４、挿入割合計算部１１５、符号量制御部１１６及び付加情報バッファ１１７を備える。
【００３６】
次に、付加情報挿入装置１０１Ａの各部の構成及び動作について説明する。
【００３７】
ビデオＰＥＳ検出部１１１は、挿入前プログラムストリーム１５１Ａを入力して、挿入前プログラムストリーム１５１Ａ中のビデオＰＥＳを検出し、挿入前プログラムストリーム１５１Ａ及び挿入前プログラムストリーム１５１Ａの各バイトがビデオＰＥＳに属しているか否かを示す図２に示すようなビデオＰＥＳイネーブル信号１５２を出力する。各ＰＥＳのヘッダには、スタートコードプレフィックスとＰＥＳの種類を表すＰＥＳスタートコードＩＤが順に記述されているので、スタートコードプレフィックスを検出すると共にそれに続くＰＥＳスタートコードＩＤの値を調べることによりビデオＰＥＳを検出することができる。なお、ビデオＰＥＳのＰＥＳスタートコードＩＤの値は、Ｅ０Ｈ〜ＥＦＨの値をとる。
【００３８】
スライス検出部１１２は、ビデオＰＥＳ検出部１１１から出力された挿入前プログラムストリーム１５１Ａ及びビデオＰＥＳイネーブル信号１５２を入力して、ビデオＰＥＳ中のビデオスタートコード及びスライスを検出して、挿入前プログラムストリーム１５１Ａ、挿入前プログラムストリームのどのバイトがビデオスタートコードであるかを示す図２に示すようなビデオスタートコード検出信号１５３及び挿入前プログラムストリームの各バイトがスライスに属しているか否かを示す図２に示すようなスライスイネーブル信号１５４を出力する。ビデオＰＥＳのペイロードを繋げたものはビデオストリームであるが、ビデオストリームは、スタートコードプレフィックス及びビデオスタートコードＩＤの組により区切られている。スタートコードプレフィックスを検出すると共にそれに続くビデオスタートコードＩＤの値を調べることによりスライスを検出することができる。なお、スライスのビデオスタートコードＩＤの値は０１Ｈ〜ＡＦＨの値をとる。
【００３９】
挿入割合計算部１１５は、挿入前プログラムストリーム１５１ＡのビデオＰＥＳの総サイズＳ１と付加情報１５９のサイズＳ２を計測し、これらのサイズより、コンテンツデータ中に付加情報を挿入する割合の目標値である目標挿入割合を次式
目標挿入割合＝Ｓ２／Ｓ１
により計算し、その目標挿入割合を示す挿入割合指示信号１５７を符号量制御部１１６に出力する。
【００４０】
符号量制御部１１６は、空き領域生成部１１３から入力する画像符号イネーブル信号１５５がアクティブである時間Ｔ１と空き領域生成削減部１１３から入力する付加情報イネーブル信号がアクティブである時間Ｔ２より、
計測挿入割合＝Ｔ２／（Ｔ１＋Ｔ２）
を計算し、計測挿入割合が目標挿入割合になるように、計数変更信号１５８を逐次調整して空き領域生成部１１３に出力する。
【００４１】
空き領域生成部１１３は、符号量制御部１１６から入力する計数変更信号１５８に基づいてスライス中の画像符号の総ビット数を削減する。係数変更信号１５８が画像符号の削減ビット数を増やすように指示しているときには、画像符号の削減ビット数を増やし、係数変更信号が画像符号の削減ビット数を減らすように指示しているときには、画像符号の削減ビット数を減らす。空き領域生成部１１３は、削減後の画像符号をスライス毎にスライスの前方に詰めて、各スライスの末尾に空き領域を設ける。空き領域生成部１１３は、画像符号がこのように削減されてスライスの前方に詰められたプログラムストリームを中間プログラムストリーム１５１Ｂとして付加情報挿入部１１４に出力する。また、空き領域生成部１１３は、中間プログラムストリーム１５１Ｂ中の各バイトに画像符号があるか否かを示す図２に示すような画像符号イネーブル信号１５５を符号量制御部１１６に出力し、中間プログラムストリーム１５１Ｂ中の各バイトが付加情報を挿入することが可能な空き領域であるか否かを示す図２に示すような付加情報イネーブル信号１５６を符号量制御部１１６及び付加情報挿入部１１４に出力する。
【００４２】
付加情報バッファ１１７は、付加情報１５９を一時的に記憶し、付加情報挿入部１１４から入力する付加情報イネーブル信号がアクティブである時に、一時記憶した付加情報１５９を付加情報挿入部１１４に出力する。付加情報バッファ１１７は、例えば、ＦＩＦＯ(First-In First-Out)で構成される。
【００４３】
付加情報挿入部１１４は、空き領域生成部１１３から出力された中間プログラムストリーム１５１Ｂ及び付加情報イネーブル信号１５６並びに付加情報バッファ１１７から出力された付加情報１５９を入力し、中間プログラムストリーム１５１Ｂ中の付加情報イネーブル信号１５６により空き領域であることが示されるバイトに付加情報１５９を挿入し、挿入後のプログラムストリームを挿入後プログラムストリーム１５１Ｃとして出力する。挿入後プログラムストリーム１５１Ｃ中のスライスの構造は、図２の１５１Ｃ−Ｓに示すようになる。
【００４４】
次に、空き領域生成部１１３のより詳細な構成及び動作について図３を参照して説明する。
【００４５】
図３を参照すると、空き領域生成部１１３は、可変長復号器１２１、ＤＣＴ係数変更部１２２、マルチプレクサ１２３、可変長符号器１２４及び論理積ゲート１２５を備える。
【００４６】
可変長復号器１２１は、挿入前プログラムストリーム１５１Ａ、スライスイネーブル信号及びビデオスタートコード検出信号１５４を入力し、可変長符号を復号して、各ＤＣＴブロックのＤＣＴ係数等のデータをＤＣＴ係数変更部１２２及びマルチプレクサ１２３に出力する。可変長符号の復号は、ＤＣＴ係数の２次元ハフマン符号の復号その他復号を含む。
【００４７】
ＤＣＴ係数変更部１２２は、入力した各ＤＣＴブロックのＤＣＴ係数を、再符号化したときにＤＣＴブロック当たりの符号量が少なくなるように、変更する。変更の方法としては、例えば、各ＤＣＴブロックのＤＣＴ係数のうちの所定数個のみのＤＣＴ係数を残して、他のＤＣＴ係数の振幅をゼロにする方法を用いる。すなわち、ＤＣＴ係数変更部１２２は、この方法を用いることにより、入力したＤＣＴ係数の全て又は一部の振幅をゼロにして、これによりＤＣＴブロックあたりの符号量を削減する。
【００４８】
例えば、図４に示すように、周波数領域を領域Ａと領域Ｂに分割し、領域ＡのＤＣＴ係数はそのまま残し、領域Ｂの係数はゼロにする。図５に示すようなジグザグスキャンをして、非ゼロのＤＣＴ係数とそれに先行するゼロのランレングスを２次元ハフマン符号化をしたときには、ジグザグスキャンのうちの最初のＤＣＴ係数ｆ（０、０）から高々ＤＣＴ係数ｆ（５、５）までのみが符号化されるようになる。このようなＤＣＴ係数の操作をすることにより、例えば、図６の左に示すＤＣＴ係数ｆ（ｉ、ｊ）は、図６の右に示すＤＣＴ係数Ｆ（ｉ、ｊ）に変化する。図６において、７の振幅を有するｆ（４、３）、１２の振幅を有するｆ（４、５）及び６の振幅を有するｆ（６、４）は、それぞれ、０の振幅を有するＦ（４、３）、ゼロの振幅を有するＦ（４、５）及びゼロの振幅を有するＦ（６、４）に変化するが、他のｆ（ｉ、ｊ）は変化しない。
【００４９】
２次元ハフマン符号化についてより詳しく説明すると、２次元分布するＤＣＴ係数は、図５に示すようなジグザグスキャンにより１次元のＤＣＴ係数に並べられる。すなわち、ＤＣＴ係数は、ｆ（０、０）、ｆ（０、１）、ｆ（１、０）、ｆ（２、０）、ｆ（１、１）、ｆ（０、２）、．．、．ｆ（７、７）の順に一次元的に並べられる。そしてこれらのＤＣＴ係数は、非ゼロのＤＣＴ係数の振幅(レベル)とこのように並べられたときに非ゼロのＤＣＴ係数に先行するゼロのＤＣＴ係数の連続個数（ゼロランレングス）をペアとして符号化される。レベルとゼロランレングスの各ペアには発生頻度に応じた長さの可変長符号が割り当てられる。各ペアのレベルとゼロランレングスの組み合わせと可変長符号の長さの関係は、図７及び図８に示すようになる。図７は、非イントラブロック及びintra_vlc_format=0のイントラブロックについてのものであり、図８は、intra_vlc_format=1のイントラブロックについてのものである。ただし、図７及び図８はレベルとゼロランレングスの全ての組み合わせのうち一部についてのみレベルとゼロランレングスの組み合わせと可変長符号の長さの関係を示している。
【００５０】
図６に示すブロックがintra_vlc_format=1のイントラブロックであるとした場合、このような符号化を２次元低域通過フィルタをかける前のｆ（ｉ、ｊ）に対して行うと、図６の左側の２次元マトリックスにおいて、例えば、ＤＣＴ係数ｆ（２、０）の振幅(レベル)は２であり、対応するゼロランレングスは図５のジグザグスキャンによりゼロをカウントすると２であり、対応する符号長は図８の可変長符号長の表においてレベル２とゼロランレングス２における値である８となる。
【００５１】
他のＤＣＴ係数の振幅に対応するゼロランレングスと符号長も、図６の左側のマトリックスの下に示すように求められる。従って、ＥＯＢ(End OF Block)を除いたブロック当たりの符号長は１４８ビットとなる。
【００５２】
一方、図６に示すブロックがintra_vlc_format=1のイントラブロックであるとした場合、このような符号化を図４のマスクをかけた後のＤＣＴ係数Ｆ（ｉ、ｊ）に対して行うと、図６の右側の２次元マトリックスの下に示すような符号長が求められ、ＥＯＢを除いたブロック当たりの符号長は７６ビットとなる。
【００５３】
従って、intra_vlc_format=1のイントラブロックの場合には、図６に示すように、各非ゼロＤＣＴ係数とそれに先行するゼロラングレングスを図５に示すジグザグスキャンに沿って２次元ハフマン符号化したときのＤＣＴブロックあたりの符号量は、上記のＤＣＴ係数の操作をかける前では１４８ビットであるが、その後では７６ビットに削減される。
【００５４】
ＤＣＴ係数変更部１１２は、係数変更信号１５８の値に応じて、振幅をゼロにしないで不変とするＤＣＴ係数の数を調整し、これによって、各ＤＣＴブロックあたりの符号量の削減の割合を調整する。
【００５５】
マルチプレクサ１２３は、ＤＣＴ係数変更部１２２が出力する変更後のＤＣＴ係数及び可変長復号器１２１が出力するデータのうちＤＣＴ係数を除いたデータをマルチプレクスして、マルチプレクスされたデータを可変長符号器１２４に出力する。
【００５６】
可変長符号器１２４は、マルチプレクサが出力するマルチプレクスされたデータを可変長符号化して、可変長符号を中間プログラムストリーム１５１Ｂとして付加情報挿入部１１４へ出力する。この可変長符号化は、ＤＣＴ係数の２次元ハフマン符号化その他符号化を含む。また、可変長符号器１２４は、スライス内の画像データを符号化して得た可変長符号をスライスの前方に詰めて出力し、スライス内で前方に詰められた可変長符号がある部分に対してアクティブとなる画像符号イネーブル信号１５５を符号量制御部１１６及び論理積ゲート１２５に出力する。
【００５７】
論理積ゲート１２５は、スライスイネーブル信号１５４と画像符号イネーブル信号１１５の反転信号との論理積をとり、この論理積を付加情報イネーブル信号１５６として符号量制御部１１６及び付加情報挿入部１１４に出力する。付加情報イネーブル信号１５６は、スライス内で可変長符号が前方に詰められることにより生じた空き領域でアクティブとなる信号である。
【００５８】
次に、付加情報挿入部１１４のより詳細な構成及び動作について図９を参照して説明する。
【００５９】
図９を参照すると、付加情報挿入部１１４は、論理積ゲート１３１、１３２及び論理和ゲート１３３を備えたマルチプレクサの構成をとる。論理積ゲート１３１の第１の入力端子には、付加情報イネーブル信号１５６が入力され、論理積ゲート１３２の第１の入力端子（反転入力端子）には、付加情報イネーブル信号１５６が入力される。付加情報イネーブル信号１５６は、そのまま付加情報読出信号１７１として付加情報バッファ１１７に出力されるので、付加情報イネーブル信号１５６がアクティブであるときには、論理積ゲート１３１の第２の入力端子には、有効な付加情報１５９が入力される。また、付加情報イネーブル信号１５６が非アクティブであるときには、論理積ゲート１３２の第２の入力端子には、有効な中間プログラムストリーム１５１Ｂが入力される。従って、論理和ゲート１３３が出力する挿入後プログラムストリーム１５１Ｃは、付加情報イネーブル信号１５６がアクティブであるときには、有効な付加情報１５９であり、付加情報イネーブル信号１５６が非アクティブであるときには、有効な中間プログラムストリーム１５１Ｂである。
【００６０】
従って、挿入後プログラムストリーム１５１Ｃの構造は、図２の１５１に示すようなものとなり、挿入後プログラムストリーム１５１ＣのＰＥＳの構造は、図２の１５１−ＰＥＳに示すようなものとなり、挿入後プログラムストリーム１５１ＣのＰＥＳのスライスの構造は、図２の１５１Ｃ−Ｓに示すようなものとなる。
【００６１】
次に、各スライスの末部に挿入された付加情報のフォーマットについて図１０を参照して説明する。
【００６２】
図１０を参照すると、付加情報１５９は、１又は複数のセクションより構成される。各セクションは、同期信号、セクションタイプＩＤ、セクションサイズ、付加情報内容及びＥＣＣ(Error Check Code)より構成される。同期信号は所定のビットパターンであり、セクションタイプＩＤはセクションが何の内容（例えば、ＵＲＬ(Uniform Resource Locator)、コンテンツデータ再生装置を制御するために参照される参照情報、ストリーミングサーバを制御するために参照される参照情報、画像情報）を表すかを示すＩＤであり、セクションサイズは、セクションの大きさを示し、付加情報内容は、セクションタイプＩＤで特定された種類の情報自体であり、ＥＣＣはエラー検出又はエラー訂正するためのコードである。
【００６３】
付加情報１５９は、各スライスの末尾にある空き領域と等しいサイズのフラグメントに分割されて、その空き領域に挿入される。図１０では、一般にセクションの先頭がフラグメントの先頭に同期していない例を示しているが、同期するようにフラグメントを構成しても良い。
【００６４】
なお、付加情報挿入装置１０１Ａは、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【００６５】
［２］付加情報抽出装置
図１１は本発明の実施形態１による付加情報抽出装置２０１Ａの構成を示すブロック図である。図１１を参照すると、付加情報抽出装置２０１Ａは、挿入後プログラムストリーム１５１Ｃから付加情報１５９を抽出して、付加情報１５９を出力する。なお、動画像及び音声の復号・再生のための部分を付加情報抽出装置が含んでいても良い。また、付加情報抽出装置２０１Ｂは、抽出された付加情報１５９を基に外部出力信号２６３を生成し、出力しても良い。更に、付加情報抽出装置２０１Ｂは、外部出力信号２６３を生成する際に、付加情報１５９のみならず、外部入力信号２６２を基にしてもよい。
【００６６】
付加情報抽出装置２０１Ａは、ビデオＰＥＳ検出部２１１、スライス検出部２１２、付加情報抽出部２１３、付加情報バッファ２１４、付加情報完成判定部２１５及びアクション部２１６を備える。
【００６７】
次に、付加情報抽出装置２０１Ａの各部の構成及び動作について説明する。
【００６８】
ビデオＰＥＳ検出部２１１は、ビデオＰＥＳ検出部１１１と同様な構成をとり、挿入後プログラムストリーム１５１Ｃを入力して、挿入後プログラムストリーム１５１Ｃ中のビデオＰＥＳを検出し、挿入後プログラムストリーム１５１Ｃ及び挿入後プログラムストリーム１５１Ｃの各バイトがビデオＰＥＳに属しているか否かを示す図２に示すようなビデオＰＥＳイネーブル信号２５２を出力する。
【００６９】
スライス検出部２１２は、スライス検出部１１２と同様な構成をとり、ビデオＰＥＳ検出部２１１から出力された挿入後プログラムストリーム１５１Ｃ及びビデオＰＥＳイネーブル信号２５２を入力して、ビデオＰＥＳ中のビデオスタートコード及びスライスを検出して、挿入後プログラムストリーム１５１Ｃ、挿入後プログラムストリームのどのバイトがビデオスタートコードであるかを示す図２に示すようなビデオスタートコード検出信号２５３及び挿入後プログラムストリームの各バイトがスライスに属しているか否かを示す図２に示すようなスライスイネーブル信号２５４を出力する。
【００７０】
図１２を参照すると、付加情報抽出部２１３は、可変長復号器２２１及びＲＳフリップフロップ２２３を備える。また、可変長復号器２２１は、画像符号末部検出部２２２を備える。付加情報抽出部２１３は、挿入後プログラムストリーム１５１Ｃ、ビデオスタートコード検出信号２５３及びスライスイネーブル信号２５４を入力し、入力した挿入後プログラムストリーム１５１Ｃと同一の挿入後プログラムストリーム１５１Ｃ、挿入後プログラムストリーム１５１Ｃ中の画像符号を復号して得られる復号信号２４２及び各スライス内で削減後の可変長符号が前方に詰められることにより生じた空き領域に挿入された付加情報があることを示す図２に示す付加情報イネーブル信号２５６を出力する。可変長復号器２２１は、挿入後プログラムストリーム１５１Ｃ、ビデオスタートコード検出信号２５３及びスライスイネーブル信号２５４を入力し、スライスの前方にある可変長符号を復号し、スライスの前方にある可変長符号の部分（図２に示す画像符号イネーブル信号１５５がアクティブである部分）では画像の復号信号２４２を出力する。また、可変長復号器２２１に含まれる画像符号末部検出部２２２は、スライス内の画像符号の末部を検出し、その検出信号を画像符号末部検出信号２７１として出力する。ＲＳフリップフロップ２２３は、ビデオスタートコード検出信号２５３をリセット信号として入力し、画像符号末部検出信号２７１をセット信号として入力し、これらの信号によりリセット又はセットされる信号を付加情報領域の有無を示す付加情報イネーブル信号２５６として出力する。図１３に、ビデオスタートコード検出信号２５３、スライスイネーブル信号２５４、画像符号末部検出信号２７１及び付加情報イネーブル信号２５６の時間関係を示す。図１３から明らかなように、付加情報イネーブル信号２５６は、各スライスのうちの画像符号部の末部からそのスライスの末部までアクティブである。また、付加情報イネーブル信号２５６は、スライスでない部分では、常に非アクティブのままである。従って、付加情報イネーブル信号２５６は、各スライスのうちの付加情報が含まれている末部のみでアクティブである。
【００７１】
図１１に戻り、付加情報バッファ２１４は、挿入後プログラムストリーム１５１Ｃ及び付加情報イネーブル信号２５６を入力し、挿入後プログラムストリーム１５１Ｃ中の付加情報のみを選択して、内蔵するメモリに一時記憶する。付加情報バッファ２１４は、内蔵メモリの連続したアドレスに各セクションを一時記憶する。このようにして付加情報のセクションは相互に内蔵メモリで連結される。また、付加情報バッファ２１４は、一時記憶された付加情報１５９を付加情報ファイル１３２に書き込んでも良い。
【００７２】
付加情報完成判定部２１５は、付加情報バッファ２１４に各セクションの全てのバイトが一時記憶されたか否かを、セクションのヘッダ部に記述されているセクションサイズと実際に付加情報バッファ２１４に一時記憶された付加情報のサイズとを比較することにより、判断する。又は、付加情報完成判定部２１５は、付加情報が画像情報である場合には、画像情報が画像中の全ての領域について揃ったか否かをみることにより、付加情報バッファ２１４に各セクションの全てのバイトが一時記憶されたか否かを判断しても良い。更に、付加情報完成判定部２１５は、全てのセクションの付加情報が付加情報バッファ２１４に一時記憶されたか否かを判断しても良い。このように、付加情報が完成したか否かを判定するための方法及び判定の対象の範囲は様々であり、付加情報抽出装置の応用方法に応じて適宜切り替える。
【００７３】
アクション部２１６は、付加情報バッファ２１４又は付加情報ファイル１３２から入力した付加情報１５９に基づいて何らかのアクションを行い、その結果を外部出力信号２６３として出力する。また、アクション部２１６は、アクションを行う際に、付加情報１５９のみならず外部入力信号２６２に基づいてもよい。
【００７４】
次に、アクション部２１６の行うアクションの例について説明する。
【００７５】
（１）インターネットとの連携
各セクションに、ＵＲＬを記述しておく。ＵＲＬ(Uniform Rosource Locator)は、ＲＦＣ１７３８で定義されている。例えば、ＵＲＬとしてｈｔｔｐ及びＷＷＷ(World Wide Web)サーバが公開している所定のホームページのアドレスを記述しておく。アクション部２１６は、付加情報の各セクションからＵＲＬを逐次抽出して、抽出されたＵＲＬを外部出力信号２６３としてインターネットに接続されているテレビ又はコンピュータに出力し、テレビ画面又はコンピュータ画面に表示させる。ユーザが必要に応じてＵＲＬをクリックすると、テレビ又はコンピュータは、ＷＷＷブラウザを起動し、起動されたブラウザによりホームページにアクセスする。また、例えば、ＵＲＬとしてｍａｉｌｔｏ及びメールアドレスを記述しておく。アクション部２１６は、付加情報の各セクションからＵＲＬを逐次抽出して、抽出されたＵＲＬを外部出力信号２６３としてインターネットに接続されたテレビ又はコンピュータに出力し、テレビ画面又はコンピュータ画面に表示させる。ユーザが必要に応じてＵＲＬをクリックすると、テレビ又はコンピュータは、メイラーを起動する。ユーザは、このメイラーを用いて電子メールを送信する。
【００７６】
（２）画像表示
例えば、１枚の静止画又は短い動画を用意し、その画像のフレームを複数のブロックに分割し、各ブロックの画像符号を各セクションに記述しておく。付加情報完成判定部２１５は、全てのブロックの画像符号が揃ったときのみに付加情報完成信号２６１をアクティブにする。アクション部２１６は、付加情報完成信号２６１がアクティブになったときに初めて付加情報バッファ２１４又は付加情報ファイル１３２から付加情報を入力し、入力した付加情報中の画像符号を復号して１枚の画像の信号を得て、その画像信号を外部出力信号２６３としてテレビ又はコンピュータに出力する。こうすることにより、ユーザが、１つの番組又は１つのコンテンツを始めから最後まで中抜きしないで視聴したときにのみ、プレゼントの案内の画面を表示することができるようになる。
【００７７】
（３）特殊再生
付加情報を多数の細かいセクションに区切り、各セクションにコンテンツの各カットの内容を記述しておく。また、各セクションをコンテンツの各カットに同期させる。これは、コンテンツを複数のシーケンスに分割し、シーケンス毎に各セクションの付加情報を挿入することにより可能となる。コンテンツの内容を、例えば、コンテンツのカット毎の出演者（映画であれば俳優又は女優、スポーツであればスポーツ選手）の氏名とする。一方で、アクション部２１６は、スロー再生又はフリーズ再生を希望する出演者の氏名を外部入力信号２６２としてユーザから入力しておく。そして、アクション部２１６は、カット毎に出演者の氏名を付加情報１５９として付加情報バッファ２１４から入力し、外部入力信号２６２として入力した出演者の氏名と付加情報として入力した出演者の氏名が一致したカットをスロー再生又はフリーズ再生するように、ＤＶＤプレイヤ等のコンテンツデータ再生装置に特殊再生指示信号を外部出力信号２６３として出力する。また、挿入後プログラムストリーム１５１Ｃをインターネット等のネットワークを介してストリーミングサーバからダウンロードしつつ再生するストリーミングを付加情報抽出装置２０１Ａを含む再生装置（ストリーミングクライアント）が行っている場合には、外部入力信号２６２として入力した出演者の氏名と付加情報として入力した出演者の氏名が一致したカットをスロー再生又はフリーズ再生するように、ネットワークを介してストリーミングサーバに特殊再生指示信号を外部出力信号２６３として出力する。
【００７８】
（４）関連情報
（３）と同様に、付加情報を細かい多数のセクションに区切り、各セクションにコンテンツの各カットに関連した情報を記述しておく。また、各セクションをコンテンツのカットに同期させる。コンテンツに関連した情報を各カットに関連した小容量の画像、音声等にしておき、各カットでこのような関連した情報を副画面や副音声出力系列から出力するようにする。
【００７９】
なお、付加情報抽出装置２０１Ａは、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【００８０】
実施形態１によれば、付加情報を挿入しても映像データと音声データの同期がリップ(lip)同期の許容範囲を超えてずれる場合が全く起きない。
【００８１】
［実施形態２］
図２に示すように、実施形態１では、スライスのサイズを変更しないで、削減された画像符号を各スライスの先頭部に詰めて入れて、各スライスの末部に発生した空き領域に付加情報を挿入した。これに対し、実施形態２では、図１４に示すように、各スライスの画像符号を削減すると共に、スライスに空き領域が発生しないように、スライスのサイズも小さくする。そして、スライスのサイズを小さくすることによって生じたビデオストリーム中の空き領域に新たなユーザデータ領域を設け、その新たなユーザデータ領域に付加情報を挿入する。
【００８２】
第２の従来方式で説明したように、ユーザデータ領域の先頭には、スタートコードプレフィックスとユーザデータスタートコードの値（Ｂ２Ｈ）をとるスタートコードを付加しなければならないので、実施形態２では、このために付加情報バッファ１１７を図１５に示すような構成とする。Ｄタイプフリップフロップ２５２、２５３、２５４及び２５５並びに論理積ゲート２５６、２５７、２５８及び２５９は、レジスタ２６１、２６２、２６３、２６４及び２６５のアウトプットイネーブル（ＯＥ）制御信号を発生する。また、レジスタ２６５のアウトプットイネーブル制御信号は、ＦＩＦＯ２５１のリードイネーブル（ＲＥＮ）信号としても使用される。付加情報バッファ１１７からは、付加情報読出信号１７１が非アクティブ（ＬＯＷ）からアクティブ（ＨＩＧＨ）に変化すると、レジスタ２６１、２６２、２６３及び２６４の内部に記憶されているデータ００Ｈ、００Ｈ、０１Ｈ、Ｂ２Ｈよりなるバイト列が順に出力され、それに続いてＦＩＦＯ２５１に一時記憶されていた付加情報のバイト列が出力される。なお、００Ｈ、００Ｈ、０１Ｈのバイト列はスタートコードプレフィックスを示す。
【００８３】
なお、実施形態２では、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータ領域の数、ΔＴは、ユーザデータ領域の１ヘッダ当たりの時間
とする。
【００８４】
実施形態２の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【００８５】
［実施形態３］
実施形態２では、付加情報を挿入するための新たなユーザデータ領域が小さい場合には、スタートコードプレフィックスとスタートコードは重いオーバーヘッドとなる。そこで、実施形態３では、この問題を解決するために、図１６に示すように、短くなったスライスを詰めて、スライスに属しない空き領域を複数個繋げて、繋げられた空き領域を付加情報を挿入するためのユーザデータ領域としても良い。図１６の例では、３つのスライスを詰めて、３つの空き領域を繋いでいる。つまり、スライス１、ユーザデータ２、スライス２、スライス３を詰めて、スライス３とスライス４の間に付加情報１を入れたユーザデータ領域を挿入し、スライス４、スライス５、スライス６、ユーザデータ３を詰めて、ユーザデータ３とスライス７の間に付加情報２を入れたユーザデータ領域を挿入している。
【００８６】
実施形態３による付加情報挿入装置１０１Ｂの構成を図１７に示す。図１７を実施形態１による付加情報挿入装置１０１Ａ（図１）と比較すると明らかなように、付加情報挿入装置１０１Ｂは、付加情報挿入装置１０１Ａと基本的な構成は同一である。ただし、付加情報挿入装置１０１Ａと比較して、付加情報挿入装置１０１Ｂでは、ビデオＰＥＳイネーブル信号１５２がビデオＰＥＳ検出部１１１からスライス検出部１１２及び空き領域生成部１１３を介して付加情報挿入部１１４に入力され、スライススタートコード検出信号１７２がスライス検出部１１２から空き領域生成部１１３を介して付加情報挿入部１１４に入力される。これに伴い、空き領域生成部１１３が図３に示すものから図１８に示すものに変更されている。また、付加情報挿入装置１０１Ｂの付加情報バッファ１１７は、図１５に示す実施形態２のものと同一である。更に、付加情報挿入部１１４は、図１９に示すような構成をとる。
【００８７】
図１８を参照すると、付加情報挿入装置１０１Ｂの空き領域生成部１１３は、付加情報挿入装置１０１Ａの空き領域生成部１１３（図３）と比較すると、ＦＩＦＯ１２６が追加されている。ＦＩＦＯ１２６は、付加情報挿入部１１４に出力するビデオＰＥＳイネーブル信号１５２及びスライススタートコード検出信号１７２が、付加情報挿入部１１４に出力する中間プログラムストリームと同期がとれるように、スライス検出部１１２から入力したビデオＰＥＳイネーブル信号１５２及びスライススタートコード検出信号１７２を遅延させる。
【００８８】
図１９を参照すると、付加情報挿入装置１０１Ｂの付加情報挿入部１１４は、論理積ゲート１８１、スライスカウンタ１８２、立ち上がり検出回路１８３、付加情報アップカウンタ１８４、ラッチ１８５、ビデオＰＥＳ主情報ＦＩＦＯ１８６、比較器１８７、立ち上がり検出回路１８８、付加情報ダウンカウンタ１８９、立ち上がり検出回路１９０、ＲＳフリップフロップ回路１９１、マルチプレクサ１９２、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３、中間プログラムストリームＦＩＦＯ１９４及びマルチプレクサ１９５を備える。
【００８９】
論理積ゲート１８１は、図１９に示すように、ビデオＰＥＳイネーブル信号１５２と付加情報イネーブル信号の反転信号の論理積をとり、その論理積をビデオＰＥＳ主情報ＦＩＦＯ１８６のライトイネーブル（ＷＥＮ）信号として出力する。従って、ビデオＰＥＳ主情報ＦＩＦＯ１８６には、ビデオＰＥＳ以外のＰＥＳのデータ及びサイズを小さくする前のスライス中の末尾の空き領域のデータは書き込まれず、ビデオＰＥＳのうちの空き領域以外の部分のデータが書き込まれる。従って、ビデオＰＥＳ主情報ＦＩＦＯ１８６には、ビデオＰＥＳのデータのうちのスライスの先頭部の有効な画像符号及びスライス以外の部分（ユーザデータ領域等）のデータの全てが書き込まれる。
【００９０】
スライスカウンタ１８２は、Ｎの剰余のカウンタである。すなわち、スライスカウンタ１８２は、スライスをカウントして、スライスのカウント値をＮで割った余りの値を出力する。図１９の例では、Ｎの値を３としており、スライスカウンタ１８２の出力Ｑの値は、スライスを検出するたびに、０〜２の値を循環的に更新される。つまり、スライスカウンタ１８２の出力Ｑの値は、０〜２の値のシーケンスを繰り返す。また、スライスカウンタ１８２は、スライスカウンタ１８２の出力Ｑの値がＮ−１であるときにアクティブとなるキャリーアウト（ＣＯ）信号を出力する。Ｎの値が３である場合には、キャリーアウト信号はＮの値が２であるときにアクティブとなる。
【００９１】
立ち上がり検出回路１８３は、スライスカウンタ１８２からのキャリーアウト信号が非アクティブからアクティブに変化したときにアクティブとなる信号を出力し、この信号は付加情報アップカウンタ１８４のリセット（ＲＳＴ）信号及びラッチ１８５のゲート信号として用いられる。
【００９２】
付加情報アップカウンタ１８４は、Ｎ個のスライスに属する空き領域の総バイト数をカウントするカウンタである。
【００９３】
ラッチ１８５は、付加情報アップカウンタ１８４がカウントしたＮ個のスライスに属する空き領域の総バイト数をラッチする。図２０は、Ｎの値が３であり、スライス１に属する空き領域のバイト数がＣ１、スライス２に属する空き領域のバイト数がＣ２、スライス３に属する空き領域のバイト数がＣ３である場合に、ラッチ１８５の出力Ｑの値が、スライス４の開始時からＣ１＋Ｃ２＋Ｃ３になることを示している。この例では、Ｃ１＋Ｃ２＋Ｃ３の値が、新たに挿入するユーザデータ領域のバイト数で表したサイズである。
【００９４】
ビデオＰＥＳ主情報ＦＩＦＯ１８６には、既に説明したようにビデオＰＥＳのデータのうちのスライスの先頭部の有効な画像符号及びスライス以外の部分（ユーザデータ領域等）のデータの全てが書き込まれる。更に、ビデオＰＥＳ主情報ＦＩＦＯ１８６には、スライスカウンタ１８２のカウント値及びラッチ１８５がラッチしている値がクロック毎に書き込まれる。
【００９５】
ビデオＰＥＳ主情報ＦＩＦＯ１８６からは、これに書き込まれたデータがリードイネーブル（ＲＥＮ）信号に従って、断続的に読み出される。このリードイーネーブル信号は、ＲＳフリップフロップ１９１の出力Ｑであり、付加情報を含むデータ領域を挿入するべきタイミングで非アクティブとなり、その他のタイミングではアクティブとなる。このリードイネーブル信号は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたスライスカウンタ１８２のカウント値及びラッチ１８５がラッチしていた値を基に、比較器１８７、立ち上がり検出回路１８８、付加情報ダウンカウンタ１８９、立ち上がり検出回路１９０及びＲＳフリップフロップ１９１が生成する。
【００９６】
図２１に、ビデオＰＥＳ主情報ＦＩＦＯ１８６からのデータの読出のタイミング、立ち上がり検出回路１８８の出力信号の波形、立ち上がり検出回路１９０の出力信号の波形及びマルチプレクサ１９１の出力のデータを示す。立ち上がり検出回路１８８の出力は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたスライスカウンタ１８２のカウント値を基に、比較器１８７及び立ち上がり検出回路１８８により生成される。具体的には、立ち上がり検出回路１８８の出力は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたスライスカウンタ１８２のカウント値がＮ−１（図２０の例ではＮ−１＝３−１＝２）になったときに１クロックだけアクティブとなる。立ち上がり検出回路１９０の出力は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたラッチ１８５がラッチしていた値を基に、付加情報ダウンカウンタ１８９及び立ち上がり検出回路１９０により生成される。具体的には、付加情報ダウンカウンタ１８９には、立ち上がり検出回路１８８が出力する信号がアクティブとなったときに、ラッチ１８５がラッチしていた値（図２０の例では、Ｃ１＋Ｃ２＋Ｃ３又はＣ４＋Ｃ５＋Ｃ６）がロードされ、それから付加情報ダウンカウンタ１８９はカウントダウンを始める。付加情報ダウンカウンタ１８９はカウント値Ｑが０になったときに信号（Ｑ＝０）をアクティブ（ＨＩＧＨ）にしてカウントを停止する。立ち上がり検出回路１９０の出力は、信号（Ｑ＝０）が非アクティブからアクティブになったときに１クロックだけアクティブとなる。ＲＳフリップフロップ１９１の出力Ｑは、立ち上がり検出回路１８８の出力パルスによりリセットされ、立ち上がり検出回路１９０の出力パルスによりセットされる。この出力ＱがビデオＰＥＳ主情報バッファのリードイネーブル（ＲＥＮ）信号及びマルチプレクサ１９２の制御信号として用いられる。また、出力Ｑの相補信号／Ｑが付加情報読出信号１７１として用いられる。
【００９７】
従って、マルチプレクサ１９２からは、図２１に示すようなスライスやユーザデータに付加情報が挿入されたデータが出力される。なお、マルチプレクサ１９２から出力される付加情報の先頭部には、図１５に示す回路により、スタートコードプレフィックス及びユーザデータスタートコードの値（Ｂ２Ｈ）をとるスタートコードが付されていて、これらのコードと付加情報がユーザデータ領域を構成する。マルチプレクサ１９２の出力は、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３に書き込まれる。
【００９８】
中間プログラムストリームＦＩＦＯ１９４は、中間プログラムストリーム１５１Ｂ及びビデオＰＥＳイネーブル信号１５２を所定時間遅延させて出力する。中間プログラムストリームＦＩＦＯ１９４から読み出されたビデオＰＥＳイネーブル信号１５２は、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３のリードイネーブル（ＲＥＮ）信号及びマルチプレクサ１９５の制御信号として用いられるので、図２２に示すように、マルチプレクサ１９５からは、ビデオＰＥＳの期間では、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３から読み出されたビデオＰＥＳが出力され、ビデオＰＥＳ以外のＰＥＳ（例えば、ユーザデータＰＥＳ及びオーディオＰＥＳ）の期間では、中間プログラムストリームＦＩＦＯ１９４から読み出されたビデオＰＥＳ以外のＰＥＳが出力される。
【００９９】
なお、図１９に示す付加情報挿入部１１４の回路は、あくまで付加情報挿入部１１４の構成例であり、他の構成をとってもよいことはいうまでもない。また、図１９に示す付加情報挿入部１１４の回路では、数クロックの遅延調整回路は省略している。
【０１００】
また、実施形態３では、実施形態２と同様に、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータ領域の数、ΔＴは、ユーザデータ領域の１ヘッダ当たりの時間
とする。
【０１０１】
また、実施形態３の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【０１０２】
また、付加情報挿入装置１０１Ｂは、付加情報挿入部１１４を含め、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【０１０３】
［実施形態４］
実施形態１では、図２に示すように、スライスのサイズは変更しないで、削減された画像符号を各スライスの先頭部に詰めて入れて、各スライスの末部に発生した空き領域に付加情報を挿入した。これに対し、実施形態４では、図２３に示すように、各スライスの画像符号を削減すると共に、スライスに空き領域が発生しないように、スライスのサイズも小さくする。そして、スライスのサイズを小さくすることによって各ビデオＰＥＳに生じた空き領域に新たなユーザデータデータＰＥＳを設け、その新たなユーザデータＰＥＳに付加情報を挿入する。つまり、サイズが小さくなった各ビデオＰＥＳの末尾に付加情報を有するユーザデータＰＥＳが追加される。
【０１０４】
実施形態４による付加情報挿入装置１０１Ｃの構成を図２４に示す。図２４を実施形態１による付加情報挿入装置１０１Ａ（図１）と比較すると明らかなように、付加情報挿入装置１０１Ｃは、付加情報挿入装置１０１Ａと基本的な構成は同一である。ただし、付加情報挿入装置１０１Ａと比較して、付加情報挿入装置１０１Ｂでは、ビデオＰＥＳイネーブル信号１５２及びビデオＰＥＳスタートコード検出信号１７３がビデオＰＥＳ検出部１１１からスライス検出部１１２及び空き領域生成部１１３を介して付加情報挿入部１１４に入力され、ビデオＰＥＳイネーブル信号１５２及びスライススタートコード検出信号１７２がスライス検出部１１２から空き領域生成部１１３を介して付加情報挿入部１１４に入力され、これに伴い、空き領域生成部１１３が図３に示すものから図１８に示すものに変更されている。また、付加情報バッファ１１７は、図２５に示すような構成をとり、付加情報挿入部１１４は、図２６に示すような構成をとる。
【０１０５】
ユーザデータＰＥＳの先頭には、スタートコードプレフィックスとユーザデータＰＥＳの値（ＢＤＨ、ＢＦＨ等）をとるスタートコードを付加しなければならないので、実施形態４では、このために付加情報バッファ１１７を図２５に示すような構成をとる。図２５の付加情報バッファ１１７は、図１５に示す実施形態２のものと同様な構成をとるが、レジスタ２６４が保持する値が、実施形態２ではＢ２Ｈであるのに対し、実施形態４ではＢＤＨ、ＢＦＨ等である。
【０１０６】
図２６に示す実施形態４の付加情報挿入部１１４は、図１９に示す実施形態３の付加情報挿入部１１４と類似している。図１９に示す実施形態３の付加情報挿入部１１４と比較して、図２６に示す実施形態４の付加情報挿入部１１４が構成上異なる点は、以下の通りである。スライスカウンタ１８２、立ち上がり検出回路１８３、比較器１８７が削除された。ビデオＰＥＳ主情報ＦＩＦＯ１８６がビデオＰＥＳＦＩＦＯ３８６に名称変更され、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３がビデオＰＥＳ／ユーザＰＥＳＦＩＦＯ３９３に名称変更された。付加情報アップカウンタ１８４のリセット信号及びラッチ１８５のゲート信号がビデオＰＥＳスタートコード検出信号１７３に変更された。ビデオＰＥＳＦＩＦＯ３８６が第２のデータ（ＤＩＮ２及びＤＯＵＴ２）として記憶する信号がビデオＰＥＳスタートコード検出信号に変更された。付加情報ダウンカウンタ１８９のロード信号及びＲＳフリップフロップのリセット信号がビデオＰＥＳＦＩＦＯ３８６から読み出されるビデオＰＥＳスタートコード検出信号に変更された。
【０１０７】
図２６に示す実施形態４の付加情報挿入部１１４の動作は、図１９に示す実施形態３の付加情報挿入部１１４の動作と類似しているので詳細な説明は省略する。簡単に説明すると、各ビデオＰＥＳにおいて、空き領域が削除されたビデオＰＥＳのデータがビデオＰＥＳＦＩＦＯ３８６から連続して読み出されると、続いてユーザデータＰＥＳのデータが付加情報１５９として入力され、これらがマルチプレクサ１９２でマルチプレクスされる。従って、マルチプレクサ１９２の出力は、符号削減後のビデオＰＥＳとユーザデータＰＥＳがマルチプレクスされたデータである。これが、マルチプレクサ１９５で他のＰＥＳとマルチプレクスされ、挿入後プログラムストリーム１５１Ｃが付加情報挿入部１１４から出力される。
【０１０８】
なお、図２６に示す付加情報挿入部１１４の回路は、あくまで付加情報挿入部１１４の構成例であり、他の構成をとってもよいことはいうまでもない。また、図２６に示す付加情報挿入部１１４の回路では、数クロックの遅延調整回路は省略している。
【０１０９】
また、実施形態４では、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータＰＥＳの数、ΔＴは、ユーザデータＰＥＳの１ヘッダ当たりの時間
とする。
【０１１０】
また、実施形態４の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【０１１１】
また、付加情報挿入装置１０１Ｃは、付加情報挿入部１１４を含め、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【０１１２】
［実施形態５］
実施形態４では、付加情報を挿入するための新たなユーザデータＰＥＳが小さい場合には、スタートコードプレフィックスとスタートコードは重いオーバーヘッドとなる。そこで、実施形態５では、この問題を解決するために、図２７に示すように、短くなったビデオＰＥＳを詰めて、その結果生じた空き領域を複数個繋げて、繋げられた空き領域を付加情報を挿入するためのユーザデータＰＥＳとしても良い。図２７の例では、３つのビデオＰＥＳを詰めて、３つの空き領域を繋いでいる。つまり、ビデオＰＥＳ１’、ビデオＰＥＳ２’及びビデオＰＥＳ３’を詰めて、ビデオＰＥＳ３’とビデオＰＥＳ４’の間に付加情報を含んだユーザデータＰＥＳを挿入している。
【０１１３】
実施形態５による付加情報挿入装置１０１Ｃの基本的な構成は、図２４に示す実施形態４のものと同様である。
【０１１４】
実施形態５による付加情報バッファ１１７の構成は図２５に示す実施形態４と同一である。
【０１１５】
図２８に示す実施形態５の付加情報挿入部１１４は、図１９に示す実施形態３の付加情報挿入部１１４と類似している。図１９に示す実施形態３の付加情報挿入部１１４と比較して、図２８に示す実施形態５の付加情報挿入部１１４が構成上異なる点は、以下の通りである。スライスカウンタ１８２がビデオＰＥＳカウンタ３８２に名称変更され、ビデオＰＥＳ主情報ＦＩＦＯ１８６がビデオＰＥＳＦＩＦＯ３８６に名称変更され、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３がビデオＰＥＳ／ユーザＰＥＳＦＩＦＯ３９３に名称変更された。ビデオＰＥＳカウンタ３８２のイネーブル信号がビデオＰＥＳスタートコード検出信号１７３に変更された。
【０１１６】
図２８に示す実施形態５の付加情報挿入部１１４の動作は、図１９に示す実施形態３の付加情報挿入部１１４の動作と類似しているので詳細な説明は省略する。簡単に説明すると、Ｎ個のビデオＰＥＳについて、空き領域が削除されたデータが連続してビデオＰＥＳＦＩＦＯ３８６から読み出されると、続いてユーザデータＰＥＳのデータが付加情報１５９として入力され、これらがマルチプレクサ１９２でマルチプレクスされる。従って、マルチプレクサ１９２の出力は、符号削減後のビデオＰＥＳとユーザデータＰＥＳがマルチプレクスされたデータである。これが、マルチプレクサ１９５で他のＰＥＳとマルチプレクスされ、挿入後プログラムストリーム１５１Ｃが付加情報挿入部１１４から出力される。
【０１１７】
なお、図２８に示す付加情報挿入部１１４の回路は、あくまで付加情報挿入部１１４の構成例であり、他の構成をとってもよいことはいうまでもない。また、図２８に示す付加情報挿入部１１４の回路では、数クロックの遅延調整回路は省略している。
【０１１８】
また、実施形態５では、実施形態４と同様に、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータＰＥＳの数、ΔＴは、ユーザデータＰＥＳの１ヘッダ当たりの時間
とする。
【０１１９】
また、実施形態５の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【０１２０】
また、付加情報挿入装置１０１Ｃは、付加情報挿入部１１４を含め、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【０１２１】
なお、上記の何れの実施形態においても、ＭＰＥＧ信号としてプログラムストリームを扱ったが、本発明は、トランスポートストリームにも適用できることはいうまでもない。
【０１２２】
【発明の効果】
以上説明したように、本発明によれば、コンテンツデータのサイズを増やさないでコンテンツデータに付加情報を挿入することができるので、コンテンツデータを蓄積するデジタル蓄積メディアの容量を圧迫することがなく、コンテンツデータを伝送する伝送路の伝送容量を圧迫することがなくなる。
【図面の簡単な説明】
【図１】本発明の実施形態１による付加情報挿入装置の構成を示すブロック図である。
【図２】本発明の実施形態１による付加情報挿入装置で生成される主要な信号及びデータを示すタイミング図である。
【図３】本発明の実施形態１による付加情報挿入装置の空き領域生成部の構成を示すブロック図である。
【図４】本発明の実施形態１による付加情報挿入装置のＤＣＴ係数変更部が行う符号量削減方法を説明するための図である。
【図５】ＤＣＴ係数を２次元可変長符号化するときに用いるジグザグスキャンの例を示す図である。
【図６】本発明の実施形態１による付加情報挿入装置のＤＣＴ係数変更部がＤＣＴ係数に対して符号量削減方法を行う前のＤＣＴ係数と行った後のＤＣＴ係数を比較する図である。
【図７】ＭＰＥＧ規格による２次元可変長符号の符号長を示す第１の図表である。
【図８】ＭＰＥＧ規格による２次元可変長符号の符号長を示す第２の図表である。
【図９】本発明の実施形態１による付加情報挿入装置の付加情報挿入部の構成を示すブロック図である。
【図１０】本発明の実施形態１による付加情報挿入装置がコンテンツデータの挿入する付加情報のフォーマット例を示す図である。
【図１１】本発明の実施形態１による付加情報抽出装置の構成を示すブロック図である。
【図１２】本発明の実施形態１による付加情報抽出装置の付加情報抽出部の構成を示すブロック図である。
【図１３】本発明の実施形態１による付加情報抽出装置の付加情報抽出部が入出力する信号の波形を示すタイミング図である。
【図１４】本発明の実施形態２による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図１５】本発明の実施形態２による付加情報挿入装置の付加情報バッファの構成を示す回路図である。
【図１６】本発明の実施形態３による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図１７】本発明の実施形態３による付加情報挿入装置の構成を示すブロック図である。
【図１８】本発明の実施形態３による付加情報挿入装置の空き領域生成部１１３の構成を示すブロック図である。
【図１９】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の構成を示す回路図である。
【図２０】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の動作を説明するための第１のタイミング図である。
【図２１】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の動作を説明するための第２のタイミング図である。
【図２２】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の動作を説明するための第３のタイミング図である。
【図２３】本発明の実施形態４による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図２４】本発明の実施形態４による付加情報挿入装置の構成を示すブロック図である。
【図２５】本発明の実施形態４による付加情報挿入装置の付加情報バッファの構成を示す回路図である。
【図２６】本発明の実施形態４による付加情報挿入装置の付加情報挿入部の構成を示す回路図である。
【図２７】本発明の実施形態５による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図２８】本発明の実施形態５による付加情報挿入装置の付加情報挿入部の構成を示す回路図である。
【図２９】ＭＰＥＧ規格によるプログラムストリームのフォーマットを示す図である。
【図３０】ＭＰＥＧ規格によるビデオストリーム中のユーザデータ領域のフォーマットを示す図である。
【符号の説明】
１０１Ａ、１０１Ｂ、１０１Ｃ 付加情報挿入装置
１１１ ビデオＰＥＳ検出部
１１２ スライス検出部
１１３ 空き領域生成部
１１４ 付加情報挿入部
１１５ 挿入割合計算部
１１６ 符号量制御部
１１７ 付加情報バッファ
２０１Ａ 付加情報抽出装置
２１１ ビデオＰＥＳ検出部
２１２ スライス検出部
２１３ 付加情報抽出部
２１４ 付加情報バッファ
２１５ 付加情報完成判定部
２１６ アクション部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an additional information insertion device that inserts additional information into content data including an image code, and an additional information extraction device that extracts additional information from content data including an image code and additional information.
[0002]
[Prior art]
In recent years, the Motion Picture Experts Group (MPEG) system has become widespread as a system for storing or transmitting moving images and audio. For example, a CD-R (Compact Disc-Recordable), a DVD (Digital Versatile Disc), a hard disk, etc. It is used as a recording format for digital storage media and is also used as an encoding method for digital television broadcasting. The MPEG system is also used as an encoding system for streaming video and audio.
[0003]
In the MPEG method, the following two methods are defined as methods for inserting user data into an MPEG signal. The first method is a method of inserting a PS packet including user data into a program stream (PS), and the second method is to add a user data area in a video stream before becoming a PES (Packet Elementary Stream). This is an insertion method.
[0004]
The first method will be described next with reference to FIG. Each packet (PS packet) of the program stream is composed of a program stream system header (which takes the value of BBH) and a plurality of packs that follow it. Each pack is composed of a PS pack header (takes a value of BAH) and a PS system header (takes a value of BBH), followed by a variable number of PES, a PS program map table, or a PS directory. The elementary stream in each PES is a video elementary stream, an audio elementary stream, user data (private data), or the like. Trick mode control information is included in the conditional coding of each PES.
[0005]
Next, the second method will be described with reference to FIG. The user data is sequence layer data in the video stream, and includes a start code prefix (consisting of 23 or more “0” followed by one “1”) and a user data start code (user_data_start_code). It exists in the user data area between the start code ID group that takes the value (B2H) and the next start code prefix. Data in user data must not contain the same sequence as the start code prefix.
[0006]
In Japanese Patent Laid-Open No. 2000-197018, in a program transmission apparatus, (1) user data (private data) describing a URL (Uniform Resource Locator), a mail address, a program title, etc. in an MPEG2 transport stream to be transmitted ( 2) A program map table describing information associating the user data, video data, and audio data, and (3) a program association table describing the PID of a transport packet transmitting the program map table, and receiving apparatus In the above, referring to these data and table, each button corresponding to the URL, e-mail address and program title related to the program contents is displayed on the screen, and if the button corresponding to the URL is pressed by the user, , That UR If the user presses the button corresponding to the e-mail address, the mailer for sending e-mail to that e-mail address is activated, and the button corresponding to the program title is pressed by the user. The prior art for displaying the program title is disclosed. This prior art is different from the first method in that the stream is a program stream or a transport stream, but inserts user data in an area dedicated to user (private) data. Is the same as the first method.
[0007]
Japanese Patent Laid-Open No. 10-210428 discloses that program identification information is inserted into a user data area in an MPEG2 bit stream to be transmitted in a program transmission apparatus, and user data in the received bit stream is received in the program reception apparatus. Conventionally, program identification information is extracted from an area, and the program is recorded when the broadcast program and the program described in the extracted program identification information coincide with the broadcast time input by the user to the program receiving apparatus. Technology is disclosed. This conventional technique uses the second method.
[0008]
[Problems to be solved by the invention]
However, according to the first and second methods described above, when user data is inserted into content data, the size of the content data increases by the amount of user data packet or user data area added for insertion. End up. Accordingly, when content data is recorded on a digital storage medium, the recording capacity of the digital storage medium is compressed, and when content data is transmitted at the same transmission rate, the transmission time becomes long and the transmission time is the same. In the case of transmitting content data, the transmission rate is increased and the communication capacity is reduced. Further, when full content data is already recorded on the digital storage medium, it is impossible to add user data.
[0009]
Further, according to the first method and the second method, there is a case where the synchronization between the video data and the audio data is shifted beyond the allowable range of lip synchronization.
[0010]
The present invention has been made in view of the above problems, and an additional information insertion device that can insert additional information such as user data into content data without increasing the size of the content data. An object of the present invention is to provide an additional information extraction device that extracts additional information inserted by the device from content data.
[0011]
[Means for Solving the Problems]
  According to a first aspect of the present invention, in the additional information insertion method for inserting additional information into content data including an image code, the first bit number of the image code in the content data is set to the first bit number. An empty area generating means for generating an empty area by reducing the number of bits to a second bit number less than that, and additional information inserting means for inserting the additional information into the empty area.The empty area generating means is an area obtained by dividing a space of a moving image represented by the image code, and includes a plurality of encoded blocks of the moving image represented by the image code. The additional information insertion device that generates the empty area that belongs to a slice area, and wherein the additional information insertion unit inserts the additional information for each empty area that belongs to each slice area.Is provided.
In the additional information insertion device according to the first aspect of the present invention, the additional information insertion means includes means for detecting each slice area, means for detecting an area occupied by the image code included in each slice area, and each slice. And a means for detecting an area other than the area occupied by the image code in the area as the empty area.
In the additional information insertion device according to the first aspect of the present invention, the content data is MPEG. (Motion Picture Experts Group) It may be data, and the slice area may be a slice area defined by the MPEG standard.
According to the second aspect of the present invention, in the additional information insertion device that inserts additional information into content data including an image code, the first bit number of the image code in the content data is set to the first bit number. An empty area generating unit that generates an empty area by reducing the number of bits to a second bit number less than, and additional information inserting unit that inserts the additional information into the empty area, and the empty area generating unit includes: An area obtained by dividing the space of the moving image represented by the image code, the slice area being reduced in size for each slice area including a plurality of encoded blocks of the moving image represented by the image code The empty area that does not belong to the slice area is generated, and the additional information insertion means inserts the additional information into the empty area that does not belong to the slice area. Additional information insertion device is provided, wherein.
In the additional information insertion device according to the second aspect of the present invention, the additional information insertion device further comprises means for linking a plurality of the empty areas that do not belong to the slice area by reducing the mutual interval of the plurality of slice areas reduced in size, The additional information insertion means may insert the additional information into the empty areas connected in plural.
In the additional information insertion device according to the second aspect of the present invention, the content data is MPEG. (Motion Picture Experts Group) The slice area is a slice area defined by the MPEG standard, and the free area that does not belong to the slice area is defined by one start code prefix defined by the MPEG standard and the MPEG standard. Alternatively, a user data area sandwiched between a set of user data start codes and the next start code prefix may be configured.
In the additional information insertion device according to the second aspect of the present invention, the content data is MPEG. (Motion Picture Experts Group) Data, the slice area is a slice area defined in the MPEG standard, and the free area that does not belong to the slice area is a PES defined in the MPEG standard. (Packetized Elementary Stream) You may make it comprise.
In the additional information insertion device according to the first or second aspect of the present invention, the content data may include an audio code.
In the additional information insertion device according to the first or second aspect of the present invention, the empty area generation means reduces the number of bits of the image code for each encoded block of the moving image represented by the image code. May be.
In the additional information insertion device according to the first or second aspect of the present invention, the additional information may be inserted in a distributed manner in a plurality of the empty areas.
In the additional information insertion device according to the first or second aspect of the present invention, the additional information is the additional information. Information indicating the type of additional information, information indicating the size of the additional information, and an additional information main body may be included.
In the additional information insertion device according to the first or second aspect of the present invention, the additional information is a URL. (Uniform Resource Locator) May be included.
In the additional information insertion device according to the first or second aspect of the present invention, the additional information may include reference information referred to for controlling the content data reproducing device.
In the additional information insertion device according to the first or second aspect of the present invention, the additional information may include reference information referred to for controlling the streaming server.
In the additional information insertion device according to the first or second aspect of the present invention, the additional information may be image information.
According to a third aspect of the present invention, in the additional information extracting device that extracts the additional information from content data including an image code and additional information, the additional information is a space of a moving image represented by the image code. The divided area is included in a slice area that includes a plurality of encoded blocks of the moving image represented by the image code, and the additional information extraction device includes means for detecting the slice area, and the slice area Means for detecting an area occupied by the image code included in the image, means for detecting an additional information area other than an area included in the slice area but occupied by the image code, and inserted into the additional information area And means for extracting said additional information. An additional information extracting device is provided.
In the additional information extraction device according to the third aspect of the present invention, the content data may include an audio code.
In the additional information extracting apparatus according to the third aspect of the present invention, the content data is MPEG. (Motion Picture Experts Group) It may be data, and the slice area may be a slice area defined by the MPEG standard.
In the additional information extraction device according to the third aspect of the present invention, the additional information is distributed and inserted into the plurality of additional information regions, and the additional information extraction device is distributed and the plurality of additional information regions. There may be provided a connecting means for connecting the additional information inserted into the.
In the device including the additional information extracting device according to the third aspect of the present invention, the additional information is a URL (Uniform Resource Locator) The apparatus may include means for accessing a resource indicated by the URL.
In the content data reproducing device including the additional information extracting device according to the third aspect of the present invention, the additional information includes reference information referred to for controlling the content data reproducing device, and the reproducing device includes the reference You may make it provide the means which operate | moves according to information and the information input from the user.
According to a fourth aspect of the present invention, in the streaming client comprising the additional information extracting device according to the third aspect of the present invention, the additional information is referred to in order to generate control information for controlling the streaming server. The streaming client comprises: means for generating the control information based on the reference information and information input from a user; and means for transmitting the control information to the streaming server. A featured streaming client is provided.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0035]
[Embodiment 1]
[1] Additional information insertion device
FIG. 1 is a block diagram showing a configuration of an additional information insertion device 101A according to Embodiment 1 of the present invention. Referring to FIG. 1, additional information insertion apparatus 101A inserts additional information 159 into pre-insertion program stream 151A, and outputs the program stream with additional information 159 inserted as post-insertion program stream 151C. The pre-insertion program stream 151A is a bit stream standardized by MPEG2. The size of the post-insertion program stream 151C does not exceed the size of the pre-insertion program stream 151A. The pre-insertion program stream 151A is read from the pre-insertion program stream file 131, the additional information 159 is read from the additional information file 132, and the post-insertion program stream is written to the post-insertion program stream file 133. It may be transmitted and received through a network such as. Further, the additional information insertion device 101A includes a video PES detection unit 111, a slice detection unit 112, a free space generation unit 113, an additional information insertion unit 114, an insertion rate calculation unit 115, a code amount control unit 116, and an additional information buffer 117. .
[0036]
Next, the configuration and operation of each unit of the additional information insertion device 101A will be described.
[0037]
The video PES detection unit 111 receives the pre-insertion program stream 151A, detects the video PES in the pre-insertion program stream 151A, and each byte of the pre-insertion program stream 151A and the pre-insertion program stream 151A belongs to the video PES. A video PES enable signal 152 as shown in FIG. In each PES header, a start code prefix and a PES start code ID indicating the type of PES are described in order, so that the video PES is detected by detecting the start code prefix and checking the value of the subsequent PES start code ID. Can be detected. Note that the value of the PES start code ID of the video PES takes a value of E0H to EFH.
[0038]
The slice detection unit 112 receives the pre-insertion program stream 151A and the video PES enable signal 152 output from the video PES detection unit 111, detects a video start code and a slice in the video PES, and detects the pre-insertion program stream 151A. FIG. 2 shows which video start code detection signal 153 as shown in FIG. 2 shows which byte of the pre-insertion program stream is a video start code and whether each byte of the pre-insertion program stream belongs to a slice. A slice enable signal 154 as shown is output. A video stream is formed by connecting video PES payloads. The video stream is delimited by a set of a start code prefix and a video start code ID. A slice can be detected by detecting the start code prefix and examining the value of the video start code ID that follows. Note that the value of the video start code ID of the slice takes a value from 01H to AFH.
[0039]
The insertion ratio calculation unit 115 measures the total size S1 of the video PES of the pre-insertion program stream 151A and the size S2 of the additional information 159, and is a target value for the ratio of inserting additional information into the content data based on these sizes. The target insertion ratio is
Target insertion ratio = S2 / S1
And an insertion rate instruction signal 157 indicating the target insertion rate is output to the code amount control unit 116.
[0040]
From the time T1 when the image code enable signal 155 input from the free space generation unit 113 is active and the time T2 when the additional information enable signal input from the free space generation reduction unit 113 is active, the code amount control unit 116
Measurement insertion ratio = T2 / (T1 + T2)
, And sequentially adjust the count change signal 158 so that the measured insertion ratio becomes the target insertion ratio, and output it to the free space generation unit 113.
[0041]
The free space generation unit 113 reduces the total number of bits of the image code in the slice based on the count change signal 158 input from the code amount control unit 116. When the coefficient change signal 158 instructs to increase the number of reduced bits of the image code, when the coefficient change signal instructs to reduce the number of reduced bits of the image code, Reduce the number of bits of the image code. The free area generation unit 113 packs the reduced image code in front of each slice for each slice, and provides a free area at the end of each slice. The free space generation unit 113 outputs the program stream with the image code reduced in this way and packed in front of the slice to the additional information insertion unit 114 as an intermediate program stream 151B. Also, the free space generation unit 113 outputs an image code enable signal 155 as shown in FIG. 2 indicating whether or not each byte in the intermediate program stream 151B has an image code to the code amount control unit 116, and the intermediate program An additional information enable signal 156 as shown in FIG. 2 indicating whether or not each byte in the stream 151B is a free area where additional information can be inserted is output to the code amount control unit 116 and the additional information insertion unit 114. To do.
[0042]
The additional information buffer 117 temporarily stores the additional information 159, and outputs the temporarily stored additional information 159 to the additional information inserting unit 114 when the additional information enable signal input from the additional information inserting unit 114 is active. The additional information buffer 117 is configured by, for example, a FIFO (First-In First-Out).
[0043]
The additional information insertion unit 114 receives the intermediate program stream 151B output from the free space generation unit 113, the additional information enable signal 156, and the additional information 159 output from the additional information buffer 117, and receives additional information in the intermediate program stream 151B. The additional information 159 is inserted into the byte indicated by the enable signal 156 as an empty area, and the inserted program stream is output as the inserted program stream 151C. The structure of the slice in the post-insertion program stream 151C is as indicated by 151C-S in FIG.
[0044]
Next, a more detailed configuration and operation of the free space generation unit 113 will be described with reference to FIG.
[0045]
Referring to FIG. 3, the free space generation unit 113 includes a variable length decoder 121, a DCT coefficient changing unit 122, a multiplexer 123, a variable length encoder 124, and a logical product gate 125.
[0046]
The variable length decoder 121 receives the pre-insertion program stream 151A, the slice enable signal, and the video start code detection signal 154, decodes the variable length code, and converts DCT coefficient data of each DCT block into a DCT coefficient changing unit 122. And output to the multiplexer 123. The decoding of the variable length code includes decoding of the DCT coefficient two-dimensional Huffman code and other decoding.
[0047]
The DCT coefficient changing unit 122 changes the DCT coefficient of each input DCT block so that the code amount per DCT block is reduced when re-encoding. As a changing method, for example, a method is used in which only a predetermined number of DCT coefficients among the DCT coefficients of each DCT block are left and the amplitudes of the other DCT coefficients are made zero. That is, the DCT coefficient changing unit 122 uses this method to reduce the amplitude of all or part of the input DCT coefficients to zero, thereby reducing the code amount per DCT block.
[0048]
For example, as shown in FIG. 4, the frequency region is divided into region A and region B, the region A DCT coefficients are left as they are, and the region B coefficients are set to zero. When the zigzag scan as shown in FIG. 5 is performed and the non-zero DCT coefficient and the preceding zero run length are subjected to two-dimensional Huffman coding, the first DCT coefficient f (0, 0) in the zigzag scan is obtained. To at most DCT coefficients f (5, 5) are encoded. By operating such a DCT coefficient, for example, the DCT coefficient f (i, j) shown on the left of FIG. 6 changes to the DCT coefficient F (i, j) shown on the right of FIG. In FIG. 6, f (4, 3) having an amplitude of 7, f (4, 5) having an amplitude of 12, and f (6, 4) having an amplitude of 6, respectively, F (6, 4) having an amplitude of 0. 4, 3), F (4, 5) with zero amplitude and F (6, 4) with zero amplitude, but the other f (i, j) do not change.
[0049]
The two-dimensional Huffman coding will be described in more detail. The two-dimensionally distributed DCT coefficients are arranged in a one-dimensional DCT coefficient by zigzag scanning as shown in FIG. That is, the DCT coefficients are f (0, 0), f (0, 1), f (1, 0), f (2, 0), f (1, 1), f (0, 2),. . ,. They are arranged one-dimensionally in the order of f (7, 7). These DCT coefficients are coded by pairing the amplitude (level) of the non-zero DCT coefficient and the continuous number of zero DCT coefficients (zero run length) preceding the non-zero DCT coefficient when arranged in this way. It becomes. A variable length code having a length corresponding to the occurrence frequency is assigned to each pair of level and zero run length. The relationship between the level of each pair, the combination of zero run length, and the length of the variable length code is as shown in FIGS. FIG. 7 is for a non-intra block and an intra block with intra_vlc_format = 0, and FIG. 8 is for an intra block with intra_vlc_format = 1. However, FIGS. 7 and 8 show the relationship between the combination of the level and the zero run length and the length of the variable length code for only a part of all the combinations of the level and the zero run length.
[0050]
If the block shown in FIG. 6 is an intra block with intra_vlc_format = 1, if such encoding is performed on f (i, j) before the two-dimensional low-pass filter is applied, the left side of FIG. In the two-dimensional matrix, for example, the amplitude (level) of the DCT coefficient f (2, 0) is 2, and the corresponding zero run length is 2 when the zero is counted by the zigzag scan of FIG. 5, and the corresponding code length Is 8 in the variable length code length table of FIG. 8 at level 2 and zero run length 2.
[0051]
Zero run lengths and code lengths corresponding to the amplitudes of other DCT coefficients are also obtained as shown below the matrix on the left side of FIG. Accordingly, the code length per block excluding EOB (End OF Block) is 148 bits.
[0052]
On the other hand, when the block shown in FIG. 6 is an intra block with intra_vlc_format = 1, if such encoding is performed on the DCT coefficient F (i, j) after the masking of FIG. 4 is applied, FIG. 6 is obtained, and the code length per block excluding EOB is 76 bits.
[0053]
Therefore, in the case of an intra block with intra_vlc_format = 1, as shown in FIG. 6, when each non-zero DCT coefficient and the preceding zero run length are two-dimensionally Huffman encoded along the zigzag scan shown in FIG. The code amount per DCT block is 148 bits before the above DCT coefficient operation is applied, but is reduced to 76 bits thereafter.
[0054]
The DCT coefficient changing unit 112 adjusts the number of DCT coefficients that remain unchanged without making the amplitude zero according to the value of the coefficient changing signal 158, and thereby adjusts the rate of code amount reduction per DCT block. To do.
[0055]
The multiplexer 123 multiplexes the changed DCT coefficient output from the DCT coefficient changing unit 122 and the data output from the variable length decoder 121 except the DCT coefficient, and the multiplexed data is converted into a variable length code. To the device 124.
[0056]
The variable length encoder 124 performs variable length encoding on the multiplexed data output from the multiplexer, and outputs the variable length code to the additional information insertion unit 114 as an intermediate program stream 151B. This variable length coding includes two-dimensional Huffman coding and other coding of DCT coefficients. Further, the variable length encoder 124 outputs the variable length code obtained by encoding the image data in the slice in front of the slice, and outputs the portion having the variable length code packed in the front in the slice. The active image code enable signal 155 is output to the code amount control unit 116 and the AND gate 125.
[0057]
The logical product gate 125 takes a logical product of the slice enable signal 154 and the inverted signal of the image code enable signal 115 and outputs the logical product as an additional information enable signal 156 to the code amount control unit 116 and the additional information insertion unit 114. . The additional information enable signal 156 is a signal that becomes active in a vacant area that is generated when a variable length code is packed forward in a slice.
[0058]
Next, a more detailed configuration and operation of the additional information insertion unit 114 will be described with reference to FIG.
[0059]
Referring to FIG. 9, the additional information insertion unit 114 has a multiplexer configuration including AND gates 131 and 132 and an OR gate 133. The additional information enable signal 156 is input to the first input terminal of the AND gate 131, and the additional information enable signal 156 is input to the first input terminal (inverted input terminal) of the AND gate 132. The additional information enable signal 156 is directly output to the additional information buffer 117 as the additional information read signal 171. Therefore, when the additional information enable signal 156 is active, the second input terminal of the AND gate 131 is effective. Additional information 159 is input. When the additional information enable signal 156 is inactive, the valid intermediate program stream 151B is input to the second input terminal of the AND gate 132. Therefore, the post-insertion program stream 151C output from the OR gate 133 is valid additional information 159 when the additional information enable signal 156 is active and effective intermediate when the additional information enable signal 156 is inactive. The program stream 151B.
[0060]
Therefore, the structure of the post-insertion program stream 151C is as shown in 151 of FIG. 2, and the structure of the PES of the post-insertion program stream 151C is as shown in 151-PES of FIG. The structure of the 151C PES slice is as shown in 151C-S in FIG.
[0061]
Next, the format of additional information inserted at the end of each slice will be described with reference to FIG.
[0062]
Referring to FIG. 10, the additional information 159 includes one or more sections. Each section includes a synchronization signal, a section type ID, a section size, additional information content, and an ECC (Error Check Code). The synchronization signal is a predetermined bit pattern, and the section type ID is what the section is about (for example, URL (Uniform Resource Locator), reference information that is referenced to control the content data playback device, and for controlling the streaming server) The section size indicates the size of the section, the additional information content is the information itself of the type specified by the section type ID, and the ECC. Is a code for error detection or error correction.
[0063]
The additional information 159 is divided into fragments having the same size as the free area at the end of each slice and inserted into the free area. FIG. 10 generally shows an example in which the beginning of the section is not synchronized with the beginning of the fragment, but the fragment may be configured to be synchronized.
[0064]
The additional information insertion device 101A may be realized by a CPU that performs a program operation, a main memory of a computer, and an external storage device.
[0065]
[2] Additional information extraction device
FIG. 11 is a block diagram showing the configuration of the additional information extraction apparatus 201A according to Embodiment 1 of the present invention. Referring to FIG. 11, additional information extraction apparatus 201A extracts additional information 159 from inserted program stream 151C and outputs additional information 159. Note that the additional information extracting device may include a part for decoding / reproducing moving images and audio. Further, the additional information extraction device 201B may generate and output the external output signal 263 based on the extracted additional information 159. Further, when generating the external output signal 263, the additional information extraction device 201B may use not only the additional information 159 but also the external input signal 262.
[0066]
The additional information extraction device 201A includes a video PES detection unit 211, a slice detection unit 212, an additional information extraction unit 213, an additional information buffer 214, an additional information completion determination unit 215, and an action unit 216.
[0067]
Next, the configuration and operation of each unit of the additional information extraction device 201A will be described.
[0068]
The video PES detection unit 211 has the same configuration as that of the video PES detection unit 111, receives the post-insertion program stream 151C, detects the video PES in the post-insertion program stream 151C, and detects the post-insertion program stream 151C and the post-insertion program stream 151C. A video PES enable signal 252 as shown in FIG. 2 indicating whether each byte of the program stream 151C belongs to the video PES is output.
[0069]
The slice detection unit 212 has the same configuration as that of the slice detection unit 112, receives the post-insertion program stream 151C and the video PES enable signal 252 output from the video PES detection unit 211, receives the video start code in the video PES, The slice is detected, the inserted program stream 151C, the video start code detection signal 253 as shown in FIG. 2 showing which byte of the inserted program stream is the video start code, and each byte of the inserted program stream is sliced. A slice enable signal 254 as shown in FIG.
[0070]
Referring to FIG. 12, the additional information extraction unit 213 includes a variable length decoder 221 and an RS flip-flop 223. The variable length decoder 221 includes an image code end detection unit 222. The additional information extraction unit 213 receives the inserted program stream 151C, the video start code detection signal 253, and the slice enable signal 254, and includes the same inserted program stream 151C and inserted program stream 151C as the input inserted program stream 151C. 2 shows that there is additional information inserted in the empty area generated by the front end of the decoded signal 242 obtained by decoding the image code and the variable length code after reduction within each slice. An information enable signal 256 is output. The variable length decoder 221 receives the inserted program stream 151C, the video start code detection signal 253, and the slice enable signal 254, decodes the variable length code in front of the slice, and the variable length code portion in front of the slice In a portion where the image code enable signal 155 shown in FIG. 2 is active, a decoded image signal 242 is output. Also, the image code end detection unit 222 included in the variable length decoder 221 detects the end of the image code in the slice and outputs the detection signal as an image code end detection signal 271. The RS flip-flop 223 receives the video start code detection signal 253 as a reset signal, receives the image code end detection signal 271 as a set signal, and sets a signal reset or set by these signals as to whether or not there is an additional information area. The additional information enable signal 256 shown is output. FIG. 13 shows a time relationship among the video start code detection signal 253, the slice enable signal 254, the image code end detection signal 271, and the additional information enable signal 256. As is apparent from FIG. 13, the additional information enable signal 256 is active from the end of the image coding portion to the end of the slice in each slice. Further, the additional information enable signal 256 always remains inactive in a portion that is not a slice. Therefore, the additional information enable signal 256 is active only at the end of each slice that includes additional information.
[0071]
Returning to FIG. 11, the additional information buffer 214 receives the inserted program stream 151C and the additional information enable signal 256, selects only the additional information in the inserted program stream 151C, and temporarily stores it in the built-in memory. The additional information buffer 214 temporarily stores each section at successive addresses in the built-in memory. In this way, the sections of the additional information are connected to each other by the built-in memory. Further, the additional information buffer 214 may write the temporarily stored additional information 159 into the additional information file 132.
[0072]
The additional information completion determination unit 215 temporarily stores in the additional information buffer 214 whether or not all bytes of each section have been temporarily stored in the additional information buffer 214 and the section size described in the header portion of the section. Judgment is made by comparing the size of the additional information. Alternatively, when the additional information is image information, the additional information completion determination unit 215 checks whether or not the image information has been prepared for all the areas in the image, and thereby stores all the information in each section in the additional information buffer 214. It may be determined whether the byte is temporarily stored. Further, the additional information completion determination unit 215 may determine whether or not the additional information of all sections is temporarily stored in the additional information buffer 214. As described above, there are various methods for determining whether or not the additional information is completed and the range of the determination target, and the method is appropriately switched according to the application method of the additional information extraction device.
[0073]
The action unit 216 performs some action based on the additional information 159 input from the additional information buffer 214 or the additional information file 132, and outputs the result as an external output signal 263. Further, the action unit 216 may be based on the external input signal 262 as well as the additional information 159 when performing an action.
[0074]
Next, an example of actions performed by the action unit 216 will be described.
[0075]
(1) Cooperation with the Internet
A URL is described in each section. URL (Uniform Rosource Locator) is defined in RFC1738. For example, the URL of a predetermined homepage published by an http and WWW (World Wide Web) server is described as the URL. The action unit 216 sequentially extracts URLs from each section of the additional information, outputs the extracted URLs as external output signals 263 to a television or computer connected to the Internet, and displays them on the television screen or computer screen. When the user clicks on the URL as necessary, the television or computer starts a WWW browser and accesses the home page by the started browser. For example, a mailto and a mail address are described as URL. The action unit 216 sequentially extracts URLs from each section of the additional information, outputs the extracted URLs as external output signals 263 to a television or computer connected to the Internet, and displays them on the television screen or computer screen. When the user clicks the URL as necessary, the television or computer activates the mailer. The user sends an e-mail using this mailer.
[0076]
(2) Image display
For example, one still image or short moving image is prepared, the frame of the image is divided into a plurality of blocks, and the image code of each block is described in each section. The additional information completion determination unit 215 activates the additional information completion signal 261 only when the image codes of all the blocks are complete. The action unit 216 inputs additional information from the additional information buffer 214 or the additional information file 132 for the first time when the additional information completion signal 261 becomes active, decodes the image code in the input additional information, and decodes one image. And the image signal is output as an external output signal 263 to a television or a computer. By doing so, the present guidance screen can be displayed only when the user views one program or one content without skipping from the beginning to the end.
[0077]
(3) Special playback
The additional information is divided into a number of fine sections, and the content of each cut of content is described in each section. Each section is synchronized with each cut of content. This is possible by dividing the content into a plurality of sequences and inserting additional information of each section for each sequence. The content is, for example, the name of a performer for each cut of the content (actor or actress for movies, sports player for sports). On the other hand, the action unit 216 inputs the name of a performer who desires slow playback or freeze playback as an external input signal 262 from the user. The action unit 216 inputs the name of the performer as additional information 159 from the additional information buffer 214 for each cut, and the name of the performer input as the external input signal 262 matches the name of the performer input as additional information. A special playback instruction signal is output as an external output signal 263 to a content data playback device such as a DVD player so that the cut is played back slowly or freeze. In addition, when a playback device (streaming client) including the additional information extraction device 201A performs streaming for downloading the inserted program stream 151C from a streaming server via a network such as the Internet, the external input signal 262 is used. The special reproduction instruction signal is output as an external output signal 263 to the streaming server via the network so that the cut in which the name of the performer input as the additional information and the name of the performer input as the additional information coincide with each other is slow-played or freeze-played. .
[0078]
(4) Related information
As in (3), the additional information is divided into a large number of fine sections, and information related to each cut of content is described in each section. Also, each section is synchronized with the content cut. The information related to the content is set to a small-capacity image, sound, etc. related to each cut, and such related information is output from the sub-screen or the sub-audio output series for each cut.
[0079]
The additional information extraction device 201A may be realized by a CPU that performs a program operation, a main memory of a computer, and an external storage device.
[0080]
According to the first embodiment, even if the additional information is inserted, there is no case where the synchronization between the video data and the audio data is shifted beyond the allowable range of lip synchronization.
[0081]
[Embodiment 2]
As shown in FIG. 2, in the first embodiment, without changing the size of the slice, the reduced image code is packed at the head of each slice, and additional information is added to the free space generated at the end of each slice. Inserted. On the other hand, in the second embodiment, as shown in FIG. 14, the image code of each slice is reduced, and the size of the slice is also reduced so that an empty area does not occur in the slice. Then, a new user data area is provided in an empty area in the video stream generated by reducing the slice size, and additional information is inserted into the new user data area.
[0082]
As described in the second conventional method, the start code prefix and the start code that takes the value of the user data start code (B2H) must be added to the beginning of the user data area. Therefore, the additional information buffer 117 is configured as shown in FIG. D-type flip-flops 252, 253, 254 and 255 and AND gates 256, 257, 258 and 259 generate output enable (OE) control signals for registers 261, 262, 263, 264 and 265. The output enable control signal of the register 265 is also used as a read enable (REN) signal of the FIFO 251. When the additional information read signal 171 changes from inactive (LOW) to active (HIGH), the data 00H, 00H, 01H, B2H stored in the registers 261, 262, 263, and 264 are output from the additional information buffer 117. Are sequentially output, and subsequently, a byte string of additional information temporarily stored in the FIFO 251 is output. The byte strings 00H, 00H, and 01H indicate start code prefixes.
[0083]
In the second embodiment, the calculation formula for the measurement insertion ratio is
Measurement insertion ratio = (T2−n × ΔT) / (T1 + T2)
However,
n is the number of inserted user data areas, ΔT is the time per header of the user data area
And
[0084]
Since the post-insertion program stream 151C output by the additional information inserting device of the second embodiment does not have a special format, it can be decoded by a conventional MPEG decoder to extract additional information.
[0085]
[Embodiment 3]
In the second embodiment, when the new user data area for inserting additional information is small, the start code prefix and the start code are heavy overhead. Therefore, in the third embodiment, in order to solve this problem, as shown in FIG. 16, the shortened slices are packed, a plurality of free areas that do not belong to the slice are connected, and the connected free areas are added as additional information. It may be a user data area for inserting. In the example of FIG. 16, three slices are packed and three free areas are connected. That is, slice 1, user data 2, slice 2, and slice 3 are packed, and a user data area in which additional information 1 is inserted between slice 3 and slice 4 is inserted, and slice 4, slice 5, slice 6, and user data are inserted. 3 is inserted, and a user data area in which additional information 2 is inserted between the user data 3 and the slice 7 is inserted.
[0086]
The configuration of the additional information insertion device 101B according to Embodiment 3 is shown in FIG. As apparent from comparing FIG. 17 with the additional information insertion device 101A (FIG. 1) according to the first embodiment, the additional information insertion device 101B has the same basic configuration as the additional information insertion device 101A. However, as compared with the additional information insertion device 101A, in the additional information insertion device 101B, the video PES enable signal 152 is transmitted from the video PES detection unit 111 to the additional information insertion unit 114 via the slice detection unit 112 and the free space generation unit 113. The slice start code detection signal 172 is input from the slice detection unit 112 to the additional information insertion unit 114 via the empty area generation unit 113. Accordingly, the free space generation unit 113 is changed from that shown in FIG. 3 to that shown in FIG. Further, the additional information buffer 117 of the additional information insertion device 101B is the same as that of the second embodiment shown in FIG. Further, the additional information insertion unit 114 has a configuration as shown in FIG.
[0087]
Referring to FIG. 18, the free space generation unit 113 of the additional information insertion device 101 </ b> B has a FIFO 126 added compared to the free space generation unit 113 (FIG. 3) of the additional information insertion device 101 </ b> A. The FIFO 126 is input from the slice detection unit 112 so that the video PES enable signal 152 and the slice start code detection signal 172 output to the additional information insertion unit 114 are synchronized with the intermediate program stream output to the additional information insertion unit 114. The video PES enable signal 152 and the slice start code detection signal 172 are delayed.
[0088]
Referring to FIG. 19, the additional information insertion unit 114 of the additional information insertion device 101B includes an AND gate 181, a slice counter 182, a rising edge detection circuit 183, an additional information up counter 184, a latch 185, a video PES main information FIFO 186, a comparator. 187, rising edge detection circuit 188, additional information down counter 189, rising edge detection circuit 190, RS flip-flop circuit 191, multiplexer 192, video PES main information / additional information FIFO 193, intermediate program stream FIFO 194, and multiplexer 195.
[0089]
As shown in FIG. 19, the logical product gate 181 takes a logical product of the video PES enable signal 152 and the inverted signal of the additional information enable signal, and outputs the logical product as a write enable (WEN) signal of the video PES main information FIFO 186. To do. Therefore, the video PES main information FIFO 186 is not written with the data of the PES other than the video PES and the data of the free space at the end of the slice before the size reduction, and the data of the portion other than the free space of the video PES. Written. Accordingly, in the video PES main information FIFO 186, all of the valid image code at the head of the slice and the data other than the slice (such as the user data area) in the video PES data are written.
[0090]
The slice counter 182 is a counter of N remainders. That is, the slice counter 182 counts the slices and outputs a remainder value obtained by dividing the slice count value by N. In the example of FIG. 19, the value of N is 3, and the value of the output Q of the slice counter 182 is cyclically updated to a value of 0 to 2 each time a slice is detected. That is, the value Q of the slice counter 182 repeats a sequence of values from 0 to 2. Further, the slice counter 182 outputs a carry-out (CO) signal that becomes active when the value of the output Q of the slice counter 182 is N-1. When the value of N is 3, the carry-out signal is active when the value of N is 2.
[0091]
The rising edge detection circuit 183 outputs a signal that becomes active when the carry-out signal from the slice counter 182 changes from inactive to active, and this signal is the reset (RST) signal of the additional information up counter 184 and the latch 185. Used as a gate signal.
[0092]
The additional information up counter 184 is a counter that counts the total number of free areas belonging to N slices.
[0093]
The latch 185 latches the total number of bytes in the free area belonging to the N slices counted by the additional information up counter 184. FIG. 20 shows a case where the value of N is 3, the number of bytes of the free area belonging to slice 1 is C1, the number of bytes of the free area belonging to slice 2 is C2, and the number of bytes of the free area belonging to slice 3 is C3. The value of the output Q of the latch 185 is C1 + C2 + C3 from the start of slice 4. In this example, the value of C1 + C2 + C3 is the size represented by the number of bytes of the user data area to be newly inserted.
[0094]
In the video PES main information FIFO 186, as described above, all of the valid image code at the head of the slice and the data other than the slice (such as the user data area) in the video PES data are written. Further, the count value of the slice counter 182 and the value latched by the latch 185 are written into the video PES main information FIFO 186 for each clock.
[0095]
Data written in the video PES main information FIFO 186 is intermittently read in accordance with a read enable (REN) signal. This read enable signal is an output Q of the RS flip-flop 191 and becomes inactive at a timing at which a data area including additional information is to be inserted, and becomes active at other timings. This read enable signal is based on the count value of the slice counter 182 read from the video PES main information FIFO 186 and the value latched by the latch 185, the comparator 187, the rise detection circuit 188, the additional information down counter 189, The rise detection circuit 190 and the RS flip-flop 191 generate.
[0096]
FIG. 21 shows the timing of reading data from the video PES main information FIFO 186, the waveform of the output signal of the rise detection circuit 188, the waveform of the output signal of the rise detection circuit 190, and the output data of the multiplexer 191. The output of the rise detection circuit 188 is generated by the comparator 187 and the rise detection circuit 188 based on the count value of the slice counter 182 read from the video PES main information FIFO 186. Specifically, the output of the rising edge detection circuit 188 indicates that the count value of the slice counter 182 read from the video PES main information FIFO 186 is N-1 (N-1 = 3-1 = 2 in the example of FIG. 20). Becomes active for one clock. The output of the rise detection circuit 190 is generated by the additional information down counter 189 and the rise detection circuit 190 based on the value latched by the latch 185 read from the video PES main information FIFO 186. Specifically, the additional information down counter 189 is loaded with the value latched by the latch 185 (in the example of FIG. 20, C1 + C2 + C3 or C4 + C5 + C6) when the signal output from the rise detection circuit 188 becomes active. Then, the additional information down counter 189 starts counting down. When the count value Q becomes 0, the additional information down counter 189 sets the signal (Q = 0) to active (HIGH) and stops counting. The output of the rising edge detection circuit 190 becomes active for one clock when the signal (Q = 0) changes from inactive to active. The output Q of the RS flip-flop 191 is reset by the output pulse of the rise detection circuit 188 and is set by the output pulse of the rise detection circuit 190. This output Q is used as a read enable (REN) signal for the video PES main information buffer and a control signal for the multiplexer 192. Further, the complementary signal / Q of the output Q is used as the additional information read signal 171.
[0097]
Therefore, the multiplexer 192 outputs data in which additional information is inserted into slices and user data as shown in FIG. Note that a start code that takes the value of the start code prefix and the user data start code (B2H) is attached to the head of the additional information output from the multiplexer 192 by the circuit shown in FIG. Additional information constitutes a user data area. The output of the multiplexer 192 is written in the video PES main information / additional information FIFO 193.
[0098]
The intermediate program stream FIFO 194 outputs the intermediate program stream 151B and the video PES enable signal 152 with a predetermined delay. Since the video PES enable signal 152 read from the intermediate program stream FIFO 194 is used as a read enable (REN) signal of the video PES main information / additional information FIFO 193 and a control signal of the multiplexer 195, as shown in FIG. From 195, the video PES read from the video PES main information / additional information FIFO 193 is output in the period of the video PES, and in the period of the PES other than the video PES (for example, user data PES and audio PES), the intermediate program is output. A PES other than the video PES read from the stream FIFO 194 is output.
[0099]
Note that the circuit of the additional information insertion unit 114 shown in FIG. 19 is merely a configuration example of the additional information insertion unit 114, and it is needless to say that other configurations may be adopted. Further, in the circuit of the additional information insertion unit 114 shown in FIG. 19, a delay adjustment circuit of several clocks is omitted.
[0100]
In the third embodiment, as in the second embodiment, the calculation formula for the measurement insertion ratio is
Measurement insertion ratio = (T2−n × ΔT) / (T1 + T2)
However,
n is the number of inserted user data areas, ΔT is the time per header of the user data area
And
[0101]
Further, since the post-insertion program stream 151C output by the additional information insertion device of the third embodiment does not have a special format, it can be decoded by a conventional MPEG decoder to extract additional information.
[0102]
Further, the additional information insertion device 101B may be realized by a CPU that performs a program operation, a main memory of the computer, and an external storage device, including the additional information insertion unit 114.
[0103]
[Embodiment 4]
In the first embodiment, as illustrated in FIG. 2, the size of the slice is not changed, and the reduced image code is put in the leading portion of each slice and the additional information is added to the free space generated at the end of each slice. Inserted. On the other hand, in the fourth embodiment, as shown in FIG. 23, the image code of each slice is reduced, and the size of the slice is also reduced so that an empty area does not occur in the slice. Then, by reducing the size of the slice, new user data data PES is provided in an empty area generated in each video PES, and additional information is inserted into the new user data PES. That is, user data PES having additional information is added to the end of each video PES whose size has been reduced.
[0104]
FIG. 24 shows the configuration of the additional information insertion device 101C according to the fourth embodiment. As apparent from comparing FIG. 24 with the additional information insertion device 101A (FIG. 1) according to the first embodiment, the additional information insertion device 101C has the same basic configuration as the additional information insertion device 101A. However, compared with the additional information insertion device 101A, in the additional information insertion device 101B, the video PES enable signal 152 and the video PES start code detection signal 173 are transmitted from the video PES detection unit 111 to the slice detection unit 112 and the free space generation unit 113. And the video PES enable signal 152 and the slice start code detection signal 172 are input from the slice detection unit 112 to the additional information insertion unit 114 via the empty area generation unit 113. The free space generation unit 113 is changed from that shown in FIG. 3 to that shown in FIG. Further, the additional information buffer 117 has a configuration as shown in FIG. 25, and the additional information insertion unit 114 has a configuration as shown in FIG.
[0105]
Since the start code that takes the start code prefix and the value of the user data PES (BDH, BFH, etc.) must be added to the head of the user data PES, in the fourth embodiment, the additional information buffer 117 is provided for this purpose in FIG. The configuration shown in is taken. The additional information buffer 117 shown in FIG. 25 has the same configuration as that of the second embodiment shown in FIG. 15, but the value held by the register 264 is B2H in the second embodiment, whereas BDH in the fourth embodiment. , BFH and the like.
[0106]
The additional information insertion unit 114 of the fourth embodiment shown in FIG. 26 is similar to the additional information insertion unit 114 of the third embodiment shown in FIG. Compared with the additional information insertion unit 114 of the third embodiment shown in FIG. 19, the additional information insertion unit 114 of the fourth embodiment shown in FIG. 26 is structurally different as follows. The slice counter 182, the rising edge detection circuit 183, and the comparator 187 are deleted. The video PES main information FIFO 186 has been renamed to video PES FIFO 386, and the video PES main information / additional information FIFO 193 has been renamed to video PES / user PES FIFO 393. The reset signal of the additional information up counter 184 and the gate signal of the latch 185 are changed to the video PES start code detection signal 173. The signal stored in the video PESFIFO 386 as the second data (DIN2 and DOUT2) has been changed to a video PES start code detection signal. The load signal of the additional information down counter 189 and the reset signal of the RS flip-flop are changed to a video PES start code detection signal read from the video PESFIFO 386.
[0107]
The operation of the additional information insertion unit 114 of the fourth embodiment shown in FIG. 26 is similar to the operation of the additional information insertion unit 114 of the third embodiment shown in FIG. Briefly, in each video PES, when the video PES data from which the empty area has been deleted is continuously read out from the video PESFIFO 386, the data of the user data PES is subsequently input as the additional information 159, and these are added to the multiplexer 192. Is multiplexed. Accordingly, the output of the multiplexer 192 is data obtained by multiplexing the video PES after the code reduction and the user data PES. This is multiplexed with another PES by the multiplexer 195, and the inserted program stream 151 C is output from the additional information inserting unit 114.
[0108]
Note that the circuit of the additional information insertion unit 114 shown in FIG. 26 is merely a configuration example of the additional information insertion unit 114, and it is needless to say that other configurations may be adopted. Further, in the circuit of the additional information insertion unit 114 shown in FIG. 26, a delay adjustment circuit of several clocks is omitted.
[0109]
In the fourth embodiment, the calculation formula for the measurement insertion ratio is
Measurement insertion ratio = (T2−n × ΔT) / (T1 + T2)
However,
n is the number of inserted user data PES, ΔT is the time per header of the user data PES
And
[0110]
Further, since the post-insertion program stream 151C output by the additional information inserting device of the fourth embodiment does not have a special format, it can be decoded by a conventional MPEG decoder to extract additional information.
[0111]
Further, the additional information insertion device 101C may be realized by a CPU that performs a program operation, a main memory of a computer, and an external storage device, including the additional information insertion unit 114.
[0112]
[Embodiment 5]
In the fourth embodiment, when new user data PES for inserting additional information is small, the start code prefix and the start code are heavy overhead. Therefore, in the fifth embodiment, in order to solve this problem, as shown in FIG. 27, a shortened video PES is packed, and a plurality of resulting free areas are connected, and a connected free area is added. User data PES for inserting information may be used. In the example of FIG. 27, three video PESs are packed and three free areas are connected. That is, the video PES 1 ′, the video PES 2 ′, and the video PES 3 ′ are packed together, and user data PES including additional information is inserted between the video PES 3 ′ and the video PES 4 ′.
[0113]
The basic configuration of the additional information insertion device 101C according to the fifth embodiment is the same as that of the fourth embodiment shown in FIG.
[0114]
The configuration of the additional information buffer 117 according to the fifth embodiment is the same as that of the fourth embodiment shown in FIG.
[0115]
The additional information insertion unit 114 of the fifth embodiment illustrated in FIG. 28 is similar to the additional information insertion unit 114 of the third embodiment illustrated in FIG. Compared with the additional information insertion unit 114 of the third embodiment shown in FIG. 19, the additional information insertion unit 114 of the fifth embodiment shown in FIG. 28 is structurally different as follows. The slice counter 182 is renamed to the video PES counter 382, the video PES main information FIFO 186 is renamed to the video PES FIFO 386, and the video PES main information / additional information FIFO 193 is renamed to the video PES / user PES FIFO 393. The enable signal of the video PES counter 382 is changed to the video PES start code detection signal 173.
[0116]
The operation of the additional information insertion unit 114 of the fifth embodiment shown in FIG. 28 is similar to the operation of the additional information insertion unit 114 of the third embodiment shown in FIG. Briefly, for N video PESs, when the data from which the free space has been deleted is continuously read out from the video PESFIFO 386, the data of the user data PES is subsequently input as additional information 159, which is input by the multiplexer 192. Multiplexed. Accordingly, the output of the multiplexer 192 is data obtained by multiplexing the video PES after the code reduction and the user data PES. This is multiplexed with another PES by the multiplexer 195, and the inserted program stream 151 C is output from the additional information inserting unit 114.
[0117]
Note that the circuit of the additional information insertion unit 114 shown in FIG. 28 is merely a configuration example of the additional information insertion unit 114, and it is needless to say that other configurations may be adopted. In the circuit of the additional information insertion unit 114 shown in FIG. 28, a delay adjustment circuit of several clocks is omitted.
[0118]
In the fifth embodiment, as in the fourth embodiment, the calculation formula for the measurement insertion ratio is
Measurement insertion ratio = (T2−n × ΔT) / (T1 + T2)
However,
n is the number of inserted user data PES, ΔT is the time per header of the user data PES
And
[0119]
Further, since the post-insertion program stream 151C output from the additional information insertion device of the fifth embodiment does not have a special format, it can be decoded by a conventional MPEG decoder to extract additional information.
[0120]
Further, the additional information insertion device 101C may be realized by a CPU that performs a program operation, a main memory of a computer, and an external storage device, including the additional information insertion unit 114.
[0121]
In any of the above embodiments, a program stream is handled as an MPEG signal. However, it goes without saying that the present invention can also be applied to a transport stream.
[0122]
【The invention's effect】
As described above, according to the present invention, additional information can be inserted into the content data without increasing the size of the content data, so that the capacity of the digital storage medium for storing the content data is not compressed, The transmission capacity of the transmission path for transmitting content data is not compressed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an additional information insertion device according to Embodiment 1 of the present invention.
FIG. 2 is a timing diagram showing main signals and data generated by the additional information insertion device according to Embodiment 1 of the present invention.
FIG. 3 is a block diagram showing a configuration of an empty area generation unit of the additional information insertion device according to Embodiment 1 of the present invention.
FIG. 4 is a diagram for explaining a code amount reduction method performed by a DCT coefficient changing unit of the additional information insertion device according to the first embodiment of the present invention;
FIG. 5 is a diagram illustrating an example of a zigzag scan used when two-dimensional variable length coding of DCT coefficients is performed.
6 is a diagram comparing a DCT coefficient before the DCT coefficient changing unit of the additional information insertion apparatus according to Embodiment 1 of the present invention performs a code amount reduction method on the DCT coefficient and a DCT coefficient after the DCT coefficient is performed. FIG.
FIG. 7 is a first chart showing a code length of a two-dimensional variable length code according to the MPEG standard.
FIG. 8 is a second chart showing the code length of a two-dimensional variable length code according to the MPEG standard.
FIG. 9 is a block diagram illustrating a configuration of an additional information insertion unit of the additional information insertion device according to the first embodiment of the present invention.
FIG. 10 is a diagram illustrating a format example of additional information inserted by content data by the additional information insertion device according to the first embodiment of the present invention.
FIG. 11 is a block diagram showing a configuration of an additional information extracting apparatus according to Embodiment 1 of the present invention.
FIG. 12 is a block diagram illustrating a configuration of an additional information extraction unit of the additional information extraction device according to the first embodiment of the present invention.
FIG. 13 is a timing diagram showing waveforms of signals input and output by the additional information extracting unit of the additional information extracting device according to the first embodiment of the present invention.
FIG. 14 is a diagram showing a format of a post-insertion program stream generated by an additional information insertion device according to Embodiment 2 of the present invention.
FIG. 15 is a circuit diagram showing a configuration of an additional information buffer of the additional information insertion device according to the second embodiment of the present invention;
FIG. 16 is a diagram showing a format of a post-insertion program stream generated by an additional information insertion device according to Embodiment 3 of the present invention.
FIG. 17 is a block diagram showing a configuration of an additional information insertion device according to Embodiment 3 of the present invention.
FIG. 18 is a block diagram showing a configuration of a free area generation unit 113 of the additional information insertion device according to Embodiment 3 of the present invention.
FIG. 19 is a circuit diagram showing a configuration of an additional information insertion unit of the additional information insertion device according to the third embodiment of the present invention.
FIG. 20 is a first timing diagram for explaining an operation of an additional information insertion unit of the additional information insertion device according to the third embodiment of the present invention;
FIG. 21 is a second timing diagram for explaining the operation of the additional information insertion unit of the additional information insertion device according to Embodiment 3 of the present invention;
FIG. 22 is a third timing diagram for explaining the operation of the additional information insertion unit of the additional information insertion device according to the third embodiment of the present invention;
FIG. 23 is a diagram showing a format of a post-insertion program stream generated by an additional information insertion device according to Embodiment 4 of the present invention.
FIG. 24 is a block diagram showing a configuration of an additional information insertion device according to Embodiment 4 of the present invention.
FIG. 25 is a circuit diagram showing a configuration of an additional information buffer of the additional information insertion device according to the fourth embodiment of the present invention.
FIG. 26 is a circuit diagram illustrating a configuration of an additional information insertion unit of the additional information insertion device according to the fourth embodiment of the present invention.
FIG. 27 is a diagram illustrating a format of a post-insertion program stream generated by the additional information insertion device according to the fifth embodiment of the present invention.
FIG. 28 is a circuit diagram illustrating a configuration of an additional information insertion unit of the additional information insertion device according to the fifth embodiment of the present invention.
FIG. 29 is a diagram showing a format of a program stream according to the MPEG standard.
FIG. 30 is a diagram illustrating a format of a user data area in a video stream according to the MPEG standard.
[Explanation of symbols]
101A, 101B, 101C Additional information insertion device
111 Video PES detector
112 Slice detector
113 Free space generation unit
114 Additional information insertion part
115 Insertion ratio calculator
116 Code amount control unit
117 Additional information buffer
201A Additional information extraction device
211 Video PES detector
212 Slice detector
213 Additional information extraction unit
214 Additional information buffer
215 Additional information completion determination unit
216 Action part

Claims (45)

画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置において、
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、
前記空き領域に前記付加情報を挿入する付加情報挿入手段と、
を備え、
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域に属する前記空き領域を生成し、
前記付加情報挿入手段は、各スライス領域に属する前記空き領域毎に前記付加情報を挿入することを特徴とする付加情報挿入装置。 In an additional information insertion device for inserting additional information into content data including an image code,
Empty area generation means for generating an empty area by reducing the first bit number of the image code in the content data to a second bit number smaller than the first bit number;
Additional information insertion means for inserting the additional information into the empty area;
Equipped with a,
The empty area generating means is an area obtained by dividing a moving image space represented by the image code, and includes a plurality of encoded blocks of the moving image represented by the image code. Generating the free space belonging to the region,
The additional information insertion device, wherein the additional information insertion means inserts the additional information for each empty area belonging to each slice area. 請求項１に記載の付加情報挿入装置において、
前記付加情報挿入手段は、
各スライス領域を検出する手段と、
各スライス領域に含まれる前記画像符号が占める領域を検出する手段と、
各スライス領域のうちの前記画像符号が占める領域以外の領域を前記空き領域として検出する手段と、
を備えることを特徴とする付加情報挿入装置。The additional information insertion device according to claim 1 ,
The additional information inserting means includes
Means for detecting each slice region ;
Means for detecting an area occupied by the image code included in each slice area ;
Means for detecting an area other than the area occupied by the image code in each slice area as the empty area;
An additional information insertion device comprising: 請求項１に記載の付加情報挿入装置において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報挿入装置。The additional information insertion device according to claim 1 ,
The additional information insertion device, wherein the content data is MPEG (Motion Picture Experts Group) data, and the slice area is a slice area defined by the MPEG standard. 画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置において、In an additional information insertion device for inserting additional information into content data including an image code,
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、  Empty area generation means for generating an empty area by reducing the first bit number of the image code in the content data to a second bit number smaller than the first bit number;
前記空き領域に前記付加情報を挿入する付加情報挿入手段と、  Additional information insertion means for inserting the additional information into the empty area;
を備え、  With
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域のサイズを減らすと共に該スライス領域に属しない前記空き領域を生成し、  The empty area generating means is an area obtained by dividing a moving image space represented by the image code, and includes a plurality of encoded blocks of the moving image represented by the image code. Reducing the size of the area and generating the free area that does not belong to the slice area;
前記付加情報挿入手段は、前記スライス領域に属しない前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入装置。  The additional information insertion device, wherein the additional information insertion means inserts the additional information into the empty area that does not belong to the slice area. 請求項４に記載の付加情報挿入装置において、
サイズが減らされた複数の前記スライス領域の相互間隔を詰めることにより、前記スライス領域に属しない前記空き領域を複数個繋げる手段を更に備え、
前記付加情報挿入手段は、複数個繋がった前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入装置。In the additional information insertion device according to claim 4 ,
Further comprising means for connecting a plurality of empty areas that do not belong to the slice area by reducing the interval between the plurality of slice areas reduced in size;
The additional information inserting device, wherein the additional information inserting means inserts the additional information into the empty areas connected in plural. 請求項４に記載の付加情報挿入装置において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義された１のスタートコードプレフィックスと前記ＭＰＥＧ規格で定義されたユーザデータスタートコードの組と次のスタートコードプレフィックスに挟まれたユーザデータ領域を構成することを特徴とする付加情報挿入装置。In the additional information insertion device according to claim 4 ,
The content data is MPEG (Motion Picture Experts Group) data, the slice region is a slice area defined by the MPEG standard, the free space not belonging to the slice area is defined in the previous SL MPEG standard An additional information insertion device comprising a user data area sandwiched between a set of one start code prefix, a set of user data start codes defined in the MPEG standard, and the next start code prefix. 請求項４に記載の付加情報挿入装置において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義されたＰＥＳ(Packetized Elementary Stream)を構成することを特徴とする付加情報挿入装置。In the additional information insertion device according to claim 4 ,
The content data is MPEG (Motion Picture Experts Group) data, the slice region is a slice area defined by the MPEG standard, the free space not belonging to the slice area is defined in the previous SL MPEG standard An additional information insertion device comprising a PES (Packetized Elementary Stream). 請求項１又は４に記載の付加情報挿入装置において、In the additional information insertion device according to claim 1 or 4,
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報挿入装置。The additional information insertion device, wherein the content data includes an audio code. 請求項１又は４に記載の付加情報挿入装置において、In the additional information insertion device according to claim 1 or 4,
前記空き領域生成手段は、前記画像符号により表される動画像の符号化ブロック毎に前記画像符号のビット数を削減することを特徴とする付加情報挿入装置。  The additional information insertion device, wherein the empty area generating means reduces the number of bits of the image code for each encoded block of a moving image represented by the image code. 請求項１乃至９のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、複数の前記空き領域に分散して挿入されることを特徴とする付加情報挿入装置。The additional information insertion device according to any one of claims 1 to 9 ,
The additional information insertion device, wherein the additional information is inserted in a distributed manner in the plurality of empty areas. 請求項１乃至９に記載の付加情報挿入装置において、
前記付加情報は、該付加情報の種類を示す情報、該付加情報のサイズを示す情報及び付加情報本体を含むことを特徴とする付加情報挿入装置。The additional information insertion device according to any one of claims 1 to 9 ,
The additional information insertion apparatus, wherein the additional information includes information indicating a type of the additional information, information indicating a size of the additional information, and an additional information body. 請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含むことを特徴とする付加情報挿入装置。The additional information insertion device according to any one of claims 1 to 11 ,
The additional information insertion device, wherein the additional information includes a URL (Uniform Resource Locator). 請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、コンテンツデータ再生装置を制御するために参照される参照情報を含むことを特徴とする付加情報挿入装置。The additional information insertion device according to any one of claims 1 to 11 ,
The additional information insertion device, wherein the additional information includes reference information referred to for controlling the content data reproducing device. 請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、ストリーミングサーバを制御するために参照される参照情報を含むことを特徴とする付加情報挿入装置。The additional information insertion device according to any one of claims 1 to 11 ,
The additional information insertion apparatus, wherein the additional information includes reference information referred to for controlling the streaming server. 請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、画像情報であることを特徴とする付加情報挿入装置。The additional information insertion device according to any one of claims 1 to 11 ,
The additional information insertion device, wherein the additional information is image information. 画像符号及び付加情報を含むコンテンツデータから前記付加情報を抽出する付加情報抽出装置において、
前記付加情報は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域に含まれ、
当該付加情報抽出装置は、
前記スライス領域を検出する手段と、
前記スライス領域に含まれる前記画像符号が占める領域を検出する手段と、
前記スライス領域に含まれるが前記画像符号が占める領域以外の領域である付加情報領域を検出する手段と、
前記付加情報領域に挿入されている前記付加情報を抽出する手段と、
を備えることを特徴とする付加情報抽出装置。In the additional information extracting device for extracting the additional information from the content data including the image code and the additional information,
The additional information is an area obtained by dividing a space of a moving image represented by the image code, and is included in a slice region that includes a plurality of encoded blocks of the moving image represented by the image code.
The additional information extraction device
Means for detecting the slice region ;
Means for detecting an area occupied by the image code included in the slice area ;
Means for detecting an additional information area that is included in the slice area but is an area other than the area occupied by the image code;
Means for extracting the additional information inserted in the additional information area;
An additional information extraction device comprising: 請求項１６に記載の付加情報抽出装置において、
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報抽出装置。The additional information extracting device according to claim 16 ,
The additional data extracting apparatus, wherein the content data includes an audio code. 請求項１６又は１７に記載の付加情報抽出装置において、
前記コンテンツデータはＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報抽出装置。The additional information extraction device according to claim 16 or 17 ,
The additional information extracting apparatus, wherein the content data is MPEG (Motion Picture Experts Group) data, and the slice area is a slice area defined by the MPEG standard. 請求項１６乃至１８のいずれか１項に記載の付加情報抽出装置において、
前記付加情報は、複数の前記付加情報領域に分散して挿入されており、
当該付加情報抽出装置は、
分散されて複数の前記付加情報領域に挿入されている付加情報を連結する連結手段を備えることを特徴とする付加情報抽出装置。The additional information extraction device according to any one of claims 16 to 18 ,
The additional information is distributed and inserted in a plurality of the additional information areas,
The additional information extraction device
An additional information extracting apparatus comprising a connecting means for connecting additional information distributed and inserted into the plurality of additional information areas. 請求項１６乃至１９のいずれか１項に記載の付加情報抽出装置を備える装置において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含み、
当該装置は、前記ＵＲＬにより示されるリソースにアクセスする手段を備えることを特徴とする装置。An apparatus comprising the additional information extraction device according to any one of claims 16 to 19 ,
The additional information includes a URL (Uniform Resource Locator),
The apparatus comprises means for accessing a resource indicated by the URL. 請求項１６乃至１９のいずれか１項に記載の付加情報抽出装置を備えるコンテンツデータ再生装置において、
前記付加情報は、当該コンテンツデータ再生装置を制御するために参照される参照情報を含み、
当該再生装置は、前記参照情報とユーザから入力された情報に応じて動作する手段を備えることを特徴とするコンテンツ再生装置。A content data reproducing device comprising the additional information extracting device according to any one of claims 16 to 19 ,
The additional information includes reference information that is referred to for controlling the content data playback device,
The reproduction apparatus includes a unit that operates according to the reference information and information input from a user. 請求項１６乃至１９のいずれか１項に記載の付加情報抽出装置を備えるストリーミングクライアントにおいて、
前記付加情報は、ストリーミングサーバを制御するための制御情報を生成するために参照される参照情報を含み、
当該ストリーミングクライアントは、前記参照情報とユーザから入力された情報に基づいて前記制御情報を生成する手段と、
前記制御情報を前記ストリーミングサーバに送信する手段と、
を備えることを特徴とするストリーミングクライアント。A streaming client comprising the additional information extraction device according to any one of claims 16 to 19 ,
The additional information includes reference information referred to for generating control information for controlling the streaming server,
The streaming client includes means for generating the control information based on the reference information and information input from a user;
Means for transmitting the control information to the streaming server;
A streaming client comprising: 画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入方法において、
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成ステップと、
前記空き領域に前記付加情報を挿入する付加情報挿入ステップと、
を備え、
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域に属する前記空き領域を生成し、
前記付加情報挿入手段は、各スライス領域に属する前記空き領域毎に前記付加情報を挿入することを特徴とする付加情報挿入方法。 In an additional information insertion method for inserting additional information into content data including an image code,
A free space generation step of generating a free space by reducing the first number of bits of the image code in the content data to a second number of bits smaller than the first number of bits;
An additional information insertion step of inserting the additional information into the empty area;
Equipped with a,
The empty area generating means is an area obtained by dividing a moving image space represented by the image code, and includes a plurality of encoded blocks of the moving image represented by the image code. Generating the free space belonging to the region,
The additional information inserting method, wherein the additional information inserting means inserts the additional information for each empty area belonging to each slice area. 請求項２３に記載の付加情報挿入方法において、
前記付加情報挿入手段は、
各スライス領域を検出するステップと、
各スライス領域に含まれる前記画像符号が占める領域を検出するステップと、
各スライス領域のうちの前記画像符号が占める領域以外の領域を前記空き領域として検出するステップと、
を備えることを特徴とする付加情報挿入方法。The additional information insertion method according to claim 23 ,
The additional information inserting means includes
Detecting each slice region ;
Detecting an area occupied by the image code included in each slice area ;
Detecting an area other than an area occupied by the image code in each slice area as the empty area;
A method for inserting additional information, comprising: 請求項２３に記載の付加情報挿入方法において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報挿入方法。The additional information insertion method according to claim 23 ,
The additional information insertion method, wherein the content data is MPEG (Motion Picture Experts Group) data, and the slice area is a slice area defined by the MPEG standard. 画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入方法において、In an additional information insertion method for inserting additional information into content data including an image code,
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、  Empty area generation means for generating an empty area by reducing the first bit number of the image code in the content data to a second bit number smaller than the first bit number;
前記空き領域に前記付加情報を挿入する付加情報挿入手段と、  Additional information insertion means for inserting the additional information into the empty area;
を備えることを特徴とする付加情報挿入方法。  A method for inserting additional information, comprising:
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域のサイズを減らすと共に該スライス領域に属しない前記空き領域を生成し、  The empty area generating means is an area obtained by dividing a moving image space represented by the image code, and includes a plurality of encoded blocks of the moving image represented by the image code. Reducing the size of the area and generating the free area that does not belong to the slice area;
前記付加情報挿入手段は、前記スライス領域に属しない前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入方法。  The additional information insertion method, wherein the additional information insertion means inserts the additional information into the empty area that does not belong to the slice area. 請求項２６に記載の付加情報挿入方法において、
サイズが減らされた複数の前記スライス領域の相互間隔を詰めることにより、前記スライス領域に属しない前記空き領域を複数個繋げる手段を更に備え、
前記付加情報挿入手段は、複数個繋がった前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入方法。The additional information insertion method according to claim 26 ,
Further comprising means for connecting a plurality of empty areas that do not belong to the slice area by reducing the interval between the plurality of slice areas reduced in size;
The additional information insertion method, wherein the additional information insertion means inserts the additional information into the vacant areas connected in plural. 請求項２６に記載の付加情報挿入方法において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義された１のスタートコードプレフィックスと前記ＭＰＥＧ規格で定義されたユーザデータスタートコードの組と次のスタートコードプレフィックスに挟まれたユーザデータ領域を構成することを特徴とする付加情報挿入方法。The additional information insertion method according to claim 26 ,
The content data is MPEG (Motion Picture Experts Group) data, the slice region is a slice area defined by the MPEG standard, the free space not belonging to the slice area is defined in the previous SL MPEG standard And a user data area sandwiched between a set of one start code prefix, a user data start code defined in the MPEG standard, and a next start code prefix. 請求項２６に記載の付加情報挿入方法において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義されたＰＥＳ(Packetized Elementary Stream)を構成することを特徴とする付加情報挿入方法。The additional information insertion method according to claim 26 ,
The content data is MPEG (Motion Picture Experts Group) data, the slice region is a slice area defined by the MPEG standard, the free space not belonging to the slice area is defined in the previous SL MPEG standard A method for inserting additional information, which comprises forming a PES (Packetized Elementary Stream). 請求項２３又は２６に記載の付加情報挿入方法において、The additional information insertion method according to claim 23 or 26,
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報挿入方法。The content information includes a voice code, and the additional information insertion method. 請求項２３又は２６に記載の付加情報挿入方法において、The additional information insertion method according to claim 23 or 26,
前記空き領域生成手段は、前記画像符号により表される動画像の符号化ブロック毎に前記画像符号のビット数を削減することを特徴とする付加情報挿入方法。  The method for inserting additional information, wherein the empty area generating means reduces the number of bits of the image code for each encoded block of a moving image represented by the image code. 請求項２３乃至３１のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、複数の前記空き領域に分散して挿入されることを特徴とする付加情報挿入方法。The additional information insertion method according to any one of claims 23 to 31 ,
The additional information insertion method, wherein the additional information is distributed and inserted into the plurality of empty areas. 請求項２３乃至３１に記載の付加情報挿入方法において、
前記付加情報は、該付加情報の種類を示す情報、該付加情報のサイズを示す情報及び付加情報本体を含むことを特徴とする付加情報挿入方法。The additional information insertion method according to any one of claims 23 to 31 ,
The additional information insertion method, wherein the additional information includes information indicating a type of the additional information, information indicating a size of the additional information, and an additional information body. 請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含むことを特徴とする付加情報挿入方法。The additional information insertion method according to any one of claims 23 to 33 ,
The additional information insertion method, wherein the additional information includes a URL (Uniform Resource Locator). 請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、コンテンツデータ再生方法を制御するために参照される参照情報を含むことを特徴とする付加情報挿入方法。The additional information insertion method according to any one of claims 23 to 33 ,
The additional information insertion method, wherein the additional information includes reference information referred to for controlling a content data reproduction method. 請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、ストリーミングサーバを制御するために参照される参照情報を含むことを特徴とする付加情報挿入方法。The additional information insertion method according to any one of claims 23 to 33 ,
The additional information insertion method, wherein the additional information includes reference information referred to for controlling the streaming server. 請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、画像情報であることを特徴とする付加情報挿入方法。The additional information insertion method according to any one of claims 23 to 33 ,
The additional information insertion method, wherein the additional information is image information. 画像符号及び付加情報を含むコンテンツデータから前記付加情報を抽出する付加情報抽出方法において、
前記付加情報は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域に含まれ、
当該付加情報抽出方法は、
前記スライス領域を検出するステップと、
前記スライス領域に含まれる前記画像符号が占める領域を検出するステップと、
前記スライス領域に含まれるが前記画像符号が占める領域以外の領域である付加情報領域を検出するステップと、
前記付加情報領域に挿入されている前記付加情報を抽出するステップと、
を備えることを特徴とする付加情報抽出方法。In the additional information extraction method for extracting the additional information from the content data including the image code and the additional information,
The additional information is an area obtained by dividing a space of a moving image represented by the image code, and is included in a slice region that includes a plurality of encoded blocks of the moving image represented by the image code.
The additional information extraction method is as follows:
Detecting the slice region ;
Detecting a region occupied by the image code included in the slice region ;
Detecting an additional information area that is included in the slice area but is an area other than an area occupied by the image code;
Extracting the additional information inserted in the additional information area;
An additional information extraction method comprising: 請求項３８に記載の付加情報抽出方法において、
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報抽出方法。The additional information extraction method according to claim 38 ,
The content data includes an audio code. 請求項３８又は３９に記載の付加情報抽出方法において、
前記コンテンツデータはＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報抽出方法。The additional information extraction method according to claim 38 or 39 ,
The additional information extracting method, wherein the content data is MPEG (Motion Picture Experts Group) data, and the slice area is a slice area defined by the MPEG standard. 請求項３８乃至４０のいずれか１項に記載の付加情報抽出方法において、
前記付加情報は、複数の前記付加情報領域に分散して挿入されており、
当該付加情報抽出方法は、
分散されて複数の前記付加情報領域に挿入されている付加情報を連結する連結手段を備えることを特徴とする付加情報抽出方法。41. The additional information extraction method according to any one of claims 38 to 40 , wherein:
The additional information is distributed and inserted in a plurality of the additional information areas,
The additional information extraction method is as follows:
A method for extracting additional information, comprising: connecting means for connecting additional information distributed and inserted into the plurality of additional information areas. 請求項３８乃至４１のいずれか１項に記載の付加情報抽出方法を備える方法において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含み、
当該方法は、前記ＵＲＬにより示されるリソースにアクセスするステップを備えることを特徴とする方法。A method comprising the additional information extraction method according to any one of claims 38 to 41 ,
The additional information includes a URL (Uniform Resource Locator),
The method, wherein further comprising the step of accessing the resource indicated by the URL. 請求項３８乃至４１のいずれか１項に記載の付加情報抽出方法を備えるコンテンツデータ再生方法において、
前記付加情報は、当該コンテンツデータ再生方法を制御するために参照される参照情報を含み、
当該再生方法は、前記参照情報とユーザから入力された情報に応じて動作するステップを備えることを特徴とするコンテンツ再生方法。A content data reproduction method comprising the additional information extraction method according to any one of claims 38 to 41 ,
The additional information includes reference information referred to for controlling the content data reproduction method,
The reproduction method, content playback method characterized by comprising the step of operating in accordance with information input from the reference information and the user. 請求項３８乃至４１のいずれか１項に記載の付加情報抽出方法を備えるストリーミングクライアント側ストリーミング方法において、
前記付加情報は、ストリーミングサーバを制御するための制御情報を生成するために参照される参照情報を含み、
当該ストリーミングクライアントは、前記参照情報とユーザから入力された情報に基づいて前記制御情報を生成する手段と、
前記制御情報を前記ストリーミングサーバに送信する手段と、
を備えることを特徴とするストリーミングクライアント側ストリーミング方法。A streaming client-side streaming method comprising the additional information extraction method according to any one of claims 38 to 41 .
The additional information includes reference information referred to for generating control information for controlling the streaming server,
The streaming client includes means for generating the control information based on the reference information and information input from a user;
Means for transmitting the control information to the streaming server;
A streaming client-side streaming method comprising: 請求項２３乃至４４の何れか１項に記載の方法をコンピュータに実行させるためのプログラム。45. A program for causing a computer to execute the method according to any one of claims 23 to 44.
JP2001316807A 2001-10-15 2001-10-15 Additional information insertion device, additional information extraction device, additional information insertion method, and additional information extraction method Expired - Fee Related JP3787836B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001316807A JP3787836B2 (en) 2001-10-15 2001-10-15 Additional information insertion device, additional information extraction device, additional information insertion method, and additional information extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001316807A JP3787836B2 (en) 2001-10-15 2001-10-15 Additional information insertion device, additional information extraction device, additional information insertion method, and additional information extraction method

Publications (2)

Publication Number Publication Date
JP2003125362A JP2003125362A (en) 2003-04-25
JP3787836B2 true JP3787836B2 (en) 2006-06-21

Family

ID=19134761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001316807A Expired - Fee Related JP3787836B2 (en) 2001-10-15 2001-10-15 Additional information insertion device, additional information extraction device, additional information insertion method, and additional information extraction method

Country Status (1)

Country Link
JP (1) JP3787836B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230375B2 (en) * 2008-11-26 2013-07-10 三星電子株式会社 Image coding apparatus and image coding method

Also Published As

Publication number Publication date
JP2003125362A (en) 2003-04-25

Similar Documents

Publication Publication Date Title
US6823131B2 (en) Method and device for decoding a digital video stream in a digital video system using dummy header insertion
EP1137005B1 (en) Error correction of digitally transmitted signals
TWI327028B (en) Systems and methods for stream format conversion
US20030035648A1 (en) Navigation for MPEG streams
KR101204513B1 (en) Digital multimedia reproduction apparatus and method for providing digital multimedia broadcasting thereof
CN101427579A (en) Time-shifted presentation of media streams
US7558296B2 (en) Multiplexer and demultiplexer
JP2003179880A (en) System for detecting start code in mpeg video stream and method of operating the same
WO2006054590A1 (en) Data processing apparatus
EP2012322A1 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
KR101014664B1 (en) Reproduction method for guaranteeing seamless reproduction of a plurality of data streams and reproducing apparatus therefor
US6801536B1 (en) Remultiplexing audio/video PES streams from an MPEG transport system
JP2008263502A (en) Recording and reproducing device and recording and reproduction system
JP6964436B2 (en) Video recording device and video playback device
JP3787836B2 (en) Additional information insertion device, additional information extraction device, additional information insertion method, and additional information extraction method
JP3531434B2 (en) Recording and playback system
CN1288906C (en) Method of replaying digital broadcast program at low speed
KR0181082B1 (en) Pts coder of mpeg system
JP2011244476A (en) Playback apparatus, playback method, and system integrated circuit
CN101207777B (en) Image reproducing device and its special reproducing method
JP6991185B2 (en) Video playback device and video recording device
Boucher et al. Design and Performance of a Multi-Stream MPEG-I System Layer Encoder/Player
KR100327213B1 (en) Apparatus and method of digital recording and playback and data format having extra information for fast search
JP5120322B2 (en) Data signal recording apparatus and data signal reproducing apparatus
EP1148729A1 (en) Method and device for decoding a digital video stream in a digital video system using dummy header insertion

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060319

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140407

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees