JP3315413B2 - データ・ハイディング方法及びデータ抽出方法 - Google Patents

データ・ハイディング方法及びデータ抽出方法

Info

Publication number
JP3315413B2
JP3315413B2 JP51816098A JP51816098A JP3315413B2 JP 3315413 B2 JP3315413 B2 JP 3315413B2 JP 51816098 A JP51816098 A JP 51816098A JP 51816098 A JP51816098 A JP 51816098A JP 3315413 B2 JP3315413 B2 JP 3315413B2
Authority
JP
Japan
Prior art keywords
prediction
embedding
frame
data
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP51816098A
Other languages
English (en)
Inventor
典繁 森本
潤治 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IBM Japan Ltd
Original Assignee
IBM Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IBM Japan Ltd filed Critical IBM Japan Ltd
Application granted granted Critical
Publication of JP3315413B2 publication Critical patent/JP3315413B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Pigments, Carbon Blacks, Or Wood Stains (AREA)
  • Credit Cards Or The Like (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Storage Device Security (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

【発明の詳細な説明】 ［技術分野］ 本発明は、メディア・データ中にメッセージ・データ
を隠し込むデータ・ハイディング方法及び隠し込まれた
データを抽出するデータ抽出方法に関する。
［背景技術］ マルチメディア社会の発達により、多くのデジタル化
された画像情報や音声情報が、インターネット上におい
て、またはCD−ROMソフトとして流通されている。これ
らのデジタル情報は、誰もが簡単に劣化のない完全なコ
ピーを作成することができるため、その不正な使用やそ
の著作権の保護が問題になってきている。こうした画像
データや音声データといったメディア・データを第三者
が不法にコピーすることを防止するために、もとのメデ
ィア・データに作者の署名といった別の情報をメッセー
ジ・データとして隠し込む（ハイディング）技術が注目
されて始めている。デジタル化された画像データ等が違
法にコピーされた場合、このコピー中に隠ぺいされた署
名を確認しその出所を特定することで、それが違法な行
為によるものかどうかを知ることができる。このような
隠し込みの技術は、“データ・ハイディング”と呼ばれ
ている。
図１は、ディジタル化されたデータをディスプレー上
に表示した中間調画像である。同図（ａ）のデジタル化
された画像であるメディア・データには、同図（ｂ）に
示すような「保母」、「川」、「園児」及び「鳥」とい
った写真説明（メッセージ）が隠ぺいされている。メデ
ィア・データは、写真などをもとに画像を細かく分割し
て、小さな点ごとに明るさや色彩を数値化することによ
り得られる。その際、画像のもとの数値を意図的に少し
だけ変化させておく。数値の変化がごくわずかならば、
画像の乱れはほとんどなく、人間には気づかない。この
性質をうまく利用すると、もとの映像に全く別の情報
（メッセージ・データ）を隠し込むことができる。この
メッセージ・データは、どのような情報でも構わない
が、例えば、格子模様、定規のようなもの、または画像
の製作者の署名などが挙げられる。メディア・データに
隠ぺいされたメッセージ・データは、特別なプログラム
で処理することにより抽出することができる。従って、
この抽出されたメッセージ・データに基づいて、メディ
ア・データが改ざんされていないかどうかを調べること
ができる。
ところで，動画像圧縮の方法としてよく知られている
方法の一つとして,MPEG（Moving Picture Experts Grou
p）がある。MPEGを用いたビデオ・ビットストリーム
（メディア・データ）中に何らかの付加情報（メッセー
ジ・データ）を持たせる場合，ユーザ・データ用のフィ
ールドを用意しておき，このフィールドに付加情報を隠
し込む方法が一般的に用いられている。しかしながら，
このような方法では，フィールドをメディア・データか
ら容易に分離することができるため，隠し込まれた付加
情報の検知及び除去が容易であるという問題がある。
［発明の開示］ 上記問題点に鑑み，本発明の目的は，フレーム間予測
を用いて圧縮された動画像に対して付加情報を埋め込む
ための新規な方法を提供することである。また，本発明
の別の目的は，動画像に付加情報を埋め込んでも画質の
劣化がほとんど生じない方法を提供することである。さ
らに，本発明の別の目的は，埋め込まれた情報を動画像
中から除去することを困難にすることである。
具体的には，第１の発明は，複数のフレームで構成さ
れた動画像中に情報を埋め込むデータ・ハイディング方
法において，情報を埋め込むための少なくとも１つの埋
め込み領域をフレーム中において特定するステップと，
埋め込むデータの内容を埋め込み領域のフレーム間予測
のタイプに対応づけた埋め込み規則を参照して，埋め込
む情報に応じて，埋め込み領域のフレーム間予測のタイ
プを決定するステップとを有するデータ・ハイディング
方法を提供する。この埋め込み領域が存在するフレーム
は，両方向予測符号化フレームであることが好ましい。
この場合，フレーム間予測のタイプは，前方予測，後
方予測，両方向予測，及びフレーム内予測から選択され
ることが好ましい。また，埋め込み規則は，一方のビッ
トを両方向予測のタイプに対応づけると共に，他方のビ
ットを前方予測または後方予測のどちらか一方のタイプ
に対応づけることが好ましい。さらに，埋め込み規則
は，データの埋め込みの禁止をフレーム内予測のタイプ
に対応づけていてもよい。
また，この埋め込み領域に関して，埋め込み規則に基
づき決定されたフレーム間予測のタイプにおける予測誤
差が，所定のしきい値を越える場合には，この埋め込み
領域に対するデータの埋め込みを禁止するようにするこ
とが好ましい。埋め込み規制に基づいて，埋め込み領域
の予測タイプを強制的に決定するため，画質の劣化が生
じる可能性がある。そこで，画質の判断基準としてしき
い値を設けておき，埋め込み規則の適用により，しきい
値を越えるような場所には，データを埋め込まないよう
にすることが有効である。
また，両方向予測符号化フレームにおける前方予測の
参照数または後方予測の参照数が，所定の数より少ない
場合には，このフレーム中の埋め込み領域に対するデー
タの埋め込みを禁止するようにしてもよい。例えば，シ
ーン・チェンジ等が起こると，それに関係したフレーム
は，前方参照数または後方参照数が著しく減少する。こ
のような場合に，埋め込み規則を適用して，予測のタイ
プを強制的に決定すると，画質が著しく劣化する可能性
がある。そこで，参照数をカウントして，所定のしきい
値以下であればそのフレームはデータ埋め込みの対象と
しないことが好ましい。従って，別の発明は，複数のフ
レームで構成された動画像中に情報を埋め込むデータ・
ハイディング方法において，情報を埋め込むための埋め
込み領域を有するフレームにおける前方予測の参照数ま
たは後方予測の参照数をカウントするステップと，当該
参照数が所定の数より多い場合には，埋め込むデータの
内容を埋め込み領域の特性に対応づけた埋め込み規則を
参照して，埋め込む情報に応じて，それぞれの埋め込み
領域の特性を決定するステップと，当該参照数が所定の
数より少ない場合には，当該フレーム中の埋め込み領域
に対するデータの埋め込みを禁止するステップとを有す
るデータ・ハイディング方法を提供する。
第２の発明は，画像中に情報を冗長性を持たせて埋め
込むデータ・ハイディング方法に関する。まず，画像中
に，同一のデータを埋め込むため複数の埋め込み領域を
特定する。次に，埋め込み規則を参照して，埋め込む情
報に応じて，それぞれの埋め込み領域に対して同一のデ
ータを埋め込む。例えば，ビット“1"を３つの埋め込み
領域中に埋め込む場合を考える。ビットの値と埋め込み
領域の特性（例えば，予測のタイプ）を規定した埋め込
み規則を参照して,3つの埋め込み領域全てを，ビット
“1"その値に対応した特性にする。
第３の発明は，符号化された動画像中に埋め込まれた
情報を抽出するデータ抽出方法に関する。情報が埋め込
まれた少なくとも１つの埋め込み領域を，フレーム中に
おいて特定する。フレーム間予測のタイプと埋め込むデ
ータの内容とを対応づけた抽出規則を参照することによ
り，特定された埋め込み領域に埋め込まれたデータを抽
出する。
この埋め込み領域が存在するフレームは，双方向予測
符号化フレームであることが好ましく，また，フレーム
間予測のタイプは，前方予測，後方予測，両方向予測，
及びフレーム内予測から選択されることが好ましい。
また，抽出規則は，一方のビットを両方向予測に対応
づけると共に，他方のビットを前方予測または後方予測
に対応づけてもよい。さらに，抽出規則は，フレーム内
予測をデータの埋め込み禁止に対応づけてもよい。
第４の発明は，画像中に埋め込まれた，冗長性を有す
る情報を抽出するデータ抽出方法において，画像中に，
あるデータ（例えば１ビットのデータ）が埋め込めれた
複数の埋め込み領域を特定するステップと，埋め込み領
域の特性を抽出されるデータに対応づけた抽出規則を参
照して，特定されたすべての埋め込み領域の特性に基づ
いて，埋め込まれたデータ（上記１ビットのデータ）を
抽出するステップとを有するデータ抽出方法を提供す
る。ここで，それぞれの埋め込み領域から異なるデータ
が抽出された場合には，抽出されたデータごと前記埋め
込み領域の数を比較して，当該数が大きい方のデータを
埋め込まれた情報として特定するようにしてもよい（い
わゆる多数決）。例えば，同一のデータ（ビット“1"）
が埋め込まれているはずの３つの埋め込み領域A,B,Cか
ら抽出されたデータがそれぞれビット“1",ビット“1",
ビット“0"だったとする。この場合，ビット“1"を抽出
した埋め込み領域の数は２であり，ビット“0"を抽出し
た埋め込み領域の数は１である。当該数が大きい方に係
るビットの方が，より確からしいといえるので，ビット
“1"が埋め込まれていたと認識される。本来，ビット
“1"が埋め込まれていれば,3つの埋め込み領域から抽出
されるべきビットも“1"であるはずだが，何らかの理由
により，埋め込まれた情報が変化してしまう場合もあり
得る。また，統計的手法を用いた抽出も考えられる。そ
こで，第４の発明のような画像中に埋め込まれた冗長性
を有する情報を抽出する方法が有効である。
第５の発明は，複数のフレームで構成され，フレーム
間予測を用いた動画像中に情報を埋め込む動画像符号化
システムに関する。このシステムは，前方予測を用い
て，情報を埋め込むために第１のフレーム中において特
定された埋め込み領域とこの埋め込み領域が参照する第
２のフレーム中の参照領域とに基づいた第１の予測誤差
を求め，後方予測を用いて，埋め込み領域とこの埋め込
み領域が参照する第３のフレーム中の参照領域とに基づ
いた第２の予測誤差を求め，かつ，両方向予測を用い
て，埋め込み領域とこの埋め込み領域が参照する第２の
フレーム及び第３のフレーム中の参照領域とに基づいた
第３の予測誤差を求める誤差計算手段と，埋め込み領域
に一のデータを埋め込む場合，埋め込み領域におけるフ
レーム間予測のタイプは前方予測または後方予測の一方
を用いるものと規定すると共に，他のデータを埋め込む
場合，前記フレーム間予測のタイプは両方向予測を用い
るものと規定した埋め込み規則を参照して，埋め込むべ
き情報の内容に応じて，埋め込み領域におけるフレーム
間予測のタイプを決定し，かつ当該決定されたフレーム
間予測のタイプに応じて，埋め込み領域が参照する参照
領域を特定するとし，さらに第1,第２または第３の予測
誤差のいずれか一つを特定する決定手段とを有する。
ここで，上記決定手段は，ある埋め込み領域に関し
て，埋め込み規則に基づき決定されたフレーム間予測の
タイプにおける予測誤差が，所定のしきい値を越える場
合には，当該埋め込み領域に対するデータの埋め込みを
禁止する第１の禁止手段を含んでいてもよい。また，こ
の決定手段は，両方向予測符号化フレームにおける前方
予測の参照数または後方予測の参照数が，所定の数より
少ない場合には，当該フレーム中の前記埋め込み領域に
対するデータの埋め込みを禁止する第２の禁止手段を含
んでいてもよい。
第６の発明は，符号化された動画像中に埋め込まれた
情報を抽出する動画像復号化システムに関する。このシ
ステムは，情報が埋め込まれた少なくとも１つの埋め込
み領域をフレーム中において特定する特定手段と，埋め
込み領域におけるフレーム間予測のタイプを埋め込むデ
ータの内容に対応づけた抽出規則を参照して，埋め込み
領域におけるフレーム間予測のタイプから，埋め込まれ
た情報を抽出する抽出手段とを有する。
第７の発明は，コンピュータにより，複数のフレーム
で構成された動画像中に情報を埋め込むデータ・ハイデ
ィング処理を実行させるために，情報を埋め込む少なく
とも１つの埋め込み領域をフレーム中において特定する
ステップと，埋め込み領域におけるフレーム間予測のタ
イプを埋め込むデータの内容に対応づけた埋め込み規則
を参照して，埋め込む情報に応じて，埋め込み領域にお
ける前記フレーム間予測のタイプを決定するステップと
を有するプログラムを記録した媒体である。
第８の発明は，コンピュータにより，符号化された動
画像中に埋め込まれた情報を抽出するデータ抽出処理を
実行させるために，情報が埋め込まれた少なくとも１つ
の埋め込み領域をフレーム中において特定するステップ
と，埋め込み領域におけるフレーム間予測のタイプを埋
め込むデータの内容に対応づけた抽出規則を参照して，
埋め込み領域におけるフレーム間予測のタイプから，前
記埋め込まれた情報を抽出するステップとを有するプロ
グラムを記録した媒体である。
［図面の簡単な説明］ 図１はディジタル化されたデータをディスプレー上に
表示した中間調画像である。
図２はMPEGにおけるピクチャの配列状態を説明するた
めの図である。
図３はＢピクチャ内に配置されたマクロブロックの状
態を示す図である。
図４はマクロブロックの予測タイプと予測誤差の関係
を説明するための図である。
図５はシーンチェンジが起こった場合の参照画像を説
明するための図である。
図６は動画像符号化システムのブロック図である。
図７は動画像復号化システムのブロック図である。
［発明を実施するための最良の形態］ （１）データの埋め込み まず,MPEGを用いたビデオ・ビットストリーム（メデ
ィア・データ）中に何らかの付加情報（メッセージ・デ
ータ）を埋め込む場合について説明する。MPEGでは，過
去再生画像からの前方予測と，未来再生画像からの後方
予測と，前方予測及び後方予測の両方を用いた両方向予
測が用いられている。図２はMPEGにおけるピクチャの配
列状態を説明するための図である。この図のように，両
方向予測を実現するために,MPEGでは，フレームにＩピ
クチャ,Pピクチャ，及びＢピクチャという３つのタイプ
を規定している。
ここで,Iピクチャはフレーム内符号化（イントラ符号
化）された画像であり，このピクチャ内のすべてのマク
ロブロックは，イントラ符号化（フレーム内予測符号
化）されている。Ｐピクチャはフレーム間前方予測符号
化された画像であるが，このピクチャ内の一部のマクロ
ブロックはイントラ符号化されている場合もある。ま
た,Bピクチャはフレーム間両方向予測符号化された画像
である。Ｂピクチャ内のマクロブロックは，基本的に，
前方予測，後方予測，または両方向予測により符号化さ
れているが，イントラ符号化を含む場合もある。画面の
全てをイントラ符号化する画面がＩピクチャであり,Iピ
クチャ及びＰピクチャは原動画像と同じ順序で符号化さ
れる。これに対して,Bピクチャは,Iピクチャ及びＰピク
チャを処理した後に，これらの間に挿入されるＢピクチ
ャを符号化する。
情報（メッセージ・データ）を埋め込む埋め込み領域
は,Bピクチャのマクロブロックであり,1つのマクロブロ
ックに対して１ビットの情報を埋め込むことができる。
従って，メッセージ・データが多ビットである場合に
は，それに応じた数のマクロブロックに対して埋め込み
処理を行う必要がある。図３は,Bピクチャ内に配置され
たマクロブロックの状態を示す図である。マクロブロッ
クは符号化される単位である。各マクロブロックについ
て,16画素×16画素の輝度ブロックに対する動き補償を
行い，マクロブロック単位の動き補償フレーム間予測方
式とし，時間的画面相関に基づく情報圧縮を行う。
Ｂピクチャ内のマクロブロックは，予測のタイプとし
て，次の４つに分類できる。
・イントラ・マクロブロック（フレーム内予測マクロブ
ロック） フレーム間予測を行わず，その画面自身の情報だけで
符号化されるマクロブロックである。
・前方予測マクロブロック 過去のＩピクチャまたはＰピクチャ（参照フレーム）
を参照することにより，前方予測符号化されるマクロブ
ロックである。具体的には，過去の参照フレーム中で最
も似ている16画素×16画素の正方形の領域を探し，その
正方形の領域との差分である予測誤差（△Ｐ）及び空間
的な相対位置（動きベクトル）に関する情報を有してい
る。ここで予測誤差△Ｐは,16画素×16画素分の輝度，
色差の差分として表現される。なお，似ている正方形の
領域を，どのような基準で選択するかは符号化器に任さ
れている。
・後方予測マクロブロック 表示順で未来の参照フレームを参照することにより，
後方予測符号化されるマクロブロックである。未来の参
照フレーム中で最も似ている領域を探し，その領域との
差分である予測誤差（△Ｎ）及び空間的な相対位置（動
きベクトル）に関する情報を有している。
・両方向予測マクロブロック 過去及び未来の参照フレームを参照することにより，
両方向予測符号化されるマクロブロックである。過去の
参照フレーム中で最も似ている領域及び未来の参照フレ
ーム中で最も似ている領域を探し，これら２つの領域と
の平均（画素ごとに平均される）との差分である予測誤
差（（△Ｎ＋△Ｐ）/2）及びそれらとの空間的な相対位
置（２つの動きベクトル）に関する情報を有している。
メッセージ・データを埋め込むために，まず，埋め込
み処理を施す少なくとも１つのマクロブロックを,Bピク
チャ中で特定しなければならない。これは，例えば,Bピ
クチャの１ライン目から３ライン目までに存在するそれ
ぞれのマクロブロック（埋め込み領域）として定義して
もよく，あるフレーム中のマクロブロック全体としても
よい。このようにフォーマットとして予め定義しておく
他に，位置系列を生成するアルゴリズムを用いて決定す
ることもできる。なお，位置系列の生成アルゴリズム
は，例えば，特願平８−159330号（社内整理番号JA996
−044）に開示されているアルゴリズムを用いることが
できる。
次に，埋め込み処理の対象として特定されたマクロブ
ロックに対して，埋め込み規則に基づいて,1つのマクロ
ブロックに対して,1ビットのデータを埋め込んでいく。
この埋め込み規則は，ビット情報をマクロブロックの予
測のタイプに対応づけたものであり，例えば，以下のよ
うな規則が挙げられる。
（埋め込み規則） 埋め込むビット情報 マクロブロックのフレーム間予
測のタイプ ビット“1" 両方向予測マクロブロック（Ｂで表す） ビット“0" 前方予測（Ｐで表す），または後方予測
マクロブロック（Ｎで表す） 埋め込み禁止 イントラ・マクロブロック 例えば，メッセージ・データ「1010」を埋め込む場合
を考える。この４ビットのデータを，図３に示す１ライ
ン目の左１番目から４番目までの４つの埋め込み領域
（マクロブロック）に順番に埋め込む。まず，最初のデ
ータは，ビット“1"なので，埋め込み規則に従って，一
番左のマクロブロック（第１の埋め込み領域）の予測タ
イプは両方向予測（Ｂ）と決定される。この場合の予測
誤差は，過去の参照フレーム中で最も似ている領域及び
未来の参照フレーム中で最も似ている領域との平均との
差分である予測誤差となる。
次のデータは，ビット“0"である。従って，埋め込み
規則に従うと,2番目のマクロブロック（第２の埋め込み
領域）の予測タイプは，前方予測（Ｐ）または後方予測
マクロブロック（Ｎ）のいずれか一方である。この場
合，画像の品質劣化を抑制するために，前方予測におけ
る予測誤差と後方予測における予測誤差とを比較して，
予測誤差が小さいタイプを選択する。図３の例では,2番
目のマクロブロックは，前方予測における予測誤差の方
が後方予測のそれよりも小さかったため，前方予測
（Ｐ）が選択されている。
同様な手順を第３及び第４の埋め込み領域に繰り返し
適用する。すなわち，左から３番目のマクロブロックの
予測タイプは，両方向予測（Ｂ）となり,4番目のマクロ
ブロックの予測タイプは，後方予測における予測誤差の
方が小さいために，後方予測（Ｎ）と決定される。
このようにして，第１から第４の埋め込み領域のフレ
ーム間予測のタイプをそれぞれ「BPBN」とすることによ
り，メッセージ・データ「1010」がこれらの領域中に埋
め込まれた。なお，ある埋め込み領域にビットを埋め込
もうとすると，画質が著しく劣化する場合がある。この
場合には，当該埋め込み領域へのビットの埋め込みは行
わず，その領域の予測タイプは，「埋め込み禁止」を示
すイントラとする。これはついては後述する。
（２）データの抽出 上記の手順により埋め込まれたメッセージ・データを
抽出する方法について説明する。メッセージ・データを
抽出する場合，まず，メッセージ・データが埋め込まれ
ているマクロブロックを特定するための情報が与えられ
ていなければならない。これは，情報として外部から与
えられる場合や，データ自身中に予め埋め込んでおくこ
とも可能である。その他にも，埋め込み領域の位置が標
準化されている場合や，位置系列を生成するアルゴリズ
ムを知っていれば，メッセージ・データを抽出すること
ができる。なお，位置系列を用いたメッセージ・データ
の抽出方法に関しては，例えば，上記の特願平８−1593
30号に開示された技術を用いることができる。
次に，特定された埋め込み領域における予測のタイプ
から，抽出規則を参照して，そこに埋め込まれている情
報を抽出する。この抽出規則は，マクロブロックの予測
のタイプをビット情報に対応づけたものであり，抽出の
際に情報として与えられていなければならない。この規
則は，例えば，以下のような規則が挙げられる。なお，
この抽出規則における予測タイプとビット情報との対応
づけは，上述の埋め込み規則のそれと同様である点に留
意されたい。また，予測タイプがイントラの場合には，
当該埋め込み領域には，「ビットは埋め込まれていな
い」と判断する。
（抽出規則） マクロブロックのフレーム間予測のタイプ 抽出され
るビット情報 両方向予測マクロブロック（Ｂ） ビット“1" 前方予測（Ｐで表す），または後方予測マクロブロッ
ク ビット“0" イントラ・マクロブロック ビットは埋め込まれてい
ない 図３のようにメッセージ・データが埋め込まれている
場合について説明する。前提として，メッセージ・デー
タは同図の１ライン目の左１番目から４番目までのマク
ロブロックに埋め込まれていることは既知であるものと
する。一番左のマクロブロックの予測タイプは両方向予
測（Ｂ）であるから，抽出規則を参照して，ビット“1"
が抽出される。２番目のマクロブロックの予測タイプ
は，前方予測（Ｐ）であるから，抽出規則に従って，ビ
ット“0"が抽出される。同様な手順を他のマクロブロッ
クについても繰り返し適用することにより，順次，ビッ
ト“1",“0"が抽出される。その結果，メッセージ・デ
ータ「1010」がこれらの領域中から抽出される。
もし，一番右のマクロブロックの予測タイプが，イン
トラであるならば，上記抽出規則により，「このマクロ
ブロックにはビットは埋め込まれていない」と判断され
る。その結果，メッセージ・データは「101」となる。
（３）画質への対策（しきい値の導入） MPEGにおけるマクロブロックの予測のタイプは，各ピ
クチャに許されている範囲内で，エンコーダが自由に選
ぶことができる。一般的には，マクロブロックの予測タ
イプは予測誤差が一番小さなタイプを選択している。し
かしながら本実施例における特徴は，埋め込み規則に従
ってマクロブロックの予測タイプを選択している点であ
る。抽出規則における予測タイプとビット情報の関係
は，埋め込み規則が規定する関係と同じであるから，こ
の抽出規則を参照することにより，埋め込まれたデータ
を正確に抽出することができる。
但し，埋め込み規則に従って予測タイプを決定する
と，画像の品質劣化が視覚的に認識できるほどに予測誤
差の大きな予測タイプを選択する可能性がある。予測誤
差は，画素ごとの差の絶対値の和や二乗和が用いられる
ことが多いが，どのような基準を使うかはMPEGでは規定
していないため，エンコーダの自由である。しかしなが
ら，どのような基準であれ，あまり予測誤差が大きな予
測タイプを選択すると画像の品質劣化が生じてしまう。
そこで，予測誤差に関して，あるしきい値を予め設定し
ておき，選択された予測タイプにおける予測誤差が，こ
のしきい値よりも大きい場合には，そのマクロブロック
には，ビットの埋め込みを行わないようにすることが好
ましい。この場合，マクロブロックの予測タイプは，上
記の埋め込み規則に従って，「イントラ」にする。この
点を図４を参照して，さらに詳細に説明する。
図４は，マクロブロックの予測タイプと予測誤差の関
係を説明するための図である。この図において，縦軸は
予測誤差を表し，予測誤差が大きいほど画質の劣化が大
きいことを示している。また，許容される予測誤差の程
度，すなわち画質の劣化が生じないとする判断基準とし
てしきい値が設定されている。図中で，一本の縦棒で結
ばれている三本の短い機構（ｉ），（ii），（iii）
は，マクロブロックの前方予測，後方予測，及び両方向
予測の３つの予測誤差の値のどれかを示している。しき
い値と３つの予測誤差との関係に着目すると，マクロブ
ロックは,4つのタイプ（ａ），（ｂ），（ｃ），（ｄ）
に分類できる。すなわち,3つの予測誤差がいずれもしき
い値よりも小さい場合（タイプ（ａ）），いずれか１つ
の予測誤差がしきい値を越えている場合（タイプ
（ｂ））,2つの予測誤差がしきい値を越えている場合
（タイプ（ｃ）），そしていずれの予測誤差もしきい値
を越えている場合（タイプ（ｄ））である。
タイプ（ｄ）のマクロブロックに関しては，どのよう
なタイプを選択しても，予測誤差がしきい値を越え画質
の劣化が大きいため，このタイプのブロックを埋め込み
領域として使用することは好ましくはない。この場合，
このマクロブロックは，埋め込み規則に従って，イント
ラ・マクロブロックになる。但し,MPEGにおいて,Bピク
チャ中のほとんどのマクロブロックは，フレーム間予測
（前方予測，後方予測，または両方向予測）となるた
め，実際にこのタイプのマクロブロックが出現する確率
は高くない。
また，タイプ（ａ）のマクロブロックに関しては，ど
のような予測タイプを選択しても，予測誤差がしきい値
を越えることはない。すなわち，どのようなデータを埋
め込んでも，画質の劣化は目立たないので，このマクロ
ブロックを埋め込み領域として使用することができる。
また，また，タイプ（ｂ）に関しても，このブロックを
埋め込み領域として使用しても画質の劣化は生じないも
のと思われる。通常は，両方向予測誤差は,3つの予測誤
差のうちで最悪になることはない（すなわち，横棒
（ｉ）になることはない）。上述の埋め込み規則に従え
ば，ビット“1"及びビット“0"のどちらもしきい値を越
えることなくこのタイプのブロックに埋め込むことがで
きる。従って，上述の埋め込み規則を用いた場合，画質
の劣化をほとんど生じることなく，タイプ（ａ）及びタ
イプ（ｂ）のマクロブロック中にビットを埋め込むこと
ができる。
なお，タイプ（ｃ）に関しては，このブロックを埋め
込み領域として用いることは原則的に好ましくない。両
方向予測誤差が横棒（iii）の場合，前方予測誤差及び
後方予測誤差はともにしきい値を越えてしまうため，埋
め込むビットによっては，画質劣化が生じてしまうから
である。但し，この場合であっても，実際に埋め込もう
とするビットに対応した予測タイプにおける予測誤差が
しきい値を越えない場合（例えば，埋め込み規則に従
い，あるデータを埋め込んだ時，それが横棒（iii）で
示すしきい値以下の予測誤差となる場合）には，このタ
イプのブロックを埋め込み領域と使用することは可能で
ある。
以上の点に鑑み，データを埋め込もうとするあるマク
ロブロックに関して,3つの予測誤差を求めておき，埋め
込み規則に基づいて決定された予測タイプの予測誤差
が，所定のしきい値を越える場合には，このマクロブロ
ックに対するデータの埋め込みを禁止することが好まし
い。この場合，埋め込みを禁止するマクロブロックの予
測タイプは，上述の埋め込み規則に従って，イントラと
なる。
なお，タイプ（ｄ）のイントラ・マクロブロックに関
しては，データの埋め込みには使わずに無効ビットとす
るが，上述のように実際にはその出現率は高くないた
め，埋め込む情報に冗長性が許される場合には誤り訂正
符号化で補うことができる。
本実施例によれば，動画像の符号化する際に，マクロ
ブロックの予測タイプと埋め込むビットとを関連づけて
決定している。従って，動画像の圧縮効率にほとんど影
響を与えることなく，また画質の劣化がほとんど生じる
ことなく，動画像中にメッセージ・データを埋め込むこ
とができる。さらに，このようにして埋め込まれたメッ
セージ・データを動画像中から除去することは非常に困
難である。さらに，埋める情報量は，画像の内容にほと
んど依存することないので，効率的にメッセージ・デー
タを埋め込むことが可能である。
（４）画質への対策（シーンチェンジへの対策） シーンチェンジが起こった場合，その前後のＩまたは
Ｐピクチャに挟まれたＢピクチャ中のマクロブロックの
ほとんど，図４に示したタイプ（ｃ）のようになること
が知られている。図５はシーンチェンジが起こった場合
の参照画像を説明するための図である。同図（ａ）は，
シーンチェンジがない場合を示しており，同図（ｂ）
は，ピクチャ２とピクチャ３との間でシーンチェンジが
起こった場合を示している。なお，同図（ａ）（ｂ）は
共に，両端の２つのピクチャはＩまたはＰピクチャであ
り，中央の２ピクチャはＢピクチャである。また図示し
た矢印はフレーム間の参照関係を示している。
シーンチェンジがなければ,Bピクチャは，両方向予測
マクロブロックが多数存在している。しかしながら，同
図（ｂ）のようなシーンチェンジが生じると，図４のし
きい値よりも誤差が小さくなるような，ピクチャ２中の
後方予測マクロブロックの数が極端に減少し，そのほと
んどが前方予測マクロブロックになる。また図４のしき
い値よりも誤差が小さくなるような，ピクチャ３中の前
方予測マクロブロックの数も極端に減少し，そのほとん
どが後方予測マクロブロックになる。従って，このよう
なピクチャ中にデータを埋め込むことは好ましくない。
そこで，前方予測マクロブロック及び後方予測マクロブ
ロックの数をモニターして，これらの数があるしきい値
以下になった場合には，シーンチェンジが起こったもの
と判断して，このようなピクチャ中にはデータを埋め込
まない（埋め込み規則に従って，予測タイプを「イント
ラ」にする）ことが好ましい。
（５）画質への対策（オクルージョンへの対策） オクルージョンとは，あるオブジェクトが移動するこ
とにより，その後ろに隠れていた物が突然出現したり，
逆に隠れたりすることをいう。オクルージョンが起きた
場合，ピクチャ全体の内のオクルージョンに係るマクロ
ブロックは，図４（ｃ）のタイプになる。この場合，上
述したように，埋め込み規則によって決定された予測タ
イプの予測誤差がしきい値より小さければ問題はない
が，そうでない場合には画質の劣化を生じる。画質を重
視する場合，誤り訂正符号を用いてこの劣化を回避する
ことができる。つまり，一つのマクロブロックで１ビッ
トの情報を表現するのではなく，情報に冗長度を持たせ
て，複数のマクロブロックで１ビット相当の情報を表
す。この場合,1つの埋め込み領域は，こららの複数のマ
クロブロックの組で構成されることになる。
例えば,3個のマクロブロックで１ビット相当の情報を
表す場合を考える。この場合,3つのマクロブロックのう
ちの１つが表したいビットとは反対の予測タイプであっ
ても，残りの２つから正しくビットを表現することがで
きる。ある１ビットの情報を表すマクロブロックの組
（ここでは３つのマクロブロック）に，所定の個数以上
のイントラ・マクロブロックが含まれていれば，その組
にはデータを埋め込まないようにする。逆に,3つのマク
ロブロックの内の２つ以上が図４（ｃ）のタイプになっ
たら，そのうちのどれかをイントラにして，「データが
埋め込まれていない」ことを明示する必要がある。な
お，これは統計的な手法を用いた埋め込み・抽出に利用
することも可能である。すなわち，統計的性質が出現す
る程に複数（例えば100個等）の埋め込み領域を用意し
ておき，多数の領域で１ビットの情報を表現してもよ
い。その意味で本発明における「冗長」とは,1ビットの
情報を一つの処理すべき領域に一対一の関係で対応づけ
ることではなく，それを複数の領域に対応づけることを
いう。
オクルージョンが起きた場合，オクルージョンに係る
部分に存在する互いに隣接した複数のマクロブロック
が，同時に図４のタイプ（ｃ）の状態になることが考え
られる。このような点に鑑み，誤り訂正符号を構成する
一組のマクロブロックは，ピクチャ中で離れた位置に存
在するマクロブロックを利用することが望ましい。
なお，上記の記載は,MPEGを例に説明したが，本発明
は,MPEGに限定されるものではなく，フレーム間予測符
号化を用いたその他の画像圧縮方法に対しても適用でき
るのは当然である。その意味で，本明細書でいう埋め込
み領域は，マクロブロックに限定されない。
また，上述した埋め込み規則及び抽出規則は，一例で
あって本発明はこれに限定されるものではなく，さまざ
まな規則を用いることができる。例えば，前方予測マク
ロブロックをデータ“0"に，後方予測マクロブロックを
データ“1"に，そして両方向予測マクロブロックをデー
タ“2"にそれぞれ対応付けて,1つのマクロブロックに３
値データを埋め込むことも可能である。
さらに，上記の例は,Bピクチャ，すなわち両方向予測
フレームを例に説明したが,Pピクチャにデータを埋め込
むことも可能である。Ｐピクチャを構成するマクロブロ
ックのタイプは，前方予測及びイントラであるから，こ
れビットに対応づければよい。但し，画質の劣化及びデ
ータ量の増大を抑制する観点からは，上記のようにＢピ
クチャ中に埋め込む方がが優れている。イントラである
べきマクロブロックを，埋め込み規則により強制的に前
方参照にしてしまうと，画質が劣化してしまうし，その
逆ではデータ量が増大するからである。
（５）動画像符号化システム 図６は，本発明を用いた動画像符号化システムのブロ
ック図である。メモリ61中には，複数のフレームからな
る動画像データが記憶されている。フレーム・メモリ62
には，過去のフレームに関するデータが記憶されてい
て，フレーム。メモリ63には，表示順で未来のフレーム
に関するデータが記憶されている。領域特定器64には，
付加情報として埋込むデータの埋め込み場所を特定す
る。これにより，少なくとも１つのマクロブロックがフ
レーム中に特定される。誤差計算器65は，フレーム・メ
モリ62,63に記憶されているデータに基づいて，前方予
測誤差，後方予測誤差，及び両方向予測誤差を求める。
前方予測誤差は，前方予測を用いて，埋め込み領域とこ
の埋め込み領域が参照する第２の前方のフレーム中の参
照領域とから計算される。後方予測誤差は，後方予測を
用いて，埋め込み領域とこの埋め込み領域が参照する後
方のフレームの参照領域とから計算される。そして，両
方向予測誤差は，両方向予測を用いて，埋め込み領域と
この埋め込み領域が参照する前方及び後方の両フレーム
中の参照領域とから計算される。決定器66は，埋め込み
規則を参照して，埋め込み領域であるマクロブロックの
特性を操作することにより，埋込むデータを埋め込み領
域に埋め込む。この埋め込み規則は，具体的には，埋め
込み領域に一のデータを埋め込む場合，埋め込み領域に
おける予測タイプは前方予測または後方予測の一方を用
いるものと規定している。また，他のデータを埋め込む
場合，予測タイプは両方向予測を用いるものと規定して
いる。決定器66は，埋め込むべき情報の内容に応じて，
埋め込み領域におけるフレーム間予測のタイプを決定
し，かつ当該決定されたフレーム間予測のタイプに応じ
て，埋め込み領域が参照する参照領域を特定すると共
に，第1,第２または第３の予測誤差のいずれか一つを特
定する。その後，符号化器67は，決定器66より出力され
た信号を符号化する。
ここで，決定器66は，ある埋め込み領域に関して，埋
め込み規則に基づき決定されたフレーム間予測のタイプ
における予測誤差が所定のしきい値を越える場合には．
当該埋め込み領域に対するデータの埋め込みを禁止する
ように設計されている。これにより，埋め込みによる画
質の劣化を防止している。また，決定器66は，両方向予
測符号化フレームにおける前方予測の参照数または後方
予測の参照数が所定の数より少ない場合には，当該フレ
ーム中の埋め込み領域に対するデータの埋め込みを禁止
ように設計されている。これらの参照数をカウントする
ことでシーン・チェンジを検出できる。シーン・チェン
ジが生じた場合には，それに関係するフレームに対して
埋め込みを行わないようにしているので，画質劣化を防
止できる。
（６）動画像復号化システム 図７は，本発明を用いた動画像復号化システムのブロ
ック図である。メモリ71には，付加情報が埋め込まれた
符号化された動画像データが記憶されている。領域特定
器72は，付加情報が埋め込まれた少なくとも１つの埋め
込み領域をフレーム中において特定するためのものであ
る。抽出手段73は，抽出規則を参照して，埋め込み領域
におけるフレーム間予測のタイプから，そこに埋め込ま
れた付加情報を抽出する。そして，復号化器74により，
抽出器73から出力された符号化データが復号化され，こ
れにより動画像が再生される。
（７）フィンガー・プリントの埋め込み MPEGにおいて,Bピクチャは他のピクチャから参照され
ることはないので,Bピクチャ中のマクロブロックの予測
タイプを変更しても他のピクチャに影響を及ぼすことは
ない。このことを利用して，フィンガー・プリントを埋
め込むことができる。フィンガー・プリントとは，所有
者ごとに異なった固有の情報である。フィンガー・プリ
ントの典型的な利用例は，動画像データを第三者に発行
する際に、発行者が、発行先である第三者を特定できる
ようなマークを予め動画像中に埋め込んでおく場合であ
る。このようにしておけば、違法コピーなどの不正な行
為が行われば場合、そのコピーのソースを特定すること
ができるので、この第三者が不正に流通している場合に
は、違法コピー分の料金を請求することができる。ま
た，暗号化された映像商品に正当な所有者登録情報を与
えて，それに応じたフィンガー・プリントを埋め込むこ
とも考えられる。
フィンガー・プリントを埋め込む場合，基本的には,M
PEGエンコードの際に生成される「両方向予測マクロブ
ロック」及び「予測誤差がより小さな前方予測マクロブ
ロックまたは後方予測マクロブロック」の両方を保持し
ておく。そして，発行先である第三者に応じて適切な方
を選択する。このようにしても，他のピクチャまたは当
該ピクチャのマクロブロックより上位のデータ階層（例
えば，スライス）には何ら影響を及ばさない。
［産業上の利用可能性］ 本発明によれば，動画像の圧縮効率にほとんど影響を
与えることなく，また画質の劣化がほとんど生じること
なく，動画像中にメッセージ・データを埋め込むことが
できる。また，動画像の符号に必須な部分にメッセージ
・データを埋め込んでいるため，メッセージ・データを
動画像中から画質を損なわずに除去することは困難であ
る。さらに，埋める情報量は，画像の内容にほとんど依
存することないので，効率的にメッセージ・データを埋
め込むことが可能である。
フロントページの続き (56)参考文献 鈴置 昌宏、渡辺 創、蒿 忠雄, 「ディジタル動画像に対する著作権保護 の一手法 −不正コピーを行ったユーザ を特定する手法−」，電子情報通信学会 技術研究報告，日本，1995年，ＩＴ95− 52，ｐ．13−18 松井 甲子雄，「画像への暗号分の埋 め込み」，テレビジョン学会誌，日本, 1995年，Ｖｏｌ．49、Ｎｏ．12，ｐｐ. 1580−1584 中村 史朗、稲葉 宏幸、笠原 正 雄，「感性的な動画像スクランブル方式 の提案」，電子情報通信学会技術研究報 告，日本，1996年，ＩＴ96−27，ｐ．25 −30 中沢 英徳、小館 亮之、ジェフ モ リソン、富永 英義，「ＭＰＥＧ２にお ける「ディジタル透かし」の利用による 著作権保護の一検討」，1997年暗号と情 報セキュリティシンポジウム講演論文 集，日本，1997年 １月，論文番号ＳＣ ＩＳ97−31Ｄ 木下 真樹、稲葉 宏幸、笠原 正 雄，「ビデオ画像に適した署名埋め込み 法」，1997年暗号と情報セキュリティシ ンポジウム講演論文集，日本，1997年 １月，論文番号ＳＣＩＳ97−31Ｆ 小川 宏、中村 高雄、高嶋 洋一, 「ＤＣＴを用いたデジタル動画像におけ る著作権情報埋め込み方法」，1997年暗 号と情報セキュリティシンポジウム講演 論文集，日本，1997年 １月，論文番号 ＳＣＩＳ97−31Ｇ (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/00 - 7/088

Claims (15)

    (57)【特許請求の範囲】
  1. 【請求項１】複数のフレームで構成された動画像中に情
    報を埋め込むデータ・ハイディング方法であって， 情報を埋め込むための少なくとも１つの埋め込み領域を
    フレーム中において特定するステップと， 埋め込むデータの内容を前記埋め込み領域のフレーム間
    予測のタイプに対応づけた埋め込み規則を参照して，埋
    め込む情報に応じて，前記埋め込み領域のフレーム間予
    測のタイプを決定するステップと を有することを特徴とするデータ・ハイディング方法。
  2. 【請求項２】前記埋め込み領域が存在する前記フレーム
    は，両方向予測符号化フレームであることを特徴とする
    請求項１に記載されたデータ・ハイディング方法。
  3. 【請求項３】前記フレーム間予測のタイプは，前方予
    測，後方予測，両方向予測，及びフレーム内予測から選
    択されることを特徴とする請求項２に記載されたデータ
    ・ハイディング方法。
  4. 【請求項４】前記埋め込み規則は，一方のビットを前記
    両方向予測に対応づけると共に，他方のビットを前記前
    方予測または前記後方予測に対応づけていることを特徴
    とする請求項３に記載されたデータ・ハイディング方
    法。
  5. 【請求項５】前記埋め込み規則は，さらに，データの埋
    め込みの禁止を前記フレーム内予測に対応づけているこ
    とを特徴とする請求項４に記載されたデータ・ハイディ
    ング方法。
  6. 【請求項６】ある埋め込み領域に関して，前記埋め込み
    規則に基づき決定されたフレーム間予測のタイプにおけ
    る予測誤差が，所定のしきい値を越える場合には，当該
    埋め込み領域に対するデータの埋め込みを禁止するステ
    ップを さらに有することを特徴とする請求項１に記載されたデ
    ータ・ハイディング方法。
  7. 【請求項７】前記両方向予測符号化フレームにおける前
    記前方予測の参照数または前記後方予測の参照数が，所
    定の数より少ない場合には，当該フレーム中の前記埋め
    込み領域に対するデータの埋め込みを禁止するステップ
    を さらに有することを特徴とする請求項６に記載されたデ
    ータ・ハイディング方法。
  8. 【請求項８】動画像中に埋め込まれた情報を抽出するデ
    ータ抽出方法であって， 情報が埋め込まれた少なくとも１つの埋め込み領域を，
    フレーム中において特定するステップと， 前記埋め込み領域におけるフレーム間予測のタイプを抽
    出されるデータの内容に対応づけた抽出規則を参照し
    て，当該埋め込み領域における前記フレーム間予測のタ
    イプから，埋め込まれた情報を抽出するステップと を有することを特徴とするデータ抽出方法。
  9. 【請求項９】前記埋め込み領域が存在するフレームは，
    双方向予測符号化フレームであることを特徴とする請求
    項８に記載されたデータ抽出方法。
  10. 【請求項１０】前記フレーム間予測のタイプは，前方予
    測，後方予測，両方向予測，及びフレーム内予測から選
    択されることを特徴とする請求項９に記載されたデータ
    抽出方法。
  11. 【請求項１１】前記抽出規則は，前記両方向予測を一方
    のビットに対応づけると共に，前記前方予測または前記
    後方予測を他方のビットに対応づけていることを特徴と
    する請求項10に記載されたデータ抽出方法。
  12. 【請求項１２】前記抽出規則は，さらに，前記フレーム
    内予測をデータの埋め込み禁止に対応づけていることを
    特徴とする請求項11に記載されたデータ抽出方法
  13. 【請求項１３】符号化された動画像中に埋め込まれた情
    報を抽出する動画像復号化システムであって， 情報が埋め込まれた少なくとも１つの埋め込み領域をフ
    レーム中において特定する特定手段と， 前記埋め込み領域におけるフレーム間予測のタイプを埋
    め込むデータの内容に対応づけた抽出規則を参照して，
    前記埋め込み領域における前記フレーム間予測のタイプ
    から，前記埋め込まれた情報を抽出する抽出手段と を有することを特徴とする動画像復号化システム。
  14. 【請求項１４】複数のフレームで構成され，フレーム間
    予測を用いた動画像中に情報を埋め込む動画像符号化シ
    ステムであって， 前方予測を用いて，情報を埋め込むために第１のフレー
    ム中において特定された埋め込み領域と前記埋め込み領
    域が参照する第２のフレーム中の参照領域とに基づいた
    第１の予測誤差を求め，後方予測を用いて，前記埋め込
    み領域と前記埋め込み領域が参照する第３のフレーム中
    の参照領域とに基づいた第２の予測誤差を求め，かつ，
    両方向予測を用いて，前記埋め込み領域と前記埋め込み
    領域が参照する前記第２のフレーム及び前記第３のフレ
    ーム中のそれぞれの前記参照領域とに基づいた第３の予
    測誤差を求める誤差計算手段と， 前記埋め込み領域に一のデータを埋め込む場合，前記埋
    め込み領域における前記フレーム間予測のタイプは前記
    前方予測または前記後方予測の一方を用いるものと規定
    すると共に，他のデータを埋め込む場合，前記フレーム
    間予測のタイプは前記両方向予測を用いるものと規定し
    た埋め込み規則を参照して，埋め込むべき情報の内容に
    応じて，前記埋め込み領域における前記フレーム間予測
    のタイプを決定し，かつ当該決定されたフレーム間予測
    のタイプに応じて，前記第1,第２または第３の予測誤差
    のいずれか一つを特定する決定手段と を有することを特徴とする動画像符号化システム。
  15. 【請求項１５】上記決定手段は，ある埋め込み領域に関
    して，前記埋め込み規則に基づき決定されたフレーム間
    予測のタイプにおける予測誤差が所定のしきい値を越え
    る場合には，当該埋め込み領域に対するデータの埋め込
    みを禁止する第１の禁止手段を含むことを特徴とする請
    求項14に記載された動画像符号化システム。
JP51816098A 1996-10-15 1997-02-13 データ・ハイディング方法及びデータ抽出方法 Expired - Fee Related JP3315413B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP27272196 1996-10-15
JP8-272721 1996-10-15
PCT/JP1997/000396 WO1998017061A1 (en) 1996-10-15 1997-02-13 Data hiding method and data extracting method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001049098A Division JP2001292428A (ja) 1996-10-15 2001-02-23 動画像へのデータ・ハイディング方法及びデータ抽出方法

Publications (1)

Publication Number Publication Date
JP3315413B2 true JP3315413B2 (ja) 2002-08-19

Family

ID=17517865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51816098A Expired - Fee Related JP3315413B2 (ja) 1996-10-15 1997-02-13 データ・ハイディング方法及びデータ抽出方法

Country Status (17)

Country Link
US (1) US6005643A (ja)
EP (1) EP0935392B1 (ja)
JP (1) JP3315413B2 (ja)
KR (1) KR100368352B1 (ja)
CN (1) CN1115876C (ja)
AT (1) ATE385649T1 (ja)
CA (1) CA2264625C (ja)
CZ (1) CZ290838B6 (ja)
DE (1) DE69738502T2 (ja)
ES (1) ES2297848T3 (ja)
HK (1) HK1022066A1 (ja)
HU (1) HU223895B1 (ja)
MY (1) MY122045A (ja)
PL (3) PL183090B1 (ja)
RU (1) RU2181930C2 (ja)
TW (1) TW312770B (ja)
WO (1) WO1998017061A1 (ja)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229924B1 (en) 1996-05-16 2001-05-08 Digimarc Corporation Method and apparatus for watermarking video images
JP3601566B2 (ja) * 1996-12-18 2004-12-15 日本電信電話株式会社 情報多重化方法および著作権保護システム
TW401702B (en) * 1997-01-20 2000-08-11 Sony Corp Image signal transmitting method, superimposed signal extracting method, image signal output apparatus, image signal receiving apparatus and image signal recording medium
US6404781B1 (en) * 1997-09-02 2002-06-11 Hitachi, Ltd. Data transmission method for embedded data, data transmitting and reproducing apparatuses and information recording medium therefor
JP3902863B2 (ja) 1997-09-03 2007-04-11 株式会社日立製作所 データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法
DE69822950T2 (de) 1997-09-03 2009-09-24 Hitachi, Ltd. Verfahren und System zum Einbetten von Information in Daten
SG70120A1 (en) 1997-09-17 2000-01-25 Hitachi Ltd Recording/reproducing method and apparatus processing apparatus and recording medium for video signal having copy control information
JP3570213B2 (ja) 1998-03-27 2004-09-29 株式会社日立製作所 電子透かし画像処理方法
JP4182603B2 (ja) 1998-10-07 2008-11-19 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置
US6965697B1 (en) 1998-07-15 2005-11-15 Sony Corporation Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal
US6226041B1 (en) * 1998-07-28 2001-05-01 Sarnoff Corporation Logo insertion using only disposable frames
US6373530B1 (en) * 1998-07-31 2002-04-16 Sarnoff Corporation Logo insertion based on constrained encoding
US6128411A (en) * 1998-08-25 2000-10-03 Xerox Corporation Method for embedding one or more digital images within another digital image
GB2347295A (en) * 1999-02-11 2000-08-30 Central Research Lab Ltd Encoding and decoding of watermarks into moving images using edge detection
EP1157499A4 (en) * 1999-03-10 2003-07-09 Digimarc Corp PROCESS FOR SIGNAL PROCESSING, DEVICES AND APPLICATIONS FOR THE MANAGEMENT OF DIGITAL RIGHTS
US6870944B1 (en) * 1999-06-08 2005-03-22 Sony Corporation Image processing apparatus, image processing method, and storage medium
JP2001061052A (ja) * 1999-08-20 2001-03-06 Nec Corp 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
US8584182B2 (en) 2000-01-27 2013-11-12 Time Warner Cable Enterprises Llc System and method for providing broadcast programming, a virtual VCR, and a video scrapbook to programming subscribers
JP4254003B2 (ja) * 2000-04-04 2009-04-15 ソニー株式会社 埋め込み装置および埋め込み方法、復号装置および復号方法、並びに記録媒体
US6970510B1 (en) 2000-04-25 2005-11-29 Wee Susie J Method for downstream editing of compressed video
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US6553150B1 (en) * 2000-04-25 2003-04-22 Hewlett-Packard Development Co., Lp Image sequence compression featuring independently coded regions
JP4489247B2 (ja) * 2000-05-18 2010-06-23 沖電気工業株式会社 ディジタルコンテンツの配布システムおよび配布方法。
US10304052B2 (en) 2000-06-30 2019-05-28 James Leonard Driessen Retail point of sale (RPOS) apparatus for internet merchandising
US7742993B2 (en) * 2005-10-31 2010-06-22 James Leonard Driessen SCART-card (secure consumer advantaged retail trading)
US7003500B1 (en) * 2000-08-01 2006-02-21 James Leonard Driessen Retail point of sale (RPOS) apparatus for internet merchandising
US7346776B2 (en) * 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
JP2002101416A (ja) * 2000-09-25 2002-04-05 Fujitsu Ltd 画像制御装置
JP4214440B2 (ja) * 2000-10-19 2009-01-28 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
US7751683B1 (en) * 2000-11-10 2010-07-06 International Business Machines Corporation Scene change marking for thumbnail extraction
US7058815B2 (en) * 2001-01-22 2006-06-06 Cisco Technology, Inc. Method and system for digitally signing MPEG streams
US7043051B2 (en) * 2001-02-21 2006-05-09 Lg Electronics Inc. Proprietary watermark system for secure digital media and content distribution
KR20010044804A (ko) * 2001-03-27 2001-06-05 왕성현 그림 파일 속에 비밀 데이터를 숨겨 저장/복원하는 방법
US7058201B2 (en) * 2001-03-28 2006-06-06 Lg Electronics Inc. Method of embedding watermark into digital image
KR100493284B1 (ko) * 2001-05-11 2005-06-03 엘지전자 주식회사 디지털 미디어의 복제 제어 방법 및 시스템
KR20040007552A (ko) * 2001-06-12 2004-01-24 인터내셔널 비지네스 머신즈 코포레이션 소프트-카피 텍스트 문서에 데이터를 보이지 않도록내장하여 은닉하는 방법
WO2002101521A2 (en) * 2001-06-12 2002-12-19 International Business Machines Corporation Method of invisibly embedding into a text document the license identification of the generating licensed software
US7386146B2 (en) * 2001-09-13 2008-06-10 Canon Kabushiki Kaisha Insertion of a message in a sequence of digital images
US6921593B2 (en) * 2001-09-28 2005-07-26 Hewlett-Packard Development Company, L.P. Fuel additives for fuel cell
CN1913634B (zh) * 2001-11-06 2011-08-24 松下电器产业株式会社 运动图像解码方法
US7567721B2 (en) 2002-01-22 2009-07-28 Digimarc Corporation Digital watermarking of low bit rate video
JP4330346B2 (ja) * 2002-02-04 2009-09-16 富士通株式会社 音声符号に対するデータ埋め込み／抽出方法および装置並びにシステム
US20030158730A1 (en) * 2002-02-04 2003-08-21 Yasuji Ota Method and apparatus for embedding data in and extracting data from voice code
JP4225752B2 (ja) 2002-08-13 2009-02-18 富士通株式会社 データ埋め込み装置，データ取り出し装置
US7577841B2 (en) 2002-08-15 2009-08-18 Digimarc Corporation Watermark placement in watermarking of time varying media signals
US6771193B2 (en) 2002-08-22 2004-08-03 International Business Machines Corporation System and methods for embedding additional data in compressed data streams
US6856551B2 (en) * 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US7818257B2 (en) * 2004-07-16 2010-10-19 Deluxe Laboratories, Inc. Program encoding and counterfeit tracking system and method
GB2407227B (en) * 2003-09-08 2006-11-08 Deluxe Lab Inc Program encoding and counterfeit tracking system and method
KR101141897B1 (ko) 2004-10-25 2012-05-03 성균관대학교산학협력단 데이터 은닉을 위한 부호화/복호화 방법 및 그 방법을이용한 부호화기/복호화기
US7725595B1 (en) * 2005-05-24 2010-05-25 The United States Of America As Represented By The Secretary Of The Navy Embedded communications system and method
CN100452884C (zh) * 2005-07-14 2009-01-14 上海交通大学 针对调色板图像文件信息隐藏检测的方法
US7702127B2 (en) * 2005-10-21 2010-04-20 Microsoft Corporation Video fingerprinting using complexity-regularized video watermarking by statistics quantization
US7860903B2 (en) * 2005-12-23 2010-12-28 Teradata Us, Inc. Techniques for generic data extraction
US8280982B2 (en) 2006-05-24 2012-10-02 Time Warner Cable Inc. Personal content server apparatus and methods
US9386327B2 (en) 2006-05-24 2016-07-05 Time Warner Cable Enterprises Llc Secondary content insertion apparatus and methods
US8024762B2 (en) 2006-06-13 2011-09-20 Time Warner Cable Inc. Methods and apparatus for providing virtual content over a network
US7962932B2 (en) * 2006-09-27 2011-06-14 Scenera Technologies, Llc Methods, systems, and computer program products for presenting a message on a display based on a display based on video frame types presented on the display
EP2082527B1 (en) 2006-10-18 2014-09-24 Destiny Software Productions Inc. Methods for watermarking media data
US7707224B2 (en) 2006-11-03 2010-04-27 Google Inc. Blocking of unlicensed audio content in video files on a video hosting website
US8181206B2 (en) 2007-02-28 2012-05-15 Time Warner Cable Inc. Personal content server apparatus and methods
JP4762938B2 (ja) * 2007-03-06 2011-08-31 三菱電機株式会社 データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法
CA2685870A1 (en) * 2007-05-03 2008-11-13 Google Inc. Monetization of original digital content contributions
US8094872B1 (en) * 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
US8611422B1 (en) 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
US8031905B2 (en) * 2007-11-21 2011-10-04 Seiko Epson Corporation Extracting data from images
US9503691B2 (en) 2008-02-19 2016-11-22 Time Warner Cable Enterprises Llc Methods and apparatus for enhanced advertising and promotional delivery in a network
KR101006864B1 (ko) * 2008-10-15 2011-01-12 고려대학교 산학협력단 데이터 은닉을 이용한 데이터 무손실 압축방법
US10943030B2 (en) 2008-12-15 2021-03-09 Ibailbonding.Com Securable independent electronic document
JP5394212B2 (ja) * 2008-12-19 2014-01-22 トムソン ライセンシング データを挿入する方法、挿入されたデータを読み出す方法
CN102223540B (zh) * 2011-07-01 2012-12-05 宁波大学 一种面向h.264/avc视频的信息隐藏方法
US20140282786A1 (en) 2013-03-12 2014-09-18 Time Warner Cable Enterprises Llc Methods and apparatus for providing and uploading content to personalized network storage
CN110855992A (zh) 2014-01-03 2020-02-28 庆熙大学校产学协力团 导出子预测单元的时间点之间的运动信息的方法和装置
CN104125467B (zh) * 2014-08-01 2015-06-17 郑州师范学院 一种视频隐写信息的嵌入与提取方法
US9621926B1 (en) * 2015-09-25 2017-04-11 Amazon Technologies, Inc. Predictive transmitting of video stream data
CN105335713A (zh) * 2015-10-28 2016-02-17 小米科技有限责任公司 指纹识别方法及装置
US10212306B1 (en) * 2016-03-23 2019-02-19 Amazon Technologies, Inc. Steganographic camera communication

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721788A (en) * 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
JPH07203458A (ja) * 1993-12-27 1995-08-04 Olympus Optical Co Ltd 動画像符号化装置
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
PT1098529E (pt) * 1993-03-24 2013-11-25 Sony Corp Método para codificar e descodificar vetores de movimento e respetivo dispositivo e método para codificar e descodificar sinais de imagem e respetivo dispositivo
US5768426A (en) * 1993-11-18 1998-06-16 Digimarc Corporation Graphics processing system employing embedded code signals
JP3729421B2 (ja) * 1994-03-18 2005-12-21 富士通株式会社 不正使用防止方法及び不正使用防止システム
JPH08159330A (ja) * 1994-12-01 1996-06-21 Kubota Corp スライド弁における弁体開閉装置
US5689587A (en) * 1996-02-09 1997-11-18 Massachusetts Institute Of Technology Method and apparatus for data hiding in images

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
中村 史朗、稲葉 宏幸、笠原 正雄，「感性的な動画像スクランブル方式の提案」，電子情報通信学会技術研究報告，日本，１９９６年，ＩＴ９６−２７，ｐ．２５−３０
中沢 英徳、小館 亮之、ジェフ モリソン、富永 英義，「ＭＰＥＧ２における「ディジタル透かし」の利用による著作権保護の一検討」，１９９７年暗号と情報セキュリティシンポジウム講演論文集，日本，１９９７年 １月，論文番号ＳＣＩＳ９７−３１Ｄ
小川 宏、中村 高雄、高嶋 洋一，「ＤＣＴを用いたデジタル動画像における著作権情報埋め込み方法」，１９９７年暗号と情報セキュリティシンポジウム講演論文集，日本，１９９７年 １月，論文番号ＳＣＩＳ９７−３１Ｇ
木下 真樹、稲葉 宏幸、笠原 正雄，「ビデオ画像に適した署名埋め込み法」，１９９７年暗号と情報セキュリティシンポジウム講演論文集，日本，１９９７年 １月，論文番号ＳＣＩＳ９７−３１Ｆ
松井 甲子雄，「画像への暗号分の埋め込み」，テレビジョン学会誌，日本，１９９５年，Ｖｏｌ．４９、Ｎｏ．１２，ｐｐ．１５８０−１５８４
鈴置 昌宏、渡辺 創、蒿 忠雄，「ディジタル動画像に対する著作権保護の一手法 −不正コピーを行ったユーザを特定する手法−」，電子情報通信学会技術研究報告，日本，１９９５年，ＩＴ９５−５２，ｐ．１３−１８

Also Published As

Publication number Publication date
KR100368352B1 (ko) 2003-01-24
ATE385649T1 (de) 2008-02-15
PL183642B1 (pl) 2002-06-28
MY122045A (en) 2006-03-31
CN1233371A (zh) 1999-10-27
HK1022066A1 (en) 2000-07-21
CA2264625C (en) 2002-04-02
WO1998017061A1 (en) 1998-04-23
RU2181930C2 (ru) 2002-04-27
HU223895B1 (hu) 2005-03-29
HUP0100650A2 (hu) 2001-06-28
PL183593B1 (pl) 2002-06-28
HUP0100650A3 (en) 2002-02-28
CN1115876C (zh) 2003-07-23
PL332701A1 (en) 1999-09-27
EP0935392A4 (en) 2001-04-18
CA2264625A1 (en) 1998-04-23
CZ128999A3 (cs) 1999-08-11
EP0935392A1 (en) 1999-08-11
KR20000036133A (ko) 2000-06-26
DE69738502T2 (de) 2009-01-29
DE69738502D1 (de) 2008-03-20
EP0935392B1 (en) 2008-02-06
CZ290838B6 (cs) 2002-10-16
TW312770B (en) 1997-08-11
US6005643A (en) 1999-12-21
ES2297848T3 (es) 2008-05-01
PL183090B1 (pl) 2002-05-31

Similar Documents

Publication Publication Date Title
JP3315413B2 (ja) データ・ハイディング方法及びデータ抽出方法
Chen et al. A fragile watermark error detection scheme for wireless video communications
US7159117B2 (en) Electronic watermark data insertion apparatus and electronic watermark data detection apparatus
Zhang et al. Video watermark technique in motion vector
EP1139660B1 (en) System for embedding additional information in video data, and embedding method
JP3137022B2 (ja) 動画像エンコード装置
JP4035257B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
WO1998016926A1 (fr) Procede d'enregistrement de donnees dans des supports d'enregistrement, procede et systeme permettant d'acceder a des donnees memorisees dans des supports d'enregistrement
US20050265576A1 (en) Video watermarking method and apparatus, and video content protecting method and apparatus using video watermarking
JP2004533143A (ja) 画像の時空間チャネル
Lu et al. Real-time frame-dependent video watermarking in VLC domain
JP4023324B2 (ja) 透かし埋め込み及び画像圧縮部
US8848791B2 (en) Compressed domain video watermarking
US20020126762A1 (en) Moving-picture data reproducing system
Iwakiri et al. Incomplete cryptography method using invariant Huffman code length to digital rights management
Saadi et al. H. 264/AVC video authentication based video content
CN100387062C (zh) 一种带补偿的保护mpeg-2视频数据的方法
Su et al. Partial frame content scrambling in H. 264/AVC by information hiding
Simitopoulos et al. Digital watermarking of MPEG-1 and MPEG-2 multiplexed streams for copyright protection
JP2001292428A (ja) 動画像へのデータ・ハイディング方法及びデータ抽出方法
Xu et al. A digital watermarking scheme used for authentication of surveillance video
WO2009036684A1 (en) A method and device for embedding and detecting watermark information
Ghosh et al. Watermarking compressed video stream over Internet
Lu et al. Real-time frame-dependent watermarking in MPEG-2 video
Sherly et al. A novel approach for compressed video steganography

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090607

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090607

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090607

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100607

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110607

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees