JP3387418B2 - ディジタル信号の電子透かし挿入システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、非可逆圧縮符号化
を伴うディジタル信号の電子透かし挿入に関し、特に、
符号化で用いる変換と同じ変換を行なって電子透かしを
挿入するシステムに関する。

【０００２】

【従来の技術】この種の従来の、画像への電子透かし挿
入システムとして、例えば文献１（１９９７年１月、暗
号と情報セキュリティシンポジウム（ＳＣＩＳ９７）予
稿ＳＣＩＳ９７−２６Ａ「ディジタル画像の著作権保護
のための周波数領域における電子透かし方式」）に記載
される方式が知られている。この方式では、原画像を８
×８などの一定の大きさのブロックに区切り、各ブロッ
クにＤＣＴ（離散コサイン変換）を行って、得られるＤ
ＣＴ係数に電子透かしを挿入している。具体的には、Ｄ
ＣＴ係数Ｄを、電子透かし強度hを基準にして丸め込む
ことで透かし情報を挿入する。もし、挿入すべき情報が
０であるならば、ＤＣＴ係数Ｄを

【０００３】［数１］ のように丸め込む。

【０００４】一方、挿入すべき情報が１であるならば、
ＤＣＴ係数Dを

【０００５】［数２］ のように丸め込む。

【０００６】埋め込まれた電子透かしを検出するときに
は、まず、画像を８×８などの一定の大きさのブロック
に区切り、各ブロックにＤＣＴを行ってＤＣＴ係数D'を
得る。次に、D'を透かし強度hで量子化したときの量子
化残差Ｐ

【０００７】［数３］ を調べて、埋め込まれた透かし情報を得る。このとき、 ［数４］ であれば埋め込まれている情報は０と判定し、 ［数５］ であれば埋め込まれている情報は１と判定する。

【０００８】このようにして電子透かしの挿入、検出を
行うが、どのＤＣＴ係数に電子透かしを挿入するかは、
乱数によって決定し、この乱数を鍵としている。また、
画像全体に同じ透かし情報を繰り返し挿入して、耐性を
高めるようにしている。この方式では、挿入のときには
人間の視覚特性は考慮していない。

【０００９】また、ＤＣＴではなくウェーブレット変換
を用いる方式として、例えば文献２（１９９８年２月、
信学技報９７巻、５６５号、３７〜４２頁に記載のＣＱ
９７−７６「多重解像度解析によるデジタル画像への電
子透かし法」）に記載される方式が知られている。この
方式では、原画像をウェーブレット変換により多重解像
度分解した後、高域係数のパワーが高くなる位置の低域
係数に電子透かしを挿入する。すなわち、高域係数の２
乗和を求め、それが閾値以上となる低域係数を選択して
電子透かしを挿入する。その挿入方法は、前記文献１
「ディジタル画像の著作権保護のための周波数領域にお
ける電子透かし方式」と類似しており、もし、挿入すべ
き情報が０であるならば、ウェーブレット変換係数を透
かし強度hの偶数倍となるように丸め込む。一方、挿入
すべき情報が１であるならば、ウェーブレット変換係数
を透かし強度ｈの奇数倍となるように丸め込む。

【００１０】上述した従来の各電子透かし挿入方式にお
いては、原画に対して直接電子透かしを挿入し、挿入の
際には、非可逆圧縮のことは考慮していない。すなわ
ち、電子透かしの挿入と非可逆圧縮はまったく独立のプ
ロセスである。これらの方式で電子透かしを挿入し、そ
の後に非可逆圧縮を行う場合は、次のようになる。

【００１１】図７は、従来方式で電子透かしを挿入し、
これに対して、ＤＣＴに基づく非可逆符号化を行う場合
の電子透かし挿入および符号化器の構成の一例を示すブ
ロック図である。

【００１２】図７を参照すると、電子透かし挿入器１０
は、入力画像に電子透かしを挿入し、画像符号化器１１
に出力する。画像符号化器１１は、電子透かし挿入器１
０から入力される画像を符号化し、符号列を生成して出
力する。

【００１３】さらに、電子透かし挿入器１０は、ＤＣＴ
回路１、電子透かし挿入回路２、及び、逆ＤＣＴ（Inve
rse DCT、「ＩＤＣＴ」ともいう）回路３を備えて構成
されており、ＤＣＴ回路１は、入力画像にＤＣＴを行
い、ＤＣＴ係数を電子透かし挿入回路２へ出力する。電
子透かし挿入回路２は、透かし情報に基づいて透かし信
号を計算し、ＤＣＴ回路１から出力されるＤＣＴ係数に
透かし信号を乗せ、透かし入りＤＣＴ係数として逆ＤＣ
Ｔ（Inverse DCT）回路３に出力する。逆ＤＣＴ回路３
は、電子透かし挿入回路２から出力される透かし入りＤ
ＣＴ係数に逆ＤＣＴを行って、透かし挿入画像を出力す
る。そして、この透かし挿入画像は、画像符号化器１１
のＤＣＴ回路４に入力される。

【００１４】画像符号化器１１は、ＤＣＴ回路４、量子
化器５、及び、符号変換器６を備えて構成されており、
ＤＣＴ回路４は、逆ＤＣＴ回路３から出力される電子透
かし挿入画像にＤＣＴを行い、ＤＣＴ係数を量子化器５
へ出力する。量子化器５は、ＤＣＴ回路４から出力され
るＤＣＴ係数を量子化して、量子化値を符号変換器６へ
出力する。符号変換器６は、量子化器５から出力される
量子化値に可変長符号化を行って、符号列を出力する。

【００１５】次に、図７に示した回路の動作について説
明する。入力画像は、８×８のブロックに分解され、Ｄ
ＣＴ回路１において、個々のブロックに対してＤＣＴが
行われ、８×８ＤＣＴ係数が出力される。電子透かし挿
入回路２では、入力される透かし情報から透かし信号を
計算して、８×８ＤＣＴ係数に加算する。この電子透か
し挿入方式には、例えば前記文献１「ディジタル画像の
著作権保護のための周波数領域における電子透かし方
式」に示される方式がある。そして、電子透かしの挿入
された８×８ＤＣＴ係数が求まる。この透かし情報の入
った８×８ＤＣＴ係数は、逆ＤＣＴ回路３において８×
８ブロックごとに逆ＤＣＴが行われ、電子透かしの挿入
された画像が求まる。

【００１６】このようにして求まった画像は、画像符号
化機１１に入力され、まず、ＤＣＴ回路４で８×８ＤＣ
Ｔが行われ、ＤＣＴ係数が出力される。このＤＣＴ係数
は、量子化器５において、量子化が行われる。例えば、
ＪＰＥＧ符号化を行う場合には、量子化テーブルに基づ
いて、各ＤＣＴ係数の量子化幅が決定され、量子化され
る。そして、求まった量子化値は、符号変換器６におい
て、ジグザグスキャンなどによって一次元に走査された
後、ハフマン符号化や算術符号化によって符号列に変換
され出力される。符号列を生成する際には、量子化パラ
メータなどの付加情報も一緒に多重化される。

【００１７】図８は、従来方式で電子透かしを挿入し、
これにＭＰＥＧなどの非可逆符号化を行う場合の電子透
かし挿入および符号化器の構成の一例を示すブロック図
である。図８において、電子透かし挿入器１０は、入力
画像に電子透かしを挿入し、画像符号化器４０に出力す
る。電子透かし挿入器１０は、図７に示した電子透かし
挿入器１０と同じ構成である。画像符号化器４０は、電
子透かし挿入器１０から入力される画像を符号化し、符
号列を生成して出力する。画像符号化器４０は、減算機
２１、ＤＣＴ２２、量子化器２３、逆量子化器２５、逆
ＤＣＴ２６、加算器２７、フレームメモリ２８、及び、
符号変換器２４を備えて構成されている。

【００１８】電子透かし挿入器１０の逆ＤＣＴ回路３か
ら出力される透かし挿入画像は、画像符号化器４０の減
算器２１に入力される。減算器２１は、逆ＤＣＴ回路３
から出力される透かし挿入画像から、フレームメモリ２
８から出力される動き補償予測画像を減じて、その差分
信号である予測誤差画像を、ＤＣＴ回路２２へ出力す
る。

【００１９】ＤＣＴ回路２２は、減算器２１から出力さ
れる予測誤差画像信号にＤＣＴを施し、量子化器２３へ
ＤＣＴ係数を出力する。量子化器２３は、ＤＣＴ回路２
２から出力されるＤＣＴ係数を量子化し、量子化値を符
号変換器２４と逆量子化器２５へ出力する。符号変換器
２４は、量子化器２３から出力される量子化値に可変長
符号化を行って、符号列を出力する。逆量子化器２５
は、量子化器２３から出力される量子化値を逆量子化し
て、逆量子化値を逆ＤＣＴ回路２６へ出力する。逆ＤＣ
Ｔ回路２６は、逆量子化器２５から出力される逆量子化
値に逆ＤＣＴを行って、局所復号予測誤差画像を加算器
２７へ出力する。加算器２７は、逆ＤＣＴ回路２６から
出力される局所復号予測誤差画像に、フレームメモリ２
８から出力される動き補償予測画像を加算して、局所復
号画像を、フレームメモリ２８へ出力する。フレームメ
モリ２８は、加算器２７から出力される局所復号画像に
動き補償を行って、動き補償予測画像を減算器２１と加
算器２７へ出力する。

【００２０】次に、図８に示した回路の動作について説
明する。電子透かし挿入器１０において、入力画像に電
子透かしが挿入され、電子透かし挿入画像が生成、出力
される。電子透かし挿入器１０の動作は、図７に示した
ものと同じである。

【００２１】電子透かし挿入器１０で求まった電子透か
し挿入画像は、動画像符号化器４０に入力され、減算器
２１において、フレームメモリ２８から出力される動き
補償予測画像が減じられ、予測誤差画像が求まる。フレ
ームメモリ２８の動作は後述する。求まった予測誤差画
像は、ＤＣＴ回路２２において、８×８ブロックごとに
ＤＣＴが行われ、ＤＣＴ係数が出力される。このＤＣＴ
係数は、量子化器２３において量子化が行われる。例え
ば、ＭＰＥＧ符号化を行う場合には、量子化マトリクス
とマクロブロックごとに定まる量子化スケール値に基づ
いて、各ＤＣＴ係数の量子化幅が決定され、量子化され
る。そして、求まった量子化値は、符号変換器２４にお
いて、ジグザグスキャン、オルタネートスキャンなどに
よって一次元に走査された後、ハフマン符号化や算術符
号化によって符号列に変換され、出力される。符号列を
生成する際には、量子化パラメータなどの付加情報も一
緒に多重化される。さらに、量子化器２３で求まった量
子化値は、逆量子化器２５で逆量子化され、逆ＤＣＴ回
路２６で８×８ブロックごとに逆ＤＣＴが行われ、局所
復号予測誤差画像が求まる。

【００２２】加算器２７では、局所復号予測誤差画像
に、フレームメモリ２８から出力される動き補償予測画
像が加算され、局所復号画像が求まる。これは、フレー
ムメモリ２８に入力され、蓄積される。フレームメモリ
２８では、過去に蓄積された局所復号画像が蓄えられて
おり、これを参照画像として動き補償を行われ、動き補
償予測画像が生成、出力される。

【００２３】また、ＤＣＴではなくウェーブレット変換
を用いる前記文献２「多重解像度解析によるデジタル画
像への電子透かし法」の場合は、上述のＤＣＴの部分を
ウェーブレット変換に変えれば、同様のことがいえる。

【００２４】

【発明が解決しようとする課題】上記した従来の方式
は、電子透かしを挿入した後に非可逆圧縮符号化を行う
と、透かし検出精度が著しく劣化する、という問題点を
有している。

【００２５】この理由は、電子透かしを挿入する際に
は、ディジタル信号の圧縮のことを考慮していないため
である。非可逆圧縮後であっても、電子透かしを検出で
きるようにするには、挿入する電子透かしの強度を強く
する必要がある。しかし、強度を強くすると、ディジタ
ル信号の品質が低下するという問題が生じる。

【００２６】したがって本発明は、上記問題点に鑑みて
なされたものであって、その主たる目的は、非可逆圧縮
による劣化を考慮して電子透かしを挿入することで、デ
ィジタル信号の品質劣化を抑えつつ、検出率を向上させ
る、電子透かしシステムを提供することにある。

【００２７】また本発明の他の目的は、人間の視覚／聴
覚特性を考慮することで、透かし挿入に伴う視覚／聴覚
的な劣化の小さい電子透かし挿入システムを提供するこ
とにある。

【００２８】

【課題を解決するための手段】前記目的を達成する本願
第１発明は、ディジタル信号を符号化すると同時に電子
透かしを挿入する方式であって、ディジタル信号を周波
数成分に投影する線形変換を行い、原信号変換係数を出
力する手段と、前記原信号変換係数を量子化し、量子化
値を透かし無し量子化値として出力するとともに、量子
化情報を出力する手段と、前記透かし無し量子化値を逆
量子化して、透かし無し復号信号変換係数を出力する手
段と、前記原信号変換係数から視覚／聴覚モデルに基づ
いて、前記原信号変換係数それぞれに対応する単位視覚
／聴覚歪を算出して出力する手段と、前記透かし無し復
号信号変換係数と前記原信号変換係数と前記量子化情報
と前記単位視覚／聴覚歪と電子透かし情報とから、目標
信号を算出して、さらに、前記単位視覚／聴覚歪に基づ
いて、信号全体として視覚／聴覚的に歪が小さく、かつ
電子透かしの検出率を高めるように前記透かし無し量子
化値を修正するような量子化値修正信号を前記目標信号
から決定し、これを透かし信号として出力する手段と、
前記透かし無し量子化値と前記透かし信号とを加算し、
透かし入り量子化値を出力する手段と、前記透かし入り
量子化値から符号列を生成し、出力する手段とを有する
ことを特徴とする。

【００２９】本願第２発明は、画像を符号化すると同時
に電子透かしを挿入する方式であって、局所復号画像に
動き補償を行って、動き補償予測画像を生成し、出力す
る手段と、入力画像から前記動き補償予測画像を減じ
て、予測誤差画像を求めて出力する手段と、前記予測誤
差画像に対して空間周波数成分に投影する線形変換を行
い、予測誤差画像変換係数を求めて出力する手段と、前
記予測誤差画像変換係数を量子化して、量子化値を透か
し無し量子化値として出力するとともに、量子化情報を
出力する手段と、前記透かし無し量子化値を逆量子化
し、透かし無し逆量子化値を出力する手段と、前記動き
補償予測画像に前記線形変換を行い、予測画像変換係数
を求めて出力する手段と、前記透かし無し逆量子化値と
前記予測画像変換係数とを加算し、透かし無し復号画像
変換係数を出力する手段と、前記入力画像に前記線形変
換を行い、原画像変換係数を求めて出力する手段と、前
記原画像変換係数から視覚モデルに基づいて、前記原画
像変換係数それぞれに対応する単位視覚歪を算出して出
力する手段と、前記透かし無し復号画像変換係数と前記
原画像変換係数と前記量子化情報と前記単位視覚歪と電
子透かし情報とから、目標信号を算出し、さらに前記単
位視覚歪に基づいて、画像全体として視覚的に歪が小さ
く、かつ電子透かしの検出率を高めるように前記透かし
無し量子化値を修正する量子化値修正信号を前記目標信
号から決定して、これを透かし信号として出力する手段
と、前記透かし無し量子化値と前記透かし信号とを加算
し、透かし入り量子化値を出力する手段と、前記透かし
入り量子化値から符号列を生成し、出力する手段と前記
透かし入り量子化値を逆量子化し、透かし入り逆量子化
値を出力する手段と、前記透かし入り逆量子化値に前記
線形変換の逆変換を行い、局所復号予測誤差画像を求め
て出力する手段と、前記局所復号予測誤差画像に前記動
き補償予測画像を加算して、結果を前記局所復号画像と
して出力する手段とを有することを特徴とする。

【００３０】本願第３発明は、画像を符号化すると同時
に電子透かしを挿入する方式であって、入力画像に対し
て空間周波数成分に投影する線形変換を行い、原画像変
換係数を求めて出力する手段と、局所復号画像に動き補
償を行って、動き補償予測画像を生成し、出力する手段
と、前記動き補償予測画像に前記線形変換を行い、予測
画像変換係数を求めて出力する手段と、前記原画像変換
係数から前記予測画像変換係数を減じて、結果を予測誤
差画像変換係数として出力する手段と、前記予測誤差画
像変換係数を量子化し、量子化値を透かし無し量子化値
として出力するとともに、量子化情報を出力する手段
と、前記透かし無し量子化値を逆量子化し、透かし無し
逆量子化値を出力する手段と、前記予測画像変換係数に
前記透かし無し逆量子化値とを加算し、透かし無し復号
画像変換係数を出力する手段と、前記原画像変換係数か
ら視覚モデルに基づいて、前記原画像変換係数それぞれ
に対応する単位視覚歪を算出して出力する手段と、前記
透かし無し復号画像変換係数と前記原画像変換係数と前
記量子化情報と前記単位視覚歪と電子透かし情報とか
ら、目標信号を算出して、さらに、前記単位視覚歪に基
づいて、画像全体として視覚的に歪が小さくかつ電子透
かしの検出率を高めるように前記透かし無し量子化値を
修正する量子化値修正信号を前記目標信号から決定し
て、これを透かし信号として出力する手段と、前記透か
し無し量子化値と前記透かし信号とを加算し、透かし入
り量子化値として出力する手段と、前記透かし入り量子
化値から符号列を生成し、出力する手段と前記透かし入
り量子化値を逆量子化し、透かし入り逆量子化値を出力
する手段と、前記透かし入り逆量子化値に前記線形変換
の逆変換を行い、局所復号予測誤差画像を求めて出力す
る手段と、前記局所復号予測誤差画像に前記動き補償予
測画像を加算し、前記局所復号画像を出力する手段とを
有することを特徴とする。

【００３１】

【発明の実施の形態】本発明の実施の形態について説明
する。本発明は、その好ましい第１の実施の形態におい
て、図１を参照すると、ディジタル信号を周波数成分に
投影する線形変換を行い原信号変換係数を出力する線形
変換手段（５０）と、原信号変換係数を量子化し、量子
化した値を透かし無し量子化値として出力するととも
に、量子化情報を出力する量子化手段（５１）と、透か
し無し量子化値を逆量子化して透かし無し復号信号変換
係数を出力する逆量子化手段（５３）と、原信号変換係
数から視覚／聴覚モデルに基づいて原信号変換係数のそ
れぞれに対応する単位視覚／聴覚歪を算出して出力する
単位視覚／聴覚歪算出手段（５５）と、逆量子化手段か
らの透かし無し復号信号変換係数と、線形変換手段から
の原信号変換係数と、量子化手段からの量子化情報と、
単位視覚／聴覚歪算出手段からの単位視覚／聴覚歪と、
与えられた電子透かし情報と、から、目標信号を算出
し、さらに、単位視覚／聴覚歪に基づいて、信号全体と
して、視覚／聴覚的に歪が小さく、かつ電子透かしの検
出率を高めるように、透かし無し量子化値を修正するよ
うな量子化値修正信号を、該目標信号から決定し、これ
を透かし信号として出力する透かし信号発生手段（５
４）と、量子化手段からの透かし無し量子化値と、透か
し信号発生手段からの透かし信号とを加算し加算結果を
透かし入り量子化値として出力する加算手段（５２）
と、加算手段からの透かし入り量子化値から符号列を生
成して出力する符号変換手段（５６）と、を備えて構成
される。

【００３２】本発明は、その好ましい実施の形態におい
て、図５を参照すると、透かし信号発生手段は、前記原
信号変換係数と、前記単位視覚／聴覚歪と、前記電子透
かし情報と、から目標信号を算出して出力する目標信号
算出手段（２００）と、前記量子化情報と前記目標信号
に基づいて、前記透かし無し復号信号変換係数の値を変
更して、透かし仮挿入信号を生成し、該透かし仮挿入信
号を出力する透かし仮挿入手段（２０１）と、前記原信
号変換係数と、前記単位視覚／聴覚歪と、前記透かし仮
挿入手段から出力される透かし仮挿入信号とから、透か
し仮挿入信号の視覚／聴覚的劣化を示す値を算出し視覚
／聴覚的劣化度として出力する視覚／聴覚的劣化度算出
手段（２０３）と、前記電子透かし情報と、前記透かし
仮挿入手段から出力される透かし仮挿入信号と、前記視
覚／聴覚的劣化度算出手段から出力される視覚／聴覚的
劣化度から、透かし挿入制御信号を生成して出力する透
かし挿入判定手段（２０４）と、前記量子化情報と、前
記透かし無し復号信号変換係数と、前記透かし仮挿入手
段から出力される透かし仮挿入信号と、前記透かし挿入
判定手段から出力される透かし挿入制御信号とから透か
し信号を生成し出力する透かし信号生成手段（２０２）
と、を備えて構成される。

【００３３】本発明は、その好ましい実施の形態におい
て、図６を参照すると、透かし信号発生手段は、前記原
信号変換係数と、前記単位視覚／聴覚歪と、前記電子透
かし情報とから目標信号を算出して出力する目標信号算
出手段（２００）と、前記量子化情報と、前記電子透か
し情報と、前記目標信号算出手段から出力される目標信
号と、視覚／聴覚的劣化度算出手段から出力される視覚
／聴覚的劣化度に基づいて、透かし無し復号信号変換係
数の値を変更して透かし挿入信号を生成して出力する透
かし仮挿入手段（２３１）と、前記原信号変換係数と、
前記単位視覚／聴覚歪と、前記透かし仮挿入手段から出
力される透かし仮挿入信号と、から、透かし仮挿入信号
の視覚／聴覚的劣化度を算出し前記透かし仮挿入手段へ
出力する視覚／聴覚的劣化度算出手段（２３３）と、前
記量子化情報と、前記透かし無し復号信号変換係数と、
前記透かし仮挿入手段から出力される透かし挿入信号と
から透かし信号を生成し、出力する透かし信号生成手段
（２３２）とを備える。

【００３４】本発明は、その好ましい実施の形態におい
て、図２を参照すると、画像を符号化すると同時に電子
透かしを挿入するシステムであって、局所復号画像に動
き補償を行って、動き補償予測画像を生成し出力する手
段（８８）と、入力画像から動き補償予測画像を減じて
予測誤差画像を求めて出力する減算手段（８１）と、予
測誤差画像に対して空間周波数成分に投影する線形変換
を行い、予測誤差画像変換係数を求めて出力する第１の
線形変換手段（８２）と、予測誤差画像変換係数を量子
化して、量子化値を透かし無し量子化値として出力する
とともに、量子化情報を出力する量子化手段（８３）
と、透かし無し量子化値を逆量子化し、透かし無し逆量
子化値を出力する逆量子化手段（７４）と、動き補償予
測画像に、線形変換を行い、予測画像変換係数を求めて
出力する第２の線形変換手段（７３）と、透かし無し逆
量子化値と予測画像変換係数とを加算し、透かし無し復
号画像変換係数を出力する第１の加算手段（７５）と、
前記入力画像に前記線形変換を行い、原画像変換係数を
求めて出力する第３の線形変換手段（７１）と、原画像
変換係数から視覚モデルに基づいて前記原画像変換係数
それぞれに対応する単位視覚歪を算出して出力する単位
視覚歪算出手段（７２）と、透かし無し復号画像変換係
数と原画像変換係数と量子化情報と単位視覚歪と電子透
かし情報とから、目標信号を算出し、さらに前記単位視
覚歪に基づいて、画像全体として視覚的に歪が小さく、
かつ電子透かしの検出率を高めるように、透かし無し量
子化値を修正する量子化値修正信号を、目標信号から決
定し、これを透かし信号として出力する透かし信号発生
手段（７７）と、透かし無し量子化値と透かし信号とを
加算し、透かし入り量子化値を出力する第２の加算手段
（７６）と、透かし入り量子化値から符号列を生成し、
出力する符号変換手段（８４）と透かし入り量子化値を
逆量子化し、透かし入り逆量子化値を出力する逆量子化
手段（８５）と、透かし入り逆量子化値に前記線形変換
の逆変換を行い、局所復号予測誤差画像を求めて出力す
る逆線形変換手段（８６）と、局所復号予測誤差画像に
動き補償予測画像を加算し、加算結果を局所復号画像と
して出力する第３の加算手段（８７）と、を備える。

【００３５】本発明は、その好ましい実施の形態におい
て、図３を参照すると、画像を符号化すると同時に電子
透かしを挿入するシステムであって、局所復号画像に動
き補償を行って、動き補償予測画像を生成し、出力する
手段（８８）と、入力画像から動き補償予測画像を減じ
て予測誤差画像を求めて出力する減算手段（８１）と、
予測誤差画像に対して空間周波数成分に投影する線形変
換を行い、予測誤差画像変換係数を求めて出力する線形
変換手段（８２）と、予測誤差画像変換係数を量子化し
て、量子化値を透かし無し量子化値として出力するとと
もに、量子化情報を出力する量子化手段（８３）と、透
かし無し量子化値を逆量子化し、透かし無し復号画像変
換係数を出力する逆量子化手段（７４）と、予測誤差画
像変換係数から視覚モデルに基づいて予測誤差画像変換
係数それぞれに対応する単位視覚歪を算出して出力する
単位視覚歪算出手段（７２）と、前記透かし無し復号画
像変換係数と前記予測誤差画像変換係数と前記量子化情
報と前記単位視覚歪と前記電子透かし情報とから、目標
信号を算出し、さらに前記単位視覚歪に基づいて、画像
全体として視覚的に歪が小さく、かつ電子透かしの検出
率を高めるように、前記透かし無し量子化値を修正する
量子化値修正信号を、前記目標信号から決定し、これを
透かし信号として出力する透かし信号発生手段（９０）
と、前記透かし無し量子化値と前記透かし信号とを加算
し、加算結果を透かし入り量子化値として出力する加算
手段（７６）と、前記透かし入り量子化値から符号列を
生成し、出力する符号変換手段（８４）と、前記透かし
入り量子化値を逆量子化し、透かし入り逆量子化値を出
力する逆量子化手段（８５）と、前記透かし入り逆量子
化値に前記線形変換の逆変換を行い、局所復号予測誤差
画像を求めて出力する逆線形変換手段（８６）と、前記
局所復号予測誤差画像に前記動き補償予測画像を加算
し、加算結果を前記局所復号画像として出力する第２の
加算手段（８７）と、を備え、フレーム内符号化するフ
レームにのみ電子透かしを挿入する。

【００３６】本発明は、その好ましい実施の形態におい
て、図４を参照すると、画像を符号化すると同時に電子
透かしを挿入するシステムであって、入力画像に対して
空間周波数成分に投影する線形変換を行い、原画像変換
係数を求めて出力する第１の線形変換手段（図４の１０
１）と、局所復号画像に動き補償を行って、動き補償予
測画像を生成し出力する手段（図４の８８）と、前記動
き補償予測画像に前記線形変換を行い、予測画像変換係
数を求めて出力する第２の線形変換手段（図４の１０
２）と、前記原画像変換係数から前記予測画像変換係数
を減じて、減算結果を予測誤差画像変換係数として出力
する減算手段（図４の１０３）と、前記予測誤差画像変
換係数を量子化し、量子化値を透かし無し量子化値とし
て出力するとともに、量子化情報を出力する量子化手段
（図４の８３）と、前記透かし無し量子化値を逆量子化
し、透かし無し逆量子化値を出力する逆量子化手段（図
４の７４）と、前記予測画像変換係数に前記透かし無し
逆量子化値とを加算し、加算結果を透かし無し復号画像
変換係数を出力する第１の加算手段（図４の７５）と、
前記原画像変換係数から視覚モデルに基づいて、前記原
画像変換係数それぞれに対応する単位視覚歪を算出して
出力する単位視覚歪算出手段（図４の７２）と、前記透
かし無し復号画像変換係数と前記原画像変換係数と前記
量子化情報と前記単位視覚歪と電子透かし情報とから、
目標信号を算出して、さらに、前記単位視覚歪に基づい
て、画像全体として視覚的に歪が小さくかつ電子透かし
の検出率を高めるように前記透かし無し量子化値を修正
する量子化値修正信号を前記目標信号から決定して、こ
れを透かし信号として出力する透かし信号発生手段（図
４の７７）と、前記透かし無し量子化値と前記透かし信
号とを加算し、加算結果を透かし入り量子化値として出
力する第２の加算手段（図４の７６）と、前記透かし入
り量子化値から符号列を生成し出力する符号変換手段
（図４の８４）と前記透かし入り量子化値を逆量子化
し、透かし入り逆量子化値を出力する逆量子化手段（図
４の８５）と、前記透かし入り逆量子化値に前記線形変
換の逆変換を行い、局所復号予測誤差画像を求めて出力
する逆線形変換手段（図４の８６）と、前記局所復号予
測誤差画像に前記動き補償予測画像を加算し、加算結果
を前記局所復号画像を出力する第３の加算手段（図４の
８７）とを備える。

【００３７】本発明の実施の形態においては、（ａ）デ
ィジタル信号を周波数成分に投影する線形変換を行い、
原信号変換係数を出力する手段、（ｂ）前記原信号変換
係数を量子化し、量子化値を透かし無し量子化値として
出力するとともに、量子化情報を出力する手段、（ｃ）
前記透かし無し量子化値を逆量子化して、透かし無し復
号信号変換係数を出力する手段、（ｄ）前記原信号変換
係数から視覚／聴覚モデルに基づいて、前記原信号変換
係数それぞれに対応する単位視覚／聴覚歪を算出して出
力する手段、（ｅ）前記透かし無し復号信号変換係数と
前記原信号変換係数と前記量子化情報と前記単位視覚／
聴覚歪と電子透かし情報とから、目標信号を算出し、さ
らに、前記単位視覚／聴覚歪に基づいて、信号全体とし
て視覚／聴覚的に歪が小さく、かつ電子透かしの検出率
を高めるように、前記透かし無し量子化値を修正するよ
うな量子化値修正信号を前記目標信号から決定し、これ
を透かし信号として出力する手段、（ｆ）前記透かし無
し量子化値と前記透かし信号とを加算し、透かし入り量
子化値を出力する手段及び、（ｇ）前記透かし入り量子
化値から符号列を生成し、出力する手段、の上記（ａ）
〜（ｇ）の各手段は、電子透かし挿入システムを構成す
るコンピュータ（ＣＰＵ；ディジタル信号処理プロセッ
サも含む）でプログラムを実行することで実現するよう
にしてもよい。この場合、上記（ａ）〜（ｇ）の各手段
を機能させるためのプログラムは、ハードディスク、Ｒ
ＯＭ等に格納しておき、ＣＰＵで読み出し実行するよう
に構成される。本発明は、これらのプログラムを格納し
た記録媒体も含む。

【００３８】本発明の実施の形態においては、（ａ）局
所復号画像に動き補償を行って、動き補償予測画像を生
成し、出力する手段、（ｂ）入力画像から前記動き補償
予測画像を減じて予測誤差画像を求めて出力する手段、
（ｃ）前記予測誤差画像に対して空間周波数成分に投影
する線形変換を行い、予測誤差画像変換係数を求めて出
力する手段、（ｄ）前記予測誤差画像変換係数を量子化
して、量子化値を透かし無し量子化値として出力すると
ともに、量子化情報を出力する手段、（ｅ）前記透かし
無し量子化値を逆量子化し、透かし無し逆量子化値を出
力する手段、（ｆ）前記動き補償予測画像に前記線形変
換を行い、予測画像変換係数を求めて出力する手段、
（ｇ）前記透かし無し逆量子化値と前記予測画像変換係
数とを加算し、透かし無し復号画像変換係数を出力する
手段、（ｈ）前記入力画像に前記線形変換を行い、原画
像変換係数を求めて出力する手段、（ｉ）前記原画像変
換係数から視覚モデルに基づいて前記原画像変換係数そ
れぞれに対応する単位視覚歪を算出して出力する手段、
（ｊ）前記透かし無し復号画像変換係数と前記原画像変
換係数と前記量子化情報と前記単位視覚歪と電子透かし
情報とから、目標信号を算出し、さらに前記単位視覚歪
に基づいて、画像全体として視覚的に歪が小さく、かつ
電子透かしの検出率を高めるように、前記透かし無し量
子化値を修正する量子化値修正信号を、前記目標信号か
ら決定し、これを透かし信号として出力する手段、
（ｋ）前記透かし無し量子化値と前記透かし信号とを加
算し、透かし入り量子化値を出力する手段、（ｌ）前記
透かし入り量子化値から符号列を生成し、出力する手
段、（ｍ）前記透かし入り量子化値を逆量子化し、透か
し入り逆量子化値を出力する手段、（ｎ）前記透かし入
り逆量子化値に前記線形変換の逆変換を行い、局所復号
予測誤差画像を求めて出力する手段、（ｏ）前記局所復
号予測誤差画像に前記動き補償予測画像を加算し、加算
結果を前記局所復号画像として出力する手段、の上記
（ａ）〜（ｏ）の各手段は、電子透かし挿入システムを
構成するコンピュータ（ＣＰＵ；ディジタル信号処理プ
ロセッサも含む）でプログラムを実行することで実現す
るようにしてもよい。この場合、上記（ａ）〜（ｏ）の
各手段を機能させるためのプログラムは、ハードディス
ク、ＲＯＭ等に格納しておき、ＣＰＵで読み出し実行す
るように構成される。本発明は、これらのプログラムを
格納した記録媒体も含む。

【００３９】本発明の実施の形態においては、（ａ）入
力画像に対して空間周波数成分に投影する線形変換を行
い、原画像変換係数を求めて出力する手段、（ｂ）局所
復号画像に動き補償を行って、動き補償予測画像を生成
し、出力する手段、（ｃ）前記動き補償予測画像に前記
線形変換を行い、予測画像変換係数を求めて出力する手
段、（ｄ）前記原画像変換係数から前記予測画像変換係
数を減じて、結果を予測誤差画像変換係数として出力す
る手段、（ｅ）前記予測誤差画像変換係数を量子化し、
量子化値を透かし無し量子化値として出力するととも
に、量子化情報を出力する手段、（ｆ）前記透かし無し
量子化値を逆量子化し、透かし無し逆量子化値を出力す
る手段、（ｇ）前記予測画像変換係数に前記透かし無し
逆量子化値とを加算し、透かし無し復号画像変換係数を
出力する手段、（ｈ）前記原画像変換係数から視覚モデ
ルに基づいて、前記原画像変換係数それぞれに対応する
単位視覚歪を算出して出力する手段、（ｉ）前記透かし
無し復号画像変換係数と前記原画像変換係数と前記量子
化情報と前記単位視覚歪と電子透かし情報とから、目標
信号を算出して、さらに、前記単位視覚歪に基づいて、
画像全体として視覚的に歪が小さくかつ電子透かしの検
出率を高めるように前記透かし無し量子化値を修正する
量子化値修正信号を前記目標信号から決定して、これを
透かし信号として出力する手段、（ｊ）前記透かし無し
量子化値と前記透かし信号とを加算し、透かし入り量子
化値として出力する手段、（ｋ）前記透かし入り量子化
値から符号列を生成し、出力する手段、（ｌ）前記透か
し入り量子化値を逆量子化し、透かし入り逆量子化値を
出力する手段、（ｍ）前記透かし入り逆量子化値に前記
線形変換の逆変換を行い、局所復号予測誤差画像を求め
て出力する手段、（ｎ）前記局所復号予測誤差画像に前
記動き補償予測画像を加算し、前記局所復号画像を出力
する手段との上記（ａ）〜（ｎ）の各手段は、電子透か
し挿入システムを構成するコンピュータ（ＣＰＵ；ディ
ジタル信号処理プロセッサも含む）でプログラムを実行
することで実現するようにしてもよい。この場合、上記
（ａ）〜（ｎ）の各手段を機能させるためのプログラム
は、ハードディスク、ＲＯＭ等に格納しておき、ＣＰＵ
で読み出し実行するように構成される。本発明は、これ
らのプログラムを格納した記録媒体も含む。

【００４０】

【実施例】本発明の実施例について図面を参照して以下
に詳細に説明する。

【００４１】[実施例１]図１は、本発明の第１の実施例
の構成を示すブロック図である。図１を参照すると、本
発明の第１の実施例において、線形変換回路５０は、入
力ディジタル信号に線形変換を行い、得られた変換係数
を、原信号変換係数として、量子化器５１と単位視覚／
聴覚歪算出回路５５と透かし信号発生回路５４とへ出力
する。

【００４２】量子化器５１は、線形変換回路５０から出
力される原信号変換係数を量子化し、量子化値を透かし
無し量子化値として逆量子化器５３と加算器５２とへ出
力するとともに、量子化情報を透かし信号発生回路５４
へ出力する。

【００４３】逆量子化器５３は、量子化器５１から出力
される透かし無し量子化値を逆量子化し、透かし無し復
号信号変換係数として，透かし信号発生回路５４へ出力
する。

【００４４】単位視覚／聴覚歪算出回路５５は、線形変
換回路５０から出力される原信号変換係数から単位視覚
／聴覚歪を算出し、透かし信号発生回路５４へ出力す
る。

【００４５】透かし信号発生回路５４は、逆量子化器５
３から出力される透かし無し復号信号変換係数と、線形
変換回路５０から出力される原信号変換係数と、電子透
かし情報と、量子化器５１から出力される量子化情報
と、単位視覚／聴覚歪算出回路５５から出力される単位
視覚／聴覚歪と、から、透かし信号を計算し、透かし信
号を加算器５２へ出力する。

【００４６】加算器５２は、量子化器５１から出力され
る透かし無し量子化値と、透かし信号発生回路５４から
出力される透かし信号と、を加算して、加算結果を、透
かし入り量子化値として符号変換器５６へ出力する。

【００４７】符号変換器５６は、加算器５２から出力さ
れる透かし入り量子化値から符号列を生成して出力す
る。

【００４８】次に、図１に示した回路の動作について説
明する。

【００４９】入力ディジタル信号は、線形変換回路５０
に入力され、ここで線形変換が行われる。線形変換と
は、ディジタル信号を周波数成分に変換する変換を意味
し、例えば、ＤＣＴや、離散アダマール変換、フーリエ
変換、カルーネン・レーベ変換などの直交変換や、ウェ
ーブレット変換などのフィルタ変換がこれに相当する。
例えば、入力ディジタル信号が画像信号でこれをJPEG符
号化する場合には、線形変換として、８×８ＤＣＴが用
いられる。８×８ＤＣＴの場合には、入力ディジタル信
号である画像信号は、８×８のブロックに分割され、各
ブロックに対してＤＣＴが行なわれる。

【００５０】一方、線形変換としてウェーブレット変換
などのフィルタ変換が用いられる場合には、画像全体に
フィルタ処理が行なわれる。このようにして求まった変
換係数は、原信号変換係数として出力される。

【００５１】原信号変換係数は、量子化器５１において
量子化が行われる。例えば、ＪＰＥＧ符号化を行う場合
には、量子化テーブルに基づいて量子化特性が決定さ
れ、各変換係数は量子化される。そして、量子化値は、
透かし無し量子化値として出力される。また、この量子
化で用いられた量子化情報も同時に出力される。量子化
情報としては、例えばＪＰＥＧであれば量子化テーブル
の値である。あるいは、量子化幅そのものであってもよ
い。あるいは、量子化特性を一意に定めるためのインデ
ックスであってもよい。

【００５２】透かし無し量子化値は、逆量子化器５３で
逆量子化され、結果は、透かし無し復号信号変換係数と
して出力される。この透かし無し復号信号変換係数は、
電子透かしを挿入しない場合に復号器で得られる復号信
号に対して線形変換を行って求まる変換係数に、整数化
や演算精度の違いによって生じる微小な誤差を除いて一
致する。

【００５３】一方、線形変換回路５０で得られた変換係
数は、単位視覚／聴覚歪算出回路５５へも入力され、単
位視覚／聴覚歪算出回路５５では、各変換係数に対応す
る単位視覚／聴覚歪が算出される。

【００５４】ここで、単位視覚／聴覚歪とは、入力信号
が画像の場合には画質の視覚的な劣化の尺度となる量
で、この量を基準として視覚的劣化の度合を表す。

【００５５】また入力信号が音声または音響信号の場合
には、単位視覚／聴覚歪は音質の聴覚的な劣化の尺度と
なる量で、この量を基準として聴覚的な劣化の度合を表
す。この量としては、例えば、ＪＮＤ（Just Noticeab
le Difference）がある。ＪＮＤは文字通り、人間の目
や耳が違いを識別できる限界値であり、この値よりも小
さい差は、人間の目や耳では検知できない。

【００５６】単位視覚／聴覚歪はＪＮＤそのものであっ
てもよいし、これを定数倍したものであってもよい。単
位視覚／聴覚歪は視覚／聴覚モデルに基づいて計算され
る。視覚／聴覚モデルとしては、任意の視覚／聴覚モデ
ルを用いることが可能である。例えば、入力信号が画像
で、線形変換回路５０で線形変換として、８×８ＤＣＴ
を行う場合には、文献３（SPIE，vol.1913（1993)，pp.
202-216，「DCT quantization matrices visually
optimized for individual images」（Andrew B. Wa
tson著)）のモデルを用いてＪＮＤを計算し、これを単
位視覚／聴覚歪として用いることができる。

【００５７】単位視覚／聴覚歪は、各変換係数ごとに異
なるため、変換係数ごとに算出される。ただし、電子透
かしの挿入に関係しない変換係数に対しては、これを求
める必要はない。このようにして、各変換係数の単位視
覚／聴覚歪が求まり、出力される。

【００５８】そして、透かし信号発生回路５４におい
て、透かし無し復号変換係数と原信号変換係数と電子透
かし情報と量子化情報と単位視覚／聴覚歪とを用いて透
かし信号が生成され、出力される。この動作の詳細は後
述する。さらに加算器５２において、透かし信号は、対
応する透かし無し量子化値に加算され、結果は透かし入
り量子化値として出力される。透かし入り量子化値は符
号変換器５６において符号列に変換される。例えば、入
力ディジタル信号が画像の場合には、ジグザグスキャン
などによって一次元に走査された後、ハフマン符号化や
算術符号化によって符号列に変換され、出力される。符
号列を生成する際には、量子化情報などの付加情報も一
緒に多重化される。

【００５９】次に、本発明の第１の実施例における透か
し信号発生回路５４の詳細について説明する。図５は、
本発明の第１の実施例における、透かし信号発生回路５
４の構成の一例を示すブロック図である。図５を参照し
て、透かし信号発生回路の構成について説明する。

【００６０】図５を参照すると、目標信号算出回路２０
０、透かし仮挿入器２０１、透かし信号生成回路２０
２、聴覚／聴覚的劣化度算出回路２０３、及び透かし挿
入判定回路２０４を備えて構成されている。目標信号算
出回路２００は、原信号変換係数と単位視覚／聴覚歪と
電子透かし情報とから目標信号を算出して、透かし仮挿
入器２０１へ出力する。透かし仮挿入器２０１は、量子
化情報と目標信号算出回路２００から出力される目標信
号に基づいて、透かし無し復号信号変換係数の値を変更
して透かし仮挿入信号を生成し、これを視覚／聴覚的劣
化度算出回路２０３と透かし挿入判定回路２０４と透か
し信号生成回路２０２へ出力する。

【００６１】視覚／聴覚的劣化度算出回路２０３は、原
信号変換係数と単位視覚／聴覚歪と透かし仮挿入器２０
１から出力される透かし仮挿入信号とから、透かし仮挿
入信号の視覚／聴覚的劣化を示す値を算出し、視覚／聴
覚的劣化度として透かし挿入判定回路２０４へ出力す
る。

【００６２】透かし挿入判定回路２０４は、電子透かし
情報と透かし仮挿入器２０１から出力される透かし仮挿
入信号と視覚／聴覚的劣化度算出回路２０３から出力さ
れる視覚／聴覚的劣化度から、透かし挿入制御信号を生
成し、透かし信号生成回路２０２へ出力する。

【００６３】透かし信号生成回路２０２は、量子化情報
と透かし無し復号信号変換係数と透かし仮挿入器２０１
から出力される透かし仮挿入信号と透かし挿入判定回路
２０４から出力される透かし挿入制御信号とから、透か
し信号を生成し、出力する。

【００６４】次に、図５に示した回路の詳細な動作につ
いて説明する。原信号変換係数と単位視覚／聴覚歪と電
子透かし情報とは目標信号算出回路２００に入力され
る。目標信号算出回路２００では、原信号変換係数と挿
入すべき電子透かし情報とから、透かし挿入後に変換係
数がとるべき値が算出される。そして、この値は目標信
号として出力される。目標信号は、変換係数そのもので
あってもよいし、変換係数になんらかの変換を行って得
られる値でもよい。どのように目標信号を求めるかは、
用いる電子透かし挿入、検出方法に依存して決定され
る。

【００６５】目標信号の算出に用いる電子透かし挿入方
法としては、変換係数ドメインで電子透かしを挿入する
任意の方法を用いることができる。例えば、図１の線形
変換回路５０において、ＪＰＥＧなどで用いられる８×
８ＤＣＴを行う場合には、前記文献１「ディジタル画像
の著作権保護のための周波数領域における電子透かし方
式」に示される方式などの従来方式を含め、任意の８×
８ＤＣＴベースの電子透かし挿入方法を用いることがで
きる。この目標信号の算出に当たっては、単位視覚／聴
覚歪を考慮して、視覚歪が目立ちにくいような目標信号
を算出することも可能である。

【００６６】目標信号は透かし仮挿入器２０１へ入力さ
れ、ここで、透かし仮挿入信号が算出される。透かし仮
挿入信号は、透かし無し復号信号変換係数を、目標信号
に近づくように変化させることにより求める。ただし、
復号器側で逆量子化して復号するとき、この値は量子化
情報によって定まる離散的な値しか取り得ないことを考
慮して、変化させる際も、復号器で復号する際に取り得
る離散的な値の間で変化させる。例えば、透かし無し復
号信号変換係数を求めるとき、線形量子化によって量子
化を行ったならば、逆量子化値として取り得る値は、等
しい量子化ステップ間隔の値しか取り得ないため、量子
化ステップ幅の整数倍の値で増減させる。

【００６７】透かし仮挿入器２０１から出力される透か
し仮挿入信号は、視覚／聴覚的劣化度算出回路２０３へ
入力される。視覚／聴覚的劣化度算出回路２０３では、
各透かし仮挿入信号値と、対応する原信号変換係数の差
分が算出される。そして、これが、対応する単位視覚／
聴覚歪の何倍に相当するかが計算され、この値が視覚／
聴覚的劣化度として出力される。

【００６８】透かし仮挿入器２０１から出力される透か
し仮挿入信号は、透かし挿入判定回路２０４へも入力さ
れる。ここでは、以下に述べるような方法によって、電
子透かし情報を用いて透かし仮挿入信号が有効であるか
を判定する。

【００６９】透かし仮挿入信号は、量子化の影響のため
に、目標信号とは必ずしも一致せず、ある程度のずれが
生じる。透かし挿入判定回路２０４では、まず、このず
れが電子透かしの検出に与える影響を各透かし仮挿入信
号値に対して調べる。この部分は、どのような方式によ
って電子透かしを検出するかに依存する。量子化の影響
を調べる方式としては、実際に電子透かしの検出を試み
て、仮挿入した透かし信号が検出に寄与するかどうかを
調べればよい。あるいは、実際に検出を行わなくても、
これに類似する操作によって影響を調べる方式など、様
々な方式を用いることが可能である。

【００７０】もし、このずれが検出の劣化にはつながら
ない場合には、さらに対応する視覚／聴覚的劣化度を調
べる。そして、劣化が小さい場合には、実際に透かしを
挿入してもよいと判定して、挿入を許可する制御信号
（ＯＮ信号値)を出力する。この判定方式としては、例
えば、閾値を用いて、劣化度の絶対値が閾値以下のとき
のみ挿入を許可する方式などが考えられる。

【００７１】一方、前述のずれによって、電子透かしの
挿入が意味をなさない場合や、誤検出の原因になるな
ど、逆に検出に悪影響を及ぼす場合については、挿入を
禁止する制御信号（ＯＦＦ信号値)を出力する。

【００７２】以上の判定を、各透かし仮挿入信号値に対
して行い、各透かし挿入信号値に対応する制御信号値
は、透かし生成回路２０２へ出力される。

【００７３】さらに、透かし仮挿入器から出力される透
かし仮挿入信号は、透かし信号生成回路２０２へも入力
される。透かし信号生成回路２０２では、透かし挿入判
定回路２０４から出力される透かし挿入制御信号に基づ
いて、透かしの挿入の是非を判断し、透かし信号を生成
する。透かし挿入制御信号値がＯＮとなる透かし仮挿入
信号値に対しては、これと透かし無し復号信号変換係数
との差分を求め、量子化情報を用いてその差分を量子化
された値に換算して、透かし信号値として出力する。一
方、透かし挿入制御信号がＯＮでない場合、透かし信号
値として０を出力する。このようにして、透かし信号値
が生成され、出力される。

【００７４】なお、図５に示した透かし挿入判定回路２
０４において、挿入される電子透かしの強度を判定し
て、これが所定の条件を満たさない場合は、目標信号算
出回路２００に対して、目標信号の再計算を要求するよ
うになっていても良い。すなわち、透かし強度が所定の
条件を満たさない場合は、より強い強度の透かしを埋め
込むための目標信号を計算するよう、目標信号算出回路
２００に要求する。目標信号算出回路２００では、この
要求を受けると、再度目標信号を計算し、上述の手順で
再度透かし信号の算出が行われる。このように、透かし
挿入判定回路での判定結果をフィードバックすること
で、電子透かしの強度を適応的に制御できる。

【００７５】上記した、透かし信号発生回路は、電子透
かし挿入方式に依存して、様々な形態で実施が可能であ
る。

【００７６】次に、上述の構成を、前記文献１「ディジ
タル画像の著作権保護のための周波数領域における電子
透かし方式」に示される電子透かし方式に応用して、こ
の挿入方式を改良する例について述べる。この方式に応
用する場合、図１に示す回路に入力されるディジタル信
号は画像であり、線形変換回路５０で行われる線形変換
は、８×８ＤＣＴとする。

【００７７】図５に示した回路のうち、視覚／聴覚的劣
化度算出回路２０３と透かし信号生成回路２０２の動作
については、電子すかし挿入方式には特に依存せず、前
述の通りであるため、これ以外の回路について述べる。

【００７８】目標信号算出回路２００は、電子透かし情
報の０、１に応じて、前記数１または数２によって求ま
る透かし挿入後の変換係数ｑを、目標信号として算出
し、出力する回路として構成される。

【００７９】透かし仮挿入器２０１は、目標信号に近づ
くように、透かし無し復号信号変換係数を量子化情報に
従って変化させ、透かし仮挿入信号を算出する回路であ
る。例えば、各目標信号値を量子化情報に従って量子化
した値を、透かし仮挿入信号として計算する回路が考え
られる。視覚／聴覚的劣化度算出回路２０３は、前述の
通り、各透かし仮挿入信号の視覚的劣化度を算出して出
力する。透かし挿入判定回路２０４は、電子透かし情報
を用いて、透かし仮挿入信号に対して前記数3、数4、数
5に従って判定を試み、実際に挿入した電子透かし情報
と判定された電子透かし情報とが一致する透かし仮挿入
信号値を選択する。さらに、選択された透かし仮挿入信
号値に対して視覚的劣化度を調べ、この値がある一定値
以下であるならば、その透かし仮挿入信号値に対する透
かし挿入制御信号値をＯＮにする。他方、それ以外の透
かし仮挿入信号値については、透かし挿入制御信号値を
ＯＦＦにする。この透かし挿入制御信号値を透かし信号
生成回路２０２へ出力する。

【００８０】また、上述のＤＣＴを行う部分をウェーブ
レット変換に変えることで、上述の実施例を、前記文献
２「多重解像度解析によるデジタル画像への電子透かし
法」に示される電子透かし方式に応用し、改良する方式
を、同様にして構成できる。

【００８１】図６は、本発明の第１の実施例における、
透かし信号発生回路５４の別の構成の一例を示すブロッ
ク図である。図６を参照して、透かし信号発生回路の構
成について説明する。

【００８２】目標信号算出回路２００は、原信号変換係
数と単位視覚／聴覚歪と電子透かし情報とから目標信号
を算出して、透かし仮挿入器２３１へ出力する。透かし
仮挿入器２３１は、量子化情報と電子透かし情報と目標
信号算出回路２００から出力される目標信号と視覚／聴
覚的劣化度算出回路２３３から出力される視覚／聴覚的
劣化度に基づいて、透かし無し復号信号変換係数の値を
変更して透かし挿入信号を生成し、これを透かし信号生
成回路２３２へ出力する。また、透かし仮挿入信号を視
覚／聴覚的劣化度算出回路２３３へ出力する。

【００８３】視覚／聴覚的劣化度算出回路２３３は、原
信号変換係数と単位視覚／聴覚歪と透かし仮挿入器２３
１から出力される透かし仮挿入信号とから、透かし仮挿
入信号の視覚／聴覚的劣化度を算出し、透かし仮挿入器
２３１へ出力する。

【００８４】透かし信号生成回路２３２は、量子化情報
と透かし無し復号信号変換係数と透かし仮挿入器２３１
から出力される透かし挿入信号とから透かし信号を生成
し、出力する。

【００８５】次に、図６に示した透かし信号発生回路２
３５の詳細な動作について説明する。

【００８６】原信号変換係数と単位視覚／聴覚歪と電子
透かし情報とは目標信号算出回路２００に入力される。
目標信号算出回路２００の動作は、図５に示したのもの
と同様であり、目標信号が算出され、透かし仮挿入器２
３１へ出力される。

【００８７】透かし仮挿入器２３１では、透かし挿入信
号が算出される。これは、透かし無し復号信号変換係数
を、目標信号に近づくように変化させることにより求め
る。透かし仮挿入器２３１は、図５に示した透かし仮挿
入器２０１において透かし仮挿入信号を算出したときと
同様にして、透かし挿入信号を算出する。さらに、透か
し仮挿入器２３１は、透かし仮挿入信号も算出する。こ
れは、透かし挿入信号の各値を更新するとしたらいくら
に更新するか、すなわち、透かし挿入信号の次の更新値
を表す値である。そして、透かし無し復号信号変換係数
値を、透かし挿入信号よりも、数量子化ステップ分だけ
余分に変化させた値とする。簡単には、１量子化ステッ
プ分だけ余分に変化させた値にすればよい。あるいは、
何量子化ステップ分変化させるかを決定するのに、電子
透かし情報を用いてもよい。そして、透かし仮挿入信号
は、視覚／聴覚的劣化度算出回路２３３へ出力される。
一方、透かし挿入信号については、透かし仮挿入器２３
１の内部にある記憶装置にその値が保持される。

【００８８】視覚／聴覚的劣化度算出回路２３３の動作
は、図５に示した視覚／聴覚的劣化度算出回路２０３と
同様であり、視覚／聴覚的劣化度が求まり、透かし仮挿
入器２３１へ出力される。透かし仮挿入器２３１では、
この視覚／聴覚的劣化度から、現在の透かし挿入信号値
を、さらに量子化ステップ１つ分（あるいは数ステップ
分）だけ変化させると、視覚／聴覚的劣化度がいくらに
なるかがわかる。すなわち、この値が小さくなる透かし
仮挿入信号値に関しては、さらに、１量子化ステップ分
（あるいは数量子化ステップ分）だけ値を変化させて
も、視覚／聴覚的劣化が小さいことがわかる。

【００８９】そこで、透かし仮挿入器２３１では、この
視覚／聴覚的劣化度が小さいものから優先的に透かし挿
入信号値を変化させていく。すなわち、記憶装置内に保
持されている値を更新していく。そして、目標信号に近
くなった時点で透かし挿入信号値の更新を停止し、最終
的に求まった透かし挿入値を透かし信号生成回路２３２
へ出力する。

【００９０】透かし信号生成回路２３２の動作は、図５
に示した透かし信号生成回路２０２と同様であるが、入
力信号が透かし仮挿入信号から透かし挿入信号へ変わっ
ている。また、透かし挿入制御信号によって透かしを挿
入するか否かを制御しない。すなわち、図５に示した透
かし信号生成回路２０２において、透かし挿入制御信号
が常にＯＮである場合と同様の動作をして、透かし信号
を出力する。

【００９１】次に、前記文献１「ディジタル画像の著作
権保護のための周波数領域における電子透かし方式」に
示される電子透かし方式に応用した場合の、透かし信号
発生回路５４の具体的な構成について、図１及び図６を
参照して説明する。

【００９２】この方式に応用する場合、前述の通り、図
１に示した回路に入力されるディジタル信号は画像であ
り、線形変換回路５０で行われる線形変換は、８×８Ｄ
ＣＴとする。

【００９３】目標信号算出回路２００は、電子透かし情
報の０、１に応じて、前記数1または数2によって求まる
透かし挿入後の変換係数qを、目標信号として算出し、
出力する回路として構成される。

【００９４】透かし仮挿入器２３１では、まず、透かし
挿入信号値を入力される透かし無し復号信号変換係数値
と同じ値にセットする。次に、各透かし挿入信号値を数
量子化ステップ分だけ変化させて、対応する透かし仮挿
入信号値を計算する。このとき、変化させる方向、すな
わち、量子化ステップを加算するか減算するかは、目標
信号値と比べて、透かし挿入信号値が大きいか小さいか
によって決まる。もし、透かし挿入信号値が大きい場合
は、量子化ステップを減じ、そうでなければ量子化ステ
ップを加える。このとき、何量子化ステップ分変化させ
るかは、電子透かし情報と比較して、正しく検出できる
かどうかによって決定する。すなわち、量子化ステップ
１つ分、２つ分、と変化させていったとき、透かし仮挿
入信号から正しく電子透かし情報が検出できる最小の値
を選択する。このようにして透かし仮挿入値を決定す
る。

【００９５】次に、求まった透かし仮挿入信号値は、視
覚／聴覚的劣化度算出回路２３３へ入力され、透かし仮
挿入信号値それぞれに対する視覚的劣化度が算出され、
透かし仮挿入器２３１へ出力される。透かし仮挿入器２
３１では、入力された視覚的劣化度が小さくなるものを
選択し、記憶装置に保持されている透かし挿入信号値を
透かし仮挿入信号値に更新する。このとき、この透かし
仮挿入信号値も対応して更新される。透かし仮挿入信号
値の決定法は上述の通りである。

【００９６】正しく検出できる透かし情報の割合が一定
の条件を満たすまで、上述の操作を繰り返す。あるい
は、各透かし仮挿入信号値に対する視覚的劣化度が、ど
れも所定の値よりも大きくなった場合は、そこで更新を
終了する。あるいは、上述の繰り返しを所定の回数行っ
たらそこで更新を終了するようにしてもよい。

【００９７】そして、最終的に求まった透かし挿入信号
を透かし信号生成回路２３２へ出力する。透かし信号生
成回路２３２の動作は前述のとおりであり、透かし信号
が算出され、出力される。

【００９８】また、上述のＤＣＴを行う部分をウェーブ
レット変換に変えることで、上述の実施例を前記文献２
「多重解像度解析によるデジタル画像への電子透かし
法」に示される電子透かし方式に応用し、改良する方式
を、同様にして構成できる。

【００９９】以上説明した本発明の第１の実施例は、非
可逆圧縮による電子透かしデータの劣化を防ぎ、かつ、
視覚／聴覚的な劣化を抑える信号の電子透かし挿入方式
を与える。

【０１００】[実施例２]次に、本発明の第２の実施例に
ついて図面を参照して詳細に説明する。図２は、本発明
の第２の実施例の構成を示すブロック図である。図２を
参照すると、減算器８１は、フレームメモリ８８から出
力される動き補償予測画像を入力画像から減じて、結果
を予測誤差画像として線形変換回路８２へ出力する。

【０１０１】線形変換回路８２は、減算器８１から出力
される予測誤差画像に線形変換を行って、得られる変換
係数を予測誤差画像変換係数として量子化器８３へ出力
する。

【０１０２】量子化器８３は、線形変換回路８２から出
力される予測誤差画像変換係数を量子化し、量子化値を
透かし無し量子化値として逆量子化器７４と加算器７６
へ出力し、さらに量子化情報を透かし信号発生回路７７
へ出力する。

【０１０３】線形変換回路７１は、入力画像に線形変換
を行って、結果を原画像変換係数として透かし信号発生
回路７７と単位視覚歪算出回路７２へ出力する。

【０１０４】単位視覚歪算出回路７２は、線形変換回路
７１から出力される原画像変換係数から単位視覚歪を算
出し、透かし信号発生回路７７へ出力する。

【０１０５】線形変換回路７３は、フレームメモリ８８
から出力される動き補償予測画像にＤＣＴを行って、得
られる変換係数を予測画像変換係数として加算器７５へ
出力する。

【０１０６】逆量子化器７４は、量子化器８３から出力
される透かし無し量子化値を逆量子化し、結果を透かし
無し逆量子化値として加算器７５へ出力する。

【０１０７】加算器７５は、線形変換回路７３から出力
される予測画像変換係数と逆量子化器７４から出力され
る透かし無し逆量子化値とを加算して、結果を透かし無
し復号画像変換係数として透かし信号発生回路７７へ出
力する。

【０１０８】透かし信号発生回路７７は、加算器７５か
ら出力される透かし無し復号画像変換係数と、線形変換
回路７１から出力される原画像変換係数と、電子透かし
情報と、量子化器８３から出力される量子化情報と、単
位視覚歪算出回路７２から出力される単位視覚歪とから
透かし信号を算出し、透かし信号を加算器７６へ出力す
る。

【０１０９】加算器７６は、量子化器８３から出力され
る透かし無し量子化値に透かし信号発生回路７７から出
力される透かし信号を加算し、結果を透かし入り量子化
値として符号変換器８４と逆量子化器８５へ出力する。

【０１１０】符号変換器８４は、加算器７６から出力さ
れる透かし入り量子化値に可変長符号化を行って、符号
列を生成して出力する。

【０１１１】逆量子化器８５は、加算器７６から出力さ
れる透かし入り量子化値を逆量子化して、結果を透かし
入り逆量子化値として逆線形変換回路８６へ出力する。

【０１１２】逆線形変換回路８６は、逆量子化器８５か
ら出力される透かし入り逆量子化値に逆線形変換を行っ
て、得られる変換係数を局所復号予測誤差画像として加
算器８７へ出力する。

【０１１３】加算器８７は、逆線形変換回路８６から出
力される局所復号予測誤差画像にフレームメモリ８８か
ら出力される動き補償予測画像を加算して、局所復号画
像をフレームメモリ８８へ出力する。

【０１１４】フレームメモリ８８は、加算器８７から出
力される局所復号画像に動き補償を行って、動き補償予
測画像を減算器８１と加算器８７と線形変換回路７３へ
出力する。

【０１１５】次に、図２に示した回路の動作について説
明する。

【０１１６】入力画像は、減算器８１に入力され、ここ
でフレームメモリ８８から出力される動き補償予測画像
が入力画像から減じられ、予測誤差画像が求まる。フレ
ームメモリ８８の動作は後述する。求まった予測誤差画
像は、線形変換回路８２において線形変換が行われ、求
まった変換係数は、予測誤差画像変換係数として出力さ
れる。図１に示した回路と同様に、線形変換としてはさ
まざまな変換が可能である。MPEGやH.261、H.263等の国
際標準画像符号化方式の場合には、線形変換として８×
８ＤＣＴが行われる。予測誤差画像変換係数は、量子化
器８３に入力され、量子化される。例えば、ＭＰＥＧ符
号化を行う場合には、量子化マトリクスとマクロブロッ
クごとに定まる量子化スケール値に基づいて量子化特性
が決定され、各変換係数は量子化される。そして、量子
化値は透かし無し量子化値として出力される。また、こ
の量子化で用いられた量子化情報も同時に出力される。
量子化情報としては、例えばＭＰＥＧであれば量子化マ
トリクスの値、量子化スケール値である。あるいは、量
子化幅そのものであってもよい。あるいは、量子化特性
を一意に定めるためのインデックスであってもよい。透
かし無し量子化値は逆量子化器７４で逆量子化され、結
果は透かし無し逆量子化値として出力される。

【０１１７】また、フレームメモリ８８から出力される
動き補償予測画像は、線形変換回路７３へ入力され、動
き補償予測画像に対して、線形変換回路８２と同様の線
形変換が行われる。そして得られた変換係数は、予測画
像変換係数として出力される。予測画像変換係数は、加
算器７５へ入力され、逆量子化器７４から出力される透
かし無し逆量子化値に加算される。そして、得られた結
果は透かし無し復号画像変換係数として出力される。な
お、透かし無し復号画像変換係数は、電子透かしを挿入
しない場合に、復号器で得られる復号画像にＤＣＴを行
って求まる変換係数と、整数化、演算精度等に起因する
微小な誤差を除いて等しくなる。

【０１１８】一方、入力画像は、線形変換回路７１へも
入力され、線形変換回路８２と同様の線形変換が行われ
る。そして、求まった変換係数は、原画像変換係数とし
て出力される。原画像変換係数は、単位視覚歪算出回路
７２へ入力される。単位視覚歪算出回路７２の動作は図
1の単位視覚／聴覚歪算出回路５５と同様であり、各原
画像変換係数に対する単位視覚歪が算出され、出力され
る。

【０１１９】そして、透かし信号発生回路７７におい
て、透かし無し復号画像変換係数と原画像変換係数と電
子透かし情報と量子化情報と単位視覚歪とを用いて透か
し信号が生成され、出力される。

【０１２０】透かし信号発生回路７７の動作は、図１に
示した透かし信号発生回路５４と同様である。ただし、
透かし信号を生成する際に用いるパラメータ等は、画像
の符号化モードを示すピクチャタイプやマクロブロック
タイプ、あるいは動き補償モードなどに応じて異なって
いてもよい。

【０１２１】透かし信号は、加算器７６において、量子
化器８３から出力される透かし無し量子化値に加算さ
れ、その結果は透かし入り量子化値として出力される。
透かし入り量子化値は、符号変換器８４において、ジグ
ザグスキャン、オルタネートスキャンなどによって一次
元に走査された後、ハフマン符号化や算術符号化によっ
て符号列に変換され、出力される。符号列を生成する際
には、量子化パラメータなどの画像の符号化復号処理で
必須な付加情報も一緒に多重化される。

【０１２２】さらに、加算器７６から出力される透かし
入り量子化値は、逆量子化器８５で逆量子化され、さら
に逆線形変換回路８６において線形変換回路８２で行わ
れた変換の逆変換が行われ、局所復号予測誤差画像が求
まる。例えば、線形変換回路８２で８×８ＤＣＴが行わ
れる場合には、逆線形変換回路８６では、８×８逆ＤＣ
Ｔが行われる。加算器８７では、局所復号予測誤差画像
に、フレームメモリ８８から出力される動き補償予測画
像が加算され、局所復号画像が求まる。これは、フレー
ムメモリ８８に入力され、蓄積される。フレームメモリ
８８では、過去に局所復号された局所復号画像が蓄えら
れており、これを参照画像として動き補償が行われ、動
き補償予測画像が生成、出力される。

【０１２３】[実施例３]図２に示した前記第２の実施例
の回路では、フレーム間符号化を行うフレームについて
も電子透かしを挿入している。そのかわりに、フレーム
内符号化するフレームのみに電子透かしを挿入すること
も可能である。

【０１２４】図３は、本発明の第３の実施例の構成を示
す図であり、内符号化するフレームにのみ電子透かしを
挿入する符号化器の構成を示すブロック図である。図２
に示した回路と比べると、図３に示す回路構成において
は、線形変換回路７１、線形変換回路７３、加算器７５
が無く、透かし信号発生回路７７のかわりに、透かし信
号発生回路９０が設けられている。そして、逆量子化器
７４から出力される透かし無し逆量子化は透かし信号発
生回路９０へ出力され、線形変換回路８２から出力され
る予測誤差画像変換係数は、単位視覚歪算出回路７２と
透かし信号発生回路９０へも出力されている。それ以外
の構成は、図２に示した構成と同じである。

【０１２５】フレーム内符号化を行う場合には、フレー
ムメモリ８８からは動き補償予測画像は出力されない。
このため、減算器８１の出力は原画像と同じである。し
たがってこの場合は、図２において線形変換回路８２の
出力と線形変換回路７１の出力は一致するため、１つの
線形変換回路で十分である。このため、図３に示す回路
では、線形変換回路８２から出力される予測誤差画像変
換係数は、単位視覚歪算出回路７２と透かし信号発生回
路９０へも出力されている。

【０１２６】また、フレーム内符号化の場合は、図２に
おいて加算器７５の出力は逆量子化器７４から出力され
る透かし無し逆量子化値と一致するため、図３に示す回
路では、線形変換回路７３、加算器７５を除き、逆量子
化器７４から出力される透かし無し逆量子化値がそのま
ま透かし信号発生回路９０へ入力されている。

【０１２７】透かし信号発生回路９０からは、フレーム
内符号化するときは透かし信号が出力され、フレーム間
符号化を行うときは、透かし信号として０が出力され
る。それ以外の回路の動作は、図２に示した回路と同様
である。

【０１２８】このように、フレーム内符号化を行うフレ
ームのみに電子透かしを挿入する場合にはフィードバッ
クループを考慮する必要はなくなるため、図１に示した
回路と等価になる。したがって、図１の説明で述べた通
り、本発明を実施できる。

【０１２９】上記した本発明の第２、第３の実施例は、
非可逆圧縮による電子透かしデータの劣化を防ぎ、か
つ、視覚的な劣化を抑える動画像の電子透かし挿入方式
を与える。

【０１３０】[実施例４]次に、本発明の第４の実施例に
ついて図面を参照して詳細に説明する。

【０１３１】図４は、本発明の第４の実施例の構成を示
すブロック図である。図４を参照すると、線形変換回路
１０１は、入力画像に線形変換を行い、得られる変換係
数を原画像変換係数として、減算器１０３と透かし信号
発生回路７７と単位視覚歪算出回路７２へ出力する。

【０１３２】線形変換回路１０２は、フレームメモリ８
８から出力される動き補償予測画像に線形変換を行っ
て、得られる変換係数を予測画像変換係数として、減算
器１０３と加算器７５へ出力する。

【０１３３】減算器１０３は、線形変換回路１０１から
出力される原画像変換係数から、線形変換回路１０２か
ら出力される予測画像変換係数を減じて、得られる変換
係数を予測誤差画像変換係数として量子化器８３へ出力
する。

【０１３４】量子化器８３は、減算器１０３から出力さ
れる予測誤差画像変換係数を量子化し、量子化値を透か
し無し量子化値として逆量子化器７４と加算器７６へ出
力し、さらに量子化情報を透かし信号発生回路７７へ出
力する。

【０１３５】逆量子化器７４の接続関係は、図２に示し
た回路と同じである。加算器７５は、線形変換回路１０
２から出力される予測画像変換係数と逆量子化器７４か
ら出力される透かし無し逆量子化値とを加算して、結果
を透かし無し復号画像変換係数として透かし信号発生回
路７７へ出力する。

【０１３６】単位視覚歪算出回路７２は、線形変換回路
１０１から出力される原画像変換係数から単位視覚歪を
算出し、透かし信号発生回路７７へ出力する。

【０１３７】透かし信号発生回路７７は、加算器７５か
ら出力される透かし無し復号画像変換係数と、線形変換
回路１０１から出力される原画像変換係数と、電子透か
し情報と、量子化器８３から出力される量子化情報と、
単位視覚歪算出回路７２から出力される単位視覚歪とか
ら透かし信号を算出し、透かし信号を加算器７６へ出力
する。

【０１３８】加算器７６、符号変換器８４、逆量子化器
８５、逆線形変換回路８６、加算器８７の接続関係は、
図２に示した回路と同じである。

【０１３９】フレームメモリ８８は、加算器８７から出
力される局所復号画像に動き補償を行って、動き補償予
測画像を加算器８７と線形変換回路１０２へ出力する。

【０１４０】次に、図４に示した回路の動作について説
明する。

【０１４１】入力画像は、線形変換回路１０１に入力さ
れ、ここで線形変換が行われる。求まった変換係数は、
原画像変換係数として出力される。一方、フレームメモ
リ８８から出力される動き補償予測画像は、線形変換回
路１０２へ入力され、動き補償予測画像に対して、線形
変換回路１０１と同様の線形変換が行われる。そして、
得られた変換係数は、予測画像変換係数として出力され
る。

【０１４２】予測画像変換係数は減算器１０３に入力さ
れ、対応する原画像変換係数から減じられて予測誤差画
像変換係数が求まる。もし、線形変換回路１０１で行わ
れる線形変換が図2の線形変換回路８２で行われる線形
変換と等価であるならば、減算器１０３から出力される
予測誤差画像変換係数は、変換の線形性により、図２に
示した線形変換回路８２から出力される予測誤差画像変
換係数と一致する。

【０１４３】求まった予測誤差画像変換係数は、量子化
器８３で量子化され、透かし無し量子化値が出力され
る。

【０１４４】透かし無し量子化値は、逆量子化器７４で
逆量子化され、透かし無し逆量子化値が出力される。量
子化器８３、逆量子化器７４の動作は、図２に示したも
のと同様である。

【０１４５】また、予測画像変換係数は加算器７５へ入
力され、加算器７５で、逆量子化器７４から出力される
透かし無し逆量子化値に加算され、透かし無し復号画像
変換係数が出力される。この加算器７５の動作も、図２
に示した回路と同様である。

【０１４６】また、線形変換回路１０１から出力される
原画像変換係数は、単位視覚歪算出回路７２へ入力され
る。単位視覚歪算出回路７２の動作は、図２に示したも
のと同様であり、各変換係数に対する単位視覚歪が算出
され、出力される。

【０１４７】そして、透かし信号発生回路７７におい
て、透かし無し復号画像変換係数と原画像変換係数と電
子透かし情報と量子化情報と単位視覚歪とを用いて透か
し信号が生成され、出力される。透かし信号発生回路７
７の動作は、図２に示したものと同様である。

【０１４８】透かし信号は、加算器７６において、量子
化器８３から出力される透かし無し量子化値に加算さ
れ、その結果は透かし入り量子化値として出力される。
透かし入り量子化値は、符号変換器８４において、符号
列に変換され、出力される。加算器７６、符号変換器８
４の動作は、図２に示したものと同様である。

【０１４９】さらに、加算器７６から出力される透かし
入り量子化値は、逆量子化器８５で逆量子化され、逆線
形変換回路８６において線形変換回路１０１で行われた
線形変換の逆変換が行われ、局所復号予測誤差画像が求
まる。

【０１５０】加算器８７では、局所復号予測誤差画像
に、フレームメモリ８８から出力される動き補償予測画
像が加算され、局所復号画像が求まる。

【０１５１】フレームメモリ８８では動き補償が行わ
れ、動き補償予測画像が生成、出力される。逆量子化器
８５、逆線形変換回路８６、加算器８７、フレームメモ
リ８８の動作は、図２に示したものと同じである。

【０１５２】上記した本発明の第４の実施例は、非可逆
圧縮による電子透かしデータの劣化を防ぎ、かつ、視覚
的な劣化を抑える動画像の電子透かし挿入方式を与え
る。さらに、本発明の第２の実施例よりも、線形変換の
計算回数を低減できる。

【０１５３】

【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。

【０１５４】本発明の第１の効果は、非可逆圧縮による
電子透かしデータの劣化を抑えられる、ということであ
る。

【０１５５】その理由は、本発明においては、非可逆圧
縮符号化回路と電子透かし挿入器とを組み合わせて、非
可逆圧縮時の量子化に適合するように、電子透かしデー
タを挿入するからである。従来の電子透かし方式では、
非可逆圧縮を考慮せずに電子透かしを挿入するため、非
可逆圧縮による劣化は避けられなかったが、本発明で
は、量子化による劣化を考慮して、その影響を緩和する
ように電子透かしを挿入するため、電子透かしデータの
劣化を最小限にくい止めることができる。

【０１５６】本発明の第２の効果は、視覚／聴覚的な劣
化を抑えつつ、電子透かしを挿入できる、ということで
ある。

【０１５７】その理由は、本発明においては、視覚／聴
覚モデルに基づいて視覚／聴覚的な劣化の度合を判定し
つつ、これを小さく抑えるように電子透かしを挿入する
ためである。従来の電子透かし方式では、非可逆圧縮を
考慮せずに電子透かしを挿入するため、量子化によって
挿入した電子透かしが検出できなくなるような場合であ
っても、無駄に電子透かしを挿入して、不用な劣化を生
じさせていたが、本発明では、このような無駄な場合に
は電子透かしを挿入しないため、視覚／聴覚的な劣化を
小さく抑えることができる。

【０１５８】本発明の第３の効果は、本願発明を用いて
従来ある電子透かし方式を改良した場合であっても、電
子透かし検出器を変える必要はない、ということであ
る。このため、検出器がすでに製造・出荷された後であ
っても、本願発明を用いて挿入方式を改良することで、
視覚／聴覚的な劣化を小さく抑えて電子透かしの検出率
を向上できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における、符号化および
電子透かし挿入器の構成を示すブロック図である。

【図２】本発明の第２の実施例における、符号化および
電子透かし挿入器の構成を示すブロック図である。

【図３】本発明の第３の実施例における、符号化および
電子透かし挿入器の構成を示すブロック図である。

【図４】本発明の第４の実施例における、符号化および
電子透かし挿入器の構成を示すブロック図である。

【図５】本発明の第１、第２、第４実施例における、透
かし信号発生回路の構成を示すブロック図である。

【図６】本発明の第１、第２、第４実施例における、透
かし信号発生回路の構成を示すブロック図である。

【図７】従来の電子透かし挿入器と符号化器の構成の一
例を示すブロック図である。

【図８】従来の電子透かし挿入器と動画像符号化器の構
成の一例を示すブロック図である。

【符号の説明】

１ ＤＣＴ回路 ２ 電子透かし挿入回路 ３ 逆ＤＣＴ回路 ４ ＤＣＴ回路 ５ 量子化器 ６ 符号変換器 １０ 電子透かし挿入器 １１ 画像符号化器 ２１ 減算器 ２２ ＤＣＴ回路 ２３ 量子化器 ２４ 符号変換器 ２５ 逆量子化器 ２６ 逆ＤＣＴ回路 ２７ 加算器 ２８ フレームメモリ ４０ 動画像符号化器 ５０ 線形変換回路 ５１ 逆量子化器 ５２ 加算器 ５３ 逆量子化器 ５４ 透かし信号発生回路 ５５ 単位視覚／聴覚歪算出回路 ４６ 符号変換器 ７１ 線形変換回路 ７２ 単位視覚歪算出回路 ７３ 線形変換回路 ７４ 逆量子化器 ７５ 加算器 ７６ 加算器 ７７ 透かし信号発生回路 ８１ 減算器 ８２ 線形変換回路 ８３ 量子化器 ８４ 符号変換器 ８５ 逆量子化器 ８６ 逆線形変換回路 ８７ 加算器 ８８ フレームメモリ ９０ 透かし信号発生回路 １０１ 線形変換回路 １０２ 線形変換回路 １０３ 減算器 ２００ 目標信号算出回路 ２０１ 透かし仮挿入器 ２０２ 透かし信号生成回路 ２０３ 視覚劣化度算出回路 ２０４ 透かし挿入判定回路 ２０５ 透かし信号発生回路 ２３１ 透かし仮挿入器 ２３２ 透かし信号生成回路 ２３３ 視覚劣化度算出回路 ２３５ 透かし信号発生回路

フロントページの続き (56)参考文献 Ｃｈｒｉｓｔｉｎｅ Ｉ，Ｐｏｄｉｌ ｃｈｕｋ，Ｗｅｎｊｕｎ Ｚｅｎｇ，Ｐ ｅｒｃｅｐｔｕａｌ Ｗａｔｅｒｍａｒ ｋｉｎｇ ｏｆ Ｓｔｉｌｌ Ｉｍａｇ ｅｓ，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏ ｃｅｓｓｉｎｇ Ｓｏｃｉｅｔｙ 1997 Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉ ｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅ ｓｓｉｎｇ Ｅｌｅｃｔｒｏｎｉｃ Ｐ ｒｏｃｅｅｄｉｎｇｓ，米国，1997年７ 月23日，ｈｔｔｐ：／／ｗｗｗ．ｅｅ. ｐｒｉｎｃｅｔｏｎ．ｅｄｕ／￣ｗｎｇ ／ｗｍ＿ｗｏｒｋｓｈｏｐ．ｈｔｍ Ｃｈｒｉｓｔｉｎｅ Ｉ．Ｐｏｄｉｌ ｃｈｕｋ，Ｗｅｎｊｕｎ Ｚｅｎｇ，Ｉ ｍａｇｅ−Ａｄａｐｔｉｖｅ Ｗａｔｅ ｒｍａｒｋｉｎｇ ｕｓｉｎｇ Ｖｉｓ ｕａｌ Ｍｏｄｅｌｓ，ＩＥＥＥ Ｊｏ ｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａ ｔｉｏｎｓ，米国，1998年５月，ｐ. 525−539，ｈｔｔｐ：／／ｗｗｗ．ｂｅ ｌｌ−ｌａｂｓ．ｃｏｍ／ｏｒｇ／1133 ／Ｒｅｓｅａｒｃｈ／ＩｍａｇｅＶｉｄ ｅｏ／ｐａｐｅｒｓ／ｊｓａｃ98．ｐｄ ｆ 小川 宏，中村 高雄，高嶋 洋一, ＤＣＴを用いたデジタル動画像における 著作権情報埋め込み方法，1997年暗号と 情報セキュリティシンポジウム講演論 文，日本，1997年１月，ＳＣＩＳ’97− 31Ｇ (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/00 - 7/088 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (11)

(57)【特許請求の範囲】
1. 【請求項１】ディジタル信号を符号化すると共に電子透
   かしを挿入するシステムであって、 前記ディジタル信号を周波数成分に投影する線形変換を
   行い原信号変換係数を出力する手段と、 前記原信号変換係数を量子化し、量子化した値を透かし
   無し量子化値として出力するとともに、量子化情報を出
   力する手段と、 前記透かし無し量子化値を逆量子化して透かし無し復号
   信号変換係数を出力する手段と、 前記原信号変換係数から視覚／聴覚モデルに基づいて前
   記原信号変換係数のそれぞれに対応する単位視覚／聴覚
   歪を算出して出力する手段と、 前記原信号変換係数と前記単位視覚／聴覚歪と電子透か
   し情報とから、量子化がない場合の透かし挿入信号であ
   る目標信号を算出し、前記目標信号と前記量子化情報と
   前記透かし無し復号信号変換係数とから、透かし挿入と
   量子化を共に行って得られる信号である透かし仮挿入信
   号を生成し、さらに、前記単位視覚／聴覚歪に基づい
   て、前記透かし仮挿入信号と前記原信号変換係数とを比
   較して各変換係数の視覚／聴覚歪の度合いを算出し、歪
   の大きい変換係数、もしくは量子化により透かし挿入が
   無効になる変換係数、もしくは量子化により透かし検出
   が誤る変換係数については、量子化値の変更量を０にす
   るか、または調整することにより、量子化とは独立に透
   かしを挿入した場合と比べて信号全体として視覚／聴覚
   的に歪が小さく、かつ電子透かしの検出率を高めるよう
   に、前記透かし無し量子化値を修正するような量子化値
   修正信号を決定し、これを透かし信号として出力する透
   かし信号発生手段と、 前記 透かし無し量子化値と前記透かし信号とを加算し、
   透かし入り量子化値を出力する手段と、 前記透かし入り量子化値から符号列を生成して出力する
   手段とを含む、ことを特徴とする、ディジタル信号符号
   化電子透かし挿入システム。
2. 【請求項２】前記透かし信号発生手段が、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記電子透かし情報と、から目標信号を算出して出力す
   る目標信号算出手段と、 前記量子化情報と前記目標信号と、に基づいて、前記透
   かし無し復号信号変換係数の値を変更して透かし仮挿入
   信号を生成し、該透かし仮挿入信号を出力する透かし仮
   挿入手段と、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記透かし仮挿入手段から出力される透かし仮挿入信号
   と、から、透かし仮挿入信号の視覚／聴覚的劣化を示す
   値を算出し視覚／聴覚的劣化度情報として出力する視覚
   ／聴覚的劣化度算出手段と、 前記電子透かし情報と、前記透かし仮挿入手段から出力
   される透かし仮挿入信号と、前記視覚／聴覚的劣化度算
   出手段から出力される視覚／聴覚的劣化度情報と、か
   ら、透かし挿入制御信号を生成して出力する透かし挿入
   判定手段と、 前記量子化情報と、前記透かし無し復号信号変換係数
   と、前記透かし仮挿入手段から出力される透かし仮挿入
   信号と、前記透かし挿入判定手段から出力される前記透
   かし挿入制御信号と、から、透かし信号を生成し出力す
   る透かし信号生成手段と、 を備えたことを特徴とする、請求項１記載のディジタル
   信号符号化電子透かし挿入システム。
3. 【請求項３】前記透かし信号発生手段が、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記電子透かし情報と、から目標信号を算出して出力す
   る目標信号算出手段と、 前記量子化情報と、前記電子透かし情報と、前記目標信
   号算出手段から出力される目標信号と、視覚／聴覚的劣
   化度算出手段から出力される視覚／聴覚的劣化度情報に
   基づいて、前記透かし無し復号信号変換係数の値を変更
   して透かし仮挿入信号と透かし挿入信号を生成して出力
   する透かし仮挿入手段と、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記透かし仮挿入手段から出力される透かし仮挿入信号
   と、から、透かし仮挿入信号の視覚／聴覚的劣化度情報
   を算出し前記透かし仮挿入手段へ出力する視覚／聴覚的
   劣化度算出手段と、 前記量子化情報と、前記透かし無し復号信号変換係数
   と、前記透かし仮挿入手段から出力される透かし挿入信
   号とから透かし信号を生成し、出力する透かし信号生成
   手段と、 を備えたことを特徴とする、請求項１記載のディジタル
   信号符号化電子透かし挿入システム。
4. 【請求項４】画像を符号化すると共に電子透かしを挿入
   するシステムであって、 局所復号画像に動き補償を行って、動き補償予測画像を
   生成し、出力する手段と、 入力画像から前記動き補償予測画像を減じて予測誤差画
   像を求めて出力する手段と、 前記予測誤差画像に対して空間周波数成分に投影する線
   形変換を行い、予測誤差画像変換係数を求めて出力する
   手段と、 前記予測誤差画像変換係数を量子化して、量子化値を透
   かし無し量子化値として出力するとともに、量子化情報
   を出力する手段と、 前記透かし無し量子化値を逆量子化し、透かし無し逆量
   子化値を出力する手段と、 前記動き補償予測画像に前記線形変換を行い、予測画像
   変換係数を求めて出力する手段と、 前記透かし無し逆量子化値と前記予測画像変換係数とを
   加算し、透かし無し復号画像変換係数を出力する手段
   と、 前記入力画像に前記線形変換を行い、原画像変換係数を
   求めて出力する手段と、 前記原画像変換係数から視覚モデルに基づいて前記原画
   像変換係数それぞれに対応する単位視覚歪を算出して出
   力する手段と、 前記原画像変換係数と前記単位視覚歪と電子透かし情報
   とから、量子化がない場合の透かし挿入信号である目標
   信号を算出し、前記目標信号と前記量子化情報と前記透
   かし無し復号画像変換係数とから、透かし挿入と量子化
   を共に行って得られる信号である透かし仮挿入信号を生
   成し、さらに前記単位視覚歪に基づいて、前記透かし仮
   挿入信号と前記原信号変換係数とを比較して各変換係数
   の視覚歪の度合いを算出し、歪の大きい変換係数、もし
   くは量子化により透かし挿入が無効になる変換係数、も
   しくは量子化により透かし検出が誤る変換係数について
   は、量子化値の変更量を０にするか、または調整するこ
   とにより、量子化とは独立に透かしを挿入した場合と比
   べて画像全体として視覚的に歪が小さく、かつ電子透か
   しの検出率を高めるように、前記透かし無し量子化値を
   修正する量子化値修正信号を決定し、これを透かし信号
   として出力する透かし信号発生手段と、 前記透かし無し量子化値と前記透かし信号とを加算し、
   透かし入り量子化値を出力する手段と、 前記透かし入り量子化値から符号列を生成し、出力する
   手段と前記透かし入り量子化値を逆量子化し、透かし入
   り逆量子化値を出力する手段と、 前記透かし入り逆量子化値に前記線形変換の逆変換を行
   い、局所復号予測誤差画像を求めて出力する手段と、 前記局所復号予測誤差画像に前記動き補償予測画像を加
   算し、加算結果を前記局所復号画像として出力する手段
   とを備えたことを特徴とする、画像符号化電子透かし挿
   入システム。
5. 【請求項５】画像を符号化すると共に電子透かしを挿入
   するシステムであって、 局所復号画像に動き補償を行って、動き補償予測画像を
   生成し、出力する手段と、 入力画像から前記動き補償予測画像を減じて予測誤差画
   像を求めて出力する手段と、 前記予測誤差画像に対して空間周波数成分に投影する線
   形変換を行い、予測誤差画像変換係数を求めて出力する
   手段と、 前記予測誤差画像変換係数を量子化して、量子化値を透
   かし無し量子化値として出力するとともに、量子化情報
   を出力する手段と、 前記透かし無し量子化値を逆量子化し、透かし無し復号
   画像変換係数を出力する手段と、 前記予測誤差画像変換係数から視覚モデルに基づいて前
   記予測誤差画像変換係数それぞれに対応する単位視覚歪
   を算出して出力する手段と、 前記予測誤差画像変換係数と前記単位視覚歪と前記電子
   透かし情報とから、量子化がない場合の透かし挿入信号
   である目標信号を算出し、前記目標信号と前記量子化情
   報と前記透かし無し復号画像変換係数とから、透かし挿
   入と量子化を共に行って得られる信号である透かし仮挿
   入信号を生成し、さらに前記単位視覚歪に基づいて、前
   記透かし仮挿入信号と前記原信号変換係数とを比較して
   各変換係数の視覚歪の度合いを算出し、歪の大きい変換
   係数、もしくは量子化により透かし挿入が無効になる変
   換係数、もしくは量子化により透かし検出が誤る変換係
   数については、量子化値の変更量を０にするか、または
   調整することにより、量子化とは独立に透かしを挿入し
   た場合と比べて画像全体として視覚的に歪が小さく、か
   つ電子透かしの検出率を高めるように、前記透かし無し
   量子化値を修正する量子化値修正信号を決定し、これを
   透かし信号として出力する透かし信号発生手段と、 前記透かし無し量子化値と前記透かし信号とを加算し、
   加算結果を透かし入り量子化値として出力する手段と、
   前記透かし入り量子化値から符号列を生成し、出力する
   手段と、 前記透かし入り量子化値を逆量子化し、透かし入り逆量
   子化値を出力する手段と、 前記透かし入り逆量子化値に前記線形変換の逆変換を行
   い、局所復号予測誤差画像を求めて出力する手段と、 前記局所復号予測誤差画像に前記動き補償予測画像を加
   算し、加算結果を前記局所復号画像として出力する手段
   とを備え、フレーム内符号化するフレームにのみ電子透
   かしを挿入する、ことを特徴とする、画像符号化電子透
   かし挿入システム。
6. 【請求項６】画像を符号化すると共に電子透かしを挿入
   するシステムであって、 入力画像に対して空間周波数成分に投影する線形変換を
   行い、原画像変換係数を求めて出力する手段と、 局所復号画像に動き補償を行って、動き補償予測画像を
   生成し、出力する手段と、 前記動き補償予測画像に前記線形変換を行い、予測画像
   変換係数を求めて出力する手段と、 前記原画像変換係数から前記予測画像変換係数を減じ
   て、結果を予測誤差画像変換係数として出力する手段
   と、 前記予測誤差画像変換係数を量子化し、量子化値を透か
   し無し量子化値として出力するとともに、量子化情報を
   出力する手段と、 前記透かし無し量子化値を逆量子化し、透かし無し逆量
   子化値を出力する手段と、 前記予測画像変換係数に前記透かし無し逆量子化値とを
   加算し、透かし無し復号画像変換係数を出力する手段
   と、 前記原画像変換係数から視覚モデルに基づいて、前記原
   画像変換係数それぞれに対応する単位視覚歪を算出して
   出力する手段と、 前記原画像変換係数と前記単位視覚歪と電子透かし情報
   とから、量子化がない場合の透かし挿入信号である目標
   信号を算出して、前記目標信号と前記量子化情報と前記
   透かし無し復号画像変換係数とから、透かし挿入と量子
   化を共に行って得られる信号である透かし仮挿入信号を
   生成し、さらに、前記単位視覚歪に基づいて、前記透か
   し仮挿入信号と前記原信号変換係数とを比較して各変換
   係数の視覚歪の度合いを算出し、歪の大きい変換係数、
   もしくは量子化により透かし挿入が無効になる変換係
   数、もしくは量子化により透かし検出が誤る変換係数に
   ついては、量子化値の変更量を０にするか、または調整
   することにより、量子化とは独立に透かしを挿入した場
   合と比べて画像全体として視覚的に歪が小さくかつ電子
   透かしの検出率を高めるように前記透かし無し量子化値
   を修正する量子化値修正信号を決定して、これを透かし
   信号として出力する透かし信号発生手段と、 前記透かし無し量子化値と前記透かし信号とを加算し、
   透かし入り量子化値として出力する手段と、 前記透かし入り量子化値から符号列を生成し、出力する
   手段と前記透かし入り量子化値を逆量子化し、透かし入
   り逆量子化値を出力する手段と、 前記透かし入り逆量子化値に前記線形変換の逆変換を行
   い、局所復号予測誤差画像を求めて出力する手段と、 前記局所復号予測誤差画像に前記動き補償予測画像を加
   算し、前記局所復号画像を出力する手段とを有すること
   を特徴とする、画像符号化電子透かし挿入システム。
7. 【請求項７】前記透かし信号発生手段が、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記電子透かし情報と、から目標信号を算出して出力す
   る目標信号算出手段と、 前記量子化情報と前記目標信号と、に基づいて、前記透
   かし無し復号信号変換係数の値を変更して透かし仮挿入
   信号を生成し、該透かし仮挿入信号を出力する透かし仮
   挿入手段と、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記透かし仮挿入手段から出力される透かし仮挿入信号
   と、から、透かし仮挿入信号の視覚／聴覚的劣化を示す
   値を算出し視覚／聴覚的劣化度情報として出力する視覚
   ／聴覚的劣化度算出手段と、 前記電子透かし情報と、前記透かし仮挿入手段から出力
   される透かし仮挿入信号と、前記視覚／聴覚的劣化度算
   出手段から出力される視覚／聴覚的劣化度情報と、か
   ら、透かし挿入制御信号を生成して出力する透かし挿入
   判定手段と、 前記量子化情報と、前記透かし無し復号信号変換係数
   と、前記透かし仮挿入手段から出力される透かし仮挿入
   信号と、前記透かし挿入判定手段から出力される前記透
   かし挿入制御信号と、から、透かし信号を生成し出力す
   る透かし信号生成手段と、 を備えたことを特徴とする、請求項４又は６記載の画像
   符号化電子透かし挿入システム。
8. 【請求項８】前記透かし信号発生手段が、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記電子透かし情報と、から目標信号を算出して出力す
   る目標信号算出手段と、 前記量子化情報と、前記電子透かし情報と、前記目標信
   号算出手段から出力される目標信号と、視覚／聴覚的劣
   化度算出手段から出力される視覚／聴覚的劣化度情報に
   基づいて、前記透かし無し復号信号変換係数の値を変更
   して透かし仮挿入信号と透かし挿入信号を生成して出力
   する透かし仮挿入手段と、 前記原信号変換係数と、前記単位視覚／聴覚歪情報と、
   前記透かし仮挿入手段から出力される透かし仮挿入信号
   と、から、透かし仮挿入信号の視覚／聴覚的劣化度情報
   を算出し前記透かし仮挿入手段へ出力する視覚／聴覚的
   劣化度算出手段と、 前記量子化情報と、前記透かし無し復号信号変換係数
   と、前記透かし仮挿入手段から出力される透かし挿入信
   号とから透かし信号を生成し、出力する透かし信号生成
   手段と、 を備えたことを特徴とする、請求項４又は６記載の画像
   符号化電子透かし挿入システム。
9. 【請求項９】ディジタル信号を符号化すると共に電子透
   かしを挿入するシステムにおいて、 （ａ）ディジタル信号を周波数成分に投影する線形変換
   を行い、原信号変換係数を出力する手段、 （ｂ）前記原信号変換係数を量子化し、量子化値を透か
   し無し量子化値として出力するとともに、量子化情報を
   出力する手段、 （ｃ）前記透かし無し量子化値を逆量子化して、透かし
   無し復号信号変換係数を出力する手段、 （ｄ）前記原信号変換係数から視覚／聴覚モデルに基づ
   いて、前記原信号変換係数それぞれに対応する単位視覚
   ／聴覚歪を算出して出力する手段と、 （ｅ）前記原信号変換係数と前記単位視覚／聴覚歪と電
   子透かし情報とから、量子化がない場合の透かし挿入信
   号である目標信号を算出し、前記目標信号と前記量子化
   情報と前記透かし無し復号信号変換係数とから、透かし
   挿入と量子化を共に行って得られる信号である透かし仮
   挿入信号を生成し、さらに、前記単位視覚／聴覚歪に基
   づいて、前記透かし仮挿入信号と前記原信号変換係数と
   を比較して各変換係数の視覚／聴覚歪の度合いを算出
   し、歪の大きい変換係数、もしくは量子化により透かし
   挿入が無効になる変換係数、もしくは量子化により透か
   し検出が誤る変換係数については、量子化値の変更量を
   ０にするか、または調整することにより、量子化とは独
   立に透かしを挿入した場合と比べて信号全体として視覚
   ／聴覚的に歪が小さく、かつ電子透かしの検出率を高め
   るように、前記透かし無し量子化値を修正するような量
   子化値修正信号を決定し、これを透かし信号として出力
   する手段、 （ｆ）前記透かし無し量子化値と前記透かし信号とを加
   算し、透かし入り量子化値を出力する手段及び、 （ｇ）前記透かし入り量子化値から符号列を生成し、出
   力する手段と、 の上記（ａ）〜（ｇ）の各手段を前記システムを構成す
   るコンピュータで機能させるためのプログラムを記憶し
   た記録媒体。
10. 【請求項１０】画像を符号化すると共に電子透かしを挿
    入するシステムであって、 （ａ）局所復号画像に動き補償を行って、動き補償予測
    画像を生成し、出力する手段、 （ｂ）入力画像から前記動き補償予測画像を減じて予測
    誤差画像を求めて出力する手段、 （ｃ）前記予測誤差画像に対して空間周波数成分に投影
    する線形変換を行い、予測誤差画像変換係数を求めて出
    力する手段、 （ｄ）前記予測誤差画像変換係数を量子化して、量子化
    値を透かし無し量子化値として出力するとともに、量子
    化情報を出力する手段、 （ｅ）前記透かし無し量子化値を逆量子化し、透かし無
    し逆量子化値を出力する手段、 （ｆ）前記動き補償予測画像に前記線形変換を行い、予
    測画像変換係数を求めて出力する手段、 （ｇ）前記透かし無し逆量子化値と前記予測画像変換係
    数とを加算し、透かし無し復号画像変換係数を出力する
    手段、 （ｈ）前記入力画像に前記線形変換を行い、原画像変換
    係数を求めて出力する手段、 （ｉ）前記原画像変換係数から視覚モデルに基づいて前
    記原画像変換係数それぞれに対応する単位視覚歪を算出
    して出力する手段、 （ｊ）前記原画像変換係数と前記単位視覚歪と電子透か
    し情報とから、量子化がない場合の透かし挿入信号であ
    る目標信号を算出し、前記目標信号と前記量子化情報と
    前記透かし無し復号画像変換係数とから、透かし挿入と
    量子化を共に行って得られる信号である透かし仮挿入信
    号を生成し、さらに前記単位視覚歪に基づいて、前記透
    かし仮挿入信号と前記原信号変換係数とを比較して各変
    換係数の視覚歪の度合いを算出し、歪の大きい変換係
    数、もしくは量子化により透かし挿入が無効になる変換
    係数、もしくは量子化により透かし検出が誤る変換係数
    については、量子化値の変更量を０にするか、または調
    整することにより、量子化とは独立に透かしを挿入した
    場合と比べて画像全体として視覚的に歪が小さく、かつ
    電子透かしの検出率を高めるように、前記透かし無し量
    子化値を修正する量子化値修正信号を決定し、これを透
    かし信号として出力する手段と、 （ｋ）前記透かし無し量子化値と前記透かし信号とを加
    算し、透かし入り量子化値を出力する手段、 （ｌ）前記透かし入り量子化値から符号列を生成し、出
    力する手段、 （ｍ）前記透かし入り量子化値を逆量子化し、透かし入
    り逆量子化値を出力する手段、 （ｎ）前記透かし入り逆量子化値に前記線形変換の逆変
    換を行い、局所復号予測誤差画像を求めて出力する手段
    及び、 （ｏ）前記局所復号予測誤差画像に前記動き補償予測画
    像を加算し、加算結果を前記局所復号画像として出力す
    る手段、 の上記（ａ）〜（ｏ）の各手段を前記システムを構成す
    るコンピュータで機能させるためのプログラムを記憶し
    た記録媒体。
11. 【請求項１１】画像を符号化すると共に電子透かしを挿
    入するシステムであって、 （ａ）入力画像に対して空間周波数成分に投影する線形
    変換を行い、原画像変換係数を求めて出力する手段、 （ｂ）局所復号画像に動き補償を行って、動き補償予測
    画像を生成し、出力する手段、 （ｃ）前記動き補償予測画像に前記線形変換を行い、予
    測画像変換係数を求めて出力する手段、 （ｄ）前記原画像変換係数から前記予測画像変換係数を
    減じて、結果を予測誤差画像変換係数として出力する手
    段、 （ｅ）前記予測誤差画像変換係数を量子化し、量子化値
    を透かし無し量子化値として出力するとともに、量子化
    情報を出力する手段、 （ｆ）前記透かし無し量子化値を逆量子化し、透かし無
    し逆量子化値を出力する手段、 （ｇ）前記予測画像変換係数に前記透かし無し逆量子化
    値とを加算し、透かし無し復号画像変換係数を出力する
    手段、 （ｈ）前記原画像変換係数から視覚モデルに基づいて、
    前記原画像変換係数それぞれに対応する単位視覚歪を算
    出して出力する手段、 （ｉ）前記原画像変換係数と前記単位視覚歪と電子透か
    し情報とから、量子化がない場合の透かし挿入信号であ
    る目標信号を算出して、前記目標信号と前記量子化情報
    と前記透かし無し復号画像変換係数とから、透かし挿入
    と量子化を共に行って得られる信号である透かし仮挿入
    信号を生成し、さらに、前記単位視覚歪に基づいて、前
    記透かし仮挿入信号と前記原信号変換係数とを比較して
    各変換係数の視覚歪の度合いを算出し、歪の大きい変換
    係数、もしくは量子化により透かし挿入が無効になる変
    換係数、もしくは量子化により透かし検出が誤る変換係
    数については、量子化値の変更量を０にするか、または
    調整することにより、量子化とは独立に透かしを挿入し
    た場合と比べて画像全体として視覚的に歪が小さくかつ
    電子透かしの検出率を高めるように前記透かし無し量子
    化値を修正する量子化値修正信号を決定して、これを透
    かし信号として出力する手段、 （ｊ）前記透かし無し量子化値と前記透かし信号とを加
    算し、透かし入り量子化値として出力する手段、 （ｋ）前記透かし入り量子化値から符号列を生成し、出
    力する手段、 （ｌ）前記透かし入り量子化値を逆量子化し、透かし入
    り逆量子化値を出力する手段、 （ｍ）前記透かし入り逆量子化値に前記線形変換の逆変
    換を行い、局所復号予測誤差画像を求めて出力する手段
    及び、 （ｎ）前記局所復号予測誤差画像に前記動き補償予測画
    像を加算し、前記局所復号画像を出力する手段、 の上記（ａ）〜（ｎ）の各手段を前記システムを構成す
    るコンピュータで機能させるためのプログラムを記憶し
    た記録媒体。