JP3619197B2

JP3619197B2 - Information embedding device for digital images

Info

Publication number: JP3619197B2
Application number: JP2002018432A
Authority: JP
Inventors: 剛仁阿部; 寛藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-01-28
Filing date: 2002-01-28
Publication date: 2005-02-09
Anticipated expiration: 2016-12-26
Also published as: JP2002344730A

Description

【０００１】
【発明の属する技術分野】
本発明は，デジタル画像データへの情報の追加埋め込みを，安全かつ確実に行うためのデジタル画像への情報埋め込み装置に関するものである。
【０００２】
【従来の技術】
デジタル画像データの一部または全体の値を意図的に変化させることによって，他の情報を元画像データに埋め込む技術を電子透かしという。画像データに著作者に関する情報などを埋め込み，不正な使用や複製をしている画像に対して権利を主張することに利用される。このようなデジタル画像データへの情報埋め込み装置では，元画像に対して，付加する情報を該電子透かしによって直接埋め込む処理を施すというものであった。
【０００３】
【発明が解決しようとする課題】
前述のように，従来のデジタル画像データへの情報埋め込み装置を用いた場合，元画像に情報を埋め込むためには，元画像データの所有者が直接画像データに情報を埋め込む処理を行う必要がある。したがって，この方式による画像データの取り引きにおいては，画像データの提供者側は，画像を流通させる前に，付加する情報を元の画像データに埋め込む作業を完了しなくてはならない。
【０００４】
シリアルナンバーや個別のＩＤコード等の固有データの埋め込みを考えた場合，画像の提供者は一つ一つ異なる電子透かしを入れた画像データを作成し，管理して流通する必要があるため，利用できる流通手段の限定や流通コストのアップといった問題があった。
【０００５】
本発明の第一の目的は、上記問題点の解決を図り，デジタル画像データへの情報の追加埋め込みを，安全・確実にかつ簡易に行うための手段を提供することである。
【０００６】
また、通常の画像取り引きでは，提供者は対象の画像に対し適当な画像符号化を行った後、利用者側へ配送し、利用者は受け取った画像を復号処理して閲覧する。提供者が配送する画像に対して、配送先個々の利用者に対応する異なる情報が埋め込みたい場合や、時間の経過などにより異なる情報を埋め込む必要が生じた場合には，提供者は再び画像データへ情報の埋め込み処理を行う必要が生じる。
【０００７】
ここで、画像の配送がダウンロード型である場合は，提供者側で新しい情報を埋め込むことはできない。また、何らかの方法で異なる情報の埋め込まれた画像データを利用者へ新たに配送することができたとしても、その都度データをネットワーク等を通じて再送信するという負荷が生じるとの問題が生じる。
【０００８】
上記のような個別情報埋め込みを提供者側で行う際、全画像データの処理を提供者のサーバで行う必要がある。一般的に画像データへの情報の埋め込みには処理装置へ大きな負荷が生じ処理時間がかかるため、利用者からの配送要求か配送開始まで時間がかかる場合がある。しかし、利用者側で画像データを復号し画像を出力する処理を行う場合には、例えば動画像であれば、表示される動画像の一部分に対して，逐次情報の埋め込み処理を行えば良く、前述の問題を解決することが可能になる。これが本願発明の第二の目的である。
【０００９】
【課題を解決するための手段】
本発明は，上記の目的を達成するため，画像データの配布側で電子透かし情報を埋め込むのではなく，画像データの再生側で利用者が画像を見ようとするときに電子透かし情報を埋め込む装置であって，特に第１の発明は，符号化した画像データを元の画像に復元する逆符号化装置と，該画像データに情報を埋め込む電子透かし挿入装置とを設け，該画像データより元画像を復元する際に，逆符号化装置にて復元処理を行うと同時に，電子透かし挿入装置にて情報の埋め込み処理を行うものであり，逆符号化装置にて元画像を得る段階で情報を埋め込むことを特徴とする。
【００１０】
【発明の実施の形態】
以下，本発明の実施の形態を，図を用いて詳しく説明する。
図１は発明の実施の形態を説明する参考図である。
【００１１】
情報埋め込み装置１０は，逆符号化装置１１と電子透かし挿入装置１２とからなる。情報埋め込み装置１０において，逆符号化装置１１と電子透かし挿入装置１２による処理は，例えばＲＯＭ等に格納された分離不可能なプログラムによって実現され，それぞれ単体で作動することはなく，これらの装置間で受け渡されるデータに対して外部からの操作はできないように構成されている。
【００１２】
画像へ追加埋め込みしたい情報を電子透かし挿入装置１２へ入力し，符号化された画像データを逆符号化装置１１に入力すると，逆符号化装置１１によって画像データが逆符号化された後に，電子透かし挿入装置１２によって情報の埋め込みが行われ，電子透かしによって情報が埋め込まれた画像が出力される。
【００１３】
逆符号化装置１１と電子透かし挿入装置１２によるデータの処理を分離不可能な工程としているので，元の画像を見ようとすると，逆符号化段階で必ず情報の埋め込みが行われる。
【００１４】
図２は請求項１の発明の第２の実施の形態を説明する図である。
情報埋め込み装置２０は，逆符号化装置２１と電子透かし挿入装置２２とからなる。図１の例と同様に，逆符号化装置２１と電子透かし挿入装置２２による処理は分離不可能に構成され，それぞれ単体で作動することはなく，これらの装置間で受け渡されるデータに対して外部からの操作はできないように構成されている。すなわち，これらの装置間における途中のデータの入出力は不可能になっている。
【００１５】
符号化した画像データを，埋め込む情報と共に電子透かし挿入装置２２へ入力し，電子透かし挿入装置２２によって情報が埋め込まれた後に，逆符号化装置２１で逆符号化が行われ，電子透かしによって情報が埋め込まれた画像が出力される。
【００１６】
逆符号化装置２１と電子透かし挿入装置２２によるデータの処理を分離不可能な工程としているので，元の画像を見ようとすると，逆符号化段階で必ず情報の埋め込みが行われる。
【００１７】
図１および図２に示す逆符号化装置１１，２１と電子透かし挿入装置１２，２２とのそれぞれのデータの受け渡しは，画像すべてのデータを一括して受け渡すことも可能であるし，画像の一部分を処理するごとに受け渡すことも可能である。例えば，ＪＰＥＧ，ＭＰＥＧの逆符号化において，すべて逆符号化が行われた後にデータを受け渡してもよいし，逆ＤＣＴ変換を行う画素ブロックごとにデータを受け渡してもよい。
【００１８】
図３は請求項１乃至２の発明の第１の実施の形態を説明する図である。
情報埋め込み装置３０は，逆スクランブル装置３１と電子透かし挿入装置３２とからなる。逆スクランブル装置３１と電子透かし挿入装置３２による処理は分離不可能に構成され，それぞれ単体で作動することはなく，これらの装置間で受け渡されるデータに対して外部からの操作はできないように構成されている。
【００１９】
暗号化されたスクランブル画像データと，暗号を復号しスクランブル画像を元の画像に復元するためのスクランブル復号鍵とを逆スクランブル装置３１へ入力し，画像へ追加埋め込みしたい情報を電子透かし挿入装置３２へ入力する。逆スクランブル装置３１によって画像データが逆スクランブルされた後に，電子透かし挿入装置３２によって情報の埋め込みが行われ，電子透かしによって情報が埋め込まれた画像が出力される。
【００２０】
逆スクランブル装置３１と電子透かし挿入装置３２によるデータの処理を分離不可能な工程としているので，元の画像を見ようとすると，逆スクランブル段階で必ず情報に埋め込みが行われる。
【００２１】
図４は請求項１乃至２の第２の実施の形態を説明する図である。
情報埋め込み装置４０は，逆スクランブル装置４１と電子透かし挿入装置４２とからなる。図３の例と同様に，逆スクランブル装置４１と電子透かし挿入装置４２による処理は分離不可能に構成され，それぞれ単体で作動することはなく，これらの装置間で受け渡されるデータに対して外部からの操作はできないように構成されている。
【００２２】
暗号化されたスクランブル画像データを埋め込む情報と共に電子透かし挿入装置４２へ入力し，暗号を復号しスクランブル画像を元の画像に復元するためのスクランブル復号鍵を逆スクランブル装置４１へ入力する。電子透かし挿入装置４２によって情報が埋め込まれた後に，逆スクランブル装置４１で逆スクランブルが行われ，電子透かしによって情報が埋め込まれた画像が出力される。
【００２３】
逆スクランブル装置４１と電子透かし挿入装置４２によるデータの処理を分離不可能な工程としているので，元の画像を見ようとすると，逆スクランブル段階で必ず情報に埋め込みが行われる。
【００２４】
前述した図３および図４に示す逆スクランブル装置３１，４１と電子透かし挿入装置３２，４２とのそれぞれのデータの受け渡しは，画像すべてのデータを一括して受け渡すことも可能であるし，画像の一部分を処理するごとに受け渡すことも可能である。例えば，ＪＰＥＧ，ＭＰＥＧ画像へスクランブルを施してあるデータに対し，すべて逆スクランブル化を行った後にデータを受け渡してもよいし，ＤＣＴ変換を行っている画素ブロックごとにデータを受け渡してもよい。
【００２５】
図５は請求項３乃至４の発明の第１の実施の形態を説明する図である。
情報埋め込み装置５０は，逆スクランブル装置５１と電子透かし挿入装置５２と分離装置５３とからなる。これらによる処理は分離不可能に構成され，それぞれ単体で作動することはなく，これらの装置間で受け渡されるデータに対して外部からの操作はできないように構成されている。
【００２６】
スクランブル復号鍵と画像へ追加埋め込みしたい情報とを共に混合暗号化した混合データを分離装置５３へ入力し，スクランブル画像データを逆スクランブル装置５１へ入力する。混合データは，分離装置５３でスクランブル復号鍵と埋め込む情報とに分離され，スクランブル復号鍵は逆スクランブル装置５１へ，埋め込む情報は電子透かし挿入装置５２へ送られる。
【００２７】
逆スクランブル装置５１によって画像データが逆スクランブルされた後，電子透かし挿入装置５２によって情報の埋め込みが行われ，電子透かしによって情報が埋め込まれた画像が出力される。
【００２８】
分離装置５３と逆スクランブル装置５１と電子透かし挿入装置５２とによるデータの処理を分離不可能な工程とし，途中のデータの入出力も不可能であるため，埋め込む情報の改ざんや消去を防ぎながら，逆スクランブル段階で必ず情報の埋め込みが行われる。
【００２９】
図６は請求項３乃至４の発明の第２の実施の形態を説明する図である。
情報埋め込み装置６０は，逆スクランブル装置６１と電子透かし挿入装置６２と分離装置６３とからなる。図５の例と同様に，これらによる処理は分離不可能に構成され，それぞれ単体で作動することはなく，これらの装置間で受け渡されるデータに対して外部からの操作はできないように構成されている。
【００３０】
スクランブル復号鍵と画像へ追加埋め込みしたい情報とを共に混合暗号化した混合データを分離装置６３へ入力し，スクランブル画像データを電子透かし挿入装置６２へ入力する。混合データは，分離装置６３でスクランブル復号鍵と埋め込む情報とに分離され，スクランブル復号鍵は逆スクランブル装置６１へ，埋め込む情報は電子透かし挿入装置６２へ送られる。その後，電子透かし挿入装置６２によって情報の埋め込みが行われた後に，逆スクランブル装置６１によって画像データが逆スクランブルされ，電子透かしによって情報が埋め込まれた画像が出力される。
【００３１】
分離装置６３と電子透かし挿入装置６２と逆スクランブル装置６１とによるデータの処理を分離不可能な工程とし，途中のデータの入出力も不可能であるため，埋め込む情報の改ざんや消去を防ぎながら，逆スクランブル段階で必ず情報の埋め込みが行われる。
【００３２】
図７は請求項３乃至４の発明の第３の実施の形態を説明する図である。図５を用いて説明した実施の形態を，画像情報流通システムに応用したものである。図５の逆スクランブル装置５１，電子透かし挿入装置５２，分離装置５３を，画像を入手したいと考えている利用者側に配置するほか，スクランブル装置７１，混合装置７２，画像データ管理装置７３，鍵管理装置７４を，画像の提供者側に配置することで構成される。
【００３３】
まず，画像の提供者は元の画像をスクランブル装置７１に入力し，暗号化されたスクランブル画像データとスクランブル復号鍵とを出力する。そして，画像へ追加埋め込みしたい情報をスクランブル復号鍵と共に混合装置７２へ入力し，暗号化された混合データを出力する。スクランブル画像データは画像データ管理装置７３へ蓄積し，混合データは鍵管理装置７４へ蓄積する。
【００３４】
提供者はＣＤ−ＲＯＭ等の情報記録メディアの配布，またはインターネット，パソコン通信等のネットワークを利用して，画像データ管理装置７３から取り出したスクランブル画像データを利用者に配布し，利用者はこれらのスクランブル画像データの中から，欲しいものについて提供者側へ購入要求を行う。
【００３５】
提供者側は購入要求に応じて，鍵管理装置７４から混合データを送付し，利用者側はスクランブル画像データを逆スクランブル装置５１へ，混合データを分離装置５３へ入力する。分離装置５３により混合データはスクランブル復号鍵と埋め込む情報とに分離され，スクランブル復号鍵は逆スクランブル装置５１へ，埋め込む情報は電子透かし挿入装置５２へ送られる。
【００３６】
その後，逆スクランブル装置５１によって画像データが逆スクランブルされると共に，電子透かし挿入装置５２によって情報の埋め込みが行われ，電子透かしによって情報が埋め込まれた画像が出力される。
【００３７】
前述のように，分離装置５３と逆スクランブル装置５１と電子透かし挿入装置５２によるデータの処理を分離不可能な工程とし，途中のデータの入出力も不可能とする。このようなシステムとして用いると，利用者が混合データを購入した段階で必ず情報の埋め込みを行うことができる。
【００３８】
図８は請求項３乃至４の発明の第４の実施の形態を説明する図である。
提供者側の装置は，図７と同様に，スクランブル装置７１，混合装置７２，画像データ管理装置７３，鍵管理装置７４からなる。本実施の形態は，図７に示すシステムにおいて，利用者側に配置する装置を図６の装置に変更した構成となっている。利用者側での処理を，前述した請求項３乃至４の発明の第２の実施の形態と同様に行う。これにより，最終的に情報が埋め込まれた画像データを得ることができる。
【００３９】
図７および図８に示す提供者側の処理工程を，単一の個人または機関が行うことも，複数で行うことも可能である。例えば，スクランブル装置を用いて元画像からスクランブル画像を作製する者と，スクランブル画像データを蓄積して管理する者とが異なっていてもよい。
【００４０】
また，前述の例において，混合データを暗号化し，スクランブル復号鍵と埋め込む情報とを分離するためには，分離化鍵を必要とするようにすることも可能である。これにより，混合データに含まれる埋め込む情報を，改ざんや消去から守ることができる。この場合，分離化鍵を分離装置５３，６３内に予め保存しておくことも可能であるし，混合データの入力時に，共に分離装置５３，６３に入力することも可能である。
【００４１】
また，図５から図８に示す各実施の形態において，逆スクランブル装置５１，６１と電子透かし挿入装置５２，６２とのデータの受け渡しは，画像すべてのデータを一括して受け渡すことも可能であるし，画像の一部分を処理するごとに受け渡すことも可能である。例えば，ＪＰＥＧ，ＭＰＥＧ画像へスクランブルを施してあるデータに対し，すべて逆スクランブル化が行われた後にデータを受け渡してもよいし，ＤＣＴ変換を行っている画素ブロックごとにデータを受け渡してもよい。
【００４２】
本願発明の実施の形態で用いられるスクランブル画像データは，画像の攪乱程度が，人間の感覚において全く元の画像と見分けがつかない弱い程度のものから，全く元の画像を類推できない強い程度のものまで，自由に利用できる。
【００４３】
例えば前述した請求項３乃至４の発明の第３の実施の形態において，特願平７−４６５３号の発明に係る画像データ変換装置や，特願平８−１４３９８１号の発明に係るデジタル画像スクランブル制御装置により，画像の攪乱程度を画像の概観がわかる程度に設定したスクランブル画像を用いて，予めスクランブル画像を不特定多数の利用者に配布して購買意欲を高めつつ，購入を決定した利用者にはその時点で，スクランブル解除とともに，電子透かしによる情報の強制的な埋め込みを行うことが可能である。
【００４４】
特願平７−４６５３号に示されている画像データ変換装置は，例えば画像データをネットワーク上で流通させるような場合に，元の画像の特徴を保存したまま少ない計算量でデータ変換を行い，また逆変換のための情報なしには容易に元の画像を復元できないようにし，かつ逆変換のための情報を用いることで容易に元の画像を復元可能とすることを目的とした装置であり，デジタル符号化された画像データのビット列中の一部分を抽出し，この抽出部分以外を参照せず，かつ抽出部分以外を書き変えずに，元のデータとは別の，符号化の規則を満たす新たな値に置換する手段を設けることにより，画像データに対して，データ形式および元の画像の特徴を保存したまま画像データのビット列に対して直接変換を行い，また復元を行うものである。
【００４５】
また，特願平８−１４３９８１号に示されているデジタル画像スクランブル制御装置は，スクランブル強度の制御を少ない記述で精密かつ柔軟に行うことができるようにすることを目的としたものであり，画像上の座標をスクランブル単位の局所領域内での位置を識別する値に変換する座標変換器と，座標変換器から局所領域内での位置を識別する値を受け取り，それに対応したスクランブル単位の局所的なスクランブル強度を出力する局所的スクランブル強度設定器と，画像上の座標を入力として，その座標に対応する大域的なスクランブル強度を出力する大域的スクランブル強度設定器と，局所的スクランブル強度設定器の出力するスクランブル単位に対する局所的スクランブル強度および大域的スクランブル強度設定器の出力する大域的スクランブル強度から，画像上のスクランブル単位に対するスクランブル強度を決定し出力するスクランブル強度計算手段を備えたものである。
【００４６】
前述したどの実施の形態についても，画像に埋め込む情報にその画像の著作権の情報や画像ごとのシリアルナンバー，利用者ごとのＩＤナンバー等の固有情報を含むことで，個々の画像を特定可能にし，画像の不正な使用の摘発や，画像に対して持つ権利の証明に利用することができる。
【００４７】
また，どの実施の形態についても，元画像に対して一部の情報を予め埋め込んでおき，その後に本発明による情報の追加埋め込みを行うことも可能である。
【００４８】
【発明の効果】
以上説明したように，本発明によれば，元の画像を表示し利用するためには，必ず電子透かしによる情報埋め込みの工程を経なくてはならないので，元画像データの所有者を離れた段階であっても，画像に埋め込みたい情報を追加して埋め込むことができるという効果がある。本発明により，画像データの取り引きにおいて，画像データの提供者側は，画像を流通させる前に付加する情報を元の画像データに埋め込む作業を完了する必要はなく，全く情報の埋め込まれていない，または同一の情報のみが埋め込まれた同一の画像データを，予め自由な方法で流通させた後，利用者ごとの固有な情報を追加埋め込みすることができる。
【００４９】
このことは、その都度データをネットワーク等を通じて再送信するという負荷が生じないとの効果を奏し、また、利用者側で画像データを復号し画像を出力する処理を行う場合には、例えば動画像であれば、表示される動画像の一部分に対して，個別情報を逐次埋め込み処理と動画再生処理を平行して実行することにより、利用者からの配送要求か配送開始まで時間がかかる場合があるセンター側で個別情報を埋め込んでからダウンロードさせる方法と比較して、利用者の待ち時間を短縮可能との効果をも奏する。
【図面の簡単な説明】
【図１】発明の第１の実施の形態を説明する参考図である。
【図２】発明の第２の実施の形態を説明する参考図である。
【図３】請求項１乃至２の発明の第１の実施の形態を説明する図である。
【図４】請求項１乃至２の発明の第２の実施の形態を説明する図である。
【図５】請求項３乃至４の発明の第１の実施の形態を説明する図である。
【図６】請求項３乃至４の発明の第２の実施の形態を説明する図である。
【図７】請求項３乃至４の発明の第３の実施の形態を説明する図である。
【図８】請求項３乃至４の発明の第４の実施の形態を説明する図である。
【符号の説明】
１０，２０，３０，４０，５０，６０情報埋め込み装置
１１，２１逆符号化装置
３１，４１，５１，６１逆スクランブル装置
１２，２２，３２，４２，５２，６２電子透かし挿入装置
５３，６３分離装置
７１スクランブル装置
７２混合装置
７３画像データ管理装置
７４鍵管理装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information embedding device in a digital image for safely and surely adding information to digital image data.
[0002]
[Prior art]
A technique for embedding other information in the original image data by intentionally changing a part or the whole value of the digital image data is called digital watermark. It is used to embed information related to the author in image data and to claim rights for illegally used or copied images. In such an information embedding apparatus for digital image data, processing for directly embedding information to be added to the original image with the digital watermark is performed.
[0003]
[Problems to be solved by the invention]
As described above, when a conventional information embedding device for digital image data is used, in order to embed information in the original image, the owner of the original image data needs to directly embed information in the image data. . Therefore, in the transaction of the image data by this method, the provider of the image data must complete the work of embedding additional information in the original image data before distributing the image.
[0004]
When embedding unique data such as serial numbers and individual ID codes, it is necessary for image providers to create, manage, and distribute image data with different digital watermarks. There were problems such as limitation of distribution means and distribution costs.
[0005]
A first object of the present invention is to solve the above-mentioned problems and provide means for safely and reliably and simply embedding information in digital image data.
[0006]
In a normal image transaction, the provider performs appropriate image coding on the target image and then delivers the image to the user. The user decodes and views the received image. When the provider wants to embed different information corresponding to each user at the delivery destination, or when it is necessary to embed different information due to the passage of time, the provider again returns the image data. It is necessary to perform information embedding processing.
[0007]
Here, if the image delivery is a download type, the provider cannot embed new information. Further, even if image data in which different information is embedded can be newly delivered to the user by some method, there arises a problem that a load of retransmitting the data through a network or the like occurs each time.
[0008]
When the provider embeds individual information as described above, it is necessary to process all image data on the provider's server. In general, embedding information in image data places a heavy load on the processing device and takes a long processing time. Therefore, it may take a long time until a delivery request from a user or a delivery start. However, when decoding the image data and outputting the image on the user side, for example, if it is a moving image, it is sufficient to sequentially embed information in a part of the displayed moving image. It becomes possible to solve the aforementioned problems. This is the second object of the present invention.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an apparatus for embedding digital watermark information when a user tries to view an image on the image data reproduction side, instead of embedding digital watermark information on the image data distribution side. In particular, the first invention is provided with a reverse encoding device for restoring encoded image data to an original image and a digital watermark insertion device for embedding information in the image data, and the original image is obtained from the image data. At the time of restoration, the decoding process is performed by the inverse encoding apparatus and the information embedding process is performed by the digital watermark inserting apparatus, and the information is embedded at the stage of obtaining the original image by the inverse encoding apparatus. It is characterized by.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a reference diagram for explaining an embodiment of the invention.
[0011]
The information embedding device 10 includes an inverse encoding device 11 and a digital watermark insertion device 12. In the information embedding device 10, the processing by the inverse encoding device 11 and the digital watermark inserting device 12 is realized by, for example, a non-separable program stored in a ROM or the like, and does not operate independently, It is configured so that no external operation can be performed on the data passed in.
[0012]
When information to be additionally embedded in an image is input to the digital watermark insertion device 12 and the encoded image data is input to the inverse encoding device 11, the image data is inversely encoded by the inverse encoding device 11, and then the digital watermark is added. The information is embedded by the insertion device 12, and an image in which the information is embedded by the digital watermark is output.
[0013]
Since the data processing by the inverse encoding device 11 and the digital watermark inserting device 12 is an inseparable process, information is always embedded at the inverse encoding stage when an original image is viewed.
[0014]
FIG. 2 is a view for explaining a second embodiment of the invention of claim 1.
The information embedding device 20 includes an inverse encoding device 21 and a digital watermark insertion device 22. As in the example of FIG. 1, the processing by the reverse encoding device 21 and the digital watermark inserting device 22 is configured to be inseparable, and does not operate individually, and for data passed between these devices It is configured not to allow external operations. That is, data input / output between these devices is impossible.
[0015]
The encoded image data is input to the digital watermark insertion device 22 together with the information to be embedded. After the information is embedded by the digital watermark insertion device 22, the reverse encoding is performed by the reverse encoding device 21, and the information is transmitted by the digital watermark. The embedded image is output.
[0016]
Since the processing of data by the reverse encoding device 21 and the digital watermark insertion device 22 is an inseparable process, when an original image is viewed, information is always embedded at the reverse encoding stage.
[0017]
Each of the data transfer between the inverse encoding devices 11 and 21 and the digital watermark insertion devices 12 and 22 shown in FIGS. 1 and 2 can transfer all the data of the image at the same time. It is also possible to deliver each time a part is processed. For example, in JPEG and MPEG inverse encoding, data may be delivered after all the inverse encoding has been performed, or data may be delivered for each pixel block on which inverse DCT conversion is performed.
[0018]
FIG. 3 is a view for explaining a first embodiment of the first and second aspects of the invention.
The information embedding device 30 includes a descrambling device 31 and a digital watermark inserting device 32. The processing by the descrambling device 31 and the digital watermark insertion device 32 is configured so as not to be separable, does not operate independently, and is configured so that external operations cannot be performed on data transferred between these devices. Has been.
[0019]
The encrypted scrambled image data and the scramble decoding key for decrypting the cipher and restoring the scrambled image to the original image are input to the descrambling device 31, and information to be additionally embedded in the image is input to the digital watermark inserting device 32. input. After the image data is descrambled by the descrambling device 31, information is embedded by the digital watermark insertion device 32, and an image in which the information is embedded by the digital watermark is output.
[0020]
Since the processing of data by the descrambling device 31 and the digital watermark inserting device 32 is an inseparable process, when trying to view the original image, the information is always embedded in the descrambling step.
[0021]
FIG. 4 is a diagram for explaining a second embodiment of the first or second aspect.
The information embedding device 40 includes a descrambling device 41 and a digital watermark inserting device 42. As in the example of FIG. 3, the processing by the descrambling device 41 and the digital watermark inserting device 42 is configured inseparable and does not operate independently, and externally does not operate on data passed between these devices. The operation from is not possible.
[0022]
The encrypted scrambled image data is input to the digital watermark insertion device 42 together with information to be embedded, and a scramble decoding key for decrypting the encryption and restoring the scrambled image to the original image is input to the descrambling device 41. After the information is embedded by the digital watermark insertion device 42, the descrambling device 41 performs descrambling, and an image in which the information is embedded by the digital watermark is output.
[0023]
Since the data processing by the descrambling device 41 and the digital watermark inserting device 42 is an inseparable process, the information is always embedded in the descrambling step when the original image is viewed.
[0024]
The above-described data transfer between the descrambling devices 31 and 41 and the digital watermark inserting devices 32 and 42 shown in FIGS. 3 and 4 can be performed by transferring all data of the image at once. It is also possible to pass each time a part of is processed. For example, data that has been scrambled in JPEG or MPEG images may be delivered after all are descrambled, or data may be delivered for each pixel block that has undergone DCT conversion.
[0025]
FIG. 5 is a view for explaining a first embodiment of the third to fourth aspects of the invention.
The information embedding device 50 includes a descrambling device 51, a digital watermark inserting device 52, and a separating device 53. These processes are configured so as not to be separable, do not operate individually, and are configured so that data exchanged between these devices cannot be operated from the outside.
[0026]
Mixed data obtained by mixing and encrypting both the scrambled decryption key and information to be additionally embedded in the image is input to the separation device 53, and the scrambled image data is input to the descrambling device 51. The mixed data is separated into a scrambled decryption key and information to be embedded by the separating device 53, the scrambled decryption key is sent to the descrambling device 51, and the embedded information is sent to the digital watermark inserting device 52.
[0027]
After the image data is descrambled by the descrambling device 51, information is embedded by the digital watermark inserting device 52, and an image in which the information is embedded by the digital watermark is output.
[0028]
Since the data processing by the separation device 53, the descrambling device 51, and the digital watermark insertion device 52 is a non-separable process, and input / output of intermediate data is also impossible, Information is always embedded in the descrambling stage.
[0029]
FIG. 6 is a view for explaining a second embodiment of the third to fourth aspects of the invention.
The information embedding device 60 includes a descrambling device 61, a digital watermark inserting device 62, and a separating device 63. As in the example of FIG. 5, these processes are configured so as not to be separable, do not operate independently, and are configured so that external operations cannot be performed on data passed between these devices. ing.
[0030]
The mixed data obtained by mixing and encrypting both the scrambled decryption key and the information to be additionally embedded in the image is input to the separating device 63, and the scrambled image data is input to the digital watermark inserting device 62. The mixed data is separated into a scrambled decryption key and information to be embedded by the separating device 63, the scrambled decryption key is sent to the descrambling device 61, and the embedded information is sent to the digital watermark inserting device 62. Thereafter, after the information is embedded by the digital watermark insertion device 62, the image data is descrambled by the descrambling device 61, and an image in which the information is embedded by the digital watermark is output.
[0031]
Since the data processing by the separation device 63, the digital watermark insertion device 62, and the descrambling device 61 is a non-separable process, and input / output of intermediate data is also impossible, Information is always embedded in the descrambling stage.
[0032]
FIG. 7 is a view for explaining a third embodiment of the third to fourth aspects of the invention. The embodiment described with reference to FIG. 5 is applied to an image information distribution system. In addition to disposing the descrambling device 51, the digital watermark inserting device 52, and the separating device 53 of FIG. 5 on the side of the user who wants to obtain an image, the scrambling device 71, the mixing device 72, the image data management device 73, the key The management device 74 is arranged on the image provider side.
[0033]
First, the image provider inputs the original image to the scrambler 71, and outputs the encrypted scrambled image data and the scramble decryption key. Then, the information to be additionally embedded in the image is input to the mixing device 72 together with the scrambled decryption key, and the encrypted mixed data is output. The scrambled image data is stored in the image data management device 73, and the mixed data is stored in the key management device 74.
[0034]
The provider distributes the scrambled image data extracted from the image data management device 73 to the user by distributing information recording media such as a CD-ROM or using a network such as the Internet or personal computer communication. Make a purchase request to the provider for what you want from the scrambled image data.
[0035]
In response to the purchase request, the provider side sends mixed data from the key management device 74, and the user side inputs the scrambled image data to the descrambling device 51 and the mixed data to the separation device 53. The separation device 53 separates the mixed data into a scrambled decryption key and information to be embedded, the scrambled decryption key is sent to the descrambling device 51, and the information to be embedded is sent to the digital watermark insertion device 52.
[0036]
Thereafter, the image data is descrambled by the descrambling device 51, and information is embedded by the digital watermark inserting device 52, and an image in which the information is embedded by the digital watermark is output.
[0037]
As described above, the data processing by the separating device 53, the descrambling device 51, and the digital watermark inserting device 52 is set as a non-separable process, and input / output of data in the middle is also impossible. When used as such a system, information can always be embedded when a user purchases mixed data.
[0038]
FIG. 8 is a view for explaining a fourth embodiment of the third to fourth aspects of the invention.
As shown in FIG. 7, the provider side device includes a scramble device 71, a mixing device 72, an image data management device 73, and a key management device 74. In the present embodiment, in the system shown in FIG. 7, the device arranged on the user side is changed to the device shown in FIG. The processing on the user side is performed in the same manner as in the second embodiment of the invention of claims 3 to 4 described above. Thereby, it is possible to finally obtain image data in which information is embedded.
[0039]
The processing steps on the provider side shown in FIGS. 7 and 8 can be performed by a single individual or institution, or can be performed by a plurality of processes. For example, a person who creates a scrambled image from an original image using a scrambler may be different from a person who accumulates and manages scrambled image data.
[0040]
In the above example, it is also possible to require a separation key in order to encrypt the mixed data and separate the scrambled decryption key from the embedded information. Thereby, the embedded information included in the mixed data can be protected from falsification and erasure. In this case, the separation key can be stored in advance in the separation devices 53 and 63, or both can be input to the separation devices 53 and 63 when the mixed data is input.
[0041]
Further, in each of the embodiments shown in FIGS. 5 to 8, data transfer between the descrambling devices 51 and 61 and the digital watermark inserting devices 52 and 62 can be performed by transferring all data of the image at once. In addition, it is possible to pass each time a part of the image is processed. For example, data that has been scrambled in a JPEG or MPEG image may be delivered after all have been descrambled, or data may be delivered for each pixel block that has undergone DCT conversion.
[0042]
The scrambled image data used in the embodiment of the present invention is of a strong level that the degree of image disturbance is so weak that it cannot be distinguished from the original image by human senses, and cannot be inferred from the original image. Until you can use it freely.
[0043]
For example, in the third embodiment of the invention of claims 3 to 4 described above, the image data conversion apparatus according to the invention of Japanese Patent Application No. 7-4653 and the digital image scrambler according to the invention of Japanese Patent Application No. 8-143981 Using a scrambled image in which the degree of disturbance of the image is set to such an extent that the overview of the image can be understood by the control device, a user who has decided to purchase while increasing the willingness to purchase by distributing the scrambled image to an unspecified number of users in advance. At that time, it is possible to forcibly embed information by digital watermarking as well as descrambling.
[0044]
The image data conversion apparatus disclosed in Japanese Patent Application No. 7-4653 performs data conversion with a small amount of calculation while preserving the characteristics of the original image, for example, when distributing image data on a network. In addition, it is an apparatus intended to prevent the original image from being easily restored without information for inverse transformation and to be able to restore the original image easily by using information for inverse transformation. Extract a part of the bit stream of digitally encoded image data, do not refer to other than this extracted part, and rewrite the part other than the extracted part, satisfying the encoding rule different from the original data By providing a means for replacing with a new value, the image data is directly converted and restored to the bit string of the image data while preserving the data format and characteristics of the original image. That.
[0045]
The digital image scramble control apparatus disclosed in Japanese Patent Application No. 8-143981 is intended to enable precise and flexible control of scramble strength with a small amount of description. A coordinate converter that converts the above coordinates into a value that identifies the position in the local area of the scramble unit, and a value that identifies the position in the local area from the coordinate converter and receives the local value of the corresponding scramble unit A local scramble strength setter that outputs the correct scramble strength, a global scramble strength setter that outputs the global scramble strength corresponding to the coordinates on the image, and a local scramble strength setter Global output from local scramble strength and global scramble strength setter for output scramble unit From the scramble strength, those having a scrambling intensity calculation means for outputting determining the scrambling intensity for scrambling units in the image.
[0046]
In any of the above-described embodiments, the information embedded in the image includes unique information such as the copyright information of the image, the serial number of each image, the ID number of each user, and the like. It can be used to detect unauthorized use of images and to prove the rights to images.
[0047]
In any embodiment, it is also possible to embed a part of information in the original image in advance, and then perform additional embedding of information according to the present invention.
[0048]
【The invention's effect】
As described above, according to the present invention, in order to display and use an original image, an information embedding process using a digital watermark must be performed. However, there is an effect that information to be embedded in the image can be added and embedded. According to the present invention, in the transaction of the image data, the provider side of the image data does not need to complete the operation of embedding information to be added to the original image data before distributing the image, and no information is embedded. Alternatively, after the same image data in which only the same information is embedded is distributed in advance by a free method, unique information for each user can be additionally embedded.
[0049]
This has the effect that the load of retransmitting the data through the network or the like does not occur each time, and when performing the process of decoding the image data and outputting the image on the user side, for example, a moving image If this is the case, it may take time until the delivery request from the user or the delivery start by executing the individual information embedding process and the moving image reproduction process in parallel for a part of the displayed moving image. Compared with the method of downloading after embedding individual information on the center side, there is an effect that the waiting time of the user can be shortened.
[Brief description of the drawings]
FIG. 1 is a reference diagram for explaining a first embodiment of the invention;
FIG. 2 is a reference diagram for explaining a second embodiment of the invention;
FIG. 3 is a diagram for explaining a first embodiment of the first and second aspects of the invention;
FIG. 4 is a diagram for explaining a second embodiment of the invention of claim 1 or 2;
FIG. 5 is a diagram for explaining a first embodiment of the third to fourth aspects of the invention;
FIG. 6 is a view for explaining a second embodiment of the invention of claims 3 to 4;
FIG. 7 is a view for explaining a third embodiment of the invention of claims 3 to 4;
FIG. 8 is a diagram for explaining a fourth embodiment according to the third to fourth aspects of the present invention.
[Explanation of symbols]
10, 20, 30, 40, 50, 60 Information embedding device 11, 21 Decoding device 31, 41, 51, 61 Descrambler 12, 22, 32, 42, 52, 62 Electronic watermark insertion device 53, 63 Separation Device 71 Scramble device 72 Mixing device 73 Image data management device 74 Key management device

Claims

A device for embedding digital watermark information in image data to be reproduced when the image data provided scrambled from the image data provider side is reproduced on the user side device,
A descrambling device that restores the original image data by using scrambled image data obtained by converting a part of the bit sequence of the image data for all areas of the image data and a decryption key for decrypting the scramble code;
An electronic watermark insertion device for embedding information in image data,
A decryption process for inputting the scrambled image data and the decryption key to the descrambler, decrypting and outputting the decrypted image data;
Information embedding processing for obtaining the information to be embedded with the decoded image data in the digital watermark insertion device, embedding the information in the image data with the digital watermark, and outputting the image data in which the information is embedded;
A device for embedding information in a digital image, characterized in that it cannot be separated.

A device for embedding digital watermark information in image data to be reproduced when the image data provided scrambled from the image data provider side is reproduced on the user side device,
A descrambling device that restores the original image data by using scrambled image data obtained by converting a part of the bit sequence of the image data for all areas of the image data and a decryption key for decrypting the scramble code;
An electronic watermark insertion device for embedding information in image data,
An information embedding process for inputting the scrambled image data and information to be embedded in the digital watermark insertion device, embedding information in the image data by the digital watermark, and outputting scrambled image data in which the information is embedded;
A decryption process for inputting the scrambled image data in which the information is embedded and the decryption key to the descrambling device, decrypting and outputting the decrypted image data;
A device for embedding information in a digital image, characterized in that it cannot be separated.

A device for embedding digital watermark information in image data to be reproduced when the image data provided by being scrambled from the image data provider side is reproduced on the user side device,
A separation device that separates mixed data having decoding information of scrambled image data obtained by converting a part of a bit string of image data for all regions of image data into a decoding key and other embedded information;
A descrambling device for restoring original image data from the separated decryption key and the scrambled image data;
A digital watermark insertion device for embedding information in image data,
Separation processing for inputting mixed data to the separation device, and outputting a decryption key and information to be embedded from the mixed data;
A decryption process for inputting the scrambled image data and the decryption key to the descrambler, decrypting and outputting the decrypted image data;
Information embedding processing for obtaining the information to be embedded with the decoded image data in the digital watermark insertion device, embedding the information in the image data with the digital watermark, and outputting the image data in which the information is embedded;
A device for embedding information in a digital image, characterized in that it cannot be separated.

A device for embedding digital watermark information in image data to be reproduced when the image data provided by being scrambled from the image data provider side is reproduced on the user side device,
A separation device that separates mixed data having decoding information of scrambled image data obtained by converting a part of a bit string of image data for all regions of image data into a decoding key and other embedded information;
A descrambling device for restoring original image data from the separated decryption key and the scrambled image data;
An electronic watermark insertion device for embedding information in image data,
Separation processing for inputting mixed data to the separation device, and outputting a decryption key and information to be embedded from the mixed data;
An information embedding process for inputting the scrambled image data and information to be embedded in the digital watermark insertion device, embedding information in the image data by the digital watermark, and outputting scrambled image data in which the information is embedded;
Decoding processing for inputting the scrambled image data in which the information is embedded and the decryption key to the descrambling device, decoding and outputting decoded image data;
A device for embedding information in a digital image, characterized in that it cannot be separated.