JP3600018B2

JP3600018B2 - データ埋込み装置およびデータ生成装置

Info

Publication number: JP3600018B2
Application number: JP18457298A
Authority: JP
Inventors: 兼一木戸
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1998-06-30
Filing date: 1998-06-30
Publication date: 2004-12-08
Anticipated expiration: 2018-06-30
Also published as: JP2000022930A

Description

【０００１】
【発明の属する技術分野】
この発明は、たとえば画像データなどの主データに、副データを付加するための装置に関し、特に、画像データの一部分に、音声、テキストデータなどの副データを付加するための装置に関する。
【０００２】
【従来の技術】
インターネットのワールドワイドウェブと呼ばれる技術では、パーソナルコンピュータの表示面上に画像を表示しておき、この画像の一部を指定することにより、指定された画像の部位情報を取得し、予めその部位とリンクされていた別の情報を遠隔地または当該パーソナルコンピュータの持つデータファイルまたは当該パーソナルコンピュータの属するネットワークなどから得て、その情報を提示するというデータ検索の方法がある。提示される情報としては、別の画像、音声、動画、テキストデータなどがある。
【０００３】
こうした技術を用いて、たとえば必要な情報のデータファイルを全てＣＤ−ＲＯＭ内に格納して流通させるという使い方もされており、インターネットに限らず、画像データと付加的なデータとを関係付ける技術が必要とされている。
【０００４】
【発明が解決しようとする課題】
しかし、こうした技術では画像と、その画像にリンク付けされているデータとが別々であるため、たとえば必要なデータファイルの数が増えるという問題がある。また、画像がコンピュータに表示されている場合には、コンピュータによって付加的な情報とのリンクが保持されているので付加的な情報をコンピュータを介して得ることができるが、こうした画像を一旦印刷した場合にはリンク情報が失われるので、付加的な情報を得ることができなくなってしまうという問題がある。
【０００５】
それゆえに本発明の一つの目的は、ファイルの数を増加させずに主データと副データとを関連付けることが可能なデータ埋込み装置およびデータ生成装置を提供することである。
【０００６】
本発明の他の目的は、ファイルの数を増加させずに主データと音声データまたは文字データとを関連付けることができるデータ埋込み装置およびデータ生成装置を提供することである。
【０００７】
本発明のさらに別の目的は、ファイルの数を増加させずに主データと副データとを関連付けることができ、かつそうした主データが一旦電子的媒体以外の媒体に固定されたときにも副データを復元できるようなデータ埋込み装置およびデータ生成装置を提供することである。
【０００８】
【課題を解決するための手段】
請求項１に記載のデータ埋込み装置は、主データを取込むための主データ取込み手段と、主データに付加されることによって主データに対して関連付けられる副データを取込むための副データ取込み手段と、取込まれた主データを所定の複数個のデータブロックに分割し、予め定められた信号処理を行いながら、副データを所定のビットごとに分割して複数個のデータブロックの一部のみに電子透かし情報としてそれぞれ埋込むための電子透かし埋込み手段とを含む。そしてデータブロック毎に、透かし情報として埋込まれる前記副データは異なっている。
【０００９】
副データを所定ビットごとに分割して、主データのデータブロックにそれぞれ埋込むことで、全体として比較的大きな量の副データを電子透かしとして埋込むことができる。
【００１１】
副データを所定ビットごとに分割して、主データのデータブロックのうちの一部のデータブロックに埋込むことができるので、主データの一部のみに副データを埋込んだり、別の領域に別の副データを埋込んだりすることが可能になる。
【００１２】
請求項２に記載の発明にかかるデータ埋込み装置は、請求項１に記載の発明の構成に加えて、副データは音声データを含むことを特徴とする。
【００１３】
請求項３に記載の発明にかかるデータ埋込み装置は、請求項１に記載の発明の構成に加えて、副データは文字データを含むことを特徴とする。
【００１４】
請求項４に記載の発明にかかるデータ生成装置は、所定の処理がされた複数個のデータブロックを含み、かつ複数個のデータブロックの一部のみには所定のビットごとに分割された副データが電子透かし情報として埋込まれた電子透かし付きの主データを準備するための主データ準備手段と、電子透かし付の主データから副データを所定ビットごとに復号するための電子透かし復号手段と、所定の処理がされたデータブロックの各々に対して、所定の処理に対応して定められる処理をすることにより主データを復元するためのデータ処理手段とを含む。副データは、主データに付加されることによって主データに対して関連付けられるデータであって、主データ準備手段は、データブロック毎に、透かし情報として埋込まれる副データを異ならせる。
【００１５】
副データを所定ビットごとに分割して、主データのデータブロックにそれぞれ埋込んでおき、これを復号することで、全体として比較的大きな量の副データを復元することができる。
【００１６】
請求項５に記載の発明にかかるデータ生成装置は、請求項４に記載の発明の構成に加えて、電子透かし復号手段は、複数個のデータブロックの内の一部のデータブロックから副データを所定ビットごとに復号するための手段を含むことを特徴とする。
【００１７】
副データを所定ビットごとに分割して、主データのデータブロックのうちの一部のデータブロックに埋込んでおくことで、主データの一部のみから副データを復号したり、別の領域から別の副データを復号したりすることが可能になる。
【００１８】
請求項６に記載の発明にかかるデータ生成装置は、請求項４または５に記載の発明の構成に加えて、副データは音声データを含むことを特徴とする。
【００１９】
請求項７に記載の発明にかかるデータ生成装置は、請求項４または５に記載の発明の構成に加えて、副データは文字データを含むことを特徴とする。
【００２０】
【発明の実施の形態】
上述した問題を解決するために、いわゆる電子透かし技術を利用することが考えられる。電子透かしとは、近年のデータのデジタル化という趨勢にしたがってデジタル化された写真などの美術作品の画像データが不正にコピーされ流用または流通されることを防止するための技術である。
【００２１】
電子透かし技術では、著作権保護のために、小さなデータ量の透かし情報を画像全体に埋込む。埋込み後の画像を見ただけでは、そこにこうした透かし情報が埋込まれていることは認識できないが、電子的な処理を行うことにより透かし情報が復元できる。したがって付加的な情報を電子透かし技術を用いて画像に埋込むという利用法が考えられる。
【００２２】
ところが、電子透かし技術は主として著作権保護のために用いられるため、小さなデータ量の透かし情報を画面全体に埋込んで、画像のどこを取出しても透かし情報が取出せるようにしている。そのため、付加的な情報がたとえば音声データなどのように比較的データ量の大きいものである場合には、画像データにそうした付加的な情報を埋込むことは難しい。仮に埋込むことができたとしても、付加的な情報の量が多いため、画像データに対するノイズが増大し画像が劣化してしまう。
【００２３】
そこで、本願発明では、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）規格に代表される画像圧縮などの画像処理技術の内で、データに対してＤＣＴ（離散コサイン変換）などの直交変換処理が行われる方式において、データが多数のブロック（ＤＣＴの場合にはＤＣＴブロックと呼ばれる）に分割されることに着目して、次のようにこの問題を解決した。なお直交変換処理としてＤＣＴ以外にＦＦＴ（高速フーリエ変換）などもよく使用されるが、本発明はＦＦＴを使用する方式でも適用可能である。
【００２４】
図１を参照して、音声データ２０を画像データ２２に埋込む場合を考える。画像データ２２は複数個のＤＣＴブロックに分割される。音声データ２０も、一定のビット単位のブロックＡ，Ｂ，Ｃなどに分割し、これらをブロック単位で画像データ２２のＤＣＴブロックに透かしデータａ，ｂ，ｃ等として順番に埋込んでいく。
【００２５】
図２を参照して、復元時には次のようにする。画像データ２２は複数個のＤＣＴブロックに分割されている。そこで、これらＤＣＴブロックの各々から、透かしデータとして埋込まれていた音声データの各ブロックａ，ｂ，ｃ等を取出し、元の順番にブロックＡ、Ｂ、Ｃ、…と並べて元の音声データ２０を復元する。なお、埋込む順番は必ずしも先頭から順でなくともよい。メモリなどの資源に制約されなければ、副データの各ブロックを所定の順番に入れ替えてから主データに埋込んでもよい。この場合、復元時には埋込み時とは逆に副データの順番を入れ替える必要がある。
【００２６】
図３に、本願発明の一実施の形態にかかるデータ埋込み装置３０のブロック図を示す。なお以下の説明では、画像データに音声データを埋込む場合を例として説明するが、本願発明はそうした組合わせのみに適用可能なだけでなく、一般的に主データに対して副となるデータを付加するもので、かつ主データの符号化にあたって主データを所定のブロックに分割するものであればどのようなものにも適用可能である。たとえば副データは文字データであってもよく、また主データの画像とは別の画像データであってもよい。ただし、埋込めるデータ量は主データのデータ量に比して少ないので、副データの大きさには自ずから制限がある。
【００２７】
図３を参照してこのデータ埋込み装置３０は、画像データへの音声データの埋込みを行うためのデータ埋込み部３２と、音声データが埋込まれた画像データを記憶するためのメモリ装置３６と、メモリ装置３６に記憶された画像データから、元の画像と、付加データである音声データとを復元する処理を行うためのデータ復元部３４とを含む。
【００２８】
データ埋込み部３２は、画像を電気信号として取込むための、スキャナ、カメラなどからなる画像取込み装置４０と、この電気信号に対して所定の信号処理を行うための信号処理装置４２と、ＪＰＥＧ規格にしたがった画像圧縮処理を行うためのＪＰＥＧ圧縮部４４と、圧縮された画像データをメモリ装置３６に書込むためのメモリ書込み装置４６と、後述するように機能を切り替えるためのスイッチ５４とを含む。データ埋込み部３２はさらに、マイクなどからなる音声取込み装置４８と、音声取込み装置４８の出力する電気信号をＡ／Ｄ（アナログ／デジタル）変換するためのＡ／Ｄ装置５０と、こうしてデジタル化された音声データを電子透かしとして画像データに埋込むための電子透かし書込み装置５２とを含む。
【００２９】
ＪＰＥＧ圧縮部４４は、データブロック（ＤＣＴブロック）に対してＤＣＴ演算を行うためのＤＣＴ演算装置６０と、ＤＣＴ処理されたデータブロックに対して量子化処理を行うための量子化装置６２と、機能に応じて接続を切り替えるためのスイッチ６６と、ＤＣＴ処理されたデータブロックに対してハフマン符号化処理を行うためのハフマン符号化装置６４とを含む。
【００３０】
データ復元部３４は、メモリ装置３６からデータを読出すためのメモリ読出し装置７０と、読出された画像データに対してＪＰＥＧ伸長処理を行うためのＪＰＥＧ伸長部７２と、復元された画像を表示するためのデータ処理を行う画像表示装置７４と、画像表示装置７４より出力される画像信号を表示するためのモニタ装置７６と、機能に応じて接続を切り替えるためのスイッチ８４と、メモリ装置３６から読出された画像データから、透かし情報を抽出し復元するための電子透かし読出し装置７８と、復元された透かし情報（音声データ）をデジタル／アナログ（Ｄ／Ａ）変換するためのＤ／Ａ装置８０と、Ｄ／Ａ装置の出力するアナログ信号を音声として再生する、スピーカなどからなる音声出力装置８２とを含む。
【００３１】
ＪＰＥＧ伸長部７２は、読出された画像のデータブロックに対してハフマン復号化処理を行うためのハフマン復号化装置９０と、機能に応じて接続を切り替えるためのスイッチ９６と、ハフマン復号化されたデータに対して逆量子化処理を行うための逆量子化装置９２と、逆量子化処理されたデータブロックに対してＩＤＣＴ（逆離散コサイン変換）処理を行うためのＩＤＣＴ演算装置９４とを含む。
【００３２】
図４および図５を参照しながら、図３に示されるデータ埋込み装置３０の動作について説明する。まず、画像取込み装置４０によって画像の取込みを行う（１００）。続いて、信号処理装置４２によって、これら画像信号に対する画像処理を行い（１０２）、ＪＰＥＧのヘッダに、電子透かしに関する付加情報の書込みを行う（１０４）。さらにデータをＤＣＴブロック単位に分割してＪＰＥＧ圧縮部４４に転送する（１０６）。
【００３３】
以後はＪＰＥＧ圧縮に関する処理であるがこれについては後述する。
画像取込みの処理と並行して、音声取込み装置４８による音声の取込みも行う（１１４）。なお、音声と画像とは、たとえば電子スチルカメラで画像と音声とを同時に取込む場合のように同時に準備されたものでもよいし、市販の画像データに使用者の音声によるメモを付加する場合のように、別個に準備されたものでもよい。この場合、画像の取込みと音声の画像とを並行して行う必要はない。
【００３４】
取込まれた音声データをＡ／Ｄ装置５０によってデジタルデータに変換し（１１６）、デジタル化された音声データをｎビット単位（ｎは予め定められた定数である。たとえばｎ＝８）で電子透かし書込み装置５２に転送する。このデータは、以下に述べるＪＰＥＧ圧縮処理で使用され、画像データに埋込まれる。
【００３５】
ＪＰＥＧ圧縮部４４による処理では、まずＤＣＴ演算装置６０が、転送されたＤＣＴブロックに対してＤＣＴ演算を行う（１０８）。ＤＣＴ演算後のデータは量子化装置６２によって量子化され、スイッチ６６に与えられる。スイッチ６６は、電子透かしの埋込み処理を行う場合には量子化装置６２の出力を端子６６Ｃを介して電子透かし書込み装置５２に与え（図４のステップ１１２で「ＯＮ」）、埋込み処理を行わない場合には端子６６ａを介してハフマン符号化装置６４に与える（図４のステップ１１２で「ＯＦＦ」）。埋込み処理を行わない場合は通常の処理と同様であるので、以下では特に埋込み処理を行う場合について説明する。
【００３６】
この場合、電子透かし書込み装置５２が、量子化装置６２から出力された１ＤＣＴブロック分の画像データに対して、Ａ／Ｄ装置５０から転送されてきたｎビット分の音声データを透かし情報として埋込む（１２０）。こうして透かし情報として埋込まれた音声データを含む画像データに対してさらにハフマン符号化装置６４によりハフマン符号化処理が行われ（１２２）、ハフマン符号化された画像データはメモリ書込み装置４６によってメモリ装置３６に書込まれる。処理されたＤＣＴブロックが最後のブロックか否かを判定し（１２４）、最後のブロックであれば処理を終了する。処理されたＤＣＴブロックが最後のブロックでなければ制御をステップ１０８に戻して後続のＤＣＴブロックに対して上述した処理を繰返す。
【００３７】
こうして、ｎビットのブロックに分割された音声データが、画像データの各ＤＣＴブロックに埋込まれて、付加データを有する画像データが作成されメモリ装置３６に格納される。
【００３８】
次に、こうして音声データを付加データ（電子透かし）として持つ画像データから音声を復元する処理について説明する。図３および図５を参照して、まずメモリ読出し装置７０がメモリ装置３６から画像データを取込む（１４０）。この画像データは前述のように音声データを付加データ（電子透かし）として含んでいる。
【００３９】
ハフマン復号化装置９０が、このデータのヘッダを読込んで（１４２）以下の処理を行う。スイッチ８４はハフマン復号化装置９０の出力を電子透かし読出し装置７８に与えるよう端子８４ａを選択している。ヘッダに電子透かしに関する付加情報が含まれていれば、ハフマン復号化装置９０は１ブロックごとに画像データに対してハフマン復号化処理を行い（１４４）、ハフマン復号化されたデータは電子透かし読出し装置７８に与えられる。
【００４０】
電子透かし読出し装置７８は与えられたＤＣＴブロックのデータから、付加されていた音声データを抽出する（１４８）。この音声データはｎビットごとに転送されて（１５６）Ｄ／Ａ装置８０に与えられ、アナログ信号に変換された後（１５８）音声出力装置８２によって音声として再生される（１６０）。
【００４１】
一方、電子透かし読出し装置７８は画像データをスイッチ９６を介して逆量子化装置９２に与える。逆量子化装置９２はこの画像データに対して逆量子化処理を行う（１５０）。逆量子化された画像データはＩＤＣＴ演算装置９４に与えられ、ＩＤＣＴ処理が行われる（１５２）。こうして得られた画像データは画像表示装置７４を介してモニタ装置７６に与えられ表示される。
【００４２】
こうして処理されたＤＣＴブロックが最後のブロックか否かを判定し（１５４）、最後のブロックであれば処理を終了する。最後のブロックでなければ制御はステップ１４８に戻り、ＤＣＴブロックごとの画像データと音声データとの復元が、全てのＤＣＴブロックを処理するまで繰返される。
【００４３】
このようにして画像データに音声データを電子透かしとして埋込むことができる。音声データは、画像の全体に埋込むこともできるし、画像の一部のみに埋込むこともできる。たとえば２メガビットの大きさの画像データにデータを埋込む場合を考える。各ＤＣＴブロックに８ビットデータ単位で付加データを埋込むものとする。１ＤＣＴブロックを８×８の６４ビットとして、ＤＣＴブロックの数は２００００００／６４＝３１２５０となる。したがって、付加データとして３１２５０×８＝２５０００（ビット）＝３１．２５（Ｋバイト）のデータを埋込むことができる。
【００４４】
付加データが音声の場合、サンプリングレートが８ｋＨｚの場合であれば約４秒の音声を埋込むことができる。また付加データが文字データであれば約３００００文字の埋込みを行うことができる（１文字を１バイトとする）。
【００４５】
図３に示すデータ埋込み装置３０は、図６および図７に示すように、画像１７０の一部分にのみ付加データを電子透かし１７２、１７４、１７６として埋込み、図７に示すようにポインタ１７８で指示することにより付加データを再生する場合にも利用できる。その場合の動作を図８を参照して説明する。
【００４６】
まず、画像データを読出し、ヘッダの情報を読出す（１９０）。そして、ヘッダに含まれる電子透かしに関する付加情報を読取り、前述した図５の動作と同様の動作によって画像を復元する。ただし本実施の形態では、この画像の復元処理では付加データの復元は行わず、付加情報の読取りのみ行う。ＪＰＥＧ伸長部７２によって圧縮画像を伸長する（１９２）。伸長された画像を画像表示装置７４およびモニタ装置７６によって表示する（１９４）。
【００４７】
こうして表示された画像のうち、電子透かし情報が埋込まれた領域を図７に示されるようにポインタ１７８によって指定する（１９６）。以下、電子透かし情報の復元処理が開始される。まず指定領域のＤＣＴブロックを検索する（１９８）。検索されたＤＣＴブロックに対してＤＣＴ処理を行い（２００）、さらに量子化処理を行って（２０２）透かし情報の復号を行い（２０４）、復号された透かし情報から音声データをデコードする（２０６）。さらに、指定された領域のブロックがまだあるかどうかを判断し（２０８）まだあれば再びステップ１９８に制御を戻して音声情報のデコードを繰返す。指定された領域に含まれる全てのＤＣＴブロックを処理し終えたら、デコードされた音声を再生して（２１０）処理を終了する。
【００４８】
この機能を使用すると、例えば、以下に示すような事項を実現することができる。図９を参照して、画像１７０のうちのいくつかの範囲に別々の音声を電子透かし１７２、１７４、１７６として埋込んでおく。例えば電子透かし１７２の範囲には「あ」という音声を、電子透かし１７４の範囲には「い」という音声を、電子透かし１７６の範囲には「う」という音声を、それぞれ電子透かしとして埋込んでおく。そしてパーソナルコンピュータ画面上にこの画像を表示し、ポインタ１７８で任意の範囲を指定すれば、その範囲に埋込まれている透かし情報を復号し、埋込まれていた音声を出力することができる。これにより、画像の各範囲に、その画像部分に対応した音声を埋込み、使用者の指定に応じて種々の音声を出力することが一つの画像データを用いて可能になる。
【００４９】
このように、本願発明によれば、画像データなどの主データに付加される、音声データなどの付加データが画像データ内に埋込まれる。したがってこれらのデータファイルを別にする場合と比較してファイル数が削減できる。また、電子的透かしの技術を用いるので、付加データを埋込んでもファイルのデータ量の増加はほとんど無い。また、画像に対して適用された電子透かしの特性として、一旦プリントアウトされた画像であっても、スキャナ等で取込めば再度透かし情報が取出せると言う特徴がある。この特性により、印刷された画像を送るだけで、その画像に埋込まれた音声などのデータを復元することができる。また、画像の任意の部分に透かし情報を埋込むとにより、複数種類の付加データを一つの画像データに埋込むことが可能である。
【図面の簡単な説明】
【図１】図１は、本願発明の原理を説明するための、画像データへの、音声データの埋込み方法を示す模式図である。
【図２】図２は、本願発明の原理を説明するための、画像データからの、音声データの復元方法を示す模式図である。
【図３】図３は、本願発明の一実施の形態にかかるデータ埋込み装置のブロック図である。
【図４】図４は、音声データ埋込み処理のフローチャートである。
【図５】図５は、音声データ取出し処理のフローチャートである。
【図６】図６は、画像の一部に埋込まれた音声データを模式的に示す図である。
【図７】図７は、画像の一部に埋込まれた音声データを取出す処理を模式的に示す図である。
【図８】図８は、画像の一部に埋込まれた音声データを取出す処理のフローチャートである。
【図９】図９は、画像の一部に埋込まれた音声データを取出す処理の具体例を示す模式図である。
【符号の説明】
３０データ埋込み装置
３６メモリ装置
４０画像取込み装置
４４ＪＰＥＧ圧縮部
４８音声取込み装置
５２電子透かし書込装置
７２ＪＰＥＧ伸長部
７４画像表示装置
７６モニタ装置
７８電子透かし読出装置
８２音声出力装置

Claims

主データを取込むための主データ取込み手段と、
前記主データに付加されることによって前記主データに対して関連付けられる副データを取込むための副データ取込み手段と、
取込まれた主データを所定の複数個のデータブロックに分割し、予め定められた信号処理を行いながら、前記副データを所定のビットごとに分割して前記複数個のデータブロックの一部のみに電子透かし情報としてそれぞれ埋込むための電子透かし埋込み手段とを含み、
前記データブロック毎に、前記透かし情報として埋込まれる前記副データは異なることを特徴とする、データ埋込み装置。
前記副データは音声データを含む、請求項１に記載のデータ埋込み装置。
前記副データは文字データを含む、請求項１に記載のデータ埋込み装置。
所定の処理がされた複数個のデータブロックを含み、かつ前記複数個のデータブロックの一部のみには所定のビットごとに分割された副データが電子透かし情報として埋込まれた電子透かし付きの主データを準備するための主データ準備手段と、
前記電子透かし付の主データから副データを前記所定ビットごとに復号するための電子透かし復号手段と、
前記所定の処理がされたデータブロックの各々に対して、前記所定の処理に対応して定められる処理をすることにより主データを復元するためのデータ処理手段とを含み、
前記副データは、前記主データに付加されることによって前記主データに対して関連付けられるデータであって、前記主データ準備手段は、前記データブロック毎に、前記透かし情報として埋込まれる前記副データを異ならせることを特徴とする、データ生成装置。
前記電子透かし復号手段は、前記複数個のデータブロックの内の前記一部のデータブロックから前記副データを前記所定ビットごとに復号するための手段を含む、請求項４に記載のデータ生成装置。
前記副データは音声データを含む、請求項４または５に記載のデータ生成装置。
前記副データは文字データを含む、請求項４または５に記載のデータ生成装置。