JP4147700B2 - 符号化装置および符号化方法、並びに記録媒体 - Google Patents
符号化装置および符号化方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4147700B2 JP4147700B2 JP28419899A JP28419899A JP4147700B2 JP 4147700 B2 JP4147700 B2 JP 4147700B2 JP 28419899 A JP28419899 A JP 28419899A JP 28419899 A JP28419899 A JP 28419899A JP 4147700 B2 JP4147700 B2 JP 4147700B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- line
- encoding
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、並びに記録媒体に関し、特に、例えば、復号画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むこと等ができるようにする符号化装置および符号化方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
信号に対して、そのデータ量を増加させることなく、情報を埋め込む手法としては、例えば、ディジタルオーディオデータの最下位ビットや、下位２ビットなどを、埋め込む情報に変換するものなどがある。この手法は、ディジタルオーディオデータの下位ビットが、その音質にあまり影響を与えないことを利用し、その下位ビットを、単に、埋め込む情報に置き換えるものであり、従って、再生時には、情報が埋め込まれたディジタルオーディオデータは、その下位ビットを元に戻さずに、そのまま出力される。即ち、情報が埋め込まれた下位ビットを、元に戻すのは困難であり、また、下位ビットは、音質に、あまり影響を与えないことから、ディジタルオーディオデータは、情報が埋め込まれた状態で出力される。
【０００３】
【発明が解決しようとする課題】
しかしながら、以上のような手法では、本来の信号と異なる信号が出力される。従って、信号がオーディオデータである場合には、その音質に、また、信号がビデオデータである場合には、その画質に、少なからず影響がある。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の符号化装置は、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶手段と、第２のデータにしたがって、復号時に第１のデータを復元できるように記憶手段に記憶された一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションすることにより、第１のデータに、第２のデータに関連するデータを埋め込む符号化手段とを備えることを特徴とする。
【０００６】
この符号化装置には、第１および第２のデータを入力する入力手段をさらに設けることができる。
【０００７】
第１のデータは、複数の画素データから構成される画像データとすることができ、この場合、記憶手段には、画像データ上の所定方向に並ぶ一連の画素データを記憶させ、符号化手段には、記憶手段に記憶された一連の画素データを、第２のデータにしたがって所定方向にローテーションすることにより、画像データに、第２のデータに関連するデータを埋め込ませることができる。
【０００８】
符号化手段には、画像データ上の所定方向に並び、かつ画像データの画枠内にある一連の画素データを、第２のデータにしたがって所定方向にローテーションさせることができる。
【０００９】
また、符号化手段には、画像データ上の水平方向に並ぶ１ラインの画素データを、第２のデータにしたがって水平方向にローテションさせることができる。
【００１０】
第１のデータの一部は、符号化手段によるローテーションが禁止されているものとすることができる。
【００１１】
符号化手段には、一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションさせることができる。
【００１２】
本発明の符号化方法は、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶ステップと、第２のデータにしたがって、復号時に第１のデータを復元できるように記憶ステップにおいて記憶された一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションすることにより、第１のデータに、第２のデータに関連するデータを埋め込む符号化ステップとを備えることを特徴とする。
【００１３】
本発明の記録媒体は、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶ステップと、第２のデータにしたがって、復号時に第１のデータを復元できるように記憶ステップにおいて記憶された一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションすることにより、第１のデータに、第２のデータに関連するデータを埋め込む符号化ステップとを備えるプログラムが記録されていることを特徴とする。
【００２２】
本発明の符号化装置および符号化方法、並びに記録媒体においては、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データが記憶され、その記憶されたデータが、第２のデータにしたがって、復号時に第１のデータを復元できるように、一連の画素データが、第２のデータの値に相当する画素数に応じて所定方向にローテーションされることにより、第１のデータに、第２のデータに関連するデータが埋め込まれる。
【００２５】
【発明の実施の形態】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２６】
この画像伝送システムは、符号化装置１０および復号装置２０で構成されており、符号化装置１０は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、復号装置２０は、その符号化データを、元の画像に復号するようになされている。
【００２７】
即ち、画像データベース１は、符号化すべき画像（例えば、ディジタル画像）を記憶している。そして、画像データベース１からは、そこに記憶されている画像が読み出され、埋め込み符号化器３に供給される。
【００２８】
また、付加情報データベース２は、符号化対象の画像に埋め込むべき情報としての付加情報（ディジタルデータ）を記憶している。そして、付加情報データベース２からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器３に供給される。
【００２９】
埋め込み符号化器３では、画像データベース１からの画像、および付加情報データベース２からの付加情報が受信される。さらに、埋め込み符号化器３は、画像データベース１からの画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報データベース２からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器３は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器３が出力する符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体４に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体５を介して伝送され、復号装置２０に提供される。
【００３０】
復号装置２０は、埋め込み復号器６で構成され、そこでは、記録媒体４または伝送媒体５を介して提供される符号化データが受信される。さらに、埋め込み復号器６は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタに供給されて表示される。
【００３１】
なお、付加情報としては、例えば、元の画像に関連するテキストデータや、音声データ、その画像を縮小した縮小画像等は勿論、元の画像に無関係なデータも用いることができる。
【００３２】
次に、図１の埋め込み符号化器３における符号化（埋め込み符号化）、および埋め込み復号器６における復号（埋め込み復号）の原理について説明する。
【００３３】
一般に、情報と呼ばれるものは、エネルギ（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると人によって認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【００３４】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の価値ある情報に復号することができる。
【００３５】
ここで、情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性、連続性、相似性などがある。
【００３６】
情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。例えば、画像の相関性を表すものとしては、画像のライン間の相関があり、この相関を表す相関値としては、例えば、２つのラインにおける、対応する各画素値の差分の２乗和等を用いることができる（この場合、相関値が小さいことは、ライン間の相関が大きいことを表し、相関値が大きいことは、ライン間の相関が小さいことを表す）。
【００３７】
即ち、例えば、いま、図２に示すようなＨライン１０２を有する画像１０１があった場合に、その上から１行目のライン（第１ライン）１０３と、他のラインとの相関は、一般に、図３（Ａ）に示すように、第１ライン１０３との距離が近いライン（図２における画像１０１の上側のライン）ほど、第Ｍライン１０４についての相関２０１として示すように大きくなり、第１ライン１０３との距離が遠いライン（図２における画像の下側のライン）ほど、第Ｎライン１０５についての相関２０２として示すように小さくなる。従って、第１ライン１０３から近いほど、第１ライン１０３との相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある。
【００３８】
そこで、いま、図２の画像１０１において、第１ライン１０３から比較的近い第Ｍライン１０４と、第１ライン１０３から比較的遠い第Ｎライン１０５との画素値を入れ替える操作を行い（１＜Ｍ＜Ｎ≦Ｈ）、その入れ替え後の画像１０１について、第１ライン１０３と、他のラインとの相関を計算値すると、それは、例えば、図３（Ｂ）に示すようになる。
【００３９】
即ち、入れ替え後の画像１０１では、第１ライン１０３から近い第Ｍライン（入れ替え前の第Ｎライン１０５）との相関２０３が小さくなり、第１ライン１０３から遠い第Ｎライン（入れ替え前の第Ｍライン１０４）との相関２０４が大きくなる。
【００４０】
従って、図３（Ｂ）では、第１ライン１０３から近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りが破壊されている。しかしながら、画像については、一般に、第１ライン１０３から近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りを利用することにより、破壊された相関性の偏りを復元することができる。即ち、図３（Ｂ）において、第１ライン１０３から近い第Ｍラインとの相関２０３が小さく、第１ライン１０３から遠い第Ｎラインとの相関２０４が大きいのは、画像１０１が有する本来の相関性の偏りからすれば、明らかに不自然であり（おかしく）、第Ｍラインと第Ｎラインとは入れ替えるべきである。そして、図３（Ｂ）における第Ｍラインと第Ｎラインとを入れ替えることで、図３（Ａ）に示すような本来の相関性の偏りを有する画像、即ち、元の画像１０１を復号することができる。
【００４１】
ここで、図２および図３で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
【００４２】
次に、情報の連続性についてであるが、例えば、画像のある１ラインについて注目した場合に、その注目ラインにおいて、図４（Ａ）に示すような、画素値の変化パターンが連続している波形３０１が観察されたとすると、その注目ラインと離れた他のラインでは、注目ラインとは異なる画素値の変化パターンが観察される。従って、注目ラインと、その注目ラインと離れた他のラインとにおいては、画素値の変化パターンが異なり、連続性においても偏りがある。即ち、画像のある部分の画素値の変化パターンに注目すると、その注目部分に隣接する部分には、同様の画素値の変化パターンが存在し、注目部分から離れるにつれて、異なる画素値の変化パターンが存在するという連続性の偏りがある。
【００４３】
そこで、いま、図４（Ａ）に示した、画像のあるラインにおける、画素値の変化パターンが連続している波形３０１の一部を、例えば、図４（Ｂ）に示すように、離れたラインにおける波形３０２と入れ替える。
【００４４】
この場合、画像の連続性の偏りが破壊される。しかしながら、近接する部分の画素値の変化パターンは連続しており、離れるほど、画素値の変化パターンが異なるという連続性の偏りを利用することにより、破壊された連続性の偏りを復元することができる。即ち、図４（Ｂ）において、波形の一部３０２の画素値の変化パターンが、他の部分の画素値の変化パターンに比較して大きく異なっているのは、波形が有する本来の連続性の偏りからすれば、明らかに不自然であり、他の部分の画素値の変化パターンと異なっている部分３０２は、他の部分の画素値の変化パターンと同様の波形に入れ替えるべきである。そして、そのような入れ替えを行うことで、連続性の偏りが復元され、これにより、図４（Ｂ）に示した波形から、図４（Ａ）に示した元の波形を復号することができる。
【００４５】
ここで、図４で説明した場合においては、波形の一部を、その周辺の画素値の変化パターンとは大きく異なる画素値の変化パターンの波形に入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、波形のどの部分の画素値の変化パターンを入れ替えるのかや、画素値の変化パターンをどの程度大きく変化させるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、大きく異なる画素値の変化パターンを一部に有する波形を、周辺の画素値の変化パターンは連続しており、離れるほど、画素値の変化パターンが異なるという連続性の偏りを利用して、元の波形に戻すことが、その元の波形を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、波形のどの部分の画素値の変化パターンが大きく変化していたのかや、画素値の変化パターンがどの程度大きく変化していたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００４６】
次に、情報の相似性についてであるが、例えば、風景を撮影した画像等の一部は、画像のフラクタル性（自己相似性）を利用して生成することができることが知られている。即ち、例えば、図５（Ａ）に示すような、海４０１と森４０２を撮影した画像においては、海４０１全体の画素値の変化パターンと、その海４０１の一部の画素値の変化パターンとの相似性は高いが、それらの変化パターンと、海４０１から離れた森４０２の画素値の変化パターンとの相似性は低いという相似性の偏りがある。ここで、画像の相似性は、上述のように画素値の変化パターンを比較して考えるのではなく、エッジ形状を比較して考えても良い。
【００４７】
そこで、いま、図５（Ａ）に示した海４０１の一部４０３と、森４０２の一部４０４とを入れ替える。
【００４８】
この場合、画像の相似性の偏りが破壊され、図５（Ｂ）に示すような画像が得られる。しかしながら、近接する部分の画素値の変化パターンは相似性が高く、離れるほど、画素値の変化パターンの相似性が低くなるという相似性の偏りを利用することにより、破壊された相似性の偏りを復元することができる。即ち、図５（Ｂ）において、海４０１の画像の一部が、海４０１と相似性の低い森４０２の画像の一部４０４になっていること、および森４０２の画像の一部が、森４０２と相似性の低い海４０１の画像の一部４０３となっていることは、画像が有する本来の相似性の偏りからすれば、明らかに不自然である。具体的には、図５（Ｂ）において、海４０１の画像の中の、森４０２の画像の一部４０４についての相似性は、海４０１の他の部分についての相似性に比較して極端に低くなっており、また、森４０２の画像の中の、海４０１の画像の一部４０３についての相似性も、森４０２の他の部分についての相似性に比較して極端に低くなっている。
【００４９】
従って、画像が本来有する相似性の偏りからすれば、海４０１の画像の一部となっている、森４０２の画像の一部４０４と、森４０２の画像の一部となっている、海４０１の画像の一部４０３とは入れ替えるべきである。そして、そのような入れ替えを行うことで、画像の相似性の偏りが復元され、これにより、図５（Ｂ）に示した画像から、図５（Ａ）に示した元の画像を復号することができる。
【００５０】
ここで、図５で説明した場合においては、海４０１の画像の一部４０３と、森４０２の画像の一部４０４とを入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、海４０１の画像のどの部分（画面上の位置）と、森４０２の画像のどの部分とを入れ替えるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、海４０１の一部が、森４０２の一部４０４となっているとともに、森４０２の一部が、海４０１の一部４０３となっている画像を、周辺の画素値の変化パターンの相似性は高く、離れるほど、画素値の変化パターンの相似性が低くなっていくという相似性の偏りを利用して、元の画像に戻すことが、その元の画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、海の画像のどの部分と、森の画像のどの部分とが入れ替えられていたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００５１】
以上のように、埋め込み符号化器３において、符号化対象の画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報にしたがって符号化して、符号化データを出力する場合には、埋め込み復号器６では、その符号化データを、画像が有するエネルギの偏りを利用することにより、復号のためのオーバヘッドなしで、元の画像および付加情報に復号することができる。
【００５２】
また、符号化対象の画像には、付加情報が埋め込まれることで、その埋め込みの結果得られる画像は、元の画像と異なる画像とされ、人が価値ある情報として認識することのできる画像ではなくなることから、符号化対象の画像については、オーバヘッドなしの暗号化を実現することができる。
【００５３】
さらに、完全可逆の電子透かしを実現することができる。即ち、従来の電子透かしでは、例えば、画質にあまり影響のない画素値の下位ビットが、電子透かしに対応する値に、単に変更されていたが、この場合、その下位ビットを、元の値に戻すことは困難である。従って、復号画像の画質は、電子透かしとしての下位ビットの変更により、少なからず劣化する。これに対して、符号化データを、元の画像が有するエネルギの偏りを利用して復号する場合には、劣化のない元の画像および付加情報を得ることができ、従って、付加情報を電子透かしとして用いることで、電子透かしに起因して復号画像の画質が劣化することはない。
【００５４】
また、埋め込まれた付加情報は、符号化データから画像を復号することで取り出すことができるので、画像の符号化結果とともに、オーバヘッドなしでサイドインフォメーションを提供することができる。言い換えれば、付加情報を取り出すためのオーバヘッドなしで、その付加情報を画像に埋め込むことができるので、その埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮（埋め込み圧縮）されているということができる。従って、例えば、ある画像の半分を符号化対象とするとともに、残りの半分を付加情報とすれば、符号化対象である半分の画像に、残りの半分の画像を埋め込むことができるから、この場合、画像は、単純には、１／２に圧縮されることになる。
【００５５】
さらに、符号化データは、元の画像が有するエネルギの偏りという、いわば統計量を利用して復号されるため、誤りに対する耐性の強いものとなる。即ち、ロバスト性の高い符号化であるロバスト符号化（統計的符号化）を実現することができる。
【００５６】
また、符号化データは、元の画像が有するエネルギの偏りを利用して復号されるため、そのエネルギの偏りに特徴があるほど、即ち、例えば、画像については、そのアクティビティが高いほど、あるいは、冗長性が低いほど、多くの付加情報を埋め込むことができる。ここで、上述したように、付加情報の埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮されているということができるが、この圧縮という観点からすれば、符号化対象の情報が有するエネルギの偏りを利用して復号を行うことができるように、その情報を、付加情報にしたがって符号化する方式（埋め込み符号化方式）によれば、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率が高くなる。この点、埋め込み符号化方式は、従来の符号化方式と大きく異なる（従来の符号化方式である、例えばＭＰＥＧ（Moving Picture Experts Group）方式などでは、基本的に、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率は低くなる）。
【００５７】
さらに、例えば、上述したように、画像を符号化対象とする一方、付加情報として、画像とは異なるメディアの、例えば、音声を用いるようにすることで、音声をキーとして、画像の提供を行うようなことが可能となる。即ち、符号化装置１０側において、例えば、契約者が発話した音声「開けゴマ」など付加情報として画像に埋め込んでおき、復号装置２０側では、ユーザに、音声「開けゴマ」を発話してもらい、その音声と、画像に埋め込まれた音声とを用いて話者認識を行うようにする。このようにすることで、例えば、話者認識の結果、ユーザが契約者である場合にのみ、自動的に、画像を提示するようなことが可能となる。なお、この場合、付加情報としての音声は、いわゆる特徴パラメータではなく、音声波形そのものを用いることが可能である。
【００５８】
また、例えば、音声を符号化対象とする一方、付加情報として、音声とは異なるメディアの、例えば、画像を用いるようにすることで、画像をキーとして、音声の提供を行うようなこと（例えば、顔認識後の音声応答）が可能となる。即ち、符号化装置１０側において、例えば、ユーザへの応答としての音声に、そのユーザの顔の画像を埋め込み、復号装置２０側では、ユーザの顔を撮影し、その結果得られる画像とマッチングする顔画像が埋め込まれている音声を出力するようにすることで、ユーザごとに異なる音声応答を行う音声応答システムを実現することが可能となる。
【００５９】
さらに、音声に、音声を埋め込んだり、画像に、画像を埋め込んだりするような、あるメディアの情報に、それと同一メディアの情報を埋め込むようなことも可能である。あるいは、また、画像に、契約者の音声と顔画像を埋め込んでおけば、ユーザの音声と顔画像とが、画像に埋め込まれているものと一致するときのみ、その画像を提示するようにする、いわば二重鍵システムなどの実現も可能となる。
【００６０】
また、例えば、テレビジョン放送信号を構成する、いわば同期した画像と音声のうちのいずれか一方に、他方を埋め込むようなことも可能であり、この場合、異なるメディアの情報どうしを統合した、いわば統合符号化を実現することができる。
【００６１】
さらに、埋め込み符号化方式では、上述したように、情報には、そのエネルギの偏りに特徴があるほど、多くの付加情報を埋め込むことができる。従って、例えば、ある２つの情報について、エネルギの偏りに特徴がある方を適応的に選択し、その選択した方に、他方を埋め込むようにすることで、全体のデータ量を制御することが可能となる。即ち、２つの情報どうしの間で、一方の情報によって、他方の情報量を、いわば吸収するようなことが可能となる。そして、このように全体のデータ量を制御することができる結果、伝送路の伝送帯域や使用状況、その他の伝送環境にあったデータ量による情報伝送（環境対応ネットワーク伝送）が可能となる。
【００６２】
また、例えば、画像に、その画像を縮小した画像を埋め込むことで（あるいは、音声に、その音声を間引いたものを埋め込むことで）、データ量を増加することなく、いわゆる階層符号化（下位階層の情報を少なくすることにより、上位階層の情報を生成する符号化）を実現することができる。
【００６３】
さらに、例えば、画像に、その画像を検索するためのキーとなる画像を埋め込んでおくことで、そのキーとなる画像に基づいて、画像の検索を行うデータベースを実現することが可能となる。
【００６４】
次に、図６は、画像の相関性を利用して元に戻すことができるように、画像に付加情報を埋め込む埋め込み符号化を行う場合の図１の埋め込み符号化器３のハードウェアの構成例を示している。
【００６５】
画像データベース１から供給される画像は、フレームメモリ３１に供給されるようになされており、フレームメモリ３１は、画像データベース１からの画像を、例えば、フレーム単位で一時記憶するようになされている。
【００６６】
ＣＰＵ（Central Processing Unit）３２は、プログラムメモリ３３に記憶されたプログラムを実行することで、後述する埋め込み符号化処理を行うようになされている。即ち、ＣＰＵ３２は、プログラムメモリ３３に記憶されたプログラムにしたがって、付加情報データベース２から供給される付加情報を受信し、その付加情報を、フレームメモリ３１に記憶された画像に埋め込むように、埋め込み符号化器３全体を制御するようになされている。具体的には、ＣＰＵ３２は、フレームメモリ３１に記憶された画像を構成する、例えば、水平方向の１ライン（水平方向に並ぶ一連の画素）を、付加情報に基づいて、水平方向にずらすことで、各ラインに、付加情報を埋め込むようになされている。この付加情報が埋め込まれた画像は、符号化データとして出力されるようになされている。
【００６７】
プログラムメモリ３３は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などで構成され、ＣＰＵ３２に、埋め込み符号化処理を行わせるためのコンピュータプログラムや必要なデータを記憶している。
【００６８】
なお、フレームメモリ３１は、複数のフレームを記憶することのできるように、複数バンクで構成されており、バンク切り替えを行うことで、フレームメモリ３１では、画像データベース１から供給される画像の記憶、ＣＰＵ３２による埋め込み符号化処理の対象となっている画像の記憶、および埋め込み符号化処理後の画像（符号化データ）の出力を、同時に行うことができるようになされている。これにより、画像データベース１から供給される画像が、動画であっても、符号化データのリアルタイム出力を行うことができるようになされている。
【００６９】
次に、図７は、図６の埋め込み符号化器３の機能的な構成例を示している。なお、この図７に示した機能的な構成は、ＣＰＵ３２がプログラムメモリ３３に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
【００７０】
フレームメモリ３１は、図６で説明したように、画像データベース１から供給される画像を一時記憶するようになされている。ラインスライド部３６は、付加情報データベース２から付加情報を読み出し、その付加情報に対応したずらし量だけ、フレームメモリ３１に記憶された画像を構成する所定のラインを、水平方向にずらすことにより、そのラインに、付加情報を埋め込み、符号化データとして出力するようになされている。
【００７１】
次に、図８のフローチャートを参照して、図７の埋め込み符号化器３において行われる埋め込み符号化処理について説明する。
【００７２】
画像データベース１からは、そこに記憶されている画像が読み出され、フレームメモリ３１に、順次供給されて記憶される。
【００７３】
一方、ラインスライド部３６では、ステップＳ１において、フレームメモリ３１に記憶された画像を構成する所定の１ラインが読み出され、ステップＳ２に進み、その読み出されたライン（以下、適宜、注目ラインという）が、第１ライン（１フレームの画像の最上行のライン）であるかどうかが判定される。ステップＳ２において、注目ラインが第１ラインであると判定された場合、ステップＳ３に進み、ラインスライド部３６は、その第１ラインを、そのまま、符号化データとして出力し、ステップＳ４乃至Ｓ６をスキップして、ステップＳ７に進む。
【００７４】
また、ステップＳ２において、注目ラインが第１ラインでないと判定された場合、即ち、注目ラインが、第２ライン以降のいずれかのラインである場合、ステップＳ４に進み、ラインスライド部３６は、注目ラインに埋め込むべき付加情報を、付加情報データベース２から読み出し、ステップＳ５に進む。ステップＳ５では、ラインスライド部３６において、注目ラインが、ステップＳ４で読み出された付加情報に対応する画素数分だけ、水平方向にローテーションされる。
【００７５】
即ち、例えば、いま、図９（Ａ）に示すように、第Ｎライン（Ｎ≠１）が注目ラインとされているとすると、ラインスライド部３６は、図９（Ｂ）に示すように、その第Ｎラインを、付加情報の値と同一の画素数だけ、水平方向である左または右方向のうちの、例えば右方向にスライドする（ずらす）。そして、ラインスライド部３６は、そのスライドにより、フレームの右にはみ出した第Ｎラインの部分を、図９（Ｃ）に示すように、その第Ｎラインの左側にはめ込む。
【００７６】
なお、ここでは、ラインを、付加情報の値と同一の画素数だけローテーションするようにしたが、その他、例えば、ローテーションは、付加情報に関連する値と同一の画素数だけ行うようにすることも可能である。即ち、例えば、付加情報が画像データである場合には、ローテーションは、その画像データの特徴量である画素値のヒストグラムや、分散、ダイナミックレンジ等から得られる値と同一の画素数だけ行うようにすることが可能である。
【００７７】
ラインスライド部３６は、注目ラインをローテーションした後、ステップＳ６に進み、そのローテーション後の注目ラインを、符号化データとして出力し、ステップＳ７に進む。
【００７８】
ステップＳ７では、フレームメモリ３１に、まだ読み出していない画像が記憶されているかどうかが判定され、記憶されていると判定された場合、ステップＳ１に戻り、例えば、いままで注目ラインとされていた１ライン下のライン（または、新たなフレームの第１ライン）が、新たに注目ラインとして読み出され、以下、同様の処理が繰り返される。
【００７９】
また、ステップＳ７において、フレームメモリ３１に、まだ読み出していない画像が記憶されていないと判定された場合、埋め込み符号化処理を終了する。
【００８０】
以上のような埋め込み符号化処理によれば、ある１フレームの画像は、次のような符号化データに符号化される。
【００８１】
即ち、例えば、図１０（Ａ）に示すような画像に、付加情報として、１０，１５０，２００，・・・を埋め込む場合においては、図１０（Ｂ）に示すように、第１ラインは、そのまま出力され、第２ラインは、最初の付加情報と同一の値である１０画素だけ、右方向にローテーションされる。さらに、第３ラインは、２番目の付加情報と同一の値である１５０画素だけ、右方向にローテーションされ、第４ラインは、３番目の付加情報と同一の値である２００画素だけ、右方向にローテーションされる。第５ライン以降も、同様に、付加情報に対応する画素数だけ、右方向にローテーションされていく。
【００８２】
以上のように、フレームメモリ３１に記憶された画像を構成するラインを、付加情報に対応した画素数だけ、右方向にローテーションすることにより、各ラインに、付加情報を埋め込む場合には、その逆のローテーション（逆方向へのローテーション）を行うことで、元の画像を復号することができ、さらに、その逆のローテーションを行ったときのローテーション量が付加情報となる。従って、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に付加情報を埋め込むことができる。
【００８３】
即ち、付加情報が埋め込まれたラインとしてのローテーションされたラインは、画像の相関性、即ち、ここでは、正しい位置にあるラインとの間の相関を利用することにより、オーバヘッドなしで、正しい位置のラインと付加情報に復号ことができる（ラインを、正しい位置に逆ローテーションするとともに、付加情報を復号することができる）。従って、その結果得られる復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【００８４】
なお、符号化データに、正しい位置にあるラインが存在しない場合には、上述のように画像の相関性を利用して、画像と付加情報を復号するのは困難である。そこで、ここでは、図８の埋め込み符号化処理において、各フレームの第１ラインには、付加情報を埋め込まないで（ローテーションしないで）、そのまま、符号化データとして出力するようにしている。
【００８５】
次に、図１１は、図７の埋め込み符号化器３が出力する符号化データを、画像の相関性を利用して元の画像と付加情報に復号する図１の埋め込み復号器６のハードウェアの構成例を示している。
【００８６】
符号化データ、即ち、付加情報が埋め込まれた画像（以下、適宜、埋め込み画像ともいう）は、フレームメモリ４１に供給されるようになされており、フレームメモリ４１は、埋め込み画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ４１も、図６のフレームメモリ３１と同様に構成され、バンク切り替えを行うことにより、埋め込み画像が、動画であっても、そのリアルタイム処理が可能となっている。
【００８７】
ＣＰＵ４２は、プログラムメモリ４３に記憶されたプログラムを実行することで、後述する埋め込み復号処理を行うようになされている。即ち、ＣＰＵ４２は、フレームメモリ４１に記憶された埋め込み画像を、画像の相関性を利用して元の画像と付加情報に復号するようになされている。具体的には、ＣＰＵ４２は、埋め込み画像を構成するラインについて、そのラインを、水平方向に、例えば、１画素ずつローテーションしながら、その１ライン上のラインとの相関を計算する。そして、その相関が最大になるときのローテーション量を、付加情報の復号結果として出力するとともに、そのローテーション量だけローテーションしたラインを、ラインの復号結果として出力する。
【００８８】
プログラムメモリ４３は、例えば、図６のプログラムメモリ３３と同様に構成され、ＣＰＵ４２に、埋め込み復号化処理を行わせるためのコンピュータプログラムなどを記憶している。
【００８９】
次に、図１２は、図１１の埋め込み復号器６の機能的な構成例を示している。なお、この図１２に示した機能的な構成は、ＣＰＵ４２がプログラムメモリ４３に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
【００９０】
フレームメモリ４１は、図１１で説明したように、埋め込み画像を一時記憶するようになされている。
【００９１】
ライン相関計算部４６は、フレームメモリ４１に記憶された埋め込み画像の所定のラインを読み出し、そのラインを、１画素ずつ右または左のうちのいずれか一方向にローテーションしながら、そのローテーション後のラインと、その１つ上の行のラインとの間の相関を表す相関値を演算するようになされている。即ち、ライン相関計算部４６は、図１３（Ａ）に示すように、フレームメモリ４１に記憶された埋め込み画像の復号対象のライン（このラインも、以下、適宜、注目ラインという）と、その１ライン上のライン（このラインは、注目ラインを復号するための、いわばキーとなるため、以下、適宜、キーラインという）とを読み出し、そのラインどうしの相関値を計算する。さらに、ライン相関計算部４６は、図１３（Ｂ）に示すように、注目ラインを、１画素だけ右または左のうちのいずれかにローテーションし（図１３では、図９で説明した場合の逆方向である左方向にローテーションしている）、そのローテーション後の注目ラインとキーラインラインとの間の相関値を演算する。以下、同様にして、ライン相関計算部４６は、注目ラインが元の位置（埋め込み画像上の元の位置）に戻るまで、注目ラインをローテーションしながら、キーラインとの間の相関値を計算する。
【００９２】
ここで、キーラインと注目ラインとの相関を表す相関値としては、例えば、図１３（Ｂ）に示すように、キーラインと注目ラインの対応する画素５０１と５０２、５０３と５０４、・・・それぞれの差分絶対値（差分の絶対値）の総和や、その差分の２乗和等を用いることができる。なお、この場合、相関値が小さいことは、キーラインと注目ラインとの相関が大きいことを表し、逆に、相関値が大きいことは、キーラインと注目ラインとの相関が小さいことを表す。
【００９３】
ライン相関計算部４６において求められた各ローテーション量での注目ラインとキーラインとの相関値は、すべてローテーション量決定部４７に供給されるようになされている。ローテーション量決定部４７は、ライン相関計算部４６から供給される相関値に基づき、注目ラインとキーラインとの相関が最大になるときの注目ラインのローテーション量を検出し、そのローテーション量を、注目ラインの最終的なローテーション量（以下、適宜、決定ローテーション量という）として決定するようになされている。この決定ローテーション量は、付加情報の復号結果として出力されるとともに、ラインスライド部４８に供給されるようになされている。
【００９４】
ラインスライド部４８は、フレームメモリ４１に記憶された注目ラインを、ローテーション量決定部４７から供給されるローテーション量だけ、ライン相関計算部４６における場合と同様の左方向にローテーションし、さらに、そのローテーション後の注目ラインを読み出し、その注目ラインの復号結果として出力するようになされている。
【００９５】
次に、図１４のフローチャートを参照して、図１２の埋め込み復号器６において行われる埋め込み復号処理について説明する。
【００９６】
フレームメモリ４１では、そこに供給される埋め込み画像（符号化データ）が、例えば、１フレーム単位で順次記憶される。
【００９７】
一方、ライン相関計算部４６では、ステップＳ１１において、フレームメモリ４１に記憶された埋め込み画像の所定の１ラインが、注目ラインとして読み出され、ステップＳ１２に進み、その注目ラインが、第１ラインであるかどうかが判定される。ステップＳ１２において、注目ラインが、第１ラインであると判定された場合、ステップＳ１３に進み、ラインスライド部４８は、第１ラインである注目ラインを、フレームメモリ４１から読み出し、そのまま出力して、ステップＳ１４乃至Ｓ１９をスキップして、ステップＳ２０に進む。即ち、本実施の形態では、上述したことから、第１ラインには、付加情報が埋め込まれていないため（従って、ローテーションされていない）、第１ラインは、そのまま出力される。
【００９８】
また、ステップＳ１２において、注目ラインが、第１ラインでないと判定された場合、即ち、注目ラインが、第２ライン以降のいずれかのラインである場合、ステップＳ１４に進み、ライン相関計算部４６は、注目ラインの１ライン上のラインをキーラインとして、フレームメモリ４１から読み出し、ステップＳ１５に進む。ステップＳ１５では、ライン相関計算部４６において、注目ラインとキーラインとの間の相関値（ライン相関値）が計算され、ローテーション決定部４７に出力される。
【００９９】
ここで、ライン相関計算部４６では、例えば、注目ラインを構成する各画素と、その画素と同一列にあるキーラインの画素との差分の絶対値和または自乗和が、注目ラインとキーラインとの間の相関値として計算される。従って、ここでは、この「相関値」が最小の値をとるときが、注目ラインとキーラインとの間の「相関」が最大になる。
【０１００】
ステップＳ１５の処理後は、ステップＳ１６に進み、ライン相関計算部４６において、注目ラインが、左方向に、１画素だけローテーションされる。そして、ステップＳ１７に進み、ステップＳ１６で注目ラインがローテーションされることにより、そのローテーション後の注目ラインの各画素が、フレームメモリ４１に記憶されている注目ラインの各画素の位置に戻ったかどうかが判定される。
【０１０１】
ステップＳ１７において、ローテーション後の注目ラインの各画素が、フレームメモリ４１に記憶されている注目ラインの各画素の位置に戻っていないと判定された場合、ステップＳ１５に戻り、ローテーション後の注目ラインとキーラインとの間の相関値が計算され、以下、同様の処理が繰り返される。
【０１０２】
また、ステップＳ１７において、ローテーション後の注目ラインの各画素が、フレームメモリ４１に記憶されている注目ラインの各画素の位置に戻ったと判定された場合、ステップＳ１８に進み、ローテーション量決定部４８において、ライン相関計算部４６から供給される相関値に基づき、注目ラインとキーラインとの相関が最大になるときの注目ラインのローテーション量が、決定ローテーション量として決定される。さらに、ローテーション量決定部４７は、その決定ローテーション量を、ラインスライド部４８に供給するとともに、注目ラインに埋め込まれていた付加情報の復号結果として出力し、ステップＳ１９に進む。
【０１０３】
ステップＳ１９では、ラインスライド部４８において、フレームメモリ４１に記憶された注目ラインが、ローテーション量決定部４７から供給されたローテーション量だけ、ライン相関計算部４６における場合と同様の左方向にローテーションされる。さらに、ラインスライド部４８は、その左方向のローテーション後の注目ラインを読み出し、その注目ラインの復号結果として出力し、ステップＳ２０に進む。
【０１０４】
ステップＳ２０では、フレームメモリ４１に、まだ処理していない埋め込み画像が記憶されているかどうかが判定され、記憶されていると判定された場合、ステップＳ１１に戻り、例えば、いままで注目ラインとされていた１ライン下のライン（または、新たな埋め込み画像のフレームの第１ライン）が、新たに注目ラインとして読み出され、以下、同様の処理が繰り返される。
【０１０５】
また、ステップＳ２０において、フレームメモリ４１に、まだ処理していない埋め込み画像が記憶されていないと判定された場合、埋め込み復号処理を終了する。
【０１０６】
以上のように、付加情報が埋め込まれた画像である符号化データを、画像の相関性を利用して、元の画像と付加情報に復号するようにしたので、その復号のためのオーバヘッドがなくても、符号化データを、元の画像と付加情報に復号することができる。従って、その復号画像には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【０１０７】
なお、本実施の形態では、注目ラインと、キーラインとの間の相関を表す相関値として、対応する画素どうしの差分絶対値の総和または自乗和を用いるようにしたが、相関値は、これに限定されるものではない。
【０１０８】
さらに、本実施の形態では、１ラインを、１の付加情報にしたがってローテーションするようにしたため、１ラインを構成する画素数だけの範囲内の値の付加情報の埋め込みが可能であるが、１ラインを構成する画素数より大きい範囲内の値の付加情報の埋め込みは、例えば、２ラインなどの複数ラインを、１の付加情報にしたがってローテーションするようにすることで行うことが可能である。
【０１０９】
また、本実施の形態では、画像の水平方向に並ぶ画素であるラインを、付加情報にしたがってローテーションするようにしたが、その他、例えば、図１５（Ａ）に示すように、画像の垂直方向の画素の並びをローテーションしたり、あるいは、図１５（Ｂ）や図１５（Ｃ）に示すように、画像の斜め方向の画素の並びをローテーションするようにすることも可能である。さらに、例えば、時間方向に並ぶ所定数のフレームの同一位置にある画素の並びをローテーションしたり、水平方向、垂直方向、斜め方向、または時間方向うちの２方向以上について同時にローテーションするようにすることも可能である。
【０１１０】
また、本実施の形態では、各フレームの第１ラインだけはローテーションしないようにしたが（ローテーションを禁止したが）、その他、例えば、最下行のラインだけをローテーションしないようにすることも可能である。この場合、埋め込み復号処理では、より下の行のラインから、順次、注目ラインとし、注目ラインの１ライン下のラインをキーラインとして復号を行えば良い。
【０１１１】
さらに、例えば、各フレームのラインを１行おきにローテーションしないようにすることなども可能である。この場合、埋め込み復号処理において、ローテーションしたラインの上下のラインをキーラインとして復号を行うことで、より精度良く、復号を行うことが可能となる。
【０１１２】
また、本実施の形態では、注目ラインの１ライン上のラインだけをキーラインとして、埋め込み復号を行うようにしたが、その他、例えば、注目ラインの上にある２以上のラインをキーラインとすることも可能である。
【０１１３】
さらに、本実施の形態では、各フレームの第１ラインだけはローテーションしないようにしたが、各フレームの第１ラインも含むすべてのラインをローテーションの対象とすることも可能である。
【０１１４】
また、付加情報として用いる情報は、特に限定されるものではなく、例えば、画像や、音声、テキスト、コンピュータプログラム、制御信号、その他のデータを付加情報として用いることが可能である。なお、画像データベース１の画像の一部を付加情報とし、残りを、フレームメモリ３１への供給対象とすれば、その残りの部分に、付加情報とされた画像の一部分が埋め込まれるから、画像の圧縮が実現されることになる。
【０１１５】
さらに、本実施の形態では、付加情報を、画像に埋め込むようにしたが、付加情報は、その他、例えば、音声に埋め込むことも可能である。即ち、例えば、時系列の音声データを、適当なフレームに区切り、各フレームの音声データを、付加情報にしたがって時間方向等にローテーションすることで、付加情報を、音声に埋め込むことが可能である。
【０１１６】
また、本実施の形態では、付加情報が埋め込まれた埋め込み画像を、画像の相関性に基づいて、付加情報と元の画像に復号するようにしたが、埋め込み画像は、その他、上述の連続性や相似性に基づいて復号することも可能である。即ち、埋め込み画像の復号は、注目しているラインと、それに隣接するライン等との連続性や相似性の関係を表す値を求め、その値に基づいて行うことが可能である。
【０１１７】
さらに、本実施の形態では、ＣＰＵ３２または４２に、コンピュータプログラムを実行させることで、埋め込み符号化処理または埋め込み復号処理をそれぞれ行うようにしたが、これらの処理は、それ専用のハードウェアによって行うことも可能である。
【０１１８】
また、本実施の形態では、ＣＰＵ３２または４２に実行させるコンピュータプログラムを、プログラムメモリ３３または４３にそれぞれ記憶させておくようにしたが、このコンピュータプログラムは、例えば、半導体メモリ、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、相変化ディスクなどの記録媒体や、インターネット、地上波、衛星回線、公衆網、ＣＡＴＶ（Cable Television）網などの伝送媒体を介して提供するようにすることが可能である。
【０１１９】
次に、上述した一連の処理は、コンピュータに、プログラムをインストールして行わせることが可能である。
【０１２０】
そこで、図１６を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる、そのプログラムが記録されている記録媒体について説明する。
【０１２１】
プログラムは、図１６（Ａ）に示すように、コンピュータ６０１に内蔵されている記録媒体としてのハードディスク６０２や半導体メモリ６０３に予め記録しておくことができる。
【０１２２】
あるいはまた、プログラムは、図１６（Ｂ）に示すように、フロッピーディスク６１１、CD-ROM(Compact Disc Read Only Memory)６１２，MO(Magneto optical)ディスク６１３，DVD(Digital Versatile Disc)６１４、磁気ディスク６１５、半導体メモリ６１６などの記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このような記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２３】
なお、プログラムは、上述したような記録媒体からコンピュータにインストールする他、図１６（Ｃ）に示すように、ダウンロードサイト６２１から、ディジタル衛星放送用の人工衛星６２２を介して、コンピュータ６０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク６３１を介して、コンピュータ６０１に有線で転送し、コンピュータ６０１において、内蔵するハードディスク６０２などにインストールすることができる。
【０１２４】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１２５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１２６】
次に、図１７は、図１６のコンピュータ６０１の構成例を示している。
【０１２７】
コンピュータ６０１は、図１７に示すように、CPU(Central Processing Unit)６４２を内蔵している。CPU６４２には、バス６４１を介して、入出力インタフェース６４５が接続されており、CPU６４２は、入出力インタフェース６４５を介して、ユーザによって、キーボードやマウス等で構成される入力部６４７が操作されることにより指令が入力されると、それにしたがって、図１６（Ａ）の半導体メモリ６０３に対応するROM(Read Only Memory)６４３に格納されているプログラムを実行する。あるいは、また、CPU６４２は、ハードディスク６０２に格納されているプログラム、衛星６２２若しくはネットワーク６３１から転送され、通信部６４８で受信されてハードディスク６０２にインストールされたプログラム、ドライブ６４９に装着されたフロッピディスク６１１、CD-ROM６１２、MOディスク６１３、DVD６１４、若しくは磁気ディスク６１５から読み出されてハードディスク６０２にインストールされたプログラム、または半導体メモリ６１６から読み出されたプログラムを、RAM(Random Access Memory)６４４にロードして実行する。これにより、CPU６４２では、図８や図１４に示したフローチャートにしたがった処理が行われる。そして、CPU６４２は、その処理結果を、例えば、入出力インタフェース６４５を介して、必要に応じて、LCD(Liquid CryStal Display)等で構成される表示部６４６に出力し、あるいは、通信部６４８から送信等する。
【０１２８】
【発明の効果】
本発明の符号化装置および符号化方法、並びに記録媒体によれば、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データが記憶され、その記憶されたデータが、第２のデータにしたがって、復号時に第１のデータを復元できるように一連の画素データが、第２のデータの値に相当する画素数に応じて所定方向にローテーションされることにより、第１のデータに、第２のデータに関連するデータが埋め込まれる。従って、相関性等を利用して第１および第２のデータを復号可能なように、符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】符号化対象の画像を示す図である。
【図３】相関性を利用した符号化／復号を説明するための図である。
【図４】連続性を利用した符号化／復号を説明するための図である。
【図５】相似性を利用した符号化／復号を説明するための図である。
【図６】図１の埋め込み符号化器３のハードウェアの構成例を示すブロック図である。
【図７】図６の埋め込み符号化器３の機能的構成例を示すブロック図である。
【図８】埋め込み符号化処理を説明するためのフローチャートである。
【図９】図８におけるステップＳ５の処理を説明するための図である。
【図１０】埋め込み符号化処理の結果を説明するための図である。
【図１１】図１の埋め込み復号器６のハードウェアの構成例を示すブロック図である。
【図１２】図１１の埋め込み復号器６の機能的構成例を示すブロック図である。
【図１３】図１２のライン相関計算部４６の処理を説明するための図である。
【図１４】埋め込み復号処理を説明するためのフローチャートである。
【図１５】ローテーションを行う画素の並びの例を示す図である。
【図１６】本発明を適用した記録媒体を説明するための図である。
【図１７】図１６のコンピュータ６０１の構成例を示すブロック図である。
【符号の説明】
１ 画像データベース， ２ 付加情報データベース， ３ 埋め込み符号化器， ４ 記録媒体， ５ 伝送媒体， ６ 埋め込み復号器， １０ 符号化装置， ２０ 復号装置， ３１ フレームメモリ， ３２ ＣＰＵ， ３３ プログラムメモリ， ３６ ラインスライド部， ４１ フレームメモリ， ４２ ＣＰＵ， ４３ プログラムメモリ， ４６ ライン相関計算部， ４７ ローテーション量決定部， ４８ ラインスライド部， ６０１ コンピュータ， ６０２ ハードディスク， ６０３ 半導体メモリ， ６１１ フロッピーディスク， ６１２ CD-ROM， ６１３ MOディスク， ６１４ DVD， ６１５ 磁気ディスク， ６１６ 半導体メモリ， ６２１ ダウンロードサイト，６２２ 衛星， ６３１ ネットワーク， ６４１ バス， ６４２ CPU，６４３ ROM， ６４４ RAM， ６４５ 入出力インタフェース， ６４６ 表示部， ６４７ 入力部， ６４８ 通信部， ６４９ ドライブ
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、並びに記録媒体に関し、特に、例えば、復号画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むこと等ができるようにする符号化装置および符号化方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
信号に対して、そのデータ量を増加させることなく、情報を埋め込む手法としては、例えば、ディジタルオーディオデータの最下位ビットや、下位２ビットなどを、埋め込む情報に変換するものなどがある。この手法は、ディジタルオーディオデータの下位ビットが、その音質にあまり影響を与えないことを利用し、その下位ビットを、単に、埋め込む情報に置き換えるものであり、従って、再生時には、情報が埋め込まれたディジタルオーディオデータは、その下位ビットを元に戻さずに、そのまま出力される。即ち、情報が埋め込まれた下位ビットを、元に戻すのは困難であり、また、下位ビットは、音質に、あまり影響を与えないことから、ディジタルオーディオデータは、情報が埋め込まれた状態で出力される。
【０００３】
【発明が解決しようとする課題】
しかしながら、以上のような手法では、本来の信号と異なる信号が出力される。従って、信号がオーディオデータである場合には、その音質に、また、信号がビデオデータである場合には、その画質に、少なからず影響がある。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の符号化装置は、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶手段と、第２のデータにしたがって、復号時に第１のデータを復元できるように記憶手段に記憶された一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションすることにより、第１のデータに、第２のデータに関連するデータを埋め込む符号化手段とを備えることを特徴とする。
【０００６】
この符号化装置には、第１および第２のデータを入力する入力手段をさらに設けることができる。
【０００７】
第１のデータは、複数の画素データから構成される画像データとすることができ、この場合、記憶手段には、画像データ上の所定方向に並ぶ一連の画素データを記憶させ、符号化手段には、記憶手段に記憶された一連の画素データを、第２のデータにしたがって所定方向にローテーションすることにより、画像データに、第２のデータに関連するデータを埋め込ませることができる。
【０００８】
符号化手段には、画像データ上の所定方向に並び、かつ画像データの画枠内にある一連の画素データを、第２のデータにしたがって所定方向にローテーションさせることができる。
【０００９】
また、符号化手段には、画像データ上の水平方向に並ぶ１ラインの画素データを、第２のデータにしたがって水平方向にローテションさせることができる。
【００１０】
第１のデータの一部は、符号化手段によるローテーションが禁止されているものとすることができる。
【００１１】
符号化手段には、一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションさせることができる。
【００１２】
本発明の符号化方法は、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶ステップと、第２のデータにしたがって、復号時に第１のデータを復元できるように記憶ステップにおいて記憶された一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションすることにより、第１のデータに、第２のデータに関連するデータを埋め込む符号化ステップとを備えることを特徴とする。
【００１３】
本発明の記録媒体は、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶ステップと、第２のデータにしたがって、復号時に第１のデータを復元できるように記憶ステップにおいて記憶された一連の画素データを、第２のデータの値に相当する画素数に応じて所定方向にローテーションすることにより、第１のデータに、第２のデータに関連するデータを埋め込む符号化ステップとを備えるプログラムが記録されていることを特徴とする。
【００２２】
本発明の符号化装置および符号化方法、並びに記録媒体においては、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データが記憶され、その記憶されたデータが、第２のデータにしたがって、復号時に第１のデータを復元できるように、一連の画素データが、第２のデータの値に相当する画素数に応じて所定方向にローテーションされることにより、第１のデータに、第２のデータに関連するデータが埋め込まれる。
【００２５】
【発明の実施の形態】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２６】
この画像伝送システムは、符号化装置１０および復号装置２０で構成されており、符号化装置１０は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、復号装置２０は、その符号化データを、元の画像に復号するようになされている。
【００２７】
即ち、画像データベース１は、符号化すべき画像（例えば、ディジタル画像）を記憶している。そして、画像データベース１からは、そこに記憶されている画像が読み出され、埋め込み符号化器３に供給される。
【００２８】
また、付加情報データベース２は、符号化対象の画像に埋め込むべき情報としての付加情報（ディジタルデータ）を記憶している。そして、付加情報データベース２からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器３に供給される。
【００２９】
埋め込み符号化器３では、画像データベース１からの画像、および付加情報データベース２からの付加情報が受信される。さらに、埋め込み符号化器３は、画像データベース１からの画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報データベース２からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器３は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器３が出力する符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体４に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体５を介して伝送され、復号装置２０に提供される。
【００３０】
復号装置２０は、埋め込み復号器６で構成され、そこでは、記録媒体４または伝送媒体５を介して提供される符号化データが受信される。さらに、埋め込み復号器６は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタに供給されて表示される。
【００３１】
なお、付加情報としては、例えば、元の画像に関連するテキストデータや、音声データ、その画像を縮小した縮小画像等は勿論、元の画像に無関係なデータも用いることができる。
【００３２】
次に、図１の埋め込み符号化器３における符号化（埋め込み符号化）、および埋め込み復号器６における復号（埋め込み復号）の原理について説明する。
【００３３】
一般に、情報と呼ばれるものは、エネルギ（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると人によって認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【００３４】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の価値ある情報に復号することができる。
【００３５】
ここで、情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性、連続性、相似性などがある。
【００３６】
情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。例えば、画像の相関性を表すものとしては、画像のライン間の相関があり、この相関を表す相関値としては、例えば、２つのラインにおける、対応する各画素値の差分の２乗和等を用いることができる（この場合、相関値が小さいことは、ライン間の相関が大きいことを表し、相関値が大きいことは、ライン間の相関が小さいことを表す）。
【００３７】
即ち、例えば、いま、図２に示すようなＨライン１０２を有する画像１０１があった場合に、その上から１行目のライン（第１ライン）１０３と、他のラインとの相関は、一般に、図３（Ａ）に示すように、第１ライン１０３との距離が近いライン（図２における画像１０１の上側のライン）ほど、第Ｍライン１０４についての相関２０１として示すように大きくなり、第１ライン１０３との距離が遠いライン（図２における画像の下側のライン）ほど、第Ｎライン１０５についての相関２０２として示すように小さくなる。従って、第１ライン１０３から近いほど、第１ライン１０３との相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある。
【００３８】
そこで、いま、図２の画像１０１において、第１ライン１０３から比較的近い第Ｍライン１０４と、第１ライン１０３から比較的遠い第Ｎライン１０５との画素値を入れ替える操作を行い（１＜Ｍ＜Ｎ≦Ｈ）、その入れ替え後の画像１０１について、第１ライン１０３と、他のラインとの相関を計算値すると、それは、例えば、図３（Ｂ）に示すようになる。
【００３９】
即ち、入れ替え後の画像１０１では、第１ライン１０３から近い第Ｍライン（入れ替え前の第Ｎライン１０５）との相関２０３が小さくなり、第１ライン１０３から遠い第Ｎライン（入れ替え前の第Ｍライン１０４）との相関２０４が大きくなる。
【００４０】
従って、図３（Ｂ）では、第１ライン１０３から近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りが破壊されている。しかしながら、画像については、一般に、第１ライン１０３から近いほど相関が大きくなり、遠いほど相関が小さくなるという相関性の偏りを利用することにより、破壊された相関性の偏りを復元することができる。即ち、図３（Ｂ）において、第１ライン１０３から近い第Ｍラインとの相関２０３が小さく、第１ライン１０３から遠い第Ｎラインとの相関２０４が大きいのは、画像１０１が有する本来の相関性の偏りからすれば、明らかに不自然であり（おかしく）、第Ｍラインと第Ｎラインとは入れ替えるべきである。そして、図３（Ｂ）における第Ｍラインと第Ｎラインとを入れ替えることで、図３（Ａ）に示すような本来の相関性の偏りを有する画像、即ち、元の画像１０１を復号することができる。
【００４１】
ここで、図２および図３で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
【００４２】
次に、情報の連続性についてであるが、例えば、画像のある１ラインについて注目した場合に、その注目ラインにおいて、図４（Ａ）に示すような、画素値の変化パターンが連続している波形３０１が観察されたとすると、その注目ラインと離れた他のラインでは、注目ラインとは異なる画素値の変化パターンが観察される。従って、注目ラインと、その注目ラインと離れた他のラインとにおいては、画素値の変化パターンが異なり、連続性においても偏りがある。即ち、画像のある部分の画素値の変化パターンに注目すると、その注目部分に隣接する部分には、同様の画素値の変化パターンが存在し、注目部分から離れるにつれて、異なる画素値の変化パターンが存在するという連続性の偏りがある。
【００４３】
そこで、いま、図４（Ａ）に示した、画像のあるラインにおける、画素値の変化パターンが連続している波形３０１の一部を、例えば、図４（Ｂ）に示すように、離れたラインにおける波形３０２と入れ替える。
【００４４】
この場合、画像の連続性の偏りが破壊される。しかしながら、近接する部分の画素値の変化パターンは連続しており、離れるほど、画素値の変化パターンが異なるという連続性の偏りを利用することにより、破壊された連続性の偏りを復元することができる。即ち、図４（Ｂ）において、波形の一部３０２の画素値の変化パターンが、他の部分の画素値の変化パターンに比較して大きく異なっているのは、波形が有する本来の連続性の偏りからすれば、明らかに不自然であり、他の部分の画素値の変化パターンと異なっている部分３０２は、他の部分の画素値の変化パターンと同様の波形に入れ替えるべきである。そして、そのような入れ替えを行うことで、連続性の偏りが復元され、これにより、図４（Ｂ）に示した波形から、図４（Ａ）に示した元の波形を復号することができる。
【００４５】
ここで、図４で説明した場合においては、波形の一部を、その周辺の画素値の変化パターンとは大きく異なる画素値の変化パターンの波形に入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、波形のどの部分の画素値の変化パターンを入れ替えるのかや、画素値の変化パターンをどの程度大きく変化させるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、大きく異なる画素値の変化パターンを一部に有する波形を、周辺の画素値の変化パターンは連続しており、離れるほど、画素値の変化パターンが異なるという連続性の偏りを利用して、元の波形に戻すことが、その元の波形を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、波形のどの部分の画素値の変化パターンが大きく変化していたのかや、画素値の変化パターンがどの程度大きく変化していたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００４６】
次に、情報の相似性についてであるが、例えば、風景を撮影した画像等の一部は、画像のフラクタル性（自己相似性）を利用して生成することができることが知られている。即ち、例えば、図５（Ａ）に示すような、海４０１と森４０２を撮影した画像においては、海４０１全体の画素値の変化パターンと、その海４０１の一部の画素値の変化パターンとの相似性は高いが、それらの変化パターンと、海４０１から離れた森４０２の画素値の変化パターンとの相似性は低いという相似性の偏りがある。ここで、画像の相似性は、上述のように画素値の変化パターンを比較して考えるのではなく、エッジ形状を比較して考えても良い。
【００４７】
そこで、いま、図５（Ａ）に示した海４０１の一部４０３と、森４０２の一部４０４とを入れ替える。
【００４８】
この場合、画像の相似性の偏りが破壊され、図５（Ｂ）に示すような画像が得られる。しかしながら、近接する部分の画素値の変化パターンは相似性が高く、離れるほど、画素値の変化パターンの相似性が低くなるという相似性の偏りを利用することにより、破壊された相似性の偏りを復元することができる。即ち、図５（Ｂ）において、海４０１の画像の一部が、海４０１と相似性の低い森４０２の画像の一部４０４になっていること、および森４０２の画像の一部が、森４０２と相似性の低い海４０１の画像の一部４０３となっていることは、画像が有する本来の相似性の偏りからすれば、明らかに不自然である。具体的には、図５（Ｂ）において、海４０１の画像の中の、森４０２の画像の一部４０４についての相似性は、海４０１の他の部分についての相似性に比較して極端に低くなっており、また、森４０２の画像の中の、海４０１の画像の一部４０３についての相似性も、森４０２の他の部分についての相似性に比較して極端に低くなっている。
【００４９】
従って、画像が本来有する相似性の偏りからすれば、海４０１の画像の一部となっている、森４０２の画像の一部４０４と、森４０２の画像の一部となっている、海４０１の画像の一部４０３とは入れ替えるべきである。そして、そのような入れ替えを行うことで、画像の相似性の偏りが復元され、これにより、図５（Ｂ）に示した画像から、図５（Ａ）に示した元の画像を復号することができる。
【００５０】
ここで、図５で説明した場合においては、海４０１の画像の一部４０３と、森４０２の画像の一部４０４とを入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、海４０１の画像のどの部分（画面上の位置）と、森４０２の画像のどの部分とを入れ替えるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、海４０１の一部が、森４０２の一部４０４となっているとともに、森４０２の一部が、海４０１の一部４０３となっている画像を、周辺の画素値の変化パターンの相似性は高く、離れるほど、画素値の変化パターンの相似性が低くなっていくという相似性の偏りを利用して、元の画像に戻すことが、その元の画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、海の画像のどの部分と、森の画像のどの部分とが入れ替えられていたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００５１】
以上のように、埋め込み符号化器３において、符号化対象の画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報にしたがって符号化して、符号化データを出力する場合には、埋め込み復号器６では、その符号化データを、画像が有するエネルギの偏りを利用することにより、復号のためのオーバヘッドなしで、元の画像および付加情報に復号することができる。
【００５２】
また、符号化対象の画像には、付加情報が埋め込まれることで、その埋め込みの結果得られる画像は、元の画像と異なる画像とされ、人が価値ある情報として認識することのできる画像ではなくなることから、符号化対象の画像については、オーバヘッドなしの暗号化を実現することができる。
【００５３】
さらに、完全可逆の電子透かしを実現することができる。即ち、従来の電子透かしでは、例えば、画質にあまり影響のない画素値の下位ビットが、電子透かしに対応する値に、単に変更されていたが、この場合、その下位ビットを、元の値に戻すことは困難である。従って、復号画像の画質は、電子透かしとしての下位ビットの変更により、少なからず劣化する。これに対して、符号化データを、元の画像が有するエネルギの偏りを利用して復号する場合には、劣化のない元の画像および付加情報を得ることができ、従って、付加情報を電子透かしとして用いることで、電子透かしに起因して復号画像の画質が劣化することはない。
【００５４】
また、埋め込まれた付加情報は、符号化データから画像を復号することで取り出すことができるので、画像の符号化結果とともに、オーバヘッドなしでサイドインフォメーションを提供することができる。言い換えれば、付加情報を取り出すためのオーバヘッドなしで、その付加情報を画像に埋め込むことができるので、その埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮（埋め込み圧縮）されているということができる。従って、例えば、ある画像の半分を符号化対象とするとともに、残りの半分を付加情報とすれば、符号化対象である半分の画像に、残りの半分の画像を埋め込むことができるから、この場合、画像は、単純には、１／２に圧縮されることになる。
【００５５】
さらに、符号化データは、元の画像が有するエネルギの偏りという、いわば統計量を利用して復号されるため、誤りに対する耐性の強いものとなる。即ち、ロバスト性の高い符号化であるロバスト符号化（統計的符号化）を実現することができる。
【００５６】
また、符号化データは、元の画像が有するエネルギの偏りを利用して復号されるため、そのエネルギの偏りに特徴があるほど、即ち、例えば、画像については、そのアクティビティが高いほど、あるいは、冗長性が低いほど、多くの付加情報を埋め込むことができる。ここで、上述したように、付加情報の埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮されているということができるが、この圧縮という観点からすれば、符号化対象の情報が有するエネルギの偏りを利用して復号を行うことができるように、その情報を、付加情報にしたがって符号化する方式（埋め込み符号化方式）によれば、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率が高くなる。この点、埋め込み符号化方式は、従来の符号化方式と大きく異なる（従来の符号化方式である、例えばＭＰＥＧ（Moving Picture Experts Group）方式などでは、基本的に、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率は低くなる）。
【００５７】
さらに、例えば、上述したように、画像を符号化対象とする一方、付加情報として、画像とは異なるメディアの、例えば、音声を用いるようにすることで、音声をキーとして、画像の提供を行うようなことが可能となる。即ち、符号化装置１０側において、例えば、契約者が発話した音声「開けゴマ」など付加情報として画像に埋め込んでおき、復号装置２０側では、ユーザに、音声「開けゴマ」を発話してもらい、その音声と、画像に埋め込まれた音声とを用いて話者認識を行うようにする。このようにすることで、例えば、話者認識の結果、ユーザが契約者である場合にのみ、自動的に、画像を提示するようなことが可能となる。なお、この場合、付加情報としての音声は、いわゆる特徴パラメータではなく、音声波形そのものを用いることが可能である。
【００５８】
また、例えば、音声を符号化対象とする一方、付加情報として、音声とは異なるメディアの、例えば、画像を用いるようにすることで、画像をキーとして、音声の提供を行うようなこと（例えば、顔認識後の音声応答）が可能となる。即ち、符号化装置１０側において、例えば、ユーザへの応答としての音声に、そのユーザの顔の画像を埋め込み、復号装置２０側では、ユーザの顔を撮影し、その結果得られる画像とマッチングする顔画像が埋め込まれている音声を出力するようにすることで、ユーザごとに異なる音声応答を行う音声応答システムを実現することが可能となる。
【００５９】
さらに、音声に、音声を埋め込んだり、画像に、画像を埋め込んだりするような、あるメディアの情報に、それと同一メディアの情報を埋め込むようなことも可能である。あるいは、また、画像に、契約者の音声と顔画像を埋め込んでおけば、ユーザの音声と顔画像とが、画像に埋め込まれているものと一致するときのみ、その画像を提示するようにする、いわば二重鍵システムなどの実現も可能となる。
【００６０】
また、例えば、テレビジョン放送信号を構成する、いわば同期した画像と音声のうちのいずれか一方に、他方を埋め込むようなことも可能であり、この場合、異なるメディアの情報どうしを統合した、いわば統合符号化を実現することができる。
【００６１】
さらに、埋め込み符号化方式では、上述したように、情報には、そのエネルギの偏りに特徴があるほど、多くの付加情報を埋め込むことができる。従って、例えば、ある２つの情報について、エネルギの偏りに特徴がある方を適応的に選択し、その選択した方に、他方を埋め込むようにすることで、全体のデータ量を制御することが可能となる。即ち、２つの情報どうしの間で、一方の情報によって、他方の情報量を、いわば吸収するようなことが可能となる。そして、このように全体のデータ量を制御することができる結果、伝送路の伝送帯域や使用状況、その他の伝送環境にあったデータ量による情報伝送（環境対応ネットワーク伝送）が可能となる。
【００６２】
また、例えば、画像に、その画像を縮小した画像を埋め込むことで（あるいは、音声に、その音声を間引いたものを埋め込むことで）、データ量を増加することなく、いわゆる階層符号化（下位階層の情報を少なくすることにより、上位階層の情報を生成する符号化）を実現することができる。
【００６３】
さらに、例えば、画像に、その画像を検索するためのキーとなる画像を埋め込んでおくことで、そのキーとなる画像に基づいて、画像の検索を行うデータベースを実現することが可能となる。
【００６４】
次に、図６は、画像の相関性を利用して元に戻すことができるように、画像に付加情報を埋め込む埋め込み符号化を行う場合の図１の埋め込み符号化器３のハードウェアの構成例を示している。
【００６５】
画像データベース１から供給される画像は、フレームメモリ３１に供給されるようになされており、フレームメモリ３１は、画像データベース１からの画像を、例えば、フレーム単位で一時記憶するようになされている。
【００６６】
ＣＰＵ（Central Processing Unit）３２は、プログラムメモリ３３に記憶されたプログラムを実行することで、後述する埋め込み符号化処理を行うようになされている。即ち、ＣＰＵ３２は、プログラムメモリ３３に記憶されたプログラムにしたがって、付加情報データベース２から供給される付加情報を受信し、その付加情報を、フレームメモリ３１に記憶された画像に埋め込むように、埋め込み符号化器３全体を制御するようになされている。具体的には、ＣＰＵ３２は、フレームメモリ３１に記憶された画像を構成する、例えば、水平方向の１ライン（水平方向に並ぶ一連の画素）を、付加情報に基づいて、水平方向にずらすことで、各ラインに、付加情報を埋め込むようになされている。この付加情報が埋め込まれた画像は、符号化データとして出力されるようになされている。
【００６７】
プログラムメモリ３３は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などで構成され、ＣＰＵ３２に、埋め込み符号化処理を行わせるためのコンピュータプログラムや必要なデータを記憶している。
【００６８】
なお、フレームメモリ３１は、複数のフレームを記憶することのできるように、複数バンクで構成されており、バンク切り替えを行うことで、フレームメモリ３１では、画像データベース１から供給される画像の記憶、ＣＰＵ３２による埋め込み符号化処理の対象となっている画像の記憶、および埋め込み符号化処理後の画像（符号化データ）の出力を、同時に行うことができるようになされている。これにより、画像データベース１から供給される画像が、動画であっても、符号化データのリアルタイム出力を行うことができるようになされている。
【００６９】
次に、図７は、図６の埋め込み符号化器３の機能的な構成例を示している。なお、この図７に示した機能的な構成は、ＣＰＵ３２がプログラムメモリ３３に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
【００７０】
フレームメモリ３１は、図６で説明したように、画像データベース１から供給される画像を一時記憶するようになされている。ラインスライド部３６は、付加情報データベース２から付加情報を読み出し、その付加情報に対応したずらし量だけ、フレームメモリ３１に記憶された画像を構成する所定のラインを、水平方向にずらすことにより、そのラインに、付加情報を埋め込み、符号化データとして出力するようになされている。
【００７１】
次に、図８のフローチャートを参照して、図７の埋め込み符号化器３において行われる埋め込み符号化処理について説明する。
【００７２】
画像データベース１からは、そこに記憶されている画像が読み出され、フレームメモリ３１に、順次供給されて記憶される。
【００７３】
一方、ラインスライド部３６では、ステップＳ１において、フレームメモリ３１に記憶された画像を構成する所定の１ラインが読み出され、ステップＳ２に進み、その読み出されたライン（以下、適宜、注目ラインという）が、第１ライン（１フレームの画像の最上行のライン）であるかどうかが判定される。ステップＳ２において、注目ラインが第１ラインであると判定された場合、ステップＳ３に進み、ラインスライド部３６は、その第１ラインを、そのまま、符号化データとして出力し、ステップＳ４乃至Ｓ６をスキップして、ステップＳ７に進む。
【００７４】
また、ステップＳ２において、注目ラインが第１ラインでないと判定された場合、即ち、注目ラインが、第２ライン以降のいずれかのラインである場合、ステップＳ４に進み、ラインスライド部３６は、注目ラインに埋め込むべき付加情報を、付加情報データベース２から読み出し、ステップＳ５に進む。ステップＳ５では、ラインスライド部３６において、注目ラインが、ステップＳ４で読み出された付加情報に対応する画素数分だけ、水平方向にローテーションされる。
【００７５】
即ち、例えば、いま、図９（Ａ）に示すように、第Ｎライン（Ｎ≠１）が注目ラインとされているとすると、ラインスライド部３６は、図９（Ｂ）に示すように、その第Ｎラインを、付加情報の値と同一の画素数だけ、水平方向である左または右方向のうちの、例えば右方向にスライドする（ずらす）。そして、ラインスライド部３６は、そのスライドにより、フレームの右にはみ出した第Ｎラインの部分を、図９（Ｃ）に示すように、その第Ｎラインの左側にはめ込む。
【００７６】
なお、ここでは、ラインを、付加情報の値と同一の画素数だけローテーションするようにしたが、その他、例えば、ローテーションは、付加情報に関連する値と同一の画素数だけ行うようにすることも可能である。即ち、例えば、付加情報が画像データである場合には、ローテーションは、その画像データの特徴量である画素値のヒストグラムや、分散、ダイナミックレンジ等から得られる値と同一の画素数だけ行うようにすることが可能である。
【００７７】
ラインスライド部３６は、注目ラインをローテーションした後、ステップＳ６に進み、そのローテーション後の注目ラインを、符号化データとして出力し、ステップＳ７に進む。
【００７８】
ステップＳ７では、フレームメモリ３１に、まだ読み出していない画像が記憶されているかどうかが判定され、記憶されていると判定された場合、ステップＳ１に戻り、例えば、いままで注目ラインとされていた１ライン下のライン（または、新たなフレームの第１ライン）が、新たに注目ラインとして読み出され、以下、同様の処理が繰り返される。
【００７９】
また、ステップＳ７において、フレームメモリ３１に、まだ読み出していない画像が記憶されていないと判定された場合、埋め込み符号化処理を終了する。
【００８０】
以上のような埋め込み符号化処理によれば、ある１フレームの画像は、次のような符号化データに符号化される。
【００８１】
即ち、例えば、図１０（Ａ）に示すような画像に、付加情報として、１０，１５０，２００，・・・を埋め込む場合においては、図１０（Ｂ）に示すように、第１ラインは、そのまま出力され、第２ラインは、最初の付加情報と同一の値である１０画素だけ、右方向にローテーションされる。さらに、第３ラインは、２番目の付加情報と同一の値である１５０画素だけ、右方向にローテーションされ、第４ラインは、３番目の付加情報と同一の値である２００画素だけ、右方向にローテーションされる。第５ライン以降も、同様に、付加情報に対応する画素数だけ、右方向にローテーションされていく。
【００８２】
以上のように、フレームメモリ３１に記憶された画像を構成するラインを、付加情報に対応した画素数だけ、右方向にローテーションすることにより、各ラインに、付加情報を埋め込む場合には、その逆のローテーション（逆方向へのローテーション）を行うことで、元の画像を復号することができ、さらに、その逆のローテーションを行ったときのローテーション量が付加情報となる。従って、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に付加情報を埋め込むことができる。
【００８３】
即ち、付加情報が埋め込まれたラインとしてのローテーションされたラインは、画像の相関性、即ち、ここでは、正しい位置にあるラインとの間の相関を利用することにより、オーバヘッドなしで、正しい位置のラインと付加情報に復号ことができる（ラインを、正しい位置に逆ローテーションするとともに、付加情報を復号することができる）。従って、その結果得られる復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【００８４】
なお、符号化データに、正しい位置にあるラインが存在しない場合には、上述のように画像の相関性を利用して、画像と付加情報を復号するのは困難である。そこで、ここでは、図８の埋め込み符号化処理において、各フレームの第１ラインには、付加情報を埋め込まないで（ローテーションしないで）、そのまま、符号化データとして出力するようにしている。
【００８５】
次に、図１１は、図７の埋め込み符号化器３が出力する符号化データを、画像の相関性を利用して元の画像と付加情報に復号する図１の埋め込み復号器６のハードウェアの構成例を示している。
【００８６】
符号化データ、即ち、付加情報が埋め込まれた画像（以下、適宜、埋め込み画像ともいう）は、フレームメモリ４１に供給されるようになされており、フレームメモリ４１は、埋め込み画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ４１も、図６のフレームメモリ３１と同様に構成され、バンク切り替えを行うことにより、埋め込み画像が、動画であっても、そのリアルタイム処理が可能となっている。
【００８７】
ＣＰＵ４２は、プログラムメモリ４３に記憶されたプログラムを実行することで、後述する埋め込み復号処理を行うようになされている。即ち、ＣＰＵ４２は、フレームメモリ４１に記憶された埋め込み画像を、画像の相関性を利用して元の画像と付加情報に復号するようになされている。具体的には、ＣＰＵ４２は、埋め込み画像を構成するラインについて、そのラインを、水平方向に、例えば、１画素ずつローテーションしながら、その１ライン上のラインとの相関を計算する。そして、その相関が最大になるときのローテーション量を、付加情報の復号結果として出力するとともに、そのローテーション量だけローテーションしたラインを、ラインの復号結果として出力する。
【００８８】
プログラムメモリ４３は、例えば、図６のプログラムメモリ３３と同様に構成され、ＣＰＵ４２に、埋め込み復号化処理を行わせるためのコンピュータプログラムなどを記憶している。
【００８９】
次に、図１２は、図１１の埋め込み復号器６の機能的な構成例を示している。なお、この図１２に示した機能的な構成は、ＣＰＵ４２がプログラムメモリ４３に記憶されたコンピュータプログラムを実行することで実現されるようになされている。
【００９０】
フレームメモリ４１は、図１１で説明したように、埋め込み画像を一時記憶するようになされている。
【００９１】
ライン相関計算部４６は、フレームメモリ４１に記憶された埋め込み画像の所定のラインを読み出し、そのラインを、１画素ずつ右または左のうちのいずれか一方向にローテーションしながら、そのローテーション後のラインと、その１つ上の行のラインとの間の相関を表す相関値を演算するようになされている。即ち、ライン相関計算部４６は、図１３（Ａ）に示すように、フレームメモリ４１に記憶された埋め込み画像の復号対象のライン（このラインも、以下、適宜、注目ラインという）と、その１ライン上のライン（このラインは、注目ラインを復号するための、いわばキーとなるため、以下、適宜、キーラインという）とを読み出し、そのラインどうしの相関値を計算する。さらに、ライン相関計算部４６は、図１３（Ｂ）に示すように、注目ラインを、１画素だけ右または左のうちのいずれかにローテーションし（図１３では、図９で説明した場合の逆方向である左方向にローテーションしている）、そのローテーション後の注目ラインとキーラインラインとの間の相関値を演算する。以下、同様にして、ライン相関計算部４６は、注目ラインが元の位置（埋め込み画像上の元の位置）に戻るまで、注目ラインをローテーションしながら、キーラインとの間の相関値を計算する。
【００９２】
ここで、キーラインと注目ラインとの相関を表す相関値としては、例えば、図１３（Ｂ）に示すように、キーラインと注目ラインの対応する画素５０１と５０２、５０３と５０４、・・・それぞれの差分絶対値（差分の絶対値）の総和や、その差分の２乗和等を用いることができる。なお、この場合、相関値が小さいことは、キーラインと注目ラインとの相関が大きいことを表し、逆に、相関値が大きいことは、キーラインと注目ラインとの相関が小さいことを表す。
【００９３】
ライン相関計算部４６において求められた各ローテーション量での注目ラインとキーラインとの相関値は、すべてローテーション量決定部４７に供給されるようになされている。ローテーション量決定部４７は、ライン相関計算部４６から供給される相関値に基づき、注目ラインとキーラインとの相関が最大になるときの注目ラインのローテーション量を検出し、そのローテーション量を、注目ラインの最終的なローテーション量（以下、適宜、決定ローテーション量という）として決定するようになされている。この決定ローテーション量は、付加情報の復号結果として出力されるとともに、ラインスライド部４８に供給されるようになされている。
【００９４】
ラインスライド部４８は、フレームメモリ４１に記憶された注目ラインを、ローテーション量決定部４７から供給されるローテーション量だけ、ライン相関計算部４６における場合と同様の左方向にローテーションし、さらに、そのローテーション後の注目ラインを読み出し、その注目ラインの復号結果として出力するようになされている。
【００９５】
次に、図１４のフローチャートを参照して、図１２の埋め込み復号器６において行われる埋め込み復号処理について説明する。
【００９６】
フレームメモリ４１では、そこに供給される埋め込み画像（符号化データ）が、例えば、１フレーム単位で順次記憶される。
【００９７】
一方、ライン相関計算部４６では、ステップＳ１１において、フレームメモリ４１に記憶された埋め込み画像の所定の１ラインが、注目ラインとして読み出され、ステップＳ１２に進み、その注目ラインが、第１ラインであるかどうかが判定される。ステップＳ１２において、注目ラインが、第１ラインであると判定された場合、ステップＳ１３に進み、ラインスライド部４８は、第１ラインである注目ラインを、フレームメモリ４１から読み出し、そのまま出力して、ステップＳ１４乃至Ｓ１９をスキップして、ステップＳ２０に進む。即ち、本実施の形態では、上述したことから、第１ラインには、付加情報が埋め込まれていないため（従って、ローテーションされていない）、第１ラインは、そのまま出力される。
【００９８】
また、ステップＳ１２において、注目ラインが、第１ラインでないと判定された場合、即ち、注目ラインが、第２ライン以降のいずれかのラインである場合、ステップＳ１４に進み、ライン相関計算部４６は、注目ラインの１ライン上のラインをキーラインとして、フレームメモリ４１から読み出し、ステップＳ１５に進む。ステップＳ１５では、ライン相関計算部４６において、注目ラインとキーラインとの間の相関値（ライン相関値）が計算され、ローテーション決定部４７に出力される。
【００９９】
ここで、ライン相関計算部４６では、例えば、注目ラインを構成する各画素と、その画素と同一列にあるキーラインの画素との差分の絶対値和または自乗和が、注目ラインとキーラインとの間の相関値として計算される。従って、ここでは、この「相関値」が最小の値をとるときが、注目ラインとキーラインとの間の「相関」が最大になる。
【０１００】
ステップＳ１５の処理後は、ステップＳ１６に進み、ライン相関計算部４６において、注目ラインが、左方向に、１画素だけローテーションされる。そして、ステップＳ１７に進み、ステップＳ１６で注目ラインがローテーションされることにより、そのローテーション後の注目ラインの各画素が、フレームメモリ４１に記憶されている注目ラインの各画素の位置に戻ったかどうかが判定される。
【０１０１】
ステップＳ１７において、ローテーション後の注目ラインの各画素が、フレームメモリ４１に記憶されている注目ラインの各画素の位置に戻っていないと判定された場合、ステップＳ１５に戻り、ローテーション後の注目ラインとキーラインとの間の相関値が計算され、以下、同様の処理が繰り返される。
【０１０２】
また、ステップＳ１７において、ローテーション後の注目ラインの各画素が、フレームメモリ４１に記憶されている注目ラインの各画素の位置に戻ったと判定された場合、ステップＳ１８に進み、ローテーション量決定部４８において、ライン相関計算部４６から供給される相関値に基づき、注目ラインとキーラインとの相関が最大になるときの注目ラインのローテーション量が、決定ローテーション量として決定される。さらに、ローテーション量決定部４７は、その決定ローテーション量を、ラインスライド部４８に供給するとともに、注目ラインに埋め込まれていた付加情報の復号結果として出力し、ステップＳ１９に進む。
【０１０３】
ステップＳ１９では、ラインスライド部４８において、フレームメモリ４１に記憶された注目ラインが、ローテーション量決定部４７から供給されたローテーション量だけ、ライン相関計算部４６における場合と同様の左方向にローテーションされる。さらに、ラインスライド部４８は、その左方向のローテーション後の注目ラインを読み出し、その注目ラインの復号結果として出力し、ステップＳ２０に進む。
【０１０４】
ステップＳ２０では、フレームメモリ４１に、まだ処理していない埋め込み画像が記憶されているかどうかが判定され、記憶されていると判定された場合、ステップＳ１１に戻り、例えば、いままで注目ラインとされていた１ライン下のライン（または、新たな埋め込み画像のフレームの第１ライン）が、新たに注目ラインとして読み出され、以下、同様の処理が繰り返される。
【０１０５】
また、ステップＳ２０において、フレームメモリ４１に、まだ処理していない埋め込み画像が記憶されていないと判定された場合、埋め込み復号処理を終了する。
【０１０６】
以上のように、付加情報が埋め込まれた画像である符号化データを、画像の相関性を利用して、元の画像と付加情報に復号するようにしたので、その復号のためのオーバヘッドがなくても、符号化データを、元の画像と付加情報に復号することができる。従って、その復号画像には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【０１０７】
なお、本実施の形態では、注目ラインと、キーラインとの間の相関を表す相関値として、対応する画素どうしの差分絶対値の総和または自乗和を用いるようにしたが、相関値は、これに限定されるものではない。
【０１０８】
さらに、本実施の形態では、１ラインを、１の付加情報にしたがってローテーションするようにしたため、１ラインを構成する画素数だけの範囲内の値の付加情報の埋め込みが可能であるが、１ラインを構成する画素数より大きい範囲内の値の付加情報の埋め込みは、例えば、２ラインなどの複数ラインを、１の付加情報にしたがってローテーションするようにすることで行うことが可能である。
【０１０９】
また、本実施の形態では、画像の水平方向に並ぶ画素であるラインを、付加情報にしたがってローテーションするようにしたが、その他、例えば、図１５（Ａ）に示すように、画像の垂直方向の画素の並びをローテーションしたり、あるいは、図１５（Ｂ）や図１５（Ｃ）に示すように、画像の斜め方向の画素の並びをローテーションするようにすることも可能である。さらに、例えば、時間方向に並ぶ所定数のフレームの同一位置にある画素の並びをローテーションしたり、水平方向、垂直方向、斜め方向、または時間方向うちの２方向以上について同時にローテーションするようにすることも可能である。
【０１１０】
また、本実施の形態では、各フレームの第１ラインだけはローテーションしないようにしたが（ローテーションを禁止したが）、その他、例えば、最下行のラインだけをローテーションしないようにすることも可能である。この場合、埋め込み復号処理では、より下の行のラインから、順次、注目ラインとし、注目ラインの１ライン下のラインをキーラインとして復号を行えば良い。
【０１１１】
さらに、例えば、各フレームのラインを１行おきにローテーションしないようにすることなども可能である。この場合、埋め込み復号処理において、ローテーションしたラインの上下のラインをキーラインとして復号を行うことで、より精度良く、復号を行うことが可能となる。
【０１１２】
また、本実施の形態では、注目ラインの１ライン上のラインだけをキーラインとして、埋め込み復号を行うようにしたが、その他、例えば、注目ラインの上にある２以上のラインをキーラインとすることも可能である。
【０１１３】
さらに、本実施の形態では、各フレームの第１ラインだけはローテーションしないようにしたが、各フレームの第１ラインも含むすべてのラインをローテーションの対象とすることも可能である。
【０１１４】
また、付加情報として用いる情報は、特に限定されるものではなく、例えば、画像や、音声、テキスト、コンピュータプログラム、制御信号、その他のデータを付加情報として用いることが可能である。なお、画像データベース１の画像の一部を付加情報とし、残りを、フレームメモリ３１への供給対象とすれば、その残りの部分に、付加情報とされた画像の一部分が埋め込まれるから、画像の圧縮が実現されることになる。
【０１１５】
さらに、本実施の形態では、付加情報を、画像に埋め込むようにしたが、付加情報は、その他、例えば、音声に埋め込むことも可能である。即ち、例えば、時系列の音声データを、適当なフレームに区切り、各フレームの音声データを、付加情報にしたがって時間方向等にローテーションすることで、付加情報を、音声に埋め込むことが可能である。
【０１１６】
また、本実施の形態では、付加情報が埋め込まれた埋め込み画像を、画像の相関性に基づいて、付加情報と元の画像に復号するようにしたが、埋め込み画像は、その他、上述の連続性や相似性に基づいて復号することも可能である。即ち、埋め込み画像の復号は、注目しているラインと、それに隣接するライン等との連続性や相似性の関係を表す値を求め、その値に基づいて行うことが可能である。
【０１１７】
さらに、本実施の形態では、ＣＰＵ３２または４２に、コンピュータプログラムを実行させることで、埋め込み符号化処理または埋め込み復号処理をそれぞれ行うようにしたが、これらの処理は、それ専用のハードウェアによって行うことも可能である。
【０１１８】
また、本実施の形態では、ＣＰＵ３２または４２に実行させるコンピュータプログラムを、プログラムメモリ３３または４３にそれぞれ記憶させておくようにしたが、このコンピュータプログラムは、例えば、半導体メモリ、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、相変化ディスクなどの記録媒体や、インターネット、地上波、衛星回線、公衆網、ＣＡＴＶ（Cable Television）網などの伝送媒体を介して提供するようにすることが可能である。
【０１１９】
次に、上述した一連の処理は、コンピュータに、プログラムをインストールして行わせることが可能である。
【０１２０】
そこで、図１６を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる、そのプログラムが記録されている記録媒体について説明する。
【０１２１】
プログラムは、図１６（Ａ）に示すように、コンピュータ６０１に内蔵されている記録媒体としてのハードディスク６０２や半導体メモリ６０３に予め記録しておくことができる。
【０１２２】
あるいはまた、プログラムは、図１６（Ｂ）に示すように、フロッピーディスク６１１、CD-ROM(Compact Disc Read Only Memory)６１２，MO(Magneto optical)ディスク６１３，DVD(Digital Versatile Disc)６１４、磁気ディスク６１５、半導体メモリ６１６などの記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このような記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２３】
なお、プログラムは、上述したような記録媒体からコンピュータにインストールする他、図１６（Ｃ）に示すように、ダウンロードサイト６２１から、ディジタル衛星放送用の人工衛星６２２を介して、コンピュータ６０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク６３１を介して、コンピュータ６０１に有線で転送し、コンピュータ６０１において、内蔵するハードディスク６０２などにインストールすることができる。
【０１２４】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１２５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１２６】
次に、図１７は、図１６のコンピュータ６０１の構成例を示している。
【０１２７】
コンピュータ６０１は、図１７に示すように、CPU(Central Processing Unit)６４２を内蔵している。CPU６４２には、バス６４１を介して、入出力インタフェース６４５が接続されており、CPU６４２は、入出力インタフェース６４５を介して、ユーザによって、キーボードやマウス等で構成される入力部６４７が操作されることにより指令が入力されると、それにしたがって、図１６（Ａ）の半導体メモリ６０３に対応するROM(Read Only Memory)６４３に格納されているプログラムを実行する。あるいは、また、CPU６４２は、ハードディスク６０２に格納されているプログラム、衛星６２２若しくはネットワーク６３１から転送され、通信部６４８で受信されてハードディスク６０２にインストールされたプログラム、ドライブ６４９に装着されたフロッピディスク６１１、CD-ROM６１２、MOディスク６１３、DVD６１４、若しくは磁気ディスク６１５から読み出されてハードディスク６０２にインストールされたプログラム、または半導体メモリ６１６から読み出されたプログラムを、RAM(Random Access Memory)６４４にロードして実行する。これにより、CPU６４２では、図８や図１４に示したフローチャートにしたがった処理が行われる。そして、CPU６４２は、その処理結果を、例えば、入出力インタフェース６４５を介して、必要に応じて、LCD(Liquid CryStal Display)等で構成される表示部６４６に出力し、あるいは、通信部６４８から送信等する。
【０１２８】
【発明の効果】
本発明の符号化装置および符号化方法、並びに記録媒体によれば、第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データが記憶され、その記憶されたデータが、第２のデータにしたがって、復号時に第１のデータを復元できるように一連の画素データが、第２のデータの値に相当する画素数に応じて所定方向にローテーションされることにより、第１のデータに、第２のデータに関連するデータが埋め込まれる。従って、相関性等を利用して第１および第２のデータを復号可能なように、符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】符号化対象の画像を示す図である。
【図３】相関性を利用した符号化／復号を説明するための図である。
【図４】連続性を利用した符号化／復号を説明するための図である。
【図５】相似性を利用した符号化／復号を説明するための図である。
【図６】図１の埋め込み符号化器３のハードウェアの構成例を示すブロック図である。
【図７】図６の埋め込み符号化器３の機能的構成例を示すブロック図である。
【図８】埋め込み符号化処理を説明するためのフローチャートである。
【図９】図８におけるステップＳ５の処理を説明するための図である。
【図１０】埋め込み符号化処理の結果を説明するための図である。
【図１１】図１の埋め込み復号器６のハードウェアの構成例を示すブロック図である。
【図１２】図１１の埋め込み復号器６の機能的構成例を示すブロック図である。
【図１３】図１２のライン相関計算部４６の処理を説明するための図である。
【図１４】埋め込み復号処理を説明するためのフローチャートである。
【図１５】ローテーションを行う画素の並びの例を示す図である。
【図１６】本発明を適用した記録媒体を説明するための図である。
【図１７】図１６のコンピュータ６０１の構成例を示すブロック図である。
【符号の説明】
１ 画像データベース， ２ 付加情報データベース， ３ 埋め込み符号化器， ４ 記録媒体， ５ 伝送媒体， ６ 埋め込み復号器， １０ 符号化装置， ２０ 復号装置， ３１ フレームメモリ， ３２ ＣＰＵ， ３３ プログラムメモリ， ３６ ラインスライド部， ４１ フレームメモリ， ４２ ＣＰＵ， ４３ プログラムメモリ， ４６ ライン相関計算部， ４７ ローテーション量決定部， ４８ ラインスライド部， ６０１ コンピュータ， ６０２ ハードディスク， ６０３ 半導体メモリ， ６１１ フロッピーディスク， ６１２ CD-ROM， ６１３ MOディスク， ６１４ DVD， ６１５ 磁気ディスク， ６１６ 半導体メモリ， ６２１ ダウンロードサイト，６２２ 衛星， ６３１ ネットワーク， ６４１ バス， ６４２ CPU，６４３ ROM， ６４４ RAM， ６４５ 入出力インタフェース， ６４６ 表示部， ６４７ 入力部， ６４８ 通信部， ６４９ ドライブ
Claims (7)
- 第１のデータを、第２のデータにしたがって符号化する符号化装置であって、
前記第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶手段と、
前記第２のデータにしたがって、復号時に前記第１のデータを復元できるように前記記憶手段に記憶された前記一連の画素データを、前記第２のデータの値に相当する画素数に応じて前記所定方向にローテーションすることにより、前記第１のデータに、前記第２のデータに関連するデータを埋め込む符号化手段と
を備えることを特徴とする符号化装置。 - 前記第１および第２のデータを入力する入力手段をさらに備える
ことを特徴とする請求項１に記載の符号化装置。 - 前記符号化手段は、前記画像データ上の所定方向に並び、かつ前記画像データの画枠内にある前記一連の画素データを、前記第２のデータにしたがって前記所定方向にローテーションする
ことを特徴とする請求項１に記載の符号化装置。 - 前記符号化手段は、前記画像データ上の水平方向に並ぶ１ラインの画素データを、前記第２のデータにしたがって水平方向にローテーションする
ことを特徴とする請求項１に記載の符号化装置。 - 前記第１のデータの一部は、前記符号化手段によるローテーションが禁止されている
ことを特徴とする請求項１に記載の符号化装置。 - 第１のデータを、第２のデータにしたがって符号化する符号化方法であって、
前記第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶ステップと、
前記第２のデータにしたがって、復号時に前記第１のデータを復元できるように前記記憶ステップにおいて記憶された前記一連の画素データを、前記第２のデータの値に相当する画素数に応じて前記所定方向にローテーションすることにより、前記第１のデータに、前記第２のデータに関連するデータを埋め込む符号化ステップと
を備えることを特徴とする符号化方法。 - 第１のデータを、第２のデータにしたがって符号化する符号化処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記第１のデータである複数の画素データから構成される画像データ上の所定方向に並ぶ一連の画素データを記憶する記憶ステップと、
前記第２のデータにしたがって、復号時に前記第１のデータを復元できるように前記記憶ステップにおいて記憶された前記一連の画素データを、前記第２のデータの値に相当する画素数に応じて前記所定方向にローテーションすることにより、前記第１のデータに、前記第２のデータに関連するデータを埋め込む符号化ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28419899A JP4147700B2 (ja) | 1998-10-07 | 1999-10-05 | 符号化装置および符号化方法、並びに記録媒体 |
| US09/412,832 US6546139B1 (en) | 1998-10-07 | 1999-10-05 | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal |
| US10/342,046 US6931156B2 (en) | 1998-10-07 | 2003-01-14 | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium and signal |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-285310 | 1998-10-07 | ||
| JP28531098 | 1998-10-07 | ||
| JP28419899A JP4147700B2 (ja) | 1998-10-07 | 1999-10-05 | 符号化装置および符号化方法、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008110537A Division JP4556147B2 (ja) | 1998-10-07 | 2008-04-21 | 復号装置および復号方法、記録媒体、並びにデータ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000184181A JP2000184181A (ja) | 2000-06-30 |
| JP4147700B2 true JP4147700B2 (ja) | 2008-09-10 |
Family
ID=26555366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28419899A Expired - Fee Related JP4147700B2 (ja) | 1998-10-07 | 1999-10-05 | 符号化装置および符号化方法、並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6546139B1 (ja) |
| JP (1) | JP4147700B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236777A (ja) * | 1998-10-07 | 2008-10-02 | Sony Corp | 復号装置および復号方法、記録媒体、並びにデータ処理装置 |
| JP2011091594A (ja) * | 2009-10-22 | 2011-05-06 | Fujitsu Ltd | 画像処理装置、画像処理方法、および画像処理プログラム |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2242526C (en) * | 1997-07-10 | 2001-09-11 | Yamaha Corporation | Method and device for incorporating additional information into main information through electronic watermarking technique |
| US6965697B1 (en) * | 1998-07-15 | 2005-11-15 | Sony Corporation | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal |
| AUPQ904100A0 (en) * | 2000-07-27 | 2000-08-17 | Filippi, Ross | Method of encryption |
| JP4214440B2 (ja) * | 2000-10-19 | 2009-01-28 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| AU2002214613A1 (en) * | 2000-11-08 | 2002-05-21 | Digimarc Corporation | Content authentication and recovery using digital watermarks |
| JP4556087B2 (ja) * | 2001-03-22 | 2010-10-06 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びにプログラムおよびプログラム記録媒体 |
| US7006656B2 (en) * | 2001-10-15 | 2006-02-28 | The Research Foundation Of Suny | Lossless embedding of data in digital objects |
| US7187780B2 (en) * | 2001-12-13 | 2007-03-06 | Digimarc Corporation | Image processing methods using reversible watermarking |
| AU2002357259A1 (en) * | 2001-12-13 | 2003-07-09 | Digimarc Corporation | Reversible watermarking |
| US7515730B2 (en) * | 2001-12-13 | 2009-04-07 | Digimarc Corporation | Progressive image quality control using watermarking |
| US8059815B2 (en) * | 2001-12-13 | 2011-11-15 | Digimarc Corporation | Transforming data files into logical storage units for auxiliary data through reversible watermarks |
| US7006662B2 (en) * | 2001-12-13 | 2006-02-28 | Digimarc Corporation | Reversible watermarking using expansion, rate control and iterative embedding |
| US7356158B2 (en) * | 2002-12-17 | 2008-04-08 | New Jersey Institute Of Technology | Methods and apparatus for lossless data hiding |
| JP4127537B2 (ja) * | 2004-02-04 | 2008-07-30 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| JP4831349B2 (ja) * | 2007-01-23 | 2011-12-07 | 富士ゼロックス株式会社 | 画像処理装置、画像形成装置、画像形成システム、及びプログラム |
| EP2234400A1 (en) * | 2009-03-23 | 2010-09-29 | Sony Corporation | Method and device for providing a multimedia content stream embedding processing information for the content |
| JP5723148B2 (ja) * | 2010-12-28 | 2015-05-27 | 日本放送協会 | 符号化装置 |
| JP5917116B2 (ja) | 2011-12-06 | 2016-05-11 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| JPWO2014091943A1 (ja) * | 2012-12-14 | 2017-01-05 | ソニー株式会社 | 画像処理装置および方法 |
| US9886766B2 (en) | 2013-08-16 | 2018-02-06 | Samsung Electronics Co., Ltd | Electronic device and method for adding data to image and extracting added data from image |
| JP6735253B2 (ja) * | 2017-06-08 | 2020-08-05 | 日本電信電話株式会社 | 変換先画素決定装置、画像変換装置、変換先画素決定方法、画像変換方法、およびプログラム |
| CN109348228B (zh) * | 2018-09-14 | 2021-05-04 | 东南大学 | 一种图像加密域可逆信息隐藏系统与方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4663659A (en) * | 1985-10-31 | 1987-05-05 | Rca Corporation | Video signal scrambling system employing full line reversal and double burst coding |
| ES2076931T3 (es) | 1986-04-18 | 1995-11-16 | Nagra Plus Sa | Decodificador para un sistema de television de pago. |
| FR2631192A1 (fr) | 1988-05-06 | 1989-11-10 | Europ Rech Electr Lab | Procede d'embrouillage d'images de television |
| US5883975A (en) * | 1994-09-12 | 1999-03-16 | Nippon Steel Corporation | Compression and decompression methods on two-dimensional image data |
| US5815572A (en) | 1995-08-31 | 1998-09-29 | Lucent Technologies Inc. | Video scrambling |
| US6229924B1 (en) | 1996-05-16 | 2001-05-08 | Digimarc Corporation | Method and apparatus for watermarking video images |
| US5825892A (en) | 1996-10-28 | 1998-10-20 | International Business Machines Corporation | Protecting images with an image watermark |
| DE19809505A1 (de) * | 1997-03-05 | 1998-09-17 | Asahi Optical Co Ltd | Einrichtung zum Prüfen optischer Elemente |
| US6334187B1 (en) * | 1997-07-03 | 2001-12-25 | Matsushita Electric Industrial Co., Ltd. | Information embedding method, information extracting method, information embedding apparatus, information extracting apparatus, and recording media |
-
1999
- 1999-10-05 JP JP28419899A patent/JP4147700B2/ja not_active Expired - Fee Related
- 1999-10-05 US US09/412,832 patent/US6546139B1/en not_active Expired - Fee Related
-
2003
- 2003-01-14 US US10/342,046 patent/US6931156B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236777A (ja) * | 1998-10-07 | 2008-10-02 | Sony Corp | 復号装置および復号方法、記録媒体、並びにデータ処理装置 |
| JP4556147B2 (ja) * | 1998-10-07 | 2010-10-06 | ソニー株式会社 | 復号装置および復号方法、記録媒体、並びにデータ処理装置 |
| JP2011091594A (ja) * | 2009-10-22 | 2011-05-06 | Fujitsu Ltd | 画像処理装置、画像処理方法、および画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6931156B2 (en) | 2005-08-16 |
| US6546139B1 (en) | 2003-04-08 |
| US20030103646A1 (en) | 2003-06-05 |
| JP2000184181A (ja) | 2000-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4147700B2 (ja) | 符号化装置および符号化方法、並びに記録媒体 | |
| JP4822304B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3924967B2 (ja) | 符号化装置および方法、復号装置および方法、記録媒体、並びにデータ処理システム | |
| US7738711B2 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
| JP3991249B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体 | |
| JP4214440B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4182603B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置 | |
| JP4556147B2 (ja) | 復号装置および復号方法、記録媒体、並びにデータ処理装置 | |
| JP2002278748A (ja) | データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びに符号化データおよびデータ記録媒体 | |
| JP4143884B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置 | |
| KR100711012B1 (ko) | 코딩 장치 및 방법, 디코딩 장치 및 방법, 데이터 처리 시스템, 기억 매체 및 신호 | |
| JP4232118B2 (ja) | データ処理装置、データ処理方法、およびプログラム | |
| KR100777144B1 (ko) | 코딩 장치와 방법, 디코딩 장치와 방법, 데이터 처리 시스템, 저장 매체, 및 기록 매체 | |
| JP4092608B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム格納媒体 | |
| JP4099687B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
| JP4374712B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4548434B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2003125194A (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080616 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |