JP4099687B2 - 画像処理装置および画像処理方法、並びに媒体 - Google Patents
画像処理装置および画像処理方法、並びに媒体 Download PDFInfo
- Publication number
- JP4099687B2 JP4099687B2 JP16053099A JP16053099A JP4099687B2 JP 4099687 B2 JP4099687 B2 JP 4099687B2 JP 16053099 A JP16053099 A JP 16053099A JP 16053099 A JP16053099 A JP 16053099A JP 4099687 B2 JP4099687 B2 JP 4099687B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- information
- exclusive
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに媒体に関し、再生画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにする画像処理装置および画像処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
信号に対して、そのデータ量を増加させることなく、情報を埋め込む手法としては、例えば、ディジタルオーディオデータの最下位ビットや、下位２ビットなどを、埋め込む情報に変換するものなどがある。この手法は、ディジタルオーディオデータの下位ビットが、その音質にあまり影響を与えないことを利用し、その下位ビットを、単に、埋め込む情報に置き換えるものであり、従って、再生時には、情報が埋め込まれたディジタルオーディオデータは、その下位ビットを元に戻さずに、そのまま出力される。即ち、情報が埋め込まれた下位ビットを、元に戻すのは困難であり、また、下位ビットは、音質に、あまり影響を与えないことから、ディジタルオーディオデータは、情報が埋め込まれた状態で出力される。
【０００３】
【発明が解決しようとする課題】
しかしながら、以上のような手法では、本来の信号と異なる信号が出力される。従って、信号がオーディオデータである場合には、その音質に、また、信号がビデオデータである場合には、その画質に、少なからず影響がある。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、画像を構成する一部の画素を選択する選択手段と、選択手段によって選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報を埋め込む演算手段とを含むことを特徴とする。
【０００７】
画像を所定のブロックに分割する分割手段をさらに設けることができ、この場合、選択手段には、ブロックを構成する一部の画素を選択させることができる。
【０００８】
請求項３に記載の画像処理方法は、画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報を埋め込む演算ステップとを含むことを特徴とする。
【０００９】
請求項４に記載の媒体がコンピュータに実行させるプログラムは、画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報を埋め込む演算ステップとを含むことを特徴とする。
【００１０】
請求項５に記載の画像処理装置は、情報埋め込み画像を構成する一部の画素を選択する選択手段と、選択手段によって選択された画素について、所定のデータとの排他的論理和を演算する演算手段と、排他的論理和が演算された画素と、選択手段によって選択された画素以外の画素との間の相関を演算する相関計算手段と、相関に基づいて、選択手段によって選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定手段と、決定手段によって決定されたデータに基づいて、選択手段によって選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号手段とを含むことを特徴とする。
【００１１】
演算手段には、選択手段によって選択された画素のうちの一部の画素について、所定のデータを表すビット列との排他的論理和を演算させ、残りの画素について、その所定のデータを表すビット列と逆順のビット列との排他的論理和を演算させることができる。
【００１２】
情報埋め込み画像を所定のブロックに分割する分割手段をさらに設けることができ、この場合、選択手段には、ブロックを構成する一部の画素を選択させることができる。
【００１３】
相関計算手段には、排他的論理和が演算された画素について、その画素の周辺にある画素であって、選択手段によって選択された画素以外の画素との間の相関を演算させることができる。
【００１４】
また、相関演算手段には、排他的論理和が演算された画素について、選択手段によって選択された画素以外の画素との間の相関の他、既に復号された画素との間の相関も演算させることができる。
【００１５】
請求項１０に記載の画像処理方法は、情報埋め込み画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素について、所定のデータとの排他的論理和を演算する演算ステップと、排他的論理和が演算された画素と、選択ステップで選択された画素以外の画素との間の相関を演算する相関計算ステップと、相関に基づいて、選択ステップで選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定ステップと、決定ステップで決定されたデータに基づいて、選択ステップで選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号ステップとを含むことを特徴とする。
【００１６】
請求項１１に記載の媒体がコンピュータに実行させるプログラムは、情報埋め込み画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素について、所定のデータとの排他的論理和を演算する演算ステップと、排他的論理和が演算された画素と、選択ステップで選択された画素以外の画素との間の相関を演算する相関計算ステップと、相関に基づいて、選択ステップで選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定ステップと、決定ステップで決定されたデータに基づいて、選択ステップで選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号ステップとを含むことを特徴とする。
【００１７】
請求項１２に記載の画像処理装置は、画像を構成する一部の画素を選択する第１の選択手段と、第１の選択手段によって選択された画素について、情報との排他的論理和を演算することにより、画素に、情報を埋め込み、情報埋め込み画像を出力する第１の演算手段と、情報埋め込み画像を構成する一部の画素を選択する第２の選択手段と、第２の選択手段によって選択された画素について、所定のデータとの排他的論理和を演算する第２の演算手段と、排他的論理和が演算された画素と、第２の選択手段によって選択された画素以外の画素との間の相関を演算する相関計算手段と、相関に基づいて、第２の選択手段によって選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定手段と、決定手段によって決定されたデータに基づいて、第２の選択手段によって選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号手段とを含むことを特徴とする。
【００１８】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体においては、画像を構成する一部の画素が選択され、その選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報が埋め込まれる。
【００１９】
請求項５に記載の画像処理装置および請求項１０に記載の画像処理方法、並びに請求項１１に記載の媒体においては、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定され、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。
【００２０】
請求項１２に記載の画像処理装置においては、画像を構成する一部の画素が選択され、その選択された画素について、情報との排他的論理和を演算することにより、画素に、情報が埋め込まれ、情報埋め込み画像が出力される。一方、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定される。そして、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。
【００２１】
【発明の実施の形態】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２２】
この画像伝送システムは、符号化装置１０および復号装置２０で構成されており、符号化装置１０は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、復号装置２０は、その符号化データを、元の画像に復号するようになされている。
【００２３】
即ち、画像データベース１は、符号化すべき画像（例えば、ディジタル画像）を記憶している。そして、画像データベース１からは、そこに記憶されている画像が読み出され、埋め込み符号化器３に供給される。
【００２４】
また、付加情報データベース２は、符号化対象の画像に埋め込むべき情報としての付加情報（ディジタルデータ）を記憶している。そして、付加情報データベース２からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器３に供給される。
【００２５】
埋め込み符号化器３では、画像データベース１からの画像、および付加情報データベース２からの付加情報が受信される。さらに、埋め込み符号化器３は、画像データベース１からの画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報データベース２からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器３は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器３が出力する符号化データは、例えば、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体４に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体５を介して伝送され、復号装置２０に提供される。
【００２６】
復号装置２０は、埋め込み復号器６で構成され、そこでは、記録媒体４または伝送媒体５を介して提供される符号化データが受信される。さらに、埋め込み復号器６は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタに供給されて表示される。また、復号された付加情報は、例えば、所定の処理を行うのに用いられる。
【００２７】
次に、図１の埋め込み符号化器３における符号化、および埋め込み復号器６における復号の原理について説明する。
【００２８】
一般に、情報と呼ばれるものは、エネルギ（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【００２９】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の情報に復号することができる。
【００３０】
情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性があり、情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。
【００３１】
即ち、例えば、いま、図２に示すようなＨラインでなる画像があった場合に、その上から１行目のライン（第１ライン）と、他のラインとの相関は、一般に、図３（Ａ）に示すように、第１ラインとの距離が近いライン（図２における画面の上の行のライン）ほど大きくなり、第１ラインとの距離が遠いライン（図２における画面の下の行のライン）ほど小さくなる（第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある）。
【００３２】
そこで、いま、図２の画像において、第１ラインから近い第Ｍラインと、第１ラインから遠い第Ｎラインとを入れ替え（１＜Ｍ＜Ｎ≦Ｈ）、その入れ替え後の画像について、第１ラインと、他のラインとの相関を計算すると、それは、例えば、図３（Ｂ）に示すようになる。
【００３３】
即ち、入れ替え後の画像では、第１ラインから近い第Ｍライン（入れ替え前の第Ｎライン）との相関が小さくなり、第１ラインから遠い第Ｎライン（入れ替え前の第Ｍライン）との相関が大きくなる。
【００３４】
従って、図３（Ｂ）では、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りが破壊されている。しかしながら、画像については、一般に、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りを利用することにより、破壊された相関の偏りを、元に戻すことができる。即ち、図３（Ｂ）において、第１ラインから近い第Ｍラインとの相関が小さく、第１ラインから遠い第Ｎラインとの相関が大きいのは、画像が有する本来の相関の偏りからすれば、明らかに不自然であり（おかしく）、第Ｍラインと第Ｎラインとは入れ替えるべきである。そして、図３（Ｂ）における第Ｍラインと第Ｎラインとを入れ替えることで、図３（Ａ）に示すような相関、即ち、元の画像を復号することができる。
【００３５】
ここで、図２および図３で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
【００３６】
次に、図４は、以上のように、画像の相関性を利用して元に戻すことができるように、画像に付加情報を埋め込む埋め込み図１の符号化を行う埋め込み符号化器３の構成例を示している。
【００３７】
画像データベース１から供給される画像は、フレームメモリ３１に供給されるようになされており、フレームメモリ３１は、画像データベース１からの画像を、例えば、フレーム単位で一時記憶するようになされている。
【００３８】
CPU(Central Processing Unit)３２は、プログラムメモリ３３に記憶されたプログラムを実行することで、フレームメモリ３１に記憶された画像を対象に、後述する埋め込み符号化処理を行うようになされている。即ち、CPU３２は、付加情報データベース２から供給される付加情報を、フレームメモリ３１に記憶された画像に埋め込むようになされている。
【００３９】
プログラムメモリ３３は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)などで構成され、CPU３２に、埋め込み符号化処理を行わせるためのコンピュータプログラムを記憶している。
【００４０】
出力I/F（Interface）３４は、フレームメモリ３１から、付加情報の埋め込まれた画像を読み出し、符号化データとして出力するようになされている。
【００４１】
なお、フレームメモリ３１は、複数のフレームを記憶することのできるように、複数バンクで構成されており、バンク切り替えを行うことで、フレームメモリ３１では、画像データベース１から供給される画像の記憶、CPU３２による埋め込み符号化処理の対象となっている画像の記憶、および埋め込み符号化処理後の画像（符号化データ）の出力を、同時に行うことができるようになされている。これにより、画像データベース１から供給される画像が、動画であっても、符号化データのリアルタイム出力を行うことができるようになされている。
【００４２】
次に、図５は、図４のCPU３２が、プログラムメモリ３３に記憶されたプログラムを実行することで実現される埋め込み符号化器３の機能的構成例を示している。
【００４３】
ブロック分割部４１には、符号化対象としての画像が、例えば、１フレーム単位で供給されるようになっており、ブロック分割部４１は、その１フレーム単位の画像を、所定の大きさのブロックに分割して、排他的論理和演算部４２に供給するようになっている。
【００４４】
排他的論理和演算部４２には、ブロック分割部４１からブロックが供給される他、画像に埋め込む付加情報が供給されるようになっており、排他的論理和演算部４２は、ブロック分割部４１からのブロックを構成する一部の画素を選択し、その画素（以下、適宜、選択画素という）について、付加情報との排他的論理和を演算することにより、選択画素に、付加情報を埋め込むようになっている。選択画素に付加情報が埋め込まれたブロックは、符号化ブロックとして符号化画像メモリ４３に供給されるようになっている。
【００４５】
符号化画像メモリ４３は、排他的論理和演算部４２から供給される符号化ブロックを順次記憶し、１フレーム分の符号化ブロックを記憶すると、その１フレーム分の符号化ブロックを、符号化データとして出力するようになっている。
【００４６】
次に、図６のフローチャートを参照して、図５の埋め込み符号化器３において行われる埋め込み符号化処理について説明する。
【００４７】
上述したように、ブロック分割部４１には、符号化対象としての画像が、１フレーム単位で供給されるようになっており、ブロック分割部４１は、１フレームの画像を受信すると、ステップＳ１において、その１フレームの画像を、所定の大きさのブロックに分割する。即ち、ブロック分割部４１は、１フレームの画像を、例えば、図７（Ａ）に示すように、横×縦が４×４画素のブロックに分割する。ブロック分割４１において得られたブロックは、例えば、ラインスキャン順に、順次、排他的論理和演算部４２に供給される。
【００４８】
排他的論理和演算部４２は、ブロック分割部４１からブロックを受信すると、そのブロックを、注目ブロックとし、ステップＳ２において、注目ブロックを構成する一部の画素を選択する。即ち、排他的論理和演算部４２は、注目ブロックを構成する画素のうち、例えば、図７（Ａ）に●印および斜線を付した○印で示すような、五の目格子を構成するような位置関係にある画素を、選択画素として選択する。従って、ここでは、ブロックを構成する１／２の画素が、選択画素として選択される。
【００４９】
そして、ステップＳ３に進み、排他的論理和演算部４２において、選択画素について、付加情報との排他的論理和が演算されることで、選択画素に、付加情報が埋め込まれる。即ち、排他的論理和演算部４２は、選択画素のうち、図７（Ａ）において斜線を付した○印で示す選択画素については、その画素値と、付加情報を表すビット列との排他的論理和を演算し、その演算結果を、その選択画素の画素値とする。
【００５０】
さらに、排他的論理和演算部４２は、選択画素のうち、図７（Ａ）において●印で示す選択画素については、その画素値と、付加情報を表すビット列と逆順のビット列との排他的論理和を演算し、その演算結果を、その選択画素の画素値とする。
【００５１】
ここで、付加情報を表すビット列そのもの、またはそのビット列と逆順のビット列との排他的論理和が演算される画素を、それぞれ順ビット列画素、または逆ビット列画素というものとすると、本実施の形態では、選択画素の斜め方向について、順ビット列画素と逆ビット列画素とが交互に並ぶようになっており（図７（A））、従って、選択画素の半分が順ビット列画素とされ、残りの半分が逆ビット列画素とされる。
【００５２】
例えば、いま、画素値が８ビットで表されるとし、ある順ビット列画素の画素値が、00111101B（Bは、その前の数字が２進数であることを表す）であり、また、ある逆ビット列画素の画素値が、10010111Bであったとする。さらに、付加情報が00101001B（＝４１）であるとすると、画素値が00111101Bの順ビット列画素については、図７（Ｂ）に示すように、その画素値00111101Bと、付加情報を表すビット列そのものである00101001Bとの、ビットごとの排他的論理和(EXOR)が演算され、その画素値は00010100Bとされる。一方、画素値が10010111Bの逆ビット列画素については、図７（Ｃ）に示すように、その画素値11101001Bと、付加情報を表すビット列00101001Bを逆順に並べたビット列10010100Bとの、ビットごとの排他的論理和が演算され、その画素値は00000011Bとされる。ブロック内の他の順ビット列画素および逆ビット列画素についても、同様にして、付加情報との排他的論理和が演算される。
【００５３】
なお、画素値が８ビットで表される場合においては、その画素値と同一ビット数の付加情報との排他的論理和の演算が可能であり、従って、この場合、１つのブロックにつき、８ビットで表すことのできる付加情報（０乃至２５５の範囲の値をとる付加情報）を埋め込むことができる。
【００５４】
ステップＳ３で選択画素の排他的論理和の演算が行われたブロックは、符号化ブロックとして、符号化画像メモリ４３に供給されて記憶される。そして、ステップＳ４に進み、排他的論理和演算部４２において、１フレームの画像を分割して得られたブロックのうち、まだ、注目ブロックとして処理していないブロック（以下、適宜、未処理ブロックという）があるかどうかが判定される。ステップＳ４において、未処理ブロックがあると判定された場合、その未処理ブロックのいずれかが注目ブロックとされ、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５５】
また、ステップＳ４において、未処理ブロックがないと判定された場合、即ち、符号化画像メモリ４３に、１フレーム分の符号化ブロックが記憶された場合、その１フレーム分の符号化ブロックが、符号化画像メモリ４３から読み出される。そして、ステップＳ５に進み、ブロック分割部４１において、次に処理すべきフレームがあるかどうかが判定される。ステップＳ５において、次に処理すべきフレームがあると判定された場合、ステップＳ１に戻り、そのフレームを対象に、以下、同様の処理が行われる。
【００５６】
一方、ステップＳ５において、次に処理すべきフレームがないと判定された場合、埋め込み符号化処理を終了する。
【００５７】
以上のように、画像を構成する一部の画素を選択し、その選択画素について、付加情報との排他的論理和を演算することにより、画素に、付加情報を埋め込むことで、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に付加情報を埋め込むことができる。
【００５８】
即ち、付加情報が埋め込まれた選択画素（図７（Ａ）において、斜線を付した○印および●印で示す画素）の画素値は、画像の相関性、即ち、ここでは、付加情報が埋め込まれなかった画素（図７（Ａ）において、○印で示す画素）との間の相関を利用することにより、後述するように、オーバヘッドなしで、元の画素と付加情報に復号（戻す）ことができる。従って、その結果得られる復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【００５９】
次に、図８は、図５の埋め込み符号化器３が出力する符号化データを、画像の相関性を利用して元の画像と付加情報に復号する図１の埋め込み復号器６の構成例を示している。
【００６０】
符号化データ、即ち、付加情報が埋め込まれた画像（以下、適宜、埋め込み画像という）は、フレームメモリ５１に供給されるようになされており、フレームメモリ５１は、埋め込み画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ５１も、図４のフレームメモリ３１と同様に構成され、バンク切り替えを行うことにより、埋め込み画像が、動画であっても、そのリアルタイム処理が可能となっている。
【００６１】
出力Ｉ／Ｆ５２は、フレームメモリ５１から、CPU５３による、後述する埋め込み復号処理の結果得られる画像（復号画像）を読み出して出力するようになされている。
【００６２】
CPU５３は、プログラムメモリ５４に記憶されたプログラムを実行することで、埋め込み復号処理を行うようになされている。即ち、CPU５３は、フレームメモリ５１に記憶された埋め込み画像を、画像の相関性を利用して元の画像と付加情報に復号するようになされている。
【００６３】
プログラムメモリ５４は、例えば、図４のプログラムメモリ３３と同様に構成され、CPU５３に、埋め込み復号化処理を行わせるためのコンピュータプログラムを記憶している。
【００６４】
次に、図９は、図８のCPU５３が、プログラムメモリ５４に記憶されたプログラムを実行することで実現される埋め込み復号器６の機能的構成例を示している。
【００６５】
符号化データとしての埋め込み画像は、例えば、１フレーム単位で、ブロック分割部６１に供給されるようになっている。ブロック分割部６１は、埋め込み画像を、図５のブロック分割部４１における場合と同様に、所定の大きさのブロック、即ち、符号化ブロックに分割し、排他的論理和演算部６２に順次供給するようになっている。
【００６６】
排他的論理和演算部６２は、ブロック分割部６１からの符号化ブロックを構成する画素のうち、図５の排他的論理和演算部４２が選択するものと同一の位置にある画素を、選択画素として選択し、その選択画素について、EXORデータ用レジスタ６３から供給されるEXORデータとの排他的論理和を演算し、差分値計算部６４に供給するようになっている。さらに、排他的論理和演算部６２は、最適EXORデータ保存用レジスタ６９に記憶された最適EXORデータと、選択画素の画素値との排他的論理和を演算し、これにより、符号化ブロックを元のブロックに復号して、復号画像メモリ７１に供給するようになっている。
【００６７】
EXORデータ用レジスタ６３は、画素値との排他的論理和を演算するデータであるEXORデータを設定し、排他的論理和演算部６２およびスイッチ６５に供給するようになっている。即ち、画素値がth_rビットで表される場合、その画素値との、ビットごとの排他的論理和は、th_rビットで表されるデータと演算することが可能であり、この場合、EXORデータ用レジスタ６３は、th_rビットで表すことが可能なデータ、即ち、０乃至２th_r−１の範囲の値を、順次、EXORデータとして設定し、排他的論理和演算部６２およびスイッチ６５に供給する。
【００６８】
差分値計算部６４は、排他的論理和演算部６４から供給される、選択画素について、EXORデータとの排他的論理和が演算された符号化ブロックを受信し、その符号化ブロックについて、選択画素と、それに隣接する画素との相関値、即ち、ここでは、例えば、それぞれの画素値の差分絶対値和を計算する。この相関値としての画素値の差分絶対値和は、比較器６８に供給されるようになっている。
【００６９】
スイッチ６５は、比較器６８の制御にしたがって、EXORデータ用レジスタ６３が出力するEXORデータを、最適EXORデータ保存用レジスタ６９に供給するようになっている。スイッチ６６は、比較器６８の制御にしたがって、差分値計算部６４が出力する相関値を、最小差分値保存用レジスタ６７に供給するようになっている。
【００７０】
最小差分値保存用レジスタ６７は、スイッチ６６を介して、差分値計算部６４から供給される相関値を、いま処理の対象となっている符号化ブロック（以下、適宜、注目符号化ブロックという）についての最大の相関値として記憶するようになっている。なお、本実施の形態では、上述したように、符号化ブロックについての選択画素と、それに隣接する画素との間の相関値は、それぞれの画素値の差分絶対値和を採用していることから、最大の相関値とは、画素値の差分絶対値和の最小値を意味することとなる。
【００７１】
最小差分値保存用レジスタ６７が記憶する最大の相関値としての、画素値の差分絶対値和の最小値（最小差分絶対値和）は、比較器６８に供給されるようになっており、比較器６８は、差分値計算部６４が出力する差分絶対値和と、最小差分値保存用レジスタ６７が記憶している最小差分絶対値和とを比較し、その比較結果に基づいて、スイッチ６５および６６を制御するようになっている。
【００７２】
最適EXORデータ保存用レジスタ６９は、スイッチ６５を介して、EXORデータ用レジスタ６３から供給されるEXORデータを、符号化ブロックの選択画素の画素値との排他的論理和を演算する最適なビット列である最適EXORデータとして記憶し、必要に応じて、排他的論理和演算部６２および復号付加情報メモリ７０に供給するようになっている。
【００７３】
復号付加情報メモリ７０は、最適EXORデータ保存用レジスタ６９から供給される最適EXORデータを、符号化ブロックに埋め込まれた付加情報の復号結果として一時記憶して出力するようになっている。復号画像メモリ７１は、排他的論理和演算部６２が出力する、選択画素について、最適EXORデータとの排他的論理和が演算された符号化ブロックを、元のブロックの復号結果として一時記憶し、１フレーム分のブロックの復号結果を記憶すると、その１フレーム分の復号画像を出力するようになっている。
【００７４】
次に、図１０のフローチャートを参照して、図９の埋め込み復号器６において行われる埋め込み復号処理について説明する。
【００７５】
上述したように、ブロック分割部６１には、埋め込み画像が、１フレーム単位で供給されるようになっており、ブロック分割部６１は、１フレームの埋め込み画像を受信すると、ステップＳ１１において、その１フレームの埋め込み画像を、図５のブロック分割部４１と同様に、所定の大きさのブロックに分割する。即ち、ブロック分割部６１は、１フレームの埋め込み画像を、図１１（Ａ）に示すように、横×縦が４×４画素の符号化ブロックに分割する。ブロック分割部６１において得られた符号化ブロックは、例えば、ラインスキャン順に、順次、排他的論理和演算部６２に供給される。
【００７６】
排他的論理和演算部６２は、ブロック分割部６１から符号化ブロックを受信すると、ステップＳ１２において、その符号化ブロックを注目符号化ブロックとして、その注目符号化ブロックを構成する一部の画素を、選択画素として選択する。即ち、排他的論理和演算部６２は、注目符号化ブロックを構成する画素から、図１１（Ａ）に斜線を付した○印および●印で示す、図５の排他的論理和演算部４２が選択画素として選択する画素と同一の画素を、選択画素として選択する。さらに、排他的論理和演算部６２は、選択画素から、図５の排他的論理和演算部４２と同様に、順ビット列画素と逆ビット列画素を選択する。
【００７７】
即ち、符号化ブロックの選択画素のうち、図５の排他的論理和演算部４２において順ビット列画素とされた画素は、その画素値と、そこに埋め込まれた付加情報に対応するビット列との排他的論理和を演算することで、元の画素に復号することができる。同様に、図５の排他的論理和演算部４２において逆ビット列画素とされた画素は、その画素値と、そこに埋め込まれた付加情報に対応するビット列と逆順のビット列との排他的論理和を演算することで、元の画素に復号することができる。
【００７８】
そこで、排他的論理和演算部６２は、図５の排他的論理和演算部４２における場合と同様に、選択画素から、順ビット列画素と逆ビット列画素を選択するようになっている。従って、排他的論理和演算部６２では、図７（Ａ）で説明した場合と同様に、図１１（Ａ）において斜線を付した○印で示す画素が、順ビット列画素とされ、また、●印で示す画素が、逆ビット列画素とされる。
【００７９】
その後、ステップＳ１３に進み、EXORデータ用レジスタ６３は、EXORデータnを０に初期化し、また、最小差分値保存用レジスタ６７は、その記憶値（最小差分絶対値和）を、所定の大きな値（例えば、記憶可能な最大値）に初期化する。さらに、EXORデータ用レジスタ６３は、EXORデータnを、排他的論理和演算部６２に供給するとともに、通常はオフ状態となっているスイッチ６５に出力し、ステップＳ１４に進む。
【００８０】
ステップＳ１４では、排他的論理和演算部６２において、注目符号化ブロックの順ビット列画素または逆ビット列画素それぞれについて、EXORデータ用レジスタ６３からのEXORデータnとの排他的論理和が演算され、その演算結果を、選択画素の画素値とする注目符号化ブロックが、差分値計算部６４に供給される。
【００８１】
即ち、例えば、いま、画素値が８ビットで表されるとし、ある順ビット列画素の画素値が、00010100Bであり、また、ある逆ビット列画素の画素値が、00000011Bであったとする。さらに、EXORデータnが00101001B（＝４１）であるとすると、画素値が00010100Bである順ビット列画素については、図１１（Ｂ）に示すように、その画素値00010100Bと、EXORデータnを表すビット列00101001Bとの排他的論理和が演算され、その画素値は、00111101Bとされる。また、画素値が00000011Bである逆ビット列画素については、図１１（Ｃ）に示すように、その画素値00000011Bと、EXORデータnを表すビット列00101001Bの逆順のビット列10010100Bとの排他的論理和が演算され、その画素値は、10010111Bとされる。
【００８２】
差分値計算部６４は、排他的論理和演算部６２から、選択画素について、EXORデータnとの排他的論理和が演算された注目符号化ブロックを受信すると、ステップＳ１５において、注目符号化ブロックについての相関値（注目符号化ブロックを構成する画素どうしの相関値）として、選択画素とそれに隣接する画素との相関値の総和、即ち、ここでは、例えば、選択画素とそれに隣接する画素との画素値の差分絶対値和を計算する。
【００８３】
具体的には、図１２に示すように、符号化ブロックにおいては、●および斜線を付した○印で示す選択画素は、１以上の、選択画素でない画素、即ち、埋め込み符号化処理において、付加情報との排他的論理和が演算されていない画素（以下、適宜、非選択画素という）に隣接している。差分値計算部６４では、符号化ブロックにおいて、選択画素と、その選択画素に隣接している非選択画素との画素値どうしの差分の絶対値（差分絶対値）が計算され、その総和（差分絶対値和）が、符号化ブロックについての相関値として求められる。
【００８４】
なお、選択画素に複数の非選択画素が隣接している場合には、例えば、図１２において実線の矢印で示すように、その複数の非選択画素それぞれについて、選択画素との差分絶対値が計算される。
【００８５】
また、上述の場合においては、符号化ブロック内の画素のみを用いて相関値を求めるようにしたが、相関値は、符号化ブロック外の画素をも用いて求めるようにすることが可能である。
【００８６】
即ち、例えば、いま、埋め込み画像を構成する符号化ブロックが、ラインスキャン順に、注目符号化ブロックとして処理されていくとすると、ある注目符号化ブロックを処理するときには、その左、上、または左上に隣接する符号化ブロックについての埋め込み復号は、既に終了し、元の画素値に戻されている。また、注目符号化ブロックの、左や上に隣接する画素、さらには、その右や下に隣接する画素の中には、付加情報との排他的論理和が演算されていない画素（非選択画素）がある。
【００８７】
注目符号化ブロック外の画素であっても、画素値が、以上のように元の画素値になっている画素（図１２において点線の○印で示す）は、図１２において点線の矢印で示すように、注目符号化ブロック内の選択画素との差分絶対値を計算するのに用いるようにすることができる。
【００８８】
さらに、上述の場合には、符号化ブロックについての相関値を求めるのに、選択画素と、その選択画素に隣接している非選択画素との画素値どうしの差分絶対値を用いるようにしたが、その他、例えば、選択画素に隣接していなくても、その選択画素の周辺にある非選択画素との画素値どうしの差分絶対値をも用いるようにすることが可能である。
【００８９】
また、選択画素との差分絶対値は、その選択画素に対して空間的に近接する画素の他、時間的に近接する画素を対象にして求めることも可能である。
【００９０】
以上のようにして、差分値計算部６４において求められた注目符号化ブロックについての相関値としての画素値の差分絶対値和は、比較器６８に供給されるとともに、通常はオフ状態となっているスイッチ６６に供給される。
【００９１】
比較器６８は、差分値計算部６４から、注目符号化ブロックについての差分絶対値和を受信すると、ステップＳ１５において、その差分絶対値和が、最小差分値保存用レジスタ６７の記憶値より小さいかどうかを判定する。
【００９２】
ステップＳ１６において、差分計算部６４からの差分絶対値和が、最小差分値保存用レジスタ６７の記憶値より小さいと判定された場合、即ち、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックについての相関値の方が、その注目符号化ブロックについて、いままでに得られた相関値よりも大きく、従って、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックが、元のブロックとなっていることの確からしさが大きい場合、ステップＳ１７に進み、比較器６８は、スイッチ６５および６６を一時、オフ状態からオン状態にして、ステップＳ１８に進む。
【００９３】
これにより、ステップＳ１７では、EXORデータ用レジスタ６３が出力するEXORデータnが、スイッチ６５を介して、最適EXORデータ保存用レジスタ６９に供給され、最適EXORデータ保存用レジスタ６９では、そこに最適EXORデータn_minとして既に記憶されている記憶値に替えて、EXORデータ用レジスタ６３からのEXORデータnが、新たな最適EXORデータ（注目符号化ブロックを復号するための、選択画素との排他的論理和を演算する最も適切なビット列）n_minとして記憶される。
【００９４】
さらに、ステップＳ１７では、差分値計算部６４が出力する差分絶対値和が、スイッチ６６を介して、最小差分値保存用レジスタ６７に供給され、最小差分値保存用レジスタ６７では、そこに最小差分絶対値和として既に記憶されている記憶値に替えて、差分値計算部６４が出力する差分絶対値和が、新たな最小差分絶対値和（注目符号化ブロックについての最大の相関値）として記憶される。
【００９５】
一方、ステップＳ１６において、差分計算部６４からの差分絶対値和が、最小差分値保存用レジスタ６７の記憶値より小さくないと判定された場合、即ち、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックについての相関値が、その注目符号化ブロックについて、いままでに得られた最大の相関値以下で、従って、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックが、元のブロックとなっていることの確からしさが大きくない場合、ステップＳ１７をスキップして、ステップＳ１８に進み、EXORデータ用レジスタ６３において、EXORデータnが１だけインクリメントされる。
【００９６】
そして、ステップＳ１９に進み、EXORデータ用レジスタ６３において、EXORデータnが、画素値に割り当てられているビット数で表すことのできる最大の数２th_r−１以下であるかどうかが判定される。ステップＳ１９において、EXORデータnが、２th_r−１以下であると判定された場合、ステップＳ１４に戻り、以下、同様の処理が繰り返される。
【００９７】
また、ステップＳ１９において、EXORデータnが、２th_r−１以下でないと判定された場合、即ち、EXORデータnを、０乃至２th_r−１の範囲の各値として、注目符号化ブロックについての相関値（差分絶対値和）の計算を行った場合、ステップＳ２０に進み、注目符号化ブロックの選択画素について、最適EXORデータn_minとの排他的論理和が演算されることにより、その注目符号化ブロックが元のブロックに復号されるとともに、そこに埋め込まれていた付加情報が復号される。
【００９８】
即ち、最適EXORデータ保存用レジスタ６９は、そこに記憶されている最適EXORデータn_minを、排他的論理和演算部６２に供給し、排他的論理和演算部６２では、注目符号化ブロックの順ビット列画素または逆ビット列画素それぞれについて、ステップＳ１４における場合と同様に、最適EXORデータn_minとの排他的論理和が演算され、これにより、元のブロックが復号される。この復号されたブロックは、復号画像メモリ７１に供給されて、対応するアドレスに記憶される。
【００９９】
さらに、最適EXORデータ保存用レジスタ６９は、そこに記憶されている最適EXORデータn_minを、注目符号化ブロックに埋め込まれていた付加情報の復号結果として、復号付加情報メモリ７０に供給して記憶させる。
【０１００】
その後、ステップＳ２１に進み、排他的論理和演算部６２において、１フレームの埋め込み画像を分割して得られた符号化ブロックのうち、まだ、注目符号化ブロックとして処理していないブロック（このブロックも、以下、適宜、未処理ブロックという）があるかどうかが判定される。ステップＳ２１において、未処理ブロックがあると判定された場合、その未処理ブロックのいずれか（例えば、ラインスキャン順で、次に注目符号化ブロックとすべきもの）が注目符号化ブロックとされ、ステップＳ１２に戻り、以下、同様の処理が繰り返される。
【０１０１】
また、ステップＳ２１において、未処理ブロックがないと判定された場合、即ち、１フレーム分のブロックの復号結果が、復号画像メモリ７１に記憶されるとともに、その１フレームに埋め込まれでた付加情報の復号結果が、復号付加情報メモリ７０に記憶された場合、その１フレームの復号画像が、復号画像メモリ７１から読み出されるとともに、付加情報の復号結果が、復号付加情報メモリ７０から読み出される。
【０１０２】
そして、ステップＳ２２に進み、ブロック分割部６１において、次に処理すべき埋め込み画像のフレームがあるかどうかが判定される。ステップＳ２２において、次に処理すべき埋め込み画像のフレームがあると判定された場合、ステップＳ１１に戻り、そのフレームを対象に、以下、同様の処理が行われる。
【０１０３】
一方、ステップＳ２２において、次に処理すべき埋め込み画像のフレームがないと判定された場合、埋め込み復号処理を終了する。
【０１０４】
以上のように、付加情報が埋め込まれた画像である符号化データを、画像の相関性を利用して、元の画像と付加情報に復号するようにしたので、その復号のためのオーバヘッドがなくても、符号化データを、元の画像と付加情報に復号することができる。従って、その復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【０１０５】
ここで、画素値が８ビットで表される自然画像を、４×４画素のブロックに分割して、埋め込み符号化処理を行い（従って、この場合、１ブロックにつき、３ビットの付加情報を埋め込むことができるから、付加情報の埋め込みレートは、３ビット／１６ピクセルとなる）、その結果得られる埋め込み画像に対して、埋め込み復号処理を施すシミュレーションを行ったところ、９８．７４％の画素値が正常に復号された。
【０１０６】
また、同様の自然画像を、２×２画素のブロックに分割して、埋め込み符号化処理を行い（この場合の、付加情報の埋め込みレートは、３ビット／４ピクセルで、上述の場合の４倍）、その結果得られる埋め込み画像に対して、埋め込み復号処理を施すシミュレーションを行ったところ、７９．１２％の画素値が正常に復号された。
【０１０７】
従って、ブロックを構成する画素数を多くすれば、精度良く復号することができるが、１フレーム当たりに、埋め込むことのできる付加情報の量、即ち、埋め込みレートは減少する。一方、ブロックを構成する画素数を少なくすれば、埋め込みレートは増加するが、復号の精度が劣化する。以上から、ブロックを構成する画素数は、埋め込みレートと、復号の精度とをバランスさせるように決めるのが望ましい。
【０１０８】
なお、上述の場合には、埋め込み符号化処理において、図７で説明したように、逆ビット列画素については、その画素値と、付加情報を表すビット列の逆順のビット列との排他的論理和を演算するようにしたが、その他、逆ビット列画素については、これと等価な処理として、その画素値を表すビット列の逆順のビット列と、付加情報との排他的論理和を演算するようにしても良い。
【０１０９】
即ち、例えば、いま、画素値が８ビットで表されるとし、ある順ビット列画素の画素値が、00111101Bであり、また、ある逆ビット列画素の画素値が、10010111Bであったとする。さらに、付加情報が00101001B（＝４１）であるとすると、画素値が00111101Bの順ビット列画素については、図７（Ｂ）と同一の図１３（Ａ）に示すように、その画素値00111101Bと、付加情報を表すビット列そのものである00101001Bとの、ビットごとの排他的論理和を演算し、その画素値を00010100Bとすることができる。一方、画素値が10010111Bの逆ビット列画素については、図１３（Ｂ）に示すように、その画素値11101001Bをビット逆順に並べた10010111Bと、付加情報を表すビット列00101001Bとの、ビットごとの排他的論理和を演算し、その画素値を10111110Bとすることができる。
【０１１０】
但し、この場合、埋め込み復号処理では、逆ビット列画素については、その画素値と、EXORデータとの排他的論理和を演算し、その演算結果を表すビット列を逆順に並べたビット列を画素値として、相関を演算する必要がある。
【０１１１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての埋め込み符号化器３や埋め込み復号器６に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１１２】
そこで、図１４を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１１３】
プログラムは、図１４（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【０１１４】
あるいはまた、プログラムは、図１４（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１１５】
さらに、プログラムは、図１４（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【０１１６】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１１７】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１１８】
なお、本実施の形態においては、埋め込み符号化処理および埋め込み復号処理において、画像を、４×４画素のブロックに分割するようにしたが、その他の画素数で構成されるブロックに分割することも可能である。さらに、ブロックの形状は、長方形に限定されるものではない。
【０１１９】
また、本実施の形態では、１フレームを構成するブロックすべてに対して、付加情報を埋め込むようにしたが、１フレームを構成する幾つかのブロックにのみ、付加情報を埋め込むようにすることも可能である。なお、この場合、付加情報を埋め込まないブロックを構成する画素は、付加情報が埋め込まれたブロックを復号する際に、相関値を演算するのに用いることが可能である。
【０１２０】
さらに、本実施の形態では、１フレームをブロックに分割して付加情報を埋め込むようにしたが、各フレームを、ブロックに分割せずに、即ち、各フレームをブロックとして、付加情報を埋め込むことや、複数フレームを１ブロックとして、付加情報を埋め込むことも可能である。
【０１２１】
また、画素値が、例えば、ＹＵＶやＲＧＢなどの複数成分で表現される場合には、そのすべての成分に対して、同一の付加情報との排他的論理和を演算するようにすることもできるし、各成分それぞれに対して、異なる付加情報との排他的論理和を演算するようにすることもできる。
【０１２２】
さらに、本実施の形態では、ブロックを構成する画素から、五の目格子状に、画素を選択し、その選択画素に、付加情報を埋め込むようにしたが、付加情報を埋め込む画素の選択パターンは、これに限定されるものではない。また、本実施の形態では、ブロックを構成する１／２の画素を選択し、その選択画素の画素値と、付加情報との排他的論理和を演算するようにしたが、このような排他的論理和を演算する対象とする画素も、ブロックを構成する１／２の画素に限定されるものではない。但し、付加情報を埋め込んだ画素の復号にあたっては、上述したように、付加情報が埋め込まれていない画素を用いて相関値を求めるのが望ましく、また、画素どうしの相関は、基本的に、それらの間の空間的または時間的距離が離れるほど小さくなっていく。従って、正確な復号を行う観点からは、付加情報を埋め込む画素として選択する画素は、空間的または時間的に、いわゆる疎らになるように選択するのが望ましい。
【０１２３】
また、本実施の形態では、選択画素の斜め方向について、順ビット列画素と逆ビット列画素とが交互に並ぶように、順ビット列画素および逆ビット列画素を設定するようにしたが、順ビット列画素および逆ビット列画素は、その他のパターンにしたがって設定することも可能である。
【０１２４】
さらに、本実施の形態では、選択画素のうちの一部を順ビット列画素とするとともに、残りを逆ビット列画素として、それぞれについて、付加情報との排他的論理和を演算するようにしたが、選択画素のすべてを、順ビット列画素または逆ビット列画素として、付加情報との排他的論理和を演算するようにすることも可能である。
【０１２５】
また、本実施の形態では、画素について、付加情報との排他的論理和を演算することにより、付加情報を埋め込むようにしたが、画素に対して施す論理演算は、排他的論理和に限定されるものではない。但し、画素に対して施す論理演算は、排他的論理和のように、その演算結果に、同一の演算を施すと、元の値に戻るようなものが望ましい。
【０１２６】
さらに、付加情報として用いる情報は、特に限定されるものではなく、例えば、画像や、音声、テキスト、コンピュータプログラム、その他のデータを付加情報として用いることが可能である。なお、画像データベース１の画像の一部を付加情報とし、残りを、フレームメモリ３１への供給対象とすれば、その残りの部分に、付加情報とされた画像の一部分が埋め込まれるから、画像の圧縮が実現されることになる。
【０１２７】
【発明の効果】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体によれば、画像を構成する一部の画素が選択され、その選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報が埋め込まれる。従って、画像の相関性を利用することにより、オーバヘッドなしで、元の画像と情報に復号することが可能なデータを得ることができる。
【０１２８】
請求項５に記載の画像処理装置および請求項１０に記載の画像処理方法、並びに請求項１１に記載の媒体によれば、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定され、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。従って、情報埋め込み画像を、画像の相関性を利用することにより、元の画像と情報に復号することが可能となる。
【０１２９】
請求項１２に記載の画像処理装置によれば、画像を構成する一部の画素が選択され、その選択された画素について、情報との排他的論理和を演算することにより、画素に、情報が埋め込まれ、情報埋め込み画像が出力される。一方、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定される。そして、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。従って、情報埋め込み画像を、画像の相関性を利用することにより、オーバヘッドなしで、元
の画像と情報に復号することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】符号化対象の画像を示す図である。
【図３】相関性を利用した符号化／復号を説明するための図である。
【図４】図１の埋め込み符号化器３のハードウェア構成例を示すブロック図である。
【図５】図４の埋め込み符号化器３の機能的構成例を示すブロック図である。
【図６】図５の埋め込み符号化器３による埋め込み符号化処理を説明するためのフローチャートである。
【図７】埋め込み符号化処理を説明するための図である。
【図８】図１の埋め込み復号器６のハードウェア構成例を示すブロック図である。
【図９】図８の埋め込み復号器６の機能的構成例を示すブロック図である。
【図１０】図９の埋め込み復号器６による埋め込み復号処理を説明するためのフローチャートである。
【図１１】図１０のステップＳ１１，Ｓ１２、およびＳ１４の処理を説明するための図である。
【図１２】図１０のステップＳ１５の処理を説明するための図である。
【図１３】図５の排他的論理和演算部４２における排他的論理和の演算方法を説明するための図である。
【図１４】本発明を適用した媒体を説明するための図である。
【符号の説明】
１ 画像データベース， ２ 付加情報データベース， ３ 埋め込み符号化器， ４ 記録媒体， ５ 伝送媒体， ６ 埋め込み復号器， １０ 符号化装置， ２０ 復号装置， ３１ フレームメモリ， ３２ ＣＰＵ， ３３ プログラムメモリ， ３４ 出力Ｉ／Ｆ， ４１ ブロック分割部， ４２ 排他的論理和演算部， ４３ 符号化画像メモリ， ５１ フレームメモリ， ５２ 出力Ｉ／Ｆ， ５３ ＣＰＵ， ５４ プログラムメモリ， ６１ ブロック分割部， ６２ 排他的論理和演算部， ６３ EXORデータ用レジスタ， ６４ 差分値計算部， ６５，６６ スイッチ， ６７ 最小差分値保存用レジスタ， ６８ 比較器， ６９ 最適EXORデータ保存用レジスタ， ７０ 復号付加情報メモリ， ７１ 復号画像メモリ， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １２３ コンピュータ， １３１ ネットワーク
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに媒体に関し、再生画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにする画像処理装置および画像処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
信号に対して、そのデータ量を増加させることなく、情報を埋め込む手法としては、例えば、ディジタルオーディオデータの最下位ビットや、下位２ビットなどを、埋め込む情報に変換するものなどがある。この手法は、ディジタルオーディオデータの下位ビットが、その音質にあまり影響を与えないことを利用し、その下位ビットを、単に、埋め込む情報に置き換えるものであり、従って、再生時には、情報が埋め込まれたディジタルオーディオデータは、その下位ビットを元に戻さずに、そのまま出力される。即ち、情報が埋め込まれた下位ビットを、元に戻すのは困難であり、また、下位ビットは、音質に、あまり影響を与えないことから、ディジタルオーディオデータは、情報が埋め込まれた状態で出力される。
【０００３】
【発明が解決しようとする課題】
しかしながら、以上のような手法では、本来の信号と異なる信号が出力される。従って、信号がオーディオデータである場合には、その音質に、また、信号がビデオデータである場合には、その画質に、少なからず影響がある。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に情報を埋め込むことができるようにするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、画像を構成する一部の画素を選択する選択手段と、選択手段によって選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報を埋め込む演算手段とを含むことを特徴とする。
【０００７】
画像を所定のブロックに分割する分割手段をさらに設けることができ、この場合、選択手段には、ブロックを構成する一部の画素を選択させることができる。
【０００８】
請求項３に記載の画像処理方法は、画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報を埋め込む演算ステップとを含むことを特徴とする。
【０００９】
請求項４に記載の媒体がコンピュータに実行させるプログラムは、画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報を埋め込む演算ステップとを含むことを特徴とする。
【００１０】
請求項５に記載の画像処理装置は、情報埋め込み画像を構成する一部の画素を選択する選択手段と、選択手段によって選択された画素について、所定のデータとの排他的論理和を演算する演算手段と、排他的論理和が演算された画素と、選択手段によって選択された画素以外の画素との間の相関を演算する相関計算手段と、相関に基づいて、選択手段によって選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定手段と、決定手段によって決定されたデータに基づいて、選択手段によって選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号手段とを含むことを特徴とする。
【００１１】
演算手段には、選択手段によって選択された画素のうちの一部の画素について、所定のデータを表すビット列との排他的論理和を演算させ、残りの画素について、その所定のデータを表すビット列と逆順のビット列との排他的論理和を演算させることができる。
【００１２】
情報埋め込み画像を所定のブロックに分割する分割手段をさらに設けることができ、この場合、選択手段には、ブロックを構成する一部の画素を選択させることができる。
【００１３】
相関計算手段には、排他的論理和が演算された画素について、その画素の周辺にある画素であって、選択手段によって選択された画素以外の画素との間の相関を演算させることができる。
【００１４】
また、相関演算手段には、排他的論理和が演算された画素について、選択手段によって選択された画素以外の画素との間の相関の他、既に復号された画素との間の相関も演算させることができる。
【００１５】
請求項１０に記載の画像処理方法は、情報埋め込み画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素について、所定のデータとの排他的論理和を演算する演算ステップと、排他的論理和が演算された画素と、選択ステップで選択された画素以外の画素との間の相関を演算する相関計算ステップと、相関に基づいて、選択ステップで選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定ステップと、決定ステップで決定されたデータに基づいて、選択ステップで選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号ステップとを含むことを特徴とする。
【００１６】
請求項１１に記載の媒体がコンピュータに実行させるプログラムは、情報埋め込み画像を構成する一部の画素を選択する選択ステップと、選択ステップで選択された画素について、所定のデータとの排他的論理和を演算する演算ステップと、排他的論理和が演算された画素と、選択ステップで選択された画素以外の画素との間の相関を演算する相関計算ステップと、相関に基づいて、選択ステップで選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定ステップと、決定ステップで決定されたデータに基づいて、選択ステップで選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号ステップとを含むことを特徴とする。
【００１７】
請求項１２に記載の画像処理装置は、画像を構成する一部の画素を選択する第１の選択手段と、第１の選択手段によって選択された画素について、情報との排他的論理和を演算することにより、画素に、情報を埋め込み、情報埋め込み画像を出力する第１の演算手段と、情報埋め込み画像を構成する一部の画素を選択する第２の選択手段と、第２の選択手段によって選択された画素について、所定のデータとの排他的論理和を演算する第２の演算手段と、排他的論理和が演算された画素と、第２の選択手段によって選択された画素以外の画素との間の相関を演算する相関計算手段と、相関に基づいて、第２の選択手段によって選択された画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定手段と、決定手段によって決定されたデータに基づいて、第２の選択手段によって選択された画素を復号するとともに、その画素に埋め込まれた情報を復号する復号手段とを含むことを特徴とする。
【００１８】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体においては、画像を構成する一部の画素が選択され、その選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報が埋め込まれる。
【００１９】
請求項５に記載の画像処理装置および請求項１０に記載の画像処理方法、並びに請求項１１に記載の媒体においては、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定され、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。
【００２０】
請求項１２に記載の画像処理装置においては、画像を構成する一部の画素が選択され、その選択された画素について、情報との排他的論理和を演算することにより、画素に、情報が埋め込まれ、情報埋め込み画像が出力される。一方、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定される。そして、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。
【００２１】
【発明の実施の形態】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２２】
この画像伝送システムは、符号化装置１０および復号装置２０で構成されており、符号化装置１０は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、復号装置２０は、その符号化データを、元の画像に復号するようになされている。
【００２３】
即ち、画像データベース１は、符号化すべき画像（例えば、ディジタル画像）を記憶している。そして、画像データベース１からは、そこに記憶されている画像が読み出され、埋め込み符号化器３に供給される。
【００２４】
また、付加情報データベース２は、符号化対象の画像に埋め込むべき情報としての付加情報（ディジタルデータ）を記憶している。そして、付加情報データベース２からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器３に供給される。
【００２５】
埋め込み符号化器３では、画像データベース１からの画像、および付加情報データベース２からの付加情報が受信される。さらに、埋め込み符号化器３は、画像データベース１からの画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報データベース２からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器３は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器３が出力する符号化データは、例えば、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体４に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体５を介して伝送され、復号装置２０に提供される。
【００２６】
復号装置２０は、埋め込み復号器６で構成され、そこでは、記録媒体４または伝送媒体５を介して提供される符号化データが受信される。さらに、埋め込み復号器６は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタに供給されて表示される。また、復号された付加情報は、例えば、所定の処理を行うのに用いられる。
【００２７】
次に、図１の埋め込み符号化器３における符号化、および埋め込み復号器６における復号の原理について説明する。
【００２８】
一般に、情報と呼ばれるものは、エネルギ（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【００２９】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の情報に復号することができる。
【００３０】
情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性があり、情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。
【００３１】
即ち、例えば、いま、図２に示すようなＨラインでなる画像があった場合に、その上から１行目のライン（第１ライン）と、他のラインとの相関は、一般に、図３（Ａ）に示すように、第１ラインとの距離が近いライン（図２における画面の上の行のライン）ほど大きくなり、第１ラインとの距離が遠いライン（図２における画面の下の行のライン）ほど小さくなる（第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある）。
【００３２】
そこで、いま、図２の画像において、第１ラインから近い第Ｍラインと、第１ラインから遠い第Ｎラインとを入れ替え（１＜Ｍ＜Ｎ≦Ｈ）、その入れ替え後の画像について、第１ラインと、他のラインとの相関を計算すると、それは、例えば、図３（Ｂ）に示すようになる。
【００３３】
即ち、入れ替え後の画像では、第１ラインから近い第Ｍライン（入れ替え前の第Ｎライン）との相関が小さくなり、第１ラインから遠い第Ｎライン（入れ替え前の第Ｍライン）との相関が大きくなる。
【００３４】
従って、図３（Ｂ）では、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りが破壊されている。しかしながら、画像については、一般に、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りを利用することにより、破壊された相関の偏りを、元に戻すことができる。即ち、図３（Ｂ）において、第１ラインから近い第Ｍラインとの相関が小さく、第１ラインから遠い第Ｎラインとの相関が大きいのは、画像が有する本来の相関の偏りからすれば、明らかに不自然であり（おかしく）、第Ｍラインと第Ｎラインとは入れ替えるべきである。そして、図３（Ｂ）における第Ｍラインと第Ｎラインとを入れ替えることで、図３（Ａ）に示すような相関、即ち、元の画像を復号することができる。
【００３５】
ここで、図２および図３で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
【００３６】
次に、図４は、以上のように、画像の相関性を利用して元に戻すことができるように、画像に付加情報を埋め込む埋め込み図１の符号化を行う埋め込み符号化器３の構成例を示している。
【００３７】
画像データベース１から供給される画像は、フレームメモリ３１に供給されるようになされており、フレームメモリ３１は、画像データベース１からの画像を、例えば、フレーム単位で一時記憶するようになされている。
【００３８】
CPU(Central Processing Unit)３２は、プログラムメモリ３３に記憶されたプログラムを実行することで、フレームメモリ３１に記憶された画像を対象に、後述する埋め込み符号化処理を行うようになされている。即ち、CPU３２は、付加情報データベース２から供給される付加情報を、フレームメモリ３１に記憶された画像に埋め込むようになされている。
【００３９】
プログラムメモリ３３は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)などで構成され、CPU３２に、埋め込み符号化処理を行わせるためのコンピュータプログラムを記憶している。
【００４０】
出力I/F（Interface）３４は、フレームメモリ３１から、付加情報の埋め込まれた画像を読み出し、符号化データとして出力するようになされている。
【００４１】
なお、フレームメモリ３１は、複数のフレームを記憶することのできるように、複数バンクで構成されており、バンク切り替えを行うことで、フレームメモリ３１では、画像データベース１から供給される画像の記憶、CPU３２による埋め込み符号化処理の対象となっている画像の記憶、および埋め込み符号化処理後の画像（符号化データ）の出力を、同時に行うことができるようになされている。これにより、画像データベース１から供給される画像が、動画であっても、符号化データのリアルタイム出力を行うことができるようになされている。
【００４２】
次に、図５は、図４のCPU３２が、プログラムメモリ３３に記憶されたプログラムを実行することで実現される埋め込み符号化器３の機能的構成例を示している。
【００４３】
ブロック分割部４１には、符号化対象としての画像が、例えば、１フレーム単位で供給されるようになっており、ブロック分割部４１は、その１フレーム単位の画像を、所定の大きさのブロックに分割して、排他的論理和演算部４２に供給するようになっている。
【００４４】
排他的論理和演算部４２には、ブロック分割部４１からブロックが供給される他、画像に埋め込む付加情報が供給されるようになっており、排他的論理和演算部４２は、ブロック分割部４１からのブロックを構成する一部の画素を選択し、その画素（以下、適宜、選択画素という）について、付加情報との排他的論理和を演算することにより、選択画素に、付加情報を埋め込むようになっている。選択画素に付加情報が埋め込まれたブロックは、符号化ブロックとして符号化画像メモリ４３に供給されるようになっている。
【００４５】
符号化画像メモリ４３は、排他的論理和演算部４２から供給される符号化ブロックを順次記憶し、１フレーム分の符号化ブロックを記憶すると、その１フレーム分の符号化ブロックを、符号化データとして出力するようになっている。
【００４６】
次に、図６のフローチャートを参照して、図５の埋め込み符号化器３において行われる埋め込み符号化処理について説明する。
【００４７】
上述したように、ブロック分割部４１には、符号化対象としての画像が、１フレーム単位で供給されるようになっており、ブロック分割部４１は、１フレームの画像を受信すると、ステップＳ１において、その１フレームの画像を、所定の大きさのブロックに分割する。即ち、ブロック分割部４１は、１フレームの画像を、例えば、図７（Ａ）に示すように、横×縦が４×４画素のブロックに分割する。ブロック分割４１において得られたブロックは、例えば、ラインスキャン順に、順次、排他的論理和演算部４２に供給される。
【００４８】
排他的論理和演算部４２は、ブロック分割部４１からブロックを受信すると、そのブロックを、注目ブロックとし、ステップＳ２において、注目ブロックを構成する一部の画素を選択する。即ち、排他的論理和演算部４２は、注目ブロックを構成する画素のうち、例えば、図７（Ａ）に●印および斜線を付した○印で示すような、五の目格子を構成するような位置関係にある画素を、選択画素として選択する。従って、ここでは、ブロックを構成する１／２の画素が、選択画素として選択される。
【００４９】
そして、ステップＳ３に進み、排他的論理和演算部４２において、選択画素について、付加情報との排他的論理和が演算されることで、選択画素に、付加情報が埋め込まれる。即ち、排他的論理和演算部４２は、選択画素のうち、図７（Ａ）において斜線を付した○印で示す選択画素については、その画素値と、付加情報を表すビット列との排他的論理和を演算し、その演算結果を、その選択画素の画素値とする。
【００５０】
さらに、排他的論理和演算部４２は、選択画素のうち、図７（Ａ）において●印で示す選択画素については、その画素値と、付加情報を表すビット列と逆順のビット列との排他的論理和を演算し、その演算結果を、その選択画素の画素値とする。
【００５１】
ここで、付加情報を表すビット列そのもの、またはそのビット列と逆順のビット列との排他的論理和が演算される画素を、それぞれ順ビット列画素、または逆ビット列画素というものとすると、本実施の形態では、選択画素の斜め方向について、順ビット列画素と逆ビット列画素とが交互に並ぶようになっており（図７（A））、従って、選択画素の半分が順ビット列画素とされ、残りの半分が逆ビット列画素とされる。
【００５２】
例えば、いま、画素値が８ビットで表されるとし、ある順ビット列画素の画素値が、00111101B（Bは、その前の数字が２進数であることを表す）であり、また、ある逆ビット列画素の画素値が、10010111Bであったとする。さらに、付加情報が00101001B（＝４１）であるとすると、画素値が00111101Bの順ビット列画素については、図７（Ｂ）に示すように、その画素値00111101Bと、付加情報を表すビット列そのものである00101001Bとの、ビットごとの排他的論理和(EXOR)が演算され、その画素値は00010100Bとされる。一方、画素値が10010111Bの逆ビット列画素については、図７（Ｃ）に示すように、その画素値11101001Bと、付加情報を表すビット列00101001Bを逆順に並べたビット列10010100Bとの、ビットごとの排他的論理和が演算され、その画素値は00000011Bとされる。ブロック内の他の順ビット列画素および逆ビット列画素についても、同様にして、付加情報との排他的論理和が演算される。
【００５３】
なお、画素値が８ビットで表される場合においては、その画素値と同一ビット数の付加情報との排他的論理和の演算が可能であり、従って、この場合、１つのブロックにつき、８ビットで表すことのできる付加情報（０乃至２５５の範囲の値をとる付加情報）を埋め込むことができる。
【００５４】
ステップＳ３で選択画素の排他的論理和の演算が行われたブロックは、符号化ブロックとして、符号化画像メモリ４３に供給されて記憶される。そして、ステップＳ４に進み、排他的論理和演算部４２において、１フレームの画像を分割して得られたブロックのうち、まだ、注目ブロックとして処理していないブロック（以下、適宜、未処理ブロックという）があるかどうかが判定される。ステップＳ４において、未処理ブロックがあると判定された場合、その未処理ブロックのいずれかが注目ブロックとされ、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５５】
また、ステップＳ４において、未処理ブロックがないと判定された場合、即ち、符号化画像メモリ４３に、１フレーム分の符号化ブロックが記憶された場合、その１フレーム分の符号化ブロックが、符号化画像メモリ４３から読み出される。そして、ステップＳ５に進み、ブロック分割部４１において、次に処理すべきフレームがあるかどうかが判定される。ステップＳ５において、次に処理すべきフレームがあると判定された場合、ステップＳ１に戻り、そのフレームを対象に、以下、同様の処理が行われる。
【００５６】
一方、ステップＳ５において、次に処理すべきフレームがないと判定された場合、埋め込み符号化処理を終了する。
【００５７】
以上のように、画像を構成する一部の画素を選択し、その選択画素について、付加情報との排他的論理和を演算することにより、画素に、付加情報を埋め込むことで、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に付加情報を埋め込むことができる。
【００５８】
即ち、付加情報が埋め込まれた選択画素（図７（Ａ）において、斜線を付した○印および●印で示す画素）の画素値は、画像の相関性、即ち、ここでは、付加情報が埋め込まれなかった画素（図７（Ａ）において、○印で示す画素）との間の相関を利用することにより、後述するように、オーバヘッドなしで、元の画素と付加情報に復号（戻す）ことができる。従って、その結果得られる復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【００５９】
次に、図８は、図５の埋め込み符号化器３が出力する符号化データを、画像の相関性を利用して元の画像と付加情報に復号する図１の埋め込み復号器６の構成例を示している。
【００６０】
符号化データ、即ち、付加情報が埋め込まれた画像（以下、適宜、埋め込み画像という）は、フレームメモリ５１に供給されるようになされており、フレームメモリ５１は、埋め込み画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ５１も、図４のフレームメモリ３１と同様に構成され、バンク切り替えを行うことにより、埋め込み画像が、動画であっても、そのリアルタイム処理が可能となっている。
【００６１】
出力Ｉ／Ｆ５２は、フレームメモリ５１から、CPU５３による、後述する埋め込み復号処理の結果得られる画像（復号画像）を読み出して出力するようになされている。
【００６２】
CPU５３は、プログラムメモリ５４に記憶されたプログラムを実行することで、埋め込み復号処理を行うようになされている。即ち、CPU５３は、フレームメモリ５１に記憶された埋め込み画像を、画像の相関性を利用して元の画像と付加情報に復号するようになされている。
【００６３】
プログラムメモリ５４は、例えば、図４のプログラムメモリ３３と同様に構成され、CPU５３に、埋め込み復号化処理を行わせるためのコンピュータプログラムを記憶している。
【００６４】
次に、図９は、図８のCPU５３が、プログラムメモリ５４に記憶されたプログラムを実行することで実現される埋め込み復号器６の機能的構成例を示している。
【００６５】
符号化データとしての埋め込み画像は、例えば、１フレーム単位で、ブロック分割部６１に供給されるようになっている。ブロック分割部６１は、埋め込み画像を、図５のブロック分割部４１における場合と同様に、所定の大きさのブロック、即ち、符号化ブロックに分割し、排他的論理和演算部６２に順次供給するようになっている。
【００６６】
排他的論理和演算部６２は、ブロック分割部６１からの符号化ブロックを構成する画素のうち、図５の排他的論理和演算部４２が選択するものと同一の位置にある画素を、選択画素として選択し、その選択画素について、EXORデータ用レジスタ６３から供給されるEXORデータとの排他的論理和を演算し、差分値計算部６４に供給するようになっている。さらに、排他的論理和演算部６２は、最適EXORデータ保存用レジスタ６９に記憶された最適EXORデータと、選択画素の画素値との排他的論理和を演算し、これにより、符号化ブロックを元のブロックに復号して、復号画像メモリ７１に供給するようになっている。
【００６７】
EXORデータ用レジスタ６３は、画素値との排他的論理和を演算するデータであるEXORデータを設定し、排他的論理和演算部６２およびスイッチ６５に供給するようになっている。即ち、画素値がth_rビットで表される場合、その画素値との、ビットごとの排他的論理和は、th_rビットで表されるデータと演算することが可能であり、この場合、EXORデータ用レジスタ６３は、th_rビットで表すことが可能なデータ、即ち、０乃至２th_r−１の範囲の値を、順次、EXORデータとして設定し、排他的論理和演算部６２およびスイッチ６５に供給する。
【００６８】
差分値計算部６４は、排他的論理和演算部６４から供給される、選択画素について、EXORデータとの排他的論理和が演算された符号化ブロックを受信し、その符号化ブロックについて、選択画素と、それに隣接する画素との相関値、即ち、ここでは、例えば、それぞれの画素値の差分絶対値和を計算する。この相関値としての画素値の差分絶対値和は、比較器６８に供給されるようになっている。
【００６９】
スイッチ６５は、比較器６８の制御にしたがって、EXORデータ用レジスタ６３が出力するEXORデータを、最適EXORデータ保存用レジスタ６９に供給するようになっている。スイッチ６６は、比較器６８の制御にしたがって、差分値計算部６４が出力する相関値を、最小差分値保存用レジスタ６７に供給するようになっている。
【００７０】
最小差分値保存用レジスタ６７は、スイッチ６６を介して、差分値計算部６４から供給される相関値を、いま処理の対象となっている符号化ブロック（以下、適宜、注目符号化ブロックという）についての最大の相関値として記憶するようになっている。なお、本実施の形態では、上述したように、符号化ブロックについての選択画素と、それに隣接する画素との間の相関値は、それぞれの画素値の差分絶対値和を採用していることから、最大の相関値とは、画素値の差分絶対値和の最小値を意味することとなる。
【００７１】
最小差分値保存用レジスタ６７が記憶する最大の相関値としての、画素値の差分絶対値和の最小値（最小差分絶対値和）は、比較器６８に供給されるようになっており、比較器６８は、差分値計算部６４が出力する差分絶対値和と、最小差分値保存用レジスタ６７が記憶している最小差分絶対値和とを比較し、その比較結果に基づいて、スイッチ６５および６６を制御するようになっている。
【００７２】
最適EXORデータ保存用レジスタ６９は、スイッチ６５を介して、EXORデータ用レジスタ６３から供給されるEXORデータを、符号化ブロックの選択画素の画素値との排他的論理和を演算する最適なビット列である最適EXORデータとして記憶し、必要に応じて、排他的論理和演算部６２および復号付加情報メモリ７０に供給するようになっている。
【００７３】
復号付加情報メモリ７０は、最適EXORデータ保存用レジスタ６９から供給される最適EXORデータを、符号化ブロックに埋め込まれた付加情報の復号結果として一時記憶して出力するようになっている。復号画像メモリ７１は、排他的論理和演算部６２が出力する、選択画素について、最適EXORデータとの排他的論理和が演算された符号化ブロックを、元のブロックの復号結果として一時記憶し、１フレーム分のブロックの復号結果を記憶すると、その１フレーム分の復号画像を出力するようになっている。
【００７４】
次に、図１０のフローチャートを参照して、図９の埋め込み復号器６において行われる埋め込み復号処理について説明する。
【００７５】
上述したように、ブロック分割部６１には、埋め込み画像が、１フレーム単位で供給されるようになっており、ブロック分割部６１は、１フレームの埋め込み画像を受信すると、ステップＳ１１において、その１フレームの埋め込み画像を、図５のブロック分割部４１と同様に、所定の大きさのブロックに分割する。即ち、ブロック分割部６１は、１フレームの埋め込み画像を、図１１（Ａ）に示すように、横×縦が４×４画素の符号化ブロックに分割する。ブロック分割部６１において得られた符号化ブロックは、例えば、ラインスキャン順に、順次、排他的論理和演算部６２に供給される。
【００７６】
排他的論理和演算部６２は、ブロック分割部６１から符号化ブロックを受信すると、ステップＳ１２において、その符号化ブロックを注目符号化ブロックとして、その注目符号化ブロックを構成する一部の画素を、選択画素として選択する。即ち、排他的論理和演算部６２は、注目符号化ブロックを構成する画素から、図１１（Ａ）に斜線を付した○印および●印で示す、図５の排他的論理和演算部４２が選択画素として選択する画素と同一の画素を、選択画素として選択する。さらに、排他的論理和演算部６２は、選択画素から、図５の排他的論理和演算部４２と同様に、順ビット列画素と逆ビット列画素を選択する。
【００７７】
即ち、符号化ブロックの選択画素のうち、図５の排他的論理和演算部４２において順ビット列画素とされた画素は、その画素値と、そこに埋め込まれた付加情報に対応するビット列との排他的論理和を演算することで、元の画素に復号することができる。同様に、図５の排他的論理和演算部４２において逆ビット列画素とされた画素は、その画素値と、そこに埋め込まれた付加情報に対応するビット列と逆順のビット列との排他的論理和を演算することで、元の画素に復号することができる。
【００７８】
そこで、排他的論理和演算部６２は、図５の排他的論理和演算部４２における場合と同様に、選択画素から、順ビット列画素と逆ビット列画素を選択するようになっている。従って、排他的論理和演算部６２では、図７（Ａ）で説明した場合と同様に、図１１（Ａ）において斜線を付した○印で示す画素が、順ビット列画素とされ、また、●印で示す画素が、逆ビット列画素とされる。
【００７９】
その後、ステップＳ１３に進み、EXORデータ用レジスタ６３は、EXORデータnを０に初期化し、また、最小差分値保存用レジスタ６７は、その記憶値（最小差分絶対値和）を、所定の大きな値（例えば、記憶可能な最大値）に初期化する。さらに、EXORデータ用レジスタ６３は、EXORデータnを、排他的論理和演算部６２に供給するとともに、通常はオフ状態となっているスイッチ６５に出力し、ステップＳ１４に進む。
【００８０】
ステップＳ１４では、排他的論理和演算部６２において、注目符号化ブロックの順ビット列画素または逆ビット列画素それぞれについて、EXORデータ用レジスタ６３からのEXORデータnとの排他的論理和が演算され、その演算結果を、選択画素の画素値とする注目符号化ブロックが、差分値計算部６４に供給される。
【００８１】
即ち、例えば、いま、画素値が８ビットで表されるとし、ある順ビット列画素の画素値が、00010100Bであり、また、ある逆ビット列画素の画素値が、00000011Bであったとする。さらに、EXORデータnが00101001B（＝４１）であるとすると、画素値が00010100Bである順ビット列画素については、図１１（Ｂ）に示すように、その画素値00010100Bと、EXORデータnを表すビット列00101001Bとの排他的論理和が演算され、その画素値は、00111101Bとされる。また、画素値が00000011Bである逆ビット列画素については、図１１（Ｃ）に示すように、その画素値00000011Bと、EXORデータnを表すビット列00101001Bの逆順のビット列10010100Bとの排他的論理和が演算され、その画素値は、10010111Bとされる。
【００８２】
差分値計算部６４は、排他的論理和演算部６２から、選択画素について、EXORデータnとの排他的論理和が演算された注目符号化ブロックを受信すると、ステップＳ１５において、注目符号化ブロックについての相関値（注目符号化ブロックを構成する画素どうしの相関値）として、選択画素とそれに隣接する画素との相関値の総和、即ち、ここでは、例えば、選択画素とそれに隣接する画素との画素値の差分絶対値和を計算する。
【００８３】
具体的には、図１２に示すように、符号化ブロックにおいては、●および斜線を付した○印で示す選択画素は、１以上の、選択画素でない画素、即ち、埋め込み符号化処理において、付加情報との排他的論理和が演算されていない画素（以下、適宜、非選択画素という）に隣接している。差分値計算部６４では、符号化ブロックにおいて、選択画素と、その選択画素に隣接している非選択画素との画素値どうしの差分の絶対値（差分絶対値）が計算され、その総和（差分絶対値和）が、符号化ブロックについての相関値として求められる。
【００８４】
なお、選択画素に複数の非選択画素が隣接している場合には、例えば、図１２において実線の矢印で示すように、その複数の非選択画素それぞれについて、選択画素との差分絶対値が計算される。
【００８５】
また、上述の場合においては、符号化ブロック内の画素のみを用いて相関値を求めるようにしたが、相関値は、符号化ブロック外の画素をも用いて求めるようにすることが可能である。
【００８６】
即ち、例えば、いま、埋め込み画像を構成する符号化ブロックが、ラインスキャン順に、注目符号化ブロックとして処理されていくとすると、ある注目符号化ブロックを処理するときには、その左、上、または左上に隣接する符号化ブロックについての埋め込み復号は、既に終了し、元の画素値に戻されている。また、注目符号化ブロックの、左や上に隣接する画素、さらには、その右や下に隣接する画素の中には、付加情報との排他的論理和が演算されていない画素（非選択画素）がある。
【００８７】
注目符号化ブロック外の画素であっても、画素値が、以上のように元の画素値になっている画素（図１２において点線の○印で示す）は、図１２において点線の矢印で示すように、注目符号化ブロック内の選択画素との差分絶対値を計算するのに用いるようにすることができる。
【００８８】
さらに、上述の場合には、符号化ブロックについての相関値を求めるのに、選択画素と、その選択画素に隣接している非選択画素との画素値どうしの差分絶対値を用いるようにしたが、その他、例えば、選択画素に隣接していなくても、その選択画素の周辺にある非選択画素との画素値どうしの差分絶対値をも用いるようにすることが可能である。
【００８９】
また、選択画素との差分絶対値は、その選択画素に対して空間的に近接する画素の他、時間的に近接する画素を対象にして求めることも可能である。
【００９０】
以上のようにして、差分値計算部６４において求められた注目符号化ブロックについての相関値としての画素値の差分絶対値和は、比較器６８に供給されるとともに、通常はオフ状態となっているスイッチ６６に供給される。
【００９１】
比較器６８は、差分値計算部６４から、注目符号化ブロックについての差分絶対値和を受信すると、ステップＳ１５において、その差分絶対値和が、最小差分値保存用レジスタ６７の記憶値より小さいかどうかを判定する。
【００９２】
ステップＳ１６において、差分計算部６４からの差分絶対値和が、最小差分値保存用レジスタ６７の記憶値より小さいと判定された場合、即ち、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックについての相関値の方が、その注目符号化ブロックについて、いままでに得られた相関値よりも大きく、従って、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックが、元のブロックとなっていることの確からしさが大きい場合、ステップＳ１７に進み、比較器６８は、スイッチ６５および６６を一時、オフ状態からオン状態にして、ステップＳ１８に進む。
【００９３】
これにより、ステップＳ１７では、EXORデータ用レジスタ６３が出力するEXORデータnが、スイッチ６５を介して、最適EXORデータ保存用レジスタ６９に供給され、最適EXORデータ保存用レジスタ６９では、そこに最適EXORデータn_minとして既に記憶されている記憶値に替えて、EXORデータ用レジスタ６３からのEXORデータnが、新たな最適EXORデータ（注目符号化ブロックを復号するための、選択画素との排他的論理和を演算する最も適切なビット列）n_minとして記憶される。
【００９４】
さらに、ステップＳ１７では、差分値計算部６４が出力する差分絶対値和が、スイッチ６６を介して、最小差分値保存用レジスタ６７に供給され、最小差分値保存用レジスタ６７では、そこに最小差分絶対値和として既に記憶されている記憶値に替えて、差分値計算部６４が出力する差分絶対値和が、新たな最小差分絶対値和（注目符号化ブロックについての最大の相関値）として記憶される。
【００９５】
一方、ステップＳ１６において、差分計算部６４からの差分絶対値和が、最小差分値保存用レジスタ６７の記憶値より小さくないと判定された場合、即ち、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックについての相関値が、その注目符号化ブロックについて、いままでに得られた最大の相関値以下で、従って、選択画素について、EXORデータnとの排他的論理和を演算した注目符号化ブロックが、元のブロックとなっていることの確からしさが大きくない場合、ステップＳ１７をスキップして、ステップＳ１８に進み、EXORデータ用レジスタ６３において、EXORデータnが１だけインクリメントされる。
【００９６】
そして、ステップＳ１９に進み、EXORデータ用レジスタ６３において、EXORデータnが、画素値に割り当てられているビット数で表すことのできる最大の数２th_r−１以下であるかどうかが判定される。ステップＳ１９において、EXORデータnが、２th_r−１以下であると判定された場合、ステップＳ１４に戻り、以下、同様の処理が繰り返される。
【００９７】
また、ステップＳ１９において、EXORデータnが、２th_r−１以下でないと判定された場合、即ち、EXORデータnを、０乃至２th_r−１の範囲の各値として、注目符号化ブロックについての相関値（差分絶対値和）の計算を行った場合、ステップＳ２０に進み、注目符号化ブロックの選択画素について、最適EXORデータn_minとの排他的論理和が演算されることにより、その注目符号化ブロックが元のブロックに復号されるとともに、そこに埋め込まれていた付加情報が復号される。
【００９８】
即ち、最適EXORデータ保存用レジスタ６９は、そこに記憶されている最適EXORデータn_minを、排他的論理和演算部６２に供給し、排他的論理和演算部６２では、注目符号化ブロックの順ビット列画素または逆ビット列画素それぞれについて、ステップＳ１４における場合と同様に、最適EXORデータn_minとの排他的論理和が演算され、これにより、元のブロックが復号される。この復号されたブロックは、復号画像メモリ７１に供給されて、対応するアドレスに記憶される。
【００９９】
さらに、最適EXORデータ保存用レジスタ６９は、そこに記憶されている最適EXORデータn_minを、注目符号化ブロックに埋め込まれていた付加情報の復号結果として、復号付加情報メモリ７０に供給して記憶させる。
【０１００】
その後、ステップＳ２１に進み、排他的論理和演算部６２において、１フレームの埋め込み画像を分割して得られた符号化ブロックのうち、まだ、注目符号化ブロックとして処理していないブロック（このブロックも、以下、適宜、未処理ブロックという）があるかどうかが判定される。ステップＳ２１において、未処理ブロックがあると判定された場合、その未処理ブロックのいずれか（例えば、ラインスキャン順で、次に注目符号化ブロックとすべきもの）が注目符号化ブロックとされ、ステップＳ１２に戻り、以下、同様の処理が繰り返される。
【０１０１】
また、ステップＳ２１において、未処理ブロックがないと判定された場合、即ち、１フレーム分のブロックの復号結果が、復号画像メモリ７１に記憶されるとともに、その１フレームに埋め込まれでた付加情報の復号結果が、復号付加情報メモリ７０に記憶された場合、その１フレームの復号画像が、復号画像メモリ７１から読み出されるとともに、付加情報の復号結果が、復号付加情報メモリ７０から読み出される。
【０１０２】
そして、ステップＳ２２に進み、ブロック分割部６１において、次に処理すべき埋め込み画像のフレームがあるかどうかが判定される。ステップＳ２２において、次に処理すべき埋め込み画像のフレームがあると判定された場合、ステップＳ１１に戻り、そのフレームを対象に、以下、同様の処理が行われる。
【０１０３】
一方、ステップＳ２２において、次に処理すべき埋め込み画像のフレームがないと判定された場合、埋め込み復号処理を終了する。
【０１０４】
以上のように、付加情報が埋め込まれた画像である符号化データを、画像の相関性を利用して、元の画像と付加情報に復号するようにしたので、その復号のためのオーバヘッドがなくても、符号化データを、元の画像と付加情報に復号することができる。従って、その復号画像（再生画像）には、基本的に、付加情報を埋め込むことによる画質の劣化は生じない。
【０１０５】
ここで、画素値が８ビットで表される自然画像を、４×４画素のブロックに分割して、埋め込み符号化処理を行い（従って、この場合、１ブロックにつき、３ビットの付加情報を埋め込むことができるから、付加情報の埋め込みレートは、３ビット／１６ピクセルとなる）、その結果得られる埋め込み画像に対して、埋め込み復号処理を施すシミュレーションを行ったところ、９８．７４％の画素値が正常に復号された。
【０１０６】
また、同様の自然画像を、２×２画素のブロックに分割して、埋め込み符号化処理を行い（この場合の、付加情報の埋め込みレートは、３ビット／４ピクセルで、上述の場合の４倍）、その結果得られる埋め込み画像に対して、埋め込み復号処理を施すシミュレーションを行ったところ、７９．１２％の画素値が正常に復号された。
【０１０７】
従って、ブロックを構成する画素数を多くすれば、精度良く復号することができるが、１フレーム当たりに、埋め込むことのできる付加情報の量、即ち、埋め込みレートは減少する。一方、ブロックを構成する画素数を少なくすれば、埋め込みレートは増加するが、復号の精度が劣化する。以上から、ブロックを構成する画素数は、埋め込みレートと、復号の精度とをバランスさせるように決めるのが望ましい。
【０１０８】
なお、上述の場合には、埋め込み符号化処理において、図７で説明したように、逆ビット列画素については、その画素値と、付加情報を表すビット列の逆順のビット列との排他的論理和を演算するようにしたが、その他、逆ビット列画素については、これと等価な処理として、その画素値を表すビット列の逆順のビット列と、付加情報との排他的論理和を演算するようにしても良い。
【０１０９】
即ち、例えば、いま、画素値が８ビットで表されるとし、ある順ビット列画素の画素値が、00111101Bであり、また、ある逆ビット列画素の画素値が、10010111Bであったとする。さらに、付加情報が00101001B（＝４１）であるとすると、画素値が00111101Bの順ビット列画素については、図７（Ｂ）と同一の図１３（Ａ）に示すように、その画素値00111101Bと、付加情報を表すビット列そのものである00101001Bとの、ビットごとの排他的論理和を演算し、その画素値を00010100Bとすることができる。一方、画素値が10010111Bの逆ビット列画素については、図１３（Ｂ）に示すように、その画素値11101001Bをビット逆順に並べた10010111Bと、付加情報を表すビット列00101001Bとの、ビットごとの排他的論理和を演算し、その画素値を10111110Bとすることができる。
【０１１０】
但し、この場合、埋め込み復号処理では、逆ビット列画素については、その画素値と、EXORデータとの排他的論理和を演算し、その演算結果を表すビット列を逆順に並べたビット列を画素値として、相関を演算する必要がある。
【０１１１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての埋め込み符号化器３や埋め込み復号器６に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１１２】
そこで、図１４を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１１３】
プログラムは、図１４（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【０１１４】
あるいはまた、プログラムは、図１４（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１１５】
さらに、プログラムは、図１４（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【０１１６】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１１７】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１１８】
なお、本実施の形態においては、埋め込み符号化処理および埋め込み復号処理において、画像を、４×４画素のブロックに分割するようにしたが、その他の画素数で構成されるブロックに分割することも可能である。さらに、ブロックの形状は、長方形に限定されるものではない。
【０１１９】
また、本実施の形態では、１フレームを構成するブロックすべてに対して、付加情報を埋め込むようにしたが、１フレームを構成する幾つかのブロックにのみ、付加情報を埋め込むようにすることも可能である。なお、この場合、付加情報を埋め込まないブロックを構成する画素は、付加情報が埋め込まれたブロックを復号する際に、相関値を演算するのに用いることが可能である。
【０１２０】
さらに、本実施の形態では、１フレームをブロックに分割して付加情報を埋め込むようにしたが、各フレームを、ブロックに分割せずに、即ち、各フレームをブロックとして、付加情報を埋め込むことや、複数フレームを１ブロックとして、付加情報を埋め込むことも可能である。
【０１２１】
また、画素値が、例えば、ＹＵＶやＲＧＢなどの複数成分で表現される場合には、そのすべての成分に対して、同一の付加情報との排他的論理和を演算するようにすることもできるし、各成分それぞれに対して、異なる付加情報との排他的論理和を演算するようにすることもできる。
【０１２２】
さらに、本実施の形態では、ブロックを構成する画素から、五の目格子状に、画素を選択し、その選択画素に、付加情報を埋め込むようにしたが、付加情報を埋め込む画素の選択パターンは、これに限定されるものではない。また、本実施の形態では、ブロックを構成する１／２の画素を選択し、その選択画素の画素値と、付加情報との排他的論理和を演算するようにしたが、このような排他的論理和を演算する対象とする画素も、ブロックを構成する１／２の画素に限定されるものではない。但し、付加情報を埋め込んだ画素の復号にあたっては、上述したように、付加情報が埋め込まれていない画素を用いて相関値を求めるのが望ましく、また、画素どうしの相関は、基本的に、それらの間の空間的または時間的距離が離れるほど小さくなっていく。従って、正確な復号を行う観点からは、付加情報を埋め込む画素として選択する画素は、空間的または時間的に、いわゆる疎らになるように選択するのが望ましい。
【０１２３】
また、本実施の形態では、選択画素の斜め方向について、順ビット列画素と逆ビット列画素とが交互に並ぶように、順ビット列画素および逆ビット列画素を設定するようにしたが、順ビット列画素および逆ビット列画素は、その他のパターンにしたがって設定することも可能である。
【０１２４】
さらに、本実施の形態では、選択画素のうちの一部を順ビット列画素とするとともに、残りを逆ビット列画素として、それぞれについて、付加情報との排他的論理和を演算するようにしたが、選択画素のすべてを、順ビット列画素または逆ビット列画素として、付加情報との排他的論理和を演算するようにすることも可能である。
【０１２５】
また、本実施の形態では、画素について、付加情報との排他的論理和を演算することにより、付加情報を埋め込むようにしたが、画素に対して施す論理演算は、排他的論理和に限定されるものではない。但し、画素に対して施す論理演算は、排他的論理和のように、その演算結果に、同一の演算を施すと、元の値に戻るようなものが望ましい。
【０１２６】
さらに、付加情報として用いる情報は、特に限定されるものではなく、例えば、画像や、音声、テキスト、コンピュータプログラム、その他のデータを付加情報として用いることが可能である。なお、画像データベース１の画像の一部を付加情報とし、残りを、フレームメモリ３１への供給対象とすれば、その残りの部分に、付加情報とされた画像の一部分が埋め込まれるから、画像の圧縮が実現されることになる。
【０１２７】
【発明の効果】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体によれば、画像を構成する一部の画素が選択され、その選択された画素のうちの一部の画素について、情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、画素に、情報が埋め込まれる。従って、画像の相関性を利用することにより、オーバヘッドなしで、元の画像と情報に復号することが可能なデータを得ることができる。
【０１２８】
請求項５に記載の画像処理装置および請求項１０に記載の画像処理方法、並びに請求項１１に記載の媒体によれば、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定され、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。従って、情報埋め込み画像を、画像の相関性を利用することにより、元の画像と情報に復号することが可能となる。
【０１２９】
請求項１２に記載の画像処理装置によれば、画像を構成する一部の画素が選択され、その選択された画素について、情報との排他的論理和を演算することにより、画素に、情報が埋め込まれ、情報埋め込み画像が出力される。一方、情報埋め込み画像を構成する一部の画素が選択され、その選択された画素について、所定のデータとの排他的論理和が演算される。さらに、排他的論理和が演算された画素と、選択された画素以外の画素との間の相関が演算され、その相関に基づいて、選択された画素を復号するための、その画素と排他的論理和を演算するデータが決定される。そして、その決定されたデータに基づいて、選択された画素が復号されるとともに、その画素に埋め込まれた情報が復号される。従って、情報埋め込み画像を、画像の相関性を利用することにより、オーバヘッドなしで、元
の画像と情報に復号することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】符号化対象の画像を示す図である。
【図３】相関性を利用した符号化／復号を説明するための図である。
【図４】図１の埋め込み符号化器３のハードウェア構成例を示すブロック図である。
【図５】図４の埋め込み符号化器３の機能的構成例を示すブロック図である。
【図６】図５の埋め込み符号化器３による埋め込み符号化処理を説明するためのフローチャートである。
【図７】埋め込み符号化処理を説明するための図である。
【図８】図１の埋め込み復号器６のハードウェア構成例を示すブロック図である。
【図９】図８の埋め込み復号器６の機能的構成例を示すブロック図である。
【図１０】図９の埋め込み復号器６による埋め込み復号処理を説明するためのフローチャートである。
【図１１】図１０のステップＳ１１，Ｓ１２、およびＳ１４の処理を説明するための図である。
【図１２】図１０のステップＳ１５の処理を説明するための図である。
【図１３】図５の排他的論理和演算部４２における排他的論理和の演算方法を説明するための図である。
【図１４】本発明を適用した媒体を説明するための図である。
【符号の説明】
１ 画像データベース， ２ 付加情報データベース， ３ 埋め込み符号化器， ４ 記録媒体， ５ 伝送媒体， ６ 埋め込み復号器， １０ 符号化装置， ２０ 復号装置， ３１ フレームメモリ， ３２ ＣＰＵ， ３３ プログラムメモリ， ３４ 出力Ｉ／Ｆ， ４１ ブロック分割部， ４２ 排他的論理和演算部， ４３ 符号化画像メモリ， ５１ フレームメモリ， ５２ 出力Ｉ／Ｆ， ５３ ＣＰＵ， ５４ プログラムメモリ， ６１ ブロック分割部， ６２ 排他的論理和演算部， ６３ EXORデータ用レジスタ， ６４ 差分値計算部， ６５，６６ スイッチ， ６７ 最小差分値保存用レジスタ， ６８ 比較器， ６９ 最適EXORデータ保存用レジスタ， ７０ 復号付加情報メモリ， ７１ 復号画像メモリ， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １２３ コンピュータ， １３１ ネットワーク
Claims (12)
- 画像に、情報を埋め込むための処理を行う画像処理装置であって、
前記画像を構成する一部の画素を選択する選択手段と、
前記選択手段によって選択された前記画素のうちの一部の画素について、前記情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、前記画素に、前記情報を埋め込む演算手段と
を含むことを特徴とする画像処理装置。 - 前記画像を所定のブロックに分割する分割手段をさらに含み、
前記選択手段は、前記ブロックを構成する一部の画素を選択する
ことを特徴とする請求項１に記載の画像処理装置。 - 画像に、情報を埋め込むための処理を行う画像処理方法であって、
前記画像を構成する一部の画素を選択する選択ステップと、
前記選択ステップで選択された前記画素のうちの一部の画素について、前記情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、前記画素に、前記情報を埋め込む演算ステップと
を含むことを特徴とする画像処理方法。 - 画像に、情報を埋め込む処理を行うためのプログラムをコンピュータに実行させる媒体であって、
前記画像を構成する一部の画素を選択する選択ステップと、
前記選択ステップで選択された前記画素のうちの一部の画素について、前記情報を表すビット列との排他的論理和を演算し、残りの画素について、その情報を表すビット列と逆順のビット列との排他的論理和を演算することにより、前記画素に、前記情報を埋め込む演算ステップと
を含むことを特徴とするプログラムを、前記コンピュータに実行させる媒体。 - 情報が埋め込まれた画像である情報埋め込み画像を、元の画像と情報に復号するための処理を行う画像処理装置であって、
前記情報埋め込み画像を構成する一部の画素を選択する選択手段と、
前記選択手段によって選択された前記画素について、所定のデータとの排他的論理和を演算する演算手段と、
排他的論理和が演算された前記画素と、前記選択手段によって選択された前記画素以外の画素との間の相関を演算する相関計算手段と、
前記相関に基づいて、前記選択手段によって選択された前記画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定手段と、
前記決定手段によって決定されたデータに基づいて、前記選択手段によって選択された前記画素を復号するとともに、その画素に埋め込まれた前記情報を復号する復号手段と
を含むことを特徴とする画像処理装置。 - 前記演算手段は、前記選択手段によって選択された前記画素のうちの一部の画素について、前記所定のデータを表すビット列との排他的論理和を演算し、残りの画素について、その所定のデータを表すビット列と逆順のビット列との排他的論理和を演算する
ことを特徴とする請求項５に記載の画像処理装置。 - 前記情報埋め込み画像を所定のブロックに分割する分割手段をさらに含み、
前記選択手段は、前記ブロックを構成する一部の画素を選択する
ことを特徴とする請求項５に記載の画像処理装置。 - 前記相関計算手段は、排他的論理和が演算された前記画素について、その画素の周辺にある画素であって、前記選択手段によって選択された前記画素以外の画素との間の相関を演算する
ことを特徴とする請求項５に記載の画像処理装置。 - 前記相関計算手段は、排他的論理和が演算された前記画素について、前記選択手段によって選択された前記画素以外の画素との間の相関の他、既に復号された画素との間の相関も演算する
ことを特徴とする請求項５に記載の画像処理装置。 - 情報が埋め込まれた画像である情報埋め込み画像を、元の画像と情報に復号するための処理を行う画像処理方法であって、
前記情報埋め込み画像を構成する一部の画素を選択する選択ステップと、
前記選択ステップで選択された前記画素について、所定のデータとの排他的論理和を演算する演算ステップと、
排他的論理和が演算された前記画素と、前記選択ステップで選択された前記画素以外の画素との間の相関を演算する相関計算ステップと、
前記相関に基づいて、前記選択ステップで選択された前記画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定ステップと、
前記決定ステップで決定されたデータに基づいて、前記選択ステップで選択された前記画素を復号するとともに、その画素に埋め込まれた前記情報を復号する
復号ステップと
を含むことを特徴とする画像処理方法。 - 情報が埋め込まれた画像である情報埋め込み画像を、元の画像と情報に復号する処理を行うプログラムを、コンピュータに実行させる媒体であって、
前記情報埋め込み画像を構成する一部の画素を選択する選択ステップと、
前記選択ステップで選択された前記画素について、所定のデータとの排他的論理和を演算する演算ステップと、
排他的論理和が演算された前記画素と、前記選択ステップで選択された前記画素以外の画素との間の相関を演算する相関計算ステップと、
前記相関に基づいて、前記選択ステップで選択された前記画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定ステップと、
前記決定ステップで決定されたデータに基づいて、前記選択ステップで選択された前記画素を復号するとともに、その画素に埋め込まれた前記情報を復号する
復号ステップと
を含むことを特徴とするプログラムを、前記コンピュータに実行させる媒体。 - 画像に、情報を埋め込み、その情報が埋め込まれた画像である情報埋め込み画像を出力する埋め込み符号化器と、
前記情報埋め込み画像を、元の画像と情報に復号する埋め込み復号器と
を備える画像処理装置であって、
前記埋め込み符号化器は、
前記画像を構成する一部の画素を選択する第１の選択手段と、
前記第１の選択手段によって選択された前記画素について、前記情報との排他的論理和を演算することにより、前記画素に、前記情報を埋め込み、前記情報埋め込み画像を出力する第１の演算手段と
を含み、
前記埋め込み復号器は、
前記情報埋め込み画像を構成する一部の画素を選択する第２の選択手段と、
前記第２の選択手段によって選択された前記画素について、所定のデータとの排他的論理和を演算する第２の演算手段と、
排他的論理和が演算された前記画素と、前記第２の選択手段によって選択された前記画素以外の画素との間の相関を演算する相関計算手段と、
前記相関に基づいて、前記第２の選択手段によって選択された前記画素を復号するための、その画素と排他的論理和を演算するデータを決定する決定手段と、
前記決定手段によって決定されたデータに基づいて、前記第２の選択手段によって選択された前記画素を復号するとともに、その画素に埋め込まれた前記情報を復号する復号手段と
を含む
ことを特徴とする画像処理装置。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16053099A JP4099687B2 (ja) | 1999-06-08 | 1999-06-08 | 画像処理装置および画像処理方法、並びに媒体 |
| US09/587,838 US6870944B1 (en) | 1999-06-08 | 2000-06-06 | Image processing apparatus, image processing method, and storage medium |
| EP00304811A EP1059606B1 (en) | 1999-06-08 | 2000-06-07 | Image processing apparatus, image processing methods, and storage media |
| KR1020000030985A KR100667612B1 (ko) | 1999-06-08 | 2000-06-07 | 이미지 처리 장치, 이미지 처리 방법 및 저장 매체 |
| DE60030911T DE60030911T2 (de) | 1999-06-08 | 2000-06-07 | Bildverarbeitungsgerät und -verfahren und Speichermedium |
| CNB001202073A CN1148964C (zh) | 1999-06-08 | 2000-06-08 | 图像处理装置图像处理方法 |
| US10/915,806 US7606431B2 (en) | 1999-06-08 | 2004-08-11 | Image processing apparatus, image processing method, and storage medium |
| US10/915,829 US6940996B2 (en) | 1999-06-08 | 2004-08-11 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16053099A JP4099687B2 (ja) | 1999-06-08 | 1999-06-08 | 画像処理装置および画像処理方法、並びに媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000350011A JP2000350011A (ja) | 2000-12-15 |
| JP4099687B2 true JP4099687B2 (ja) | 2008-06-11 |
Family
ID=15716971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16053099A Expired - Fee Related JP4099687B2 (ja) | 1999-06-08 | 1999-06-08 | 画像処理装置および画像処理方法、並びに媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4099687B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4556087B2 (ja) * | 2001-03-22 | 2010-10-06 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びにプログラムおよびプログラム記録媒体 |
| JP2012003292A (ja) * | 2008-10-14 | 2012-01-05 | Panasonic Corp | 半導体装置及び動作監視システム |
-
1999
- 1999-06-08 JP JP16053099A patent/JP4099687B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000350011A (ja) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4822304B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3924967B2 (ja) | 符号化装置および方法、復号装置および方法、記録媒体、並びにデータ処理システム | |
| US7738711B2 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
| JP4147700B2 (ja) | 符号化装置および符号化方法、並びに記録媒体 | |
| JP3284932B2 (ja) | 画像処理装置 | |
| JP2004129203A (ja) | 符号化装置及び方法 | |
| JP2010514325A (ja) | テクスチャ合成を利用した映像の符号化、復号化の方法及び装置 | |
| JP4182603B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデータ処理装置 | |
| US7606431B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4099687B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
| JP4092608B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム格納媒体 | |
| US6738492B1 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
| JP4556147B2 (ja) | 復号装置および復号方法、記録媒体、並びにデータ処理装置 | |
| KR100711012B1 (ko) | 코딩 장치 및 방법, 디코딩 장치 및 방법, 데이터 처리 시스템, 기억 매체 및 신호 | |
| KR100777144B1 (ko) | 코딩 장치와 방법, 디코딩 장치와 방법, 데이터 처리 시스템, 저장 매체, 및 기록 매체 | |
| JP2000324482A (ja) | データ処理装置およびデータ処理方法、並びに画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |