JP3777993B2 - 画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラム - Google Patents
画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラム Download PDFInfo
- Publication number
- JP3777993B2 JP3777993B2 JP2001043731A JP2001043731A JP3777993B2 JP 3777993 B2 JP3777993 B2 JP 3777993B2 JP 2001043731 A JP2001043731 A JP 2001043731A JP 2001043731 A JP2001043731 A JP 2001043731A JP 3777993 B2 JP3777993 B2 JP 3777993B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- data
- image data
- additional data
- display range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は画像データの中にその画像データに見かけ上、何等影響を与えないように他のデータを埋め込むことを可能とした画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラムに関する。
【0002】
【従来の技術】
画像データ(主画像データという)に対応するデータとして、たとえば、その画像データを説明するための文字データや音(音声や音楽などを含む)データ、プログラムデータ、他の画像データ、あるいは著作権情報など(これらを付加データと呼ぶことにする)を主画像データに付加的に埋め込んで、その主画像データを再生しているときに、必要に応じて、これら付加データを再生できるようにすることが従来より一般的に行われている。
【0003】
たとえば、図12に示すように、動物の画像が再生されている画面上で、「いぬ」と欠かれた部分(矢印Aで示す)をマウスなどでクリックすると、犬についての百科事典的な説明が文字データでなされたり、その鳴き声などが音声として出力されたりといったことが可能となる。
【0004】
このように、主画像データに付加データを埋め込む手法としては、従来、主画像データを復元したときに、その主画像データに影響を与えないようにするために、付加データを主画像データとは別の領域に書き込むのが一般的である。
【0005】
図17は、従来の手法によるデータ構造(復号化データとする)を示すもので、復号化する際の様々な制御情報が書き込まれた制御データ領域D1、付加データが書き込まれた付加データ領域D2、主画像データが書き込まれた主画像データ領域D3、データ終了を示す制御情報が書き込まれた制御データ領域D4などから構成されている。
【0006】
たとえば、前述した図12の例であれば、幾つかの動物の画像に対する画像データは主画像データ領域D3に書き込まれ、これらそれぞれの動物に対する説明内容の文字データあるいは音声データなどの付加データは付加データ領域D2に書き込まれている。
【0007】
【発明が解決しようとする課題】
このように従来では、付加データを主画像データとは別の領域に埋め込むのが普通である。しかし、この手法では、たとえ、主画像データ領域D3に複数種類の主画像データが存在する場合でも、その複数種類の画像データ全体に対して付加データが与えらるデータ構造であり、しかも、個々の主画像データとそれに対応する付加データとの位置関係についての情報は持たないのが普通である。
【0008】
したがって、たとえば、図12の例で、それぞれの動物(この図では4種類の動物)の画像データをたとえば、図14に示すように、3つのグループG1,G2,G3に切り分けるような編集作業を行ったりすると、主画像データと付加データとの対応関係の判断がむずかしくなる問題がある。
【0009】
勿論、位置関係についての情報を別に持つことも可能ではあるが、その場合でも、上述したような編集作業を行ったりすると、主画像データと付加データとの対応関係をどのように対応付けるかなどの複雑な処理が必要となってくる。
【0010】
また、主画像データに対する付加データを、決められた仕様で定義された別データとして処理する方法として、たとえば、JFIFやExifなどと呼ばれている画像データ処理方法がある。
【0011】
これらも、図17で示したように、主画像データに対し付加データを別領域として埋め込むものであり、上述したと同様、主画像データに対する位置関係については何も情報を持たないので、この場合も、複数種類の画像データを別々に切り分けたような編集作業を行ったりすると、主画像データと付加データとの対応関係が崩れてしまう問題がある。
【0012】
また、これらの主画像データに対し付加データを別領域に書き込む手法は、付加データの抽出処理が容易に行えることができる利点があるが、それは、データの改変や削除なども容易であることを意味している。したがって、たとえば、著作権情報などが付加データとして埋め込まれている場合には、著作権情報を簡単に改変したりすることも容易となり、著作権上の問題を引き起こすといったリスクを背負うことになる。
【0013】
そこで本発明は、これらの問題点を解決するために、主画像データに付加データを埋め込む際、主画像データそのものに付加データを埋め込むことにより、主画像データと付加データの位置関係の対応をとりやすくすることができ、しかも、見かけ上は標準的な符号化したデータと何等変わらないので、従来の標準的な画像復号化ソフトウエアによっても、画像そのものの復号化は従来通り可能となり、汎用性に優れた画像データ処理を可能とすることを目的としている。
【0014】
【課題を解決するための手段】
上述した目的を達成するために、本発明の画像データ処理方法は、ある主画像データに何らかの付加データを付加し、これら主画像データと付加データを符号化側でそれぞれ符号化して、その符号化された符号化データを復号化側で復号化する画像データ処理方法において、前記符号化側が行う処理として、主画像データに付加すべき付加データを前記本来の表示範囲から外れた飽和処理すべき値として当該主画像データに埋め込み、その主画像データと埋め込まれた付加データを符号化して、見かけ上は前記主画像データを符号化した符号化データとして出力するようにしている。
【0015】
また、本発明の画像データ処理装置は、ある主画像データに何らかの付加データを付加し、これら主画像データと付加データを符号化側でそれぞれ符号化して、その符号化された符号化データを復号化側で復号化する画像データ処理装置において、前記主画像データに付加すべき付加データを前記本来の表示範囲から外れた飽和処理すべき値として当該主画像データに埋め込む付加データ埋め込み部と、その主画像データおよび埋め込まれた付加データを符号化して、見かけ上は前記主画像データを符号化した符号化データとして出力する符号化部とを前記符号化側に有する構成としている。
【0016】
また、本発明の画像データ処理プログラムを記録した記録媒体は、ある主画像データに何らかの付加データを付加し、これら主画像データと付加データを符号化側でそれぞれ符号化して、その符号化された符号化データを復号化側で復号化する画像データ処理プログラムを記録した記録媒体であって、その画像データ処理プログラムは、前記符号化側が行う処理として、主画像データに付加すべき付加データを前記本来の表示範囲から外れた飽和処理すべき値として当該主画像データに埋め込む手順と、その主画像データおよび埋め込まれた付加データを符号化して、見かけ上は前記主画像データを符号化した符号化データとして出力する手順とを含むものである。
【0017】
これら各発明において、前記付加データを前記本来の表示範囲から外れた値として主画像データに埋め込む処理は、その付加データを前記本来の表示範囲の最大値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データを前記本来の表示範囲の最小値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最小値から引いた値とする処理を行う。
【0018】
また、前記符号化データを復号化する復号化側の処理として、前記符号化側からの符号化データを復号化処理し、その復号化された復号化データに対し、その値の大きさを判定し、その値が本来の表示範囲内の値である場合には、通常の画像データ処理を行い、本来の表示範囲を外れた値である場合には、それを付加データとして抽出する処理を行う。なお、画像データ処理装置の復号化側の構成要素としては、前記符号化側からの符号化データを復号化処理する復号化部と、その復号化された復号化データに対し、その値の大きさを判定し、その値が本来の表示範囲内の値である場合には、通常の画像データ処理を行い、本来の表示範囲を外れた値である場合には、それを付加データとして抽出する処理を行う付加データ再生部とを有する。
【0019】
ここで、前記本来の表示範囲を外れた場合における付加データの抽出処理は、値が正か負かを判定し、正である場合には、復号化データの値から前記本来の表示範囲の最大値を引いた値とし、負である場合には、前記本来の表示範囲の最小値から復号化データの値を引いた値とし、その付加データの値と付加データの埋め込み位置を記憶する処理である。
【0020】
なお、前記本来の表示範囲の最大値および最小値は、当該最大値および最小値に演算誤差を考慮した値を加えた値とすることも可能としている。
【0021】
上述したように本発明は、主画像データにおける本来の表示範囲(たとえば、8ビット画像であれば、0〜255の範囲)を外れた領域を利用し、そこに付加データを埋め込もうとするものである。
【0022】
このように、本来の表示範囲を外れた領域に付加データが埋め込まれて符号化されたデータは、見かけ上は、主画像データを符号化した通常の符号化データと同等であるので、従来から通常に行われている画像復号化ソフトウエアによって従来通り復号化処理することができる。ただし、その場合は、主画像データは従来通り普通に復号化処理されるが、付加データ部分は飽和処理される。なお、その付加データが埋め込まれた符号化データを本発明の画像復号化ソフトウエアを用いて復号化処理すれば、主画像データは従来通り普通に復元できることは勿論、付加データも復元できる。
【0023】
なお、本発明の場合は、主画像そのものに付加データを埋め込むので、主画像と付加データとの位置関係を確実に対応付けることができる。これによって、たとえば、1つの画面上に複数種類の主画像が存在していて、それぞれの主画像に対応して付加データが埋め込まれているような場合、編集用ソフトウエアなどを用いて、これら複数種類の主画像を切り分けるなどの編集作業を行っても、それぞれの主画像とそれに対応する付加データと対応が崩れることがない。
【0024】
また、付加データを本来の表示範囲から外れた値として主画像データに埋め込む処理としては、付加データを前記本来の表示範囲の最大値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最大値に加えた値とし、当該付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、その付加データの値を前記本来の表示範囲の最小値から引いた値とする。
【0025】
そして、復号側では、その符号化データを復号化して、その復号化された復号化データの値が本来の表示範囲内である場合には、通常の画像データ処理を行い、本来の表示範囲外である場合には、値が正か負かを判定し、正である場合には、復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、負である場合には、本来の表示範囲の最小値から復号化データの値を引いた値として、付加データの抽出を行う。
【0026】
このように、本来の表示範囲の最大値または最小値にその付加データの値を足したり引いたりするだけの簡単な演算で、付加データの埋め込みや抽出ができるので、処理能力のそれ程高くないCPUでも対応することができ、安価なシステムにも適用できる。
【0027】
また、このとき、本来の表示範囲の最大値および最小値は、当該最大値および最小値に演算誤差を考慮した値を加えた値とすることもできる。これは、付加データが埋め込まれていない領域でも、本当の演算誤差によって本来の表示範囲を超えた値となる場合もあるからであり、その分の余裕を少し取っておいた方が都合のよい場合もある。これに対応できるように、付加データの値を、本来の表示範囲の最大値や最小値よりも少し離れた値を基点にそれ以上大きい値または小さい値に設定する。これによって、演算誤差が生じていた場合であっても、付加データを正確に再現することができる。
【0028】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明の画像データ処理方法、画像データ処理装置についての説明であるとともに、本発明の画像データ処理プログラムを記録した記録媒体における画像データ処理プログラムの具体的な処理内容をも含むものである。
【0029】
本発明は前述したように、画像データ(主画像データ)に他のデータ(付加データ)を埋め込むものであるが、実施の形態を説明する前に、本発明の基本的な考え方について説明する。
【0030】
まず、ここでいう付加データとは、前述したように、主画像データを補完する文字データ、音データ、プログラムデータ、他の画像データなどであり、さらには、著作権情報などであってもよい。
【0031】
なお、文字データの例としては、たとえば、主画像データについての百科事典的あるいは辞書的な情報が考えられる。また、音データの例としては、たとえば、主画像データに対する視覚障害者向けの音声データや、主画像データが動物画像である場合にはその鳴き声、主画像データが人物画像である場合にはその人物の声、主画像データが楽器である場合にはその音色、主画像データが風景画像である場合には、その風景にマッチしたBGMなどが考えられる。
【0032】
また、本発明の適用できる画像データ形式としては、原理的にどのような画像データ形式であってもよいが、ここでの説明では、インタネットなどで標準的に用いられているJPEG規格の画像データであるとし、このJPEG規格の画像データ(主画像データ)に上述したような付加データを埋め込む例について説明する。
【0033】
画像データは、本来、ある一定の範囲内の値を持つものである。ところが、画像データ処理、特に、符号化を行う場合、その処理の演算の精度不足や情報の切り捨てによって、復号化された画像データが、本来の表示範囲を超える場合がある。
【0034】
たとえば、それぞれの画素が8ビットで表される値を有する画像データにおいては、画像を構成する色要素の値は、0〜255の範囲の値を有するべきである。しかし、上述した理由によって、復号化されたデータが、この範囲を超える場合がある。なお、通常のJPEG復号化処理においては、飽和処理がなされるので、0よりも小さい値は0に、255よりも大きな値は255に設定される。
【0035】
本発明は、付加データをこの本来の表示範囲(8ビットデータの場合、0〜255)を超える値として主画像データに埋め込むものである。
【0036】
たとえば、本来の表示範囲が0〜255であるとして、付加データを0よりも小さい値として埋め込む場合は、1バイトのデータを、−1から−256の値としてJPEG規格の主画像データに埋め込む。また、付加データを255よりも大きな値として埋め込む場合は、1バイトのデータを、256〜511の値としてJPEG規格の主画像データに埋め込む。
【0037】
今、図1(a)に示すような黒と白の2値画像でなる主画像データがあるとする。この主画像データにおいて、たとえ、その主画像データの値が0よりも小さいところがあっても、従来のJPEG復号化ソフトウエアを用いて復号すれば、すべて0(黒)として復元され、同様に、255よりも大きいところがあってもすべて255(白)として復元される。
【0038】
このように従来の通常のJPEG復号化ソフトウエアによって復号化処理を行えば、本来の表示範囲から外れた値が存在しても、飽和処理によって0〜255の範囲の主画像データとして復元される。
【0039】
本発明は、この本来の表示範囲から外れた領域に積極的に利用して、その領域に付加データを埋め込もうとするものである。
【0040】
たとえば、図1(a)におけるラインL1に沿った部分の値は、図1(b)の太線Kで示すような値の変化となり、その0よりも小さい部分に、付加データD1を−1から−256の範囲の値として埋め込み、255よりも大きい部分に、付加データD2を256〜511の値として埋め込む。
【0041】
なお、この図1は、負方向(0より小さい領域)と正方向(255よりも大きい領域)の両方に付加データD1,D2を埋め込んだ例であるが、図2に示すように、負方向のみに付加データD1を埋め込むことも可能であり、また、図示しないが、正方向のみに付加データを埋め込むことも可能である。
【0042】
このように通常の範囲外に従データを埋め込んで、それを本発明のJPEG復号化処理を行うと、主画像データについては、上述同様、0〜255のデータとして復元され、同時に、0より小さい値を持つデータおよび255より大きい値を持つデータは、それぞれ付加データとして復号化処理がなされる。
【0043】
なお、この付加データの埋め込まれた符号化データ(これをここでは拡張JPEGデータと呼ぶ)は、見かけ上、標準的なJPEGデータと全く同等である。したがって、このようなJPEGデータは、従来の通常のJPEG復号化ソフトウエアによっても復号化処理を行うことができるが、その場合、飽和処理によって0〜255の範囲の主画像データのみが復元され、付加データ部分はすべて0または255として処理され、付加データとして現れてはこない。
【0044】
一方、この拡張JPEGデータを、専用のJPEG復号化ソフトウエアによって復号化処理を行えば、主画像データは勿論、付加データ部分も復号化されて、主画像データとともに付加データも復元することができる。しかも、付加データはそれぞれの主画像データそのものに埋め込まれているので、主画像データと付加データとの位置関係はそのままごく自然に表現される。これによって、たとえば、画面上に表示された複数種類の主画像を切り分けるなどの編集作業を行っても、それぞれの主画像データとそれに対応する付加データとの対応が崩れることがない。以下、本発明の具体例について説明する。
【0045】
まず、主画像データの一部を付加データに入れ替えることで付加データを埋め込むことを考える。この場合は、主画像データにおいて、付加データの埋め込みをブロックを特定して、その埋め込みブロックに付加データを埋め込むので、その部分の主画像データはつぶれることになる。
【0046】
図3に示すように、たとえば、4×6のブロックで構成される主画像データブロックB1があるとする。なお、1つ1つのブロックは8画素×8画素で構成されているものとし、符号化処理など様々な処理はこのブロックごとになされるものとする。したがって、付加データの埋め込みもブロック単位で行う。ここでは、このような主画像データブロックB1に対して、太線の枠Wで囲った4つのブロックの部分(データ埋め込みブロックB2という)に付加データを埋め込むとする。
【0047】
このようにデータ埋め込みブロックB2を特定して付加データを埋め込む例としては、たとえば、カラー画像の中に、白地に黒い文字データなどを表現したり、逆に、黒い背景に白抜きの文字データなどを表現したりする場合などが一つの例として挙げられる。なお、このデータ埋め込みブロックB2は任意の位置に設定することができる。
【0048】
また、図4は主画像データにおける階調表示部分Hには、付加データの埋め込みを行わず、黒部分(0よりも小さい部分)のみに付加データD1を埋め込ませた例を示す図である。また、ここでは図示しないが、白部分(255よりも大きい部分)のみに付加データを埋め込ませることもできる。
【0049】
その応用例として図5に示すように、犬や牛などの動物が描かれた主画像データの中で、階調表示部分はそのままにして、表示最小値(0)や表示最大値(255)を持つ画素を選び、その表示最小値(0)や表示最大値(255)を持つ画素に少量の付加データを埋め込ませることができる。
【0050】
この図5では、「Copyright」という文字が、主画像データ中の表示最小値と表示最大値を有する部分に付加データとして埋め込まれた様子を示している。なお、図5において、「Copyright」を構成する1つ1つの文字から出されている矢印の先端部分が、主画像データにおける表示最小値(0)や表示最大値(255)の部分であるとする。
【0051】
このように、データ埋め込みブロックを特定せずに、主画像データ中の表示最小値や表示最大値を持つ画素に付加データを埋め込ませる手法は、主画像データを復元したときに、主画像データはそのままの状態で復元され、外観上からは付加データが埋め込まれているか否かさえもわからず、また、埋め込まれていることがわかってもその位置が外観上からは見えないので、著作権情報などを画像に埋め込む場合に有効なものとなる。
【0052】
図6はその具体的な数値例を示すものである。図6(a)は主画像データのそれぞれの画素ごとの値を部分的に取り出して示すもので、その値の範囲は階調表示範囲である0〜255の間の値となっている。図6(b)は付加データの値を部分的に取り出して示すものであり、その値がたとえば、31,56,67,157,・・・というような値であるとする。
【0053】
このような付加データを主画像データに埋め込む場合、主画像データの中から表示最大値(255)または表示最小値(0)を選んで、図6(c)に示すように、その表示最大値または表示最小値に埋め込みデータを埋め込んで行く。この場合、図6(a)における主画像データにおいて表示最小値0が存在するので、その部分に、図6(b)における付加データの値31をその表示最小値0に埋め込む。つまり、0−31を計算して、−31の値として埋め込む。次に、図6(a)における主画像データにおいて表示最大値255が存在するので、その部分に、図6(b)における付加データの値56をその表示最大値255に埋め込む。つまり、255+56を計算して、311の値として埋め込む。
【0054】
このように、主画像データにおける表示最大値または表示最小値を見つけ、表示最大値に対しては表示最大値に付加データを足し算し、表示最小値に対しては表示最小値から付加データを引き算して順次埋め込んで行く。
【0055】
このようにして、主画像データに付加データが埋め込まれたあと、それを復号化処理すると、従来の通常の画像復号化ソフトウエアでは、図6(d)に示すように、埋め込みデータの埋め込まれた部分の値−31は0に、値311は255に飽和処理され、主画像データのみが復元される。
【0056】
これに対して、本発明における画像復号化ソフトウエアにより復号化を行えば、主画像データは従来と同様に復号化され、さらに、付加データの埋め込まれた部分の値−31は、表示最小値0から−31を引き算、つまり、0−(−31)を計算することによって、図6(e)に示すように、付加データとしての値31を得る。また、付加データの埋め込まれた部分の値311は、その値311から表示最大値255を引き算、つまり、311−255を計算することによって、同じく図6(e)に示すように、付加データとしての値56を得る。
【0057】
これを全ての付加データの埋め込み部分について行えば、図6(b)に示す付加データが復元される。
【0058】
図7は本発明の符号化処理を実現するための符号化装置の構成を示す図であり、符号化すべき主画像データを入力する符号化画像データ入力手段1、DCT(Discrete Cosine Transform)手段2、量子化手段3、ハフマン符号化手段4、JPEGデータ出力手段5などの従来の標準的な符号化装置が有する符号化部としての構成要素の他に、本発明では、付加データ埋め込み部として、付加データを入力する付加データ入力手段6、その付加データの埋め込み位置や埋め込むべき位置の値を、符号化画像データ入力手段1からの画像データ(主画像データ)に基づいて判定するデータ埋め込み位置判定手段7、付加データ入力手段6から入力された付加データに対し付加データとしての値を生成する付加データ生成手段8、符号化画像データ入力手段1により入力された主画像データと付加データ生成手段で生成された付加データのいずれかを符号化すべきデータとして選択するための符号化データ切り替え手段9などが付け加えられた構成となっている。
【0059】
このような構成において、上述の付加データ生成手段8が行う付加データの生成処理は、図8に示すように、付加データ入力手段6からの付加データとデータ埋め込み位置判定手段7からの埋め込み位置情報を入力すると(ステップs1)、その埋め込み位置が表示最小値か否かを判定し(ステップs2)、表示最小値(この実施の形態では、本来の表示範囲を0〜255としているので、表示最小値は0)であれば、その表示最小値0から付加データを引き算する(ステップs3)。たとえば、付加データの値が30であるとすれば、付加データを−30とする。
【0060】
一方、ステップs2における判定が、埋め込み位置が表示最小値でないと判定された場合には、埋め込み位置が表示最大値か否かを判定し(ステップs4)、表示最大値(この場合、表示最大値は255)であれば、その表示最大値255に付加データを足し算する(ステップs5)。たとえば、付加データの値が50であるとすれば、付加データの値を305とする。
【0061】
また、埋め込み位置が表示最小値でもなく表示最大値でもない場合には、付加データは埋め込めないとする(ステップs6)。
【0062】
以上のような処理を付加すべきデータのそれぞれの画素の値について行うことによって、付加データが生成され、その付加データは符号化データ切り替え手段9に与えられる。
【0063】
この符号化データ切り替え手段9は、符号化画像データ入力手段1からの主画像データと付加データ生成手段8からの付加データを順次切り換えて、DCT手段2に送出する。そして、DCT手段2、量子化手段3、ハフマン符号化手段4によって、主画像データや埋め込みデータの区別なく従来から行われているJPEG規格の符号化処理が行われ、JPEGデータ出力手段4からJPEGデータとして出力される。
【0064】
図9は図7によって生成されたJPEGデータを復号化する復号化装置の構成を示す図であり、復号化すべきJPEGデータを入力するJPEGデータ入力手段11、ハフマン復号化手段12、逆量子化手段13、逆DCT手段14、画像再構成手段15などの従来の標準的な復号化装置が有する復号化部としての構成要素の他に、本発明では、付加データ再生部として、逆DCT手段14から渡された逆DCT変換後のデータに付加データが存在するか否かを判定するデータ判定手段16、付加データがあればその付加データの埋め込み位置を記憶する付加データ位置記憶手段17、付加データがあればその付加データを抽出する付加データ抽出手段18、抽出された付加データを記憶する付加データ記憶手段19などが付け加えられた構成となっている。
【0065】
この付加データ再生部が行う処理は、図10に示すフローチャートに示すように、逆DCT手段14からの復号化されたデータを入力し(ステップs11)、そのデータが表示範囲内(この実施の形態では、0〜255の範囲)にあるか否かを判定し(ステップs12)、そのデータが表示範囲内でなければ、その表示範囲外の領域に何らかのデータが埋め込まれているとして、値が正であるか否かを判断し(ステップs13)、正でなければ、表示最小値(ここでは0)からそのデータを引き算する(ステップs14)。たとえば、逆DCT手段14から渡されたデータが−30であったとすれば、0−(−30)=30とする。
【0066】
また、ステップs13の処理において、値が正であると判定された場合は、そのデータから表示最大値(この場合255)を引き算する(ステップs15)。たとえば、逆DCT手段14から渡されたデータが305であったとすれば、305−(255)=50とする。
【0067】
このような処理を逆DCT手段14から渡されたデータのなかで、表示範囲外とされたデータすべてについて行うことによって、埋め込みデータが復元され、その復元データを記憶するとともに、その位置を記憶する(ステップs16)。
【0068】
ところで、ステップs12の処理において、逆DCT手段14から渡されたデータが表示範囲内にある場合には、主画像データであるとみなして、従来から普通に行われている画像データ処理が行われる(ステップs17)。
【0069】
なお、上述した図8や図10における表示最大値はここでは255、表示最小値は0としたが、本来のそれらの値に、演算誤差を考慮したマージンを加えた値としてもよい。これは、付加データが埋め込まれていない領域でも、本当の演算誤差によって本来の表示範囲を超えた値となる場合もあり、その分の余裕を少し取っておいた方が都合のよい場合もある。これに対応できるように、付加データの値を、本来の表示範囲の最大値や最小値よりも少し離れた値を基点にそれ以上大きい値または小さい値に設定する。これによって、演算誤差が生じていた場合であっても、付加データを正確に再現することができる。
【0070】
また、図11は付加データが埋め込まれた画像データにおいて、ユーザがマウスなどで埋め込み位置を指定することによって、その位置に埋め込まれた付加データを再生させる機能を付加した復号化装置のブロック図である。
【0071】
この図11は図9に示す付加データ再生部の構成として、選択位置入力手段20、付加データ位置/選択位置入力比較手段21、付加データ選択手段22、付加データ再生手段23が付け加えられた構成となっており、その他、図9と同一部分には同一符号が付されている。
【0072】
この図11の処理内容としては、ユーザによって、選択位置入力手段20(マウスなど)によって、所定の位置が指定されると、その位置情報と付加データ位置記憶手段17に記憶されている位置情報とを、付加データ位置/選択位置入力比較手段21が比較することで、付加データ位置記憶手段17に記憶されている位置情報を得て、その位置情報を付加データ選択手段22に渡し、この付加データ選択手段22がその位置情報に基づいて、付加データ記憶手段19から付加データを選択して、それを付加データ再生手段23に渡す。この付加データ再生手段23は、付加データ選択手段22から渡された付加データを再生処理する。
【0073】
この図11に示される復号化装置により、たとえば、図12や図13に示すような付加データの再生が可能となる。
【0074】
図12の例は、ユーザが犬の画像の下に書かれた「いぬ」という文字部分(矢印Aで示す)をマウスなどで指示(クリック)した場合、犬についての百科事典的な説明がポップアップ表示などによって表示された例を示すもので、この「いぬ」と書かれた部分に、ポップアップ表示された文字データが付加データとして埋め込まれている。
【0075】
一方、図13の例は、ユーザが犬の画像の下に書かれた「いぬ」という文字部分Aをマウスなどでクリックした場合、犬の鳴き声がたとえば「ワンワン」といった音声として再生された例を示すもので、この「いぬ」と書かれた部分に、犬の鳴き声を示す音声データが付加データとして埋め込まれている。
【0076】
この図12や図13の例からもわかるように、本発明では、付加データはそれぞれ対応する画像データ中に埋め込まれている。これによって、たとえば、画像の編集を行って、それぞれの画像を切り分けた場合でも、画像データと埋め込みデータの対応関係が崩れることがなくなる。
【0077】
一例として、図14に示すように、4つの動物画像を、3つのグループG1,G2,G3にわけるような編集作業を行った場合、それぞれのグループG1,G2,G3と、それに対する付加データの対応関係はそのまま保存される。ちなみに、従来のように、主画像データと付加データを別領域に保存する方式では、このような編集作業を行った場合、両者の対応関係は崩れてしまうことになる。
【0078】
また、本発明は付加データを図15や図16のように埋め込むことも可能である。図15の例は、付加データが画面に表示された画像の下部の黒い帯部分C1に存在することをユーザに明示的に示した例である。たとえば、ここでは図示されていないが、黒い帯部分C1に「ここに説明内容が埋め込まれています」というように、ユーザに付加データの存在を示すようなこともできる。そして、たとえば、その部分をユーザがマウスなどでクリックすると、たとえば、画面に表示されている動物画像などについての説明が音声として出力されたり、文字によって表現されたりする。
【0079】
また、図16の例は、付加データの存在する場所を外観上からはわからないように付加データを埋め込んだ例であり、この場合、付加データは動物画像を囲む額縁部分C2に埋め込まれている。この場合も、ユーザが額縁部分C2をマウスなどでクリックすると、たとえば、画面に表示されている動物画像などについての説明が音声として出力されたり、文字によって表現されたりする。
【0080】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施の形態では、主画像データが8ビット画像の例について説明しているので、階調表示範囲を0〜255とし、それに伴って、付加データも0〜255の範囲外のデータとしているが、主画像データのビット数が異なれば、当然のことながら、付加データの値もそれに伴って異なってくる。
【0081】
また、前述の実施の形態では、画像データの形式はをJPEG規格の画像データとしているが、前述したように、本発明はどのような画像形式にも適用できるものである。
【0082】
また、本発明は、以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができ、本発明はその処理プログラムが記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【0083】
【発明の効果】
以上説明したように本発明は、主画像データにおける本来の表示範囲(たとえば、8ビット画像であれば、0〜255の範囲)を外れた領域を利用し、そこに付加データを埋め込もうとするものである。このように、本来の表示範囲を外れた領域に付加データが埋め込まれて符号化されたデータは、見かけ上は、主画像データを符号化した通常の符号化データと同等であるので、従来から通常に行われている画像復号化ソフトウエアによって従来通り復号化処理することができる。ただし、その場合は、主画像データは従来通り普通に復号化処理されるが、付加データ部分は飽和処理される。なお、その付加データが埋め込まれた符号化データを本発明の画像復号化ソフトウエアを用いて復号化処理すれば、主画像データは従来通り普通に復元できることは勿論、付加データも復元できる。
【0084】
なお、本発明の場合は、主画像そのものに付加データを埋め込むので、主画像と付加データとの位置関係を確実に対応付けることができる。これによって、たとえば、1つの画面上に複数種類の主画像が存在していて、それぞれの主画像に対応して付加データが埋め込まれているような場合、編集用ソフトウエアなどを用いて、これら複数種類の主画像を切り分けるなどの編集作業を行っても、それぞれの主画像とそれに対応する付加データとの対応が崩れることがない。
【0085】
また、本発明は、本来の表示範囲の最大値または最小値に、その付加データの値を足したり引いたりするだけの簡単な演算で、付加データの埋め込みや抽出ができるので、処理能力のそれ程高くないCPUでも対応することができ、安価なシステムにも適用できる。
【図面の簡単な説明】
【図1】2値画像における本来の表示範囲(0〜255)から外れた正および負の両方の領域にそれぞれ付加データを埋め込む例を説明する図である。
【図2】2値画像における本来の表示範囲(0〜255)から外れた負の領域のみに付加データを埋め込む例を説明する図である。
【図3】主画像データの中でデータ埋め込みブロックを特定して付加データを埋め込む場合を説明する図である。
【図4】階調表示された主画像データの表示最大値部分に付加データを埋め込んだ例を説明する図である。
【図5】著作権情報などを主画像データ中の表示最大値または表示最小値に埋め込んだ例を説明する図である。
【図6】図5の例を具体的な数値例を用いて説明する図である。
【図7】本発明の符号化処理を実現するための符号化装置の構成を示すブロック図である。
【図8】図7における付加データ生成処理を説明するフローチャートである。
【図9】本発明の復号化処理を実現するための復号化装置の構成を示すブロック図である。
【図10】図9における付加データ再生処理を説明するフローチャートである。
【図11】図9においてユーザがマウスなどで埋め込み位置を指定することによって、その位置に埋め込まれた付加データを再生させる機能を付加した復号化装置のブロック図である。
【図12】付加データの具体的な再生例を説明する図であり、付加データとして文字データが再生される例を説明する図である。
【図13】付加データの具体的な再生例を説明する図であり、付加データとして音データが再生される例を説明する図である。
【図14】表示画面上に複数の主画像が存在する場合に、それを切り分けたときそれぞれの主画像データと付加データとの対応関係について説明する図である。
【図15】付加データの埋め込み例を説明する図であり、ユーザに明示的に付加データの存在を示す例を説明する図である。
【図16】付加データの埋め込み例を説明する図であり、付加データの存在を外観からはわかりにくくして埋め込んだ例を説明する図である。
【図17】主画像データに付加データを埋め込む場合の従来の手法を説明するデータ構造図である。
【符号の説明】
1 符号化画像データ入力手段
2 DCT手段
3 量子化手段
4 ハフマン符号化手段
5 JPEGデータ出力手段
6 付加データ入力手段
7 データ埋め込み位置判定手段
8 付加データ生成手段
9 符号化データ切り替え手段
11 JPEGデータ入力手段
12 ハフマン復号化手段
13 逆量子化手段
14 逆DCT手段
15 画像再構成手段
16 データ判定手段
17 付加データ位置記憶手段
18 付加データ抽出手段
19 付加データ記憶手段
20 選択位置入力手段
21 付加データ位置/選択位置入力比較手段
22 付加データ選択手段
23 付加データ再生手段
Claims (12)
- 主画像データに付加データを埋め込むことにより、付加データの埋め込まれた主画像データとし、前記付加データの埋め込まれた主画像データを符号化する画像データ処理方法であって、
前記付加データを、前記主画像データの本来の表示範囲から外れた飽和処理されるべき値として前記主画像データに埋め込む付加データ埋め込みステップと、
前記付加データの埋め込まれた主画像データを符号化して、符号化データとして出力する符号化データ出力ステップと、
を有し、
前記付加データ埋め込みステップは、前記付加データを前記本来の表示範囲の最大値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最小値から引いた値とすることを特徴とする画像データ処理方法。 - 請求項1に記載の画像データ処理方法によって符号化された符号化データを復号化する画像データ処理方法であって、
前記符号化データを復号化して復号化データとする復号化ステップと、
前記復号化データの値の大きさを判定し、前記復号化データの値が前記本来の表示範囲内の値である場合には、通常の画像データ処理を行い、前記復号化データの値が前記本来の表示範囲を外れた値である場合には、前記復号化データから付加データを再生する付加データ再生ステップと、
を有し、
前記付加データ再生ステップは、前記本来の表示範囲を外れた場合における付加データの再生処理として、前記復号化データの値が正か負かを判定し、前記復号化データの値が正である場合には、前記復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、前記復号化データの値が負である場合には、前記本来の表示範囲の最小値から前記復号化データの値を引いた値を付加データとして抽出することを特徴とする画像データ処理方法。 - 前記付加データ再生ステップは、抽出された前記付加データの値と前記付加データの埋め込み位置とを記憶するステップをさらに有することを特徴とする請求項2に記載の画像データ処理方法。
- 前記本来の表示範囲の最大値は、当該最大値に演算誤差を考慮した値を加えた値とし、前記本来の表示範囲の最小値は、当該最小値に演算誤差を考慮した値を引いた値とすることを特徴とする請求項1〜3のいずれかに記載の画像データ処理方法。
- 主画像データに付加データを埋め込むことにより、付加データの埋め込まれた主画像データとし、前記付加データの埋め込まれた主画像データを符号化する画像データ処理装置であって、
前記付加データを、前記主画像データの本来の表示範囲から外れた飽和処理されるべき値として前記主画像データに埋め込む付加データ埋め込み部と、
前記付加データの埋め込まれた主画像データを符号化して、符号化データとして出力する符号化部と、
を有し、
前記付加データ埋め込み部は、前記付加データを前記本来の表示範囲の最大値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最小値から引いた値とすることを特徴とする画像データ処理装置。 - 請求項5に記載の画像データ処理装置によって符号化された符号化データを復号化する画像データ処理装置であって、
前記符号化データを復号化して復号化データとする復号化部と、
前記復号化データの値の大きさを判定し、前記復号化データの値が前記本来の表示範囲内の値である場合には、通常の画像データ処理を行い、前記復号化データの値が前記本来の表示範囲を外れた値である場合には、前記復号化データから付加データを再生する付加データ再生部と、
を有し、
前記付加データ再生部は、前記本来の表示範囲を外れた場合における付加データの再生処理として、前記復号化データの値が正か負かを判定し、前記復号化データの値が正である場合には、前記復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、前記復号化データの値が負である場合には、前記本来の表示範囲の最小値から前記復号化データの値を引いた値を付加データとして抽出することを特徴とする画像データ処理装置。 - 前記付加データ再生部は、抽出された前記付加データの値と前記付加データの埋め込み位置とを記憶する処理をさらに行うことを特徴とする請求項6に記載の画像データ処理装置。
- 前記本来の表示範囲の最大値は、当該最大値に演算誤差を考慮した値を加えた値とし、前記本来の表示範囲の最小値は、当該最小値に演算誤差を考慮した値を引いた値とすることを特徴とする請求項5〜7のいずれかに記載の画像データ処理装置。
- 主画像データに付加データを埋め込むことにより、付加データの埋め込まれた主画像データとし、前記付加データの埋め込まれた主画像データを符号化する画像データ処理プログラムであって、
前記付加データを、前記主画像データの本来の表示範囲から外れた飽和処理されるべき値として前記主画像データに埋め込む付加データ埋め込みステップと、
前記付加データの埋め込まれた主画像データを符号化して、符号化データとして出力する符号化データ出力ステップと、
を有し、
前記付加データ埋め込みステップは、前記付加データを前記本来の表示範囲の最大値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最大値に加えた値とし、前記付加データの値を前記本来の表示範囲の最小値に埋め込む場合は、当該付加データの値を前記本来の表示範囲の最小値から引いた値とすることを特徴とする画像データ処理画像データ処理プログラム。 - 請求項9に記載の画像データ処理プログラムによって符号化された符号化データを復号化する画像データ処理プログラムであって、
前記符号化データを復号化して復号化データとする復号化ステップと、
前記復号化データの値の大きさを判定し、前記復号化データの値が前記本来の表示範囲内の値である場合には、通常の画像データ処理を行い、前記復号化データの値が前記本来の表示範囲を外れた値である場合には、前記復号化データから付加データを再生する付加データ再生ステップと、
を有し、
前記付加データ再生ステップは、前記本来の表示範囲を外れた場合における付加データの再生処理として、前記復号化データの値が正か負かを判定し、前記復号化データの値が正である場合には、前記復号化データの値から前記本来の表示範囲の最大値を引いた値を付加データとして抽出し、前記復号化データの値が負である場合には、前記本来の表示範囲の最小値から前記復号化データの値を引いた値を付加データとして抽出することを特徴とする画像データ処理プログラム。 - 前記付加データ再生ステップは、抽出された前記付加データの値と前記付加データの埋め込み位置とを記憶するステップをさらに有することを特徴とする請求項10に記載の画像データ処理プログラム。
- 前記本来の表示範囲の最大値は、当該最大値に演算誤差を考慮した値を加えた値とし、前記本来の表示範囲の最小値は、当該最小値に演算誤差を考慮した値を引いた値とすることを特徴とする請求項9〜11のいずれかに記載の画像データ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001043731A JP3777993B2 (ja) | 2001-02-20 | 2001-02-20 | 画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001043731A JP3777993B2 (ja) | 2001-02-20 | 2001-02-20 | 画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002247340A JP2002247340A (ja) | 2002-08-30 |
JP3777993B2 true JP3777993B2 (ja) | 2006-05-24 |
Family
ID=18905852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001043731A Expired - Fee Related JP3777993B2 (ja) | 2001-02-20 | 2001-02-20 | 画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3777993B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4150923B2 (ja) | 2003-12-09 | 2008-09-17 | 富士ゼロックス株式会社 | データ出力システムおよびその方法 |
JP4785625B2 (ja) * | 2006-06-02 | 2011-10-05 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム、記録媒体、システム |
JP2008263619A (ja) * | 2008-05-12 | 2008-10-30 | Fuji Xerox Co Ltd | データ入力システム |
-
2001
- 2001-02-20 JP JP2001043731A patent/JP3777993B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002247340A (ja) | 2002-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3881794B2 (ja) | 電子透かしの埋め込み方法およびその復号方法 | |
US7548633B2 (en) | Data processing apparatus and method, data processing program, and storage medium | |
JP2001119555A (ja) | 時系列化された一次元のデータにおける電子透かし | |
JPH10243398A (ja) | 動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置 | |
JP3924562B2 (ja) | 可変位置を有する電子透かし | |
JP3777993B2 (ja) | 画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラム | |
JP3672143B2 (ja) | 電子すかし作成方法 | |
JP2006025409A (ja) | 画像処理装置及び画像処理方法 | |
JP3805141B2 (ja) | 画像処理方法及び装置と記憶媒体 | |
JP4124366B2 (ja) | 電子透かしの埋め込み方法および抽出方法 | |
JP2003051931A (ja) | デジタル画像への情報埋め込み装置 | |
JPH11316599A (ja) | 電子透かし埋め込み装置、オーディオ符号化装置および記録媒体 | |
JP2000358154A (ja) | 透かしマークの可視度を調整可能な電子透かし | |
JP3373799B2 (ja) | マーキング処理装置、マーク除去装置およびこれらの方法 | |
JP4471331B2 (ja) | 画像処理装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体 | |
CA2374323C (en) | Digital image watermarking method | |
JP3884997B2 (ja) | 電子透かし埋め込み装置及び電子透かし抽出装置並びにそれらの方法、コンピュータプログラム、記録媒体 | |
JP4475622B2 (ja) | 画像処理装置及びその制御方法及びコンピュータプログラム | |
JP2006121460A (ja) | 電子透かしの埋め込み方法および抽出方法 | |
JP2000350002A (ja) | データに透かし情報を埋め込む方法およびプログラム記録媒体 | |
JP3600018B2 (ja) | データ埋込み装置およびデータ生成装置 | |
JP3722002B2 (ja) | 電子透かし情報埋め込み装置、電子透かし情報再生装置及び記録媒体 | |
JP3703445B2 (ja) | 電子透かし埋め込み装置、電子透かし抽出装置、及びそれらの方法 | |
JP3774631B2 (ja) | 情報埋め込み装置及び情報復元装置及び方法及びコンピュータプログラム及び記憶媒体 | |
KR20160070674A (ko) | 이미지 부호화 및 복호화 장치 및 그 작동 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090310 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |