JP3654332B2

JP3654332B2 - Information embedding method and apparatus, and recording medium

Info

Publication number: JP3654332B2
Application number: JP21280098A
Authority: JP
Inventors: 良徳宇佐美
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1998-07-28
Filing date: 1998-07-28
Publication date: 2005-06-02
Anticipated expiration: 2018-07-28
Also published as: JP2000050046A

Description

【０００１】
【発明の属する技術分野】
本発明は、オリジナル画像データにこの画像データに関連する付帯情報を深層暗号化して埋め込む情報埋込方法および装置並びに情報埋込方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
画像データのデジタル化が進み、例えばデジタルカメラのような撮像装置により、撮影した画像に対して多様な処理を施して利用することが可能となってきている。例えば、複数の画像を撮影し、これらの画像を繋ぎ合わせて単一の画像では表現できないような巨大な視野角や奥行き感を表現するパノラマ処理等は、デジタルならではの特徴的で高度な画像合成技術を用いたものである。このようなパノラマ処理は、複数の画像を後で合成しやすいように、予め用意したパノラマ作用画像撮影三脚により、合成する画像の座標が幾何学的に一致するように撮影するか、あるいは合成する画像が過不足なく一致するように撮影した後、各画像に含まれる幾何情報から歪み補正や補間を行って画像を合成するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、合成する画像の座標を幾何学的に一致させるためには、高い剛性と精度を持った三脚を使用する必要があるため、撮影が大掛かりなものとなる。一方、画像に含まれる幾何情報から補正等を行って画像を合成する方法の場合、大掛かりな装置は必要ないものの、撮影時に得られなかった画像の整合を合成する処理において行う必要がある。例えば、図６に示すように、画像を合成する際に各画像の特徴が連続するように何らかの処理（マニュアルまたは画像から特徴点を探す高度なアルゴリズム）を施さねばならない。また、図６に示すように、複数の撮影画像における照明条件（この場合は太陽）が異なる場合、各画像の露光やかぶり等の画像形成状態が異なるため、２つの画像が接する部分において濃度がスムーズに変化するように合成する必要があるが、画像形成状態があまりに異なると濃度を補正しきれない場合がある。また、図７に示すように画像撮影の場所や撮影倍率が異なる場合は、それぞれの画像の特徴点が対応するように画像を拡大あるいは縮小して各画像の関係を大幅に修正する必要がある。
【０００４】
さらに、デジタルカメラにおいて使用しているレンズの収差等により、図８に示すように、実際は画像そのものが鼓状に変形している場合(ｙ＝ｆ・θ，ｙ＝ｆ・ｓｉｎθ）（図８（ｂ））や、合成の際に変形する必要がある場合(ｆ＝ｆ・ｔａｎθ）（図８（ａ））があり、厳密にはこのような歪みも生じるため、さらに合成処理が複雑なものとなる。
【０００５】
このため、予め画像の撮影ポジション等の撮影情報をその画像の付帯情報として画像を表す画像データに添付することが考えられる。しかしながら、画像の一部分のみを使用して合成を行ったり、その一部分のみを幾何的に歪めたりするような合成処理を行う場合、画像に添付された付帯情報のみでは情報が不足してしまい、正確な合成を行うことができない場合がある。
【０００６】
また、画像に対して周波数処理等の画像処理を施す際にも、画像の周波数情報を付帯情報としてその画像を表す画像データに添付することが考えられるが、画像データを取得した撮像装置の特性により、画像の部分毎に周波数特性が異なる場合がある。したがって、画像に添付された周波数情報が画像のある部分においては適切であっても、他の部分においては適切でないような状況が生じる。したがって、画像の一部分のみを取り出して付帯情報に基づいて画像処理を施しても、その部分に対して適切な周波数処理を施すことができないような場合がある。
【０００７】
本発明は上記事情に鑑みなされたものであり、合成や画像処理等にその画像の一部分のみが使用される場合であっても、その部分に適切な処理を施すことができるような付帯情報を得ることができる情報埋込方法および装置並びに情報埋込方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による情報埋込方法は、オリジナル画像データにより表されるオリジナル画像を複数の領域に分割して各領域毎の領域画像データを得、
該各領域画像データに、前記各領域に関連する領域付帯情報を深層暗号化して埋め込むことを特徴とするものである。
【０００９】
ここで、「深層暗号化して埋め込む」とは、オリジナルデータの冗長な部分に付帯情報を埋め込むことをいい、その詳細な手法については後述する松井の文献に記載されている。
【００１０】
なお、本発明においては、前記オリジナル画像を複数のブロック領域に分割することが好ましい。
【００１１】
また、前記オリジナル画像を、該オリジナル画像に含まれるオブジェクト毎の領域に分割してもよい。
【００１２】
ここで、「オブジェクト毎の領域に分割する」とは、例えば、オリジナル画像が人物と背景とを含む画像である場合、人物の領域および背景の領域に分割することをいう。
【００１３】
さらに、前記領域付帯情報が、前記各領域の画像処理に関する情報であることが好ましい。
【００１４】
ここで、「画像処理に関する情報」とは、撮影場所と撮影方向から求めた被写体の座標情報、太陽等の光源の有無、レンズの収差等の合成処理に関する情報や、画像の周波数特性等の周波数処理に関する情報等のことをいう。
【００１５】
また、前記領域付帯情報が、前記各領域の検索キーワードを表す情報であることが好ましい。
【００１６】
本発明による情報埋込装置は、オリジナル画像データにより表されるオリジナル画像を複数の領域に分割して各領域毎の領域画像データを得る分割手段と、
該各領域画像データに、前記各領域に関連する領域付帯情報を深層暗号化して埋め込む埋込手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による情報埋込方法をコンピュータに実行させるプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００１８】
【発明の効果】
本発明によれば、オリジナル画像を複数の領域に分割して領域毎の領域画像データを得、各領域毎の領域付帯情報を領域画像データに深層暗号化して埋め込むようにしたものである。このため、各領域毎にその領域に関連する合成処理、周波数処理等の画像処理、検索処理に関する領域付帯情報を埋め込むことができ、埋め込まれた領域付帯情報を読み出すことにより、その領域付帯情報に基づいて領域毎に最適な処理を施すことができる。
【００１９】
また、オリジナル画像データの全体に付帯情報を埋め込んだ場合、オリジナル画像を分割して処理を行うと、付帯情報が消失したり変更されたりするおそれがあるが、本発明によれば、領域毎に領域付帯情報が埋め込まれているため、オリジナル画像を分割してもその分割された領域の付帯情報が消失等することが防止される。
【００２０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２１】
図１は本発明の第１の実施形態による情報埋込装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように、第１の実施形態による情報埋込装置を適用したデジタルカメラは、ＣＣＤ等の撮像手段１と、撮像手段１において得られたオリジナル画像データＳ０により表される画像を複数のブロック毎の領域に分割して各領域毎の領域画像データＳｎを得る分割手段２と、撮像手段１による撮影時における撮影情報を付帯情報Ｈとして生成する付帯情報生成手段３と、分割手段２において分割された領域毎に付帯情報を最適化して領域毎の領域付帯情報Ｈｎを得る最適化手段４と、各領域画像データＳｎに付帯情報Ｈｎを深層暗号化して埋め込んで、ハードディスク、ネットワーク上のデータベース、ＭＯ、ＣＤ−Ｒ、ＺＩＰ等の記録媒体６に記録する埋込手段５とを備える。なお、領域付帯情報Ｈｎは、撮影場所（座標）とこの撮影場所から推測される分割領域内の被写体距離と角度情報、撮影条件（レンズの結像位置、撮影光源の位置、ズーム、絞りの有無、レンズの収差等）等、撮影により取得された画像を部分的に加工したり合成する際に、その領域に最適な処理を施すことができるような情報である。
【００２２】
分割手段２においては、オリジナル画像が複数のブロック毎の領域に分割されるが、ブロックの形状としては矩形のみならず三角形等任意の形状とすることができる。
【００２３】
埋込手段５においては、例えば特開平８−２８９１５９号、同１０−１０８１８０号、特開平９−２１４６３６号等に記載されているような、著作権情報等をオリジナルデータに深層暗号化して埋め込む手法により、領域付帯情報Ｈｎが領域画像データＳｎに深層暗号化して埋め込まれる。この手法は、データの冗長な部分に認証情報や著作権情報を埋め込むことにより、例えばオリジナルデータが画像データの場合、その画像データを再生しただけでは埋め込まれている情報を確認することはできないが、その情報を読出すための装置やソフトウエアを用いることにより、データに埋め込まれている情報を読出して表示等することができるものである。この深層暗号化については種々の文献にその詳細が記載されている（例えば、「電子透かし、松井甲子雄、O plus E No.213,1997年８月）。
【００２４】
このような深層暗号化の手法として、他にも画素空間利用型、量子化誤差利用型、周波数領域利用型等種々の手法が知られている。画素空間利用型は対象画素の近傍の例えば３×３画素の平面を取り出し、この周囲８ビットに付帯情報を埋め込む方法である。量子化誤差利用型は、画像データを圧縮する過程において発生する量子化誤差に着目し、付帯情報のビット系列の０，１で量子化出力を偶数と奇数とに制御して見かけ上量子化ノイズとして付帯情報を画像データに埋め込む方法である。この量子化誤差利用型については、「画像深層暗号」（松井甲子雄、森北出版、１９９３年）にその詳細が記載されている。周波数領域利用型は、画像領域上において視覚的に鈍感な周波数領域に付帯情報を埋め込む方法である。例えば、画像中の高周波成分は視覚的に鈍感な領域であるため、画像データを複数の周波数帯域に分解し、高周波帯域に付帯情報を埋め込み、さらに画像データに再構成することにより付帯情報を埋め込むことができる。また、人間の視覚特性としては、色差や彩度情報は一般に輝度情報よりも階調識別能力が低下し、輝度と色差あるいは彩度情報との差の部分に見えない記録が可能となる領域が存在する。したがって、この領域に付帯情報を埋め込むこともできる。
【００２５】
他にも、画像としてＳ／Ｎの悪いビットプレーンにノイズの冗長に紛れさせて付帯情報を埋め込む方法や、一定の範囲の画素ブロック（空間）における情報変化の冗長性に埋め込む方法、データ圧縮を行う際に符号化によりデータ情報量が縮退する場合の量子化誤差に埋め込む方法等が挙げられる。
【００２６】
次いで、第１の実施形態の動作について説明する。まず、撮像手段１により被写体像を撮像してオリジナル画像データＳ０を得る。オリジナル画像データＳ０は分割手段２において複数の領域に分割され、各領域毎の領域画像データＳｎが得られる。一方で、付帯情報生成手段３において、撮像手段１により被写体像を撮像した際の撮影情報が付帯情報Ｈとして生成され、最適化手段４において付帯情報Ｈが各領域画像データＳｎ毎に最適化されて各領域毎の領域分割情報Ｈｎが得られる。領域分割情報Ｈｎは埋込手段５において領域画像データＳｎ毎に深層暗号化されて埋め込まれ、付帯情報Ｈが埋め込まれたオリジナル画像データＳ１が記録媒体６に記録される。
【００２７】
図２は、付帯情報Ｈが深層暗号化されて埋め込まれたオリジナル画像データＳ１に含まれる領域画像データＳｎから領域毎の領域付帯情報Ｈｎを読出し、領域付帯情報Ｈｎに基づいて複数画像の合成を行う画像合成装置の構成を示す概略ブロック図である。図２に示すようにこの画像合成装置は、記録媒体６からオリジナル画像データＳ１を読み込む読込手段１１と、オリジナル画像データＳ１に含まれる領域画像データＳｎ毎に深層暗号化されて埋め込まれた領域付帯情報Ｈｎを読出す付帯情報読出手段１２と、領域付帯情報Ｈｎに基づいて、合成するオリジナル画像同士における合成に用いられる領域が各オリジナル画像同士で整合するように処理を加えて処理済み画像データＳ２を得る処理手段１３と、処理済み画像データＳ２を合成して合成画像データＳ３を得る合成手段１４とを備える。
【００２８】
処理手段１３は、合成に使用するオリジナル画像の領域が、オリジナル画像同士においてどのように対応するか、またその場合の拡大、縮小、変更をどのように行うべきかを、各領域に埋め込まれた領域付帯情報Ｈｎに基づいて逐次演算、処理を行う。
【００２９】
次いで、図２に示す画像合成装置の動作について説明する。まず、記録媒体６に記録されたオリジナル画像データＳ１が読込手段１１において読み込まれる。一方、オリジナル画像データＳ１の各領域画像データＳｎ毎に埋め込まれた領域付帯情報Ｈｎが付帯情報読出手段１２において読出され、処理手段１３に入力される。処理手段１３においては、領域付帯情報Ｈｎに基づいて、合成するオリジナル画像同士における合成に用いられる領域が、各オリジナル画像同士で整合するように領域画像データＳｎに処理が加えられて処理済み画像データＳ２が得られる。処理済み画像データＳ２は合成手段１４において合成されて合成画像データＳ３が得られる。合成画像データＳ３はモニタあるいはプリンタ等の再生手段（不図示）において再生される。
【００３０】
このように、第１の実施形態によれば、オリジナル画像を複数の領域に分割して領域毎の領域画像データＳｎを得、各領域毎の領域付帯情報Ｈｎを各領域画像データＳｎに深層暗号化して埋め込むようにしたため、各領域毎にその領域に関連する撮影情報を埋め込むことができ、画像合成装置において、埋め込まれた領域付帯情報Ｈｎを読み出すことにより、領域付帯情報Ｈｎに基づいてその領域毎に最適な処理を施して合成を行うことができる。
【００３１】
また、オリジナル画像データＳ１の全体に付帯情報Ｈを埋め込んだ場合、オリジナル画像を分割して処理を行うと、付帯情報Ｈが消失したり変更されたりするおそれがあるが、本実施形態によれば、領域毎の領域画像データＳｎに領域付帯情報Ｈｎが埋め込まれているため、オリジナル画像を分割してもその分割された領域の領域付帯情報Ｈｎが消失等することが防止される。
【００３２】
なお、上記第１の実施形態においては、撮影条件を領域付帯情報Ｈｎとして領域画像データＳｎに埋め込んでいるが、画像の周波数情報を領域付帯情報Ｈｎとして埋め込んでもよい。ここで周波数情報を領域付帯情報Ｈｎとして埋め込む実施形態を第２の実施形態として説明する。
【００３３】
カメラ等の撮像装置は、レンズのような撮像光学系を用いて感光材料やＣＣＤ等の撮像媒体、デバイスに画像を形成する。この際、レンズは光学的な収差等をできるだけ抑制するように設計されている。しかしながら、撮影された画像がレンズのどの部分により結像されるかに応じて、ＭＴＦ（Modulation Transfer Function、光学系の伝達における空間周波数特性を示す評価指標）特性が異なり、その結果、同一画像中においてもＭＴＦ特性が部分毎に異なるものとなってしまう。例えば、多くの場合被写体中心（画角中心）に対してその周辺のＭＴＦは劣化するため、画像の周辺部においては中心部と同等の鮮鋭度や解像度が得られないこととなる。一般的に撮影により取得された撮影画像はその全体が用いられ、撮影画像に対して画像処理を施す際にも画角内のＭＴＦ特性のムラを考慮することなく、中心部分の被写体が最適なものとなるように処理が施される。しかしながら、撮影画像を複数の領域に分割し、各領域毎に上記第１の実施形態に示すように処理を行う場合には、その分割された領域毎に最適な処理が必要となる。
【００３４】
そこで、第２の実施形態においては、撮影画像を複数の領域に分割した場合に、各領域毎の周波数特性を表す周波数情報を各領域画像データＳｎに埋め込むことにより、後の処理において領域毎に最適なシャープネス処理を行うようにしたものである。
【００３５】
レンズ開口は無限ではなく、物体光が全て結像面に到達することはないため、結像に対して鮮鋭度的な影響が現れる。図３は一般的な撮影システムにおけるレンズを中心とした結像系を示す図である。ここで、レンズの結像条件は、
１／ｄ₁＋１／ｄ₂＝１／ｆ（１）
である。すなわち、結像の大きさはｄ₂＝ｆのときに最大となり、像の明るさは（１／ｄ₂ ²）²に比例する。
【００３６】
ここで、ある光の強度分布ｇ（ｘ）を有する被写体を考えると、レンズの開口が有限であるために、結像する画像は入力像からレンズを見込む立体角に入射した光のみである。強度分布ｇ（ｘ）が持つ周波数分布Ｆの回折方向は、フラウンフォッファー近似により、
【００３７】
【数１】

【００３８】
となる。したがって、回折光はθ＝ｓｉｎ^-1（Ｆλ）の方向に進み、Ｆが大きいほどすなわち周波数が高いほどその回折角θが大きいことが分かる。図３における最高周波数成分Ｆｃは、
Ｆｃ＝ｓｉｎθ₀／λ＝Ｄ／２λｄ₁ （３）
となる。したがって、被写体の強度分布ｇ（ｘ）におけるＦｃよりも高い周波数成分は結像に寄与しなくなり、像がぼけるようになる。すなわち、レンズの開口や回折性能等により、結像の解像度が影響を受けることとなる。
【００３９】
フーリエ変換像でこれを説明すると、レンズの後焦点ｚ_i＝ｆにおいて結像した場合、フレネル近似式から結像は、
【００４０】
【数２】

【００４１】
で表される。ここで、レンズ開口として瞳関数Ｐ（ｘ，ｙ）の影響を考慮すると、
【００４２】
【数３】

【００４３】
である。すなわち、開口面の影響（コンボリューション）により像がぼけることとなる。
【００４４】
このように、結像光学系により処理する際に、レンズ特性等の各デバイスの光学特性に応じて、各コントラスト再現（分解）性能が決定されることとなる。その評価指標としては、上述したＭＴＦが用いられるが、ＭＴＦは、
【００４５】
【数４】

【００４６】
で表される。ここで、Ｅ_0jｍａｘ（ｕ）、Ｅ_0jｍｉｎ（ｕ）は、ある周波数（ｕ）における最大、最小の有効露光量であり、これは入力に対する出力画像のコントラストを示すものである。ＭＴＦの特徴として、いくつかのデバイスを経る場合に、最終的なＭＴＦ特性は、例えば、
Ｍsystem＝Ｍlens×Ｍccd×Ｍprinter…
のように、そのデバイス毎のＭＴＦ特性の積により表すことができる。そして、撮影時のレンズ等の光学系によるＭＴＦ特性は、上述したようにレンズの性能やその結像場所等により変更され、撮影された画像の場所毎にＭＴＦ特性が異なるものとなる。
【００４７】
第２の実施形態においては、画像の場所毎におけるＭＴＦ特性の相違に着目して、画像を複数の領域に分解した際に、その領域毎のＭＴＦ特性を周波数情報として埋め込むものである。すなわち、第２の実施形態は、図１に示す第１の実施形態による情報埋込装置の付帯情報生成手段３において、撮影情報に変えてあるいは撮影情報に含めてＭＴＦ特性を表す周波数情報を付帯情報Ｈとして生成し、分割手段２において分割された領域毎に、その領域の周波数特性を領域付帯情報Ｈｎとして埋込手段５において埋め込んで、オリジナル画像データＳ１を生成する。
【００４８】
ここで、オリジナル画像の分割方法としては、第１の実施形態と同様にブロック毎に分割する手法の他、レンズのＭＴＦ特性に対応するように画像の中心から同心円状の領域に分割してもよい。
【００４９】
このような周波数情報を領域付帯情報Ｈｎとして埋め込まれたオリジナル画像データＳ１はトリミング、あるいはクリッピング等の処理を行うためにオリジナル画像の一部のみを使用する場合において、これらの処理に使用する領域画像データＳｎのみを読出すとともに、この領域画像データＳｎから領域付帯情報Ｈｎを読出し、この領域付帯情報Ｈｎに基づいてその領域画像データＳｎに最適なシャープネス処理等の周波数処理を施すことができる。例えば、画像の中心部分の領域に対しては、それほど周波数特性を強調しないような処理が施され、画像の周辺部分の領域に対しては高周波成分を強調するような処理が施される。
【００５０】
なお、上記第１および第２の実施形態においては、オリジナル画像をブロック毎の領域に分割しているが、例えば、被写体とその背景、複数の人物像が含まれている場合は人物像毎、すなわちオリジナル画像に含まれるオブジェクト毎の領域に分割してもよい。
【００５１】
また、上記第１の実施形態においては、埋め込まれた領域付帯情報Ｈｎに基づいて画像の合成を行っているが、必要な領域のみを取り出してトリミングあるいはクリッピング等の処理を行ってもよい。この場合、オリジナル画像に含まれるオブジェクト毎に領域を分割している場合は、そのオブジェクトをそのままトリミングあるいはクリッピングに用いることができるため、より好ましいものである。
【００５２】
次いで、本発明の第３の実施形態について説明する。
【００５３】
図４は本発明の第３の実施形態による情報埋込装置の構成を示す概略ブロック図である。図４に示すように第３の実施形態による情報埋込装置は、図１に示す第１の実施形態による情報読込装置と同様の撮像手段１、分割手段２および埋込手段５を備えてなるものであり、分割された領域毎に埋め込む領域付帯情報Ｈｎとして各領域毎の検索情報Ｋｎを検索情報生成手段２１において生成し、この検索情報Ｋｎを埋込手段５において各領域画像データＳｎに埋込み、検索情報Ｋｎが埋め込まれたオリジナル画像データＳ１を記録するための記録媒体６をデータベースとした点が第１の実施形態と異なるものである。ここで、検索情報Ｋｎとしては、各領域の内容を表すキーワード等が挙げられる。
図５は、第３の実施形態による情報埋込装置により検索情報Ｋｎが埋め込まれた領域画像データＳｎの検索を行うための検索装置の構成を示す概略ブロック図である。図５に示すようにこの検索装置は、図２に示す画像合成装置と同様の読込手段１１と、読込手段１１により読み込まれたオリジナル画像データＳ１に含まれる領域画像データＳｎから検索情報Ｋｎを読出す検索情報読出手段２２と、検索情報Ｋｎに基づいて検索を行う検索手段２３と、検索結果を表示する表示手段２４と、検索キーワード等を入力する入力手段２５とを備える。
【００５４】
次いで、検索装置の動作について説明する。まず、検索を行うために、入力手段２５から検索キーワードを入力する。読込手段１１はデータベースからオリジナル画像データＳ１を読み込むとともに、検索情報読出手段２２において各領域画像データＳｎに埋め込まれている検索情報Ｋｎを読出す。検索情報Ｋｎは検索手段２３に入力され、検索キーワードに該当するか否かの処理がなされて、検索結果が表示手段２４に表示される。
【００５５】
従来、データベースにある画像データの検索を行う際には、データ単位でしか検索を行うことができなかったが、第３の実施形態のようにオリジナル画像データＳ１の各領域画像データＳｎ毎に検索情報Ｋｎを埋め込んでおくことにより、オリジナル画像データＳ１の詳細な要素まで検索を行うことができる。また、検索キーワードが増えるため、より冗長度の高いすなわち曖昧な検索を行うことができる。
【００５６】
なお、上記各実施形態においては、デジタルカメラにより取得されたオリジナル画像データＳ０に付帯情報Ｈを埋め込んでいるが、これに限定されるものではなく、フイルムに記録された画像あるいはプリント画像を光電的に読み取ることにより得られた画像データに対しても、同様に複数の領域に分割して領域画像データＳｎを得、各領域画像データＳｎに領域付帯情報Ｈｎを埋め込むことが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による情報埋込装置の構成を示す概略ブロック図
【図２】画像合成装置の構成を示す概略ブロック図
【図３】一般的な撮影システムにおけるレンズを中心とした結像系を示す図
【図４】本発明の第３の実施形態による情報埋込装置の構成を示す概略ブロック図
【図５】検索装置の構成を示す概略ブロック図
【図６】画像の合成を説明するための図（その１）
【図７】画像の合成を説明するための図（その２）
【図８】レンズによる画像の収差を説明するための図
【符号の説明】
１撮像手段
２分割手段
３付帯情報生成手段
４最適化手段
５埋込手段
６記録媒体
１１読込手段
１２付帯情報読出手段
１３処理手段
１４合成手段
２１検索情報生成手段
２２検索情報読出手段
２３検索手段
２４表示手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information embedding method and apparatus for embedding additional information related to image data in original image data by deep encryption, and a computer-readable recording medium on which a program for causing a computer to execute the information embedding method is recorded It is about.
[0002]
[Prior art]
Digitalization of image data has progressed, and it has become possible to perform various processes on captured images and use them by an imaging device such as a digital camera. For example, panorama processing that captures multiple images and expresses a huge viewing angle and depth that cannot be represented by a single image by connecting these images together is a unique and sophisticated image synthesis unique to digital. It uses technology. In such panorama processing, a plurality of prepared panoramic action image shooting tripods are used so that the coordinates of the images to be combined are geometrically matched or combined so that the images can be easily combined later. After the images are photographed so as to match without excess or deficiency, the images are synthesized by performing distortion correction and interpolation from geometric information included in each image.
[0003]
[Problems to be solved by the invention]
However, in order to geometrically match the coordinates of the image to be synthesized, it is necessary to use a tripod having high rigidity and accuracy, so that the photographing is large. On the other hand, in the method of synthesizing an image by performing correction or the like from geometric information included in the image, a large-scale apparatus is not necessary, but it is necessary to perform in the process of synthesizing image matching that was not obtained at the time of photographing. For example, as shown in FIG. 6, some processing (manual or advanced algorithm for finding feature points from an image) must be performed so that the features of each image are continuous when the images are combined. In addition, as shown in FIG. 6, when the illumination conditions (in this case, the sun) in a plurality of photographed images are different, the image forming state such as exposure and fogging of each image is different, so the density is in the portion where the two images are in contact with each other. Although it is necessary to combine the images so that they change smoothly, there are cases where the density cannot be corrected if the image forming states are too different. Also, as shown in FIG. 7, when the image shooting location and the shooting magnification are different, it is necessary to greatly correct the relationship between the images by enlarging or reducing the images so that the feature points of each image correspond to each other. .
[0004]
Furthermore, as shown in FIG. 8, due to the aberration of the lens used in the digital camera, the image itself is actually deformed into a drum shape (y = f · θ, y = f · sin θ) (FIG. 8). (B)) and there is a case where it is necessary to deform during synthesis (f = f · tan θ) (FIG. 8A). Strictly speaking, such distortion also occurs, so that the synthesis process is further complicated. It will be a thing.
[0005]
For this reason, it is conceivable that shooting information such as a shooting position of an image is attached in advance to image data representing the image as supplementary information of the image. However, when compositing is performed using only a part of the image, or when compositing such that only part of the image is geometrically distorted, the information attached to the image alone is insufficient and accurate. It may not be possible to perform proper synthesis.
[0006]
Also, when image processing such as frequency processing is performed on an image, it is conceivable to attach the frequency information of the image to the image data representing the image as supplementary information, but the characteristics of the imaging device that acquired the image data Therefore, the frequency characteristics may be different for each part of the image. Therefore, there occurs a situation in which the frequency information attached to the image is appropriate in one part of the image but not appropriate in the other part. Therefore, even if only a part of the image is taken out and image processing is performed based on the incidental information, there is a case where appropriate frequency processing cannot be performed on the part.
[0007]
The present invention has been made in view of the above circumstances, and even when only a part of the image is used for composition, image processing, or the like, additional information that can perform appropriate processing on the part is provided. It is an object of the present invention to provide an information embedding method and apparatus and a computer-readable recording medium on which a program for causing a computer to execute the information embedding method is recorded.
[0008]
[Means for Solving the Problems]
The information embedding method according to the present invention divides an original image represented by original image data into a plurality of regions to obtain region image data for each region,
In each region image data, region supplementary information related to each region is embedded by deep encryption.
[0009]
Here, “deep encryption and embedding” refers to embedding incidental information in a redundant portion of original data, and a detailed method thereof is described in Matsui's document described later .
[0010]
In the present invention, the original image is preferably divided into a plurality of block areas.
[0011]
The original image may be divided into regions for each object included in the original image.
[0012]
Here, “dividing into regions for each object” means, for example, when the original image is an image including a person and a background, the image is divided into a person region and a background region.
[0013]
Furthermore, it is preferable that the area-accompanying information is information related to image processing of each area.
[0014]
Here, the “information relating to image processing” refers to subject coordinate information obtained from the shooting location and shooting direction, presence / absence of a light source such as the sun, information relating to synthesis processing such as lens aberration, and frequency such as frequency characteristics of the image. Information related to processing.
[0015]
Moreover, it is preferable that the area-accompanying information is information representing a search keyword for each area.
[0016]
An information embedding device according to the present invention includes a dividing unit that divides an original image represented by original image data into a plurality of regions to obtain region image data for each region;
The area image data is provided with embedding means for embedding area incidental information related to each area by deep encryption.
[0017]
The information embedding method according to the present invention may be provided by being recorded on a computer-readable recording medium as a program for causing a computer to execute the method.
[0018]
【The invention's effect】
According to the present invention, the original image is divided into a plurality of areas to obtain area image data for each area, and the area supplementary information for each area is embedded in the area image data by deep encryption. For this reason, it is possible to embed region-related information related to image processing such as synthesis processing, frequency processing, and search processing related to the region for each region, and to retrieve the region-related information by reading out the embedded region-related information. Based on this, optimal processing can be performed for each region.
[0019]
In addition, when the auxiliary information is embedded in the entire original image data, there is a risk that the auxiliary information may be lost or changed if the original image is divided and processed. Since the area auxiliary information is embedded, even if the original image is divided, the auxiliary information of the divided area is prevented from being lost.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0021]
FIG. 1 is a schematic block diagram showing a configuration of a digital camera to which an information embedding device according to a first embodiment of the present invention is applied. As shown in FIG. 1, the digital camera to which the information embedding device according to the first embodiment is applied has a plurality of images represented by an imaging unit 1 such as a CCD and original image data S0 obtained by the imaging unit 1. The dividing means 2 for dividing the area into blocks for obtaining area image data Sn for each area, the accompanying information generating means 3 for generating the shooting information at the time of shooting by the imaging means 1 as the accompanying information H, and the dividing means 2 Optimizing means 4 for optimizing the supplementary information for each divided area to obtain the regional supplementary information Hn for each area, and embedding the supplementary information Hn in each area image data Sn by deep encryption, And an embedding unit 5 for recording on a recording medium 6 such as a database, MO, CD-R, ZIP, or the like. The region supplementary information Hn includes the shooting location (coordinates), subject distance and angle information in the divided region estimated from the shooting location, shooting conditions (lens imaging position, shooting light source position, zoom, presence / absence of aperture) This is information that allows an optimal process to be performed on an image acquired by photographing, such as lens aberration, when partially processing or synthesizing the image.
[0022]
In the dividing means 2, the original image is divided into regions for each of a plurality of blocks, but the shape of the blocks can be any shape such as a triangle as well as a rectangle.
[0023]
In the embedding means 5, for example, a technique for embedding copyright information or the like in the original data by deep encryption as described in JP-A-8-289159, JP-A-10-108180, JP-A-9-214636, etc. Thus, the region incidental information Hn is deeply encrypted and embedded in the region image data Sn. This method embeds authentication information and copyright information in redundant parts of the data. For example, when the original data is image data, the embedded information cannot be confirmed only by reproducing the image data. By using a device or software for reading out the information, the information embedded in the data can be read out and displayed. The details of this deep encryption are described in various documents (for example, “digital watermarking, Kokoo Matsui, O plus E No. 213, August 1997)”.
[0024]
As such deep layer encryption methods, various other methods such as a pixel space use type, a quantization error use type, and a frequency domain use type are known. The pixel space utilization type is a method of extracting a plane of, for example, 3 × 3 pixels in the vicinity of the target pixel and embedding incidental information in the surrounding 8 bits. The quantization error utilization type pays attention to the quantization error generated in the process of compressing the image data, and the quantization output is controlled to an even number and an odd number with 0 and 1 of the bit sequence of the incidental information, and apparently the quantization noise. In this method, incidental information is embedded in image data. Details of this quantization error utilization type are described in “Image Deep Cryptography” (Kokoo Matsui, Morikita Publishing, 1993). The frequency domain utilization type is a method of embedding incidental information in a frequency domain that is visually insensitive on the image domain. For example, since the high-frequency component in the image is a visually insensitive region, the image data is decomposed into a plurality of frequency bands, the auxiliary information is embedded in the high-frequency band, and the auxiliary information is embedded by reconstructing the image data. be able to. In addition, as human visual characteristics, color difference and saturation information generally have a lower gradation discrimination ability than luminance information, and there is an area where recording is possible where the difference between luminance and color difference or saturation information is not visible. Exists. Therefore, incidental information can be embedded in this area.
[0025]
Other methods include embedding incidental information by dissipating noise into bit planes with poor S / N as an image, embedding information redundancy in a certain range of pixel blocks (spaces), and data compression. For example, a method of embedding in a quantization error when the amount of data information is degenerated due to encoding may be used.
[0026]
Next, the operation of the first embodiment will be described. First, a subject image is captured by the imaging means 1 to obtain original image data S0. The original image data S0 is divided into a plurality of areas by the dividing means 2, and area image data Sn for each area is obtained. On the other hand, in the incidental information generation means 3, shooting information when the subject image is captured by the imaging means 1 is generated as incidental information H, and in the optimization means 4, the incidental information H is optimized for each area image data Sn. Thus, area division information Hn for each area is obtained. The area division information Hn is deeply encrypted and embedded for each area image data Sn in the embedding unit 5, and the original image data S 1 in which the auxiliary information H is embedded is recorded on the recording medium 6.
[0027]
FIG. 2 shows that the region supplementary information Hn for each region is read from the region image data Sn included in the original image data S1 in which the supplementary information H is deeply encrypted and embedded, and a plurality of images are synthesized based on the region supplementary information Hn. It is a schematic block diagram which shows the structure of the image composition apparatus to perform. As shown in FIG. 2, the image synthesizing apparatus includes a reading unit 11 that reads original image data S1 from a recording medium 6, and an area incidental that is embedded by deep encryption for each area image data Sn included in the original image data S1. Based on the supplementary information reading means 12 for reading out the information Hn and the region supplementary information Hn, processing is performed so that the regions used for composition in the original images to be combined are matched between the original images, and processed image data S2 And a processing unit 13 that combines the processed image data S2 to obtain composite image data S3.
[0028]
The processing means 13 embeds in each area how the original image areas used for composition correspond to each other in the original image and how to enlarge, reduce, or change in that case. Sequential calculation and processing are performed based on the region supplementary information Hn.
[0029]
Next, the operation of the image composition apparatus shown in FIG. 2 will be described. First, the original image data S1 recorded on the recording medium 6 is read by the reading means 11. On the other hand, the area auxiliary information Hn embedded for each area image data Sn of the original image data S 1 is read by the auxiliary information reading means 12 and inputted to the processing means 13. In the processing means 13, based on the region supplementary information Hn, the region image data Sn is processed so that the region used for the combination of the original images to be combined is matched between the original images. S2 is obtained. The processed image data S2 is synthesized by the synthesizing unit 14 to obtain synthesized image data S3. The composite image data S3 is reproduced by reproduction means (not shown) such as a monitor or a printer.
[0030]
As described above, according to the first embodiment, the original image is divided into a plurality of regions to obtain region image data Sn for each region, and the region supplementary information Hn for each region is stored in each region image data Sn. Therefore, it is possible to embed shooting information related to each region for each region, and in the image composition device, by reading the embedded region supplementary information Hn, the region is based on the region supplementary information Hn. Combining can be performed by applying optimum processing for each.
[0031]
Further, when the incidental information H is embedded in the entire original image data S1, if the original image is divided and processed, the incidental information H may be lost or changed, but according to the present embodiment. Since the region supplementary information Hn is embedded in the region image data Sn for each region, even if the original image is divided, the region supplementary information Hn of the divided region is prevented from being lost.
[0032]
In the first embodiment, the imaging condition is embedded in the area image data Sn as the area auxiliary information Hn. However, the frequency information of the image may be embedded as the area auxiliary information Hn. Here, an embodiment in which frequency information is embedded as region-accompanying information Hn will be described as a second embodiment.
[0033]
An imaging apparatus such as a camera forms an image on a photosensitive material, an imaging medium such as a CCD, or a device using an imaging optical system such as a lens. At this time, the lens is designed to suppress optical aberrations and the like as much as possible. However, the MTF (Modulation Transfer Function, an evaluation index indicating the spatial frequency characteristic in the transmission of the optical system) characteristic differs depending on which part of the lens the photographed image is formed. Also, the MTF characteristics are different for each part. For example, since the MTF around the subject center (view angle center) often deteriorates, sharpness and resolution equivalent to those at the center cannot be obtained at the periphery of the image. In general, the entire photographed image obtained by photographing is used, and the subject in the center portion is optimal without considering the unevenness of the MTF characteristics within the angle of view even when image processing is performed on the photographed image. Processing is performed so that it becomes a thing. However, when a captured image is divided into a plurality of areas and processing is performed for each area as shown in the first embodiment, optimum processing is required for each of the divided areas.
[0034]
Therefore, in the second embodiment, when the captured image is divided into a plurality of regions, the frequency information representing the frequency characteristics for each region is embedded in each region image data Sn, so that each region in the subsequent processing is embedded. An optimum sharpness process is performed.
[0035]
Since the lens aperture is not infinite and all the object light does not reach the image formation plane, a sharp effect on the image appears. FIG. 3 is a diagram showing an imaging system centering on a lens in a general photographing system. Here, the imaging condition of the lens is
1 / d ₁ + 1 / d ₂ = 1 / f (1)
It is. That is, the size of the image formation becomes maximum when d ₂ = f, and the brightness of the image is proportional to (1 / d ₂ ² ) ² .
[0036]
Here, considering an object having a certain light intensity distribution g (x), the image to be formed is only light incident at a solid angle at which the lens is viewed from the input image because the aperture of the lens is finite. The diffraction direction of the frequency distribution F of the intensity distribution g (x) is obtained by the Fraunhofer approximation.
[0037]
[Expression 1]

[0038]
It becomes. Therefore, it can be seen that the diffracted light travels in the direction of θ = sin ⁻¹ (Fλ), and the greater the F, that is, the higher the frequency, the greater the diffraction angle θ. The highest frequency component Fc in FIG.
Fc = sin θ ₀ / λ = D / 2λd ₁ (3)
It becomes. Accordingly, a frequency component higher than Fc in the intensity distribution g (x) of the subject does not contribute to image formation and the image becomes blurred. That is, the imaging resolution is affected by the lens aperture and diffraction performance.
[0039]
This is explained by a Fourier transform image. When the image is formed at the back focal point z _i = f of the lens, the image is formed from the Fresnel approximation equation as follows:
[0040]
[Expression 2]

[0041]
It is represented by Here, considering the influence of the pupil function P (x, y) as the lens aperture,
[0042]
[Equation 3]

[0043]
It is. That is, the image is blurred due to the influence (convolution) of the aperture surface.
[0044]
Thus, when processing is performed by the imaging optical system, each contrast reproduction (decomposition) performance is determined according to the optical characteristics of each device such as lens characteristics. As the evaluation index, the above-described MTF is used.
[0045]
[Expression 4]

[0046]
It is represented by Here, E _0j max (u) and E _0j min (u) are the maximum and minimum effective exposure amounts at a certain frequency (u), and indicate the contrast of the output image with respect to the input. As a feature of MTF, when going through several devices, the final MTF characteristic is, for example,
Msystem = Mlens × Mccd × Mprinter…
As described above, it can be expressed by the product of the MTF characteristics for each device. As described above, the MTF characteristic of the optical system such as a lens at the time of photographing is changed depending on the performance of the lens, the image formation location, and the like, and the MTF characteristic varies depending on the location of the photographed image.
[0047]
In the second embodiment, paying attention to the difference in MTF characteristics for each location of an image, when the image is decomposed into a plurality of areas, the MTF characteristics for each area are embedded as frequency information. That is, according to the second embodiment, in the incidental information generating means 3 of the information embedding device according to the first embodiment shown in FIG. 1, the frequency information representing the MTF characteristic is included instead of or included in the photographing information. For each region generated as information H and divided by the dividing unit 2, the embedding unit 5 embeds the frequency characteristics of the region as region auxiliary information Hn to generate original image data S1.
[0048]
Here, as a method of dividing the original image, in addition to the method of dividing for each block as in the first embodiment, the original image may be divided into concentric regions from the center of the image so as to correspond to the MTF characteristics of the lens. Good.
[0049]
When the original image data S1 in which such frequency information is embedded as the region auxiliary information Hn uses only a part of the original image in order to perform processing such as trimming or clipping, the region image used for these processing It is possible to read out only the data Sn, read out the region auxiliary information Hn from the region image data Sn, and perform frequency processing such as optimum sharpness processing on the region image data Sn based on the region auxiliary information Hn. For example, a process that does not emphasize the frequency characteristics is applied to the central part of the image, and a process that emphasizes the high frequency component is applied to the peripheral part of the image.
[0050]
In the first and second embodiments, the original image is divided into regions for each block. For example, when a subject and its background, and a plurality of human images are included, for each human image, That is, it may be divided into regions for each object included in the original image.
[0051]
In the first embodiment, the image is synthesized based on the embedded area auxiliary information Hn. However, only a necessary area may be extracted and subjected to processing such as trimming or clipping. In this case, when the area is divided for each object included in the original image, the object can be used as it is for trimming or clipping, which is more preferable.
[0052]
Next, a third embodiment of the present invention will be described.
[0053]
FIG. 4 is a schematic block diagram showing the configuration of the information embedding device according to the third embodiment of the present invention. As shown in FIG. 4, the information embedding device according to the third embodiment includes the imaging means 1, the dividing means 2 and the embedding means 5 similar to the information reading device according to the first embodiment shown in FIG. The search information Kn for each area is generated by the search information generation means 21 as the area supplementary information Hn to be embedded for each divided area, and this search information Kn is embedded in each area image data Sn by the embedding means 5. The point that the recording medium 6 for recording the original image data S1 embedded with the search information Kn is used as a database is different from the first embodiment. Here, examples of the search information Kn include keywords representing the contents of each region.
FIG. 5 is a schematic block diagram showing a configuration of a search device for searching the area image data Sn in which the search information Kn is embedded by the information embedding device according to the third embodiment. As shown in FIG. 5, this retrieval apparatus reads retrieval information Kn from reading means 11 similar to the image composition apparatus shown in FIG. 2 and area image data Sn included in original image data S1 read by the reading means 11. The search information reading means 22 to be output, the search means 23 for performing a search based on the search information Kn, the display means 24 for displaying the search results, and the input means 25 for inputting a search keyword or the like are provided.
[0054]
Next, the operation of the search device will be described. First, a search keyword is input from the input means 25 in order to perform a search. The reading means 11 reads the original image data S1 from the database and the search information reading means 22 reads the search information Kn embedded in each area image data Sn. The search information Kn is input to the search means 23, a process is performed as to whether the search information corresponds to the search keyword, and the search result is displayed on the display means 24.
[0055]
Conventionally, when searching for image data in a database, it was possible to search only in units of data. However, as in the third embodiment, search is performed for each area image data Sn of the original image data S1. By embedding the information Kn, it is possible to perform a search up to detailed elements of the original image data S1. In addition, since the number of search keywords increases, a more redundant search, that is, an ambiguous search can be performed.
[0056]
In each of the above embodiments, the auxiliary information H is embedded in the original image data S0 acquired by the digital camera. However, the present invention is not limited to this, and the image or print image recorded on the film is photoelectrically recorded. Similarly, the image data obtained by reading the image data can be divided into a plurality of areas to obtain area image data Sn, and the area incidental information Hn can be embedded in each area image data Sn.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing the configuration of an information embedding device according to a first embodiment of the present invention. FIG. 2 is a schematic block diagram showing the configuration of an image composition device. FIG. FIG. 4 is a schematic block diagram showing a configuration of an information embedding device according to a third embodiment of the present invention. FIG. 5 is a schematic block diagram showing a configuration of a search device. Diagram for explaining composition of image (part 1)
FIG. 7 is a diagram for explaining image composition (part 2);
FIG. 8 is a diagram for explaining the aberration of an image caused by a lens.
DESCRIPTION OF SYMBOLS 1 Imaging means 2 Dividing means 3 Attached information generation means 4 Optimization means 5 Embedding means 6 Recording medium 11 Reading means 12 Attached information reading means 13 Processing means 14 Composition means 21 Search information generation means 22 Search information reading means 23 Search means 24 Display means

Claims

A dividing unit that divides the original image represented by the original image data obtained by photographing with the photographing device into a plurality of regions to obtain region image data for each region;
The information embedding apparatus being characterized in that a embedding means for embedding and deep encrypts information about the images processing to each area image data as the area supplementary information associated with each region for each region.

The information embedding apparatus according to claim 1, wherein the photographing apparatus is a digital camera .

The information embedding apparatus according to claim 1, wherein the information embedding apparatus is a digital camera .

The information on the image processing includes at least one of information on a subject distance, a position of a photographing light source, presence / absence of a diaphragm, and aberration of a lens of the photographing apparatus for each region. The information embedding device according to claim 1 .

The information embedding apparatus according to any one of claims 1 to 3, wherein the information related to the image processing is information related to a combining process for connecting a plurality of images .

4. The information embedding apparatus according to claim 1, wherein the information related to the image processing is information related to frequency processing applied to the original image .

4. The information embedding apparatus according to claim 1, wherein the information related to the image processing is information representing a shooting condition when the original image is shot .

The information related to the image processing includes the coordinate information of the subject obtained from the shooting location and shooting direction when shooting the subject to be included in the original image, the information indicating the presence or absence of the light source at the time of shooting, and the imaging of the lens of the shooting device 4. The information embedding device according to claim 1, further comprising at least one piece of information representing a position .

The information embedding apparatus according to claim 1, wherein the dividing unit is a unit that divides the original image into a plurality of block regions.

9. The information embedding apparatus according to claim 1, wherein the dividing unit is a unit that divides the original image into regions for each object included in the original image.

Dividing the original image represented by the original image data acquired by photographing with the photographing device into a plurality of regions to obtain region image data for each region,
An information embedding method, wherein information relating to image processing for each region is embedded in each region image data by deep encryption as region supplementary information related to each region.

A procedure of dividing the original image represented by the original image data obtained by photographing with the photographing device into a plurality of regions to obtain region image data for each region;
A computer-readable recording medium having recorded thereon a program for causing a computer to execute information relating to image processing for each area as a supplementary area information related to each area by embedding the information in each area image by deep encryption .