JP3748169B2 - 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 - Google Patents
画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3748169B2 JP3748169B2 JP21208798A JP21208798A JP3748169B2 JP 3748169 B2 JP3748169 B2 JP 3748169B2 JP 21208798 A JP21208798 A JP 21208798A JP 21208798 A JP21208798 A JP 21208798A JP 3748169 B2 JP3748169 B2 JP 3748169B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- information
- image
- reading
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理方法および装置に関し、とくに画像データの付帯情報が深層暗号化されて付随された画像データに対して処理を施す画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
画像、音声、動画等の様々なデータのデジタル化が進み、そのデータが記録されるメディアや、そのデータを使用するアプリケーションに依存するような、種々のファイルフォーマットのデータが存在するようになってきている。例えばインターネットにおいて使用される画像データのフォーマットとしては、Jpegやgif、さらにはイーストマンコダック社が提唱するFlashPix等が知られており、画像のコンテンツに応じたフォーマットの画像データがやり取りされている。このようなオープンネットワークのインフラの整備に伴い、データを様々なメディアやアプリケーションを介して処理あるいは利用する可能性が大きくなってきている。例えば、画像データを異なるアプリケーションにおいて繰り返し処理したり、種々のフォーマットにより保存し直したりする可能性が大きくなっている。
【０００３】
このため、オープンネットワーク環境におけるデータのより複雑かつ汎用的な利用形態を見込んで、データそのものの他に、そのデータに対して付帯的な情報を付加することが非常に有用な手段になってきている。例えば、デジタルカメラ等において取得された画像データをハードコピー等の出力用データに変換する場合、撮影シーンに応じて画像データに対する加工の仕方が異なるものである。このような場合、色かぶり、露光アンダー、露光オーバー等撮影シーンの光源情報が分かれば、その光源情報に応じて画像データに対して適切な画像処理を施すことができる。また、オリジナルデータにキーワードを添付することにより、データをデータベース化した後に、オリジナルデータを検索することが可能になる等、多くの有益な効果が期待できる。一方、印刷分野における製版データにおいては、画像データそのものの他に、その画像のトリミングや修正処理の指示、またどの編集ページに属するか等の工程管理に関する情報を付加し、この情報をデータベース化することにより製版データの工程管理を行うことができる。
【０００４】
【発明が解決しようとする課題】
一方、上述した付帯情報をどのようにオリジナルデータに添付するかが問題となっている。現状では、付帯情報はオリジナルデータのファイルとは別個のファイルとしてオリジナルデータのファイルに添付されるか、あるいはオリジナルデータのファイルヘッダに書き込まれることとなる。しかしながら、前者の場合、オリジナルデータに対して種々のアプリケーションにより種々の処理を施したり、フォーマット変換を施したりすると、オリジナルデータと付帯情報との対応関係が分からなくなってしまうおそれがある。また、後者の場合、アプリケーションによってはファイルヘッダに記録された付帯情報を読み出すことができない場合があり、また、データを読み込んでフォーマット変換を施すと、ヘッダに書き込まれた付帯情報が失われるおそれがある。すなわち、データ本体のファイルヘッダには、基本パートと拡張パートがあり、上述した付帯情報は拡張パートの中に含まれるが、拡張パートは書込みや読出しを繰り返すことにより、消失したり変更されてしまうおそれがある。
【０００５】
一方、オリジナルデータの認証情報や著作権情報を、オリジナルデータに深層暗号化して埋め込むための手法が種々提案されている（例えば、特開平８−２８９１５９号、同１０−１０８１８０号、特開平９−２１４６３６号等）。この手法は、データの冗長な部分に認証情報や著作権情報を埋め込むことにより、例えばオリジナルデータが画像データの場合、その画像データを再生しただけでは埋め込まれている情報を確認することはできないが、その情報を読み出すための装置やソフトウエアを用いることにより、データに埋め込まれている情報を読み出して表示等することができるものである。この深層暗号化については種々の文献にその詳細が記載されている（例えば、「電子透かし、松井甲子雄、O plus E No.213,1997年８月）。
【０００６】
本発明はこのような深層暗号化の手法を用いて、上述した付帯情報が消失したり変更されることなく、効果的に付帯情報に応じた処理を画像データに施すことができる画像処理方法および装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明による画像処理方法は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出し、
該付帯情報に基づいて前記画像データに対して施す処理を決定し、
該決定された処理に基づいて前記画像データに処理を施すことを特徴とするものである。
【０００８】
ここで、「深層暗号化して埋め込む」とは、画像データの冗長な部分に付帯情報を埋め込むことをいい、その詳細な手法については上述した松井の文献に記載されている。
【０００９】
なお、前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影したシーン、光源情報、撮影条件、環境、撮影日時、目的、被写体の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて前記画像データに施す画像処理であることが好ましい。
【００１０】
また、前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影位置、撮影方位の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて複数の前記画像データを１つの画像データに合成する処理であることが好ましい。
【００１１】
また、前記画像データがフイルムに記録された画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることが好ましい。
【００１２】
また、前記画像データがプリント画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることが好ましい。
【００１３】
ここで、「読取条件」とは、画像データを読み取る読取装置のデバイス条件、特性条件、セットアップ条件のことをいう。
【００１４】
本発明による他の画像処理方法は、画像データに関連する工程管理情報が深層暗号化されて埋め込まれた前記画像データから前記工程管理情報を読み出し、
該工程管理情報を表示することを特徴とするものである。
【００１５】
ここで、「工程管理情報」とは、画像データに対して施した画像処理の処理履歴、完成度、作成日時、完了納期、ジョブの関連等の情報のことをいう。
【００１６】
また、本発明によるさらに他の画像処理方法は、画像データに関連する画像を表す情報が深層暗号化されて埋め込まれた前記画像データから前記関連する画像を表す情報を読み出し、
該関連する画像を表す情報を再生することを特徴とするものである。
【００１７】
ここで、「画像データに関連する画像を表す情報」とは、例えば、工事現場における現場の画像を画像データとした場合に、その現場の現場名、撮影日時、進捗状況等を同時に撮影する場合があるが、その場合の現場名等を記載したボードを撮影することにより得られる画像、画像データの内容を手書きしたメモ等を撮影することにより得られる画像を表す情報のことをいう。
【００１８】
本発明による画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって 、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影したシーン、光源情報、撮影条件、環境、撮影日時、目的、被写体の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて前記画像データに施す画像処理であることを特徴とするものである。
【００１９】
本発明による他の画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影位置、撮影方位の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて複数の前記画像データを１つの画像データに合成する処理であることを特徴とするものである。
【００２０】
本発明による他の画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって、
前記画像データがフイルムに記録された画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とするものである。
【００２１】
本発明による他の画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって、
前記画像データがプリント画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とするものである。
【００２２】
本発明による他の画像処理装置は、画像データに関連する工程管理情報が深層暗号化されて埋め込まれた前記画像データから前記工程管理情報を読み出す読出手段と、
該工程管理情報を表示する表示手段とを備えたことを特徴とするものである。
【００２３】
本発明による他の画像処理装置は、画像データに関連する画像を表す情報が深層暗号化されて埋め込まれた前記画像データから前記関連する画像を表す情報を読み出す読出手段と、
該関連する画像を表す情報を再生する再生手段とを備えたことを特徴とするものである。
【００２４】
なお、本発明による画像処理方法をコンピュータに実行させるプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００２５】
【発明の効果】
本発明によれば、付帯情報が深層暗号化されて画像データに埋め込まれているため、画像データに対して種々の処理や、保存、読出しを繰り返しても、ヘッダに記録された情報のように付帯情報が紛失したり変更されたりすることがなくなる。また、付帯情報と画像データとの対応付けが分からなくなることもなくなる。したがって、付帯情報は関連する画像データに常に付随されることとなり、その付帯情報を用いて、適切な処理を画像データに対して施すことができる。
【００２６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２７】
図１は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、第１の実施形態による画像処理装置は、記録媒体から読み出された、あるいはネットワークを介して転送されたオリジナル画像データＳ０に対して処理を施すものであり、オリジナル画像データＳ０を読み込む読込手段１と、オリジナル画像データＳ０に深層暗号化されて埋め込まれた付帯情報Ｈを読み出す付帯情報読出手段２と、付帯情報読出手段２により読み出された付帯情報Ｈに基づいてオリジナル画像データＳ０に対して画像処理を施して処理済み画像データＳ１を得る処理手段３とを備える。
【００２８】
第１の実施形態において使用されるオリジナル画像データＳ０は、例えば図２に示すようなデジタルカメラにより取得される。図２に示すように、このデジタルカメラは、ＣＣＤ等の撮像手段４と、撮像手段４において得られたデータから被写体を表すオリジナル画像データＳ０を生成するデータ生成手段５と、撮影情報を入力するための撮影情報入力手段６と、入力された撮影情報を暗号化して付帯情報Ｈを生成する付帯情報生成手段７と、付帯情報Ｈを画像データＳ０に深層暗号化して埋め込んで記録媒体９に記録する埋込手段８とを備える。なお、撮影情報入力手段６において入力される撮影情報としては、撮影したシーン、光源情報、撮影条件や環境、撮影日時、目的、被写体の情報等が挙げられる。
【００２９】
埋込手段８においては例えば、画素空間利用型、量子化誤差利用型、周波数領域利用型等種々の手法により、付帯情報Ｈがオリジナル画像データＳ０に深層暗号化されて埋め込まれる。画素空間利用型は対象画素の近傍の例えば３×３画素の平面を取り出し、この周囲８ビットに情報を埋め込む方法である。量子化誤差利用型は、画像データＳ０を圧縮する過程において発生する量子化誤差に着目し、付帯情報Ｈのビット系列の０，１で量子化出力を偶数と奇数とに制御して見かけ上量子化ノイズとして情報を画像データＳ０に埋め込む方法である。この量子化誤差利用型については、松井甲子雄、「画像深層暗号」、森北出版、１９９３にその詳細が記載されている。周波数領域利用型は、画像領域上において視覚的に鈍感な周波数領域に情報を埋め込む方法である。例えば、画像中の高周波成分は視覚的に鈍感な領域であるため、画像データＳ０を周波数帯域に分解し、高周波帯域に情報を埋め込み、さらに画像データＳ０に再構成することにより情報を埋め込むことができる。また、人間の視覚特性としては、色差や彩度情報は一般に輝度情報よりも階調識別能力が低下し、輝度と色差あるいは彩度情報との差の部分に見えない記録が可能となる領域が存在する。したがって、この領域に情報を埋め込むこともできる。
【００３０】
次いで、第１の実施形態の動作について説明する。まず、図２に示すデジタルカメラの撮像手段４により被写体像を撮像し、データ生成手段５によりオリジナル画像データＳ０を生成する。一方で、撮像手段４により被写体像を撮像した際の撮影情報を撮影情報入力手段６より入力し、付帯情報生成手段７において撮影情報から付帯情報Ｈを生成して埋込手段８においてオリジナル画像データＳ０に付帯情報Ｈを深層暗号化して埋め込み、付帯情報Ｈが埋め込まれオリジナル画像データＳ０を記録媒体９に記録する。
【００３１】
記録媒体９に記録されたオリジナル画像データＳ０は図１に示す画像処理装置の読込手段１において読み込まれ、付帯情報Ｈが付帯情報読出手段２において読み出され、読み出された付帯情報Ｈが処理手段３に入力される。処理手段３においては、付帯情報Ｈに基づいてオリジナル画像データＳ０に対して画像処理が施されて処理済み画像データＳ１が得られる。例えば、付帯情報Ｈに含まれる撮影シーンあるいは光源の情報に基づいて、露光補正、色かぶり補正等が施され、被写体の情報に基づいて肌色修正等の色補正が行われる。そして、処理済み画像データＳ１はモニタあるいはプリンタ等の再生手段（不図示）において再生される。
【００３２】
このように、第１の実施形態においては、オリジナル画像データＳ０に関連する付帯情報Ｈをオリジナル画像データＳ０に深層暗号化して埋め込むようにしたため、オリジナル画像データＳ０のフォーマットを変換したり、保存や読出しを繰り返しても、付帯情報Ｈが変更されたり、消失してしまうことがなくなる。したがって、オリジナル画像データＳ０から常に付帯情報Ｈを読み出すことが可能となり、これによりオリジナル画像データＳ０に対して付帯情報Ｈに基づいて常に最適な画像処理を施すことが可能となる。
【００３３】
なお、上記第１の実施形態においては、デジタルカメラにより取得されたオリジナル画像データＳ０に付帯情報Ｈを埋め込むようにしているが、例えばラボのフォトフィニッシングシステムにおいて、銀塩フイルムあるいはプリント画像に記録された画像を光電的に読み取ることにより得られたオリジナル画像データＳ０に、その画像に含まれる被写体の情報、フイルムの種類、セットアップ条件等の読取条件を付帯情報Ｈとして埋め込むようにしてもよい。この場合、上記と同様にして第１の実施形態による画像処理装置によりオリジナル画像データＳ０から付帯情報Ｈを読み出し、この付帯情報Ｈに基づいてオリジナル画像データＳ０に対して画像処理が施される。
【００３４】
また、ラボのフォトフィニッシングシステムにおいてオリジナル画像データＳ０を最初にプリントした際に、オリジナル画像データＳ０に施した周波数処理、階調処理等の画像処理条件を付帯情報Ｈとしてオリジナル画像データＳ０に深層暗号化して埋め込んでもよい。この場合、オリジナル画像データＳ０はＣＤ−Ｒ等の記録媒体に記録されてユーザに提供され、ユーザはオリジナル画像データＳ０にトリミングやテンプレートとの合成等の処理を施して、ラボにオリジナル画像データＳ０を持ち込んでプリント依頼する。ラボにおいては、ユーザにより指定された処理を施すとともに、オリジナル画像データＳ０に埋め込まれている付帯情報Ｈを読み出して、最初にプリントしたときと同様の画像処理条件によりオリジナル画像データＳ０に対して画像処理を施して、プリントする。従来、プリントされる画像データはオペレータの判断により画像処理条件を変更したり、フイルムの種類や、画像データを得た装置の種類に応じて異なる処理を施していたため、オリジナル画像データＳ０をプリントする毎に画像処理が異なって同じ画質の画像を再現することができなかった。これに対して、最初にプリントしたときの画像処理条件を付帯情報Ｈとしてオリジナル画像データＳ０に埋め込むことにより、加工されたオリジナル画像データＳ０は最初にプリントしたときと同一の画像処理条件により画像処理されることとなるため、常に同じ画質のプリント画像を得ることができる。
【００３５】
また、第１の実施形態においては、付帯情報Ｈを撮影シーンの情報、被写体の情報等の撮影情報としているが、例えば特開平５−２２４２９０号に記載されたＧＰＳ利用カメラのように、ＧＰＳ衛星からの測位用電波を利用して撮影位置、撮影方位あるいは撮影日時に関する情報を取得し、これらの情報を付帯情報Ｈとしてオリジナル画像データＳ０に深層暗号化して埋め込んでもよい。
【００３６】
この場合、この付帯情報Ｈは以下のようにして用いることができる。すなわち、複数のシーンを略等角度にて撮影を行うパノラマ撮影を行って複数のオリジナル画像データＳ０を得るとともに、ＧＰＳ衛星からの測位用電波を利用して撮影位置、撮影方位に関する情報を取得し、これを付帯情報Ｈとしてオリジナル画像データＳ０に深層暗号化して埋め込んでおく。図３はこのようにしてパノラマ撮影がなされた複数のオリジナル画像データＳ０を合成して合成画像データを得る画像合成装置の構成を示す概略ブロック図である。図３に示す画像合成装置は、図１に示す読込手段１および付帯情報読出手段２と、複数のオリジナル画像データＳ０を合成して合成画像データＳ２を得る合成手段１０とを備える。そして、複数のオリジナル画像データＳ０の付帯情報Ｈを付帯情報読出手段２において読み出し、この付帯情報Ｈに含まれる撮影方位の情報、撮影位置の情報に基づいて、各オリジナル画像データＳ０により表される画像の画角に対する補正や幾何学的な修正を加えながら、合成手段１０においてオリジナル画像データＳ０の合成を行う。
【００３７】
このように、撮影方位の情報等を付帯情報Ｈとしてオリジナル画像データＳ０に埋め込んでおくことにより、付帯情報Ｈに基づいてパノラマ撮影された画像の合成を容易に行うことができる。また、異なるカメラにおいて異なるフォーマットにより取得された画像データであっても、付帯情報Ｈは画像データＳ０に埋め込まれているため、この付帯情報Ｈを読み出すことにより、画像の合成を容易に行うことができる。
【００３８】
次いで、本発明の第２の実施形態について説明する。図４は本発明の第２の実施形態において使用される画像処理装置の構成を示す概略ブロック図である。図４に示すように、第２の実施形態において使用される画像処理装置は、例えばオリジナル画像データＳ０を印刷用の製版データとして用いる場合にオリジナル画像データＳ０に対して、色階調修正、倍率、解像度変換、トリミング等の幾何変換のような種々の画像処理を個別に施すための画像処理装置であって、オリジナル画像データＳ０に対して上述したような画像処理を施す画像処理手段１１と、施した画像処理の処理履歴、完成度、作成日時、完了納期、ジョブの関連のような画像処理を施されたときの工程管理情報を付帯情報Ｈとして生成する付帯情報生成手段１２と、付帯情報Ｈを上述した図２に示すデジタルカメラと同様に深層暗号化してオリジナル画像データＳ０に埋め込む埋込手段１３とを備える。
【００３９】
図５は本発明の第２の実施形態による工程管理装置の構成を示す概略ブロック図である。図５に示すように第２の実施形態による工程管理装置は、図４に示す画像処理装置により付帯情報Ｈが埋め込まれたオリジナル画像データＳ０の画像処理工程を管理するためのものであり、第１の実施形態による画像処理装置と同様の読込手段１および付帯情報読出手段２と、付帯情報Ｈに基づいてオリジナル画像データＳ０の工程管理情報を表示する管理情報表示手段１５とを備える。
【００４０】
次いで、第２の実施形態の動作について説明する。まず図４に示す画像処理装置の画像処理手段１１においてオリジナル画像データＳ０に対して画像処理を施す際に、オリジナル画像データＳ０の処理履歴、完成度、作成日時等の工程管理情報を付帯情報Ｈとして付帯情報作成手段１２において作成し、この付帯情報Ｈを埋込手段１３においてオリジナル画像データＳ０に深層暗号化して埋め込む。このように付帯情報Ｈが埋め込まれたオリジナル画像データＳ０は図５に示す工程管理装置の読込手段１において読み込まれ、付帯情報Ｈが付帯情報読出手段２において読み出される。そして、読み出された付帯情報Ｈに基づいて、オリジナル画像データＳ０に対する画像処理の進捗状況や納期等が管理情報表示手段１５において表示される。オペレータは管理情報表示手段１５において表示された管理情報に基づいて、オリジナル画像データＳ０の画像処理の進捗状況等を把握することができる。
【００４１】
従来、このようなオリジナル画像データＳ０に対する画像処理工程を管理するためには、処理が複雑になればなるほど、その処理工程のデータを画像データ毎に管理するための高度な管理データベースが必要であった。これに対して本発明では、オリジナル画像データＳ０に工程管理情報等を付帯情報Ｈとして深層暗号化して埋め込むことにより、工程を別途に管理するためのデータベースは不要となり、オリジナル画像データＳ０に直接アクセスすれば工程管理情報を把握することが可能となる。また、工程上のキーワード（例えば処理名、処理レベル、完成度）等からオリジナル画像データＳ０の検索を行うことも可能となる。
【００４２】
次いで、本発明の第３の実施形態について説明する。第３の実施形態は、オリジナルデータ（画像データ、音声データ、動画データ等）のファイル名、ファイルの内容等の検索キーワードを付帯情報ＨとしてオリジナルデータＳ０に深層暗号化して埋め込んでおき、オリジナルデータＳ０から付帯情報Ｈを読み出して検索するための検索装置に関するものである。図６は本発明の第３の実施形態による検索装置の構成を示す概略ブロック図である。図６に示すように、第３の実施形態による検索装置は、第１の実施形態と同様の読込手段１および付帯情報読出手段２と、付帯情報Ｈに基づいて検索を行う検索処理手段１７と、検索結果を表示する表示手段１８と、検索キーワード等を入力する入力手段１９とを備える。なお、本実施形態において用いられるオリジナルデータＳ０は、個々のパソコン中に存在するデータベース中のみならずネットワーク上のデータベースに分散して存在する場合もある。
【００４３】
次いで、第３の実施形態の動作について説明する。まず、検索を行うために、入力手段１９から検索キーワードを入力する。読込手段１はデータベースにアクセスして複数のオリジナルデータＳ０を読み込むとともに、付帯情報読出手段２において各オリジナルデータＳ０の付帯情報Ｈを読み出す。付帯情報Ｈは検索処理手段１７に入力され、検索キーワードに該当するか否かの処理がなされて、検索結果が表示手段１８に表示される。
【００４４】
従来、データベース中には様々なデータが様々なフォーマットで存在するため、１つの検索エンジンにより全てのデータに対して画一的に検索を行うことは困難であったが、検索情報を付帯情報ＨとしてオリジナルデータＳ０に共通の深層暗号化方式により暗号化して埋め込むことにより、１つの検索エンジンにより画一的に検索を行うことができることとなる。
【００４５】
次いで、本発明の撮像装置を第４の実施形態として説明する。図７は本発明の第４の実施形態による撮像装置の構成を示す概略ブロック図である。図７に示すように、第４の実施形態による撮像装置はデジタルカメラであり、ＣＣＤ等の撮像手段２０と、撮像手段２０において得られた画像データの撮影モードを選択する撮影モード選択手段２１と、後述するように特定の画像データに関連する画像データを付帯情報Ｈとして特定の画像データに埋め込んで記録媒体２３に記録する埋込手段２２とを備える。
【００４６】
撮影モード選択手段２１は撮像手段２０において得られた画像データをそのまま記録媒体２３に記録するか付帯情報Ｈとして特定の画像データに埋め込むかを選択するためのものである。
【００４７】
埋込手段２２は、画像データをモノクロ化および２値化して他の画像データに付帯情報Ｈとして埋め込むためのものである。具体的には、画像データが８ビットのデータである場合、画像データのカラーの情報を１画素当たり１ビットの情報に変換し、付帯情報Ｈを埋め込む画像データのＲＧＢ信号における比較的視覚的に鈍感なＲ信号の８ビットデータのうち、最下位の１ビットの部分に埋め込むものである。なお、付帯情報Ｈとして埋め込まれる画像としては、手書き文字、図形、地図等、２値化してもその内容を比較的容易に認識可能な画像が用いられる。
【００４８】
次いで、第４の実施形態の動作について説明する。図８は第４の実施形態の動作を説明するための図である。まず、撮像手段２０において被写体像の撮影がなされるが、この際、撮影モード選択手段２１において画像データをそのまま記録媒体２３に記録される旨が選択されている場合は、撮影により得られた画像データは順次記録媒体２３に記録される。一方、撮影モード選択手段２１において画像データを付帯情報Ｈとする旨が選択されている場合は、そのモードにおいて取得された画像データ（第２の画像データＳ１２とする）を付帯情報Ｈとして、その前に撮影されて取得された画像データ（第１の画像データＳ１１とする）に埋込手段２２において埋め込む。なお、第１の画像データＳ１１としては第２の画像データＳ１２を取得する前に取得された画像データのみならず、撮影者が任意に選択できるものとしてもよい。この際、図８に示すように、第２の画像データＳ１２はモノクロ化されかつ２値化されて付帯情報Ｈとして、第１の画像データＳ１１の８ビットのＲ信号における最下位の１ビットに部分に埋め込まれる。これにより、付帯情報Ｈが深層暗号化されて埋め込まれた画像データＳ０が得られる。
【００４９】
このような画像データＳ０を再生する際、付帯情報Ｈは最下位１ビットにのみ含まれているため、画像データＳ０は付帯情報Ｈをほとんど識別できない状態で再生されることとなる。一方、付帯情報Ｈについては、画像データＳ０のＲ信号の最下位１ビットのみを再生すれば、付帯情報Ｈにより表される画像を再生することができる。なお、付帯情報Ｈは２値化されているため１ビットであっても十分に認識可能に再生することができる。また、画像データＳ０の略全画素に付帯情報Ｈを使用することができるため非常に高解像度にて再生することが可能である。
【００５０】
このように、第２の画像データＳ１２を付帯情報Ｈとして第１の画像データＳ１１に深層暗号化して埋め込むことにより、付帯情報Ｈは第１の画像データＳ１１に常に付随することとなり、第１の画像データＳ１１に対して加工、保存、読出しを繰り返しても、付帯情報Ｈが消失したり変更されたりすることがなくなる。ここで、工事現場における現場の写真と、その現場の現場名、撮影日時、進捗状況等を施工情報として黒板等に記載してこれを撮影して画像として残すことによりこの工事が正規工事であることを認証する場合がある。このような場合、工事現場の写真を第１の画像データＳ１１、施工情報を付帯情報Ｈとしてこの付帯情報Ｈを第１の画像データＳ１１に深層暗号化して埋め込んでおくことにより、付帯情報Ｈが容易に消失したり変更されたりすることがなくなるため、施工情報を偽造する等の不正行為をなくすことができる。
【００５１】
なお、第４の実施形態においては、付帯情報ＨをＲ信号の最下位１ビットに深層暗号化して埋め込んでいるが、これに限定されるものではなく、第１の画像データＳ１１の高周波数帯域に埋め込んでもよく、第１の画像データＳ１１を量子化する際の量子化誤差を利用して埋め込んでもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】オリジナル画像データを取得するデジタルカメラの構成を示す概略ブロック図
【図３】画像合成装置の構成を示す概略ブロック図
【図４】本発明の第２の実施形態において使用される画像処理装置の構成を示す概略ブロック図
【図５】本発明の第２の実施形態による工程管理装置の構成を示す概略ブロック図
【図６】本発明の第３の実施形態による検索装置の構成を示す概略ブロック図
【図７】本発明の第４の実施形態による撮像装置の構成を示す概略ブロック図
【図８】第４の実施形態による撮像装置において行われる処理を示す図
【符号の説明】
１ 読込手段
２ 付帯情報読出手段
３ 処理手段
４，２０ 撮像手段
５ データ生成手段
６ 撮影情報入力手段
７，１２ 付帯情報生成手段
８，１３，２２ 埋込手段
９，２３ 記録媒体
１０ 合成手段
１１ 画像処理手段
１５ 管理情報表示手段
１７ 検索処理手段
１８ 表示手段
１９ 入力手段
２１ 撮影モード選択手段
【発明の属する技術分野】
本発明は画像処理方法および装置に関し、とくに画像データの付帯情報が深層暗号化されて付随された画像データに対して処理を施す画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
画像、音声、動画等の様々なデータのデジタル化が進み、そのデータが記録されるメディアや、そのデータを使用するアプリケーションに依存するような、種々のファイルフォーマットのデータが存在するようになってきている。例えばインターネットにおいて使用される画像データのフォーマットとしては、Jpegやgif、さらにはイーストマンコダック社が提唱するFlashPix等が知られており、画像のコンテンツに応じたフォーマットの画像データがやり取りされている。このようなオープンネットワークのインフラの整備に伴い、データを様々なメディアやアプリケーションを介して処理あるいは利用する可能性が大きくなってきている。例えば、画像データを異なるアプリケーションにおいて繰り返し処理したり、種々のフォーマットにより保存し直したりする可能性が大きくなっている。
【０００３】
このため、オープンネットワーク環境におけるデータのより複雑かつ汎用的な利用形態を見込んで、データそのものの他に、そのデータに対して付帯的な情報を付加することが非常に有用な手段になってきている。例えば、デジタルカメラ等において取得された画像データをハードコピー等の出力用データに変換する場合、撮影シーンに応じて画像データに対する加工の仕方が異なるものである。このような場合、色かぶり、露光アンダー、露光オーバー等撮影シーンの光源情報が分かれば、その光源情報に応じて画像データに対して適切な画像処理を施すことができる。また、オリジナルデータにキーワードを添付することにより、データをデータベース化した後に、オリジナルデータを検索することが可能になる等、多くの有益な効果が期待できる。一方、印刷分野における製版データにおいては、画像データそのものの他に、その画像のトリミングや修正処理の指示、またどの編集ページに属するか等の工程管理に関する情報を付加し、この情報をデータベース化することにより製版データの工程管理を行うことができる。
【０００４】
【発明が解決しようとする課題】
一方、上述した付帯情報をどのようにオリジナルデータに添付するかが問題となっている。現状では、付帯情報はオリジナルデータのファイルとは別個のファイルとしてオリジナルデータのファイルに添付されるか、あるいはオリジナルデータのファイルヘッダに書き込まれることとなる。しかしながら、前者の場合、オリジナルデータに対して種々のアプリケーションにより種々の処理を施したり、フォーマット変換を施したりすると、オリジナルデータと付帯情報との対応関係が分からなくなってしまうおそれがある。また、後者の場合、アプリケーションによってはファイルヘッダに記録された付帯情報を読み出すことができない場合があり、また、データを読み込んでフォーマット変換を施すと、ヘッダに書き込まれた付帯情報が失われるおそれがある。すなわち、データ本体のファイルヘッダには、基本パートと拡張パートがあり、上述した付帯情報は拡張パートの中に含まれるが、拡張パートは書込みや読出しを繰り返すことにより、消失したり変更されてしまうおそれがある。
【０００５】
一方、オリジナルデータの認証情報や著作権情報を、オリジナルデータに深層暗号化して埋め込むための手法が種々提案されている（例えば、特開平８−２８９１５９号、同１０−１０８１８０号、特開平９−２１４６３６号等）。この手法は、データの冗長な部分に認証情報や著作権情報を埋め込むことにより、例えばオリジナルデータが画像データの場合、その画像データを再生しただけでは埋め込まれている情報を確認することはできないが、その情報を読み出すための装置やソフトウエアを用いることにより、データに埋め込まれている情報を読み出して表示等することができるものである。この深層暗号化については種々の文献にその詳細が記載されている（例えば、「電子透かし、松井甲子雄、O plus E No.213,1997年８月）。
【０００６】
本発明はこのような深層暗号化の手法を用いて、上述した付帯情報が消失したり変更されることなく、効果的に付帯情報に応じた処理を画像データに施すことができる画像処理方法および装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明による画像処理方法は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出し、
該付帯情報に基づいて前記画像データに対して施す処理を決定し、
該決定された処理に基づいて前記画像データに処理を施すことを特徴とするものである。
【０００８】
ここで、「深層暗号化して埋め込む」とは、画像データの冗長な部分に付帯情報を埋め込むことをいい、その詳細な手法については上述した松井の文献に記載されている。
【０００９】
なお、前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影したシーン、光源情報、撮影条件、環境、撮影日時、目的、被写体の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて前記画像データに施す画像処理であることが好ましい。
【００１０】
また、前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影位置、撮影方位の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて複数の前記画像データを１つの画像データに合成する処理であることが好ましい。
【００１１】
また、前記画像データがフイルムに記録された画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることが好ましい。
【００１２】
また、前記画像データがプリント画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることが好ましい。
【００１３】
ここで、「読取条件」とは、画像データを読み取る読取装置のデバイス条件、特性条件、セットアップ条件のことをいう。
【００１４】
本発明による他の画像処理方法は、画像データに関連する工程管理情報が深層暗号化されて埋め込まれた前記画像データから前記工程管理情報を読み出し、
該工程管理情報を表示することを特徴とするものである。
【００１５】
ここで、「工程管理情報」とは、画像データに対して施した画像処理の処理履歴、完成度、作成日時、完了納期、ジョブの関連等の情報のことをいう。
【００１６】
また、本発明によるさらに他の画像処理方法は、画像データに関連する画像を表す情報が深層暗号化されて埋め込まれた前記画像データから前記関連する画像を表す情報を読み出し、
該関連する画像を表す情報を再生することを特徴とするものである。
【００１７】
ここで、「画像データに関連する画像を表す情報」とは、例えば、工事現場における現場の画像を画像データとした場合に、その現場の現場名、撮影日時、進捗状況等を同時に撮影する場合があるが、その場合の現場名等を記載したボードを撮影することにより得られる画像、画像データの内容を手書きしたメモ等を撮影することにより得られる画像を表す情報のことをいう。
【００１８】
本発明による画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって 、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影したシーン、光源情報、撮影条件、環境、撮影日時、目的、被写体の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて前記画像データに施す画像処理であることを特徴とするものである。
【００１９】
本発明による他の画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影位置、撮影方位の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて複数の前記画像データを１つの画像データに合成する処理であることを特徴とするものである。
【００２０】
本発明による他の画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって、
前記画像データがフイルムに記録された画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とするものである。
【００２１】
本発明による他の画像処理装置は、画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して施す処理を決定する決定手段と、該決定された処理を前記画像データに施す処理手段とを備えた画像処理装置であって、
前記画像データがプリント画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とするものである。
【００２２】
本発明による他の画像処理装置は、画像データに関連する工程管理情報が深層暗号化されて埋め込まれた前記画像データから前記工程管理情報を読み出す読出手段と、
該工程管理情報を表示する表示手段とを備えたことを特徴とするものである。
【００２３】
本発明による他の画像処理装置は、画像データに関連する画像を表す情報が深層暗号化されて埋め込まれた前記画像データから前記関連する画像を表す情報を読み出す読出手段と、
該関連する画像を表す情報を再生する再生手段とを備えたことを特徴とするものである。
【００２４】
なお、本発明による画像処理方法をコンピュータに実行させるプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００２５】
【発明の効果】
本発明によれば、付帯情報が深層暗号化されて画像データに埋め込まれているため、画像データに対して種々の処理や、保存、読出しを繰り返しても、ヘッダに記録された情報のように付帯情報が紛失したり変更されたりすることがなくなる。また、付帯情報と画像データとの対応付けが分からなくなることもなくなる。したがって、付帯情報は関連する画像データに常に付随されることとなり、その付帯情報を用いて、適切な処理を画像データに対して施すことができる。
【００２６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２７】
図１は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、第１の実施形態による画像処理装置は、記録媒体から読み出された、あるいはネットワークを介して転送されたオリジナル画像データＳ０に対して処理を施すものであり、オリジナル画像データＳ０を読み込む読込手段１と、オリジナル画像データＳ０に深層暗号化されて埋め込まれた付帯情報Ｈを読み出す付帯情報読出手段２と、付帯情報読出手段２により読み出された付帯情報Ｈに基づいてオリジナル画像データＳ０に対して画像処理を施して処理済み画像データＳ１を得る処理手段３とを備える。
【００２８】
第１の実施形態において使用されるオリジナル画像データＳ０は、例えば図２に示すようなデジタルカメラにより取得される。図２に示すように、このデジタルカメラは、ＣＣＤ等の撮像手段４と、撮像手段４において得られたデータから被写体を表すオリジナル画像データＳ０を生成するデータ生成手段５と、撮影情報を入力するための撮影情報入力手段６と、入力された撮影情報を暗号化して付帯情報Ｈを生成する付帯情報生成手段７と、付帯情報Ｈを画像データＳ０に深層暗号化して埋め込んで記録媒体９に記録する埋込手段８とを備える。なお、撮影情報入力手段６において入力される撮影情報としては、撮影したシーン、光源情報、撮影条件や環境、撮影日時、目的、被写体の情報等が挙げられる。
【００２９】
埋込手段８においては例えば、画素空間利用型、量子化誤差利用型、周波数領域利用型等種々の手法により、付帯情報Ｈがオリジナル画像データＳ０に深層暗号化されて埋め込まれる。画素空間利用型は対象画素の近傍の例えば３×３画素の平面を取り出し、この周囲８ビットに情報を埋め込む方法である。量子化誤差利用型は、画像データＳ０を圧縮する過程において発生する量子化誤差に着目し、付帯情報Ｈのビット系列の０，１で量子化出力を偶数と奇数とに制御して見かけ上量子化ノイズとして情報を画像データＳ０に埋め込む方法である。この量子化誤差利用型については、松井甲子雄、「画像深層暗号」、森北出版、１９９３にその詳細が記載されている。周波数領域利用型は、画像領域上において視覚的に鈍感な周波数領域に情報を埋め込む方法である。例えば、画像中の高周波成分は視覚的に鈍感な領域であるため、画像データＳ０を周波数帯域に分解し、高周波帯域に情報を埋め込み、さらに画像データＳ０に再構成することにより情報を埋め込むことができる。また、人間の視覚特性としては、色差や彩度情報は一般に輝度情報よりも階調識別能力が低下し、輝度と色差あるいは彩度情報との差の部分に見えない記録が可能となる領域が存在する。したがって、この領域に情報を埋め込むこともできる。
【００３０】
次いで、第１の実施形態の動作について説明する。まず、図２に示すデジタルカメラの撮像手段４により被写体像を撮像し、データ生成手段５によりオリジナル画像データＳ０を生成する。一方で、撮像手段４により被写体像を撮像した際の撮影情報を撮影情報入力手段６より入力し、付帯情報生成手段７において撮影情報から付帯情報Ｈを生成して埋込手段８においてオリジナル画像データＳ０に付帯情報Ｈを深層暗号化して埋め込み、付帯情報Ｈが埋め込まれオリジナル画像データＳ０を記録媒体９に記録する。
【００３１】
記録媒体９に記録されたオリジナル画像データＳ０は図１に示す画像処理装置の読込手段１において読み込まれ、付帯情報Ｈが付帯情報読出手段２において読み出され、読み出された付帯情報Ｈが処理手段３に入力される。処理手段３においては、付帯情報Ｈに基づいてオリジナル画像データＳ０に対して画像処理が施されて処理済み画像データＳ１が得られる。例えば、付帯情報Ｈに含まれる撮影シーンあるいは光源の情報に基づいて、露光補正、色かぶり補正等が施され、被写体の情報に基づいて肌色修正等の色補正が行われる。そして、処理済み画像データＳ１はモニタあるいはプリンタ等の再生手段（不図示）において再生される。
【００３２】
このように、第１の実施形態においては、オリジナル画像データＳ０に関連する付帯情報Ｈをオリジナル画像データＳ０に深層暗号化して埋め込むようにしたため、オリジナル画像データＳ０のフォーマットを変換したり、保存や読出しを繰り返しても、付帯情報Ｈが変更されたり、消失してしまうことがなくなる。したがって、オリジナル画像データＳ０から常に付帯情報Ｈを読み出すことが可能となり、これによりオリジナル画像データＳ０に対して付帯情報Ｈに基づいて常に最適な画像処理を施すことが可能となる。
【００３３】
なお、上記第１の実施形態においては、デジタルカメラにより取得されたオリジナル画像データＳ０に付帯情報Ｈを埋め込むようにしているが、例えばラボのフォトフィニッシングシステムにおいて、銀塩フイルムあるいはプリント画像に記録された画像を光電的に読み取ることにより得られたオリジナル画像データＳ０に、その画像に含まれる被写体の情報、フイルムの種類、セットアップ条件等の読取条件を付帯情報Ｈとして埋め込むようにしてもよい。この場合、上記と同様にして第１の実施形態による画像処理装置によりオリジナル画像データＳ０から付帯情報Ｈを読み出し、この付帯情報Ｈに基づいてオリジナル画像データＳ０に対して画像処理が施される。
【００３４】
また、ラボのフォトフィニッシングシステムにおいてオリジナル画像データＳ０を最初にプリントした際に、オリジナル画像データＳ０に施した周波数処理、階調処理等の画像処理条件を付帯情報Ｈとしてオリジナル画像データＳ０に深層暗号化して埋め込んでもよい。この場合、オリジナル画像データＳ０はＣＤ−Ｒ等の記録媒体に記録されてユーザに提供され、ユーザはオリジナル画像データＳ０にトリミングやテンプレートとの合成等の処理を施して、ラボにオリジナル画像データＳ０を持ち込んでプリント依頼する。ラボにおいては、ユーザにより指定された処理を施すとともに、オリジナル画像データＳ０に埋め込まれている付帯情報Ｈを読み出して、最初にプリントしたときと同様の画像処理条件によりオリジナル画像データＳ０に対して画像処理を施して、プリントする。従来、プリントされる画像データはオペレータの判断により画像処理条件を変更したり、フイルムの種類や、画像データを得た装置の種類に応じて異なる処理を施していたため、オリジナル画像データＳ０をプリントする毎に画像処理が異なって同じ画質の画像を再現することができなかった。これに対して、最初にプリントしたときの画像処理条件を付帯情報Ｈとしてオリジナル画像データＳ０に埋め込むことにより、加工されたオリジナル画像データＳ０は最初にプリントしたときと同一の画像処理条件により画像処理されることとなるため、常に同じ画質のプリント画像を得ることができる。
【００３５】
また、第１の実施形態においては、付帯情報Ｈを撮影シーンの情報、被写体の情報等の撮影情報としているが、例えば特開平５−２２４２９０号に記載されたＧＰＳ利用カメラのように、ＧＰＳ衛星からの測位用電波を利用して撮影位置、撮影方位あるいは撮影日時に関する情報を取得し、これらの情報を付帯情報Ｈとしてオリジナル画像データＳ０に深層暗号化して埋め込んでもよい。
【００３６】
この場合、この付帯情報Ｈは以下のようにして用いることができる。すなわち、複数のシーンを略等角度にて撮影を行うパノラマ撮影を行って複数のオリジナル画像データＳ０を得るとともに、ＧＰＳ衛星からの測位用電波を利用して撮影位置、撮影方位に関する情報を取得し、これを付帯情報Ｈとしてオリジナル画像データＳ０に深層暗号化して埋め込んでおく。図３はこのようにしてパノラマ撮影がなされた複数のオリジナル画像データＳ０を合成して合成画像データを得る画像合成装置の構成を示す概略ブロック図である。図３に示す画像合成装置は、図１に示す読込手段１および付帯情報読出手段２と、複数のオリジナル画像データＳ０を合成して合成画像データＳ２を得る合成手段１０とを備える。そして、複数のオリジナル画像データＳ０の付帯情報Ｈを付帯情報読出手段２において読み出し、この付帯情報Ｈに含まれる撮影方位の情報、撮影位置の情報に基づいて、各オリジナル画像データＳ０により表される画像の画角に対する補正や幾何学的な修正を加えながら、合成手段１０においてオリジナル画像データＳ０の合成を行う。
【００３７】
このように、撮影方位の情報等を付帯情報Ｈとしてオリジナル画像データＳ０に埋め込んでおくことにより、付帯情報Ｈに基づいてパノラマ撮影された画像の合成を容易に行うことができる。また、異なるカメラにおいて異なるフォーマットにより取得された画像データであっても、付帯情報Ｈは画像データＳ０に埋め込まれているため、この付帯情報Ｈを読み出すことにより、画像の合成を容易に行うことができる。
【００３８】
次いで、本発明の第２の実施形態について説明する。図４は本発明の第２の実施形態において使用される画像処理装置の構成を示す概略ブロック図である。図４に示すように、第２の実施形態において使用される画像処理装置は、例えばオリジナル画像データＳ０を印刷用の製版データとして用いる場合にオリジナル画像データＳ０に対して、色階調修正、倍率、解像度変換、トリミング等の幾何変換のような種々の画像処理を個別に施すための画像処理装置であって、オリジナル画像データＳ０に対して上述したような画像処理を施す画像処理手段１１と、施した画像処理の処理履歴、完成度、作成日時、完了納期、ジョブの関連のような画像処理を施されたときの工程管理情報を付帯情報Ｈとして生成する付帯情報生成手段１２と、付帯情報Ｈを上述した図２に示すデジタルカメラと同様に深層暗号化してオリジナル画像データＳ０に埋め込む埋込手段１３とを備える。
【００３９】
図５は本発明の第２の実施形態による工程管理装置の構成を示す概略ブロック図である。図５に示すように第２の実施形態による工程管理装置は、図４に示す画像処理装置により付帯情報Ｈが埋め込まれたオリジナル画像データＳ０の画像処理工程を管理するためのものであり、第１の実施形態による画像処理装置と同様の読込手段１および付帯情報読出手段２と、付帯情報Ｈに基づいてオリジナル画像データＳ０の工程管理情報を表示する管理情報表示手段１５とを備える。
【００４０】
次いで、第２の実施形態の動作について説明する。まず図４に示す画像処理装置の画像処理手段１１においてオリジナル画像データＳ０に対して画像処理を施す際に、オリジナル画像データＳ０の処理履歴、完成度、作成日時等の工程管理情報を付帯情報Ｈとして付帯情報作成手段１２において作成し、この付帯情報Ｈを埋込手段１３においてオリジナル画像データＳ０に深層暗号化して埋め込む。このように付帯情報Ｈが埋め込まれたオリジナル画像データＳ０は図５に示す工程管理装置の読込手段１において読み込まれ、付帯情報Ｈが付帯情報読出手段２において読み出される。そして、読み出された付帯情報Ｈに基づいて、オリジナル画像データＳ０に対する画像処理の進捗状況や納期等が管理情報表示手段１５において表示される。オペレータは管理情報表示手段１５において表示された管理情報に基づいて、オリジナル画像データＳ０の画像処理の進捗状況等を把握することができる。
【００４１】
従来、このようなオリジナル画像データＳ０に対する画像処理工程を管理するためには、処理が複雑になればなるほど、その処理工程のデータを画像データ毎に管理するための高度な管理データベースが必要であった。これに対して本発明では、オリジナル画像データＳ０に工程管理情報等を付帯情報Ｈとして深層暗号化して埋め込むことにより、工程を別途に管理するためのデータベースは不要となり、オリジナル画像データＳ０に直接アクセスすれば工程管理情報を把握することが可能となる。また、工程上のキーワード（例えば処理名、処理レベル、完成度）等からオリジナル画像データＳ０の検索を行うことも可能となる。
【００４２】
次いで、本発明の第３の実施形態について説明する。第３の実施形態は、オリジナルデータ（画像データ、音声データ、動画データ等）のファイル名、ファイルの内容等の検索キーワードを付帯情報ＨとしてオリジナルデータＳ０に深層暗号化して埋め込んでおき、オリジナルデータＳ０から付帯情報Ｈを読み出して検索するための検索装置に関するものである。図６は本発明の第３の実施形態による検索装置の構成を示す概略ブロック図である。図６に示すように、第３の実施形態による検索装置は、第１の実施形態と同様の読込手段１および付帯情報読出手段２と、付帯情報Ｈに基づいて検索を行う検索処理手段１７と、検索結果を表示する表示手段１８と、検索キーワード等を入力する入力手段１９とを備える。なお、本実施形態において用いられるオリジナルデータＳ０は、個々のパソコン中に存在するデータベース中のみならずネットワーク上のデータベースに分散して存在する場合もある。
【００４３】
次いで、第３の実施形態の動作について説明する。まず、検索を行うために、入力手段１９から検索キーワードを入力する。読込手段１はデータベースにアクセスして複数のオリジナルデータＳ０を読み込むとともに、付帯情報読出手段２において各オリジナルデータＳ０の付帯情報Ｈを読み出す。付帯情報Ｈは検索処理手段１７に入力され、検索キーワードに該当するか否かの処理がなされて、検索結果が表示手段１８に表示される。
【００４４】
従来、データベース中には様々なデータが様々なフォーマットで存在するため、１つの検索エンジンにより全てのデータに対して画一的に検索を行うことは困難であったが、検索情報を付帯情報ＨとしてオリジナルデータＳ０に共通の深層暗号化方式により暗号化して埋め込むことにより、１つの検索エンジンにより画一的に検索を行うことができることとなる。
【００４５】
次いで、本発明の撮像装置を第４の実施形態として説明する。図７は本発明の第４の実施形態による撮像装置の構成を示す概略ブロック図である。図７に示すように、第４の実施形態による撮像装置はデジタルカメラであり、ＣＣＤ等の撮像手段２０と、撮像手段２０において得られた画像データの撮影モードを選択する撮影モード選択手段２１と、後述するように特定の画像データに関連する画像データを付帯情報Ｈとして特定の画像データに埋め込んで記録媒体２３に記録する埋込手段２２とを備える。
【００４６】
撮影モード選択手段２１は撮像手段２０において得られた画像データをそのまま記録媒体２３に記録するか付帯情報Ｈとして特定の画像データに埋め込むかを選択するためのものである。
【００４７】
埋込手段２２は、画像データをモノクロ化および２値化して他の画像データに付帯情報Ｈとして埋め込むためのものである。具体的には、画像データが８ビットのデータである場合、画像データのカラーの情報を１画素当たり１ビットの情報に変換し、付帯情報Ｈを埋め込む画像データのＲＧＢ信号における比較的視覚的に鈍感なＲ信号の８ビットデータのうち、最下位の１ビットの部分に埋め込むものである。なお、付帯情報Ｈとして埋め込まれる画像としては、手書き文字、図形、地図等、２値化してもその内容を比較的容易に認識可能な画像が用いられる。
【００４８】
次いで、第４の実施形態の動作について説明する。図８は第４の実施形態の動作を説明するための図である。まず、撮像手段２０において被写体像の撮影がなされるが、この際、撮影モード選択手段２１において画像データをそのまま記録媒体２３に記録される旨が選択されている場合は、撮影により得られた画像データは順次記録媒体２３に記録される。一方、撮影モード選択手段２１において画像データを付帯情報Ｈとする旨が選択されている場合は、そのモードにおいて取得された画像データ（第２の画像データＳ１２とする）を付帯情報Ｈとして、その前に撮影されて取得された画像データ（第１の画像データＳ１１とする）に埋込手段２２において埋め込む。なお、第１の画像データＳ１１としては第２の画像データＳ１２を取得する前に取得された画像データのみならず、撮影者が任意に選択できるものとしてもよい。この際、図８に示すように、第２の画像データＳ１２はモノクロ化されかつ２値化されて付帯情報Ｈとして、第１の画像データＳ１１の８ビットのＲ信号における最下位の１ビットに部分に埋め込まれる。これにより、付帯情報Ｈが深層暗号化されて埋め込まれた画像データＳ０が得られる。
【００４９】
このような画像データＳ０を再生する際、付帯情報Ｈは最下位１ビットにのみ含まれているため、画像データＳ０は付帯情報Ｈをほとんど識別できない状態で再生されることとなる。一方、付帯情報Ｈについては、画像データＳ０のＲ信号の最下位１ビットのみを再生すれば、付帯情報Ｈにより表される画像を再生することができる。なお、付帯情報Ｈは２値化されているため１ビットであっても十分に認識可能に再生することができる。また、画像データＳ０の略全画素に付帯情報Ｈを使用することができるため非常に高解像度にて再生することが可能である。
【００５０】
このように、第２の画像データＳ１２を付帯情報Ｈとして第１の画像データＳ１１に深層暗号化して埋め込むことにより、付帯情報Ｈは第１の画像データＳ１１に常に付随することとなり、第１の画像データＳ１１に対して加工、保存、読出しを繰り返しても、付帯情報Ｈが消失したり変更されたりすることがなくなる。ここで、工事現場における現場の写真と、その現場の現場名、撮影日時、進捗状況等を施工情報として黒板等に記載してこれを撮影して画像として残すことによりこの工事が正規工事であることを認証する場合がある。このような場合、工事現場の写真を第１の画像データＳ１１、施工情報を付帯情報Ｈとしてこの付帯情報Ｈを第１の画像データＳ１１に深層暗号化して埋め込んでおくことにより、付帯情報Ｈが容易に消失したり変更されたりすることがなくなるため、施工情報を偽造する等の不正行為をなくすことができる。
【００５１】
なお、第４の実施形態においては、付帯情報ＨをＲ信号の最下位１ビットに深層暗号化して埋め込んでいるが、これに限定されるものではなく、第１の画像データＳ１１の高周波数帯域に埋め込んでもよく、第１の画像データＳ１１を量子化する際の量子化誤差を利用して埋め込んでもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】オリジナル画像データを取得するデジタルカメラの構成を示す概略ブロック図
【図３】画像合成装置の構成を示す概略ブロック図
【図４】本発明の第２の実施形態において使用される画像処理装置の構成を示す概略ブロック図
【図５】本発明の第２の実施形態による工程管理装置の構成を示す概略ブロック図
【図６】本発明の第３の実施形態による検索装置の構成を示す概略ブロック図
【図７】本発明の第４の実施形態による撮像装置の構成を示す概略ブロック図
【図８】第４の実施形態による撮像装置において行われる処理を示す図
【符号の説明】
１ 読込手段
２ 付帯情報読出手段
３ 処理手段
４，２０ 撮像手段
５ データ生成手段
６ 撮影情報入力手段
７，１２ 付帯情報生成手段
８，１３，２２ 埋込手段
９，２３ 記録媒体
１０ 合成手段
１１ 画像処理手段
１５ 管理情報表示手段
１７ 検索処理手段
１８ 表示手段
１９ 入力手段
２１ 撮影モード選択手段
Claims (12)
- 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出し、該付帯情報に基づいて前記画像データに対して処理を施す画像処理方法であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影したシーン、光源情報、撮影条件、環境、撮影日時、目的、被写体の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて前記画像データに施す画像処理であることを特徴とする画像処理方法。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出し、該付帯情報に基づいて前記画像データに対して処理を施す画像処理方法であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影位置、撮影方位の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて複数の前記画像データを１つの画像データに合成する処理であることを特徴とする画像処理方法。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出し、該付帯情報に基づいて前記画像データに対して処理を施す画像処理方法であって、
前記画像データがフイルムに記録された画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とする画像処理方法。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出し、該付帯情報に基づいて前記画像データに対して処理を施す画像処理方法であって、
前記画像データがプリント画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とする画像処理方法。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して処理を施す処理手段とを備えた画像処理装置であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影したシーン、光源情報、撮影条件、環境、撮影日時、目的、被写体の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて前記画像データに施す画像処理であることを特徴とする画像処理装置。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して処理を施す処理手段とを備えた画像処理装置であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影位置、撮影方位の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて複数の前記画像データを１つの画像データに合成する処理であることを特徴とする画像処理装置。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して処理を施す処理手段とを備えた画像処理装置であって、
前記画像データがフイルムに記録された画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とする画像処理装置。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す読出手段と、該付帯情報に基づいて前記画像データに対して処理を施す処理手段とを備えた画像処理装置であって、
前記画像データがプリント画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とする画像処理装置。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す手順と、該付帯情報に基づいて前記画像データに対して処理を施す手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影したシーン、光源情報、撮影条件、環境、撮影日時、目的、被写体の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて前記画像データに施す画像処理であることを特徴とするコンピュータ読取り可能な記録媒体。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す手順と、該付帯情報に基づいて前記画像データに対して処理を施す手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
前記画像データが撮像装置により取得された画像データであり、
前記付帯情報が、前記画像データを取得した際の撮影位置、撮影方位の情報を含む撮影情報であり、
前記処理が、前記撮影情報に基づいて複数の前記画像データを１つの画像データに合成する処理であることを特徴とするコンピュータ読取り可能な記録媒体。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す手順と、該付帯情報に基づいて前記画像データに対して処理を施す手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
前記画像データがフイルムに記録された画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とするコンピュータ読取り可能な記録媒体。 - 画像データに関連する付帯情報が深層暗号化されて埋め込まれた前記画像データから前記付帯情報を読み出す手順と、該付帯情報に基づいて前記画像データに対して処理を施す手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
前記画像データがプリント画像を読み取ることにより得られた画像データであり、
前記付帯情報が、前記画像データを読み取る際の読取条件であり、
前記処理が、前記読取条件に基づいて前記画像データに施す画像処理であることを特徴とするコンピュータ読取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21208798A JP3748169B2 (ja) | 1998-07-28 | 1998-07-28 | 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 |
| US09/362,376 US6785814B1 (en) | 1998-07-28 | 1999-07-28 | Information embedding method and apparatus |
| US10/885,724 US20040260935A1 (en) | 1998-07-28 | 2004-07-08 | Information embedding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21208798A JP3748169B2 (ja) | 1998-07-28 | 1998-07-28 | 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003016978A Division JP4112384B2 (ja) | 2003-01-27 | 2003-01-27 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000050043A JP2000050043A (ja) | 2000-02-18 |
| JP3748169B2 true JP3748169B2 (ja) | 2006-02-22 |
Family
ID=16616669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21208798A Expired - Lifetime JP3748169B2 (ja) | 1998-07-28 | 1998-07-28 | 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3748169B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7038811B1 (en) * | 2000-03-31 | 2006-05-02 | Canon Kabushiki Kaisha | Standardized device characterization |
| JP4089144B2 (ja) * | 2000-09-14 | 2008-05-28 | カシオ計算機株式会社 | 写真印刷自動販売機 |
| JP3826741B2 (ja) | 2001-02-09 | 2006-09-27 | セイコーエプソン株式会社 | 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、コンピュータプログラム、および、記録媒体 |
| JP2004236230A (ja) * | 2003-01-31 | 2004-08-19 | Ricoh Co Ltd | 画像処理装置、プログラム及び記憶媒体 |
| JP4687279B2 (ja) | 2005-06-29 | 2011-05-25 | ソニー株式会社 | 画像再生装置、画像再生方法、および画像再生用プログラム |
| JP4665166B2 (ja) | 2005-06-29 | 2011-04-06 | ソニー株式会社 | ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム |
| JP2009111902A (ja) * | 2007-10-31 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、オペレーション実行方法、及びオペレーション実行プログラム |
| JP4479829B2 (ja) * | 2008-04-03 | 2010-06-09 | ソニー株式会社 | 撮像装置及び撮像方法 |
| JP2010252352A (ja) * | 2010-05-24 | 2010-11-04 | Seiko Epson Corp | 画像処理装置、デジタルカメラ、画像データ構造、自動色補正機能付き印刷装置、顔オブジェクト情報付き撮影画像の生成方法および色補正方法 |
| US10245181B2 (en) | 2012-12-21 | 2019-04-02 | Alcon Research, Ltd. | Grin fiber multi-spot laser probe |
-
1998
- 1998-07-28 JP JP21208798A patent/JP3748169B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000050043A (ja) | 2000-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6785814B1 (en) | Information embedding method and apparatus | |
| US6567119B1 (en) | Digital imaging system and file format for storage and selective transmission of processed and unprocessed image data | |
| JP3037140B2 (ja) | デジタルカメラ | |
| US20030058354A1 (en) | Digital photography system using direct input to output pixel mapping and resizing | |
| US20060257047A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP3748169B2 (ja) | 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JP2002300371A (ja) | 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置 | |
| JP4112384B2 (ja) | 撮像装置 | |
| JP2000216985A (ja) | 電子透かし埋込み装置および方法，電子透かし埋込みプログラムを格納した記録媒体ならびにディジタル・カメラおよびその制御方法 | |
| JP3654332B2 (ja) | 情報埋込方法および装置並びに記録媒体 | |
| JP4525841B2 (ja) | 画像合成装置、コンピュータプログラムおよび記録媒体 | |
| JP2005203865A (ja) | 画像処理システム | |
| JP3246660B2 (ja) | デジタルカメラおよび画像改竄検出システム | |
| JP2000050045A (ja) | 情報埋込方法および装置、付帯情報読出方法および装置並びに記録媒体 | |
| JP2004159219A (ja) | 画像撮影装置、画像複製装置、画像編集装置、撮影画像管理方法、複製画像管理方法および編集画像管理方法 | |
| JP4338190B2 (ja) | 画像処理装置、方法、プログラム及び記録媒体 | |
| JP4143516B2 (ja) | 画像処理装置、画像検証方法、プログラムおよび記憶媒体 | |
| JP3910189B2 (ja) | 付加情報付き画像ファイルからの画像プリントシステム | |
| JP2004112675A (ja) | 画像データ提供方法、記録装置及びプログラム | |
| JP3431130B2 (ja) | デジタルカメラの機能付加方法および記録媒体 | |
| Holm et al. | Electronic Photography at the NASA Langley Research Center | |
| JP2003069942A (ja) | 画像付属情報の記録方法及び装置並びに撮影装置 | |
| JP5005882B2 (ja) | 付帯情報付撮影画像出力方法及び装置 | |
| JP2004153345A (ja) | 撮像装置、撮像方法及び同方法のプログラムを記録した記録媒体 | |
| JPH11284865A (ja) | 画像データの暗号化出力装置および画像再生装置並びにデジタルフォトサービスシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051124 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081209 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081209 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |