JP3246660B2 - デジタルカメラおよび画像改竄検出システム - Google Patents
デジタルカメラおよび画像改竄検出システムInfo
- Publication number
- JP3246660B2 JP3246660B2 JP25167299A JP25167299A JP3246660B2 JP 3246660 B2 JP3246660 B2 JP 3246660B2 JP 25167299 A JP25167299 A JP 25167299A JP 25167299 A JP25167299 A JP 25167299A JP 3246660 B2 JP3246660 B2 JP 3246660B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- image
- digital camera
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、撮影した画像をデ
ジタルデータとして記録するデジタルカメラ、デジタル
カメラに機能を付加する方法、およびデジタルカメラに
より記録された画像データの改竄を検出するシステムに
関するものである。
ジタルデータとして記録するデジタルカメラ、デジタル
カメラに機能を付加する方法、およびデジタルカメラに
より記録された画像データの改竄を検出するシステムに
関するものである。
【０００２】
【従来の技術】従来より、写真を撮影するときには、レ
ンズから取り込まれた光がフィルムの上に照射され、化
学反応が起きることで画像が記録されるカメラが用いら
れている。上記のカメラでは、フィルムを現像し、印画
紙に焼き付けることにより写真をプリントすることがで
きる。上記の化学反応として一般に塩化銀の反応が利用
されるため、このようなカメラによって撮影された写真
を銀塩写真という。
ンズから取り込まれた光がフィルムの上に照射され、化
学反応が起きることで画像が記録されるカメラが用いら
れている。上記のカメラでは、フィルムを現像し、印画
紙に焼き付けることにより写真をプリントすることがで
きる。上記の化学反応として一般に塩化銀の反応が利用
されるため、このようなカメラによって撮影された写真
を銀塩写真という。
【０００３】一方、近年ではＣＣＤ等の光センサにより
光を電気信号に変換し、それをデジタル信号に変換して
から、フラッシュメモリ等の記録媒体に記録するデジタ
ルカメラが普及している。デジタルカメラを用いると、
パーソナルコンピュータ等の処理装置を用いて画像の保
存や様々な加工を個人で手軽に行えるほか、プリンタで
出力することによりフィルムの現像をすることなしに写
真を印刷することができる。プリンタの印刷品質の向上
により、銀塩写真とほとんど区別がつかないほど品質の
高い写真も印刷できるようになってきている。
光を電気信号に変換し、それをデジタル信号に変換して
から、フラッシュメモリ等の記録媒体に記録するデジタ
ルカメラが普及している。デジタルカメラを用いると、
パーソナルコンピュータ等の処理装置を用いて画像の保
存や様々な加工を個人で手軽に行えるほか、プリンタで
出力することによりフィルムの現像をすることなしに写
真を印刷することができる。プリンタの印刷品質の向上
により、銀塩写真とほとんど区別がつかないほど品質の
高い写真も印刷できるようになってきている。
【０００４】
【発明が解決しようとする課題】しかしながら、損害保
険等の証明写真に用いようとする場合など、重要な証拠
写真にデジタルカメラで撮影した写真を用いると、デジ
タルカメラで撮影された画像はパーソナルコンピュータ
等により容易に加工が可能であり、銀塩写真と比較して
加工の跡を残さずに加工することが容易であるため、不
正に改竄された写真が用いられていても判別することが
困難であり、悪用される恐れがあるという問題がある。
険等の証明写真に用いようとする場合など、重要な証拠
写真にデジタルカメラで撮影した写真を用いると、デジ
タルカメラで撮影された画像はパーソナルコンピュータ
等により容易に加工が可能であり、銀塩写真と比較して
加工の跡を残さずに加工することが容易であるため、不
正に改竄された写真が用いられていても判別することが
困難であり、悪用される恐れがあるという問題がある。
【０００５】また、本体のみで、記録された画像データ
について、トリミング、色の変更、再圧縮などの種々の
画像処理を行うことのできるデジタルカメラも知られて
いるが、外部の画像データをデジタルカメラの記録媒体
に転送し、デジタルカメラにより画像処理を行った場
合、その画像がデジタルカメラにより撮影されたもので
あるか否かの区別がつきにくくなるという問題があっ
た。
について、トリミング、色の変更、再圧縮などの種々の
画像処理を行うことのできるデジタルカメラも知られて
いるが、外部の画像データをデジタルカメラの記録媒体
に転送し、デジタルカメラにより画像処理を行った場
合、その画像がデジタルカメラにより撮影されたもので
あるか否かの区別がつきにくくなるという問題があっ
た。
【０００６】したがって、本発明の目的は、記録された
画像データに対して画像処理を行うことのできるデジタ
ルカメラにおいて、撮影時の画像データから改竄された
か否かを検出することのできる画像データを出力するデ
ジタルカメラ、その機能付加方法および画像改竄検出シ
ステムを提供することにある。
画像データに対して画像処理を行うことのできるデジタ
ルカメラにおいて、撮影時の画像データから改竄された
か否かを検出することのできる画像データを出力するデ
ジタルカメラ、その機能付加方法および画像改竄検出シ
ステムを提供することにある。
【０００７】
【課題を解決するための手段】請求項１、３、５に係る
発明によれば、撮影対象からの光を画像データに変換す
る撮像部と、前記画像データを記録する記録媒体と、前
記記録媒体に記録された画像データに変更処理を行う手
段とを備えるデジタルカメラにおいて、画像データから
第１の特徴データを生成し、画像データに前記第１の特
徴データを埋め込み、第１の特徴データが埋め込まれた
画像データに対する前記変更処理を制限する。そのた
め、撮影後に画像データが改竄されたか否かを検出でき
るように第１の特徴データを埋め込んだ画像データがデ
ジタルカメラ内で変更されることにより改竄の有無を検
出できなくなるのを防ぐことができる。
発明によれば、撮影対象からの光を画像データに変換す
る撮像部と、前記画像データを記録する記録媒体と、前
記記録媒体に記録された画像データに変更処理を行う手
段とを備えるデジタルカメラにおいて、画像データから
第１の特徴データを生成し、画像データに前記第１の特
徴データを埋め込み、第１の特徴データが埋め込まれた
画像データに対する前記変更処理を制限する。そのた
め、撮影後に画像データが改竄されたか否かを検出でき
るように第１の特徴データを埋め込んだ画像データがデ
ジタルカメラ内で変更されることにより改竄の有無を検
出できなくなるのを防ぐことができる。
【０００８】請求項２、４、６に係る発明によれば、第
１の特徴データを暗号化するため、画像データが同一の
特徴データを得られる別の画像データに変更されること
や、画像データの変更に合わせて第１の特徴データが書
き換えられるのを防ぐことができる。
１の特徴データを暗号化するため、画像データが同一の
特徴データを得られる別の画像データに変更されること
や、画像データの変更に合わせて第１の特徴データが書
き換えられるのを防ぐことができる。
【０００９】
【００１０】
【００１１】本発明の請求項７に記載の画像改竄検出シ
ステムによれば、画像データを入力する手段と、画像デ
ータから第１の特徴データを取り除く手段と、第１の特
徴データを取り除いた画像データから第２の画像特徴デ
ータを生成する手段と、第１の画像特徴データと第２の
画像特徴データとを比較する手段とを備える。そのた
め、第１の画像特徴データと第２の画像特徴データとが
一致していれば、入力された画像データがデジタルカメ
ラによって記録された後に変更されていないことを検出
することができる。
ステムによれば、画像データを入力する手段と、画像デ
ータから第１の特徴データを取り除く手段と、第１の特
徴データを取り除いた画像データから第２の画像特徴デ
ータを生成する手段と、第１の画像特徴データと第２の
画像特徴データとを比較する手段とを備える。そのた
め、第１の画像特徴データと第２の画像特徴データとが
一致していれば、入力された画像データがデジタルカメ
ラによって記録された後に変更されていないことを検出
することができる。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。図２は本発明の実施例のデ
ジタルカメラ１を説明するためのブロック図である。制
御部１１、集光レンズ１２、光センサとしてのＣＣＤ
（Charge Coupled Device ）１３、Ａ／Ｄ変換部１４、
ＲＡＭ（Random Access Memory）１５、画像データを記
録する画像記録媒体としてのフラッシュメモリ１６、フ
ラッシュメモリ１６の内容を外部のパーソナルコンピュ
ータ２０等の処理装置と入出力するためのインターフェ
イス１７、画像を表示可能な液晶表示部（ＬＣＤ）１９
などから構成される。制御部１１はＣＰＵと、デジタル
カメラ１の様々な制御を行うためのプログラムが記録さ
れたＲＯＭと、入出力手段とを備える。フラッシュメモ
リ１６はデジタルカメラ１に内蔵されるほか、デジタル
カメラ１に着脱自在なメモリカードであってもよく、そ
の両方を備えていてもよい。
に基づいて詳細に説明する。図２は本発明の実施例のデ
ジタルカメラ１を説明するためのブロック図である。制
御部１１、集光レンズ１２、光センサとしてのＣＣＤ
（Charge Coupled Device ）１３、Ａ／Ｄ変換部１４、
ＲＡＭ（Random Access Memory）１５、画像データを記
録する画像記録媒体としてのフラッシュメモリ１６、フ
ラッシュメモリ１６の内容を外部のパーソナルコンピュ
ータ２０等の処理装置と入出力するためのインターフェ
イス１７、画像を表示可能な液晶表示部（ＬＣＤ）１９
などから構成される。制御部１１はＣＰＵと、デジタル
カメラ１の様々な制御を行うためのプログラムが記録さ
れたＲＯＭと、入出力手段とを備える。フラッシュメモ
リ１６はデジタルカメラ１に内蔵されるほか、デジタル
カメラ１に着脱自在なメモリカードであってもよく、そ
の両方を備えていてもよい。
【００１３】使用者は、デジタルカメラ１に設けられる
入力キーへの入力により、デジタルカメラにより撮影を
行う撮影モード、すでに撮影した画像を表示する再生モ
ード、デジタルカメラの作動について種々の設定を行う
設定モードなどを切り替えることができる。本実施例で
は、再生モードでＬＣＤ１９に画像を表示させ、入力キ
ーによりＬＣＤ１９の画像の上に処理内容を表示させ、
実行を指示することにより、フラッシュメモリ１６に記
録された画像に対し、例えば以下のような種々の画像処
理を行うことができる。 画像の解像度を例えば１２８０×９６０画素から６４
０×４８０画素に変換する、あるいはＪＰＥＧによる圧
縮率を高くして再圧縮して記録することにより画像デー
タの容量を低減し、フラッシュメモリ１６に記録可能な
画像の枚数を増加させる。 画像の色調を白黒、セピア調などに変更して記録す
る。 画像の一部分をトリミングして記録する。 画像の上に、あらかじめ用意され透明部分を含む別の
画像を重ねて（例えば、画像の縁に枠をつけて）記録す
る。
入力キーへの入力により、デジタルカメラにより撮影を
行う撮影モード、すでに撮影した画像を表示する再生モ
ード、デジタルカメラの作動について種々の設定を行う
設定モードなどを切り替えることができる。本実施例で
は、再生モードでＬＣＤ１９に画像を表示させ、入力キ
ーによりＬＣＤ１９の画像の上に処理内容を表示させ、
実行を指示することにより、フラッシュメモリ１６に記
録された画像に対し、例えば以下のような種々の画像処
理を行うことができる。 画像の解像度を例えば１２８０×９６０画素から６４
０×４８０画素に変換する、あるいはＪＰＥＧによる圧
縮率を高くして再圧縮して記録することにより画像デー
タの容量を低減し、フラッシュメモリ１６に記録可能な
画像の枚数を増加させる。 画像の色調を白黒、セピア調などに変更して記録す
る。 画像の一部分をトリミングして記録する。 画像の上に、あらかじめ用意され透明部分を含む別の
画像を重ねて（例えば、画像の縁に枠をつけて）記録す
る。
【００１４】本実施例のデジタルカメラ１は、外部の記
録媒体（例えば、磁気ディスクやＣＤ−ＲＯＭ）に記録
されたプログラムを、パーソナルコンピュータ２０から
デジタルカメラ１にインターフェイス１７を介して送信
し、プログラムをデジタルカメラ１のフラッシュメモリ
１６に導入（インストール）することができる。プログ
ラムを導入するためのプログラムもまた、外部の記録媒
体に記録され、パーソナルコンピュータ２０によって実
行されることにより、プログラムのインストールが行わ
れる。デジタルカメラ１にインストールされたプログラ
ムは、デジタルカメラ１の制御部１１により実行するこ
とが可能である。デジタルカメラ１に着脱自在なメモリ
カード内にプログラムを記録し、デジタルカメラ１に内
蔵されたフラッシュメモリ１６にプログラムを送信する
ことにより、インストールしてもよい。プログラムのイ
ンストールは、デジタルカメラ１を購入後に所有者が自
分で行ってもよく、また、プログラムがインストールさ
れた状態で販売してもよい。
録媒体（例えば、磁気ディスクやＣＤ−ＲＯＭ）に記録
されたプログラムを、パーソナルコンピュータ２０から
デジタルカメラ１にインターフェイス１７を介して送信
し、プログラムをデジタルカメラ１のフラッシュメモリ
１６に導入（インストール）することができる。プログ
ラムを導入するためのプログラムもまた、外部の記録媒
体に記録され、パーソナルコンピュータ２０によって実
行されることにより、プログラムのインストールが行わ
れる。デジタルカメラ１にインストールされたプログラ
ムは、デジタルカメラ１の制御部１１により実行するこ
とが可能である。デジタルカメラ１に着脱自在なメモリ
カード内にプログラムを記録し、デジタルカメラ１に内
蔵されたフラッシュメモリ１６にプログラムを送信する
ことにより、インストールしてもよい。プログラムのイ
ンストールは、デジタルカメラ１を購入後に所有者が自
分で行ってもよく、また、プログラムがインストールさ
れた状態で販売してもよい。
【００１５】本実施例では、画像データに画像改竄検出
データとして、画像データから生成した特徴データを電
子透かしの方式で画像データに埋め込む手順を含むプロ
グラム（以下、透かしプログラム）をデジタルカメラに
インストールする。透かしプログラムがインストールさ
れると、デジタルカメラ１で撮影が行われた時には、通
常の画像記録を行うプログラムに代わって、上記の透か
しプログラムが実行され、画像データがフラッシュメモ
リ１６に記録される。撮影したときに通常の記録を行う
か、透かしプログラムを実行させるかを、設定モードで
選択できるようにしてもよい。
データとして、画像データから生成した特徴データを電
子透かしの方式で画像データに埋め込む手順を含むプロ
グラム（以下、透かしプログラム）をデジタルカメラに
インストールする。透かしプログラムがインストールさ
れると、デジタルカメラ１で撮影が行われた時には、通
常の画像記録を行うプログラムに代わって、上記の透か
しプログラムが実行され、画像データがフラッシュメモ
リ１６に記録される。撮影したときに通常の記録を行う
か、透かしプログラムを実行させるかを、設定モードで
選択できるようにしてもよい。
【００１６】上記の透かしプログラムのインストール時
には、同時に上記の〜のような画像処理を制限する
プログラムがインストールされる。使用者が〜のよ
うな画像処理を行おうとすると、この画像処理を制限す
るプログラムが実行され、ＬＣＤ１９に画像処理が禁止
されていることを表示する。画像データに付加されたヘ
ッダなどによって、透かしプログラムによって記録され
た画像か、通常に記録された画像であるかを判断し、透
かしプログラムによって記録された画像である場合にの
み、画像処理を禁止するようにしてもよい。そのため、
透かしプログラムによって記録された画像データが変更
され、電子透かしが失われることを防止することができ
る。
には、同時に上記の〜のような画像処理を制限する
プログラムがインストールされる。使用者が〜のよ
うな画像処理を行おうとすると、この画像処理を制限す
るプログラムが実行され、ＬＣＤ１９に画像処理が禁止
されていることを表示する。画像データに付加されたヘ
ッダなどによって、透かしプログラムによって記録され
た画像か、通常に記録された画像であるかを判断し、透
かしプログラムによって記録された画像である場合にの
み、画像処理を禁止するようにしてもよい。そのため、
透かしプログラムによって記録された画像データが変更
され、電子透かしが失われることを防止することができ
る。
【００１７】撮影時、常に透かしプログラムが実行され
てフラッシュメモリ１６に記録する場合は、デジタルカ
メラ１内での画像処理に関する表示をＬＣＤ１９に表示
しないようにしてもよい。また、透かしプログラムのイ
ンストールと同時に、デジタルカメラ内で〜のよう
な画像処理を実行するプログラムを削除してもよい。
てフラッシュメモリ１６に記録する場合は、デジタルカ
メラ１内での画像処理に関する表示をＬＣＤ１９に表示
しないようにしてもよい。また、透かしプログラムのイ
ンストールと同時に、デジタルカメラ内で〜のよう
な画像処理を実行するプログラムを削除してもよい。
【００１８】図１は、透かしプログラムをインストール
したデジタルカメラ１により撮影が行われる行程を示す
フローチャートである。ユーザーがデジタルカメラ１の
シャッターを押すと、ステップＳ１０１で、集光レンズ
１２により集光された光がＣＣＤ１３に入力され、電気
信号に変換される。集光レンズ１２の絞りやシャッター
スピード、すなわちＣＣＤ１３の蓄積時間は制御部１１
によって自動的に、またはユーザーの指示によって制御
される。ＣＣＤ１３として、例えばＲ（Red）、Ｇ（Gre
en）、Ｂ（Blue）の原色フィルタを有する複数の画素が
マトリックス状に配置されたＣＣＤ１３を用いることに
より、カラー画像を撮影することができる。Ｃ（Cya
n）、Ｍ（Magenta）、Ｙ（Yellow）、Ｇ（Green）の補
色フィルタを有するＣＣＤを用いる場合もある。
したデジタルカメラ１により撮影が行われる行程を示す
フローチャートである。ユーザーがデジタルカメラ１の
シャッターを押すと、ステップＳ１０１で、集光レンズ
１２により集光された光がＣＣＤ１３に入力され、電気
信号に変換される。集光レンズ１２の絞りやシャッター
スピード、すなわちＣＣＤ１３の蓄積時間は制御部１１
によって自動的に、またはユーザーの指示によって制御
される。ＣＣＤ１３として、例えばＲ（Red）、Ｇ（Gre
en）、Ｂ（Blue）の原色フィルタを有する複数の画素が
マトリックス状に配置されたＣＣＤ１３を用いることに
より、カラー画像を撮影することができる。Ｃ（Cya
n）、Ｍ（Magenta）、Ｙ（Yellow）、Ｇ（Green）の補
色フィルタを有するＣＣＤを用いる場合もある。
【００１９】ステップＳ１０２では、ＣＣＤ１３から出
力された電気信号がＡ／Ｄ変換部１４によりデジタル信
号に変換され、ステップＳ１０３ではＡ／Ｄ変換部１４
から出力されたデジタルデータが高速化のためＤＭＡ
（Direct Memory Access）により制御部１１を介さずに
直接ＲＡＭ１５のアドレスを指定して記録される。ＲＡ
Ｍ１５としてはセルフリフレッシュ機能をもつＤＲＡＭ
を用いることができる。
力された電気信号がＡ／Ｄ変換部１４によりデジタル信
号に変換され、ステップＳ１０３ではＡ／Ｄ変換部１４
から出力されたデジタルデータが高速化のためＤＭＡ
（Direct Memory Access）により制御部１１を介さずに
直接ＲＡＭ１５のアドレスを指定して記録される。ＲＡ
Ｍ１５としてはセルフリフレッシュ機能をもつＤＲＡＭ
を用いることができる。
【００２０】ステップＳ１０４では、ＲＡＭ１５に記録
されたデータについて、ホワイトバランスの調整、補間
処理、色補正などの各種の画像補正が行われる。ここ
で、画像の拡大・縮小など、その他の画像処理を行って
もよい。
されたデータについて、ホワイトバランスの調整、補間
処理、色補正などの各種の画像補正が行われる。ここ
で、画像の拡大・縮小など、その他の画像処理を行って
もよい。
【００２１】ステップＳ１０５〜Ｓ１１０では、画像記
録媒体への記録枚数を多くするためにステップＳ１０４
で補正されたデータをＪＰＥＧ（Joint Photographic E
xperts Group）などの方式により圧縮し、容量の小さな
画像データを生成する。ＪＰＥＧ圧縮は、制御部１１に
よってソフトウェア的に行うほか、高速化のために専用
の回路を用いることができる。
録媒体への記録枚数を多くするためにステップＳ１０４
で補正されたデータをＪＰＥＧ（Joint Photographic E
xperts Group）などの方式により圧縮し、容量の小さな
画像データを生成する。ＪＰＥＧ圧縮は、制御部１１に
よってソフトウェア的に行うほか、高速化のために専用
の回路を用いることができる。
【００２２】以下にＪＰＥＧ圧縮の手順を説明する。ス
テップＳ１０５では、まず画像データを８×８画素を１
単位とした複数のブロックに分割する。例えば、６４０
×４８０画素の画像データであれば、８０×６０＝４８
００ブロックに分割され、ブロック単位に処理が行われ
る。
テップＳ１０５では、まず画像データを８×８画素を１
単位とした複数のブロックに分割する。例えば、６４０
×４８０画素の画像データであれば、８０×６０＝４８
００ブロックに分割され、ブロック単位に処理が行われ
る。
【００２３】次に、Ｂ１〜Ｂ４８０の各ブロックごとに
画素同士の濃度の相対関係（空間周波数）を調べ、ＤＣ
Ｔ（拡散コサイン変換）方式により、各ブロックを低周
波数項のＤＣＴ０から高周波数項のＤＣＴ６３に分け
る。ＤＣＴ０〜ＤＣＴ６３はそれぞれ８ビットの値であ
る。図３には、高周波数項のＤＣＴ６３を１６進数で示
している。そして、所定の量子化テーブルを用いて量子
化することにより高周波数項の多くが０となるように
し、後の行程でハフマン符号化したときに圧縮率が高く
なるようにする。
画素同士の濃度の相対関係（空間周波数）を調べ、ＤＣ
Ｔ（拡散コサイン変換）方式により、各ブロックを低周
波数項のＤＣＴ０から高周波数項のＤＣＴ６３に分け
る。ＤＣＴ０〜ＤＣＴ６３はそれぞれ８ビットの値であ
る。図３には、高周波数項のＤＣＴ６３を１６進数で示
している。そして、所定の量子化テーブルを用いて量子
化することにより高周波数項の多くが０となるように
し、後の行程でハフマン符号化したときに圧縮率が高く
なるようにする。
【００２４】ステップＳ１０６では、後の行程で特徴デ
ータを埋め込む位置を決定するために、ブロック化され
ＤＣＴ変換された画像データの先頭のブロックから順に
各ブロックで最も高周波側の成分であるＤＣＴ６３を調
べる。そして、ＤＣＴ６３の値が、０および１以外のブ
ロックを埋め込みブロックとして記憶する。図３に示す
例では、Ｂ３、Ｂ４、Ｂ５及びＢ６が、、および
の埋め込みブロックとして選択され記憶される。本実
施例では１２８ビットのハッシュ値を用いるために、１
２８のブロックを選択する。埋め込みブロックが１２８
ブロックに満たない場合は、足りない埋め込みブロック
数と未調査のブロックが一致した時点で、残りのブロッ
クを全て埋め込みブロックとする。そして埋め込みブロ
ックのＤＣＴ６３の最下位ビットを全て０に置き換え
る。これにより、例えばブロックＢ４のＤＣＴ６３はＦ
ＦからＦＥに書き換えられるが、高い周波数における小
さな変動は、肉眼ではほとんど判断することができない
ため、画像の歪みは最小限となる。
ータを埋め込む位置を決定するために、ブロック化され
ＤＣＴ変換された画像データの先頭のブロックから順に
各ブロックで最も高周波側の成分であるＤＣＴ６３を調
べる。そして、ＤＣＴ６３の値が、０および１以外のブ
ロックを埋め込みブロックとして記憶する。図３に示す
例では、Ｂ３、Ｂ４、Ｂ５及びＢ６が、、および
の埋め込みブロックとして選択され記憶される。本実
施例では１２８ビットのハッシュ値を用いるために、１
２８のブロックを選択する。埋め込みブロックが１２８
ブロックに満たない場合は、足りない埋め込みブロック
数と未調査のブロックが一致した時点で、残りのブロッ
クを全て埋め込みブロックとする。そして埋め込みブロ
ックのＤＣＴ６３の最下位ビットを全て０に置き換え
る。これにより、例えばブロックＢ４のＤＣＴ６３はＦ
ＦからＦＥに書き換えられるが、高い周波数における小
さな変動は、肉眼ではほとんど判断することができない
ため、画像の歪みは最小限となる。
【００２５】ステップＳ１０７では、ステップＳ１０６
で部分的に書き換えられた画像データに基づいて、制御
部１１により特徴データを生成する。特徴データとして
は、例えば種々の一方向ハッシュ関数により算出される
ハッシュ値を用いることができる。また、ハッシュ値の
他に、チェックサム、ＣＲＣ方式等、データがオリジナ
ルから変更されているか否かを検出することができる公
知の方法を本発明に適用することもできる。これらの方
法を用いることにより、各々の画像データに対して異な
る特徴データを割り当てることができ、また、特徴デー
タから元の画像データを再現することはほとんど不可能
となる。本実施例では、特徴データとして１２８ビット
のハッシュ値を算出する。例えば、ＭＤ５、ＳＨＡある
いはＲＩＰＥＭＤハッシュ関数を用いることができる。
で部分的に書き換えられた画像データに基づいて、制御
部１１により特徴データを生成する。特徴データとして
は、例えば種々の一方向ハッシュ関数により算出される
ハッシュ値を用いることができる。また、ハッシュ値の
他に、チェックサム、ＣＲＣ方式等、データがオリジナ
ルから変更されているか否かを検出することができる公
知の方法を本発明に適用することもできる。これらの方
法を用いることにより、各々の画像データに対して異な
る特徴データを割り当てることができ、また、特徴デー
タから元の画像データを再現することはほとんど不可能
となる。本実施例では、特徴データとして１２８ビット
のハッシュ値を算出する。例えば、ＭＤ５、ＳＨＡある
いはＲＩＰＥＭＤハッシュ関数を用いることができる。
【００２６】ステップＳ１０８では、ハッシュ値などの
特徴データが解析されたり容易に書き換えられたりしな
いように、制御部１１により暗号化して暗号化データと
する。暗号化の方法としては、公開鍵と秘密鍵を用いる
ＲＡＳ方式など、公知の方法を用いることができる。秘
密鍵で暗号化した暗号化データは、秘密鍵と対になった
公開鍵を用いて復号することができる。秘密鍵はデジタ
ルカメラ１内に隠し属性のファイルとして記録されてい
る。秘密鍵は、他人に知られてはならず、また、本実施
例ではユーザーが秘密鍵を知る必要はない。一般に、公
開鍵から、それに対応する秘密鍵を求めることは非常に
困難である。これにより、画像データが同一の特徴デー
タを得られる別の画像データに変更されることや、画像
データの変更に合わせて特徴データが書き換えられるの
を防ぐことができる。
特徴データが解析されたり容易に書き換えられたりしな
いように、制御部１１により暗号化して暗号化データと
する。暗号化の方法としては、公開鍵と秘密鍵を用いる
ＲＡＳ方式など、公知の方法を用いることができる。秘
密鍵で暗号化した暗号化データは、秘密鍵と対になった
公開鍵を用いて復号することができる。秘密鍵はデジタ
ルカメラ１内に隠し属性のファイルとして記録されてい
る。秘密鍵は、他人に知られてはならず、また、本実施
例ではユーザーが秘密鍵を知る必要はない。一般に、公
開鍵から、それに対応する秘密鍵を求めることは非常に
困難である。これにより、画像データが同一の特徴デー
タを得られる別の画像データに変更されることや、画像
データの変更に合わせて特徴データが書き換えられるの
を防ぐことができる。
【００２７】ステップＳ１０９では、ハッシュ値を暗号
化した暗号化データを、選択された埋め込みブロックの
ＤＣＴ６３の最下位ビットに１ビットずつ書き込むこと
により、画像の劣化を最小限にして特徴データを画像デ
ータの中に埋め込む。なお、ＪＰＥＧ形式の画像データ
は、カラー画像の場合は、Ｙ（輝度）、Ｕ、Ｖ（色相）
の成分を有するが、暗号化された特徴データはＹ成分に
埋め込まれる。
化した暗号化データを、選択された埋め込みブロックの
ＤＣＴ６３の最下位ビットに１ビットずつ書き込むこと
により、画像の劣化を最小限にして特徴データを画像デ
ータの中に埋め込む。なお、ＪＰＥＧ形式の画像データ
は、カラー画像の場合は、Ｙ（輝度）、Ｕ、Ｖ（色相）
の成分を有するが、暗号化された特徴データはＹ成分に
埋め込まれる。
【００２８】ステップＳ１１０では、暗号化データが埋
め込まれたデータをハフマン符号化することにより、デ
ータの圧縮を行う。ハフマン符号化では、データの可逆
性は満足されており、処理の前後でデータの欠損はな
い。Ｓ１０５での量子化テーブルによる量子化の度合い
を変えることによって圧縮率を変更することができる。
め込まれたデータをハフマン符号化することにより、デ
ータの圧縮を行う。ハフマン符号化では、データの可逆
性は満足されており、処理の前後でデータの欠損はな
い。Ｓ１０５での量子化テーブルによる量子化の度合い
を変えることによって圧縮率を変更することができる。
【００２９】ステップＳ１１１では、Ｓ１１０で圧縮さ
れた画像データをＪＰＥＧファイル３０として画像記録
媒体としてのフラッシュメモリ１６に記録する。フラッ
シュメモリ１６は通電しなくても記録内容を保存するこ
とのできる書換え可能な記録媒体であり、デジタルカメ
ラ１に内蔵されるか、あるいは着脱自在にデジタルカメ
ラ１に取り付けられている。一般にＪＰＥＧファイル３
０は図４に示すようにデータ長、圧縮率等の情報を含む
ヘッダ部３１と、画像データ部３２とから構成される。
デジタルカメラ１によって記録されるＪＰＥＧファイル
３０の場合は、撮影日や撮影条件等の情報もヘッダ部３
１に記録されることがある。本実施例では、暗号化に用
いた秘密鍵に対応する公開鍵３３をヘッダ部３１に更に
加えて記録している。
れた画像データをＪＰＥＧファイル３０として画像記録
媒体としてのフラッシュメモリ１６に記録する。フラッ
シュメモリ１６は通電しなくても記録内容を保存するこ
とのできる書換え可能な記録媒体であり、デジタルカメ
ラ１に内蔵されるか、あるいは着脱自在にデジタルカメ
ラ１に取り付けられている。一般にＪＰＥＧファイル３
０は図４に示すようにデータ長、圧縮率等の情報を含む
ヘッダ部３１と、画像データ部３２とから構成される。
デジタルカメラ１によって記録されるＪＰＥＧファイル
３０の場合は、撮影日や撮影条件等の情報もヘッダ部３
１に記録されることがある。本実施例では、暗号化に用
いた秘密鍵に対応する公開鍵３３をヘッダ部３１に更に
加えて記録している。
【００３０】設定モードで透かしプログラムを実行しな
いように設定されている場合は、通常のＪＰＥＧ圧縮と
同様の手順により、ステップＳ１０５でＤＣＴ変換され
量子化されたデータはステップＳ１１０でハフマン符号
化により圧縮される。
いように設定されている場合は、通常のＪＰＥＧ圧縮と
同様の手順により、ステップＳ１０５でＤＣＴ変換され
量子化されたデータはステップＳ１１０でハフマン符号
化により圧縮される。
【００３１】上記の例では、ＪＰＥＧ圧縮の途中の行程
で特徴データを埋め込んだが、特徴データの埋め込みを
行わずにハフマン符号化まで行う通常のＪＰＥＧ圧縮を
行った後に、部分的に画像データを復号化し、ステップ
Ｓ１０６〜Ｓ１０９と同様の行程により特徴データを埋
め込み、再度ハフマン符号化してもよい。
で特徴データを埋め込んだが、特徴データの埋め込みを
行わずにハフマン符号化まで行う通常のＪＰＥＧ圧縮を
行った後に、部分的に画像データを復号化し、ステップ
Ｓ１０６〜Ｓ１０９と同様の行程により特徴データを埋
め込み、再度ハフマン符号化してもよい。
【００３２】上記のようなデジタルカメラ１と、デジタ
ルカメラ１から出力された画像データを入力する手段を
備えるパーソナルコンピュータ２０等のコンピュータ
と、デジタルカメラ１によって記録された画像データが
変更されたか否かを判定するためにパーソナルコンピュ
ータ２０等にインストールされた検出プログラムとによ
って画像改竄検出システムが構成される。
ルカメラ１から出力された画像データを入力する手段を
備えるパーソナルコンピュータ２０等のコンピュータ
と、デジタルカメラ１によって記録された画像データが
変更されたか否かを判定するためにパーソナルコンピュ
ータ２０等にインストールされた検出プログラムとによ
って画像改竄検出システムが構成される。
【００３３】本実施例の画像改竄検出システムにより画
像の改竄を検出する行程を図５に示すフローチャートを
用いて説明する。ステップＳ２０１では、検出プログラ
ムにより、パーソナルコンピュータ２０にデジタルカメ
ラから画像データが読み込まれる。パーソナルコンピュ
ータ２０に画像データを読み込む手段としては、シリア
ルケーブル１８等を介してデジタルカメラ１のインター
フェイス１７と接続してフラッシュメモリ１６内のＪＰ
ＥＧファイルをパーソナルコンピュータ２０に転送する
方法や、フラッシュメモリ１６が着脱自在でパーソナル
コンピュータ２０と互換性のある形式でフォーマットさ
れている場合には、アダプタを介してフラッシュメモリ
１６に記録されたＪＰＥＧファイル３０をパーソナルコ
ンピュータ２０で直接読取ることも可能である。
像の改竄を検出する行程を図５に示すフローチャートを
用いて説明する。ステップＳ２０１では、検出プログラ
ムにより、パーソナルコンピュータ２０にデジタルカメ
ラから画像データが読み込まれる。パーソナルコンピュ
ータ２０に画像データを読み込む手段としては、シリア
ルケーブル１８等を介してデジタルカメラ１のインター
フェイス１７と接続してフラッシュメモリ１６内のＪＰ
ＥＧファイルをパーソナルコンピュータ２０に転送する
方法や、フラッシュメモリ１６が着脱自在でパーソナル
コンピュータ２０と互換性のある形式でフォーマットさ
れている場合には、アダプタを介してフラッシュメモリ
１６に記録されたＪＰＥＧファイル３０をパーソナルコ
ンピュータ２０で直接読取ることも可能である。
【００３４】ステップＳ２０２では、上記のステップＳ
１０６で特徴データを埋め込むブロックを選択したとき
と同様の手順で、特徴データが埋め込まれているべきブ
ロックを選択し、１２８ビットの暗号化データを抽出す
る。
１０６で特徴データを埋め込むブロックを選択したとき
と同様の手順で、特徴データが埋め込まれているべきブ
ロックを選択し、１２８ビットの暗号化データを抽出す
る。
【００３５】ステップＳ２０３では、暗号化データが埋
め込まれていたビットに全て０を書き込み、暗号化デー
タが埋め込まれる前の元画像データを生成する。ステッ
プＳ２０４では、ステップＳ１０６と同様の手順で、１
２８ビットのハッシュ値を算出する。
め込まれていたビットに全て０を書き込み、暗号化デー
タが埋め込まれる前の元画像データを生成する。ステッ
プＳ２０４では、ステップＳ１０６と同様の手順で、１
２８ビットのハッシュ値を算出する。
【００３６】ステップＳ２０５では、ステップＳ２０２
で抽出した暗号化データを、ＪＰＥＧファイルのヘッダ
に書き込まれた公開鍵を用いて、秘密鍵によって暗号化
されたことを確認すると同時に暗号を復号する。それに
より、暗号化前のハッシュ値を求める。
で抽出した暗号化データを、ＪＰＥＧファイルのヘッダ
に書き込まれた公開鍵を用いて、秘密鍵によって暗号化
されたことを確認すると同時に暗号を復号する。それに
より、暗号化前のハッシュ値を求める。
【００３７】ステップＳ２０６では、ステップＳ２０４
で算出されたハッシュ値とステップＳ２０５で算出され
たハッシュ値を比較し、一致していれば画像データは本
実施例のデジタルカメラ１により撮影された後に改竄さ
れていないものであると判定し、一致しなければ画像デ
ータは撮影時から改竄されていると判定する。また、ス
テップＳ２０５で、暗号化データが公開鍵で復号できな
い場合にも、その画像データは本発明実施例のデジタル
カメラ１で撮影されたものではないか、撮影後に変更さ
れたものとみなされる。
で算出されたハッシュ値とステップＳ２０５で算出され
たハッシュ値を比較し、一致していれば画像データは本
実施例のデジタルカメラ１により撮影された後に改竄さ
れていないものであると判定し、一致しなければ画像デ
ータは撮影時から改竄されていると判定する。また、ス
テップＳ２０５で、暗号化データが公開鍵で復号できな
い場合にも、その画像データは本発明実施例のデジタル
カメラ１で撮影されたものではないか、撮影後に変更さ
れたものとみなされる。
【００３８】したがって、本発明実施例の画像改竄検出
システムを使用する場合、写真の提出者は、デジタルカ
メラ１から出力して変更を加えていない画像データを含
むファイル（本実施例ではＪＰＥＧファイル３０）をフ
ロッピー等の記録媒体に記録したもの、あるいは着脱可
能な記録媒体であるフラッシュメモリ１６をデジタルカ
メラ１から取り外したものを、印刷した写真と共に、あ
るいは相手の求めに応じて提出する。受け取り側は、パ
ーソナルコンピュータ２０にインストールされた検出プ
ログラムを用いて受け取ったファイルを読み込んで調べ
ることにより、そのファイルの画像データがデジタルカ
メラ１から出力された時点から変更されていないという
ことを確認することができる。
システムを使用する場合、写真の提出者は、デジタルカ
メラ１から出力して変更を加えていない画像データを含
むファイル（本実施例ではＪＰＥＧファイル３０）をフ
ロッピー等の記録媒体に記録したもの、あるいは着脱可
能な記録媒体であるフラッシュメモリ１６をデジタルカ
メラ１から取り外したものを、印刷した写真と共に、あ
るいは相手の求めに応じて提出する。受け取り側は、パ
ーソナルコンピュータ２０にインストールされた検出プ
ログラムを用いて受け取ったファイルを読み込んで調べ
ることにより、そのファイルの画像データがデジタルカ
メラ１から出力された時点から変更されていないという
ことを確認することができる。
【００３９】また、検出プログラムにＪＰＥＧファイル
３０等の画像データの画像を表示する機能をもたせるこ
とにより、印刷された写真と表示された画像が同一であ
ることを確認することができる。
３０等の画像データの画像を表示する機能をもたせるこ
とにより、印刷された写真と表示された画像が同一であ
ることを確認することができる。
【００４０】上記の実施例では、ＪＰＥＧ圧縮したもの
を画像データとして画像記録媒体に記録したが、本発明
は他の圧縮方法で圧縮したものや、無圧縮のデータを画
像データとして記録したものにも適用できる。また、本
実施例では、特徴データを暗号化してＪＰＥＧファイル
の画像データ部分の中に埋め込んで記録したが、本発明
としてはヘッダ部に書き込むなど、特徴データは画像デ
ータのどの位置にあってもよい。
を画像データとして画像記録媒体に記録したが、本発明
は他の圧縮方法で圧縮したものや、無圧縮のデータを画
像データとして記録したものにも適用できる。また、本
実施例では、特徴データを暗号化してＪＰＥＧファイル
の画像データ部分の中に埋め込んで記録したが、本発明
としてはヘッダ部に書き込むなど、特徴データは画像デ
ータのどの位置にあってもよい。
【図１】本発明の実施例におけるデジタルカメラにより
画像を記録する手順を示すフローチャートである。
画像を記録する手順を示すフローチャートである。
【図２】本発明の実施例によるデジタルカメラを示すブ
ロック図である。
ロック図である。
【図３】本発明の実施例による画像データの特徴データ
を算出する方法を説明するための模式図である。
を算出する方法を説明するための模式図である。
【図４】本発明の実施例によるＪＰＥＧファイルの構造
を説明するための模式図である。
を説明するための模式図である。
【図５】本発明の実施例により画像データの改竄を検出
する手順を示すフローチャートである。
する手順を示すフローチャートである。
１ デジタルカメラ １１ 制御部 １２ 集光レンズ １３ ＣＣＤ（撮像部） １４ Ａ／Ｄ変換部 １５ ＲＡＭ １６ フラッシュメモリ １７ インターフェイス １８ 接続ケーブル １９ 液晶表示部（ＬＣＤ） ２０ パーソナルコンピュータ ３０ ＪＰＥＧファイル ３１ ヘッダ部 ３２ 画像データ ３３ 公開鍵
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 5/92 Ｈ (56)参考文献 特開 平11−86435（ＪＰ，Ａ) 特開 平10−164549（ＪＰ，Ａ) 特開 平11−65444（ＪＰ，Ａ) 特開 平11−234264（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/76 - 5/956 H04N 1/387 H04N 5/225 - 5/243 H04N 101:00 G06T 1/00 G09C 5/00
Claims (7)
- 【請求項１】 撮影対象からの光を画像データに変換す
る撮像部と、前記画像データを記録する記録媒体と、前
記記録媒体に記録された画像データに変更処理を行う手
段とを備えるデジタルカメラであって、 前記画像データから第１の特徴データを生成する手段
と、 前記画像データに前記第１の特徴データを埋め込む手段
と、 前記第１の特徴データが埋め込まれた画像データに対す
る前記変更処理を禁止する手段と、 を備えることを特徴とするデジタルカメラ。 - 【請求項２】 前記第１の特徴データを暗号化する手段
を備えることを特徴とする請求項１に記載のデジタルカ
メラ。 - 【請求項３】 撮影対象からの光を画像データに変換す
る撮像部と、前記画像データを記録する記録媒体と、前
記記録媒体に記録された画像データに変更処理を行う手
段とを備えるデジタルカメラにおける画像改竄防止方法
であって、 前記画像データから第１の特徴データを生成する段階
と、 前記画像データに前記第１の特徴データを埋め込む段階
と、 前記第１の特徴データが埋め込まれた画像データに対す
る前記変更処理を禁止する段階と、 を含むことを特徴とする画像改竄防止方法。 - 【請求項４】 前記第１の特徴データを暗号化する段階
を含むことを特徴とする請求項３に記載の画像改竄防止
方法。 - 【請求項５】 撮影対象からの光を画像データに変換す
る撮像部と、前記画像データを記録する記録媒体と、前
記記録媒体に記録された画像データに変更処理を行う手
段とを備えるデジタルカメラに導入される画像改竄防止
プログラムであって、 前記画像データから第１の特徴データを生成する手順
と、 前記画像データに前記第１の特徴データを埋め込む手順
と、 前記第１の特徴データが埋め込まれた画像データに対す
る前記変更処理を禁止する手順と、 をコンピュータに実行させる画像改竄防止プログラムを
記録した記録媒体。 - 【請求項６】 前記第１の特徴データを暗号化する手順
をコンピュータに実行させる請求項５に記載の画像改竄
防止プログラムを記録した記録媒体。 - 【請求項７】 請求項１または２のいずれかに記載のデ
ジタルカメラを用いた画像改竄検出システムであって、 前記画像データを入力する手段と、 前記画像データから前記第１の特徴データを取り除く手
段と、 前記第１の特徴データを取り除いた画像データから第２
の特徴データを生成する手段と、 前記第１の特徴データと前記第２の特徴データとを比較
する手段と、 を備えることを特徴とする画像改竄検出システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25167299A JP3246660B2 (ja) | 1999-09-06 | 1999-09-06 | デジタルカメラおよび画像改竄検出システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25167299A JP3246660B2 (ja) | 1999-09-06 | 1999-09-06 | デジタルカメラおよび画像改竄検出システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001078142A JP2001078142A (ja) | 2001-03-23 |
| JP3246660B2 true JP3246660B2 (ja) | 2002-01-15 |
Family
ID=17226315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25167299A Expired - Fee Related JP3246660B2 (ja) | 1999-09-06 | 1999-09-06 | デジタルカメラおよび画像改竄検出システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3246660B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4383889B2 (ja) * | 2002-02-20 | 2009-12-16 | 株式会社日立製作所 | 機器情報通信システム |
| JP4298365B2 (ja) | 2003-04-25 | 2009-07-15 | キヤノン株式会社 | 画像処理装置、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP4217524B2 (ja) | 2003-04-30 | 2009-02-04 | キヤノン株式会社 | 制御装置、制御方法、プログラムおよび記録媒体 |
| JP5080304B2 (ja) * | 2008-02-08 | 2012-11-21 | アヴァシス株式会社 | 秘匿データが挿入された画像データの表示方式 |
-
1999
- 1999-09-06 JP JP25167299A patent/JP3246660B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001078142A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7984300B2 (en) | System and method of authenicating a digitally captured image | |
| US20100134647A1 (en) | Methods and systems for embedding camera information in images | |
| US20090046158A1 (en) | Image processing system, image capturing device, image processing terminal, image processing data storage terminal, program for the device, program for the terminal, data structure of image data, method of processing image, and method of generating image data | |
| EP1865459A1 (en) | The method of digital watermark and the corresponding device, and digital camera which can append watermark | |
| US6600571B1 (en) | Method, apparatus and recording medium for image printing | |
| KR20000035423A (ko) | 기록 장치 | |
| JP2007189428A (ja) | インデックス画像出力装置及びインデックス画像出力プログラム | |
| US20020083323A1 (en) | Method and system for enabling an image to be authenticated | |
| JP3164215B2 (ja) | デジタルカメラおよび画像改竄検出システム | |
| JP3246660B2 (ja) | デジタルカメラおよび画像改竄検出システム | |
| JP3521723B2 (ja) | デジタルカメラおよびそれを用いた画像認証システム | |
| JP4022644B2 (ja) | 画像ファイルの読み取り方法、画像ファイル読み取り装置 | |
| JP3748169B2 (ja) | 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JP3528700B2 (ja) | デジタルカメラおよび画像改竄検出システム | |
| JP3431130B2 (ja) | デジタルカメラの機能付加方法および記録媒体 | |
| JP2001309159A (ja) | 記録装置 | |
| JP4632445B2 (ja) | 画像ファイル生成装置、画像ファイル生成方法、プログラム及び記憶媒体 | |
| JPH10290359A (ja) | タイムスタンプ装置 | |
| JP2009194439A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、画像処理方法、プログラム及び記憶媒体 | |
| JP2000216985A (ja) | 電子透かし埋込み装置および方法，電子透かし埋込みプログラムを格納した記録媒体ならびにディジタル・カメラおよびその制御方法 | |
| JP4328610B2 (ja) | 撮像装置 | |
| JP4239449B2 (ja) | 画像付属情報の記録方法及び装置並びに撮影装置 | |
| JP2003348536A (ja) | デジタルカメラ | |
| JP4143516B2 (ja) | 画像処理装置、画像検証方法、プログラムおよび記憶媒体 | |
| JP2007013882A (ja) | 記憶媒体、デジタルデータ処理装置、及びデジタルデータ処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071102 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081102 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 12 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |