JP3687675B2 - 電子透かし機能を有する電子カメラ、および画像処理プログラム - Google Patents

電子透かし機能を有する電子カメラ、および画像処理プログラム Download PDF

Info

Publication number
JP3687675B2
JP3687675B2 JP2003419917A JP2003419917A JP3687675B2 JP 3687675 B2 JP3687675 B2 JP 3687675B2 JP 2003419917 A JP2003419917 A JP 2003419917A JP 2003419917 A JP2003419917 A JP 2003419917A JP 3687675 B2 JP3687675 B2 JP 3687675B2
Authority
JP
Japan
Prior art keywords
image
data
unit
file
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003419917A
Other languages
English (en)
Other versions
JP2004222253A (ja
Inventor
貞実 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2003419917A priority Critical patent/JP3687675B2/ja
Priority to US10/743,717 priority patent/US7400349B2/en
Publication of JP2004222253A publication Critical patent/JP2004222253A/ja
Application granted granted Critical
Publication of JP3687675B2 publication Critical patent/JP3687675B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • H04N2201/3277The additional information being stored in the same storage device as the image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Description

本発明は、撮像した画像に対して、著作権表示その他の可視の特定画像(いわゆる電子透かし)を、後で画像復元できるように挿入する電子カメラに関する。
また、本発明は、上記の電子カメラで作成された画像ファイルから、特定画像を取り除いて、元の画像を復元するための画像処理プログラムに関する。
従来、電子透かしを画像データに埋め込む電子透かし技術が知られている。
例えば、下記の特許文献1には、画像データの一部範囲を色変更することにより、可視の電子透かしを画像データに埋め込む方法が開示されている。
また、下記の特許文献2には、画像圧縮された圧縮データを一旦復号化した上で電子透かしを付加し、再び画像圧縮を行う方法が開示されている。
特開2000−358154号公報 特開2000−151411号公報
通常、オリンピックのような大きなスポーツイベントでは、複数の契約カメラマンによって撮影された大量の画像データが、新聞社などに一度に集まる。これら大量の画像データを扱う場合、新聞社側では、各画像データを一目見るだけで撮影者や競技などを簡易に判別できることが好ましい。
また、カメラマン側にとっても、自分の手元を離れる画像データが、撮影者を一目で判別できる状態で流通すれば、後から著作権主張を行う際に極めて都合がよい。
そこで、本発明者は、このような用途に対応するため、電子カメラにおいて、画像データに著作権表示などの可視情報を付加することを考えた。
しかしながら、特許文献1の方法では、画像データの特定の画面範囲を色変更するため、著作権表示などを判読可能な状態で付加することは難しい。
また、特許文献2の方法では、圧縮データを復号化した上で電子透かしを付加し、再び画像圧縮しなければならない。そのため、電子カメラ内での処理負担が重く、一コマ当たりの撮影速度が遅くなるなどの不具合が生じる。
そこで、本発明では、著作権表示その他の可視の特定画像を少ない処理負担で撮像画像に付加する電子透かし技術を提供することを目的とする。
以下、本発明について説明する。
《請求項1》
請求項1の電子カメラは、撮像した画像データを加工して画像ファイルを生成する電子カメラであって、撮像部、データ抽出部、データ挿入部、およびファイル生成部を備える。
この撮像部は、被写体像を撮像して画像データを生成する。
データ抽出部は、この画像データに部分的な画面範囲を設定し、その画面範囲から部分画像を抽出する。
データ挿入部は、画像データの前記画面範囲を、予め定められた特定画像のデータで書き換えて、加工済み画像のデータを生成する。
ファイル生成部は、加工済み画像のデータを画像ファイルの画像領域(画像として参照されるデータ領域)に格納し、かつ前記部分画像のデータを画像ファイルの非画像領域(画像として参照されないデータ領域)に格納して、画像ファイルを生成する。
特に、請求項1の電子カメラは、ファイル生成部が、前記部分画像を暗号化する暗号化部を備える。ファイル生成部は、この暗号化部で生成される部分画像の暗号データを画像ファイルの非画像領域に格納する。
請求項2
請求項2の電子カメラは、撮像した画像データを加工して、JPEGファイルである画像ファイルを生成する電子カメラであって、撮像部、画像圧縮部、データ抽出部、データ挿入部、およびファイル生成部を備える。
この撮像部は、被写体像を撮像して画像データを生成する。
画像圧縮部は、撮像部によって撮像された画像データを画像圧縮して、RSTマーカーコード付きの圧縮データを生成する。
データ抽出部は、この画像データに部分的な画面範囲を設定し、RSTマーカーコードに基づいて、圧縮データの中から画面範囲に該当するデータを選別して、部分画像のデータとして抽出する。
データ挿入部は、圧縮データの画面範囲に該当するデータを、予め定められた特定画像の圧縮データで書き換えて、加工済み画像のデータを生成する。
ファイル生成部は、加工済み画像のデータをJPEGファイルの画像領域(画像として参照されるデータ領域)であるフレームに格納し、かつ部分画像のデータをJPEGファイルの非画像領域(画像として参照されないデータ領域)であるアプリケーションセグメントに格納して、画像ファイルを生成する。
特に、このファイル生成部は、部分画像を暗号化する暗号化部を備え、暗号化部で生成される部分画像の暗号データを非画像領域に格納する。
請求項3
請求項3の電子カメラは、撮像した画像データを加工して、JPEGファイルである画像ファイルを生成する電子カメラであって、撮像部、画像圧縮部、マーカーコード挿入部、データ抽出部、データ挿入部、およびファイル生成部を備える。
この撮像部は 被写体像を撮像して画像データを生成する。
画像圧縮部は、撮像部によって撮像された画像データを画像圧縮して、圧縮データを生成する。
マーカーコード挿入部は、画像圧縮部で画像圧縮された圧縮データに対して、画像データの画面内位置を示すRSTマーカーコードを後から挿入する。
データ抽出部は、画像データに部分的な画面範囲を設定し、RSTマーカーコードに基づいて、圧縮データの中から画面範囲に該当するデータを選別して、部分画像のデータとして抽出する。
データ挿入部は、圧縮データの画面範囲に該当するデータを、予め定められた特定画像の圧縮データで書き換えて、加工済み画像を生成する。
ファイル生成部は、加工済み画像のデータをJPEGファイルの画像領域(画像として参照されるデータ領域)であるフレームに格納する。さらに、ファイル生成部は、部分画像のデータをJPEGファイルの非画像領域(画像として参照されないデータ領域)であるアプリケーションセグメントに格納して、画像ファイルを生成する。
特に、このファイル生成部は、部分画像を暗号化する暗号化部を備え、暗号化部で生成される部分画像の暗号データを非画像領域に格納する。
請求項4
請求項4の画像処理プログラムは、請求項1に記載の電子カメラで生成された画像ファイルから元の画像を復元するための画像処理プログラムであって、コンピュータを画像入力部、データ読み出し部、暗号解除部、およびデータ置き換え部として機能させることを特徴とする。
この画像入力部は、画像ファイルをコンピュータに取り込む。
データ読み出し部は、取り込まれた画像ファイルの画像領域から加工済み画像のデータを読み出し、この画像ファイルの非画像領域から部分画像の暗号データを読み出す。
暗号解除部は、部分画像データの暗号データを復号化して、部分画像を得る。
データ置き換え部は、前記加工済み画像データ中の前記特定画像を選別し、前記特定画像を前記部分画像に書き換えることにより、元の画像を復元する。
《請求項5》
請求項5の画像処理プログラムは、請求項2または請求項3に記載の電子カメラで生成されたJPEGファイルから元の画像を復元するための画像処理プログラムであって、コンピュータを、画像入力部、データ読み出し部、暗号解除部、およびデータ置き換え部として機能させることを特徴とする。
この画像入力部は、JPEGファイルをコンピュータに取り込む。
データ読み出し部は、このJPEGファイルのフレームから、前記RSTマーカーコードを含む圧縮データを読み出し、このJPEGファイルのアプリケーションセグメントから前記部分画像の暗号データを読み出す。
暗号解除部は、暗号データを復号化して、部分画像の圧縮データを得る。
データ置き換え部は、フレームから読み出した圧縮データ中のRSTマーカーコードに基づいて、この圧縮データに含まれる特定画像の圧縮データを特定する。さらに、データ置き換え部は、この特定画像の圧縮データを部分画像の圧縮データに書き換えることにより、元の圧縮データを復元する。
《請求項6》
請求項6の電子カメラは、請求項1ないし請求項3のいずれか1項に記載の電子カメラにおいて、データ挿入部は、特定画像と部分画像とを所定割合で画素加算して、半透明の特定画像を生成し、画像データの画面範囲を、この半透明の特定画像のデータで書き換えて、加工済み画像を生成する。
以上説明したように、本発明の電子カメラは、画像データの一部を特定画像に置換し、かつ特定画像によって除去された部分画像を画像ファイルの非画像領域に保存する。このような機能により、元の画像への復元を可能にしつつ、特定画像を電子透かしとして部分的に付加した画像を少ない処理負担で生成することが可能になる。
以下、図面に基づいて本発明にかかる実施形態を説明する。
《第1の実施形態》
第1の実施形態は、請求項1,2,6に対応する電子カメラの実施形態である。
図1は、第1の実施形態における電子カメラ11の構成を示す図である。まず、この図1を用いて、電子カメラ11の概略説明を行う。
図1に示すように、電子カメラ11には、撮影レンズ12が装着される。この撮影レンズ12の像空間には、撮像素子13が配置される。
この撮像素子13において生成された画像データは、A/D変換部15を介して12bit階調にデジタル化された後、信号処理部16に与えられる。信号処理部16は、この画像データに対して、黒レベル補正や欠陥画素補正などの信号処理を実行する。信号処理された画像データは、バッファメモリ17に一時記憶される。このバッファメモリ17は、バス18に接続される。このバス18には、画像処理部19、記録部20、マイクロプロセッサ22、および画像圧縮部23などが接続される。
画像処理部19は、バッファメモリ17内の画像データに対して、色補間処理、
などの画像処理を施す。
画像圧縮部23は、画像処理を終えた画像データをJPEG圧縮し、JPEG圧縮データ(データストリーム)を生成する。
マイクロプロセッサ22は、このJPEG圧縮データに対して、予め定められた特定画像を電子透かしとして付加し、JPEGファイルを生成する。
記録部20は、生成されたJPEGファイルをメモリカード21に記録する。
また、電子カメラ11には、各種の情報入力やモード設定やレリーズ操作を行うためのスイッチ群22a等が設けられる。これらスイッチ群22aからの入力データは、マイクロプロセッサ22に入力される。
なお、図1には、電子カメラ11で作成されたJPEGファイルを外部処理するためのコンピュータ31を一緒に示す。
[発明との対応関係]
以下、発明と第1の実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の撮像部は、撮像素子13およびA/D変換部15に対応する。
請求項記載のデータ抽出部は、マイクロプロセッサ22の『画像データの画面範囲から、部分画像を抽出する機能』に対応する。
請求項記載のデータ挿入部は、マイクロプロセッサ22の『画像データの画面範囲に特定画像を挿入して、加工済み画像のデータを生成する機能』に対応する。
請求項記載のファイル生成部は、マイクロプロセッサ22の『加工済み画像のデータを画像ファイルの画像領域に格納し、部分画像のデータを画像ファイルの非画像領域に格納する機能』に対応する。
請求項記載の暗号化部は、マイクロプロセッサ22の『部分画像を暗号化する機能』に対応する。
請求項記載の画像圧縮部は、画像圧縮部23に対応する。
請求項記載の画像領域は『JPEGファイルのフレーム』に対応し、請求項記載の非画像領域は『JPEGファイルのアプリケーションセグメント』に対応する。
[第1の実施形態の動作説明]
図2は、本発明の特徴動作である特定画像の挿入処理を示す流れ図である。
図3および図4は、特定画像の挿入動作を模式的に示した図である。
以下、この特定画像の挿入処理を、図2に示すステップ番号の順番に説明する。
ステップS1: 画像圧縮部23は、撮像された画像データに対して、JPEG圧縮を行い、JPEG圧縮データ(データストリーム)を生成する。このJPEG圧縮データには、画像圧縮部23によって、画像データの画面内位置を示すRST(リスタート)マーカーコードが付加される。
ステップS2: マイクロプロセッサ22は、JPEG圧縮データの量子化テーブルを画像圧縮部23からデータ取得する。
ステップS3: マイクロプロセッサ22は、スイッチ群22aなどを用いて予め入力設定される撮影者IDや、不図示のタイマーから入力される撮影日時をデータ取得し、これらデータを画像としてレイアウトすることにより、著作権表示を目的とする特定画像を生成する。
例えば、図3(A)〜(C)に示す特定画像32は、撮影者名、撮影年、および二次元バーコード33などを配置した画像である。この二次元バーコード33は、著作権に関する情報をコンピュータ側で機械判読できるように設けた画像である。
ステップS4: マイクロプロセッサ22は、ステップS2においてデータ取得した量子化テーブルを用いて、特定画像をJPEG圧縮し、特定画像の圧縮データを生成する。この特定画像の圧縮データには、マイクロプロセッサ22によって、JPEG圧縮データと同様のRSTマーカーコードが付加される。
マイクロプロセッサ22は、この特定画像の圧縮データをバッファメモリ17に一時記憶する。
ステップS5: マイクロプロセッサ22は、特定画像を挿入する画面範囲の設定を読み出し、この画面範囲をRSTマーカーの位置に換算する。
例えば、図3(A)には、特定画像を挿入する画面範囲として、画面の周辺部を設定した場合を示す。このような画面範囲の設定では、特定画像が主要被写体を隠す可能性が低く、モニタ上での画像確認に適している。
また、図3(B)には、特定画像を挿入する画面範囲を、画面中央付近に設定した場合を示す。このような画面範囲の設定では、特定画像が主要被写体を隠す確率が高い。そのため、特定画像を適切に除去しなければ、本来の画像使用が困難であり、画像の不正使用を防ぐ効果が高い。
さらに、図3(C)には、半透明の特定画像を画像データに挿入した例を示す。このような半透明の特定画像は、特定画像と部分画像(後述)とを所定割合で画素加算することによって生成できる。なお、この画素加算は、例えば直交変換係数(例えばDCT係数、ウェーブレット変換係数など)の状態で行うことも可能である。
このような半透明の特定画像では、主要被写体を十分に確認できるので、モニタ上での画像確認に適している。また、特定画像の透明度を適宜に設定すれば、特定画像の著作権表示の判読にも支障は生じない。さらに、半透明の特定画像を主要被写体の上にかけることにより、特定画像を適正に除去しなければ、本来の画像使用が困難となる。そのため、画像の不正使用を防ぐ効果も高い。
更に、特定画像の透明度を画面上で変化させることにより、特定画像の完全除去をさらに困難にすることもできる。
ステップS6: マイクロプロセッサ22は、JPEG圧縮データをRSTマーカーコードの単位に検索する。
ステップS7: マイクロプロセッサ22は、RSTマーカーコードに基づいて、特定画像を挿入する画面範囲を選別する。
ここで、画面範囲と判断された場合、マイクロプロセッサ22は、ステップS8に動作を移行する。一方、画面範囲でないと判断された場合、マイクロプロセッサ22は、ステップS10に動作を移行する。
ステップS8: マイクロプロセッサ22は、図4中の(a)に示すように、JPEG圧縮データから画面範囲に位置する部分画像の圧縮データPを抽出する。マイクロプロセッサ22は、抽出した部分画像の圧縮データPをバッファメモリ17に一時記憶する。
ステップS9: マイクロプロセッサ22は、図4中の(b)に示すように、JPEG圧縮データの画面範囲に存在する部分画像の圧縮データを、特定画像の圧縮データで書き換える。
ステップS10: ここでマイクロプロセッサ22は、特定画像の挿入処理を完了したか否かを判断する。
例えば、挿入すべき特定画像が残っている場合、マイクロプロセッサ22はステップS6に動作を移行する。
特定画像を全て挿入した場合、マイクロプロセッサ22はステップS11に動作を移行する。
ステップS11: マイクロプロセッサ22は、完成した加工済み画像の圧縮データをJPEGファイルのフレーム(画像として参照される領域)に格納する。
ステップS12: マイクロプロセッサ22は、特定画像を挿入した画面範囲を示す情報をJPEGファイルのアプリケーションセグメント(画像として参照されない領域)に格納する。
ステップS13: 続いて、マイクロプロセッサ22は、図4中の(c)に示すように、画像データから抽出した部分画像の圧縮データPを暗号化する。ここでの暗号化には、公開鍵方式や非公開鍵方式その他の公知の暗号化方式を使用できる。
ステップS14: マイクロプロセッサ22は、この部分画像の暗号化データをJPEGファイルのアプリケーションセグメントに格納する。
ステップS15: マイクロプロセッサ22は、記録部20を制御して、完成したJPEGファイルをメモリカード21に格納する。
上述した一連の動作により、特定画像を電子透かしとして画像データに挿入する処理が完了する。
[第1の実施形態の効果など]
以上説明したように、第1の実施形態では、電子カメラ11内において、画像データの一部を特定画像に置換して、加工済み画像を作成する。この機能を使用することにより、電子カメラ11内において画像データに著作権表示などを少ない処理負担で付加することが可能になる。
その結果、大量の画像データを撮像するカメラマンにとって、著作権表示の書き込み忘れを防止できるという点で極めて利便性の高い電子カメラ11が実現する。
さらに、電子カメラ11は、この加工済み画像のデータを、画像ファイルの画像領域(画像として参照されるデータ領域)に格納する。そのため、特別な専用ソフトを用意することなく、汎用の画像表示プログラム(WEBブラウザや画像編集ソフトなど)を使用して、著作権表示付きの画像データを表示確認することができる。
このように簡易に著作権表示付きの画像データを表示確認できるので、画像データの帰属を一目で判別することが可能になる。その結果、オリンピックのように大量の画像データが新聞社に集中する状況において、撮影者を簡単かつ確実に判別することが可能になり、画像データを管理し選別する新聞社側にとって極めて都合がよい。
さらに、第1の実施形態では、著作権表示(発明では特定画像)と置き換えられた部分画像を、画像ファイルの非画像領域(画像として参照されないデータ領域)に格納する。
通常、汎用の画像表示プログラムは、この非画像領域を画像として再生することができない。そのため、汎用の画像表示プログラムを用いて、表示画像から著作権表示を消すことはできたとしても、部分画像を画像として再生して元の画像データを復元することまでは非常に難しい。その結果、画像データの不正利用を抑止することが可能になる。
一方、後述する専用の画像処理プログラムを使用すれば、この非画像領域中の部分画像を独自処理により画像として再生できる。したがって、この専用の画像処理プログラムを使用することより、再生した部分画像を用いて元の画像データを復元することができる。そのため、オリジナル画像を大切にするカメラマンにおいても、電子カメラ11の著作権表示機能を懸念なく使用することができる。
さらに、電子カメラ11は、加工済み画像と部分画像を1つの画像ファイルに格納する。したがって、これら画像が複数の画像ファイルに別々に分かれることがない。その結果、加工済み画像と部分画像を個別に管理したり、外部に対してまとめてファイル転送する必要がなく、後々までの画像管理の手間を省くことが可能になる。
また、電子カメラ11は、部分画像を暗号化して格納する。したがって、暗号解除の方法(鍵)を知らない第三者にとって、元の画像を復元することは極めて困難になる。その結果、画像データの不正利用を確実に抑止することが可能になる。
さらに、電子カメラ11では、圧縮データの状態のまま、特定画像を挿入する。この処理では画像伸張が不要となるので、特許文献2に比べて一段と高速な処理が実現する。
その上、上述した処理は、データ量の少ない圧縮データの置換や抽出によって実現する。そのため、この点からも高速な処理を実現することが可能になる。
さらに、電子カメラ11は、RSTマーカーコードを基準にして、圧縮データストリームのままで画面範囲を特定している。そのため、可変長符号化された圧縮データであっても、画面範囲を簡単かつ高速に特定することが可能になる。このような工夫からも、本発明の処理を高速化することが可能になる。
次に、別の実施形態について説明する。
《第2の実施形態》
第2の実施形態は、請求項1,3,6に対応する電子カメラの実施形態である。
なお、第2の実施形態における電子カメラの構成は、第1の実施形態(図1)の構成と同一である。そのため、ここでは構成説明を省略し、図1に示す参照符号をそのまま使用する。
図5は、第2の実施形態における特定画像の挿入処理を示す流れ図である。
第2の実施形態の主たる特徴は、画像圧縮部23がRSTマーカーコードを含まないJPEG圧縮データを生成する点である。
以下、第2の実施形態の動作を、図5に示すステップ番号の順番に説明する。
ステップS21: 画像圧縮部23は、撮像された画像データに対して、JPEG圧縮を行い、RSTマーカーコードを含まないJPEG圧縮データを生成する。
ステップS22〜S25: 第1の実施形態のステップS2〜S5と同じ。
ステップS26: マイクロプロセッサ22は、JPEG圧縮データのデータストリームから可変長コードを順次に拾って、その可変長コードの個数を計数する。マイクロプロセッサ22は、この可変長コードの個数に基づいて、固定長のデータ量を求める。
ステップS27: マイクロプロセッサ22は、固定長のデータ量が、RSTブロックの1単位に到達するたびに、JPEG圧縮データを区切る。
ステップS28: マイクロプロセッサ22は、このJPEG圧縮データの区切りを終端ビットパッキングして、RSTマーカーコードをデータ挿入する。このとき、マイクロプロセッサ22は、ブロック先頭にDC成分の値を書き込む(DC成分の差分値リセット)。
ステップS29: マイクロプロセッサ22は、JPEG圧縮データの区切り(つまりRSTマーカーコード)に基づいて、特定画像を挿入する画面範囲を選別する。
ここで、画面範囲と判断された場合、マイクロプロセッサ22は、ステップS30に動作を移行する。一方、画面範囲でないと判断された場合、マイクロプロセッサ22は、ステップS32に動作を移行する。
ステップS30: マイクロプロセッサ22は、JPEG圧縮データから、画面範囲に位置する部分画像の圧縮データを読み出し、バッファメモリ17に一時記憶する。なお、この部分画像の圧縮データの中に区切りが発生するようであれば、マイクロプロセッサ22は、この部分画像の圧縮データに対してRSTマーカーコードの挿入処理を実施する。
ステップS31: 第1の実施形態のステップS9と同じ。
ステップS32: ここでマイクロプロセッサ22は、画像全体の処理を完了したか否かを判断する。
処理すべき画像が残っている場合、マイクロプロセッサ22はステップS26に動作を移行する。
画像を全て処理した場合、マイクロプロセッサ22はステップS33に動作を移行する。
ステップS33〜ステップS37: 第1の実施形態のステップS11〜S15と同じ。
上述した一連の動作により、RSTマーカーコードを含まないJPEG圧縮データに対しても、特定画像の挿入処理が実現する。
[第2の実施形態の効果など]
以上説明したように、第2の実施形態では、第1の実施形態と同様の効果を得ることができる。
さらに、第2の実施形態では、圧縮データのデータストリームを可変長コードに区切り、その可変長コードの個数から固定長コードのデータ量を計数する。したがって、RSTマーカーコードを含まない圧縮データであっても、固定長コードのデータ量から、特定画像を挿入する画面範囲を適切に特定することができる。
また、第2の実施形態では、固定長コードの計数結果に基づいて、RSTマーカーコードを挿入する。したがって、次回以降はこのRSTマーカーコードを使用して、特定画像の画面範囲を特定することが可能になる。その結果、特定画像と部分画像との置換処理などを自在かつ簡易に行うことが可能になる。
次に、別の実施形態について説明する。
《第3の実施形態》
第3の実施形態は、請求項4,5に対応する画像処理プログラムの実施形態である。この画像処理プログラムは、例えば、図1中に示すコンピュータ31によって実行される。
図6は、この画像処理プログラムを説明する流れ図である。以下、図6に示すステップ番号の順番に動作説明を行う。
ステップS51: コンピュータ31は、電子カメラ11で作成されたJPEGファイルを、記録媒体や通信媒体を介して読み込む。
ステップS52: コンピュータ31は、JPEGファイルのアプリケーションセグメントから、画面範囲を示す情報を読み出す。
ステップS53: 続いて、コンピュータ31は、JPEGファイルのアプリケーションセグメントから、部分画像の暗号化データを読み出す。
ステップS54: コンピュータ31は、予め設定される暗号解除キーを使用して、部分画像の暗号化データを暗号解除し、部分画像の圧縮データを得る。
ステップS55: コンピュータ31は、JPEGファイルのフレーム(圧縮データのデータストリームが格納される領域)を、含まれるRSTマーカーコードの単位に検索する。
ステップS56: コンピュータ31は、RSTマーカーコードに基づいて、探索中のフレームのデータ位置が特定画像の挿入された画面範囲か否かを判別する。
ここで、画面範囲と判別された場合、コンピュータ31は、ステップS57に動作を移行する。一方、画面範囲でないと判別された場合、コンピュータ31は、ステップS58に動作を移行する。
ステップS57: コンピュータ31は、探索された画面範囲に、部分画像の圧縮データを格納する。
ステップS58: コンピュータ31は、置換すべき部分画像が残っているか否かを判定する。
ここで、置換すべき部分画像が残っている場合、コンピュータ31はステップS55に動作を移行する。
一方、部分画像の置換が完了している場合、コンピュータ31はステップS59に動作を移行する。
ステップS59: コンピュータ31は、元の画像に復元されたJPEGファイルを記録媒体に格納する
上述した一連の動作により、特定画像の挿入された画像を元の画像に復元することが可能になる。
[第3の実施形態の効果など]
以上説明したように、第3の実施形態では、画像ファイルの非画像領域(ここではアプリケーションセグメント)に格納される部分画像のデータを使って、元の画像を復元することができる。
さらに、第3の実施形態では、暗号化された部分画像を暗号解除する。したがって、暗号解除キーを知らない第三者は、元の画像を復元することが極めて困難であり、元の画像の不正使用を阻止することができる。
また、第3の実施形態では、画像圧縮された状態のデータのまま、元の画像の圧縮データを復元している。そのため、圧縮データを改めて画像伸張するなどの必要が特になく、元画像の圧縮データを高速に復元することができる。
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ11が撮像動作を1コマ行うたびに特定画像の挿入処理を行う場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、複数コマの画像データまたは圧縮データをバッファメモリ17に蓄積した後、マイクロプロセッサ22が、撮像動作の空き時間を待って、上述した特定画像の挿入処理を実施してもよい。このような動作では、電子カメラ11の連写速度を落とすことなく、本発明の処理を実施することができる。
また、上述した実施形態では、電子カメラ11が特定画像の圧縮データを毎回作成している。しかしながら、本発明はこれに限定されるものではない。例えば、同一の特定画像を、同一の量子化テーブルで圧縮された複数の圧縮データに挿入する場合には、初回のみ特定画像の圧縮データを作成してバッファメモリ17に蓄積すればよい。この場合、次回以降は、バッファメモリ17に蓄積された特定画像の圧縮データをそのまま使用することができるため、特定画像の挿入処理を一段と高速化することができる。
なお、上述した実施形態では、JPEGファイルの場合について説明した。しかしながら、本発明は特定の画像ファイル形式に限定されるものではない。一般に、非画像領域を有する画像ファイルであればよい。例えば、JPEG2000その他の画像ファイルでもよい。
また、第2の実施形態では、可変長コードの個数から固定長コードのデータ量を求めている。しかしながら、JPEG圧縮データをハフマン復号化して固定長に戻し、この固定長コードのデータ量を計数してもよい。
なお、第3の実施形態では、画像領域から除去した特定画像をデータ消去している。これは、特定画像が著作権表示などの場合に、第三者による著作権表示の再利用を防ぐことができるため、有効な動作である。
なお、この場合、特定画像をデータ消去せずに、特定画像を暗号化して非画像領域に格納してもよい。このような動作によっても、第三者による著作権表示の再利用を防ぐことができる。さらにこの場合は、第3の実施形態で説明した復元処理(図6)を繰り返し実行することにより、一旦復元した元の画像に特定画像を再び挿入することが可能になる。
以上説明したように、本発明は、電子カメラや画像処理プログラムにおいて、電子透かしの処理機能を実現する際に利用可能な技術である。
第1の実施形態における電子カメラ11の構成を示す図である。 第1の実施形態における特定画像の挿入動作を説明する流れ図である。 特定画像を挿入する画面範囲を例示する図である。 特定画像の挿入動作を模式的に説明する図である。 第2の実施形態における特定画像の挿入動作を説明する流れ図である。 第3の実施形態における画像処理プログラムの処理手順を示す流れ図である。
符号の説明
11 電子カメラ
12 撮影レンズ
13 撮像素子
15 A/D変換部
16 信号処理部
17 バッファメモリ
18 バス
19 画像処理部
20 記録部
22 マイクロプロセッサ
22a スイッチ群
23 画像圧縮部
31 コンピュータ
32 特定画像

Claims (6)

  1. 撮像した画像データを加工して画像ファイルを生成する電子カメラであって、
    被写体像を撮像して前記画像データを生成する撮像部と、
    前記画像データに部分的な画面範囲を設定し、その画面範囲から部分画像を抽出するデータ抽出部と、
    前記画像データの前記画面範囲を、予め定められた特定画像のデータで書き換えて、加工済み画像を生成するデータ挿入部と、
    前記加工済み画像のデータを前記画像ファイルの画像領域(画像として参照されるデータ領域)に格納し、かつ前記部分画像のデータを前記画像ファイルの非画像領域(画像として参照されないデータ領域)に格納して、前記画像ファイルを生成するファイル生成部とを備え、
    前記ファイル生成部は、
    前記部分画像を暗号化する暗号化部を備え、前記暗号化部で生成される前記部分画像の暗号データを前記非画像領域に格納する
    ことを特徴とする電子カメラ。
  2. 撮像した画像データを加工して、JPEGファイルである画像ファイルを生成する電子カメラであって、
    被写体像を撮像して前記画像データを生成する撮像部と、
    前記撮像部によって撮像された前記画像データを画像圧縮して、RSTマーカーコード付きの圧縮データを生成する画像圧縮部と、
    前記画像データに部分的な画面範囲を設定し、前記RSTマーカーコードに基づいて、前記圧縮データの中から前記画面範囲に該当するデータを選別して、前記部分画像のデータとして抽出するデータ抽出部と、
    前記圧縮データの前記画面範囲に該当するデータを、予め定められた特定画像の圧縮データで書き換えて、加工済み画像を生成するデータ挿入部と、
    前記加工済み画像のデータを前記JPEGファイルの画像領域(画像として参照されるデータ領域)であるフレームに格納し、かつ前記部分画像のデータを前記JPEGファイルの非画像領域(画像として参照されないデータ領域)であるアプリケーションセグメントに格納して、前記画像ファイルを生成するファイル生成部とを備え、
    前記ファイル生成部は、前記部分画像を暗号化する暗号化部を備え、前記暗号化部で生成される前記部分画像の暗号データを前記非画像領域に格納する
    ことを特徴とする電子カメラ。
  3. 撮像した画像データを加工して、JPEGファイルである画像ファイルを生成する電子カメラであって、
    被写体像を撮像して前記画像データを生成する撮像部と、
    前記撮像部によって撮像された前記画像データを画像圧縮して、圧縮データを生成する画像圧縮部と、
    前記画像圧縮部で画像圧縮された前記圧縮データに対して、前記画像データの画面内位置を示すRSTマーカーコードを後から挿入するマーカーコード挿入部と、
    前記画像データに部分的な画面範囲を設定し、前記RSTマーカーコードに基づいて、前記圧縮データの中から前記画面範囲に該当するデータを選別して、前記部分画像のデータとして抽出するデータ抽出部と、
    前記圧縮データの前記画面範囲に該当するデータを、予め定められた特定画像の圧縮データで書き換えて、加工済み画像を生成するデータ挿入部と、
    前記加工済み画像のデータを前記JPEGファイルの画像領域(画像として参照されるデータ領域)であるフレームに格納し、かつ前記部分画像のデータを前記JPEGファイルの非画像領域(画像として参照されないデータ領域)であるアプリケーションセグメントに格納して、前記画像ファイルを生成するファイル生成部とを備え、
    前記ファイル生成部は、前記部分画像を暗号化する暗号化部を備え、前記暗号化部で生成される前記部分画像の暗号データを前記非画像領域に格納する
    ことを特徴とする電子カメラ。
  4. 請求項1に記載の電子カメラで生成された画像ファイルから元の画像を復元するための画像処理プログラムであって、
    前記画像ファイルを取り込む画像入力部と、
    前記画像ファイルの画像領域から前記加工済み画像のデータを読み出し、前記画像ファイルの非画像領域から前記部分画像の暗号データを読み出すデータ読み出し部と、
    前記暗号データを復号化して、前記部分画像を得る暗号解除部と、
    前記加工済み画像データ中の前記特定画像を選別し、前記特定画像を前記部分画像に書き換えることにより、元の画像を復元するデータ置き換え部として、
    コンピュータを機能させるための画像処理プログラム。
  5. 請求項2または請求項3に記載の電子カメラで生成されたJPEGファイルから元の画像を復元するための画像処理プログラムであって、
    前記JPEGファイルを取り込む画像入力部と、
    前記JPEGファイルのフレームから前記RSTマーカーコードを含む圧縮データを読み出し、前記JPEGファイルのアプリケーションセグメントから前記部分画像の暗号データを読み出すデータ読み出し部と、
    前記暗号データを復号化して、前記部分画像の圧縮データを得る暗号解除部と、
    前記フレームから読み出した前記圧縮データに含まれる前記RSTマーカーコードに基づいて、前記圧縮データに含まれる前記特定画像の圧縮データを特定し、前記特定画像の圧縮データを前記部分画像の圧縮データに書き換えることにより、元の圧縮データを復元するデータ置き換え部として、
    コンピュータを機能させるための画像処理プログラム。
  6. 請求項1ないし請求項3のいずれか1項に記載の電子カメラにおいて、
    前記データ挿入部は、
    前記特定画像と前記部分画像とを所定割合で画素加算して、半透明の特定画像を生成し、前記画像データの前記画面範囲を、前記半透明の特定画像のデータで書き換えて、加工済み画像を生成する
    ことを特徴とする電子カメラ。
JP2003419917A 2002-12-25 2003-12-17 電子透かし機能を有する電子カメラ、および画像処理プログラム Expired - Lifetime JP3687675B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003419917A JP3687675B2 (ja) 2002-12-25 2003-12-17 電子透かし機能を有する電子カメラ、および画像処理プログラム
US10/743,717 US7400349B2 (en) 2002-12-25 2003-12-24 Electronic camera and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002373944 2002-12-25
JP2003419917A JP3687675B2 (ja) 2002-12-25 2003-12-17 電子透かし機能を有する電子カメラ、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2004222253A JP2004222253A (ja) 2004-08-05
JP3687675B2 true JP3687675B2 (ja) 2005-08-24

Family

ID=32716291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003419917A Expired - Lifetime JP3687675B2 (ja) 2002-12-25 2003-12-17 電子透かし機能を有する電子カメラ、および画像処理プログラム

Country Status (2)

Country Link
US (1) US7400349B2 (ja)
JP (1) JP3687675B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004090794A1 (ja) * 2003-04-07 2006-07-06 ボーダフォン株式会社 情報処理方法
JP4127537B2 (ja) * 2004-02-04 2008-07-30 富士フイルム株式会社 画像処理方法および装置並びにプログラム
US20050231613A1 (en) * 2004-04-16 2005-10-20 Vincent Skurdal Method for providing superimposed video capability on a digital photographic device
JP4821200B2 (ja) * 2005-07-12 2011-11-24 三菱電機株式会社 データ変換装置、データ変換方法、データ変換プログラムおよびデータ変換プログラムを記録したコンピュータ読み取り可能な記録媒体
US20080278606A9 (en) * 2005-09-01 2008-11-13 Milivoje Aleksic Image compositing
JP4984975B2 (ja) * 2007-03-02 2012-07-25 株式会社ニコン カメラおよび画像処理プログラム
JP5162928B2 (ja) * 2007-03-12 2013-03-13 ソニー株式会社 画像処理装置、画像処理方法、画像処理システム
FR2915037B1 (fr) * 2007-04-11 2010-10-22 Sagem Comm Procede et dispositif de traitement d'image jpeg en decompression partielle
KR20090011223A (ko) * 2007-07-25 2009-02-02 삼성전자주식회사 방송처리장치 및 그 제어방법
JP5071188B2 (ja) 2008-03-24 2012-11-14 富士通株式会社 画像暗号化/復号化装置及びプログラム
US8204964B2 (en) * 2008-08-06 2012-06-19 Microsoft Corporation Efficient size optimization of visual information or auditory information
WO2010106678A1 (ja) 2009-03-19 2010-09-23 富士通株式会社 マーカ生成プログラム、復元プログラム、マーカ生成装置、復元装置およびマーカ生成方法
JP5235850B2 (ja) * 2009-11-30 2013-07-10 三菱電機株式会社 画像符号化装置、画像復号化装置、画像符号化・復号化システム及びその方法
KR101263922B1 (ko) * 2011-08-10 2013-05-13 한재철 개별 인식코드를 활용한 저작권 관리 시스템 및 그 방법
JP6302194B2 (ja) * 2013-09-07 2018-03-28 日本放送協会 逆多重化装置及びプログラム
JP7310138B2 (ja) * 2018-12-28 2023-07-19 株式会社リコー 画像処理装置、画像処理装置の故障検知方法、及びプログラム
EP3662637B1 (en) 2019-05-20 2021-05-12 Advanced New Technologies Co., Ltd. Identifying copyrighted material using embedded copyright information
EP3673391B1 (en) 2019-05-20 2021-07-07 Advanced New Technologies Co., Ltd. Copyright protection based on hidden copyright information
WO2019141293A2 (en) 2019-05-20 2019-07-25 Alibaba Group Holding Limited Identifying copyrighted material using embedded copyright information
CN110809762A (zh) 2019-05-20 2020-02-18 阿里巴巴集团控股有限公司 使用嵌入式版权信息识别版权材料
SG11202002616QA (en) 2019-05-20 2020-04-29 Alibaba Group Holding Ltd Identifying copyrighted material using copyright information embedded in electronic files
SG11202002417PA (en) 2019-05-20 2020-04-29 Alibaba Group Holding Ltd Identifying copyrighted material using copyright information embedded in tables
SG11202002748XA (en) 2019-05-20 2020-04-29 Alibaba Group Holding Ltd Identifying copyrighted material using embedded copyright information
SG11202001999UA (en) 2019-05-20 2020-04-29 Alibaba Group Holding Ltd Identifying copyrighted material using embedded timestamped copyright information

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3108283B2 (ja) 1994-08-29 2000-11-13 三洋電機株式会社 部分伸長装置及び方法
US5862218A (en) * 1996-04-04 1999-01-19 Fotonation, Inc. Method and apparatus for in-camera image marking and authentication
JPH11296661A (ja) 1998-04-04 1999-10-29 Dainippon Printing Co Ltd 画像処理装置
JP2000151411A (ja) 1998-11-10 2000-05-30 Canon Inc 情報処理装置およびその方法、並びに、記憶媒体
JP2000261647A (ja) * 1999-03-04 2000-09-22 Fuji Xerox Co Ltd 画像処理装置
JP3881810B2 (ja) 1999-06-17 2007-02-14 興和株式会社 透かしマークの可視度を調整可能な電子透かし
JP3728146B2 (ja) 1999-07-07 2005-12-21 キヤノン株式会社 画像処理方法及び装置と記憶媒体
JP3748352B2 (ja) * 1999-12-16 2006-02-22 富士通株式会社 データ運用方法、画像生成方法のプログラムを記録する記録媒体、画像復元方法のプログラムを記録する記録媒体
JP3614358B2 (ja) * 2000-09-28 2005-01-26 シャープ株式会社 画像符号化装置
JP2002125184A (ja) 2000-10-13 2002-04-26 Casio Comput Co Ltd 電子カメラ装置、画像加工装置および画像復元装置
JP2002281435A (ja) * 2001-03-16 2002-09-27 Matsushita Electric Ind Co Ltd 画像処理装置
JP2002369065A (ja) 2001-06-08 2002-12-20 Konica Corp デジタルスチルカメラ
US7046818B2 (en) * 2001-07-20 2006-05-16 Seiko Epson Corporation Standards compliant watermarking for access management
GB2379349B (en) * 2001-08-31 2006-02-08 Sony Uk Ltd Embedding data in material
US7515730B2 (en) * 2001-12-13 2009-04-07 Digimarc Corporation Progressive image quality control using watermarking
AU2002357259A1 (en) * 2001-12-13 2003-07-09 Digimarc Corporation Reversible watermarking
US6888569B2 (en) * 2002-10-02 2005-05-03 C3 Development, Llc Method and apparatus for transmitting a digital picture with textual material
JP2006513658A (ja) * 2003-01-22 2006-04-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 知覚可能な可逆透かし

Also Published As

Publication number Publication date
US20040135906A1 (en) 2004-07-15
JP2004222253A (ja) 2004-08-05
US7400349B2 (en) 2008-07-15

Similar Documents

Publication Publication Date Title
JP3687675B2 (ja) 電子透かし機能を有する電子カメラ、および画像処理プログラム
TW463504B (en) Recording device
JP4669187B2 (ja) 圧縮イメージ内に透かしを組み込む方法、圧縮されたイメージからすかしを回復する方法、ならびに記録媒体
JP5415446B2 (ja) 画像に除去可能な可視透かしを挿入する方法と装置、及びその透かしを除去する方法と装置
US7120273B2 (en) Apparatus and method for image group integrity protection
Moltisanti et al. Image manipulation on facebook for forensics evidence
Tian High capacity reversible data embedding and content authentication
CN112785660A (zh) 用于图像数据的隐写处理和压缩的方法和设备
JP2006203270A (ja) 画像圧縮方法および画像圧縮装置
JP2000059771A (ja) 画像撮像装置および画像データ利用システム
JP4654330B2 (ja) 映像変更装置、映像変更方法および映像変更プログラム
JP2001309159A (ja) 記録装置
KR100538414B1 (ko) 디씨티 기반의 영상 압축 시스템을 위한 데이터 위변조방지 방법
JP2000050048A (ja) 画像処理装置
JP2009027503A (ja) 撮像装置、改竄検出方法、および改竄検出装置
JP2000216985A (ja) 電子透かし埋込み装置および方法,電子透かし埋込みプログラムを格納した記録媒体ならびにディジタル・カメラおよびその制御方法
JPH10290359A (ja) タイムスタンプ装置
JP2005236496A (ja) 画像記録表示システム
JP2009200577A (ja) 画像記録装置
JP2004159219A (ja) 画像撮影装置、画像複製装置、画像編集装置、撮影画像管理方法、複製画像管理方法および編集画像管理方法
CN110544199A (zh) 一种图像处理方法、装置、存储介质和电子设备
JP5274369B2 (ja) 画像処理装置及び画像処理方法
JP2000059612A (ja) 画像処理装置及びその方法
JP4635790B2 (ja) Raw画像の電子透かしを処理する画像処理システム、撮像装置、画像処理装置、および画像処理プログラム
JP2004007100A (ja) 画像処理装置

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040420

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20040519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050530

R150 Certificate of patent or registration of utility model

Ref document number: 3687675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term