JP3721746B2 - ディジタルカメラ - Google Patents

ディジタルカメラ Download PDF

Info

Publication number
JP3721746B2
JP3721746B2 JP29110697A JP29110697A JP3721746B2 JP 3721746 B2 JP3721746 B2 JP 3721746B2 JP 29110697 A JP29110697 A JP 29110697A JP 29110697 A JP29110697 A JP 29110697A JP 3721746 B2 JP3721746 B2 JP 3721746B2
Authority
JP
Japan
Prior art keywords
image data
input
image
data
digital camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29110697A
Other languages
English (en)
Other versions
JPH11127414A (ja
Inventor
和正 川田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP29110697A priority Critical patent/JP3721746B2/ja
Publication of JPH11127414A publication Critical patent/JPH11127414A/ja
Application granted granted Critical
Publication of JP3721746B2 publication Critical patent/JP3721746B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、所望の画像を撮影して記憶するディジタルカメラに関する。
【0002】
【従来の技術】
近年、パーソナルコンピュータの普及に伴って、画像データの入力機器として、ディジタルカメラが利用されるようになってきている。
このディジタルカメラは、CCD等の撮像素子によって撮影した画像をディジタル画像データとしてメモリや磁気媒体等の記録媒体に記憶するもので、この記録媒体に記憶された画像データをパーソナルコンピュータに有線/無線転送する機能を備えているものや、記録媒体自体を着脱可能として、パーソナルコンピュータに設けた媒体駆動装置に装着することで記憶された画像データを読み出せるようにしたものも知られている。
【0003】
このようなディジタルカメラでは、複数の撮影画像データを記録媒体に記憶することが可能であり、そこで、それぞれ識別できるように、被写体の名称や撮影場所等をIDとして各画像データに付加できるようになっているものもある。
【0004】
【発明が解決しようとする課題】
しかしながら、上記IDは画像データに対応付けて別に保存されるものであるため、パーソナルコンピュータへの転送時やパーソナルコンピュータ上での画像データ編集時にその関連付けが失われてしまうことがあり、そのような場合には、各画像データの識別が困難になる。
【0005】
また、上記IDの入力には専用のキー入力部が必要となり、その入力操作も手間がかかるものであった。
本発明の課題は、画像データとそれに付加されるIDとの関連性が失われないようにすることである。
また、本発明の別の課題は、画像データに付加されるIDを容易に作成できるようにすることである。
【0006】
【課題を解決するための手段】
発明の手段は次の通りである。被写体を撮影して被写体画像データを得る撮影手段と、画像データを記憶するための画像データ記憶手段と、所望のIDを入力するためのID入力手段と、上記ID入力手段からIDの入力がなされない場合は、直前に入力されたIDを更新することで新たなIDを作成するID作成手段と、上記ID入力手段で入力されたIDもしくは上記更新されたIDを画像データに変換してID画像データを得、そのID画像データと上記撮影手段からの被写体画像データとを合成して合成画像データを作成し、その合成画像データを上記画像データ記憶手段に記憶する画像データ制御手段とを具備することを特徴とする
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を、図1の(A)乃至図8を参照して説明する。
[第1の実施の形態]
図1の(A)は、本発明の第1の実施の形態のディジタルカメラの構成を示す図で、図中の参照番号10は、当該ディジタルカメラ全体を制御する制御部としてのCPUである。12は上記CPU10の制御プログラム等を格納したROMであり、14はワーク領域として利用されるRAMである。16は図示しないレンズやCCD等を含む撮影部であり、18は該撮影部16による被写体の撮影を指示するためのシャッタスイッチ(SW)である。20は上記撮影部16で撮影された画像データを記憶する画像データ記録媒体であり、22は該画像データ記録媒体に記憶された画像データを有線又は無線でパーソナルコンピュータ(PC)に伝送するための通信制御部である。
【0012】
また、参照番号24は被写体画像や画像データ記録媒体に記憶された画像データを表示するための液晶ディスプレイでなる表示部であり、26は該表示部24の液晶ディスプレイ上に配されたタッチパネル等の手書き入力部、28は該手書き入力部26により入力された手書き文字の認識を行う文字認識部である。そして、30はマイクやA/D変換器等を含む音声入力部、32は該音声入力部30によって入力された音声の認識を行う音声認識部であり、34はD/A変換器やスピーカ等を含む音声出力部である。
【0013】
次に、このような構成における動作を説明する。
図2及び図3は、本発明の第1の実施の形態のディジタルカメラの動作を説明するための一連のフローチャートを示している。
【0014】
即ち、図示しない電源SWの投入後、CPU10は、シャッタSW18の操作待ちとなっており、シャッタSW18がオンすると(ステップS10)、撮影部16によって被写体画像を撮影する(ステップS12)。そして、得られた被写体画像データを画像データ記録媒体20に記憶すると共に(ステップS14)、表示部24に表示する(ステップS16)。その後、表示部24に例えば「インデックスを入力してください」というようなインデックスの入力を促すメッセージを表示して(ステップS18)、図示しない音声ボタン及び手書ボタンの操作待ちとなる(ステップS20,S22)。なお、この音声ボタン及び手書ボタンとしては、機械的な選択スイッチとしても良いし、それぞれ独立した機械的ボタンとしても良い。さらには、表示部24にボタン画像を表示して、手書き入力部26のタッチパネル操作により当該ボタンのオンとするような手法も可能である。
【0015】
しかして、音声ボタンがオンされた場合には(ステップS20)、音声入力部30による音声の入力を受け付け(ステップS24)、音声認識部32によってその入力された音声の認識を行い、その認識結果をインデックスとしてRAM14に一時的に記憶する(ステップS26)。また、手書ボタンがオンされた場合には(ステップS22)、手書き入力部26による手書き文字入力を受け付け(ステップS28)、その入力された手書き文字を文字認識部28によって認識し、その認識結果をインデックスとしてRAM14に一時的に記憶する(ステップS30)。
【0016】
なおここで、インデックスとは、撮影された被写体画像データを特定するためのIDデータの一部を構成するものである。即ち、図4の(A)に示すように、このIDデータ36は、該インデックス38と、再生情報40、及び該再生情報38の種別(音声/手書き文字)を示す再生情報種フラグ42とから構成される。例えば、被写体として○山×子という人物を撮影した場合、インデックス38としては漢字の○山×子を示す文字コードとなり、再生情報40としては、「○山×子さんです」という音声又は手書き文字そのものとなる。
【0017】
上記ステップS26又はS30にてインデックス38がRAM14に一時的に記憶されたならば、CPU10は次に、表示部24に例えば「再生情報を入力してください」というような再生情報40の入力を促すメッセージを表示して(ステップS32)、上記音声ボタン及び手書ボタンの操作待ちとなる(ステップS34,S36)。
【0018】
音声ボタンがオンされた場合には(ステップS34)、音声入力部30からの音声入力を受け付け(ステップS36)、該音声入力部30でA/D変換された音声データを再生情報40としてRAM14に一時的に記憶する(ステップS40)。なおこのとき、再生情報種フラグ42を、再生情報40が音声であることを示す状態に設定するものとする。
【0019】
また、手書ボタンがオンされた場合には(ステップS36)、手書き入力部26による手書き文字入力を受け付け(ステップS42)、該手書き入力部26でその手書きされた文字画像を抽出して、その手書き文字画像を再生情報40としてRAM14に一時的に記憶する(ステップS44)。なおこのとき、再生情報種フラグ42を、再生情報40が手書き文字であることを示す状態に設定するものとする。
【0020】
こうして、RAM14にインデックス38、再生情報40、及び再生情報種フラグ42、即ちIDデータ36が記憶されたならば、CPU10は、このIDデータ36を画像データに変換し(ステップS46)、それを画像データ記録媒体20に記憶された対応する被写体画像データに埋め込み合成する(ステップS48)。その後、上記ステップS10に戻り、これにより、次の撮影が可能となる。
【0021】
このように、IDデータ36を被写体画像データ内に取り入れることにより、PCでこのIDデータ36を必ず識別するこができるようになる。即ち、被写体画像データとIDデータ36との関連が失われることはない。
【0022】
なお、IDデータ36を画像データ化したID画像データは、被写体画像データに比較してはるかに少ないデータ量であり、よって、被写体画像データと合成したとしてもノイズレベルの値でしかなく、PC側で表示又は印字された写真上ではそれを見分けられるようなものではない。
【0023】
このID画像データの被写体画像データ内への書き込みアドレスは、ID画像データが非常に少容量であるため、具体的にはどこでも良いが、例えば、図4の(B)に示すように、先頭アドレスから1000バイトおきに1バイトづつちりばめて書き込むようなことが考えられる。
【0024】
このようにしてID画像データの埋め込まれた被写体画像データは、通信制御部22により画像データ記録媒体20からPCへ転送される。あるいは、画像データ記録媒体20が当該ディジタルカメラから着脱可能に構成されている場合には、その画像データ記録媒体20を該ディジタルカメラより取り外して、PCの記録媒体駆動装置に装着することで、その画像データ記録媒体20からID画像データの埋め込まれた被写体画像データを読み出すことも可能である。
【0025】
図1の(B)は、PCの構成を示す図であり、図5はPCでの画像呼び出し処理のフローチャートである。
即ち、PCは、CPU50、入力装置52、表示装置54、RAM56、記憶装置58、記録媒体駆動装置60、音声出力部62、及び通信制御部64から構成されている。
【0026】
そして、CPU10は、まず、ディジタルカメラの画像データ記録媒体20に記憶されている画像データを、表示装置54に縮小画像として一覧表示する(ステップS50)。この場合、ディジタルカメラの画像データ記録媒体20に記憶されている画像データは、通信制御部64を介して受信したものであっても良いし、あるいは上記ディジタルカメラから取り外した画像データ記録媒体20から記録媒体駆動装置60によって読み出したものであっても良い。そしてここで、ユーザが入力装置52によりインデックス表示するよう所定の指示入力を行ったかどうか判断し(ステップS52)、その指示入力がない場合には、後述するステップS60に進む。
【0027】
一方、インデックス表示の指示入力があった場合には、画像データ中に分散して埋め込まれている上記IDデータ画像よりインデックス38に対応するものを分離して元の文字コードにし(ステップS54)、それを上記縮小画像と対応付けて表示する(ステップS56)。これを、表示されている全ての縮小画像について(ステップS58)。これにより、表示装置54には、図6の(A)に示すように、縮小画像66とインデックス68とが対応付けて表示される。
【0028】
ユーザは、この表示された縮小画像66(及びインデックス表示指示が有った場合にはインデックス68も)を参照して、入力装置52により所望の画像を選択することができる(ステップS60)。そして、CPU50は、選択された画像を表示装置54に表示する(ステップS62)。ここで、ユーザが入力装置52により所定の再生指示入力を行ったかどうか判断し(ステップS64)、その指示入力がない場合には、上記ステップS60に戻る。
【0029】
これに対して、再生指示入力があった場合には、その画像データ中に分散して埋め込まれている上記IDデータ画像より再生情報40及び再生情報種フラグ42に対応するものを分離して元の情報を復元してRAM56に一時記憶し(ステップS66)、再生情報種フラグ42により再生情報40の種別を判断する(ステップS68)。そして、音声であれば、再生情報としての音声を音声出力部62により再生出力し(ステップS70)、手書き文字であれば、上記ステップS62で表示した画像上に、図6の(B)に示すように、再生情報としての手書き文字画像70を表示する(ステップS72)。
【0030】
その後、他の指示の有無を判別し(ステップS74)、指示があれば上記ステップS60に戻り、なければこの画像呼び出し処理を終了する。
なお、この画像呼び出し処理は、PC側に限られるものではなく、ディジタルカメラ側でも同様にして行うことができる。
【0031】
また、本実施の形態では、1コマ撮影後にIDデータを入力するものとしているが、逆に、撮影前にIDデータを入力するようにすることも可能なことはもちろんである。
【0032】
[第2の実施の形態]
次に、本発明の第2の実施の形態を説明する。本第2の実施の形態は、撮影した被写体画像データからバーコード、2次元コードなどのコード画像や、文字画像を抽出して、その内容を認識してIDデータとすることで、IDデータの入力を省くというものである。
【0033】
本実施の形態のディジタルカメラの構成は、上記第1の実施の形態の場合と同様であるので、その説明は省略する。
図7は、本第2の実施の形態のディジタルカメラの動作を説明するフローチャートである。即ち、図示しない電源SWの投入後、CPU10は、シャッタSW18の操作待ちとなっており、シャッタSW18がオンすると(ステップS80)、撮影部16によって被写体画像を撮影する(ステップS82)。そして、得られた被写体画像データを画像データ記録媒体20に記憶すると共に(ステップS84)、表示部24に表示する(ステップS86)。
【0034】
その後、本実施の形態では、上記画像データ記録媒体20に記憶した被写体画像データ内から文字画像のエリアやコード画像のエリアを抽出する(ステップS88)。そして、それらのエリアが複数あるかどうか判別し(ステップS90)、一つであれば後述するステップS96に進む。これに対して、複数ある場合には、それらの複数の抽出エリアを表示部24に表示された撮影画像上に識別表示して(ステップS92)、ユーザによる手書き入力部26のタッチパネルを用いた選択操作を受け付ける(ステップS94)。
【0035】
そして、ユーザによって選択された、あるいは抽出エリアが一つしかなければその、エリアに存在する文字画像あるいはコード画像を認識して、その認識結果をIDデータとしてRAM14に一時的に記憶する(ステップS96)。即ち、本実施の形態では、上記第1の実施の形態のようなインデックス38、再生情報40、及び再生情報種フラグ42の区別のない、いわばインデックスのみのIDデータとなる。
【0036】
そして、確認のためにこのIDデータを表示部24に表示し(ステップS98)、ユーザが手書き入力部26のタッチパネルを用いたOK操作を行ったかどうか判断する(ステップS100)。ユーザがそのIDデータを良しとしない場合には、手書き入力部26による手書き文字入力を受け付け(ステップS102)、その入力された手書き文字を文字認識部28によって認識し、その認識結果を新しいIDデータとしてRAM14に上書き保存して(ステップS104)、上記ステップS98に戻る。
【0037】
これに対して、上記ステップS100において、OK操作がなされた場合には、RAM14に一時記憶されたIDデータを画像データに変換し(ステップS106)、それを画像データ記録媒体20に記憶された対応する被写体画像データに埋め込み合成する(ステップS108)。その後、上記ステップS80に戻り、これにより、次の撮影が可能となる。
【0038】
[第3の実施の形態]
次に、本発明の第3の実施の形態を説明する。本第3の実施の形態は、既に記憶済みの同一IDが入力された場合に、識別番号(日時、シリアル番号等)を自動付加するようにしたものである。また、IDの入力がなされない場合に、直前画像のIDを流用し、そのIDを更新したIDをその新たな画像に対応するIDとして記憶するようにしたものである。
【0039】
本第3の実施の形態のディジタルカメラの構成は、上記第1の実施の形態の場合と同様であるので、その説明は省略する。
図8は、本第3の実施の形態のディジタルカメラの動作を説明するフローチャートである。即ち、図示しない電源SWの投入後、CPU10は、シャッタSW18の操作待ちとなっており、シャッタSW18がオンすると(ステップS110)、撮影部16によって被写体画像を撮影する(ステップS112)。そして、得られた被写体画像データを画像データ記録媒体20に記憶すると共に(ステップS114)、表示部24に表示する(ステップS116)。
【0040】
その後、本実施の形態では、ユーザが手書き入力部26のタッチパネルを用いた手書き文字入力を行ったかどうか判断する(ステップS118)。ユーザが手書き入力を行った場合には、その手書き文字入力を受け付け(ステップS120)、その入力された手書き文字を文字認識部28によって認識し、その認識結果をIDデータとしてRAM14に一時記憶する(ステップS122)。
【0041】
そしてここで、そのIDデータが既に使用されたものであるかどうか判別し(ステップS124)、そうでなければステップS128に進むが、同一IDデータがアルト場合には、当該IDデータに更にシリアル番号を付加することで新しいIDデータを作成する(ステップS126)。そして、IDデータを画像データに変換し(ステップS128)、それを画像データ記録媒体20に記憶された対応する被写体画像データに埋め込み合成する(ステップS130)。その後、上記ステップS110に戻り、これにより、次の撮影が可能となる。
【0042】
一方、上記ステップS118において、手書き入力がないと判断された場合、即ち、IDデータの入力がないと判断された場合には、直前の撮影画像のIDデータを呼び出す(ステップS132)。この場合、RAM14に直前のIDデータが保持されていればそれを呼び出すが、保持されていない場合には、画像データ記録媒体20に記憶されている画像データ中より分離して呼び出す。そして、呼び出したIDデータに更にシリアル番号を付加することで新しいIDデータを作成し(ステップS134)、確認のためにそれをIDデータ候補として表示部24に表示する(ステップS136)。ユーザがこれを参照した結果、手書き入力部26のタッチパネルを用いてOK操作を行ったならば(ステップS138)、上記ステップS128に進み、OK操作を行わない場合には、上記ステップS118に戻る。
【0043】
なお、本第3の実施の形態では、IDデータとして手書き文字を認識したものを使用するものとしたが、前述の第1の実施の形態で説明したような音声を認識したものであっても良いし、手書き文字と音声を選択できるようにしても良いことはもちろんである。
【0044】
【発明の効果】
発明によれば、被写体を撮影したとき、その撮影前又は後に入力されたIDを、IDの入力がなされない場合は、直前に入力されたIDを更新することで新たなIDを作成し、このIDを画像データに変換してID画像データを得、そのID画像データと被写体画像データとを合成して合成画像データを作成して記憶するようにしているので、必要に応じて、ID入力のための手間を適宜省略しながら被写体の画像データに付加されるIDが自動的に作成され、画像データに対応して確実にIDを画像データに記録でき、画像データとIDとの関連性が失われず、同じような撮影画像が複数あった場合でも確実に識別可能となる。
【図面の簡単な説明】
【図1】(A)は本発明の第1の実施の形態にかかるディジタルカメラのブロック構成図であり、(B)はディジタルカメラで撮影された画像データを利用するパーソナルコンピュータのブロック構成図である。
【図2】第1の実施の形態にかかるディジタルカメラの動作を説明するための一連のフローチャートの前半部分を示す図である。
【図3】第1の実施の形態にかかるディジタルカメラの動作を説明するための一連のフローチャートの後半部分を示す図である。
【図4】(A)はIDデータの構成を説明するための図であり、(B)はIDデータの被写体画像データ中への埋め込み方法の例を説明するための図である。
【図5】図1の(B)のパーソナルコンピュータでの画像呼び出し処理の動作フローチャートである。
【図6】(A)はパーソナルコンピュータでの画像の一覧表示画面の例を示す図であり、(B)はIDデータ中の再生情報としての手書き文字の表示例を示す図である。
【図7】本発明の第2の実施の形態にかかるディジタルカメラの動作を説明するためのフローチャートである。
【図8】本発明の第3の実施の形態にかかるディジタルカメラの動作を説明するためのフローチャートである。
【符号の説明】
10 CPU
12 ROM
14 RAM
16 撮影部
18 シャッタスイッチ(SW)
20 画像データ記録媒体
22 通信制御部
24 表示部
26 手書き入力部
28 文字認識部
30 音声入力部
32 音声認識部
34 音声出力部
36 IDデータ
38 インデックス
40 再生情報
42 再生情報種フラグ
66 縮小画像
68 インデックス
70 手書き文字画像

Claims (1)

  1. 被写体を撮影して被写体画像データを得る撮影手段と、
    画像データを記憶するための画像データ記憶手段と、
    所望のIDを入力するためのID入力手段と、
    上記ID入力手段からIDの入力がなされない場合は、直前に入力されたIDを更新することで新たなIDを作成するID作成手段と、
    上記ID入力手段で入力されたIDもしくは上記更新されたIDを画像データに変換してID画像データを得、そのID画像データと上記撮影手段からの被写体画像データとを合成して合成画像データを作成し、その合成画像データを上記画像データ記憶手段に記憶する画像データ制御手段と、
    を具備することを特徴とするディジタルカメラ。
JP29110697A 1997-10-23 1997-10-23 ディジタルカメラ Expired - Fee Related JP3721746B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29110697A JP3721746B2 (ja) 1997-10-23 1997-10-23 ディジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29110697A JP3721746B2 (ja) 1997-10-23 1997-10-23 ディジタルカメラ

Publications (2)

Publication Number Publication Date
JPH11127414A JPH11127414A (ja) 1999-05-11
JP3721746B2 true JP3721746B2 (ja) 2005-11-30

Family

ID=17764539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29110697A Expired - Fee Related JP3721746B2 (ja) 1997-10-23 1997-10-23 ディジタルカメラ

Country Status (1)

Country Link
JP (1) JP3721746B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006048A (ja) * 1999-04-23 2001-01-12 Copcom Co Ltd データ供給装置
JP2001159730A (ja) * 1999-12-02 2001-06-12 Ricoh Co Ltd 電子カメラ
JP2002304185A (ja) * 2001-04-04 2002-10-18 Video Research:Kk 著作権管理システム、著作権管理方法及びプログラム
JP5552326B2 (ja) * 2010-01-27 2014-07-16 キヤノン株式会社 画像処理装置及びその制御方法、情報処理装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
JPH11127414A (ja) 1999-05-11

Similar Documents

Publication Publication Date Title
US6999117B2 (en) Image pickup device and method for automatically inputting predefined information and processing images thereof
JP4605458B2 (ja) 画像処理装置及び画像処理プログラム
US7766239B2 (en) Code structure and code reading terminal
JP2008158788A (ja) 情報処理装置および情報処理方法
JP4534249B2 (ja) 撮像装置及びそのプログラム
JP3535724B2 (ja) 画像撮像装置およびその方法、並びに記憶媒体
CN102783136A (zh) 用于拍摄自我肖像图像的成像装置
JPH11146317A (ja) デジタルスチルカメラ
JP2006293783A (ja) 画像処理装置及び画像処理プログラム
US20130100329A1 (en) Image pickup apparatus
KR100770637B1 (ko) 디지털 카메라
JPH07131746A (ja) 電子カメラ
JP2007310813A (ja) 画像検索装置およびカメラ
JP2000206631A (ja) 撮影装置
JP2007148691A (ja) 画像処理装置
JP2003111009A (ja) 電子アルバム編集装置
JP5120716B2 (ja) 撮像装置、撮像制御方法及びプログラム
TW200305805A (en) Image recording device and method
JP2006319903A (ja) 情報表示画面を備えた携帯機器
JP3721746B2 (ja) ディジタルカメラ
JP4989362B2 (ja) 撮像装置、及び、そのスルー画像の表示方法、並びに、撮影画像の記録方法
JP2006311568A (ja) 映像記録装置及び携帯通信端末における映像記録方法
JP4276903B2 (ja) デジタルカメラ及び注文情報記録プログラム
JP5019566B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2009124350A (ja) 撮像装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050905

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees