JP3837882B2 - 撮影画像管理装置およびそのプログラム記録媒体 - Google Patents

撮影画像管理装置およびそのプログラム記録媒体 Download PDF

Info

Publication number
JP3837882B2
JP3837882B2 JP33233197A JP33233197A JP3837882B2 JP 3837882 B2 JP3837882 B2 JP 3837882B2 JP 33233197 A JP33233197 A JP 33233197A JP 33233197 A JP33233197 A JP 33233197A JP 3837882 B2 JP3837882 B2 JP 3837882B2
Authority
JP
Japan
Prior art keywords
distance
image
stored
captured image
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33233197A
Other languages
English (en)
Other versions
JPH11153430A (ja
Inventor
孝一 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP33233197A priority Critical patent/JP3837882B2/ja
Publication of JPH11153430A publication Critical patent/JPH11153430A/ja
Application granted granted Critical
Publication of JP3837882B2 publication Critical patent/JP3837882B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、撮影画像管理装置およびそのプログラム記録媒体に関する。
【0002】
【従来の技術】
近年、固体撮像素子を備えたCCDカメラ(デジタルカメラ)は、低価格化、高品質化に伴って普及し、パーソナルコンピュータやワードプロセッサ等の画像処理装置に対する画像入力装置として活用され、画像処理装置はデジタルカメラから外部供給された撮影画像を取り込んでその表示画面上に再生出力し、画像加工を施すようにしている。
【0003】
【発明が解決しようとする課題】
このようにデジタルカメラの普及によってその活用範囲も拡大しているが、被写体を忠実に撮影するという本来の目的以外に使用されることはなかった。
ところで、デジタルカメラには撮影地点から被写体までの距離に応じて自動的に焦点合せを行うオートフォーカス機能が組み込まれているが、このオートフォーカス機能は焦点合せだけのものであった。
この発明の課題は、撮影画像を基に距離を簡単に得ることができるようにすることである。
【0004】
【課題を解決するための手段】
この発明の手段は次の通りである。請求項1記載の発明は、被写体を撮影してそれを撮影画像として取得する画像取得手段と、前記撮影画像取得手段により取得された撮影画像を記憶する画像記憶手段と、前記画像記憶手段により記憶された撮影画像を再生表示する画像表示手段と、前記画像記憶手段により記憶される撮影画像を所定のエリアに分割する分割手段と、前記分割手段により分割されたエリア毎に、撮影地点から被写体までの距離データを縦方向距離として記憶するとともに、前記縦方向距離から所定の変換テーブルに基づいて前記縦方向距離の位置における撮影画像の表示平面方向の距離データを横方向距離として導出し記憶する距離記憶手段と、前記距離記憶手段により記憶された縦方向距離と横方向距離とに基づいて、前記画像記憶手段により記憶された撮影画像の実空間上の2点間距離を算出する算出手段と、を備えるものである。なお、前記変換テーブルは、前記画像取得手段により撮影可能な表示平面方向の撮影範囲に基づいて、前記画像取得手段に対応して予め設定されていてもよい。また、前記算出手段は、前記画像表示手段が撮影画像を表示している表示画面上に始点と終点とが任意に指定されたときに、前記表示画面上に指定された始点と終点とに対応する前記撮影画像上の2つの座標位置間における前記撮影画像の実空間上の2点間距離を、前記距離記憶手段に記憶された縦方向距離と横方向距離とに基づいて算出してもよい。更に、オートフォーカス機能の作動により撮影地点から被写体までの距離データを取得する距離計測手段を備え、前記距離記憶手段は、前記距離計測手段により取得された距離データを前記縦方向距離として記憶してもよい。また更には、前記算出手段により算出された撮影画像の実空間上の2点間距離を出力する出力手段を備えてもよい。
【0005】
【発明の実施の形態】
以下、図1〜図8を参照してこの発明の一実施形態について説明する。
図1(A)はデジタルカメラの全体構成を示したブロック図である。
CPU1はRAM2内にロードされている各種プログラムにしたがってこのデジタルカメラの全体動作を制御する中央演算処理装置である。記憶装置3はオペレーティングシステムや各種アプリケーションプログラム、データファイル、文字フォントデータ等が予め格納されている記憶媒体4やその駆動系を有している。この記憶媒体4は固定的に設けたもの、もしくは着脱自在に装着可能なものであり、フロッピーディスク、ハードディスク、光ディスク、RAMカード等の磁気的・光学的記憶媒体、半導体メモリによって構成されている。また、記憶媒体4内のプログラムやデータは、必要に応じてCPU1の制御により、RAM2にロードされる。更に、CPU1は通信回線等を介して他の機器側から送信されて来たプログラム、データを受信して記憶媒体4に格納したり、他の機器側に設けられている記憶媒体に格納されているプログラム、データを通信回線等を介して使用することもできる。
そして、CPU1にはその入出力周辺デバイスである入力装置5、表示装置6、外部入出力制御部7、撮影部8がバスラインを介して接続されており、入出力プログラムにしたがってCPU1はそれらの動作を制御する。
【0006】
入力装置5はシャッタや再生ボタンの他、通常撮影モードと距離計測撮影モードとを切り替えるモードキー等、各種の機能キーが設けられている。外部入出力制御部7はパーソナルコンピュータ等の画像処理装置(図示せず)に着脱可能に接続されるインターフェイス部である。撮影部8はレンズ系、CCDやその駆動部の他、オートフォーカス機能が組み込まれている。ここで、オートフォーカス機能を利用することによって撮影地点から被写体上の地点までの距離(縦方向距離)を計測するようにしている。図2はオートフォーカス機能によって距離を計測する場合の原理を説明するための図である。すなわち、図2(A)に示すようにCCD8−1を論理的に16分割し、各分割エリアに左上から右下方向に向かって順次指定すると共に、指定エリアの中央部分で最適コントラスト(図2(B)参照)となるように、レンズ系8−2を移動させることにより各分割エリア毎に焦点合せを行う。これによって各分割エリア毎に求められた最適焦点に応じて撮影場所から被写体までの距離をデジタルデータとして計測し、この計測距離を分割エリアに対応付けて記憶する他、図2(C)に示すような変換テーブルを参照して横方向距離(図中XY間距離)に変換し、この変換距離を分割エリアに対応付けて記憶するようにしている。ここで、変換テーブルは縦方向距離と横方向距離とを対応付けたもので、それらは概算的な値で、撮影地点から焦点が合った地点までの距離に応じて横方向XY距離を求めるようにしている。
【0007】
図1(B)は記憶装置3内の主要メモリを示したもので、画像メモリ3aは撮影画像を1コマ毎に記憶管理するもので、この画像メモリ3aから読み出された撮影画像は表示装置6に送られて再生出力される。画像管理情報メモリ3bは画像メモリ3a内の各撮影画像に対応付けて画像管理情報を記憶するもので、撮影画像の各分割エリアに対応して求められた縦方向距離および横方向距離等が画像管理情報として記憶される。図3は画像管理情報メモリ3bのメモリ構成で、撮影画像にリンクされている画像No毎に、分割エリアNo(1)〜(16)に対応付けて縦方向距離、横方向距離を記憶する構成となっている。表示画像メモリ3cは画像再生用の表示メモリ、1ブロック表示ドット数メモリ3dは表示画面上に撮影画像が再生出力されている状態において、表示画面を論理的に複数個に分割した場合に、その1ブロック分の表示ドット数を設定値として記憶する。すなわち、図4に示すように表示画面全体をCCD8−1の分割数に合わせて論理的に16分割した場合に、1ブロックに含まれる表示ドット数(画素数)が1ブロック表示ドット数メモリ3dに固定的に設定されている。横方向距離変換テーブル3eは図2(C)で示した変換テーブルである。
【0008】
また、図4は表示画面上の任意の点が始点、終了点として指定された場合を示している。ここで、CPU1は始点指定位置、終了点指定位置を検出し、この指定位置が表示画面上のどのブロックに含まれるか、換言すれば、撮影画像のどの分割エリアに含まれるかを判断し、当該分割エリアに対応する縦方向距離および横方向距離を画像管理情報メモリ3bから読み出し、それをパラメータとして表示画面上の始点、終点間に相当する実際の地点間距離を算出して表示出力するようにしている。図5は空間座標系において2点間距離の算出を説明するための図で、2点間、A(X1、Y1、Z1)、B(X2、Y2、Z2)の距離Rは、一般にR=√(X1−X2)2+(Y1−Y2)2+(Z1−Z2)2で求められる(図5(A)参照)。ここで、図5(B)に示す表示画面上の2点、A(X1、Y1)、B(X2、Y2)に相当する実際の地点間距離Rを算出して表示出力するようにしている(図5(C)参照)。
【0009】
次に、このデジタルカメラの動作を図6および図7に示すフローチャートにしたがって説明する。ここで、これらのフローチャートに記述されている各機能を実現するためのプログラムは、CPU1が読み取り可能なプログラムコードの形態で記憶媒体4に記憶されており、その内容がRAM2にロードされている。
図6は距離計測撮影時の動作を示したフローチャートである。先ず、キー操作によって通常撮影モードから距離計測撮影モードに切り替える。この状態において、被写体にレンズを向けると、CCD8−1は論理的に16分割されると共に(ステップA1)、その左上から分割エリアが指定されてその中心位置に焦点が合せ込まれる(ステップA2)。これによって撮影地点から被写体までの縦方向距離が計測されてデジタル変換されると共に(ステップA3)、この縦方向距離に基づいて横方向距離変換テーブル3eを参照し、対応する横方向距離に変換される(ステップA4)。このような動作は、ステップA5で前エリアの終了が検出されるまでステップA2に戻り、1エリア毎に順次繰り返される。
【0010】
この場合、各分割エリア毎に求められた縦方向距離および横方向距離は、分割エリアに対応付けて一時記憶されるが、このような動作をCCD8−1の分割数分繰り返し実行したとしても、焦点合せのためにレンズを16回移動させることは、ほとんどなく、多くても数回またはそれよりも若干多くなる程度で足りるため、焦点合せに要する時間は、通常撮影時よりも多少長くなる程度となる。次に、シャッタがオンされたか否かを調べ(ステップA6)、オンされなければ、ステップA2に戻り、上述の動作が繰り返される。この場合、RAM2内に一時記憶されている距離データ(前回分のデータ)に、今回分のデータが上書きされるため、RAM2内の距離データは最新のデータに更新される。ここで、シャッタがオンされると、CCD8−1から撮影画像を取り込むと共に画像Noに対応付けて画像メモリ3aに格納する(ステップA7)。そして、各分割エリア毎にRAM2内に一時記憶されている縦方向距離および横方向距離を画像Noに対応付けて画像管理情報メモリ3bに格納する(ステップA8)。
【0011】
図7は撮影画像を再生出力させて表示画面上の2点を指定することにより、その2点間に相当する実際の地点間距離を得る動作を示したフローチャートである。先ず、画像メモリ3aから指定された撮影画像を読み出して表示画面上に再生出力するが、その際、表示画面上の撮影画像を論理的に16分割する(ステップB1)。ここで、カーソルによって表示画面上の任意の1点が開始点として指定されると、その指定位置座標(X1、Y1)を検出すると共に(ステップB2)、この位置座標に基づいてそれが含まれる表示画面上のブロックをサーチすると共に、この表示ブロックに対応するCCD8−1の分割エリアをサーチする(ステップB3)。そして、この分割エリアに対応する横方向距離を画像管理情報メモリ3bから読み出すと共に、1ブロック表示ドット数メモリ3dの値を読み出し、横方向距離を1ブロック表示ドット数で除算することにより1ドット当たりの実寸値を求めて、これをa1の値とし、更にその分割エリアに対応する縦方向距離を画像管理情報メモリ3bから読み出してそれをZ1の値とする(ステップB4)。次に、開始点座標のX1成分、Y1成分の値に1ドット当たりの実寸値a1をそれぞれ乗算することにより実空間上の開始点座標(X1、Y1)を求める。そして、縦方向距離Z1は無限大か否かを調べ(ステップB6)、無限大であれば、計測不能メッセージを表示し(ステップB14)、このフローの終了となる。
【0012】
一方、Z1=無限大でなければ、ステップB7に進み、表示画面上の任意の1点が終了点として指定されると、その指定位置座標(X2、Y2)を検出する。そして、この位置座標に基づいてそれが含まれる表示画面上のブロックをサーチすると共に、この表示ブロックに対応するCCD8−1の分割エリアをサーチする(ステップB8)。そして、この分割エリアに対応する横方向距離を画像管理情報メモリ3bから読み出し、この横方向距離を1ブロック表示ドット数で除算することにより1ドット当たりの実寸値を求めてこれをa2の値とし、更に、その分割エリアに対応する縦方向距離を画像管理情報メモリ3bから読み出してそれをZ2の値とする(ステップB9)。次に、終了点座標のX2成分、Y2成分に1ドット当たりの実寸値a2をそれぞれ除算することにより実空間上の終了点座標(X2、Y2)を求める。そして、縦方向距離Z2は無限大かを調べ(ステップB10)、無限大であれば計測不能メッセージを表示するが(ステップB14)、無限大でなければ、ステップB12に進み、2点間距離の算出を行う。この場合、表示画面上の始点、終点に相当する実際の地点間距離R=√(X1−X2)2+(Y1−Y2)2+(Z1−Z2)2によって求め、それを表示出力する(ステップB13)。
【0013】
以上のようにこのデジタルカメラにおいては、撮影時にオートフォーカス機能を応用することによって撮影地点から被写体上の各地点までの縦方向距離を求めると共に、各地点毎に横方向距離を求めて画像管理情報メモリ3bに格納しておき、撮影画像再生時に表示画面上の任意の2点が指定された際に、その2点間に相当する実際の地点間を画像管理情報メモリ3bの値をパラメータとして求めて表示出力するようにしたから、撮影画像から実際の地点間距離を容易に知ることができる。図8は撮影画像の表示例を示し、例えばスキーヤが現在地から滑降する際に目的地まで何mかを表示画面上の2点指定によって知ることができる。また、ゴルフで現在地からボールが飛んだ距離を知ることもできる。
【0014】
なお、上述した一実施形態においては、CCD8−1を16分割して16地点の距離データを求めるようにしたが、その分割数は任意であり、その分割数を多くすればする程、地点間距離は正確な値となる。勿論、CCDを構成する1素子毎に距離データを求めるようにしてもよい。
また、2点間距離を求めて表示するようにしたが、表示画面上の任意の1点を指定することによってその指定位置に対応する縦方向距離を求めるようにしてもよく、更に、撮影画像上の任意の1点を基準点とし、この基準点から任意に指定された位置までの横方向距離を求めて表示するようにしてもよい。更に、表示画面上の任意の2点をポイント指定する以外に、軌跡描画によって始点、終点を指定するようにしてもよい。また、デジタルカメラから撮影画像および距離データを対応付けてパーソナルコンピュータ等の画像処理装置へ転送することによって画像処理装置側で地点間距離を求めて表示出力するようにしてもよい。
【0015】
【発明の効果】
この発明によれば、撮影画像が再生出力されている状態において、撮影画像上の任意の地点が指定された際に、その地点に対応する距離データが読み出されるので、撮影画像を基に距離を簡単に得ることができる。特に、オートフォーカス機能の作動により撮影地点から被写体上の各地点までの距離を計測するようにすれば、撮影時に距離の計測が可能となる。
【図面の簡単な説明】
【図1】(A)はデジタルカメラの全体構成を示したブロック図、(B)は主要メモリを示した図。
【図2】オートフォーカス機能を応用することによって距離計測を行う場合の原理を説明するための図で、(A)はCCD8−1を論理的に分割した状態を示した図、(B)は分割エリアの中央部分で最適コントラストを得ることを示した図、(C)は撮影地点から被写体までの縦方向距離と横方向距離を説明すると共に、横方向距離変換テーブル3eを示した図。
【図3】画像管理情報メモリ3bの構成を示した図。
【図4】表示画面を論理的に分割した状態において、1ブロック表示ドット数を示すと共に、任意の2点が開始点、終了点として指定された状態を示した図。
【図5】(A)は空間座標系において2点間距離の算出を説明するための図で、(B)は表示画面上の2点座標を示した図、(C)は実測空間上での2点間距離Rを示した図。
【図6】距離計測撮影時の動作を示したフローチャート。
【図7】撮影画像を再生出力させて表示画面上の2点を指定することによりその2点間に相当する実際の地点間距離を得る動作を示したフローチャート。
【図8】撮影画像の表示例を示した図。
【符号の説明】
1 CPU
2 RAM
3 記憶装置
3a 画像メモリ
3b 画像管理情報メモリ
3c 表示画像メモリ
3d 1ブロック表示ドット数メモリ
3e 横方向距離変換テーブル
4 記憶媒体
5 入力装置
6 表示装置
8 撮影部

Claims (6)

  1. 被写体を撮影してそれを撮影画像として取得する画像取得手段と、
    前記撮影画像取得手段により取得された撮影画像を記憶する画像記憶手段と、
    前記画像記憶手段により記憶された撮影画像を再生表示する画像表示手段と、
    前記画像記憶手段により記憶される撮影画像を所定のエリアに分割する分割手段と、
    前記分割手段により分割されたエリア毎に、撮影地点から被写体までの距離データを縦方向距離として記憶するとともに、前記縦方向距離から所定の変換テーブルに基づいて前記縦方向距離の位置における撮影画像の表示平面方向の距離データを横方向距離として導出し記憶する距離記憶手段と、
    前記距離記憶手段により記憶された縦方向距離と横方向距離とに基づいて、前記画像記憶手段により記憶された撮影画像の実空間上の2点間距離を算出する算出手段と、
    を備えたことを特徴とする撮影画像管理装置。
  2. 前記変換テーブルは、前記画像取得手段により撮影可能な表示平面方向の撮影範囲に基づいて、前記画像取得手段に対応して予め設定されていることを特徴とする請求項1に記載の撮影画像管理装置。
  3. 前記算出手段は、前記画像表示手段が撮影画像を表示している表示画面上に始点と終点とが任意に指定されたときに、前記表示画面上に指定された始点と終点とに対応する前記撮影画像上の2つの座標位置間における前記撮影画像の実空間上の2点間距離を、前記距離記憶手段に記憶された縦方向距離と横方向距離とに基づいて算出することを特徴とする請求項2に記載の撮影画像管理装置。
  4. オートフォーカス機能の作動により撮影地点から被写体までの距離データを取得する距離計測手段を備え、
    前記距離記憶手段は、前記距離計測手段により取得された距離データを前記縦方向距離として記憶することを特徴とする請求項1から3の何れかに記載の撮影画像管理装置。
  5. 前記算出手段により算出された撮影画像の実空間上の2点間距離を出力する出力手段を備えたことを特徴とする請求項1から4の何れかに記載の撮影画像管理装置。
  6. コンピュータに対して、
    取得された撮影画像を記憶する画像記憶手段と、
    前記画像記憶手段により記憶された撮影画像を再生表示する画像表示手段と、
    前記画像記憶手段により記憶される撮影画像を所定のエリアに分割する分割手段と、
    前記分割手段により分割されたエリア毎に、撮影地点から被写体までの距離データを縦方向距離として記憶するとともに、前記縦方向距離から所定の変換テーブルに基づいて前記縦方向距離における撮影画像の表示平面方向の距離データを横方向距離として導出し記憶する距離記憶手段と、
    前記距離記憶手段により記憶された縦方向距離と横方向距離とに基づいて、前記画像記憶手段により記憶された撮影画像の実空間上の2点間距離を算出する算出手段と、
    しての機能を実現させるためのプログラムを記録した記録媒体。
JP33233197A 1997-11-18 1997-11-18 撮影画像管理装置およびそのプログラム記録媒体 Expired - Fee Related JP3837882B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33233197A JP3837882B2 (ja) 1997-11-18 1997-11-18 撮影画像管理装置およびそのプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33233197A JP3837882B2 (ja) 1997-11-18 1997-11-18 撮影画像管理装置およびそのプログラム記録媒体

Publications (2)

Publication Number Publication Date
JPH11153430A JPH11153430A (ja) 1999-06-08
JP3837882B2 true JP3837882B2 (ja) 2006-10-25

Family

ID=18253774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33233197A Expired - Fee Related JP3837882B2 (ja) 1997-11-18 1997-11-18 撮影画像管理装置およびそのプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP3837882B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4111166B2 (ja) 2004-05-07 2008-07-02 コニカミノルタセンシング株式会社 3次元形状入力装置
DE102005000047A1 (de) * 2005-04-29 2006-11-02 Hilti Ag Handhabbares Vermessungsdokumentationssystem
US7933001B2 (en) 2005-07-11 2011-04-26 Kabushiki Kaisha Topcon Geographic data collecting system
JP4977339B2 (ja) * 2005-07-11 2012-07-18 株式会社トプコン 地理データ収集装置
JP5150310B2 (ja) 2008-03-04 2013-02-20 株式会社トプコン 地理データ収集装置
CN101930533B (zh) * 2009-06-19 2013-11-13 株式会社理光 在图像采集设备中进行天空检测的装置和方法
JP5698480B2 (ja) 2010-09-02 2015-04-08 株式会社トプコン 測定方法及び測定装置

Also Published As

Publication number Publication date
JPH11153430A (ja) 1999-06-08

Similar Documents

Publication Publication Date Title
US7250968B2 (en) Information recording device implementing an electronic zoom having a limiting section
JP2005050035A (ja) 画像撮影装置および画像処理方法
JP6497965B2 (ja) 画像処理装置及び画像処理方法
JP6529267B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
US8502883B2 (en) Photographing apparatus and photographing control method
KR20090114101A (ko) 카메라 및 촬영 안내 정보 제공 방법
CN109688321B (zh) 电子设备及其图像显示方法、具有存储功能的装置
JP2017118472A (ja) 画像処理装置、画像処理方法及びプログラム
JP2000023012A5 (ja)
JP6544996B2 (ja) 制御装置及び制御方法
JP3837882B2 (ja) 撮影画像管理装置およびそのプログラム記録媒体
JP2005277510A (ja) 画像表示制御装置、画像印刷制御装置、画像表示制御方法、画像印刷制御方法、及びプログラム
JP2007259002A (ja) 画像再生装置ならびにその制御方法およびその制御プログラム
JP2013143592A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP4266736B2 (ja) 画像処理方法および装置
JP4262013B2 (ja) 画像処理方法および画像生成装置
JP4783073B2 (ja) カメラ及びこのカメラの表示制御装置とその表示制御方法
JP2005354331A (ja) 画像出力装置およびプログラム
JP4159271B2 (ja) デジタルカメラ
JP4848748B2 (ja) 撮像装置
JP4266737B2 (ja) 画像処理方法および装置
JP2005181034A (ja) サイズ測定装置およびプログラム
JP4720255B2 (ja) カメラ装置、撮影方法並びに撮影プログラム
JP2006287517A (ja) カメラ装置、撮影方法並びに撮影プログラム
JP2013131811A (ja) 画像表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050201

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060724

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees