JP3487804B2 - 盲人用画像認識装具 - Google Patents

盲人用画像認識装具

Info

Publication number
JP3487804B2
JP3487804B2 JP2000095451A JP2000095451A JP3487804B2 JP 3487804 B2 JP3487804 B2 JP 3487804B2 JP 2000095451 A JP2000095451 A JP 2000095451A JP 2000095451 A JP2000095451 A JP 2000095451A JP 3487804 B2 JP3487804 B2 JP 3487804B2
Authority
JP
Japan
Prior art keywords
image
wearer
unit
electrical stimulation
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000095451A
Other languages
English (en)
Other versions
JP2001285679A (ja
Inventor
米藏 菅野
Original Assignee
メディアグリップ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メディアグリップ株式会社 filed Critical メディアグリップ株式会社
Priority to JP2000095451A priority Critical patent/JP3487804B2/ja
Publication of JP2001285679A publication Critical patent/JP2001285679A/ja
Application granted granted Critical
Publication of JP3487804B2 publication Critical patent/JP3487804B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、盲人用画像認識
方法及びその装具に関し、さらに詳細には、画像を人体
の皮膚触覚が感知可能な電気信号に変換する盲人用画像
認識方法及びその装具に関する。
【0002】
【従来の技術】従来、一般に盲人の視覚を補完する方法
として触覚を利用することは既に考えられ、点字や点図
に代表されるように触覚の中の圧覚を利用する技術があ
り利用されている。 そして、これらは物理的に平面上
に突起を生成させるため、静的または固定的には厚紙や
金属等に裏から圧力をかけて突起部分を膨らます方法
や、また動的には複数の突起素子を並べ磁力や空力等に
より突起素子を突出する方法が実用化されている。
【0003】
【発明が解決しようとする課題】このような従来の盲人
の視覚を補完する方法では、例えば以下のような問題が
あった。すなわち、前述の如く物理的に突起素子を動作
させる方法で動的に画像を表示するには装置が大きくな
るという問題があった。また、突起素子を動作させるさ
せるための電力が大きくなるという問題があった。この
ため、盲人が歩行移動する際に携帯する補助装具として
利用するのは困難であるという問題があった。さらに、
物理的に平面上に突起物を生成させるため、例えばこの
突起物の生成速度等の理由により自然な動きの表現がで
きないという問題があった。
【0004】本発明の目的は、盲人に視覚の代わりに触
覚を利用して形状や特性を把握させる点にある。また、
歩行等の移動時にも携帯できる小型で軽量な且つ省電力
設計により長時間使用可能な盲人用画像認識装具を提供
する点にある。
【0005】
【課題を解決するための手段】本発明は、前述のごとき
問題に鑑みてなされたもので、被写体を撮影して電子画
像を得る画像撮影部と、この画像撮影部で得られた前記
電子画像に基づいて画像情報を生成する画像処理部と、
前記画像処理部で生成された前記画像情報から装着者に
認識させるべき画像を電気的に描画するための描画信号
を生成する描画信号制御部と、前記装着者の皮膚に接す
るべく装着され、前記描画信号に基づいて前記装着者の
皮膚触覚に電気刺激素子群の走査による電気的刺激を与
えることにより、その電気刺激素子群の走査による電気
的刺激で前記装着者に画像を認識させる電気刺激部とを
備え、前記描画信号制御部は、前記装着者の皮膚触覚が
画像の特徴を認識できるように前記電気的刺激の電気的
な強弱を制御する刺激強度制御回路を備え、さらに前記
装着者の皮膚の湿気の多少により前記刺激強度制御回路
に電気刺激の強弱を制御させるため、前記装着者の皮膚
の湿気を検出する湿感センサ部を備える盲人用画像認識
装具である。これにより、装着者は、被写体を電気的な
刺激として認識できるようになる。また、装着者は、例
えば汗をかいても適正な電気的な刺激を認識できる。
【0006】前記画像処理部および前記描画信号制御部
は携帯可能なコントロール部本体に備えられ、前記画像
撮影部は前記装着者の頭部顔面に装着されるとともに前
記コントロール部本体に接続され、前記電気刺激部は前
記装着者の額に装着されるとともに前記コントロール部
本体に接続される盲人用画像認識装具である。これによ
り、盲人用画像認識装具としての携帯性が向上し、ま
た、装着者の視点の位置から被写体を撮影することがで
きる。
【0007】前記画像処理部は、前記画像撮影部により
撮影された画像の輪郭を強調する補正を行う輪郭強調抽
出回路を備える盲人用画像認識装具である。これによ
り、装着者は、適正な画像を認識することができる。
【0008】前記画像処理部は、前記画像撮影部により
撮影された画像情報を解析して被写体中の、所定の色を
前記装着者に識別可能に認識させるため、前記所定の色
を抽出する特定色抽出回路を備える盲人用画像認識装具
である。これにより、装着者は、例えば交差点の信号を
認識することができる。なお、前記所定の色とは、例え
ば、赤、青、黄色等である。
【0009】上記盲人用画像認識装具は、被写体を撮影
するための十分な光量が得られない場合に赤外線を照射
して反射する光線を前記画像撮影部で撮影させるため、
前記赤外線を照射する赤外線照射部を備えている盲人用
画像認識装具である。これにより、装着者は、暗い場所
でも被写体を認識できる。
【0010】前記画像撮影部と、前記赤外線照射部と、
及び前記湿感センサ部とは、前記装着者の頭部顔面に装
着されるべき一体型ゴーグルに組み込まれている記載の
盲人用画像認識装具である。これにより、装着者の目の
位置と同じような視点を得ることができる。
【0011】
【発明の実施の形態】本発明の実施の形態を、図面を参
照して説明する。図1は本実施に係る盲人用画像認識装
具1の外観の概略を示す概略図である。図2は、盲人用
画像認識装具1の内部の概略の構成を示す概略図であ
る。図3は、電気刺激部7を説明する説明図である。図
4は、電気刺激部7を説明する説明図である。図5は、
電気刺激部7を説明する説明図である。なお、以下の説
明において、電気刺激部7、画像撮影部11、赤外線照
射部13、画像処理部21、描画信号制御部23、電源
供給部25、シャッタ速度調節回路27、画像ブレ補正
回路29、輪郭強調抽出回路31、特定色抽出回路3
3、描画信号生成回路35、刺激強度制御回路37、音
声合成出力部39、湿感センサ部41、フィールド走査
回路43は、装置、回路、ソフトウェア等のいずれによ
っても実現されるものである。また、触覚には装着者の
皮膚触覚(痛覚、温覚、冷覚、圧覚を含む)から本例で
は以下痛覚を例として説明する。画像とは動画、静止
画、文字、数字等を含むものである。
【0012】初めに、図1を参照して、この盲人用画像
認識装具1の外観を説明する。この盲人用画像認識装具
1の外観はコントロール部本体3に接続ケーブル5を介
して電気刺激部7が接続されている。そして、この電気
刺激部7は一体型ゴーグル9に取り付けられて、例えば
装着者の額に固定されるものである。この一体型ゴーグ
ル9には、画像撮影部11と、被写体の光量が十分得ら
れない時に、赤外線を照射して反射する光線を画像撮影
部11で撮影させるための赤外線照射部13とが組込ま
れている。前記画像撮影部11は、例えばCCD(Ch
arge Coupled Device:電化結合素
子)部品またはCMOS(Complementary
MOS:相補型金属酸化膜半導体)部品等で構成され
る小型電子カメラからなるものである。また、前記画像
撮影部11は装着者の目の位置に近い場所に設置される
ため装着者の目の位置と同じような視点を得ることが容
易にできるようになる。前記コントロール部本体3の外
観には、さらに、電源のオン、オフや電気刺激の強弱を
調整する電源スイッチ付強度調節ダイヤル15と、例え
ばトレーニング用の画像を入力させるための外部入力端
子17と、どういう画像が描画されているかを出力させ
るための外部出力端子19とが備えられている。これら
外部入力端子17を備えることにより、例えば丸、四
角、三角等の形状を画像として入力して画像を痛覚刺激
により認識させるためのトレーニング等を盲人に対して
行うことができる。
【0013】次に、図2を参照して前記コントロール部
本体3の内部の概略の構成を説明する。このコントロー
ル部本体3の内部は、画像処理部21と、描画信号制御
部23と、小型で軽量な電源供給部25とを備えてい
る。
【0014】前記画像処理部21は、撮影された画像の
ブレを補正する画像ブレ補正回路29と、撮影された被
写体の輪郭を強調するために輪郭を抽出する輪郭強調抽
出回路31と、例えば赤色、青色、黄色等の特定の色を
抽出する特定色抽出回路33とを備えている。また、こ
の画像処理部21には、前記赤外線照射部13と、前記
外部入力端子17とがケーブル等により接続されてい
る。
【0015】前記描画信号制御部23は、画像データを
電気的信号に変換する描画信号生成回路35と、電気的
な強弱を制御する刺激強度制御回路37とを備えてい
る。また、この描画信号制御部23には、どういう画像
を描画しているかを出力してモニター等を行うための外
部出力端子19と、音声合成出力部39と、電気的強弱
を調整するため装着者の皮膚の湿量を検出する湿感セン
サ部41とがケーブル等により接続されている。なお、
前記湿感センサ部41は一体型ゴーグル9に組み込まれ
ている。
【0016】一方、前記画像撮影部11は、被写体を撮
影するシャッタ時間を制御するシャッタ速度調節回路2
7を備えている。
【0017】また、前記電気刺激部7は、電気信号の走
査を制御するフィールド走査回路43を備えている。こ
こで、フィールド走査回路43に制御される電気刺激部
7の概略の構成を図3、図4、及び図5を参照して説明
する。なお、本例においてフィールド走査とは、例えば
電気刺激素子をマトリックス状に並べてX軸フィールド
単位に走査して通電させる方法である。また、本例では
以下で説明するように、ある走査線を構成する電気刺激
素子47を一方向から他方向に連続に1時点で1素子し
か通電させないものである。これにより、複数素子間の
誤通電発生を回避して適正な描画刺激を確保することが
できる。なお、本実施形態においては、一般に知られた
インターレース走査、プログレッシブ走査、あるいは、
その他の走査方法を適用することができる。
【0018】図3を参照するに、前記電気刺激部7は装
着者の額に電気的刺激を効果的に与えるため、ゴムや布
またはプラスチック等の材質に粘着性と絶縁性とを備え
た物質を施す粘着絶縁処理を行い皮膚表面に密着させる
ことができる電気素子保持板45を備えている。これに
より、装着者の例えば頭部に密着させるように固定する
ことができる。この電気素子保持板45には皮膚触覚を
感電特性により電気的に刺激する正負一対の導子電極か
らなる電気刺激素子47がマトリックス状に配列されて
いる。
【0019】本例では、電気刺激素子47が例えば縦8
0個、横240個並べてあり合計19200個の前記電
気刺激素子47が並べられ電気表示板の如く構成されて
いる(電気刺激素子群という)。個々の電気刺激素子4
7は図示しない正負の導子電極を例えば0.2mm乃至
0.4mm間隔で並べ、その間に低電圧(例えば7V)
の微弱電流(例えば20mA)を極短時間断続信号(パ
ルス信号)として流すことによって、導子電極に触れる
皮膚触覚(例えば装着者の触覚のうち痛覚)に電気的刺
激を与える構成になっている。そして、この電気刺激素
子47は上述の如くマトリックス状に配列して描画信号
に合わせ通電するが、同時に複数の電気刺激素子47が
通電すると密着した皮膚表面51の導電性により電気刺
激素子47間の誤通電状況が発生するため、各電気刺激
素子47への通電はフィールド走査方式を採用して1時
点で1電気刺激素子しか通電させない構成になってい
る。
【0020】また、図4に示すように、拡大部49のマ
トリックス状内を矢印の方向にX軸フィールド走査して
順次電気的刺激の線画を上下に並べられるようになって
いる。そして、図5に示すように例えば装着者の額の皮
膚51の触覚に電気的な刺激を与えて画像を認識させる
ようになっている。
【0021】上述のように構成された盲人用画像認識装
具1の動作を説明する。この盲人用画像認識装具1は、
例えば装着者が装着して歩行等を行う。本例では電気刺
激部7を装着者額の皮膚表面51に固定する。この電気
刺激部7は接続ケーブル5によりコントロール部本体3
に接続されて制御されるものである。すなわち、装着者
が電源スイッチ付強度調節ダイヤル15により電源をい
れて歩行を開始する。これにより、装着者頭部顔面のゴ
ーグルに組込まれた画像撮影部11が装着者の目の方向
の被写体を撮影する。この撮影はシャッタ速度調節回路
27がシャッタ速度を調節して最適画像を得ることがで
きるようになっている。
【0022】続いて、画像撮影部11で撮影して生成し
た電子画像の画像情報Giが画像処理部21に送られ
て、この画像処理部21が画像情報Giに適正な処理を
行う。すなわち、この画像処理部21に備えられた画像
ブレ補正回路29が例えばブレにより画像の輪郭の曖昧
な箇所等を補正する処理を行う。これにより、被写体を
撮影する際に画像がブレてもこの画像のブレを修正する
ことができる。この補正された画像情報Giを画像処理
部21に備えられた輪郭強調抽出回路31が画像情報G
iの輪郭をディジタル処理して抽出をする。また、この
輪郭強調抽出回路31は抽出した輪郭を装着者が認識し
易いように強調するようになっている。
【0023】さらに、前記画像処理部21は、この画像
処理部21に備えられた特定色抽出回路33により画像
情報Giを解析して特定色(赤、青、黄等)の画像情報
Giを抽出する。なお、この画像処理部21には、赤外
線照射部13が接続されている。この赤外線照射部13
は、上述のように被写体の光量が十分に得られないとき
に、赤外線を照射して反射する光線を例えば小型電子カ
メラ等で撮影させるようになっている。これにより、装
着者は、例えば暗い状態でも画像を認識することができ
るようになる。
【0024】続いて上述の画像処理部21の処理で生成
され編集された編集画像情報EGiを描画信号制御部2
3が受け取る。その後、この描画信号制御部23に備え
られた描画信号生成回路35がこの編集画像情報EGi
から電気刺激部7で装着者の皮膚の触覚を刺激するため
の基になる信号を生成する。さらに、この描画信号制御
部23に備えられた刺激強度制御回路37により電気的
刺激の強度を制御することができるようになっている。
これにより、上述の例えば特定色を識別できる信号に変
換できるようになる。
【0025】また描画信号制御部23に接続された音声
合成出力部39より特定の描画信号を音声信号に変換し
て出力するようになっている。これにより、特定色に対
しては音声で装着者に知らせることができる。例えば交
通信号機の色を音声で装着者に伝えることができるため
安全性を担保できる。
【0026】さらに、この描画信号制御部23に接続さ
れた湿感センサ部41が皮膚の湿気を検出してこの湿気
の量に応じた電気的信号の強度を制御することができる
ようになっている。これにより、例えば装着者が汗をか
いたときは電気的な刺激を弱めるため適正な電気的刺激
を得ることができる。
【0027】上述の各処理で生成された描画信号を電気
刺激部7が受け取る。そして、この電気刺激部7は、皮
膚触覚を感電特性により電気的に刺激する正負一対の導
子電極からなる電気刺激素子47を構成要素とし、複数
の電気刺激素子47をマトリックス状に配列してX軸フ
ィールド単位に走査した線画を並べて1枚の画像にする
フィールド走査回路43により、例えば1/20秒乃至
1/30秒で1枚(1コマまたは1画面)の画像を電気
的刺激として電気刺激部7が装着者の皮膚触覚を刺激す
る。これにより、例えば、装着者の額(頭部)等の皮膚
触覚に対して微弱電流による複数の電気的刺激発生素子
を使って刺激を与え、その刺激位置から動画像を認識す
ることができるようになる。
【0028】上述の如く装着者は被写体を、例えば電気
的な信号で皮膚の触覚が認識することができるようにな
り歩行等を適正に行うことができるようになる。なお、
この発明は、上述の実施の形態に限定されることなく、
適宜な変更を行うことにより、その他の態様で実施し得
るものである。本例では電気刺激を装着者の額の皮膚触
覚で感知する構成になっているが、例えば顔部、手の平
や甲、指先等の箇所の皮膚触覚でも良いことは勿論であ
る。
【0029】
【発明の効果】上述の如く本発明によれば、例えば、電
気刺激を装着者の皮膚触覚に与えることにより、凹凸表
示する機械的構造が不要となり、画像表示板を小型で軽
量な省電力型にすることができ、盲人用の画像認識用の
補助装具としての携帯性を格段に向上させることができ
るという効果がある。また、描画速度が物理的な動きに
比べて早いため自然な動きの動画像を認識させるための
電気的刺激として表現できるという効果がある。
【図面の簡単な説明】
【図1】盲人用画像認識装具の外観の概略を示す概略図
である。
【図2】盲人用画像認識装具の内部の概略の構成を示す
概略図である。
【図3】電気刺激部を説明する説明図である。
【図4】電気刺激部を説明する説明図である。
【図5】電気刺激部を説明する説明図である。
【符号の説明】
1 盲人画像認識装具 3 コントロール部本体 5 接続ケーブル 7 電気刺激部 9 一体型ゴーグル 11 画像撮影部 13 赤外線照射部 15 電源スイッチ付強度調節ダイヤル 17 外部入力端子 19 外部出力端子 21 画像処理部 23 描画信号制御部 25 電源供給部 27 シャッタ速度調節回路 29 画像ブレ補正回路 31 輪郭強調抽出回路 33 特定色抽出回路 35 描画信号生成回路 37 刺激強度制御回路 39 音声合成出力部 41 湿感センサ部 43 フィールド走査回路 45 粘着絶縁素子保持板 47 電気刺激素子 49 拡大部 51 皮膚表面

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 被写体を撮影して電子画像を得る画像撮
    影部と、この画像撮影部で得られた前記電子画像に基づ
    いて画像情報を生成する画像処理部と、前記画像処理部
    で生成された前記画像情報から装着者に認識させるべき
    画像を電気的に描画するための描画信号を生成する描画
    信号制御部と、前記装着者の皮膚に接するべく装着さ
    れ、前記描画信号に基づいて前記装着者の皮膚触覚に電
    気刺激素子群の走査による電気的刺激を与えることによ
    り、この電気刺激素子群の走査による電気的刺激で前記
    装着者に画像を認識させる電気刺激部とを備え、 前記描画信号制御部は、前記装着者の皮膚触覚が画像の
    特徴を認識できるように前記電気的刺激の電気的な強弱
    を制御する刺激強度制御回路を備え、さらに前記装着者
    の皮膚の湿気の多少により前記刺激強度制御回路に電気
    刺激の強弱を制御させるため、前記装着者の皮膚の湿気
    を検出する湿感センサ部を備えることを特徴とする盲人
    用画像認識装具。
  2. 【請求項2】 前記画像処理部および前記描画信号制御
    部は携帯可能なコントロール部本体に備えられ、前記画
    像撮影部は前記装着者の頭部顔面に装着されるとともに
    前記コントロール部本体に接続され、前記電気刺激部は
    前記装着者の額に装着されるとともに前記コントロール
    部本体に接続されることを特徴とする請求項1に記載の
    盲人用画像認識装具。
  3. 【請求項3】 前記画像処理部は、前記画像撮影部によ
    り撮影された画像の輪郭を強調する補正を行う輪郭強調
    抽出回路を備えることを特徴とする請求項1又は請求項
    2記載の盲人用画像認識装具。
  4. 【請求項4】 前記画像処理部は、前記画像撮影部によ
    り撮影された画像情報を解析して被写体中の、所定の色
    を前記装着者に識別可能に認識させるため、前記所定の
    色を抽出する特定色抽出回路を備えることを特徴とする
    請求項1乃至請求項3のいずれか1項記載の盲人用画像
    認識装具。
  5. 【請求項5】 上記盲人用画像認識装具は、被写体を撮
    影するための十分な光量が得られない場合に赤外線を照
    射して反射する光線を前記画像撮影部で撮影させるた
    め、前記赤外線を照射する赤外線照射部を備えているこ
    とを特徴とする請求項1乃至請求項4のいずれか1項記
    載の盲人用画像認識装具。
  6. 【請求項6】 前記画像撮影部と、前記赤外線照射部
    と、及び前記湿感センサ部とは、前記装着者の頭部顔面
    に装着されるべき一体型ゴーグルに組み込まれているこ
    とを特徴とする請求項5に記載の盲人用画像認識装具。
JP2000095451A 2000-03-30 2000-03-30 盲人用画像認識装具 Expired - Lifetime JP3487804B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000095451A JP3487804B2 (ja) 2000-03-30 2000-03-30 盲人用画像認識装具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000095451A JP3487804B2 (ja) 2000-03-30 2000-03-30 盲人用画像認識装具

Publications (2)

Publication Number Publication Date
JP2001285679A JP2001285679A (ja) 2001-10-12
JP3487804B2 true JP3487804B2 (ja) 2004-01-19

Family

ID=18610351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000095451A Expired - Lifetime JP3487804B2 (ja) 2000-03-30 2000-03-30 盲人用画像認識装具

Country Status (1)

Country Link
JP (1) JP3487804B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8920174B2 (en) 2005-12-08 2014-12-30 The University Of Tokyo Electric tactile display
KR102006151B1 (ko) 2012-11-27 2019-10-10 삼성디스플레이 주식회사 터치를 인식하고 전기 촉각 자극을 제공하는 표시 장치 및 그 구동 방법
CN111428583B (zh) * 2020-03-05 2023-05-12 同济大学 一种基于神经网络和触觉点阵的视觉补偿方法
US20230355973A1 (en) * 2020-09-24 2023-11-09 University Of Southern California System and method for restoring color perception to the blind

Also Published As

Publication number Publication date
JP2001285679A (ja) 2001-10-12

Similar Documents

Publication Publication Date Title
JP5057068B2 (ja) 電気触覚ディスプレイ
JP4360497B2 (ja) 電気触覚提示装置及び電気触覚提示方法
EP1618922B1 (en) Visual restoration aiding device
DE60042155D1 (de) Retinale farbprothese zur wiederherstellung des farbsehens
WO2012167653A1 (zh) 一种可视化导盲方法及其智能导盲装置
CN107157717A (zh) 用于向盲人提供视觉信息的物体检测、分析及提示系统
NO20024612D0 (no) Fler-fasisk mikrofotodetektor for retinalt implantat med variabel spennings- og strömmulighet og apparat for innföring
JPH09507764A (ja) 盲人および高度の視覚障害者のための像認識装置
WO1999039670A1 (en) Tongue placed tactile output device
JP2006280410A (ja) 視覚再生補助装置
CN102805900B (zh) 用于产生人工电触觉的电刺激系统
JP3487804B2 (ja) 盲人用画像認識装具
US7113828B2 (en) Visual restoration aiding device
JP2007208935A (ja) 負荷変調通信回路及びこれを備えた視覚再生補助装置
KR20110111563A (ko) 시각장애인용 사물인식장치
KR100961319B1 (ko) 시각장애인용 영상인식장치
WO2023163291A1 (ko) 가변 채널 제어 가능한 전기적 근육 자극 시스템 및 전기적 근육 자극 방법
JP2005245585A (ja) 顔面マッサージのための電気的刺激装置
CN205234892U (zh) 一种背负式电子点阵盲人图像触觉传感装置
CN110300562A (zh) 使用异步触觉刺激的感官替代系统
CN213607940U (zh) 一种手功能障碍康复系统
JP2006280412A (ja) 視覚再生補助装置及び該装置の製造方法
JP4429151B2 (ja) 視覚再生補助装置
KR20200132620A (ko) 안면 조직의 상태 정보에 기초한 최적 출력 제어 기능을 구비하는 고주파 치료기
CN116440409B (zh) 基于红外光激励的人类视网膜细胞刺激设备及方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3487804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081031

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091031

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101031

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term