JPH1195895A - 情報入力装置 - Google Patents

情報入力装置

Info

Publication number
JPH1195895A
JPH1195895A JP25390497A JP25390497A JPH1195895A JP H1195895 A JPH1195895 A JP H1195895A JP 25390497 A JP25390497 A JP 25390497A JP 25390497 A JP25390497 A JP 25390497A JP H1195895 A JPH1195895 A JP H1195895A
Authority
JP
Japan
Prior art keywords
image
input
information input
video
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP25390497A
Other languages
English (en)
Other versions
JP3804212B2 (ja
Inventor
Yasuaki Takahashi
康昭 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP25390497A priority Critical patent/JP3804212B2/ja
Publication of JPH1195895A publication Critical patent/JPH1195895A/ja
Application granted granted Critical
Publication of JP3804212B2 publication Critical patent/JP3804212B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 入力キーの数を増やしても、これら入力キー
を有する操作部の大型化により装置構成の小型化が阻害
されることがなく、また、入力キーが小さくなることに
よって入力操作がし難くなることがない情報入力装置を
提供する。 【解決手段】 映像投射装置1によって複数の入力キー
を有する操作部を示す映像5を投影し、この映像5上に
おける指の動きを画像認識装置2により検出して、入力
キーに対する押下操作がなされたと判別する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、パーソナルコンピ
ュータなどの情報機器に対して手動により情報を入力す
るための情報入力装置に関する。
【0002】
【従来の技術】従来、いわゆるパーソナルコンピュータ
やリモートコントローラのように、複数の入力キーを備
え、この入力キーに対する押圧操作によって情報信号の
入力操作がなされるように構成された電子機器が提案さ
れている。
【0003】このような電子機器において、複数の入力
キーが設けられた部分は、情報入力装置として構成され
ている。すなわち、この情報入力装置は、操作者の手指
によりいずれの入力キーが押圧操作されたかを検出し
て、押圧操作された入力キーに応じた操作信号を生成し
て、電子機器本体部内の制御回路に送る。この制御回路
は、情報入力装置より送られた操作信号に応じた動作も
信号処理を実行する。
【0004】
【発明が解決しようとする課題】ところで、上述のよう
な電子機器においては、動作や機能が複雑、多様になる
にしたがい、情報入力装置を介して入力されるべき情報
の種類も多くなる。すると、情報入力装置においては、
入力キーの数が増加し、また、入力キー数の増加に伴う
装置構成の大型化が招来される。すなわち、1個の入力
キーの大きさは、人間の手指によって押圧操作されるも
のである以上は、最低限必要な大きさというものがあ
り、この限度よりも小さくすることはできない。したが
って、入力キー数が増加すれば装置構成が大型化するの
である。
【0005】例えば、ノート型のパーソナルコンピュー
タ(いわゆるノートパソコン)などにおいては、全体の
構成を小型化しようとしても、キーボード部の大きさが
ネックとなり、小型化には限界がある。
【0006】また、キーボード部が汎用品である場合に
は、電子機器の使用者の個々の手の大きさに対して最適
化することはできない。さらに、キーボード部が汎用品
である場合には、このキーボード部における各入力キー
の配列を変更することができない。
【0007】そこで、本発明は、上述の実情に鑑みて提
案されるものであって、入力キーが極度に小型化される
ことによる入力操作の困難性が招来されることなく、多
数の入力キーを有しながら装置構成の全体の小型化を図
ることができ、さらに、使用者の個々の手の大きさに対
する最適化や入力キーの配列を変更が容易に行えるよう
になされた情報入力装置を提供しようとするものであ
る。
【0008】
【課題を解決するための手段】上述の課題を解決するた
め、本発明に係る情報入力装置は、少なくとも入力キー
部を含む操作部を示す映像を外方側に向けて投影する映
像投射手段と、この映像投射手段により投影された操作
部を示す映像において入力キー部を押圧する操作がなさ
れたことを検出する画像認識手段と、この画像認識手段
による検出を操作部における入力キー部に対する操作と
して認識する画像処理手段とを備えたことを特徴とする
ものである。
【0009】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら説明する。
【0010】本発明に係る情報入力装置は、少なくとも
入力キー部を含む操作部を示す映像を外方側に向けて投
影する映像投射手段となる映像投射装置と、この映像投
射装置により投影された操作部を示す映像において入力
キー部を押圧する操作がなされたことを検出する画像認
識手段となる画像認識装置と、この画像認識装置による
検出を操作部における入力キー部に対する操作として認
識する画像処理手段となる画像処理装置を備えることに
よって、情報入力操作を可能とするものである。
【0011】この情報入力装置は、例えば、図1に示す
ように、パーソナルコンピュータにおいて使用すること
ができる。このパーソナルコンピュータにおいては、デ
ィスプレイ画面4の両側部分の上方部分に、画像投射装
置1の一対の投射部1a,1bが設けられている。ま
た、このパーソナルコンピュータのディスプレイ画面4
の両側部分の上方部分には、各投射部1a,1bに近接
して、画像認識装置2の一対の撮像部2a,2bが設け
られている。
【0012】各投射部1a,1bは、それぞれ、画像投
射装置1を構成する液晶表示板、すなわち、LCDによ
り表示される画像を拡大して外方側に向けて投射するも
のである。これら投射部1a,1bからは、入力キー部
を含む操作部を示す映像5が、ディスプレイ画面4の前
方側の床面上や机上などに投射される。一方の投射部1
aより投射される映像と他方の投射部1bより投射され
る映像とは、互いに重ね合わされる。映像5として投射
された操作部における入力キー部は、それぞれが一の文
字、数字や記号、あるいは、一の機能に対応付けられた
ものである。
【0013】各撮像部2a,2bは、それぞれ、固体撮
像素子、すなわち、CCDの如き撮像素子を有して構成
され、各投射部1a,1bにより投射される映像5を撮
像して画像信号に変換する。
【0014】この情報入力装置においては、図2に示す
ように、画像投射装置1のLCDは、キーボードデータ
ブロック6に記憶された操作部の形状についてのデータ
に基づき、表示コントロールブロック7に制御されるこ
とにより、表示部を示す画像を表示する。そして、画像
認識装置2における撮像により得られた画像信号は、画
像処理装置3に送られる。
【0015】この画像処理装置3においては、画像信号
は、キー位置の特定ブロック8、指位置割り出しブロッ
ク9及び指の動き検出ブロック11に送られる。キー位
置の特定ブロック8は、送られた画像信号に基づき、映
像5における入力キー部の位置を特定する。指位置割り
出しブロック9は、映像5上に操作者の指15が置かれ
た場合に、この指15の位置を割り出す。この指15の
位置の割り出しは、キー隠れパターンデータブロック1
0により供給されるキー隠れパターンデータを用いて行
う。そして、指の動き検出ブロック11は、映像5上に
置かれた操作者の指15の動きを検出する。
【0016】指の動き検出ブロック11が指15の動き
を検出すると、この検出結果は、入力判定ブロック12
に送られる。この入力判定ブロック12は、検出された
指15の動きが映像5上において入力キー部を操作する
動きであると判定したときには、信号処理装置、すなわ
ち、CPU13に入力キー部が操作されたことを示す信
号を送るとともに、スピーカ14を介して、入力キー部
が操作されたことを示すクリック音を発する。
【0017】また、画像認識装置2において得られた画
像信号は、表示コントロールブロック7にも送られてい
る。
【0018】このように構成された情報入力装置は、図
3に示すように、情報入力操作の判定処理を行う。すな
わち、ステップst1において、各投射部1a,1bよ
り、ディスプレイ画面4の前方の平らな面上に、操作部
の映像5を投射する。すなわち、キーボードデータブロ
ック6よりのキーボードデータに基づく映像5の投影を
行う。この映像5の投影は、映像5が操作者の手によっ
て隠されることを考慮して、完全に隠されてしまうこと
がないように、2箇所以上の投射部1a,1bより行っ
ている。
【0019】次に、この情報入力装置は、映像5の投影
についての初期化処理を行う。すなわち、図4に示すよ
うに、一方の投射部1aより投射された映像と他方の投
射部1bより投射された映像とが完全に重ならないと、
映像5において入力キー部などの位置を正確に表示する
ことができない。また、映像5は、投影された面上にお
いて、正確に合焦している必要がある。そこで、映像5
を各撮像部2a,2bにより読取り、この読取り結果に
基づいて、表示コントロールブロック7により投影状態
を調節する。
【0020】また、図5に示すように、各撮像部2a,
2bによる映像5の読取り結果とキーボードデータとを
比較することにより、キー位置の特定ブロック8におい
て、該映像5における各入力キー部の位置を割り出す。
【0021】そして、ステップst2においては、映像
5上の指15の位置及び動きを各撮像部2a,2bで読
取り、3次元処理により解析して、映像5上における入
力キー部に対する入力操作の有無を判定する。指15の
位置の割り出しは、図6に示すように、映像5上におけ
る入力キー部の隠れ方のパターンに基づき、キー隠れパ
ターンデータブロック10により供給されるキー隠れパ
ターンデータを用いて行う。映像5上の指15の動きの
検出は、図7に示すように、エッジ検出などにより指1
5を判別し、図7中矢印Aで示す指15の上から下への
動き、すなわち、映像5が投影されている面に対する指
15の接触を検出する。
【0022】ステップst3においては、指15の動き
が検出されたときに、入力キー部に対する入力操作、す
なわち、押下操作がなされたとの判定を行う。この判定
と同時に、スピーカ14を介して、入力操作がなされた
ことを示すクリック音を発して、入力操作が完了された
ことを操作者が認識できるようにする。
【0023】このとき、信号処理装置13は、入力操作
がなされた入力キー部がいずれであるかに応じた所定の
処理を行い、例えば、パーソナルコンピュータに対し
て、入力操作がなされた入力キー部に応じた操作信号を
送る。
【0024】この情報入力装置においては、指15によ
る入力操作がなされる操作部は、映像5として投影され
たものであるので、各投射部1a,1bにおける焦点距
離の調節などにより、大きさを任意に変えることができ
る。また、この情報入力装置においては、キーボードデ
ータブロック6に記憶されたキーボードデータを変える
ことにより、映像5における入力キー部の数や配列を自
由に変えることができる。
【0025】さらに、この情報入力装置においては、キ
ーボードデータブロック6に記憶されたキーボードデー
タを変えることにより、映像5として投影される操作部
を、図8に示すように、いわゆるメニュー選択をするた
めの操作部とすることもできる。メニュー選択をするた
めの操作部においては、入力キー部16a,16bは、
一の文字や記号に対応されたものではなく、特定の動作
や設定などに対応したものとして使用される。
【0026】また、この情報入力装置においては、キー
ボードデータブロック6に記憶されたキーボードデータ
を変えることにより、映像5として投影される操作部
を、図9に示すように、音楽演奏用の鍵盤とすることも
できる。この場合においては、パーソナルコンピュータ
に対して、押下操作された鍵17に応じた音程の音を発
するなどの動作をさせることができる。
【0027】そして、この情報入力装置においては、キ
ーボードデータブロック6に記憶されたキーボードデー
タを変えることにより、映像5として投影される操作部
を、図10に示すように、ペン18を使って入力操作を
行う操作部とすることもできる。この場合においては、
映像5上におけるペン18の位置及び動きに応じた情報
入力操作を行うことができる。この場合において、映像
5としては、種々の文字に対応されたいわゆる文字パレ
ットやメニュー選択パレットを表示することができる。
【0028】
【発明の効果】上述のように、本発明に係る情報入力装
置においては、映像投射手段により投影される操作部を
示す映像上において、入力キー部に対して操作をするこ
とによって、情報入力を行うことができる。
【0029】したがって、この情報入力装置を用いれ
ば、特に、いわゆるPDA(パーソナルデジタルアシス
タント)の如き小型の情報処理装置などにおいて、情報
入力を行うための操作部による小型化に対する制約がな
くなり、装置構成の一層の小型化を図ることができる。
そして、この情報入力装置を用いれば、情報処理装置な
どの電子機器の装置構成を小型化しても、情報入力の操
作がし難くなることがない。
【0030】さらに、この情報入力装置においては、操
作部の形状や入力キー部の数や配列を容易に変更するこ
とができ、操作者個々人の手の大きさに対する最適化
や、適用される電子機器の種類に対する最適化を容易に
行うことができる。
【0031】また、この情報入力装置は、ディスクプレ
ーヤ、ビデオレコーダやテレビジョン装置など、入力キ
ー部を用いた情報入力操作が必要な種々の電子機器に対
して応用が可能であり、該入力キー部を備える操作部を
物理的に配置することが不要であるので、これら電子機
器の小型化を可能とする。
【0032】すなわち、本発明は、入力キーが極度に小
型化されることによる入力操作の困難性が招来されるこ
となく、多数の入力キーを有しながら装置構成の全体の
小型化を図ることができ、さらに、使用者の個々の手の
大きさに対する最適化や入力キーの配列を変更が容易に
行えるようになされた情報入力装置を提供することがで
きるものである。
【図面の簡単な説明】
【図1】本発明に係る情報入力装置を備えて構成された
パーソナルコンピュータの構成を示す斜視図である。
【図2】上記情報入力装置の構成を示すブロック図であ
る。
【図3】上記情報入力装置の動作を示す流れ図である。
【図4】上記情報入力装置において2方向から投影され
た操作部の映像を示す斜視図である。
【図5】上記情報入力装置におけるキーボード位置デー
タと投影された操作部の映像との関係を示す斜視図であ
る。
【図6】上記情報入力装置において投影された操作部の
映像上に指が置かれた状態を示す斜視図である。
【図7】上記情報入力装置の構成を示す図である。
【図8】上記情報入力装置においてメニュー選択画面と
して投影された操作部の映像を示す斜視図である。
【図9】上記情報入力装置において音楽演奏用鍵盤とし
て投影された操作部の映像を示す斜視図である。
【図10】上記情報入力装置においてペン入力用操作部
として投影された操作部の映像を示す斜視図である。
【符号の説明】
1 映像投射装置、1a,1b 投射部、2 画像認識
装置、2a,2b 撮像部、3 画像処理装置、5 映
像、15 指

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも入力キー部を含む操作部を示
    す映像を外方側に向けて投影する映像投射手段と、 上記映像投射手段により投影された操作部を示す映像に
    おいて入力キー部を押圧する操作がなされたことを検出
    する画像認識手段と、 上記画像認識手段による検出を上記操作部における入力
    キー部に対する操作として認識する画像処理手段とを備
    えたことを特徴とする情報入力装置。
  2. 【請求項2】 画像認識手段は、映像投射手段により投
    影された操作部を示す映像の両側側に配設され、これら
    画像認識手段が共働して該映像の近傍の物体についての
    三次元的情報を検出することができることを特徴とする
    請求項1記載の情報入力装置。
  3. 【請求項3】 操作部を示す映像の投射は、少なくも2
    方向から行われることを特徴とする請求項1記載の情報
    入力装置。
  4. 【請求項4】 画像処理手段が操作部における入力キー
    部に対する操作として認識したときに、該入力キー部に
    対する操作がなされたことを示す音を発生する発音手段
    を備えていることを特徴とする請求項1記載の情報入力
    装置。
JP25390497A 1997-09-18 1997-09-18 情報入力装置 Expired - Lifetime JP3804212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25390497A JP3804212B2 (ja) 1997-09-18 1997-09-18 情報入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25390497A JP3804212B2 (ja) 1997-09-18 1997-09-18 情報入力装置

Publications (2)

Publication Number Publication Date
JPH1195895A true JPH1195895A (ja) 1999-04-09
JP3804212B2 JP3804212B2 (ja) 2006-08-02

Family

ID=17257693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25390497A Expired - Lifetime JP3804212B2 (ja) 1997-09-18 1997-09-18 情報入力装置

Country Status (1)

Country Link
JP (1) JP3804212B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003535405A (ja) * 2000-05-29 2003-11-25 ブイケービー インコーポレイティド 文字・数字及び他のデータを入力する仮想データ入力装置及び方法
US7016711B2 (en) 2001-11-14 2006-03-21 Nec Corporation Multi-function portable data-processing device
JP2007072637A (ja) * 2005-09-06 2007-03-22 Hitachi Ltd 弾力性素材を用いた入力装置
JP2008259002A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像読取装置
JP2008542856A (ja) * 2005-05-04 2008-11-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 制御グラフィックを投影するシステム及び方法
WO2009022659A1 (ja) * 2007-08-10 2009-02-19 Panasonic Electric Works Co., Ltd. 画像表示装置
JP2012221445A (ja) * 2011-04-14 2012-11-12 Seiko Epson Corp インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
US8366541B2 (en) 2007-01-05 2013-02-05 Bally Gaming, Inc. Gaming machine with virtual user interface
WO2014034527A1 (ja) 2012-08-27 2014-03-06 シチズンホールディングス株式会社 情報入力装置
WO2014041938A1 (ja) * 2012-09-12 2014-03-20 シチズンホールディングス株式会社 情報入力装置
JP2014157515A (ja) * 2013-02-15 2014-08-28 Konica Minolta Inc タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
JP2014202540A (ja) * 2013-04-02 2014-10-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
US9229584B2 (en) 2011-06-13 2016-01-05 Citizen Holdings Co., Ltd. Information input apparatus
US9348465B2 (en) 2013-01-23 2016-05-24 Fujitsu Limited Input method, input device, and storage medium
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
JP2018523861A (ja) * 2016-06-22 2018-08-23 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. 電子デバイス、入出力装置、およびその使用方法
WO2018207235A1 (ja) * 2017-05-08 2018-11-15 株式会社ネットアプリ 入出力システム、スクリーンセット、入出力方法、及び、プログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003535405A (ja) * 2000-05-29 2003-11-25 ブイケービー インコーポレイティド 文字・数字及び他のデータを入力する仮想データ入力装置及び方法
US7016711B2 (en) 2001-11-14 2006-03-21 Nec Corporation Multi-function portable data-processing device
JP2008542856A (ja) * 2005-05-04 2008-11-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 制御グラフィックを投影するシステム及び方法
JP4635788B2 (ja) * 2005-09-06 2011-02-23 株式会社日立製作所 弾力性素材を用いた入力装置
JP2007072637A (ja) * 2005-09-06 2007-03-22 Hitachi Ltd 弾力性素材を用いた入力装置
US8366541B2 (en) 2007-01-05 2013-02-05 Bally Gaming, Inc. Gaming machine with virtual user interface
JP2008259002A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像読取装置
US8390586B2 (en) 2007-08-10 2013-03-05 Panasonic Corporation Image display apparatus that detects pointing element using imaging device
JP2009043157A (ja) * 2007-08-10 2009-02-26 Panasonic Electric Works Co Ltd 画像表示装置
WO2009022659A1 (ja) * 2007-08-10 2009-02-19 Panasonic Electric Works Co., Ltd. 画像表示装置
JP2012221445A (ja) * 2011-04-14 2012-11-12 Seiko Epson Corp インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
US9229584B2 (en) 2011-06-13 2016-01-05 Citizen Holdings Co., Ltd. Information input apparatus
WO2014034527A1 (ja) 2012-08-27 2014-03-06 シチズンホールディングス株式会社 情報入力装置
WO2014041938A1 (ja) * 2012-09-12 2014-03-20 シチズンホールディングス株式会社 情報入力装置
US9348465B2 (en) 2013-01-23 2016-05-24 Fujitsu Limited Input method, input device, and storage medium
JP2014157515A (ja) * 2013-02-15 2014-08-28 Konica Minolta Inc タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
JP2014202540A (ja) * 2013-04-02 2014-10-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
JP2018523861A (ja) * 2016-06-22 2018-08-23 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. 電子デバイス、入出力装置、およびその使用方法
US11360659B2 (en) 2016-06-22 2022-06-14 Boe Technology Group Co., Ltd. Electronic device, input/output apparatus and method therefor
WO2018207235A1 (ja) * 2017-05-08 2018-11-15 株式会社ネットアプリ 入出力システム、スクリーンセット、入出力方法、及び、プログラム

Also Published As

Publication number Publication date
JP3804212B2 (ja) 2006-08-02

Similar Documents

Publication Publication Date Title
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
JP3804212B2 (ja) 情報入力装置
US6115513A (en) Information input method and apparatus using a target pattern and an access indication pattern
JP4019114B1 (ja) 情報出力装置
US7705832B2 (en) Image display apparatus, and image display method
JP3996852B2 (ja) 表示されたスライドの予め選択された部分を強調表示するためのタッチパッドを備えたリモートコントロール
TWI428798B (zh) Information processing devices, information processing methods and program products
US5831602A (en) Information processing apparatus, method and computer program product
US8724527B2 (en) Remote-control system, remote controller, remote-control method, information-processing device, information-processing method, and program
US20060066587A1 (en) Electronic apparatus and touch pad device
JP2002526867A (ja) データ入力方法
US7893927B2 (en) Touch screen device with guiding surface
JP2010079332A (ja) 遠隔操作装置及び遠隔操作方法
JP2008097371A (ja) 表示システム、座標処理方法、及びプログラム
JPH07244555A (ja) ペン入力装置
KR101286412B1 (ko) 다중기능 가상 사용자 입력 장치 및 방법
US11816270B2 (en) Electronic device that operates according to user's hand gesture, and image forming apparatus
EP0844586B1 (en) Information input method, information input sheet, and information input apparatus
JP2000032111A (ja) 携帯型情報読取処理装置及び制御方法
KR20110083621A (ko) 터치 패널 장치
JP2003076495A (ja) 仮想入力装置
JP3879208B2 (ja) 情報入力方法、情報入力媒体及び情報入力装置
WO2015059992A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP4501680B2 (ja) 表示装置、操作指示装置および方法
JP2021193774A (ja) 電子黒板、音声再生方法、プログラム及び画像処理システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060501

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term