JPH09265346A - 空間マウス及びマウス位置検出装置及び映像化装置 - Google Patents

空間マウス及びマウス位置検出装置及び映像化装置

Info

Publication number
JPH09265346A
JPH09265346A JP7595096A JP7595096A JPH09265346A JP H09265346 A JPH09265346 A JP H09265346A JP 7595096 A JP7595096 A JP 7595096A JP 7595096 A JP7595096 A JP 7595096A JP H09265346 A JPH09265346 A JP H09265346A
Authority
JP
Japan
Prior art keywords
mouse
light
light emitting
spatial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7595096A
Other languages
English (en)
Other versions
JP3257585B2 (ja
Inventor
Kenji Yoshida
健治 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BIJIYUARU SCI KENKYUSHO KK
Original Assignee
BIJIYUARU SCI KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BIJIYUARU SCI KENKYUSHO KK filed Critical BIJIYUARU SCI KENKYUSHO KK
Priority to JP7595096A priority Critical patent/JP3257585B2/ja
Publication of JPH09265346A publication Critical patent/JPH09265346A/ja
Application granted granted Critical
Publication of JP3257585B2 publication Critical patent/JP3257585B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 2次元及び3次元の位置を計算機に入力する
ための空間マウスにおいて、構造が簡単で、コストアッ
プがなく、軽量化でき、ワイヤレスで、オペレータの操
作性が良い、空間マウスを実現する。 【解決手段】 2次元及び3次元空間内の位置をコンピ
ュータに入力するための空間マウスにおいて、光反射手
段4と発光手段、又は周期的発光手段、該発光手段のス
イッチ手段、を有する空間マウス1と、前記マウスに光
を照射する光照射手段3、前記マウスからの反射光を撮
影する撮影手段2、前記撮影されたマウスの画像12か
らそのマウスの位置を算出する手段5、前記マウスのス
イッチ手段の制御により発光される光を検出する手段1
3、を有するマウス位置検出装置を有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、空間の位置を指し
示す空間マウスに関し、光学式無線ポインティングデバ
イスを用いた対話型図形情報及び映像情報の処理システ
ムであり、特に、放送分野において、2次元及び3次元
の座標入力を簡易にすることを実現し、同時に特定の映
像処理をも行い、コンピュータ画像や、NTSC規格の
TV画像などの映像を生成する装置に関するものであ
る。
【0002】
【従来の技術】従来、3次元空間内の任意の位置をポイ
ンティングする装置としては、データグローブが良く知
られている。
【0003】また、特開平6−75693号公報には、
オペレータが手に持って操作するマウスに、マウス自身
の位置と姿勢を示す信号を出力するセンサを搭載した3
次元ポインティング装置が記載されている。
【0004】オペレータは、このマウスにより、ディス
プレイによって表示された3次元空間内の物体等の位置
を指し示すことにより、その時のマウスの実際の位置情
報が搭載センサで検出され、有線で計算機に送られ、3
次元空間内の対応する位置にマウスの画像が表示され、
3次元空間内の物体等を指し示すことが可能となるもの
である。
【0005】また、特開平6−314160号公報に
は、立体図等の多次元図形情報の入力及び処理に使用す
る光学式の多次元マウスの発明が開示されている。これ
は、マウス本体の各面を、それぞれX,Y,Z座標用の
入力面とし、各面に発光装置と受光装置を設け、反射板
の上で、マウス本体を傾けて、それぞれの面に備えられ
た発光装置からの光が反射板で反射して戻って来る光を
受光することにより、多次元の座標入力を光学的に行な
うというものである。
【0006】
【発明が解決しようとする課題】従来例に説明したよう
に、空間を指し示すマウスとしては、データグローブ
や、位置センサ搭載のマウスや、X,Y,Z座標用の発
光受光装置をマウス本体に設けた多次元マウスなどがあ
るが、これらは、どれも構造が複雑で、コストアップを
招き、また軽量化することが難しいという問題がある。
【0007】また、マウスと計算機とが有線で結ばれて
いるため、オペレータの操作性が悪いという問題もあ
る。
【0008】[発明の目的]本発明の目的は、リアルタ
イムに2次元及び3次元空間をポインティングするすべ
てのコンピュータアプリケーションに応用でき、省スペ
ース、コードレスの取り込みを可能とする空間マウス及
びそれを用いた2次元及び3次元映像装置を実現するこ
とにある。
【0009】また、本発明は、光学式ポインティングデ
バイスを用いた対話型図形情報及び映像情報の処理シス
テムとして、特に、放送分野において、2次元及び3次
元の座標入力を簡易にすることを実現し、同時に特定の
映像処理をも行い、コンピュータ画像や、NTSC規格
などの映像を生成することを目的とする。
【0010】
【課題を解決するための手段および作用】本発明は、上
述した課題を解決するための手段として、 [*** 空間マウス1 ***]2次元及び3次元空
間内の位置をコンピュータに入力するための空間マウス
において、光反射手段と、発光手段と、該発光手段のス
イッチ手段と、を有することを特徴とする空間マウスを
提供するものである。
【0011】[*** 空間マウス2 ***]また、
2次元及び3次元空間内の位置をコンピュータに入力す
るための空間マウスにおいて、常時発光する第1の発光
手段と、スイッチ手段により制御される第2の発光手段
と、を有することを特徴とする空間マウスを、その手段
とするものである。
【0012】[*** 空間マウス3 ***]また、
2次元及び3次元空間内の位置をコンピュータに入力す
るための空間マウスにおいて、周期的発光手段と、該発
光周期を変えるスイッチ手段と、を有することを特徴と
する空間マウスを、その手段とするものである。
【0013】[*** 空間マウス1〜3 ***]ま
た、光反射用ボールと、該光反射用ボール内部に設けら
れた発光手段と、を有することを特徴とする空間マウス
でもある。
【0014】また、光反射用ボールと、該光反射用ボー
ルを支持するスティックと、該スティックに設けられた
発光手段と、そのスイッチ手段とを有することを特徴と
する空間マウスでもある。
【0015】また、前記発光手段は、前記スイッチ手段
により制御されて、異なる信号の赤外線信号を発光する
ことを特徴とする空間マウスでもある。
【0016】また、前記発光周期を変えるスイッチ手段
が、異なる信号の赤外線信号を発光するスイッチ手段で
あることを特徴とする空間マウスでもある。
【0017】また、前記発光手段は、前記スイッチ手段
により制御されて、複数の異なる波長の光を発光するこ
とを特徴とする空間マウスでもある。
【0018】[*** 空間マウス1の位置検出装置
***]また、前記空間マウスから離れた位置に配置さ
れ、前記マウスに光を照射する光照射手段と、前記マウ
スからの反射光を撮影する撮影手段と、前記撮影された
マウスの画像からそのマウスの位置を算出する手段と、
前記マウスのスイッチ手段の制御により発光される光を
検出する手段と、を有することを特徴とするマウス位置
検出装置を、その手段とするものである。
【0019】また、前記光照射手段は、前記撮影手段の
レンズの外側に設けられることを特徴とするマウス位置
検出装置でもある。
【0020】また、複数の前記空間マウスにおいて、各
マウスに異なる波長の光の反射手段を備え、複数の前記
マウスの位置情報を個別に識別する手段を有することを
特徴とするマウス位置検出装置でもある。
【0021】[*** 空間マウス2の位置検出装置
***]また、前記空間マウスから離れた位置に配置さ
れ、前記マウスからの常時発光を撮影する撮影手段と、
前記撮影されたマウスの画像からそのマウスの位置を算
出する手段と、前記マウスのスイッチ手段により発光さ
れた光を検出する手段と、を有することを特徴とするマ
ウス位置検出装置を、その手段とするものである。
【0022】[*** 空間マウス3の位置検出装置
***]また、前記空間マウスから離れた位置に配置さ
れ、前記マウスからの光を撮影する撮影手段と、前記撮
影されたマウスの画像からそのマウスの位置を算出する
手段と、前記マウスのスイッチ手段により変化した発光
周期の光を検出する手段と、を有することを特徴とする
マウス位置検出装置を、その手段とするものである。
【0023】また、前記マウスのスイッチ手段により発
光する赤外線信号を検出する手段を有するマウス位置検
出装置でもある。
【0024】また、複数の前記空間マウスにおいて、各
マウスに異なる発光周期の発光手段を備え、複数の前記
マウスの位置情報を個別に識別する手段を有することを
特徴とするマウス位置検出装置でもある。
【0025】[*** 空間マウス1〜3の位置検出装
置 ***]また、前記画像中のマウス画像の大きさに
関して、前記撮影手段のレンズ特性による画面内位置に
よる大きさの変化データと、前記Z方向距離による大き
さの変化データとを備え、これらのデータを用いて前記
Z方向の位置座標をリアルタイムに出力する手段を有す
ることを特徴とするマウス位置検出装置でもある。
【0026】また、複数の前記空間マウスにおいて、各
マウスに異なる波長の光の発光手段を備え、複数の前記
マウスの位置情報を個別に識別する手段を有することを
特徴とするマウス位置検出装置でもある。
【0027】[*** 映像化装置 ***]また、前
記マウス位置検出装置により検出されたマウスの位置
に、任意の映像を出力する手段を有することを特徴とす
る映像化装置を、その手段とするものである。
【0028】また、前記任意の映像と他の撮影手段によ
る映像とを合成した映像を出力する手段を有することを
特徴とする映像化装置でもある。
【0029】また、3次元映像を出力することを特徴と
する映像化装置でもある。
【0030】また、前記空間マウスのスイッチ手段によ
り出力画像の制御を行なうことを特徴とする映像化装置
でもある。
【0031】[作用]本発明によれば、空間マウスに
は、光反射手段と、発光手段と、そのスイッチ手段、又
は周期的発光手段と、そのスイッチ手段などを備えるだ
けであるため、構成が簡単で、コストがかからない。ま
た、軽量で、コードレスであるため、オペレータが手に
持った際にも操作しやすくなる。
【0032】また、空間マウスとして、LEDライト等
の点灯スイッチを付けた光反射用ボールなどを、空間内
で動かすことにより、リアルタイムでそのポインティン
グ位置が検出でき、スイッチ操作などによって、例え
ば、合成されたコンピューターグラフィックスの中のオ
ブジェクトを移動させたり、各種の映像処理を行うこと
が、リアルタイムで容易にできる放送用システムを構成
することができる。
【0033】
【発明の実施の形態】
[実施形態1]図1は、本発明の空間マウスの一実施形
態の全体構成を示す模式図である。また、図2、図3
は、空間マウスの概略模式図、図4は、光照射装置の概
略模式図である。
【0034】図1において、1は本発明の空間マウスで
あり、光反射用ボール(リフレクションマーカー)4
と、それを支えるスティック6と、後述する発光手段と
そのスイッチ手段とから構成されている。
【0035】3はLEDによる光照射装置であり、CC
Dビデオカメラ2のレンズの外側に装着され、赤色光
を、ブルーバックスクリーンの前に立つ人物11が持つ
空間マウス1に照射する。
【0036】光反射用ボール4で反射された反射光は、
CCDビデオカメラ2で、12に示すような映像として
捉えられる。本実施形態では、映像中の光反射ボールの
位置が識別しやすいように、光反射ボール4から反射さ
れる波長の光のみを撮影するように、ビデオカメラ2を
調整してあり、光反射用ボールのみが良く写り、まわり
の人物や背景等が写らないようにしてある。
【0037】この映像は、座標認識コンピュータ5によ
り解析され、その位置が空間内のXY座標としてリアル
タイムで計算される。
【0038】このX,Y座標の算出は、映像上にX,Y
座標単位(画素単位)を設定し、各座標値ごとに、明度
及び/又は色の違いを、ソフトウエア又はセンサを用い
たハードウエアにより比較することにより、映像内での
マウス位置座標を検出できるようにした。
【0039】また本実施形態では、映像中の空間マウス
の大きさを判断することにより、Z方向の位置座標をリ
アルタイムに出力する手段を設けた。
【0040】空間マウスは、ビデオカメラにより撮影さ
れて、図1の映像12に示すように映像化される。映像
中のマウスの大きさは、Z方向の距離によるとともに、
カメラレンズの広角、望遠などのレンズ特性などによ
り、画面内の位置に応じても変化する。
【0041】このため、座標認識コンピュータ5に、予
め、画面内の位置ごとに、Z方向距離と画像中のマウス
の大きさとの関係データを持っておき、これと大きさを
比較することにより、そのテレビカメラからの距離を算
出し、Z方向の座標として出力するものである。また、
画面内の位置による補正式を用意しておき、計算により
Z方向距離を算出しても良い。
【0042】このようにして求めた空間マウスが指し示
す3次元空間内の位置に、コンピュータグラフィックス
等により作成した3次元映像を出力することも可能であ
る。図8は、このような、本発明の動作の概略を示すフ
ローチャートである。
【0043】また、光反射用ボール4が付いたスティッ
ク6に装備したボタンを押すことにより、空間マウスか
ら信号光が発射され、この信号光は、ビデオカメラ2に
取り付けられた受光装置13で受光され、電気信号とし
て、座標認識コンピュータ5に送られる。この電気信号
を受けて、座標認識コンピュータ5では、空間マウス1
のスイッチが押されたことを認識する。
【0044】図2は、空間マウス1を詳細に説明するた
めの模式図であり、空間マウス1は、光反射用ボール4
とスティック6からできており、図2(a)はその外観
斜視図、図2(b)はその光反射面を示す模式図であ
る。光反射用ボール4の表面には、ガラスビーズ等によ
る光反射面が形成されており、反射光が、入射光の方向
に対して、特に強く反射するようになっている。
【0045】なお、空間マウスの形状については、図2
に限ることはなく、他の形状であっても構わない。
【0046】また、図3は、空間マウス1に、発光手段
とそのスイッチ手段を設けた例を示す模式図である。
【0047】図3(a)は、光反射用ボール4の内部
に、発光ダイオードなどによる発光手段14が内蔵され
ており、スティック6に、それをON/OFFするスイ
ッチ手段15が設けられている。この例の場合、光反射
用ボール4は、少なくとも半透明のプラスティック等で
作製され、外部から照射される光を反射すると共に、ス
イッチ手段により点灯される内部の発光手段からの光を
外部に透過させることができるようにする。
【0048】また、発光手段としては、本実施形態で
は、家庭用TVのリモコンに使用されている赤外線リモ
コンと同じものを使用し、スイッチONで、IDコード
信号の入った赤外線を発射し、受光装置も、家庭用TV
リモコンの受光装置と同じものを用意して、図1で前述
したテレビカメラのレンズ周辺に設置しておいた。
【0049】図3(b)は、発光手段をスティックに設
けた例を示す模式図であり、発光手段を備える位置とし
ては、光反射用ボールの光反射機能に妨害がでない位置
で、かつスティックを持つ手の陰にならない位置であれ
ば、どこでも良い。
【0050】また、スイッチ手段15は複数のスイッチ
を設け、それぞれのIDコードの赤外線信号を発射する
ようにしてある。このような構成も、家庭用TVリモコ
ンなどを用いることで、簡単に作製することができる。
【0051】図4は、図1に示した光照射装置3の模式
的拡大図であり、テレビカメラのレンズ16の周囲に取
り付けられた円盤上に、複数の赤色発光ダイオード17
が取り付けられてあり、テレビカメラの向く方向に、光
を照射するようになっている。また、同じ円盤上に、空
間マウスの発光手段からの光信号を受光するための受光
装置18を配置した。
【0052】なお、受光装置18の配置位置は、ここに
限ることはなく、空間マウスからの発光信号を受光でき
る位置であれば、どこでも構わない。
【0053】このようなスイッチ手段を備えた空間マウ
スの使い方としては、例えば、3次元空間に映像化され
た物体を指し示すと同時に、スイッチをONしたまま、
マウスを動かすことにより、その物体を空間内で自由に
移動(ドラッギング)させることが、コンピュータ処理
により、容易にできる。
【0054】また、空間マウスをペンのように用いて、
マークを付けることや、ペイントするようなことも、コ
ンピュータ処理により、容易に可能である。
【0055】また、3次元空間に3次元アイコンとして
表示された物体を指し示して、スイッチをONすること
により、そのアイコンを開くことも同様にできる。
【0056】図5は、本発明の空間マウスを応用した映
像作成システムの一例を示す概略図である。なお、図1
と同一部分は、同一の番号を付すことにより、説明は省
略する。
【0057】図5において、他のビデオカメラ20で空
間マウス1を持つ人物11を撮影する。本実施形態で
は、人物11はブルーバックスクリーンの前に立ち、撮
影画像はブルーバック処理されて、映像8に示すような
人物のみの画像とされる。
【0058】このような、映像8と、描画される映像7
とを、画像合成コンピュータ(グラフィックワークステ
ーション)10で合成することにより、映像9に示すよ
うな、人物が指し示す位置に、日本列島の映像などを出
した画像を得ることができ、NTSC規格などのTV画
像として出力することができる。
【0059】このようなシステムは、TV放送用の天気
予報番組などに最適であり、人物が指し示す場所に天気
マークなどを出すことも容易にできる。
【0060】また、空間マウスの動きに合わせて、天気
マークなどを移動させたり、また空間マウスをペンと同
じように使って、映像上に印を書き込むようなことや、
色を塗るようなことも、コンピュータ処理により容易に
できる。このような機能を用いて、ニュース番組等で、
キャスターが使用する解説用ボードや、アトラクション
用として子供が空間に、お絵書きをするシステムなどと
しても利用できる。
【0061】なお、本実施形態では、人物などを合成す
るためにブルーバックスクリーンを用いたが、特に、人
物などを合成しないのであれば、ビデオカメラ20は必
要としない。
【0062】また、本実施形態では、空間マウスのスイ
ッチをONすることに連動して、そのポインティング位
置に日本列島の映像を出力したが、スイッチに連動する
ことなく、オペレータの制御により、適当なタイミング
で、適当な映像を、適当な位置に出力することもでき
る。
【0063】[実施形態2]本実施形態では、複数のマ
ウスを用いる場合に、それぞれに備えられた発光手段か
ら発する光の波長をそれぞれ異なるようにしておくこと
により、複数のマウスの位置情報を、同時に取り込むこ
とができるようにしたものである。
【0064】これは、異なる波長の発光ダイオードをそ
れぞれの空間マウスに内蔵し、受光装置側では、その波
長の識別手段を持つことにより構成することができる。
【0065】[実施形態3]本実施形態では、同一のマ
ウスに、異なる波長の光を発光する複数の発光ダイオー
ドなどを組み込み、それらを、スイッチ手段で、必要に
応じて異ならせて発光することで、より複雑な指令を発
することを可能とするものである。
【0066】[実施形態4]本実施形態では、複数のマ
ウスを使うような場合に、それぞれのマウスの光反射面
の色などの特性を変えて、それぞれ異なる波長の反射光
が得られるようにすることにより、複数のマウスを、例
えば同時に使用可能にしたものである。
【0067】マウス位置を検出する側では、それぞれの
波長を識別する装置を備えても良いし、映像中のマウス
の各色を、ソフトウエアにより、判別することもでき
る。
【0068】[実施形態5]図6は、本発明の他の実施
形態の空間マウスの全体構成を示す概略図であり、図7
は、他の空間マウスの模式図である。
【0069】図7に示すように、本実施形態の空間マウ
ス1は、周期的発光手段22と、その発光周期を変更す
る発光周期制御手段23と、発光周期を変更するための
スイッチ手段15を備えている。また、21は半透光性
のカバーであり、この半透光性のカバー部分は、常に周
期的に発光して、その位置と大きさを発信する。
【0070】発光周期は、通常時は、例えば40回/秒
程度で点滅を繰り返すことで、その位置を示し、スイッ
チ15が押された場合は、60回/秒程度の発光周期で
発光することにより、スイッチが押されたことを通知す
る。
【0071】このような周期的発光手段22と発光周期
制御手段23は、通常のランプと、当業者に良く知られ
た発信回路などで構成することができる。なお、形状及
び発光周期は、これに限ることはない。
【0072】このような空間マウス1から発光された周
期光は、図6に示すビデオカメラ20で、その映像が撮
影され、空間マウスの位置を示す映像12として出力さ
れる。この映像情報は、座標認識コンピュータ5に入力
され、前述した実施形態と同様に、その位置座標が算出
される。
【0073】本実施形態では、空間マウスのスイッチが
押されて、発光周期が変更されると、その映像から、座
標認識コンピュータ5では、その発光周期の変更を検出
し、スイッチが押されたことを認識する。
【0074】これは、本実施形態では、映像上のマウス
画像の点滅を、ソフトウエアによって、常に時間軸上で
監視し、その発光周期を算出しておくことで、発光周期
が変更された場合、それを検出できるようにした。
【0075】また、前述した実施形態と同様に、スイッ
チ手段により赤外線信号を発光するようにしてもよい。
【0076】また、複数の空間マウスにおいて、各マウ
スに異なる波長の光の発光手段を備え、複数のマウスの
位置情報を個別に識別するようにすることもできる。
【0077】また、複数の空間マウスにおいて、各マウ
スに異なる発光周期の発光手段を備え、複数のマウスの
位置情報を個別に識別するようにすることもできる。
【0078】[実施形態6]また、他の空間マウスとし
て、常時発光する第1の発光手段と、スイッチ手段によ
り制御される第2の発光手段と、を有する構成も可能で
ある。
【0079】これは、赤色可視光などの光を常時発光す
ることによりマウス位置情報を位置検出装置に送り、ス
イッチ手段を押した時には、赤外線信号などを送信する
ことにより、スイッチが押された情報を送るものであ
る。
【0080】このような空間マウスも、上述した実施形
態と同様にして構成することができる。
【0081】
【発明の効果】以上、説明したように、本発明によれ
ば、空間マウスには、光反射手段と、発光手段と、その
スイッチ手段、又は周期的発光手段と、そのスイッチ手
段とを備えるだけであるため、構成が簡単で、コストが
かからない。また、軽量で、コードレスであるため、オ
ペレータが手に持った際にも操作しやすくなる。
【0082】また、空間マウスとして、LEDライト等
の点灯スイッチを付けた光反射用ボールなどを、空間内
で動かすことにより、リアルタイムでそのポインティン
グ位置が検出でき、スイッチ操作などによって、例え
ば、合成されたコンピューターグラフィックスの中のオ
ブジェクトを移動させたり、各種の映像処理を行うこと
が、リアルタイムで容易にできる放送用システムを構成
することができる。
【図面の簡単な説明】
【図1】本発明の空間マウスシステムの構成の一例を示
す模式図である。
【図2】本発明の空間マウスの模式図である。
【図3】本発明の発光手段とスイッチ手段付きの空間マ
ウスの模式図である。
【図4】本発明の光照射手段と受光装置を示す模式図で
ある。
【図5】本発明の映像化装置の構成を示す模式図であ
る。
【図6】本発明の他の空間マウスシステムの構成の一例
を示す模式図である。
【図7】本発明の他の空間マウスの例の外観斜視図であ
る。
【図8】本発明の動作の概略を示すフローチャートであ
る。
【符号の説明】
1 空間マウス 2,20 テレビカメラ 3 光照射装置 4 光反射用ボール 5 座標認識コンピュータ 6 スティック 7 コンピュータ出力映像 8 テレビカメラ20による映像 9 合成画像 10 画像合成コンピュータ 11 人物 12 空間マウスの位置を示す映像 13 受光装置 14 発光手段 15 スイッチ手段 16 TVカメラレンズ 17 赤色発光ダイオード 18 受光装置 21 半透光性カバー 22 周期的発光手段 23 発光周期制御手段

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 2次元及び3次元空間内の位置をコンピ
    ュータに入力するための空間マウスにおいて、 光反射手段と、 発光手段と、 該発光手段のスイッチ手段と、 を有することを特徴とする空間マウス。
  2. 【請求項2】 2次元及び3次元空間内の位置をコンピ
    ュータに入力するための空間マウスにおいて、 常時発光する第1の発光手段と、 スイッチ手段により制御される第2の発光手段と、 を有することを特徴とする空間マウス。
  3. 【請求項3】 2次元及び3次元空間内の位置をコンピ
    ュータに入力するための空間マウスにおいて、 周期的発光手段と、 該発光周期を変えるスイッチ手段と、 を有することを特徴とする空間マウス。
  4. 【請求項4】 光反射用ボールと、該光反射用ボール内
    部に設けられた発光手段と、を有することを特徴とする
    請求項1記載の空間マウス。
  5. 【請求項5】 光反射用ボールと、該光反射用ボールを
    支持するスティックと、該スティックに設けられた発光
    手段と、そのスイッチ手段とを有することを特徴とする
    請求項1記載の空間マウス。
  6. 【請求項6】 前記発光手段は、前記スイッチ手段によ
    り制御されて、異なる信号の赤外線信号を発光すること
    を特徴とする請求項1又は2記載の空間マウス。
  7. 【請求項7】 前記発光周期を変えるスイッチ手段が、
    異なる信号の赤外線信号を発光するスイッチ手段である
    ことを特徴とする請求項3記載の空間マウス。
  8. 【請求項8】 前記発光手段は、前記スイッチ手段によ
    り制御されて、複数の異なる波長の光を発光することを
    特徴とする請求項1〜3のいずれかに記載の空間マウ
    ス。
  9. 【請求項9】 請求項1記載の空間マウスから離れた位
    置に配置され、 前記マウスに光を照射する光照射手段と、 前記マウスからの反射光を撮影する撮影手段と、 前記撮影されたマウスの画像からそのマウスの位置を算
    出する手段と、 前記マウスのスイッチ手段の制御により発光される光を
    検出する手段と、を有することを特徴とするマウス位置
    検出装置。
  10. 【請求項10】 前記光照射手段は、前記撮影手段のレ
    ンズの外側に設けられることを特徴とする請求項9記載
    のマウス位置検出装置。
  11. 【請求項11】 複数の前記空間マウスにおいて、各マ
    ウスに異なる波長の光の反射手段を備え、複数の前記マ
    ウスの位置情報を個別に識別する手段を有することを特
    徴とする請求項9記載のマウス位置検出装置。
  12. 【請求項12】 請求項2記載の空間マウスから離れた
    位置に配置され、 前記マウスからの常時発光を撮影する撮影手段と、 前記撮影されたマウスの画像からそのマウスの位置を算
    出する手段と、 前記マウスのスイッチ手段により発光された光を検出す
    る手段と、を有することを特徴とするマウス位置検出装
    置。
  13. 【請求項13】 請求項3記載の空間マウスから離れた
    位置に配置され、 前記マウスからの光を撮影する撮影手段と、 前記撮影されたマウスの画像からそのマウスの位置を算
    出する手段と、 前記マウスのスイッチ手段により変化した発光周期の光
    を検出する手段と、を有することを特徴とするマウス位
    置検出装置。
  14. 【請求項14】 前記マウスのスイッチ手段により発光
    される赤外線信号を検出する手段を有することを特徴と
    する請求項13記載のマウス位置検出装置。
  15. 【請求項15】 複数の前記空間マウスにおいて、各マ
    ウスに異なる発光周期の発光手段を備え、複数の前記マ
    ウスの位置情報を個別に識別する手段を有することを特
    徴とする請求項13記載のマウス位置検出装置。
  16. 【請求項16】 前記画像中のマウス画像の大きさに関
    して、 前記撮影手段のレンズ特性による画面内位置による大き
    さの変化データと、 前記Z方向距離による大きさの変化データとを備え、 これらのデータを用いて、前記Z方向の位置座標をリア
    ルタイムに出力する手段を有することを特徴とする請求
    項9〜15のいずれかに記載のマウス位置検出装置。
  17. 【請求項17】 複数の前記空間マウスにおいて、各マ
    ウスに異なる波長の光の発光手段を備え、複数の前記マ
    ウスの位置情報を個別に識別する手段を有することを特
    徴とする請求項9〜16のいずれかに記載のマウス位置
    検出装置。
  18. 【請求項18】 請求項9〜17のいずれかに記載のマ
    ウス位置検出装置により検出されたマウスの位置に、任
    意の映像を出力する手段を有することを特徴とする映像
    化装置。
  19. 【請求項19】 前記任意の映像と他の撮影手段による
    映像とを合成した映像を出力する手段を有することを特
    徴とする請求項18記載の映像化装置。
  20. 【請求項20】 3次元映像を出力することを特徴とす
    る請求項18又は19記載の映像化装置。
  21. 【請求項21】 前記空間マウスのスイッチ手段により
    出力画像の制御を行なうことを特徴とする請求項18〜
    20のいずれかに記載の映像化装置。
JP7595096A 1996-03-29 1996-03-29 空間マウスを用いた映像化装置 Expired - Fee Related JP3257585B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7595096A JP3257585B2 (ja) 1996-03-29 1996-03-29 空間マウスを用いた映像化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7595096A JP3257585B2 (ja) 1996-03-29 1996-03-29 空間マウスを用いた映像化装置

Publications (2)

Publication Number Publication Date
JPH09265346A true JPH09265346A (ja) 1997-10-07
JP3257585B2 JP3257585B2 (ja) 2002-02-18

Family

ID=13591017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7595096A Expired - Fee Related JP3257585B2 (ja) 1996-03-29 1996-03-29 空間マウスを用いた映像化装置

Country Status (1)

Country Link
JP (1) JP3257585B2 (ja)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003079179A1 (en) * 2002-03-18 2003-09-25 Softronics Co., Ltd. Motion mouse system
US6628335B1 (en) 1997-09-05 2003-09-30 Kabushiki Kaisha Toshiba Image capture module and image capture apparatus for inputting shape of object on three dimensional space
US6799141B1 (en) 1999-06-09 2004-09-28 Beamcontrol Aps Method for determining the channel gain between emitters and receivers
JP2005144158A (ja) * 2003-10-23 2005-06-09 Shinsedai Kk ゲーム装置、操作物、ゲームシステム、ゲームプログラム、及び、ゲーム方法
JP2005158057A (ja) * 2003-11-04 2005-06-16 Shinsedai Kk 描画装置、操作物、描画システム、描画プログラム、及び描画方法
WO2005071945A1 (en) * 2004-01-22 2005-08-04 Ssd Company Limited An image pickup apparatus and an object
JP2005301479A (ja) * 2004-04-08 2005-10-27 Akinori Yoshino 投影された提示者の動作による命令入力装置
JP2006146481A (ja) * 2004-11-18 2006-06-08 Keio Gijuku プレゼンテーションシステム及びコンテンツ作成システム
JP2007075213A (ja) * 2005-09-12 2007-03-29 Nintendo Co Ltd 情報処理プログラム
JP2007521559A (ja) * 2003-06-23 2007-08-02 アフィネオン・テクノロジーズ・ピーティーイー・リミテッド 自由度6の航跡を入れるコンピュータ入力装置
JP2007236697A (ja) * 2006-03-09 2007-09-20 Nintendo Co Ltd 画像処理装置および画像処理プログラム
WO2008075900A1 (en) * 2006-12-21 2008-06-26 Moon Key Lee 3d mouse using camera
JP2009505305A (ja) * 2005-08-22 2009-02-05 イェ,チンジョン 自由空間のポインティング及び手書き手段
JP2009514106A (ja) * 2005-10-26 2009-04-02 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとインタフェースするためのシステムおよび方法
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2009289254A (ja) * 2008-05-30 2009-12-10 Fuji Xerox Co Ltd 感知機能を備えたユーザ・インタフェース・システム、ユーザの動きを感知してフィードバックをユーザ・インタフェースに表示する方法、及び、プログラム
JP2010000364A (ja) * 2004-05-10 2010-01-07 Sony Computer Entertainment Inc コンピュータアプリケーション及びビデオゲームアプリケーションの相互作の制御のためのパターンコード
JP2010279742A (ja) * 2003-10-23 2010-12-16 Shinsedai Kk ゲーム装置及びゲームプログラム
CN102033620A (zh) * 2009-09-30 2011-04-27 苏光辉 光学戒指鼠标
JP4822643B2 (ja) * 1999-07-06 2011-11-24 ハンセン、カール、シー. 無線ポインタの光学トラッキングを備えるコンピュータ・プレゼンテーション・システムおよび方法
JP2012050719A (ja) * 2010-09-02 2012-03-15 Sony Computer Entertainment Inc プログラム、オブジェクト制御方法およびゲーム装置
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2012507102A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント コンフィグレーション可能モードを備えて球形端部を有するコントローラ
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP2012529112A (ja) * 2009-05-30 2012-11-15 株式会社ソニー・コンピュータエンタテインメント オブジェクト追跡のための色較正
US8784203B2 (en) 2008-05-30 2014-07-22 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP2014211745A (ja) * 2013-04-18 2014-11-13 オムロン株式会社 移動検出装置およびプログラム
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US9381424B2 (en) 2002-07-27 2016-07-05 Sony Interactive Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US9720556B2 (en) 2007-10-01 2017-08-01 Nintendo Co., Ltd. Storage medium storing image processing program and image processing apparatus
US10220302B2 (en) 2002-07-27 2019-03-05 Sony Interactive Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6057098B2 (ja) 2012-01-09 2017-01-11 エプソン ノルウェー リサーチ アンド ディベロップメント アクティーゼルスカブEpson Norway Research And Development As ビジュアルおよびインタラクティブシステムのための同期、識別および追跡のための低干渉システムおよび方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6252631A (ja) * 1985-08-31 1987-03-07 Nec Home Electronics Ltd 位置入力装置
JPH03196326A (ja) * 1989-12-26 1991-08-27 Digital Sutoriimu:Kk ワイヤレス方式コンピュータ入力装置
JPH03224027A (ja) * 1989-11-30 1991-10-03 Texas Instr Inc <Ti> コンピュータ・システムとコンピュータ・システムに対する入力データを求める方法
JPH04123122A (ja) * 1990-09-13 1992-04-23 Sony Corp 入力装置
JPH04123121A (ja) * 1990-09-13 1992-04-23 Sony Corp 画像入力装置
JPH05232863A (ja) * 1992-02-19 1993-09-10 Sony Tektronix Corp 座標入力用指示棒
JPH06301475A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JPH06301477A (ja) * 1993-04-16 1994-10-28 Kyoto Densoku Kk 3次元空間に対する指示位置の入力装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6252631A (ja) * 1985-08-31 1987-03-07 Nec Home Electronics Ltd 位置入力装置
JPH03224027A (ja) * 1989-11-30 1991-10-03 Texas Instr Inc <Ti> コンピュータ・システムとコンピュータ・システムに対する入力データを求める方法
JPH03196326A (ja) * 1989-12-26 1991-08-27 Digital Sutoriimu:Kk ワイヤレス方式コンピュータ入力装置
JPH04123122A (ja) * 1990-09-13 1992-04-23 Sony Corp 入力装置
JPH04123121A (ja) * 1990-09-13 1992-04-23 Sony Corp 画像入力装置
JPH05232863A (ja) * 1992-02-19 1993-09-10 Sony Tektronix Corp 座標入力用指示棒
JPH06301475A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JPH06301477A (ja) * 1993-04-16 1994-10-28 Kyoto Densoku Kk 3次元空間に対する指示位置の入力装置

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042490B2 (en) 1997-09-05 2006-05-09 Kabushiki Kaisha Toshiba Image capture module and image capture apparatus for inputting shape of object on three dimensional space
US6628335B1 (en) 1997-09-05 2003-09-30 Kabushiki Kaisha Toshiba Image capture module and image capture apparatus for inputting shape of object on three dimensional space
US6799141B1 (en) 1999-06-09 2004-09-28 Beamcontrol Aps Method for determining the channel gain between emitters and receivers
JP4822643B2 (ja) * 1999-07-06 2011-11-24 ハンセン、カール、シー. 無線ポインタの光学トラッキングを備えるコンピュータ・プレゼンテーション・システムおよび方法
KR20030075399A (ko) * 2002-03-18 2003-09-26 주식회사 소프트로닉스 모션마우스 시스템 및 방법
WO2003079179A1 (en) * 2002-03-18 2003-09-25 Softronics Co., Ltd. Motion mouse system
US10406433B2 (en) 2002-07-27 2019-09-10 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9381424B2 (en) 2002-07-27 2016-07-05 Sony Interactive Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US10099130B2 (en) 2002-07-27 2018-10-16 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US10220302B2 (en) 2002-07-27 2019-03-05 Sony Interactive Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
JP2007521559A (ja) * 2003-06-23 2007-08-02 アフィネオン・テクノロジーズ・ピーティーイー・リミテッド 自由度6の航跡を入れるコンピュータ入力装置
JP4742247B2 (ja) * 2003-10-23 2011-08-10 新世代株式会社 ゲーム装置及びゲームプログラム
JP2010279742A (ja) * 2003-10-23 2010-12-16 Shinsedai Kk ゲーム装置及びゲームプログラム
JP2005144158A (ja) * 2003-10-23 2005-06-09 Shinsedai Kk ゲーム装置、操作物、ゲームシステム、ゲームプログラム、及び、ゲーム方法
JP2005158057A (ja) * 2003-11-04 2005-06-16 Shinsedai Kk 描画装置、操作物、描画システム、描画プログラム、及び描画方法
JP4747334B2 (ja) * 2003-11-04 2011-08-17 新世代株式会社 描画装置、操作物、描画システム、描画プログラム、及び描画方法
US8062126B2 (en) 2004-01-16 2011-11-22 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
WO2005071945A1 (en) * 2004-01-22 2005-08-04 Ssd Company Limited An image pickup apparatus and an object
JP2005301479A (ja) * 2004-04-08 2005-10-27 Akinori Yoshino 投影された提示者の動作による命令入力装置
JP2010000364A (ja) * 2004-05-10 2010-01-07 Sony Computer Entertainment Inc コンピュータアプリケーション及びビデオゲームアプリケーションの相互作の制御のためのパターンコード
JP2006146481A (ja) * 2004-11-18 2006-06-08 Keio Gijuku プレゼンテーションシステム及びコンテンツ作成システム
JP4742196B2 (ja) * 2004-11-18 2011-08-10 学校法人慶應義塾 プレゼンテーションシステム及びコンテンツ作成システム
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
JP2009505305A (ja) * 2005-08-22 2009-02-05 イェ,チンジョン 自由空間のポインティング及び手書き手段
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP2007075213A (ja) * 2005-09-12 2007-03-29 Nintendo Co Ltd 情報処理プログラム
JP2009514106A (ja) * 2005-10-26 2009-04-02 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとインタフェースするためのシステムおよび方法
JP2011096284A (ja) * 2005-10-26 2011-05-12 Sony Computer Entertainment Inc プログラムのコマンドをトリガするための方法
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US20110074669A1 (en) * 2005-10-26 2011-03-31 Sony Computer Entertainment Inc. Illuminating Controller having an Inertial Sensor for Communicating with a Gaming System
US20110077082A1 (en) * 2005-10-26 2011-03-31 Sony Computer Entertainment Inc. Illuminating Controller for Interfacing with a Gaming System
JP2011134338A (ja) * 2005-10-26 2011-07-07 Sony Computer Entertainment Inc コンピュータプログラムとインタフェースするためのコントローラ及びインターフェースオブジェクト
US8562433B2 (en) 2005-10-26 2013-10-22 Sony Computer Entertainment Inc. Illuminating controller having an inertial sensor for communicating with a gaming system
US8602894B2 (en) 2005-10-26 2013-12-10 Sony Computer Entertainment, Inc. Illuminating controller for interfacing with a gaming system
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8797264B2 (en) 2006-03-09 2014-08-05 Nintendo Co., Ltd. Image processing apparatus and storage medium storing image processing program
JP2007236697A (ja) * 2006-03-09 2007-09-20 Nintendo Co Ltd 画像処理装置および画像処理プログラム
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
WO2008075900A1 (en) * 2006-12-21 2008-06-26 Moon Key Lee 3d mouse using camera
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8643598B2 (en) 2007-09-19 2014-02-04 Sony Corporation Image processing apparatus and method, and program therefor
US8896535B2 (en) 2007-09-19 2014-11-25 Sony Corporation Image processing apparatus and method, and program therefor
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US9720556B2 (en) 2007-10-01 2017-08-01 Nintendo Co., Ltd. Storage medium storing image processing program and image processing apparatus
US8784203B2 (en) 2008-05-30 2014-07-22 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP2009289254A (ja) * 2008-05-30 2009-12-10 Fuji Xerox Co Ltd 感知機能を備えたユーザ・インタフェース・システム、ユーザの動きを感知してフィードバックをユーザ・インタフェースに表示する方法、及び、プログラム
JP2012507102A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント コンフィグレーション可能モードを備えて球形端部を有するコントローラ
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2012529112A (ja) * 2009-05-30 2012-11-15 株式会社ソニー・コンピュータエンタテインメント オブジェクト追跡のための色較正
CN102033620A (zh) * 2009-09-30 2011-04-27 苏光辉 光学戒指鼠标
JP2012050719A (ja) * 2010-09-02 2012-03-15 Sony Computer Entertainment Inc プログラム、オブジェクト制御方法およびゲーム装置
JP2014211745A (ja) * 2013-04-18 2014-11-13 オムロン株式会社 移動検出装置およびプログラム

Also Published As

Publication number Publication date
JP3257585B2 (ja) 2002-02-18

Similar Documents

Publication Publication Date Title
JP3257585B2 (ja) 空間マウスを用いた映像化装置
US6414672B2 (en) Information input apparatus
JP3321053B2 (ja) 情報入力装置及び情報入力方法及び補正データ生成装置
US9301372B2 (en) Light control method and lighting device using the same
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
US8022928B2 (en) Free-space pointing and handwriting
US20120262487A1 (en) Interactive multi-display control systems
JPH113170A (ja) 光デジタイザ
US20110025925A1 (en) Simple-to-use optical wireless remote control
KR20060132219A (ko) 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
Xiao et al. Lumitrack: low cost, high precision, high speed tracking with projected m-sequences
JP2010522922A (ja) 電子機器を追跡するためのシステム及び方法
TWI499223B (zh) 指向式機器人之遙控系統
JPH0776902B2 (ja) ライトペンシステム
US20080174702A1 (en) Quasi analog knob control method and appartus using the same
US20130249811A1 (en) Controlling a device with visible light
US20080186280A1 (en) Mouse apparatus and computer system having same
US20170168592A1 (en) System and method for optical tracking
US20070188447A1 (en) Light-pointing device and light-tracking receiver having a function selection key and system using the same
US20170357336A1 (en) Remote computer mouse by camera and laser pointer
CN209044429U (zh) 一种设备
JPH0340861B2 (ja)
JP4687820B2 (ja) 情報入力装置及び情報入力方法
CN111813232A (zh) Vr键盘和vr办公装置
CN111782059A (zh) Vr键盘和vr办公装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081207

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091207

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 9

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 11

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees