JPH09134250A - 装置姿勢追跡方法 - Google Patents

装置姿勢追跡方法

Info

Publication number
JPH09134250A
JPH09134250A JP8264454A JP26445496A JPH09134250A JP H09134250 A JPH09134250 A JP H09134250A JP 8264454 A JP8264454 A JP 8264454A JP 26445496 A JP26445496 A JP 26445496A JP H09134250 A JPH09134250 A JP H09134250A
Authority
JP
Japan
Prior art keywords
image
array
correlation
reference frame
cursor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8264454A
Other languages
English (en)
Other versions
JP3958390B2 (ja
Inventor
Gary B Gordon
ゲリー・ビー・ゴードン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=24155098&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH09134250(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH09134250A publication Critical patent/JPH09134250A/ja
Application granted granted Critical
Publication of JP3958390B2 publication Critical patent/JP3958390B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

(57)【要約】 【課題】例えばディスプレイ・システムの画面カーソル
を制御するような適用業務において、制御を行う装置の
姿勢を追跡するシステムを提供する。 【解決手段】本システムは、光センサの２次元アレイを
制御する装置へ配置し、該アレイを使用して像の基準フ
レームおよび標本フレームを形成する。標本フレームと
基準フレームの視界が、共通の像特性が存在するように
互いに大部分重ね合わようの形態で各フレームを取得
し、取得した標本フレームを基準フレームに相関させる
ことによって、共通特性の位置的相違を検出する。最後
に、検出した位置的相違に基づいて、制御装置の上下左
右の揺れを示す姿勢信号を生成し、その姿勢信号によっ
て制御対象装置を制御する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般的には、装置
の姿勢を追跡する方法およびシステムに関するもので、
特に、ビデオ・ディスプレイのカーソルのような装置ま
たはプロセスを制御するため装置の姿勢を追跡すること
に関するものである。
【０００２】
【従来の技術】ビデオ・システムにおいて表示画面上に
提示される情報と人が対話しなければならないアプリケ
ーションがある。時には、人が表示画面から距離をおい
ている時にそのような対話が発生することがある。詳細
は後述するが、そのような対話を実施する種々の形態の
１つとして、遠隔地点から画面を制御する方法がある。
対話には、表示画面メニューとして提示される選択子を
選択することや表示装置のキーボードを使用してテキス
トを「タイプ」することが含まれる。遠隔対話式ビデオ
・システム(Remote Interactive Video Systemの頭文字
をとって以下ＲＩＶＳと略称する)の例には、対話式テ
レビ(Interactive TVの頭文字をとって以下ＩＴＶと略
称する)、テレビ型インターネット・ブラウザおよびビ
デオ会議室ビデオ・プロジェクタ等が含まれる。
【０００３】ＲＩＶＳの１つの重要なコンポーネント
は、画面上のカーソルを制御するための「ポインティン
グ」デバイスである。ポインティング・デバイスは、マ
ウス、トラック・ボールおよび図形タブレットがコンピ
ュータのため実行する機能と同等の機能を果たす。しか
し、ＲＩＶＳに関連するシステム環境は、典型的コンピ
ュータの操作において出会うことのないような困難さを
示す。例えば、典型的ＲＩＶＳオペレータは、コンピュ
ータ・オペレータと比較して制御する装置から一層遠隔
の地点で操作を行う。別の例としては、ＲＩＶＳのオペ
レータは、例えばＩＴＶオペレータがリビング・ルーム
でテレビジョン受信機から離れて座っている場合のよう
に構造化されていない環境にいることが多い。多くの状
況において、マウスのような既存のコンピュータ・ポイ
ンティング・デバイスを使用できる環境ではない。更
に、ＲＩＶＳはキーボードを備えてないことが多いの
で、ポインティング・デバイスがテキスト入力を行うと
いう余分な負荷を負わなければならない。
【０００４】ＲＩＶＳのために多数の既知のポインティ
ング・デバイスがある。大部分の既知のポインティング
・デバイスは、若干のバリエーションはあるが基本的に
は手持式コントローラ上で４キー式カーソル・パッドを
実装したものである。４キー式カーソル・パッドは、種
々のメニュー選択を行うため画面カーソルを上下左右に
移動させるように取り扱われる。そのようなインターフ
ェースは、旧式なテキスト・インターフェースを使用し
たコンピュータ・キーボードのカーソル・キーをエミュ
レートする。しかし、これらのインターフェースは、典
型的には、最近のグラフィック・ソフトウェア・インタ
ーフェースのために開発されたコンピュータ・マウスお
よびその他のポインティング・デバイスに比較して動き
が遅く反応が鈍い。
【０００５】ＲＩＶＳ環境内のカーソル制御を改善する
努力の１つとして、マウスおよびトラックボールという
先進的コンピュータ・ポインティング・デバイスが応用
された。１つの応用例では、ミニチュア・トラックボー
ルがコントローラの上部に装備され、トラックボールは
人の親指で操作される。トラックボール・コントローラ
は、カーソル・キーを使用した場合より速く、斜めの移
動を実現する。あいにく、トラックボールは、カーソル
の大幅な移動を行う場合、ストロークを繰り返す必要が
あり、一般的には親指制御はユーザの機敏な親指の動作
を酷使する。例えば、表示画面上の円の中のカーソルを
追跡することは難しい。ＩＴＶカーソル制御のためマウ
スを使用することは既に実施されている。マウスの利点
は、それが、反応の速いすぐれたカーソル制御を提供す
る点である。問題は、オペレータにとって便利で、平ら
な操作面がないことがあることである。
【０００６】ＲＩＶＳポインティング技術のにおける一
層の改良は、コントローラを用いて単に身振りをするこ
とによってカーソルの制御を可能にするデバイスの使用
である。これらのデバイスは、コントローラの姿勢、す
なわち、縦揺れ(pitch)、偏揺れ(yaw)、およびおそらく
横揺れ(roll)を測定する。このようなアプローチの第１
のカテゴリは、光ビームを使用して姿勢を測定するもの
である。PCT International Publication Number WO 95
/19031には、固定された基本ユニットに相対する遠隔ユ
ニットのポインティング方向を決定するシステムが記載
されている。この固定された基本ユニットには、光ビー
ムを発するための１つまたは複数の光源が含まれる。発
射された光は、少くとも１つのあらかじめ決められた方
向に収束される。可動遠隔ユニットには収束された光を
検出する光検出器が備えられる。可動遠隔ユニットの姿
勢は、種々の方向から受け取られる光の強度を測定する
ことによって決定される。
【０００７】姿勢を測定するため発射された光を使用す
るカテゴリーの別の実施例は、赤外線信号がビデオ・デ
ィスプレイの領域から放射される形態である。この場
合、赤外線信号は散乱され、コントローラの４式フォト
ダイオード・アレイ上に照射される。４個のフォトダイ
オードの相対的信号振幅を使用して、ディスプレイから
引かれる線に対するコントローラの相対的方向が決定さ
れる。このシステムに関する問題の１つは、システムが
望ましくない強さの赤外線の洪水を部屋にまき散らし、
近くにある(ＶＣＲコントローラのような)他の赤外線応
用装置を誤動作させるかもしれない点である。第２の問
題は、コントローラがビデオ・ディスプレイから比較的
短い距離範囲内にない場合、散乱された赤外線信号の限
られた伝逹範囲が、この姿勢測定システムの信頼性を損
なわせることがある点である。
【０００８】コントローラの姿勢を測定するデバイスの
第２のカテゴリは、慣性航法原理が使われているもので
ある。ジャイロスコープまたは符号化ジンバル式装置
が、姿勢変化測定対象のコントローラに慣性系を確立す
る。次に、ビデオ・ディスプレイの上部に装着された小
型ダイポール・アンテナへの無線周波伝送経路を介し
て、姿勢情報がビデオ・ディスプレイに伝送される。
【０００９】第３のカテゴリは、第１のカテゴリに関連
する。カーソル制御を提供する手持式物体が、その１つ
の表面上に装備される多数の光源を持つ。単一の電子カ
メラが、手持式物体上に装備された光源の像を捕捉する
ように向けられる。複数光源の像の位置が各カメラ像の
形態で検出され、コンピュータを使用して、光を発する
手持式物体の姿勢が決定される。そのような装置は、De
Menphon氏に付与の米国特許第5,338,059号に記述されて
いる。
【００１０】仮想現実(virtual reality)の分野にも、
上述の分野に密接に関連した必要性が存在する。ゲー
ム、シミュレーションおよびその他の映像分野におい
て、ユーザの頭またはその他の身体部分の姿勢を符号化
することがしばしば必要とされる。多くのケースにおい
て、頭の左右上下の揺れを符号化するシステムがＲＩＶ
Ｓコントローラに適用され、またその逆の場合もある。
１つの既知の仮想現実システムでは、計器を取り付けた
コンパスおよび重力計という手段によって揺れが符号化
される。
【００１１】既知のカーソル制御装置および姿勢決定シ
ステムがそれらの意図された目的のため適切に作動する
とはいえ、それぞれ懸念または問題を持っている。操作
が迅速にできなかったりまたは退屈であったり、あるい
は特定の操作面を使用する必要がある。赤外線放射を含
む装置およびシステムは、他の装置の動作に悪影響を及
ぼすかもしれない。重力に基づく姿勢検知装置は、横方
向の加速と傾きを識別することが困難で、従って制御を
誤る可能性がある。この最後の問題は、ジャイロ安定化
によって概念的には解決できるかもしれないが、コスト
および消費電力がこの解決策の魅力を失わせる。光検出
を利用する既知のシステムは、ディスプレイ上に第２の
仕掛けを追加することを必要とし、このためまた追加コ
ストを必要とする。
【００１２】
【発明が解決しようとする課題】従って、装置の姿勢を
高い信頼度を持って追跡する方法およびシステムが必要
とされる。また、そのような方法およびシステムは、画
面カーソルを制御するために使用される場合または他の
遠隔対話式映像アプリケーションにおいて使用される場
合、コスト効率の高いものでなければならない。
【００１３】
【課題を解決するための手段】光センサの２次元アレイ
手段によって取得される連続した像の相関関係が、該ア
レイが接続される装置の姿勢を追跡する基礎として使用
される。本発明の好ましい実施形態において、上記装置
は、ビデオ・セットの表示画面上でカーソルを取り扱う
ためのコントローラのような手持式部材である。連続す
る像に共通の像特性の位置的相違を検出するため像を相
関させる処理段階に基づいて、本発明のシステムは、像
取得の時間的インータバルにおける角度方向の変化を標
示する姿勢信号を生成する。すなわち、姿勢信号は、光
センサのアレイを備える装置の縦揺れ、偏揺れ、および
オプションとして横揺れによって決定される。取得され
る像が制御されているもの（例えば画面カーソル）に関
係づけられる必要がないので、本発明の上記装置は、制
御プロセスの間、どの方向にも向くことができる。更
に、装置の角度変位と制御されているものの動きの間に
１対１の対応関係を設ける必要はない。例えばカーソル
制御の範囲内でコントローラを任意の方向に向けること
ができるし、上下左右の揺れ角度とカーソル移動距離の
関係はユーザによって調節可能である。
【００１４】光センサの２次元アレイを使用して装置の
姿勢を追跡するため基準フレームが取得される。基準フ
レームは記憶され、アレイの視界の範囲内で第２の像特
性が取得される。第２の像は標本像と見なされ、２つの
像の視界は大部分重ね合わされるため、基準フレームと
標本フレームは多数の共通特性を含む。必須のものでは
ないが、該装置は、公称上無限の焦点を提供する光学部
品を含み、それによって、光センサのアレイに対し意図
的にボケた像を送る。画面カーソルを制御する装置の応
用において、代表的な像の特性には、窓、ランプ、家具
および表示画面それ自体が含まれる。本発明のいかなる
応用においても、相関の目的で固定された光の連続的像
を使用するため、１つまたは複数の静止光源を、像が作
成される環境の範囲内に特に追加することができる。そ
のような実施形態の１つにおいて、光源は赤外線エミッ
タであり、装置の姿勢を追跡するため、赤外線フィルタ
を用いた像作成アレイが装置に備えられる。
【００１５】基準フレームを標本フレームに相関させる
ステップは、概念的に、次の通りである。すなわち、フ
レームの１つが位置的に固定され、別のフレームが反復
的にシフトされ、どのシフトされた位置が２つのフレー
ムに共通の像特性の配置に最も接近しているかを判定
し、それによって、２つの像を取得する時間的インター
バルの間の上下左右の揺れを判断することが可能とな
る。実際問題として、シフトはコンピュータの計算によ
って実行される。シフトはピクセル値のシフトであっ
て、この場合ピクセル値の各々は特定の時間に特定の光
センサで受け取られる光エネルギーを示す。相関は、最
隣接ピクセル相関の場合のようにただ１つのピクセルの
計算シフトに限定することも、あるいは、多数ピクセル
計算シフトであることもできる。計算上さほど複雑でな
く、オリジナルの位置および８つの計算シフトだけが必
要であるにすぎないので、最隣接ピクセル相関プロセス
が望ましい場合が多い。移動が１ピクセル長より小さい
場合、補間が実行され、１ピクセル長より少ない角度変
位が判別される。水平軸に対する装置の角度変位（すな
わち縦揺れ）によって、上方または下方へ動かされてい
る基準フレームのピクセル値が構成される。垂直軸に対
する装置の角度変位（すなわち偏揺れ）によって、左方
向または下方向へ動かされている基準フレームのピクセ
ル値が構成される。システムは、縦揺れ、偏揺れおよび
その組み合わせを検出する。システムによって生成され
る姿勢信号は、そのような角度変位の検出に対応するも
のである。オプションとして横揺れもまた考慮に入れる
ことができる。
【００１６】姿勢信号が画面カーソルを制御するために
生成されるアプリケーションにおいては、本装置は、好
ましくは、カーソル制御信号の無線送信を行うための送
信機を含む。例えば、信号は赤外線ビームの形で送信さ
れる。手持ち装置の縦揺れの変化が、画面カーソルの垂
直方向の動きに変換され、一方装置の偏揺れ変化が画面
カーソルを横方向に移動させる。この実施形態におい
て、装置の垂直または水平の動きを画面カーソルの対応
する垂直または水平運動に変換するように、装置の動き
を検出し利用することができる。
【００１７】上記方法およびシステムの実施上の懸念の
１つは、レンズ設計において曲線ひずみとして知られて
いる現象の影響である。曲線のひずみは、また、ピン−
クッション(pin-cushion)、軸(barrel)および透視(pers
pective)ひずみとも呼ばれる。場の外周部において、直
線細部がそのようなひずみによって圧縮される。曲線の
ひずみは、（本発明での使用を考慮しているレンズのよ
うな）広い視界を持つ単体レンズにおいて特に顕著であ
る。本発明において、視界は好ましくは約６４°である
ので、曲線のひずみの発生は避けがたい。
【００１８】好ましい実施形態において、アレイの光セ
ンサの寸法仕様は、曲線すなわち弓形の外周を持つアレ
イを定義するため可変的である。曲線のアレイの寸法
は、レンズ・システムが誘引する曲線のひずみを補正す
るために必要な仕様にされる。光によって作成される像
が曲線のひずみを特性化するように評価され、次に当該
アレイがひずみを相殺するようにその形態を定められ
る。このようにして、光センサ・アレイおよび光の配置
は、曲線のひずみの悪影響をを減少させる。
【００１９】本発明の利点は、信頼性が高くコスト効率
のよい形態で装置姿勢を追跡することができる点にあ
る。アレイを内包する装置が手持ち式装置であるアプリ
ケーションについては、画面カーソルまたは同等機構の
制御は、器用な手さばきを必要とすることなく経済的に
達成される。更に、本装置は、その面を適切な方向に向
けるような操作を必ずしも必要としない。
【００２０】発明の課題を解決するための手段として、
本発明は、装置に光センサの２次元アレイを配置するス
テップ、周囲環境の特性の像を上記光センサ上に投射す
る光学的手段を上記装置に取り付けるステップ、上記２
次元アレイを活用して上記アレイの視界の範囲内で上記
特性の第１の像を取得するステップ、上記第１の像を記
憶するステップ、上記２次元アレイを活用して、上記第
１の像を取得するステップに続く一定時間後に、上記ア
レイの視界の範囲内で、第２の像が上記第１の像と共通
な特性を持つような形態で第２の像の領域の大部分が第
１の像に重ね合うように上記特性の第２の像を取得する
ステップ、上記第１の像と第２の像の相関関係を調べ
て、上記第１の像と第２の像の範囲内の上記共通特性の
位置的相違を検出するステップ、および上記位置的相違
を検出するステップに基づいて、上記第１の像の取得と
上記第２の像の取得の間のインターバルにおける上記装
置の角度方向の変化を示す姿勢信号を形成するステップ
からなる装置の姿勢を追跡する方法を含む。
【００２１】
【発明の実施の形態】図１に示されるように、手持ち式
コントローラ装置１０は、像データを取得し処理するた
めのＩＣパッケージ１２を含む。該パッケージの表面上
に、光センサの２次元アレイ１６および処理回路１８を
備えた光電子集積回路チップ１４が装着される。上記ア
レイおよび処理回路は、像データの連続したフレームを
取得することによって装置の姿勢を追跡することを可能
にするために使用される。このようにして、水平軸２０
に対する角度変位（すなわち縦揺れ）および垂直軸２２
に対する角度変位（すなわち偏揺れ）が決定される。オ
プションとして、装置１０の縦方向軸２４に対する横揺
れを監視することもできる本発明は、主として、例えば
ビデオ・ディスプレイの画面カーソルのような遠隔エレ
メントの制御を行うことに関連して記述される。しかし
ながら、装置に装備された光センサ・アレイによって形
成される像を相関させる手段によって姿勢を追跡するア
プローチは、画面カーソルまたは同等の機能を制御する
以外の分野にも応用されることができる点は理解される
べきであろう。
【００２２】センサ・アレイ１６および処理回路１８
は、アレイの面が外側に向けられる形態で、コントロー
ラ装置１０の前面に取り付けられる。レンズ２６は、図
１に示されるように、アレイおよび回路を露出させるよ
うに部分的に切り出された形をしている。レンズは、Ｉ
Ｃパッケージ１２に取り付けられる低コストのプラスチ
ック・レンズでよい。レンズの焦点は公称上無限に設定
される。レンズは周囲の環境領域にある像をセンサ・ア
レイ１６に送る。姿勢を追跡するため環境内の多数の像
の特性を捕捉し姿勢追跡のためにそれらを使用すること
ができるので、短焦点距離レンズが望ましい。像品質要
求はさほど厳しくなく、従って光学的構成に対する要求
は緊要でない。実際には、像の空間周波数がアレイ・エ
レメントのサイズより粗くなるように、若干のボケが望
ましい。
【００２３】環境の像を作成するための視界の幅は、可
能な限り視認可能な詳細を捕捉する要求と過度のひずみ
を回避する要求をバランスさせる問題である。６４°の
視界は上記２つの要求の合理的な妥協を図るものであ
る。図１の点線２８はセンサ・アレイ１６に関する視界
を表す。本発明の姿勢追跡アプローチに対する曲線ひず
みの悪影響を減少させるように、光学部品およびセンサ
・アレイの配置を選択することが可能である。光学部品
およびセンサ・アレイの配置の詳細は後述される。
【００２４】コントローラ装置１０の上面に、カーソル
制御キー３０およびリターン・キー３２が備えられる。
操作の際、ビデオ・ディスプレイの画面カーソルは、制
御キー３０を押すことによって捕捉できる。制御キーが
押された場合、装置１０の角度変位がディスプレイ画面
上のカーソルの動きに変換される。例えば、対話型テレ
ビ・システムによって提示された映画のメニューから特
定の映画を選択する際、キー３０を押し、本装置を左右
上下に揺らすことによって、画面のカーソルが所望の映
画にドラッグされる。次に、画面カーソルの制御をやめ
るため制御キー３０が解かれる。カーソルが所望のメニ
ュー選択を示している場合、リターン・キー３２を押す
ことによって選択が起動される。代替形態として、コン
ピュータ・マウスの操作に類似した単一の選択キーを使
用して、連続的カーソル制御を可能にすることもでき
る。
【００２５】遠隔通信は、エミッタ３４を介して赤外線
を用いた伝送によって提供される。赤外線の放射は当業
界において周知のものである。カーソル制御のため、信
号ベクトルが生成され送信される。ベクトルは、データ
・バイトをより短くすることによって赤外線通信チャネ
ルの負荷を減らすため、増分値として送られる。ベクト
ルの伝送率は、必要なカーソル応答を達成するために十
分な速さでなければならないが、赤外線接続経路の限定
的帯域幅の負担を制御されるセットに負わせる程速くな
くてもよい。詳細は後述するが、本発明の１つの実施形
態において、必要に応じて、４０ｍｓ(ミリ秒)毎に発信
される１０ビット・ワードが伝送される。キー３０およ
び３２のいずれも押されない場合伝送は発生しない。こ
れは、カーソルに関連しない事象の間赤外線エミッタを
他の機能のため使用することを可能にする。このよう
に、コントローラ装置１０は、テレビ・チャンネルの変
更のような他の事象を制御するキーを含むこともでき
る。
【００２６】次に図１および図２を用いて説明すれば、
制御クロック３６は、コントローラ装置１０に関する動
作のタイミングを決定する。像捕捉率は、作像されるべ
き特性によって、少くとも部分的に決定される。視界２
８がＩＴＶシステムの操作にたずさわる人のリビング・
ルームである場合、像捕捉率は、像データが連続した像
の間の相関を可能にする程十分明瞭であることを保証で
きる十分な速さでなければならない。図２の回路は、５
μｓの最小露出および５ｍｓの最大露出を示す露出制御
３８を含む。電子的には、「露出時間」は、個々の光セ
ンサによって生成される電荷を連続的に像を捕捉する間
の５ｍｓ間に積分することができるインターバルであ
る。露出制御は手動で調節できるが、自動利得制御を確
立するため像相関器回路４２からのフィードバック・ラ
イン４０を設けることが望ましい。従って、像データが
相関処理を実行するため整合性を保ちながら大きくなり
すぎた場合でも、露出制御３８が光センサによる電荷を
積分するためインターバルを増加させる。
【００２７】上述のように、視界２８は約６４°である
ように考慮される。３２×３２光センサからなるセンサ
・アレイにおいて、１つのピクセルは、約２°の視界
(６４°／３２ピクセル）を持つ。以下に記述の好まし
い実施形態において、相関は最隣接ピクセル・セルに限
定される。これによって、コントローラ装置１２の動き
に関する最大速度が規定される。好ましい実施形態にお
いて、最大速度は、連続的像捕捉の間で１ピクセル長を
越えてはならない。像データの１フレームが、相関器４
２において５ｍｓ毎に取得されるべきであれば、最大速
度は、秒当たり２００ピクセルである。各ピクセルの視
界は２°であるので、最大速度は毎秒４００°である。
【００２８】相関器４２の動作の詳細は後述される。相
関器の基本機能は、像データの最初のフレームにおける
ピクセル値の配置を後続のフレームの同様の配置の位置
と比較することである。センサ・アレイ１６は、３２×
３２ピクセル値のフレームを取得するために使用され
る。最初に取得されるフレームは基準フレームと呼ばれ
る。最初の基準フレームは、図１におけるカーソル制御
キー３０の押し下げとともに取得される。引き続き取得
されるピクセル値フレームは、標本フレームと呼ばれ、
基準フレームと比較してコントローラ装置１０の姿勢の
変化を検出する。次に、新しい基準フレームが取得され
る。それぞれの相関計算の後、基準フレームを標本フレ
ームと入れ替えることも可能である。代替的形態とし
て、しきい値に達する毎に基準フレームを標本フレーム
と入れ替えてもよい。この場合、しきい値は、しきい時
間でも、装置の動きに基づくしきい値でもよい。
【００２９】相関の詳細は後述されるが、概念的には、
相関プロセスは、位置的に２次元基準フレームを固定し
て、２次元標本フレームを基準フレームの上で透過的に
種々の位置でシフトさせて２つのフレームの共通特性の
配置を検出するステップと見なされる。上記の概略プロ
セスは、図５に示される通りであり、図６に示されるピ
クセル・セルのようなセル・アレイによってその計算が
実行される。
【００３０】相関処理は、コントローラ装置１０の角度
方向のいかなる変化をも示す姿勢信号を生成する。図２
に示されるように、相関器４２は、Ｘ軸に沿った変化が
＋０.７５ピクセルで一方Ｙ軸に沿った変化が−０.３１
ピクセルである信号を生成する。図１において、Ｘ軸に
沿った正の運動は、視界２８が矢印４４の方向に動かさ
れるような装置１０の角度変位の結果として示され、一
方、Ｘ軸に沿った負の運動は、視界２８の変位成分が矢
印４６によって示される方向にある場合のものである。
Ｙ軸に関しては、姿勢信号の正の値が視界を矢印４８に
よって示される方向に回転させる装置１０の取り扱いを
示し、一方、ΔＹの負の値が矢印５０によって示される
方向への変位を示す。
【００３１】相関器４２の動作に関する好ましいアプロ
ーチは、コントローラ装置の姿勢変化を追跡するため最
隣接ピクセルのシフトを実行するものである。このアプ
ローチは図４、図５および図６を参照して詳述される
が、姿勢追跡は、代替的に、１ピクセルを越えるシフト
を必要とする相関を使用して実施することも可能であ
る。いずれのアプローチでも、端数のピクセル値を識別
するため補間計算を実行することができる。そのような
像相関の補間計算は当業者には理解されるものであろ
う。
【００３２】相関器４２からの出力は、カーソル制御の
感度を増加させる乗算器５２で受け取られる。図２の実
施形態において、乗算器は相関器からのΔＸおよびΔＹ
値を２倍にする。次に、信号はアキュムレータ５４へ導
かれる。「８による除算」回路５６がアキュムレータ５
４の動作を指示する。アキュムレータがモジュロ関数回
路５８へ標本を出力する前に、８個の標本が乗算器５２
から受け取られる。モジュロ回路の出力は、乗算器５２
からの８個の標本の累積の整数部分である。上述のよう
に、コントローラ装置は、赤外線エミッタ３４という手
段によってカーソル制御信号を伝送する。赤外線伝送経
路は、制限されたバンド幅を持つ。アキュムレータ５４
の使用は、通信経路に関する要求を減少させる。
【００３３】図２のアキュムレータ５４から出力される
標本の例は、ΔＸ＝＋１５.２ピクセルおよびΔＹ＝−
３.３ピクセルである。モジュロ回路５８は、パルス符
号変調装置６０に整数のみを渡す。ΔＸおよびΔＹ値の
各々は５ビット範囲内に収納され、その４ビットは数値
に関連し、残りはその数値の正負符号を表す。
【００３４】モジュロ回路５８から変調装置６０へ出力
される値は整数値であるが、アキュムレータ５４からの
標本の剰余値は残余回路６２へ導かれる。余剰値は残余
回路に保存され、アキュムレータからの後続の値に加算
される。
【００３５】コンポーネントの残りの構成は、当業者に
周知のものである。１０ビット・ワードがパルス符号変
調器６０から増幅器６４へ４０ｍｓ毎に出力される。こ
のように、エミッタ３４からの赤外線伝送は毎秒２５ワ
ードにすぎない。赤外線送信は、ＲＩＶＳのようなディ
スプレイ・システムのセンサ６６によって受け取られ
る。赤外線センサ６６からの信号は、復調器６８によっ
て復号され、ビデオ画面７２のカーソルを取り扱うため
カーソル制御回路７０に送られる。単に例示の目的のた
めであるが、画面は６４×６４カーソル・アドレスを持
ち、画面カーソルは、毎秒１５×２５＝３７５のアドレ
ス状態を動くことができる。図１の視界２８が６４°で
ある上述の例において、画面は０.１７秒（６４／３７
５）で横切られる。
【００３６】図２のコンポーネントの配置および相互作
用によって、図１のコントローラ装置１０の姿勢の追跡
に基づくカーソル制御が可能となる。コントローラは、
装置が存在する環境の像の明白な運動を追跡することに
よって、装置の揺れを符号化する。エミッタ３４とセン
サ６６の間の赤外線伝送経路を確立するため以外には、
コントローラが１つの方向を指し示すようにさせる必要
はない。相関器４２については例外であるかもしれない
が、図２の個々のコンポーネントは、当業者に容易に理
解されるものであるから、詳細の説明は必要とされな
い。相関器４２の好ましい実施形態は以下に記述され
る。２次元センサ・アレイ１６および光学機構２６の好
ましい構成もまた以下に記述される。
【００３７】光センサ信号の列伝送 上述のように、図１および図２のの実施形態は、３２列
および３２行のセンサ・アレイ１６を含む。図３には、
３２列の光センサの中の５列７４、７５、７６、７７お
よびと７８が示されている。また、３２行のうちの６行
７９、８０、８１、８２、８３および８４も示されてい
る(各光センサは図３においてＰ.Ｅ.と表示されてい
る)。各列は別々の伝送増幅器８５に接続している。あ
る列の光センサは、読み取りスイッチ８６を閉じるため
対応する伝送増幅器に接続される。図３の回路の動作に
おいて、２つの光センサが同時に同一伝送増幅器に接続
されることはない。各伝送増幅器８５は、固定電圧源に
接続される入力８７を含む。第２の入力８８は、伝送コ
ンデンサ８９によって伝送増幅器の出力９０に接続され
る。
【００３８】図３の回路の動作において、各伝送コンデ
ンサ８９が第１行において光センサにおける光エネルギ
ーに対応する電荷を受け取るように、光センサの第１行
７９の読み取りスイッチ８６が閉じられる。このよう
に、伝送増幅器８５および伝送コンデンサ８９は積分器
としての役目を果たす。受け取られた電荷は、出力ライ
ン９０を通して次の処理回路へ伝送される。第１行の読
出しに続いて、第１行の読み取りスイッチが開かれ、伝
送増幅器がリセットされる。次に、第２行８０の読み取
りスイッチが、第２行の光センサから信号を伝送するた
め、閉じられる。光センサの各行が読み取られるまでプ
ロセスは繰り返される。伝送増幅器８５の動作によっ
て、光センサ信号は、行から行へという形態で後続の回
路へ伝送される。
【００３９】相関プロセス 図４は、装置の姿勢追跡のために相関処理を実行する手
順を示している。要約すれば、相関は、連続フレームに
おける作像された特性の位置を比較して、時間間隔の間
におけるフレーム間角度方向の変化に関連した情報を作
成する。最初のステップ２００で、基準フレームが取得
される。上述のように、基準フレームの取得は、図１の
装置１０の上面のカーソル制御キー３０の押し下げによ
って始動される。光センサからの信号の行毎の伝送は、
アレイ１６における光センサの各々が読み取られるまで
続く。基準フレームは、１,０２４個の（すなわち３２
×３２＝１,０２４の）ピクセル値からなるフレームで
ある。
【００４０】コントローラ装置１０の姿勢追跡はコンピ
ュータによる計算によって実行されるが、相関処理の概
念は図４および図５を参照して説明することができる。
基準フレーム２０２は、図示されているように例えばＴ
形特性２０４の像を持つ。像の特性は、ＩＴＶシステム
を操作している人の部屋の窓であることもある。一定時
間(ｄｔ)経過後、図１ないし図３のセンサ・アレイを使
用して、図５に示されるように、標本フレーム２０６が
取得される。標本フレームの取得の際のコントローラ装
置の視界２８の大部分は、基準フレーム２０２取得時点
の視界と重ね合う。この結果、（例えば窓のような）作
像された特性２０４は、両方のフレームの範囲内に含ま
れる。装置の動きの持続時間ｄｔと速度は、共通の特性
２０４が基準フレームから標本フレームへピクセル１個
未満移動する程度であることが望ましい。図５におい
て、特性は上方および右方へ１ピクセル分シフトしたよ
うに示されている。１ピクセル分のシフトは表示を単純
化するためにのみ仮定されている。
【００４１】図４において、基準フレーム取得ステップ
２００の後、ステップ２０８で標本フレームが取得され
る。次に、計算ステップ２１０が実行される。相関ステ
ップは、標本フレーム２０４および２つの最隣接ピクセ
ル・セルのピクセル値の配置をシフトさせる動作であ
る。シフト動作は、図５の２１２にその構成ピクセルが
示されている８個の最隣接ピクセル・セルの各々につい
て実行される。
【００４２】図５の２１２を参照して説明すれば、ステ
ップ「０」は、標本フレーム２０６におけるピクセル値
のシフトを含まず、ステップ「１」は、上方および左方
への斜めのシフトでり、ステップ「２」は、標本フレー
ムの上方へのシフトであり、その他も同様である。２１
２の構成ピクセルで表現される基準フレームの８個のシ
フトは１度に発生するが、すべてのピクセル値のシフト
は統一した様態をしている。このように、８個のピクセ
ルがシフトした標本フレームが基準フレームと組み合わ
され、複数位置フレームからなるフレーム・アレイ２１
４が作成される。「位置０」と名付けらた位置フレーム
はシフトを含まず、従って、フレーム２０２および２０
６の単なる組合せの結果である。
【００４３】フレーム・アレイ２１４の中では、「位置
７」が最も高い相関関係を持つ。相関の結果に基づい
て、標本フレーム２０６のＴ形特性２０４の位置は、以
前に取得された基準フレーム２０２における同じ特性の
位置に対して上方向および右方向へシフトしていると判
断される。特性の動きは、図１において示されるよう
に、左方向への矢印４４および下方向への矢印５０の動
きによって示されるコントローラ装置１０の揺れの組合
せの結果である。
【００４４】他の相関アプローチも使用することができ
るが、「差の自乗和」相関が許容できるアプローチであ
る。図４および図５の実施形態に関して、それぞれ２１
２からのオフセット値で形成される９つの相関係数(Ｃk
＝ Ｃ0, Ｃ1 ...Ｃ8)がある。
【００４５】相関は、コントローラ装置１０の角度方向
を追跡するため連続的フレーム２０２および２０６の共
通特性２０４の位置を定めるために使用される。フレー
ム毎の角度変位を総和または積分することによって、画
面カーソルを制御するための姿勢信号を生成することが
可能となる。
【００４６】ステップ２０８で取得された標本フレーム
に対して相関ステップ２１０が実行された後、基準フレ
ームを維持すべきか、置き換えるべきかの判断がステッ
プ２１６で行われる。実施形態によっては、基準フレー
ムは置き換えられない。同一の基準フレームが後続の相
関計算のために使用されるべき場合は、プロセスはステ
ップ２０８へ戻り、新しい標本フレームが取得される。
一方、基準フレームの置き換えが行われるアプリケーシ
ョンに関しては、新しい標本フレームを取得するステッ
プ２０８へ戻る前に、ステップ２１８で、以前に取得さ
れた標本フレームを新しい基準フレームとして使用す
る。
【００４７】画面上のカーソルを移動させるプロセスを
通して同一の基準フレームが使用されるべき場合、基準
フレームの取得後共通特性が１ピクセル長を越えて移動
したことを検知したならば基準フレームをシフトさせる
こともできる。このように、基準フレームを装置の揺れ
に伴って動かすこともある。このようなプロセスは、高
い相関的一致を実現するが、基準フレームが定期的に置
き換えられないならば、発生する誤差が累積する。従っ
て、好ましい実施形態では、このような「ランダム移
動」誤差の増殖率に対し制約を設けるため、ステップ２
１８が含まれる。
【００４８】計算型セル 図６は、図５の２１２の最隣接ピクセルのシフトを実行
し、図４の種々のステップを実行するために使用される
個々のピクセル・セルすなわち計算型セル９４を示すブ
ロック図である。しかし、当業者によって理解されるよ
うに、図４および図５に示される処理を実行するため他
の回路を使用することは可能である。
【００４９】図６中の計算型セル９４は、計算型セル・
アレイの中の１つである。計算型セルと光センサの１対
１の対応関係がある場合、図１ないし図３の実施形態
は、１,０２４の計算型セルを持つ。基準フレームに関
して、特定のセル９４に対応する光センサからのピクセ
ル値がＲＥＦＤＡＴＡノード１４８に記憶され、一方、
標本フレームのピクセル値はＮＮ(０)ノード１０８に記
憶される。自乗差回路１４６のＮＮＩＮＰＵＴ入力１５
０への信号接続を変更することによって、図５のフレー
ム・アレイ２１４を形成するためにシフトされた標本フ
レームが作成される。回路１４６の出力１５２は、コン
トローラ装置１０の姿勢を追跡するために他の１,０２
３の計算型セルの出力と組み合わせられる。
【００５０】ＷＲ(ｊ)信号の制御の下で電荷補充トラン
ジスタ・スイッチ９８の手段によって、ライン９６にお
いて計算型セル９４に対応する光センサからイメージ・
データＷＤＡＴＡ(ｉ)が受け取られる。ＷＲ(ｊ)信号が
オフにされた後、新しいデータがコンデンサ１００に保
持され、増幅器１０２によってバッファリングされる。
１,０２４の計算型セルのアレイ全体において、ＣＤＡ
ＴＡノード１０４のアレイは、プロセスのタイミングに
従って、集合的に「基準フレーム」または「標本フレー
ム」と見なされる。制御入力ＣＤＯＵＴ１０６は、ＣＤ
ＡＴＡ信号、比較データを選択するか、または、最隣接
出力ノードＮＮ(０)１０８のためにＲＥＦＯＵＴを選択
する。
【００５１】最隣接入力ＮＮ(０)ないしＮＮ(８) １１
０、１１２、１１４、１１６、１１８、１２０、１２
２、１２４および１２６は、ライン１２８上のスイッチ
制御信号Ｓ(０)ないしＳ(８)によって、別々に選択され
る。ＮＮ(０)ないしＮＮ(８)入力１１０−１２６は、図
５のデータ・セル・マップ２１２に従う最隣接セルの出
力である。スイッチ制御信号は、図示されていないが、
計算型アレイの外部にある４−９符号化器によって生成
される。符号化器への４ビット入力が最隣接アドレスと
して解釈され、００００(０)から１０００(８)までのバ
イナリ値を形成する。
【００５２】最隣接入力(ＮＮＩＮＰＵＴ)ノード１３０
は、ＲＥＦＬＤ１３２をパルス化することによって標本
が採取され、それによって、ノードＲＥＦＨ１３４上に
ＮＮＩＮＰＵＴが記憶される。同様に、ＲＥＦＳＥＴ１
４０をパルス化することによって、ＲＥＦＤＡＴＡ１３
６の標本がとられＲＥＦＳＨ１３８上に記憶される。
【００５３】テストのため、ＲＯＷＴＳＴＢ１４２がオ
ンにされ、ＮＮ(０)信号がＴＥＳＴ出力１４４へ送られ
る。セルのある行において各セルからのてＳＴ信号が、
計算アレイの各列の共通垂直バスへ接続し、アレイの底
部においてマルチプレックスされ、チップから送り出さ
れる。アレイの左辺に沿った標準的復号器が、テストの
ための特定行の選択を可能にする。しかし、テスト機構
は本発明にとって不可欠なものではない。
【００５４】各計算型セル９４は、相関値を決定する回
路１４６を持つ。第１の入力１４８は基準データをＲＥ
ＦＤＡＴＡノード１３６から受け取る。第２の入力１５
０は、ライン１２８においてスイッチ制御信号によって
選択される適切な最隣接入力ＮＮＩＮＰＵＴを提供す
る。相関セルの出力１５２は電流である。計算アレイ中
の相関出力のすべては、追跡回路１５４の単一の総和レ
ジスタに合計される。総和レジスタに対して生成される
電圧は図４の相関値として参照される。
【００５５】図６の実施形態において、回路１４６は、
自乗差計算に基づくものである。セル９４は、アレイの
基本アーキテクチャを修正することなく、製品に対応し
た相関関係を提供するように修正することは可能であ
る。制御入力Ｓ(０)−Ｓ(８)、ＲＥＦＬＤ、ＲＥＦＳＦ
ＴおよびＣＤＯＵＴは、標本フレームが計算型セル・ア
レイの範囲内ですべて同様に取り扱われ、シフトされる
ように、アレイ全体にわたる共通値である。
【００５６】図５の２１４によって表された最隣接マッ
プ間の関係は単一セルおよびアレイ全体に関するもので
あることを理解することは重要である。像の位置０は像
の現在位置を指す。像が位置０から位置１へ移動すると
いうことは、アレイのセルのすべての像データが、左お
よび上にある隣接セへ移動されることを表す。すなわ
ち、動きはアレイの中の１つのセルに関するもので、か
つ、アレイの中のあらゆるセルに関するものである。
【００５７】計算アレイ機能性は、像取得、基準像ロー
ド、相関計算および基準像変換という４つの基本的動作
の観点から説明できる。像取得は、各計算型セル９４の
ＷＤＡＴＡライン９６を経由して新しい像データをロー
ドすることを意味する。本発明の実施形態においては、
５０ｍｓ毎にピクセル値の新しいフレームが、センサ・
アレイから列伝送増幅器を経由して取得される。新しい
基準像をロードするプロセスは、「フレーム転送」と呼
ばれる。後述される計算型アレイの動作は、フレーム転
送信号(ＦＴＢ)を観察しそれと同期化することによって
フレーム転送プロセスと調整される。新しい標本像の妥
当性は、ＦＴＢ信号の下降エッジによって示される。下
記記述の動作はＦＴＢがオンとなっていない時にのみ適
正である。
【００５８】像相関を計算することができるようになる
前に、ピクセル値の基準フレームをロードすることが必
要である。基準フレームをロードするためには、計算型
アレイのＣＤＡＴＡノード１０４における電圧のすべて
がＲＥＦＨノード１３４へ転送されなければならない。
これは、ＣＤＯＵＴ１０６およびＳ(０)を高レベルに設
定して、ライン１３２上でＲＥＦＬＤ信号をパルス化す
ることによって達成される。基準フレームも、また、Ｓ
(０)の代わりにＳ(１)−Ｓ(８)入力の中の１つをオンに
することによって別の最隣接位置からロードされる。増
幅器１５６は、ＲＥＦＤＡＴＡノード１３６からの信号
をＲＥＦＨノード１３４に対してバッファリングする。
計算型アレイの範囲内のＲＥＦＤＡＴＡノード１３６の
２次元アレイは集合的に基準フレームを意味する。
【００５９】基準フレームがロードされた後、計算型ア
レイは相関を計算する準備ができている。ピクセル値の
基準フレームおよび次の標本フレームの間の相関は、最
隣接アドレスを所望の値にセットし、姿勢追跡回路１５
４の総和レジスタに発生する電圧を記録することによっ
て、計算される。基準フレームが取得された位置から１
ピクセル距離センサ・アレイが移動した時、強い相関が
最隣接位置の１つに検出される。図５において、そのよ
うな相関はアレイ２１４の位置７にあるものとして検出
される。端数ピクセルの動きは、２次元相関空間におい
て補間を行うことによって決定することができる。
【００６０】基準フレーム自体の間の相関はＣＤＯＵＴ
１０６を低レベルに設定し、ＲＥＦＳＦＴ１４０をパル
ス化することによって計算されることができる点注意す
る必要がある。これによって、最隣接入力は標本フレー
ムでなくむしろ基準フレームから行われるようになる。
【００６１】図４のステップ２１８において基準フレー
ムが置き換えられた。しかし、最隣接セルを越えて参照
できることを許容することによって、同一の基準フレー
ムを複数回のピクセルの動きに使用することは可能であ
る。装置の角度方向の変化が視界を１ピクセル以上の距
離シフトさたことを検出すると、基準フレームは、計算
型アレイの範囲内の新しい位置にシフトされる。新しい
位置へのシフトは、装置の角度方向の変化によって指示
される。新しい位置における基準フレームによって、最
隣接相関が、変換された基準フレームと新たに取得され
た標本フレームの間の相関になる。基準フレームのピク
セル値を新しい位置に変換するすることによって、姿勢
追跡の正確度について妥協することなく、セル間連結性
が最低限に維持される。
【００６２】基準フレームの変換は計算型アレイの個々
の計算型セルの範囲内で達成される。図６の計算型セル
９４を参照して説明すれば、最初のステップは、ＲＥＦ
ＳＦＴ１４０を高レベルでパルス化してＲＥＦＳＨ１３
８においてＲＥＦＤＡＴＡ信号１３６を標本採取して保
持する。第３のバッファ増幅器１５８がＲＥＦＳＨ信号
を用いてＲＥＦＯＵＴ１６０を駆動する。ＣＤＯＵＴ１
０６は低レベルに駆動され、そのためＲＥＦＯＵＴ１６
０がＮＮ(０)ノード１０８において計算型セル９４の出
力となることができる。
【００６３】次に、最隣接アドレスが、スイッチ制御信
号ライン１２８から適切なＳ(０)−Ｓ(８)入力を選択す
るように設定される。例えば、図５のＴ形特性２０４
が、基準フレーム２０２が取得された時点から標本フレ
ーム２０６が取得される時間までに右および上方へ移動
したことが検出されると、基準フレームを構成するピク
セル値が、セルからセルへ右および上方へシフトされな
ければならない。Ｓ(０)−Ｓ(８)信号がセル入力ＮＮＩ
ＮＰＵＴ１３０のアドレスを切り換えるので、図５の２
１２の中の位置０から位置７へピクセル値が移動するこ
とが可能となるように、Ｓ(７)は高レベルにされなけれ
ばならない。このことは計算型アレイの各計算型セルに
おいて起こる。ＲＥＦＯＵＴ１６０が該当する隣接セル
のＮＮＩＮＰＵＴ１３０上に定まると、ＲＥＦＬＤ１３
２が高レベルにされ、変換された基準値がＲＥＦＨ１３
４において標本採取され保持される。この動作がアレイ
の計算型セルの各々において発生した後、計算型アレイ
は再び相関を計算する準備ができる。
【００６４】センサ／光学部品配置 本発明のもう一つの側面は、レンズ設計技術において周
知の「曲線のひずみ」の悪影響を減少させる機器の配置
である。このひずみは、ピンクッション、軸および透視
ひずみとも呼ばれる。ひずみは、視界の外周において直
線の細部を圧縮する。
【００６５】曲線のひずみは、視界の広い単体レンズに
ついて顕著である。図１のレンズ２６はそのようなレン
ズである。ひずみのために特性の明白な形状が視界を横
切って特性偏流として変化するので、ひずみは問題であ
る。特性の明白な形状の変化は、図４ないし図６を参照
して記述した相関プロセスに悪影響を及ぼす。
【００６６】図７は、ひずみのない光学部品で３２×３
２ピクセル・アレイ２２０上へ作像されたＴ形特性の像
を示す。そのような光学部品を使用すれば、特性の形状
は、アレイ全体にわたって変化せず、従って、高品質の
相関および揺れの追跡が可能とされる。
【００６７】一方、図８は、単体レンズを使用してピク
セル・アレイ２２２上へ作像された同一特性を示す。特
性がレンズの光軸から離れる程ひずみが増加することが
観察される。図９は、図５の相関処理を実行するため特
性が計算型アレイによって解読される場合の型はめ形態
を示す。図９のアレイ２２４の各ピクセルは、図６で示
されたような計算型セル９４の１つを表す。明らかに、
計算型アレイの範囲内で位置を変える毎に、特性の形状
が変わる。これは、相関の品質および装置姿勢の追跡の
正確度を減らす。同様に、特性の動きが位置とともに変
わり、更に装置姿勢の追跡の正確性を低下させる。例え
ば、軸をはづれた大きな動きの細部は、同一の動きが軸
上で起きた場合より少ない動きとして測定されるであろ
う。その結果、システムの姿勢追跡の正確性は低下す
る。悪影響は、多数のピクセルにわたって基準像を適用
しないことによって少なくすることはできるかもしれな
いが、基準フレームを一層頻繁に「ゼロにする」オプシ
ョンによって、増分誤差の数が増加し、追跡の不正確性
が増す。
【００６８】図１０には、レンズのひずみに合致するよ
うに構成された光センサの２次元アレイ２２６が示され
ている。すなわち、曲線のひずみの誘引に関するレンズ
・システムの特徴が判断され、アレイはひずみを補正す
るように構成されている。図１０において、３つの異な
る位置のＴ形特性が曲線アレイに投影されている。特性
の像はなお歪んでいるが、ひずみによって像はピクセル
内にうまくおさまっていることが認められる。このよう
に、各特性は、計算型アレイ・レベルで直線をなすよう
に見える。すなわち、図１０で示されるように、隅の像
２２８はセンサ・レベルで歪んでいるが、図１１の計算
型アレイにおいて、その隅の像２３０はひずみのない
「Ｔ」として認識される。
【００６９】以下に光センサ・アレイ要素の曲線様態を
確認する方法を記述する。概念的には、その方法は、直
線の（曲線ではない）セルの３２×３２アレイを（１平
方フィートの大きさに）拡大投射することから始まる。
次に、選択したレンズを使用してこのアレイの像を作成
する。この小さく曲線的像はレンズのひずみを捕捉し、
理想的なアレイ次元を求めるための合理的な近似を表
す。このプロセスによって、どのような視界を持つレン
ズを用いても正確に作像を行うことができ、位置航法の
ような多くの応用分野に適用される。しかし、本発明の
ポインティング・デバイスの分野では、距離でなく角度
を変換することが目的である。狭い視界のレンズの場
合、光軸から離れて動くほど、角度は一層圧縮される傾
向がある。
【００７０】球形のセグメントが前述の平らなアレイの
代わりに使用されるように設計を変更することによっ
て、この望ましくない角度圧縮は避けられる。球形のセ
グメントの中心は、ほぼレンズの鼻の位置に重ね合わさ
れる。セグメントは、緯度および経度共に２度の間隔で
線引きされる。球形セグメント上に形成された各セグメ
ントは、作像され変換されると、アレイ・セルの輪郭で
あるとみなされる。曲線アレイを生成するこの方法は、
実際、コンピュータによる放射線追跡を使用して最もう
まく実施される。多数の市販の光学設計プログラムが当
業者にとって利用可能でありまたよく知られている。
【００７１】曲線アレイの利点の１つは、像がセンサ・
アレイの軸からどれほど離れているかに関係なく、それ
が一層正確な自己相関を提供する点である。第２の利点
は、距離が正しいもので圧縮されてないため、像がセン
サ・アレイ上で投影された位置に関係なく、大幅な動き
に対する姿勢追跡が正確である点である。曲線のアレイ
の利点のそれぞれが正確な追跡に貢献する。相関がより
強くしかもノイズが少ないため、各移動セグメントの終
端点を測定する正確性は一層高い。更に、より長いセグ
メントにおいて像を追跡することができるので、基準フ
レームをゼロにする頻度が減らされ、累積される再ゼロ
化誤差が少なくなる。最後に、曲線アレイは軸外れの移
動を圧縮しないので、距離測定の正確性も増加する。
【００７２】本発明には、例として次のような実施様態
が含まれる。 （１）装置の姿勢を追跡する方法であって、上記装置に
光センサの２次元アレイを配置するステップと、周囲環
境の特性の像を上記光センサ上に投射する光学的手段を
上記装置に取り付けるステップと、上記２次元アレイを
活用して上記アレイの視界の範囲内で上記特性の第１の
像を取得するステップと、上記第１の像を記憶するステ
ップと、上記２次元アレイを活用して、上記第１の像を
取得するステップに続く一定時間後に、上記アレイの視
界の範囲内で、第２の像が上記第１の像と共通な特性を
持つような形態で第２の像の領域の大部分が第１の像に
重ね合うように上記特性の第２の像を取得するステップ
と、上記第１の像と第２の像の相関関係を調べて、上記
第１の像と第２の像の範囲内の上記共通特性の位置的相
違を検出するステップと、上記位置的相違を検出するス
テップに基づいて、上記第１の像の取得と上記第２の像
の取得の間のインターバルにおける上記装置の角度方向
の変化を示す姿勢信号を形成するステップと、を含む装
置姿勢追跡方法。 （２）上記姿勢信号に応答して、表示画面上のカーソル
位置を制御するステップを更に含む、上記（１）に記載
の装置姿勢追跡方法。 （３）上記カーソル位置を制御するステップが、上記装
置から遠隔受信機へ無線形態で上記姿勢信号を伝送する
ことを含む、上記（２）に記載の装置姿勢追跡方法。 （４）光センサの２次元アレイを配置する上記ステップ
が、手持ち式部材に上記アレイを取り付けるステップで
ある、上記（１）に記載の装置姿勢追跡方法。 （５）上記第１の像を取得するステップが、角度方向の
上記変化を決定するため一連の標本フレームと比較を行
う基準フレームを規定するステップを含む、上記（１）
に記載の装置姿勢追跡方法。 （６）上記光センサの焦点が公称上無限である、上記
（１）に記載の装置姿勢追跡方法。 （７）上記第１の像を取得するステップおよび第２の像
を取得するステップが、上記表示画面が存在する環境領
域の像のデータを形成するステップである、上記（３）
に記載の装置姿勢追跡方法。 （８）定期的に標本像を取得し、各標本像を既に取得し
た像に相関させ、上記標本像の範囲内の共通特性の位置
的相違を検出するステップを更に含む、上記（７）に記
載の装置姿勢追跡方法。
【００７３】（９）姿勢を追跡するシステムであって、
格納装置と、特性の像を形成するため上記格納装置に配
置された光センサの２次元アレイと、各々が特定の時間
に特定の光センサにおいて受け取られる光エネルギーを
示す複数ピクセル値からなる基準フレームを記憶するた
め、上記アレイに接続された記憶手段と、上記アレイお
よび上記記憶手段に接続され、上記特定時間の後に上記
アレイにおいて受け取られる光エネルギーに応答して、
上記基準フレームの上記ピクセル値の配置を少なくとも
１つの標本フレームのピクセル値と相関させる相関手段
と、上記相関手段による相関関係の検出に応答して、上
記基準フレームの上記ピクセル値に対する上記少くとも
１つの標本フレームのピクセル値の上下左右の揺れすな
わち上記収納装置の上下左右の揺れを表す姿勢信号を生
成する計算手段と、を備える姿勢追跡システム。 （１０）上記収納装置が手持ち式である、上記（９）に
記載の姿勢追跡システム。 （１１）ビデオ・ディスプレイと、上記ビデオ・ディス
プレイのカーソルを取り扱うカーソル制御信号を形成す
るため上記姿勢信号を受け取る復調器手段と、を更に備
える上記（１０）に記載の姿勢追跡システム。 （１２）上記カーソル制御信号を上記ビデオ・ディスプ
レイに無線送信する送信手段を更に備える、上記（１
１）に記載の姿勢追跡システム。 （１３）公称無限の焦点距離を持つ光学手段を備え、上
記光学手段によって誘引されるひずみを補正するために
選択される曲線を持った弓形稜線を上記アレイが持つ、
上記（９）に記載の姿勢追跡システム。
【００７４】（１４）ビデオ・ディスプレイのカーソル
の動きを制御する方法であって、光センサの２次元アレ
イを持つ手持ち式装置を準備するステップと、上記装置
が存在する環境領域に対する上記装置の動きを追跡する
ステップと、を含み、装置の動きを追跡する上記ステッ
プが、大部分が重ね合う上記アレイの視界の複数の像を
定期的に形成するサブステップと、第１の像を基準像と
して記憶するサブステップと、連続した像の範囲内の上
記領域の特性の位置的変化が計算上認識されるように上
記複数の像を相関させるサブステップと、上記位置的変
化の認識に対応するカーソル制御信号を形成するサブス
テップと、上記カーソル制御信号を上記ビデオ・ディス
プレイに送信するサブステップとを含む、方法。 （１５）相関させる上記サブステップが、上記手持ち式
装置の上下左右の揺れを示す姿勢信号を形成することを
含む、上記（１４）に記載の方法。 （１６）上記カーソル制御信号を送信するサブステップ
が、上記信号を無線形式で上記ビデオ・ディスプレイに
送信することを含む、上記（１４）に記載の方法。
【００７５】（１７）センサおよび光学機器の配置機構
であって、光センサのアレイと、上記アレイによって像
を作成するために必要な焦点を提供するレンズ・システ
ムとを備え、上記レンズ・システムが上記アレイに像の
曲線的ひずみを誘引する特徴を持ち、上記アレイが、上
記曲線のひずみの補正を行うため、弓形稜線を含む形状
を持つ、配置機構。 （１８）上記光センサが、複数の行および複数の列に配
置され、上記光センサが上記アレイに関する光軸を規定
するように組み合わされ、隣接列が弓形境界によって間
隔をあけられ、上記光軸から離れるほど上記弓形境界の
曲率半径が増大する、上記（１７）に記載の配置機構。 （１９）隣接行が第２の弓形境界によって間隔をあけら
れ、上記光軸から離れるほど上記第２の弓形境界の曲率
半径が増大する、上記（１８）に記載の配置機構。
【００７６】
【発明の効果】本発明は、装置の姿勢を高い信頼度を持
って追跡するシステムおよび方法を実現し、また、特に
画面カーソルを制御するアプリケーションまたはその他
の遠隔対話式映像アプリケーションにおいて、コスト効
率のすぐれた装置姿勢追跡システムおよび方法を利用で
きるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に従って装置の姿勢追跡を可能にする手
持ち式装置の透視図である。
【図２】本発明に従って画面カーソルを制御するコンポ
ーネントのブロック図である。
【図３】光センサ・アレイおよび図２の相関器の伝送増
幅器のブロック図である。
【図４】本発明に従って連続した像を相関させるプロセ
スの流れ図である。
【図５】図４のプロセスの概念図である。
【図６】図４のプロセスを実行するためのセル・アレイ
の計算型セルの実施形態を示すブロック図である。
【図７】曲面ひずみを処理する光センサおよび計算型セ
ルのアレイを示す図である。
【図８】曲面ひずみを処理する光センサおよび計算型セ
ルのアレイを示す図である。
【図９】曲面ひずみを処理する光センサおよび計算型セ
ルのアレイを示す図である。
【図１０】曲面ひずみを処理する光センサおよび計算型
セルのアレイを示す図である。
【図１１】曲面ひずみを処理する光センサおよび計算型
セルのアレイを示す図である。
【符号の説明】
１０ 手持ち式コントローラ装置 １２ ＩＣパッケージ１２ １４ 光電子集積回路チップ １６ 光センサの２次元アレイ １８ 処理回路 ２０ 水平軸 ２２ 垂直軸 ２４ 縦方向軸 ２６ レンズ ２８ 視界 ３０ カーソル制御キー ３２ リターン・キー ３４ エミッタ ３６ 制御クロック ３８ 露出制御回路 ４２ 相関器 ５２ 乗算器 ５４ アキュムレータ ５６ 除算器 ５８ モジュロ回路 ６０ パルス符号変調器 ６４ 増幅器 ６６ 赤外線センサ ６８ 復調器 ７０ カーソル制御回路 ７２ 表示画面 ７４、７５、７６、７７、７８ 光センサ列 ７９、８０、８１、８２、８３、８４ 光センサ行 ８５ 伝送増幅器 ８６ 読み取りスイッチ ８７、８８ 入力 ８９ 伝送コンデンサ ９０ 出力 ９８ 電荷補充トランジスタ・スイッチ １００ コンデンサ １０２、１５６、１５８ 増幅器 １４６ 相関値決定回路 １５４ 追跡回路 ２０２ 基準フレーム ２０４ Ｔ型特性 ２０６ 標本フレーム ２１２ 位置０から位置７ ２１４ 最隣接位置 ２２０、２２２、２２４、２２６、２３２ ２次元ピ
クセル・アレイ ２２８、２３０ 隅のＴ型特性

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】装置の姿勢を追跡する方法であって、 上記装置に光センサの２次元アレイを配置するステップ
    と、 周囲環境の特性の像を上記光センサ上に投射する光学的
    手段を上記装置に取り付けるステップと、 上記２次元アレイを活用して上記アレイの視界の範囲内
    で上記特性の第１の像を取得するステップと、 上記第１の像を記憶するステップと、 上記２次元アレイを活用して、上記第１の像を取得する
    ステップに続く一定時間後に、上記アレイの視界の範囲
    内で、第２の像が上記第１の像と共通な特性を持つよう
    な形態で第２の像の領域の大部分が第１の像に重ね合う
    ように上記特性の第２の像を取得するステップと、 上記第１の像と第２の像の相関関係を調べて、上記第１
    の像と第２の像の範囲内の上記共通特性の位置的相違を
    検出するステップと、 上記位置的相違を検出するステップに基づいて、上記第
    １の像の取得と上記第２の像の取得の間のインターバル
    における上記装置の角度方向の変化を示す姿勢信号を形
    成するステップと、 を含む装置姿勢追跡方法。
JP26445496A 1995-10-06 1996-10-04 装置姿勢追跡方法 Expired - Fee Related JP3958390B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/540,355 US5786804A (en) 1995-10-06 1995-10-06 Method and system for tracking attitude
US540,355 1995-10-06

Publications (2)

Publication Number Publication Date
JPH09134250A true JPH09134250A (ja) 1997-05-20
JP3958390B2 JP3958390B2 (ja) 2007-08-15

Family

ID=24155098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26445496A Expired - Fee Related JP3958390B2 (ja) 1995-10-06 1996-10-04 装置姿勢追跡方法

Country Status (4)

Country Link
US (5) US5786804A (ja)
EP (1) EP0767443B1 (ja)
JP (1) JP3958390B2 (ja)
DE (1) DE69620531T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377241B1 (en) 1999-01-21 2002-04-23 Mitsubishi Denki Kabushiki Kaisha Direction instructing apparatus direction estimating apparatus and a computer-readable storage medium containing a program for the same stored thereon
US6411278B1 (en) 1999-03-19 2002-06-25 Mitsubishi Denki Kabushiki Kaisha Coordinated position control system, coordinate position control method, and computer-readable storage medium containing a computer program for coordinate position controlling recorded thereon
EP1950957A2 (en) 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8760522B2 (en) * 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method

Families Citing this family (302)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7387253B1 (en) * 1996-09-03 2008-06-17 Hand Held Products, Inc. Optical reader system comprising local host processor and optical reader
US6950094B2 (en) * 1998-03-30 2005-09-27 Agilent Technologies, Inc Seeing eye mouse for a computer system
US5786804A (en) * 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US6104380A (en) * 1997-04-14 2000-08-15 Ricoh Company, Ltd. Direct pointing apparatus for digital displays
US6256016B1 (en) 1997-06-05 2001-07-03 Logitech, Inc. Optical detection system, device, and method utilizing optical matching
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US6618078B1 (en) * 1998-04-17 2003-09-09 Hewlett-Packard Development Company, L.P. Digital camera capable of printing captured images in various sizes
US5994710A (en) * 1998-04-30 1999-11-30 Hewlett-Packard Company Scanning mouse for a computer system
US6906699B1 (en) * 1998-04-30 2005-06-14 C Technologies Ab Input unit, method for using the same and input system
JP3841132B2 (ja) * 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
AU6040999A (en) * 1998-09-14 2000-04-03 Microsoft Corporation Input device with forward/backward control
US7002552B1 (en) * 1999-04-06 2006-02-21 Microsoft Corporation Computer input device with digit support and natural position actuators
EP1005156A1 (en) * 1998-11-26 2000-05-31 STMicroelectronics S.r.l. Wireless pointing device for remote cursor control
DE60043417D1 (de) 1999-03-31 2010-01-14 Koninkl Philips Electronics Nv Fernsteuerungsanordnung für eine anzeigevorrichtung
WO2001003296A1 (de) * 1999-07-02 2001-01-11 Vlg Virtual Laser Systems Gmbh Interaktives steuer- und eingabesystem für elektronische geräte
JP2001091218A (ja) * 1999-09-14 2001-04-06 Mitsubishi Electric Inf Technol Center America Inc ３次元運動検知装置及び３次元運動検知方法
US6455840B1 (en) 1999-10-28 2002-09-24 Hewlett-Packard Company Predictive and pulsed illumination of a surface in a micro-texture navigation technique
US7187412B1 (en) 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US6563101B1 (en) * 2000-01-19 2003-05-13 Barclay J. Tullis Non-rectilinear sensor arrays for tracking an image
US6536907B1 (en) * 2000-02-08 2003-03-25 Hewlett-Packard Development Company, L.P. Aberration compensation in image projection displays
US6618038B1 (en) 2000-06-02 2003-09-09 Hewlett-Packard Development Company, Lp. Pointing device having rotational sensing mechanisms
GB2364226A (en) * 2000-06-30 2002-01-16 Nokia Corp Method of selecting an object by controlling an on screen pointer
US7161578B1 (en) 2000-08-02 2007-01-09 Logitech Europe S.A. Universal presentation device
US6650320B1 (en) * 2000-08-16 2003-11-18 International Business Machines Corporation Digital pen using visible image and autocorrelation of substrate pattern
US20040017357A1 (en) * 2000-08-29 2004-01-29 Masahiro Kinoshita Pointing device
US6781570B1 (en) 2000-11-09 2004-08-24 Logitech Europe S.A. Wireless optical input device
JP3548713B2 (ja) * 2000-12-08 2004-07-28 ホシデン株式会社 イメージセンサマウス
US20070018970A1 (en) * 2000-12-22 2007-01-25 Logitech Europe S.A. Optical slider for input devices
JP2002196877A (ja) * 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
WO2002063543A2 (en) * 2001-01-22 2002-08-15 Hand Held Products, Inc. Optical reader having partial frame operating mode
US7270273B2 (en) * 2001-01-22 2007-09-18 Hand Held Products, Inc. Optical reader having partial frame operating mode
US7268924B2 (en) 2001-01-22 2007-09-11 Hand Held Products, Inc. Optical reader having reduced parameter determination delay
US6637658B2 (en) 2001-01-22 2003-10-28 Welch Allyn, Inc. Optical reader having partial frame operating mode
US6977645B2 (en) 2001-03-16 2005-12-20 Agilent Technologies, Inc. Portable electronic device with mouse-like capabilities
US6621483B2 (en) * 2001-03-16 2003-09-16 Agilent Technologies, Inc. Optical screen pointing device with inertial properties
US7184026B2 (en) * 2001-03-19 2007-02-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Impedance sensing screen pointing device
US6677929B2 (en) 2001-03-21 2004-01-13 Agilent Technologies, Inc. Optical pseudo trackball controls the operation of an appliance or machine
US7061468B2 (en) * 2001-04-10 2006-06-13 Logitech Europe S.A. Hybrid presentation controller and computer input device
US6603111B2 (en) * 2001-04-30 2003-08-05 Agilent Technologies, Inc. Image filters and source of illumination for optical navigation upon arbitrary surfaces are selected according to analysis of correlation during navigation
US7333083B1 (en) 2001-05-10 2008-02-19 Logitech Europe S.A. Optical based performance improvement for an optical illumination configuration
US6809723B2 (en) * 2001-05-14 2004-10-26 Agilent Technologies, Inc. Pushbutton optical screen pointing device
US6795056B2 (en) * 2001-07-24 2004-09-21 Agilent Technologies, Inc. System and method for reducing power consumption in an optical screen pointing device
US6823077B2 (en) * 2001-07-30 2004-11-23 Agilent Technologies, Inc. Simplified interpolation for an optical navigation system that correlates images of one bit resolution
US6847353B1 (en) 2001-07-31 2005-01-25 Logitech Europe S.A. Multiple sensor device and method
DE10139878A1 (de) * 2001-08-10 2003-03-06 Eckart Uhlmann Einrichtung zur Erfassung der Relativposition zweier zueinander bewegbarer Körper
US7126585B2 (en) * 2001-08-17 2006-10-24 Jeffery Davis One chip USB optical mouse sensor solution
TW530489B (en) * 2001-09-11 2003-05-01 Pixart Imaging Inc Moving distance detection method of image sensor
US6657184B2 (en) 2001-10-23 2003-12-02 Agilent Technologies, Inc. Optical navigation upon grainy surfaces using multiple navigation sensors
US6770863B2 (en) 2001-10-26 2004-08-03 Agilent Technologies, Inc. Apparatus and method for three-dimensional relative movement sensing
TW529309B (en) 2001-10-31 2003-04-21 Pixart Imaging Inc Displacement measuring method of image sensor
US6697052B2 (en) * 2001-11-02 2004-02-24 Lite-On Semiconductor Corp. Optical mouse chip with silicon retina structure
US6859199B2 (en) 2001-11-06 2005-02-22 Omnivision Technologies, Inc. Method and apparatus for determining relative movement in an optical mouse using feature extraction
US7042439B2 (en) * 2001-11-06 2006-05-09 Omnivision Technologies, Inc. Method and apparatus for determining relative movement in an optical mouse
US6765555B2 (en) * 2001-11-07 2004-07-20 Omnivision Technologies, Inc. Passive optical mouse using image sensor with optional dual mode capability
US7583293B2 (en) * 2001-12-06 2009-09-01 Aptina Imaging Corporation Apparatus and method for generating multi-image scenes with a camera
US7161596B2 (en) 2001-12-21 2007-01-09 British Telecommunications Public Limited Company Display location calculation means
US20030141433A1 (en) * 2002-01-31 2003-07-31 Gordon Gary B. Solid state image sensor array for correcting curvilinear distortion of a camera lens system and method for fabricating the image sensor array
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US20030160758A1 (en) * 2002-02-26 2003-08-28 A-Man Hung Optical tracking device for computers
US6788875B1 (en) 2002-04-08 2004-09-07 Logitech Europe S.A. Suspension system for use in an optical displacement detection system
US6974947B2 (en) * 2002-04-08 2005-12-13 Agilent Technologies, Inc. Apparatus and method for sensing rotation based on multiple sets of movement data
DE10316208A1 (de) * 2002-04-12 2003-11-20 Samsung Electro Mech Navigationssystem und Navigationsverfahren
US7131751B1 (en) 2002-04-12 2006-11-07 Logitech, Inc. Attachment system for use in an optical illumination system
US20030201951A1 (en) * 2002-04-25 2003-10-30 Unity Opto Technology Co., Ltd. Wireless optic mouse
US7203911B2 (en) * 2002-05-13 2007-04-10 Microsoft Corporation Altering a display on a viewing device based upon a user proximity to the viewing device
SE523297C2 (sv) * 2002-05-28 2004-04-06 Perific Ab En anordning för att inmata styrsignaler till en perifer enhet och ett system som inkluderar en sådan anordning
DE10226644A1 (de) * 2002-06-14 2003-12-24 Siemens Ag Eingabegerät für eine Datenverarbeitungsanlage
US7045763B2 (en) * 2002-06-28 2006-05-16 Hewlett-Packard Development Company, L.P. Object-recognition lock
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
BR0313750A (pt) * 2002-08-23 2005-06-21 Pfizer Prod Inc Aparelho para distribuição de artigos
US7358963B2 (en) * 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
KR100622404B1 (ko) * 2002-10-23 2006-09-13 주식회사 애트랩 광 이미지 검출기 및 이를 채택하는 광 마우스
US6924812B2 (en) * 2002-12-24 2005-08-02 Intel Corporation Method and apparatus for reading texture data from a cache
US6995748B2 (en) * 2003-01-07 2006-02-07 Agilent Technologies, Inc. Apparatus for controlling a screen pointer with a frame rate based on velocity
US7295186B2 (en) 2003-01-14 2007-11-13 Avago Technologies Ecbuip (Singapore) Pte Ltd Apparatus for controlling a screen pointer that distinguishes between ambient light and light from its light source
US7126582B2 (en) * 2003-03-07 2006-10-24 Osborn John J Absolute coordinate, single user-interface element pointing device
US7158659B2 (en) * 2003-04-18 2007-01-02 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System and method for multiplexing illumination in combined finger recognition and finger navigation module
US7274808B2 (en) * 2003-04-18 2007-09-25 Avago Technologies Ecbu Ip (Singapore)Pte Ltd Imaging system and apparatus for combining finger recognition and finger navigation
US7164782B2 (en) * 2003-04-18 2007-01-16 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System and method for time-space multiplexing in finger-imaging applications
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US20040227954A1 (en) * 2003-05-16 2004-11-18 Tong Xie Interferometer based navigation device
US7116427B2 (en) 2003-10-30 2006-10-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Low power consumption, broad navigability optical mouse
US7321359B2 (en) * 2003-07-30 2008-01-22 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and device for optical navigation
US20040239630A1 (en) * 2003-05-30 2004-12-02 Ramakrishna Kakarala Feedback to users of optical navigation devices on non-navigable surfaces
US6927759B2 (en) * 2003-06-06 2005-08-09 Unity Opto Technology Co., Ltd. Optical mouse with uniform light projection
US7161585B2 (en) * 2003-07-01 2007-01-09 Em Microelectronic-Marin Sa Displacement data post-processing and reporting in an optical pointing device
US7161586B2 (en) * 2003-07-01 2007-01-09 Em Microelectronic-Marin Sa Method of operating an optical motion sensing device and optical motion sensing device implementing this method
US20050012022A1 (en) * 2003-07-17 2005-01-20 Kye Systems Corp. Optical input device with variable illumination for detecting movement on working surfaces having different optical characteristics
US6934037B2 (en) * 2003-10-06 2005-08-23 Agilent Technologies, Inc. System and method for optical navigation using a projected fringe technique
US20050024690A1 (en) * 2003-07-31 2005-02-03 Picciotto Carl E. Pen with tag reader and navigation system
US7227531B2 (en) * 2003-08-15 2007-06-05 Microsoft Corporation Data input device for tracking and detecting lift-off from a tracking surface by a reflected laser speckle pattern
US7161582B2 (en) * 2003-08-29 2007-01-09 Microsoft Corporation Data input device for tracking and detecting lift-off from a tracking surface by a reflected laser speckle pattern
US7423227B2 (en) * 2003-09-04 2008-09-09 Avago Technologies Ecbu Ip Pte Ltd Apparatus for optical navigation
US7359041B2 (en) * 2003-09-04 2008-04-15 Avago Technologies Ecbu Ip Pte Ltd Method and system for optically tracking a target using a triangulation technique
US20050057510A1 (en) * 2003-09-16 2005-03-17 Baines Donald A. Scanning optical mouse
EP1517119B1 (en) * 2003-09-22 2008-04-09 Xitact S.A. Optical device for determining the longitudinal and angular position of a rotationally symmetrical apparatus
TWI244044B (en) * 2003-09-26 2005-11-21 Sunplus Technology Co Ltd Method and device for controlling dynamic image capturing rate of an optical mouse
US7444005B2 (en) * 2003-11-04 2008-10-28 Becton, Dickinson And Company Apparatus and method for using optical mouse engine to determine speed, direction, position of scanned device and to obtain quantitative or qualitative data from same
US7110100B2 (en) * 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7382935B2 (en) * 2003-11-07 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd Homogeneous and plain surface detection in optical navigation systems
EP1531386A1 (en) * 2003-11-11 2005-05-18 STMicroelectronics Limited Optical pointing device
US7167162B2 (en) * 2003-12-12 2007-01-23 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus and method for controlling a screen pointer
SE0303370D0 (sv) 2003-12-16 2003-12-16 Anoto Ab Method, apparatus, computer program and storage medium for recording a movement of a user unit
US7394454B2 (en) * 2004-01-21 2008-07-01 Microsoft Corporation Data input device and method for detecting lift-off from a tracking surface by electrical impedance measurement
TW200525437A (en) * 2004-01-28 2005-08-01 Sunplus Technology Co Ltd Device using pulse width modulation to control light source of optical mouse
TWI237201B (en) * 2004-02-03 2005-08-01 Benq Corp Signal input apparatus
US7221356B2 (en) * 2004-02-26 2007-05-22 Microsoft Corporation Data input device and method for detecting an off-surface condition by a laser speckle size characteristic
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7613329B2 (en) * 2004-03-08 2009-11-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus for controlling the position of a screen pointer that detects defective pixels
EP1574825A1 (en) * 2004-03-12 2005-09-14 Xitact S.A. Device for determining the longitudinal and angular position of a rotationally symmetrical apparatus
US7446756B2 (en) * 2004-03-22 2008-11-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus for controlling the position of a screen pointer with low sensitivity to particle contamination
US7474297B2 (en) 2004-03-22 2009-01-06 Avago Technologies Ecbu Ip (Singapore) Pte. Contaminant-resistant optical mouse and cradle
US7242466B2 (en) * 2004-03-31 2007-07-10 Microsoft Corporation Remote pointing system, device, and methods for identifying absolute position and relative movement on an encoded surface by remote optical method
US8325140B2 (en) 2004-04-20 2012-12-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Illumination spot alignment
TWI240214B (en) * 2004-05-18 2005-09-21 Sunplus Technology Co Ltd Optimized correlation matching method and system for determining track behavior
US20050259097A1 (en) * 2004-05-21 2005-11-24 Silicon Light Machines Corporation Optical positioning device using different combinations of interlaced photosensitive elements
US7268341B2 (en) 2004-05-21 2007-09-11 Silicon Light Machines Corporation Optical position sensing device including interlaced groups of photosensitive elements
US20050259078A1 (en) * 2004-05-21 2005-11-24 Silicon Light Machines Corporation Optical positioning device with multi-row detector array
US7042575B2 (en) * 2004-05-21 2006-05-09 Silicon Light Machines Corporation Speckle sizing and sensor dimensions in optical positioning device
US7285766B2 (en) * 2004-05-21 2007-10-23 Silicon Light Machines Corporation Optical positioning device having shaped illumination
US20050258346A1 (en) * 2004-05-21 2005-11-24 Silicon Light Machines Corporation Optical positioning device resistant to speckle fading
US7773070B2 (en) 2004-05-21 2010-08-10 Cypress Semiconductor Corporation Optical positioning device using telecentric imaging
US7339575B2 (en) 2004-05-25 2008-03-04 Avago Technologies Ecbu Ip Pte Ltd Optical pointing device with variable focus
US7420542B2 (en) * 2004-05-25 2008-09-02 Avago Technologies Ecbu Ip Pte Ltd Apparatus for capturing and analyzing light and method embodied therein
EP1600848A1 (en) * 2004-05-28 2005-11-30 Siemens Aktiengesellschaft A method and program for selecting an input symbol, and a device for the same
US20070252721A1 (en) * 2004-06-07 2007-11-01 Koninklijke Philips Electronics, N.V. Spatial Interaction System
TWI240207B (en) * 2004-06-11 2005-09-21 Sunplus Technology Co Ltd Method and system for real-time determining abnormality of pixel values for captured image
US7315013B2 (en) * 2004-06-17 2008-01-01 Avago Technologies Ecbu Ip (Singapore) Pte Ltd. Optical navigation using one-dimensional correlation
US7113270B2 (en) * 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US8532338B2 (en) * 2004-07-06 2013-09-10 Hewlett-Packard Development Company, L.P. System and method for compensating for motion blur in optical navigation
US20060023970A1 (en) * 2004-07-29 2006-02-02 Chinlee Wang Optical tracking sensor method
US7057148B2 (en) * 2004-07-29 2006-06-06 Ami Semiconductor, Inc. Optical tracking sensor method
US7521719B2 (en) * 2004-08-13 2009-04-21 Paul Steven Schranz Light emitting and image sensing device and apparatus
FI20045300A (fi) 2004-08-17 2006-02-18 Nokia Corp Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US7423633B2 (en) * 2004-09-01 2008-09-09 Avago Technologies Ec Buip Pte Ltd Apparatus for controlling the position of a screen pointer with low sensitivity to fixed pattern noise
US7166831B2 (en) * 2004-09-01 2007-01-23 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical mouse with replaceable contaminant barrier
KR100620950B1 (ko) * 2004-09-14 2006-09-19 주식회사 애트랩 광 마우스 및 이 장치의 제어 방법
US7732752B2 (en) * 2004-09-30 2010-06-08 Logitech Europe S.A. Continuous base beneath optical sensor and optical homodyning system
FR2876470B1 (fr) * 2004-10-12 2006-12-22 Eastman Kodak Co Procede de controle d'affichage utilisant un equipement portable a capteur d'images
US7602141B2 (en) * 2004-10-15 2009-10-13 Lifesize Communications, Inc. Battery operated speakerphone and charging stand
US8842186B2 (en) * 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US20060086712A1 (en) * 2004-10-25 2006-04-27 Feldmeier David C Safety device for flat irons based on optical motion detection
US20060094331A1 (en) * 2004-10-28 2006-05-04 Feldmeier David C Toy that reacts in response to information from a motion sensor
US7138620B2 (en) 2004-10-29 2006-11-21 Silicon Light Machines Corporation Two-dimensional motion sensor
US7248345B2 (en) * 2004-11-12 2007-07-24 Silicon Light Machines Corporation Signal processing method for use with an optical navigation system
US7405389B2 (en) 2004-11-19 2008-07-29 Silicon Light Machines Corporation Dense multi-axis array for motion sensing
US8026897B2 (en) * 2004-11-22 2011-09-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Cursor motion control of a pointing device
TW200627252A (en) * 2004-12-02 2006-08-01 Silicon Light Machines Corp Signal processing method for optical sensors
US7379049B2 (en) 2004-12-13 2008-05-27 Avago Technologies Ecbu Ip Pte Ltd Apparatus for controlling the position of a screen pointer based on projection data
US7282694B2 (en) * 2004-12-15 2007-10-16 Avago Technologies Ecbu Ip (Singapore) Pte Ltd Optical navigation system having a ring pixel array
US7619612B2 (en) * 2004-12-20 2009-11-17 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Pointing device with light source for providing visible light through a moveable puck
US20060149425A1 (en) * 2004-12-22 2006-07-06 Davis Raymond A Motion sensor system
US7114383B2 (en) * 2005-01-07 2006-10-03 Bridgestone Firestone North American Tire, Llc Method and apparatus for monitoring tire performance
US20060169021A1 (en) * 2005-01-28 2006-08-03 Silverstein D A Method and apparatus for calibration of a motion sensing device in a portable apparatus
US8081159B2 (en) * 2005-02-24 2011-12-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Programmable lift response for an optical navigation device
US7119323B1 (en) * 2005-03-18 2006-10-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Error corrected optical navigation system
US20060209015A1 (en) * 2005-03-18 2006-09-21 Feldmeier David C Optical navigation system
US20060215720A1 (en) * 2005-03-24 2006-09-28 Corzine Scott W Quantum cascade laser with grating formed by a periodic variation in doping
EP1866871A4 (en) * 2005-03-30 2012-01-04 Worcester Polytech Inst THREE-DIMENSIONAL FREEHAND ULTRASOUND DIAGNOSIS IMAGING WITH SENSORS FOR DETERMINING THE POSITION AND ANGLE
US20060232550A1 (en) * 2005-04-15 2006-10-19 Buckner Nathan C Integrated mouse in remote control
US20060238508A1 (en) * 2005-04-22 2006-10-26 Tong Xie Optical location measuring system
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
US7656428B2 (en) * 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
US7626393B2 (en) * 2005-05-06 2009-12-01 Halliburton Energy Services, Inc. Apparatus and method for measuring movement of a downhole tool
US7399953B2 (en) * 2005-05-06 2008-07-15 Avago Technologies Ecbu Ip Pte Ltd Light source control in optical pointing device
US20060256086A1 (en) * 2005-05-12 2006-11-16 Tong Xie Integrated optical mouse
EP1891501B1 (en) 2005-05-31 2018-08-29 Koninklijke Philips N.V. Method for control of a device
US7710397B2 (en) 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
US8619033B2 (en) 2005-06-29 2013-12-31 Min-Liang Tan Method and system for adjusting depth of view in optical sensor
US7898524B2 (en) 2005-06-30 2011-03-01 Logitech Europe S.A. Optical displacement detection over varied surfaces
US20070023997A1 (en) * 2005-07-28 2007-02-01 Ertel John P System and method for optically detecting media feeding malfunctions in an image forming apparatus
US20070032318A1 (en) * 2005-08-04 2007-02-08 Nishimura Ken A Motion sensor in sporting equipment
US7522746B2 (en) * 2005-08-12 2009-04-21 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Object tracking using optical correlation and feedback
US20070040108A1 (en) * 2005-08-16 2007-02-22 Wenstrand John S Optical sensor light switch
US7399954B2 (en) * 2005-08-16 2008-07-15 Avago Technologies Ecbu Ip Pte Ltd System and method for an optical navigation device configured to generate navigation information through an optically transparent layer and to have skating functionality
US7763875B2 (en) * 2005-09-07 2010-07-27 Romanov Nikolai L System and method for sensing position utilizing an uncalibrated surface
US7598979B2 (en) * 2005-09-21 2009-10-06 Aptina Imaging Corporation Imaging device with blur reduction system including a primary array and at least one navigation array
US7500732B2 (en) * 2005-09-30 2009-03-10 Lexmark International, Inc. Maintenance and docking station for a hand-held printer
US20070076082A1 (en) * 2005-09-30 2007-04-05 Lexmark International, Inc. Methods and apparatuses for measuring print area using hand-held printer
US8203343B1 (en) 2005-10-12 2012-06-19 Seektech, Inc. Reconfigurable portable locator employing multiple sensor array having flexible nested orthogonal antennas
US20070085832A1 (en) * 2005-10-17 2007-04-19 Ertel John P Reducing dust contamination in optical mice
US20070109271A1 (en) * 2005-11-14 2007-05-17 Phison Electronics Corp. [a portable storage device with handwritten input device]
US7735951B2 (en) * 2005-11-15 2010-06-15 Lexmark International, Inc. Alignment method for hand-operated printer
US20070120937A1 (en) * 2005-11-30 2007-05-31 Lexmark International, Inc. System and method for hand-held printing
TW200722835A (en) * 2005-12-09 2007-06-16 Ind Tech Res Inst Polymer dispersed liquid crystal emulsion and polymer dispersed liquid crystal composite film
US7567235B2 (en) 2005-12-12 2009-07-28 Cypress Semiconductor Corporation Self-aligning optical sensor package
US7765251B2 (en) * 2005-12-16 2010-07-27 Cypress Semiconductor Corporation Signal averaging circuit and method for sample averaging
US8471191B2 (en) * 2005-12-16 2013-06-25 Cypress Semiconductor Corporation Optical navigation system having a filter-window to seal an enclosure thereof
US7524051B2 (en) * 2005-12-20 2009-04-28 Lexmark International, Inc. Hand-operated printer having a user interface
US7737948B2 (en) * 2005-12-20 2010-06-15 Cypress Semiconductor Corporation Speckle navigation system
US7399129B2 (en) * 2005-12-20 2008-07-15 Lexmark International, Inc. User interface for a hand-operated printer
US7810504B2 (en) * 2005-12-28 2010-10-12 Depuy Products, Inc. System and method for wearable user interface in computer assisted surgery
US8077147B2 (en) 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US7298460B2 (en) * 2006-01-03 2007-11-20 Silicon Light Machines Corporation Method for determining motion using a velocity predictor
US20070171275A1 (en) * 2006-01-24 2007-07-26 Kenoyer Michael L Three Dimensional Videoconferencing
US8125508B2 (en) 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
US8120638B2 (en) * 2006-01-24 2012-02-21 Lifesize Communications, Inc. Speech to text conversion in a videoconference
JP4895352B2 (ja) * 2006-02-07 2012-03-14 任天堂株式会社 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法
US20070181785A1 (en) * 2006-02-09 2007-08-09 Helbing Rene P Compact optical navigation module and microlens array therefore
US7884801B1 (en) 2006-02-16 2011-02-08 Cypress Semiconductor Corporation Circuit and method for determining motion with redundant comb-arrays
US7593833B2 (en) * 2006-03-03 2009-09-22 At&T Intellectual Property I, L.P. System and method for determining performance of network lines
US7557338B2 (en) * 2006-03-14 2009-07-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Electronic device with integrated optical navigation module and microlens array therefore
WO2007105133A2 (en) * 2006-03-15 2007-09-20 Koninklijke Philips Electronics N.V. Remote control pointing technology with roll detection
US7297912B1 (en) 2006-03-27 2007-11-20 Silicon Light Machines Corporation Circuit and method for reducing power consumption in an optical navigation system having redundant arrays
US7721609B2 (en) 2006-03-31 2010-05-25 Cypress Semiconductor Corporation Method and apparatus for sensing the force with which a button is pressed
US7809035B2 (en) * 2006-03-31 2010-10-05 Cypress Semiconductor Corporation Eye-safe laser navigation sensor
US20070237561A1 (en) * 2006-04-11 2007-10-11 Lexmark International Inc. Methods and apparatuses for sensing a print area using a hand-held printer
US7976387B2 (en) * 2006-04-11 2011-07-12 Avago Technologies General Ip (Singapore) Pte. Ltd. Free-standing input device
US8036428B2 (en) * 2006-04-28 2011-10-11 Pixart Imaging Inc. Method and apparatus for detecting motion of image in optical navigator
TWI311275B (en) * 2006-05-04 2009-06-21 Sunplus Technology Co Ltd Apparatus and method for cursor control
US7748839B2 (en) * 2006-05-09 2010-07-06 Lexmark International, Inc. Handheld printing with reference indicia
US7682017B2 (en) * 2006-05-10 2010-03-23 Lexmark International, Inc. Handheld printer minimizing printing defects
US7492445B1 (en) 2006-06-05 2009-02-17 Cypress Semiconductor Corporation Method and apparatus for robust velocity prediction
US7755604B2 (en) 2006-06-19 2010-07-13 Cypress Semiconductor Corporation Optical navigation sensor with tracking and lift detection for optically transparent contact surfaces
US7787145B2 (en) * 2006-06-29 2010-08-31 Lexmark International, Inc. Methods for improving print quality in a hand-held printer
US7728816B2 (en) * 2006-07-10 2010-06-01 Cypress Semiconductor Corporation Optical navigation sensor with variable tracking resolution
US20080030534A1 (en) * 2006-08-02 2008-02-07 Adam Jude Ahne Hand Held Micro-fluid Ejection Devices Configured to Eject Fluid without Referential Position Information and Method of Ejecting Fluid
US7442916B2 (en) * 2006-08-25 2008-10-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Lift detection adapted for navigation on a transparent structure
US20080079956A1 (en) * 2006-09-21 2008-04-03 Mahesan Chelvayohan Hand-Held Printer Having An Integrated Digital Camera Scanner
US20080075513A1 (en) * 2006-09-26 2008-03-27 Douglas Laurence Robertson Methods for a Maintenance Algorithm in Hand Held Printers
US7918519B2 (en) 2006-09-27 2011-04-05 Lexmark International, Inc. Methods and apparatus for handheld printing with optical positioning
US7748840B2 (en) * 2006-09-27 2010-07-06 Lexmark International, Inc. Methods and apparatus for handheld printing with optical positioning
US7938531B2 (en) 2006-09-27 2011-05-10 Lexmark International, Inc. Methods and apparatus for handheld printing with optical positioning
US7742514B1 (en) 2006-10-31 2010-06-22 Cypress Semiconductor Corporation Laser navigation sensor
US7566858B2 (en) * 2006-11-07 2009-07-28 Apple Inc. Remote control systems that can distinguish stray light sources
US8072429B2 (en) * 2006-12-22 2011-12-06 Cypress Semiconductor Corporation Multi-axial touch-sensor device with multi-touch resolution
US7567341B2 (en) * 2006-12-29 2009-07-28 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device adapted for navigation on a transparent structure
US7965278B2 (en) * 2006-12-29 2011-06-21 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device adapted for navigation on a transparent plate
US9052759B2 (en) * 2007-04-11 2015-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Dynamically reconfigurable pixel array for optical navigation
US7808483B2 (en) * 2007-02-06 2010-10-05 Aaron Grunberger System, device, and method for extending a stroke of a computer pointing device
US7938532B2 (en) 2007-02-16 2011-05-10 Lexmark International, Inc. Hand held printer with vertical misalignment correction
JP5108330B2 (ja) * 2007-02-26 2012-12-26 アバゴ・テクノロジーズ・イーシービーユー・アイピー（シンガポール）プライベート・リミテッド ポインティングデバイス
US8285475B2 (en) * 2007-03-02 2012-10-09 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Combined beacon and scene navigation system
US20080219737A1 (en) * 2007-03-07 2008-09-11 Michael David Stilz Hand Held Printer Having A Doppler Position Sensor
US20080231600A1 (en) 2007-03-23 2008-09-25 Smith George E Near-Normal Incidence Optical Mouse Illumination System with Prism
US7933166B2 (en) * 2007-04-09 2011-04-26 Schlumberger Technology Corporation Autonomous depth control for wellbore equipment
US20080262484A1 (en) * 2007-04-23 2008-10-23 Nlight Photonics Corporation Motion-controlled laser surface treatment apparatus
US8102365B2 (en) * 2007-05-14 2012-01-24 Apple Inc. Remote control systems that can distinguish stray light sources
US8081162B2 (en) * 2007-05-16 2011-12-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with surface and free space navigation
JP5564421B2 (ja) * 2007-06-21 2014-07-30 ザ・ジョンズ・ホプキンス・ユニバーシティ バーチャル顕微鏡スライド／デジタル画像をナビゲートするための操作デバイス及びそれに関連する方法。
US8092006B2 (en) 2007-06-22 2012-01-10 Lexmark International, Inc. Handheld printer configuration
US20080316295A1 (en) * 2007-06-22 2008-12-25 King Keith C Virtual decoders
US8314774B1 (en) 2007-07-09 2012-11-20 Cypress Semiconductor Corporation Method and apparatus for quasi-3D tracking using 2D optical motion sensors
US8139100B2 (en) 2007-07-13 2012-03-20 Lifesize Communications, Inc. Virtual multiway scaler compensation
US8263921B2 (en) 2007-08-06 2012-09-11 Cypress Semiconductor Corporation Processing methods for speckle-based motion sensing
US20090040286A1 (en) * 2007-08-08 2009-02-12 Tan Theresa Joy L Print scheduling in handheld printers
US20090046064A1 (en) * 2007-08-17 2009-02-19 Microsoft Corporation Pointing device for control of a graphical display or application
WO2009029912A1 (en) * 2007-08-30 2009-03-05 Microstrain, Inc. Optical linear and rotation displacement sensor
CN101398711A (zh) * 2007-09-29 2009-04-01 玴荣科技股份有限公司 手持摄影机的光标定位方法
US9046938B2 (en) * 2007-10-19 2015-06-02 Razer (Asia-Pacific) Pte Ltd Unintended displacement identification and correction method and system
US20090102793A1 (en) * 2007-10-22 2009-04-23 Microsoft Corporation Optical mouse
US7973768B2 (en) 2007-11-16 2011-07-05 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with consolidated processing for surface and free space navigation
US8847888B2 (en) * 2007-12-18 2014-09-30 Microsoft Corporation Optical mouse with limited wavelength optics
US20090160773A1 (en) * 2007-12-20 2009-06-25 Microsoft Corporation Optical mouse
US20090160772A1 (en) * 2007-12-20 2009-06-25 Microsoft Corporation Diffuse optics in an optical mouse
US8259069B1 (en) 2008-01-11 2012-09-04 Cypress Semiconductor Corporation Speckle-based optical navigation on curved tracking surface
US8031176B1 (en) 2008-01-22 2011-10-04 Cypress Semiconductor Corporation Optical navigation system using a single-package motion sensor
US8482607B2 (en) * 2008-03-10 2013-07-09 Timothy David Webster Position sensing of a piston in a hydraulic cylinder using a photo image sensor
US8238639B2 (en) * 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
CN101566886B (zh) * 2008-04-21 2012-09-26 原相科技股份有限公司 光学指示装置
US7978477B2 (en) * 2008-05-09 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Dual-channel optical navigation device
US7905567B2 (en) * 2008-05-16 2011-03-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Closed-loop printing registration systems, devices, components and methods
US8232966B2 (en) * 2008-06-03 2012-07-31 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Multiple input optical navigation system
CN101320301A (zh) * 2008-07-18 2008-12-10 郑国书 一种鼠标
DE102008049846A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Meditec Ag Anordnung und Verfahren zur schnellen Messung einer Augenbewegung
US8541727B1 (en) 2008-09-30 2013-09-24 Cypress Semiconductor Corporation Signal monitoring and control system for an optical navigation sensor
WO2010037485A1 (de) * 2008-09-30 2010-04-08 Carl Zeiss Meditec Ag Anordnungen und verfahren zur messung einer augenbewegung, insbesondere einer bewegung des augenhintergrunds
DE102008049881A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Meditec Ag Anordnung und Verfahren zur Messung einer Augenbewegung, insbesondere einer Bewegung des Augenhintergrunds
US7723659B1 (en) 2008-10-10 2010-05-25 Cypress Semiconductor Corporation System and method for screening semiconductor lasers
US20100110160A1 (en) * 2008-10-30 2010-05-06 Brandt Matthew K Videoconferencing Community with Live Images
US8217334B1 (en) 2008-12-24 2012-07-10 Cypress Semiconductor Corporation Optical navigation sensor including a spatial frequency filter
US8315434B2 (en) * 2009-01-06 2012-11-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Absolute tracking in a sub-pixel range
US8643695B2 (en) * 2009-03-04 2014-02-04 Lifesize Communications, Inc. Videoconferencing endpoint extension
US8456510B2 (en) * 2009-03-04 2013-06-04 Lifesize Communications, Inc. Virtual distributed multipoint control unit
US8711096B1 (en) 2009-03-27 2014-04-29 Cypress Semiconductor Corporation Dual protocol input device
US9703398B2 (en) * 2009-06-16 2017-07-11 Microsoft Technology Licensing, Llc Pointing device using proximity sensing
US8154438B1 (en) * 2009-09-08 2012-04-10 The United States Of America As Represented By The Secretary Of The Navy Registration of latitude/longitude coordinates using range detection sensors and digital nautical charts
US8350891B2 (en) * 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
US8672763B2 (en) * 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US8687060B1 (en) 2009-12-28 2014-04-01 Cognex Corporation System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system
EP2531952B1 (en) * 2010-02-01 2018-08-08 VITO NV (Vlaamse Instelling voor Technologisch Onderzoek NV) System and method for 2d occupancy sensing
US9030405B2 (en) * 2011-02-04 2015-05-12 Invensense, Inc. High fidelity remote controller device for digital living room
WO2012173640A1 (en) 2011-06-16 2012-12-20 Cypress Semiconductor Corporaton An optical navigation module with capacitive sensor
RU2502754C2 (ru) * 2011-07-20 2013-12-27 Общество с ограниченной ответственностью "Научно-технический центр "Кама" Резиновая смесь
WO2013015742A1 (en) * 2011-07-26 2013-01-31 Nanyang Technological University A method and system for tracking motion of a device
US8902302B2 (en) 2011-09-16 2014-12-02 Emerson Electric Co. Method and apparatus for surveying with a feature location
US8896553B1 (en) 2011-11-30 2014-11-25 Cypress Semiconductor Corporation Hybrid sensor module
EP2879643B1 (en) 2012-08-06 2018-07-25 Koninklijke Philips N.V. Skin treatment apparatus
US8797611B2 (en) 2012-12-12 2014-08-05 Hewlett-Packard Development Company, L.P. Illumination assembly
JP2014203212A (ja) * 2013-04-03 2014-10-27 船井電機株式会社 入力装置及び入力方法
CN104122541B (zh) 2013-04-28 2016-08-17 意法半导体研发(深圳)有限公司 具有互连层的接近检测器设备及相关方法
EP2811318B1 (de) * 2013-06-05 2015-07-22 Sick Ag Optoelektronischer Sensor
CN104347644B (zh) 2013-07-25 2018-06-19 意法半导体研发(深圳)有限公司 具有透镜组件的图像检测器及相关方法
US9562955B2 (en) 2014-01-20 2017-02-07 Qualcomm Incorporated Methods and apparatus for magnetic field strength measurement
US9715286B2 (en) 2014-01-28 2017-07-25 Solid Art Labs, Inc. Hand-controllable signal-generating devices and systems
CN112614246A (zh) 2014-09-30 2021-04-06 深圳市大疆创新科技有限公司 用于数据记录与分析的系统和方法
US10382012B2 (en) * 2015-01-26 2019-08-13 Pixart Imaging Inc. Navigation device and track smoothing method thereof
CN109863468B (zh) 2016-09-23 2022-03-01 雷蛇(亚太)私人有限公司 输入设备、用于提供输入给计算系统的方法及计算机可读介质
TWI592838B (zh) 2017-01-10 2017-07-21 Univ Nat Central System and method for measuring screen resolution associated with mouse movement speed, recording media and computer program product
WO2018157384A1 (en) * 2017-03-03 2018-09-07 Microsoft Technology Licensing, Llc. Pointing device and manufacturing method thereof
US11029765B1 (en) * 2020-06-03 2021-06-08 Pixart Imaging Inc. Lift detection method for mouse and apparatus thereof

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3575505A (en) 1968-07-30 1971-04-20 Eastman Kodak Co Automatic bias control
US3942022A (en) 1974-10-25 1976-03-02 Itek Corporation Rapid response correlation type image motion sensor
CA1091756A (en) 1975-10-14 1980-12-16 Eastman Kodak Company Electrophotographic apparatus having compensation for changes in sensitometric properties of photoconductors
US4270143A (en) 1978-12-20 1981-05-26 General Electric Company Cross-correlation video tracker and method
FR2504673A1 (fr) 1981-04-27 1982-10-29 Thomson Csf Indicateur cartographique a enregistrement sur film photographique
US4364035A (en) 1981-05-18 1982-12-14 Kirsch Steven T Electro-optical mouse
US4546347A (en) 1981-05-18 1985-10-08 Mouse Systems Corporation Detector for electro-optical mouse
US4390873A (en) 1981-05-18 1983-06-28 Kirsch Steven T Electronic mouse
US4521772A (en) 1981-08-28 1985-06-04 Xerox Corporation Cursor control device
US4578674A (en) 1983-04-20 1986-03-25 International Business Machines Corporation Method and apparatus for wireless cursor position control
US4631400A (en) 1984-01-20 1986-12-23 California Institute Of Technology Correlating optical motion detector
US4799055A (en) 1984-04-26 1989-01-17 Symbolics Inc. Optical Mouse
US4794384A (en) 1984-09-27 1988-12-27 Xerox Corporation Optical translator device
US4723297A (en) 1984-09-27 1988-02-02 Siemens Aktiengesellschaft Method for automatic correction of character skew in the acquisition of a text original in the form of digital scan results
JPS6194134A (ja) 1984-10-13 1986-05-13 Naretsuji:Kk 無線マウス装置
US4656721A (en) 1984-11-19 1987-04-14 R. D. Werner Co., Inc. Apparatus and methods for making rail-to-rung joints for ladders and joints for other structural elements
US5023922A (en) 1985-06-07 1991-06-11 Soricon Corporation Optical character reader
US4857903A (en) 1986-05-06 1989-08-15 Summagraphics Corporation Electro-optical mouse with improved resolution for compensation of optical distortion
US4751505A (en) 1986-06-23 1988-06-14 Xerox Corporation Optical mouse
US4797544A (en) 1986-07-23 1989-01-10 Montgomery James R Optical scanner including position sensors
US5576529A (en) * 1986-08-08 1996-11-19 Norand Technology Corporation Hand-held optically readable information set reader focus with operation over a range of distances
US4970557A (en) 1987-09-02 1990-11-13 Sharp Kabushiki Kaisha Electrophotographic apparatus controlling image quality according to condition of deterioration
US5363120A (en) * 1987-10-14 1994-11-08 Wang Laboratories, Inc. Computer input device using orientation sensor
JP2668937B2 (ja) 1988-05-16 1997-10-27 富士ゼロックス株式会社 位置指定装置
DE3850773D1 (de) * 1988-08-06 1994-08-25 Itt Ind Gmbh Deutsche Fernbedienungssystem.
US4920260A (en) * 1988-08-30 1990-04-24 Msc Technologies, Inc. Detector system for optical mouse
US5841121A (en) * 1988-08-31 1998-11-24 Norand Technology Corporation Hand-held optically readable character set reader having automatic focus control for operation over a range of distances
US4951214A (en) 1988-11-18 1990-08-21 Texas Instruments Incorporated Method for passively determining the relative position of a moving observer with respect to a stationary object
US5045843B1 (en) * 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
US5089712A (en) 1989-06-08 1992-02-18 Hewlett-Packard Company Sheet advancement control system detecting fiber pattern of sheet
GB2239575B (en) * 1989-10-17 1994-07-27 Mitsubishi Electric Corp Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus
US5355146A (en) 1990-03-05 1994-10-11 Bmc Micro-Industries Ltd. Multi-directional hand scanner and mouse
JP2803307B2 (ja) 1990-04-03 1998-09-24 富士ゼロックス株式会社 スペックルパターンの移動検出方法及びこれを用いた位置指定装置
JPH04253220A (ja) 1991-01-30 1992-09-09 Sharp Corp 座標検出装置
US5185673A (en) 1991-06-12 1993-02-09 Hewlett-Packard Company Automated image calibration
US5418546A (en) * 1991-08-20 1995-05-23 Mitsubishi Denki Kabushiki Kaisha Visual display system and exposure control apparatus
US5149980A (en) 1991-11-01 1992-09-22 Hewlett-Packard Company Substrate advance measurement system using cross-correlation of light sensor array signals
JPH05281820A (ja) 1992-03-31 1993-10-29 Minolta Camera Co Ltd 画像形成装置
US5517211A (en) 1992-05-14 1996-05-14 Kwang-Chien; Fong Optical signal detector for an electro-optical mouse
ATE185634T1 (de) * 1992-05-26 1999-10-15 United Parcel Service Inc Kameralesevorrichtung für verschiedene kodes
US5272503A (en) 1992-09-02 1993-12-21 Xerox Corporation Replaceable sub-assemblies for electrostatographic reproducing machines
EP0596594B1 (en) * 1992-10-26 2000-07-12 Sun Microsystems, Inc. Remote control and pointing device
WO1994011845A1 (en) 1992-11-14 1994-05-26 University Of Sheffield Device and method for determining movement of a surface
US5479011A (en) * 1992-12-18 1995-12-26 Spectra-Physics Scanning Systems, Inc. Variable focus optical system for data reading
US5388059A (en) * 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
US5497150A (en) 1993-04-05 1996-03-05 Smk Corporation Image scanner
IT1264225B1 (it) * 1993-09-24 1996-09-23 Sintecna S R L Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi
US5456256A (en) * 1993-11-04 1995-10-10 Ultra-Scan Corporation High resolution ultrasonic imaging apparatus and method
US5574479A (en) * 1994-01-07 1996-11-12 Selectech, Ltd. Optical system for determining the roll orientation of a remote unit relative to a base unit
US5504319A (en) * 1994-02-09 1996-04-02 Symbol Technologies, Inc. Method and system for bar code acquisition
JPH07303290A (ja) 1994-05-02 1995-11-14 Wacom Co Ltd 情報入力装置
JP3473988B2 (ja) 1994-05-20 2003-12-08 株式会社ワコム 情報入力装置
US5530455A (en) 1994-08-10 1996-06-25 Mouse Systems Corporation Roller mouse for implementing scrolling in windows applications
US5491540A (en) 1994-12-22 1996-02-13 Hewlett-Packard Company Replacement part with integral memory for usage and calibration data
US5578813A (en) 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
US5686720A (en) 1995-03-02 1997-11-11 Hewlett Packard Company Method and device for achieving high contrast surface illumination
JPH08292830A (ja) * 1995-04-24 1996-11-05 Wacom Co Ltd 位置指示器
JP3109981B2 (ja) 1995-06-30 2000-11-20 キヤノン株式会社 画像形成装置
US5894302A (en) * 1995-08-28 1999-04-13 Contour Design, Inc. Ergonomic housing for a computer mouse
US5786804A (en) * 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US5729008A (en) * 1996-01-25 1998-03-17 Hewlett-Packard Company Method and device for tracking relative movement by correlating signals from an array of photoelements
US6003773A (en) * 1996-03-01 1999-12-21 Intermec Ip Corp. Tablet style indicia reader with system for handling multiple indicia
US5749019A (en) 1996-09-09 1998-05-05 Xerox Corporation Look up table to control non-linear xerographic process
JP2809215B2 (ja) * 1996-09-26 1998-10-08 日本電気株式会社 固体撮像カメラ
US6014161A (en) 1997-01-31 2000-01-11 Hewlett-Packard Company Closed loop compensation for gray scale printing devices
US5936612A (en) * 1997-05-30 1999-08-10 Wang; Yanqing Computer input device and method for 3-D direct manipulation of graphic objects
US6618093B1 (en) * 1998-01-15 2003-09-09 Chauncey F. Levy Distortion-free imaging device having curved photosensor
US6172354B1 (en) * 1998-01-28 2001-01-09 Microsoft Corporation Operator input device
US5994710A (en) * 1998-04-30 1999-11-30 Hewlett-Packard Company Scanning mouse for a computer system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377241B1 (en) 1999-01-21 2002-04-23 Mitsubishi Denki Kabushiki Kaisha Direction instructing apparatus direction estimating apparatus and a computer-readable storage medium containing a program for the same stored thereon
US6411278B1 (en) 1999-03-19 2002-06-25 Mitsubishi Denki Kabushiki Kaisha Coordinated position control system, coordinate position control method, and computer-readable storage medium containing a computer program for coordinate position controlling recorded thereon
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8760522B2 (en) * 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
EP1950957A2 (en) 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system

Also Published As

Publication number Publication date
USRE40410E1 (en) 2008-07-01
JP3958390B2 (ja) 2007-08-15
DE69620531D1 (de) 2002-05-16
US20020093486A1 (en) 2002-07-18
US6175357B1 (en) 2001-01-16
EP0767443A2 (en) 1997-04-09
EP0767443A3 (en) 1997-11-05
US5786804A (en) 1998-07-28
US6281882B1 (en) 2001-08-28
EP0767443B1 (en) 2002-04-10
US6433780B1 (en) 2002-08-13
DE69620531T2 (de) 2002-10-02

Similar Documents

Publication Publication Date Title
JP3958390B2 (ja) 装置姿勢追跡方法
US6489945B1 (en) Method and system for tracking attitude
US20210185190A1 (en) Compact, low cost vcsel projector for high performance stereodepth camera
US20020085097A1 (en) Computer vision-based wireless pointing system
EP1456806B1 (en) Device and method for calculating a location on a display
CN100510931C (zh) 图像捕获设备
US7284866B2 (en) Stabilized image projecting device
US8212794B2 (en) Optical finger navigation utilizing quantized movement information
KR101778807B1 (ko) 데이터 융합을 이용하는 모션 캡처 포인터
US6770863B2 (en) Apparatus and method for three-dimensional relative movement sensing
US8553094B2 (en) Interactive image system, interactive apparatus and operating method thereof
US20090297062A1 (en) Mobile device with wide-angle optics and a radiation sensor
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
US20090009469A1 (en) Multi-Axis Motion-Based Remote Control
US20080030458A1 (en) Inertial input apparatus and method with optical motion state detection
US10326894B1 (en) Self stabilizing projector
KR19980033069A (ko) 정보입력장치, 정보입력방법 및 고체촬상장치
US20190005675A1 (en) Methods and Apparatus for Tracking A Light Source In An Environment Surrounding A Device
KR100803585B1 (ko) 원격 포인팅 입력 방법 및 그 장치
KR100660165B1 (ko) 일반 적외선 리모콘 통신 기능을 겸비한 이미지센서이용방식 원격 포인팅 시스템
JP7079833B2 (ja) 携帯情報端末
JP2002351612A (ja) 座標入力装置及びその制御方法、プログラム
KR100799766B1 (ko) 포인터 이동 제어 장치
JP2680331B2 (ja) 宇宙航行体の補捉追尾装置
KR100833940B1 (ko) 그리기 기능을 가진 실물 화상기 및 그 제어 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20051027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061016

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070405

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070510

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees