JP3794180B2 - 座標入力システム及び座標入力装置 - Google Patents

座標入力システム及び座標入力装置 Download PDF

Info

Publication number
JP3794180B2
JP3794180B2 JP31373998A JP31373998A JP3794180B2 JP 3794180 B2 JP3794180 B2 JP 3794180B2 JP 31373998 A JP31373998 A JP 31373998A JP 31373998 A JP31373998 A JP 31373998A JP 3794180 B2 JP3794180 B2 JP 3794180B2
Authority
JP
Japan
Prior art keywords
infrared light
coordinate input
light
imaging
input system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31373998A
Other languages
English (en)
Other versions
JPH11224160A (ja
Inventor
和憲 平松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP31373998A priority Critical patent/JP3794180B2/ja
Priority to US09/186,373 priority patent/US6339748B1/en
Priority to TW087118614A priority patent/TW396318B/zh
Publication of JPH11224160A publication Critical patent/JPH11224160A/ja
Application granted granted Critical
Publication of JP3794180B2 publication Critical patent/JP3794180B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Description

【０００１】
【発明の属する技術分野】
本発明は、背面投写型表示装置などの画像表示用の透過型スクリーンに、デジタイザ機能つまり位置座標入力機能を与える為の、座標入力システム及び座標入力装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピューターと、液晶その他のライトバルブやＣＲＴを用いた投写型表示装置の普及により、電子画像情報を拡大投影する形態でのプレゼンテーションが広く行われている。この時、画像表示用のスクリーン上で直接位置指示操作ができるならば、プレゼンテーションの説明者はスクリーンの位置から離れることなくコンピューターの操作ができること、及びスクリーンに対して直接手書き文字入力が可能になることによって、より効果的で効率的なプレゼンテーションが実現する。そこで、スクリーン上での位置座標入力方法が開発されている。
【０００３】
画像表示用の透過型スクリーン上での位置座標入力方式の一例として、特開昭６０−２３０２２８号公報記載の方法がある。これは図１６に示す様に構成されている。すなわち、透過型スクリーン１０２に画像光を結像させる画像投写装置である投写管１０４と共に透過型スクリーン１０２の背後に設けたＰＳＤなどの位置検出装置１０３により、ラインペンなどの発光型指示器１０１の投写する不可視光スポット、例えば赤外光スポットを検出し、発光型指示器１０１の位置座標を求める。
【０００４】
【発明が解決しようとする課題】
しかしながら、ライトペンなどの発光型指示器１０１は、発光源であるＬＥＤや制御回路、さらには電池等を内蔵する必要があり、形状が大きくかつ重量も重い。したがって、取扱者が発光型指示器１０１を手にして、透過型スクリーン１０２上に位置指示や手書き文字入力を行う場合、通常のペンなどの筆記用具を取り扱う場合と比べて、扱いにくいという課題を有していた。
【０００５】
そこで本発明は、透過型スクリーン上での使い勝手の良い座標入力システム及び座標入力装置を実現することを目的とする。
【０００６】
【課題を解決するための手段】
（１）本発明の座標入力システムは、画像光投写手段から投写された画像光が結像される透過型スクリーンに座標入力機能を与える座標入力システムにおいて、
前記透過型スクリーンの背面に赤外光を投写する赤外光投写手段と、
前記透過型スクリーンの前面で反射手段を備える指示手段によって反射された赤外光を前記透過型スクリーンの背面から撮影する撮像手段と、
前記赤外光投写手段点灯時に前記撮像手段が出力する第一の撮像情報と、前記赤外光投写手段消灯時に前記撮像手段が出力する第二の撮像情報とを、前記画像光投写手段の投写画像のタイミングに同期して取得し、前記第一の撮像情報と前記第二の撮像情報との差分をとり、該差分を基に前記指示手段が指定する前記透過型スクリーン上の座標を求める撮像情報処理手段と、を有することを特徴とする。
【０００７】
上記構成によれば、指示手段には、光を反射する機能が備わっていれば良いので、電池や電子部品を内蔵する必要はない。例えば、ペンなど通常の筆記用具と同様な形状の先端に反射材を設けた形式とすることができ、通常の筆記用具と同様な形状と重量を実現できるので、使用者が手にした場合、違和感なく取り扱え、使い勝手が良いという効果を有する。
また、前記画像光投写手段の投写画像のタイミング、例えば投射画像におけるフレームのタイミングに同期して、赤外光投写手段点灯時に撮像手段が出力する第一の撮像情報と赤外光投写手段消灯時に撮像手段が出力する第二の撮像情報とを取得しているので、第一の撮像情報及び第二の撮像情報は連続したフレームにおける撮像情報となる。そして、連続するフレームの画像はほぼ同一となることから、第一の撮像情報及び第二の撮像情報の差分をとることで、位置座標検出において外乱光となる透過型スクリーンによる画像光の反射成分を除去でき、検出系のＳ／Ｎ比、すなわち位置座標の検出精度を向上できるという効果を有する。
【０００８】
（２）また、本発明の座標入力システムは、前記赤外光投写手段から前記透過型スクリーンの背面に投写される赤外光の投写光軸が、前記透過型スクリーンの面と直交しないことを特徴とする。
【０００９】
上記構成によれば、赤外光源の投写赤外光の透過型スクリーン裏面による反射光の光軸つまり最大強度方向が、スクリーン面の直交方向と角度差を持つ為に、撮像手段の入射光軸がスクリーン面の直交方向である場合において、裏面反射赤外光の撮像手段への入射量が少なくなり、検出系のＳ／Ｎ比（信号ノイズ比）を向上できるという効果を有する。
【００１０】
（３）また、本発明の座標入力システムは、上記（１）に記載の座標入力システムにおいて、前記撮像手段の光軸が、前記透過型スクリーンの面と直交しないことを特徴とする。
【００１１】
上記構成によれば、赤外光源のスクリーン裏面による反射光及び画面表示用の画像光のスクリーン裏面による反射光の光軸が、それぞれスクリーン面の直交方向である場合、撮像手段へのそれら反射光の入射量が少なくなり、検出系のＳ／Ｎ比を向上できるという効果を有する。
【００１２】
（４）また、本発明の座標入力システムは、上記（１）に記載の座標入力システムにおいて、前記赤外光投写手段が、前記透過型スクリーンの背面のそれぞれ異なる領域に赤外光を投写する複数の赤外光源からなることを特徴とする。
【００１３】
上記構成によれば、ひとつの赤外光源を用いて透過型スクリーン背面に赤外光を投写する場合に比べて、透過型スクリーン背面全体に、均一に赤外光を投写することができ、検出系のＳ／Ｎ比を向上できるという効果を有する。
【００１４】
（５）また、本発明の座標システムは、上記（４）に記載の座標システムにおいて、前記複数の赤外光源のそれぞれの投写光軸が前記透過型スクリーンの面と直交せず、かつ前記投写光軸の前記透過型スクリーンの面に対する入射角度が、それぞれ異なることを特徴とする。
【００１５】
上記構成によれば、複数の赤外光源の投写光軸を透過型スクリーン面に対して各赤外光源ごとに入射角度を変えて、できるだけ斜めに入射する様に設定することができる。したがって、赤外光源から投写した光の透過型スクリーンによる裏面反射光の最大強度分布は、透過型スクリーンの面の直交方向に対して大きく角度差を持たせることができる。一方、撮像手段の光軸は、撮像画像に台形歪みを生じない様、一般的に透過型スクリーン面に対して直交させる。よって、赤外光源の透過型スクリーンでの裏面反射光の撮像手段への入射量を少なくでき、検出系のＳ／Ｎ比を向上できるという効果を有する。
【００１６】
（６）また、本発明の座標入力システムは、上記（１）に記載の座標入力システムにおいて、前記指示手段の反射手段が、赤外光に対して選択性を持つ反射材であることを特徴とする。
【００１７】
上記構成によれば、光反射型指示具による赤外光以外の反射を抑制することができる。よって、位置検出とは無関係の透過型スクリーンに投写される画像光の反射を防ぐことができ、検出系のＳ／Ｎ比を向上できるという効果を有する。
【００１８】
（７）また、本発明の座標入力システムは、上記（１）に記載の座標入力システムにおいて、前記指示手段の反射手段が、赤外光を選択的に透過する光学フィルタと、光反射材とからなることを特徴とする。
【００１９】
上記構成によれば、光反射型指示具による赤外光以外の反射を抑制し、検出系のＳ／Ｎ比を向上できるという効果を、例えば、光学ガラスフィルタと鏡といった一般的な光学部品によって容易に実現することができる。
【００２４】
（８）また、本発明の座標入力システムは、上記（１）に記載の座標入力システムにおいて、前記赤外光投写手段が、該赤外光投写手段の点灯及び消灯のタイミングと、前記第一の撮像情報及び前記第二の撮像情報のフレームの切り替わりタイミングとを同期させる、赤外光源同期点灯制御手段を有することを特徴とする。
【００２５】
上記構成によれば、連続した２つのフレーム（単位画像）において、赤外光源が点灯、消灯した場合の撮像手段の画像を得ることができる。赤外光源の点灯時撮像手段が出力する画像情報と、消灯時の画像情報との差分を得るには、連続した２フレーム間の差分をとれば良い。したがって、離れた２フレーム間の差分をとるよりも、高速な処理が実現できるという効果を有し、更に差分処理に必要なフレームメモリであるＦＩＦＯの容量を最小限の１フレーム分に抑えることができる効果も有する。
【００２８】
（９）また、本発明の座標入力システムは、上記（１）に記載の座標入力システムにおいて、前記撮像情報処理手段が、前記赤外光投写手段の消灯時に前記撮像手段が出力する前記第二の画像情報の輝度レベルと所定のスレッショルドレベルとを比較する、外乱判別比較器を有することを特徴とする。
【００２９】
上記構成によれば、ある一定値以上の外乱がある場合、座標検出を禁止し、誤入力を事前に防ぐことができるという効果を有する。
【００３０】
（１０）また、本発明の座標入力装置は、画像光投写手段から投写された画像光が結像される透過型スクリーンに座標入力機能を与える座標入力装置において、
前記透過型スクリーンの背面に赤外光を投写する赤外光投写手段と、
前記透過型スクリーンの前面で反射手段を備える指示手段によって反射された赤外光を前記透過型スクリーンの背面から撮影する撮像手段と、
前記赤外光投写手段点灯時に前記撮像手段が出力する第一の撮像情報と、前記赤外光投写手段消灯時に前記撮像手段が出力する第二の撮像情報とを、前記画像光投写手段の投写画像のタイミングに同期して取得し、前記第一の撮像情報と前記第二の撮像情報との差分をとり、該差分を基に前記指示手段が指定する前記透過型スクリーン上の座標を求める撮像情報処理手段と、を有することを特徴とする。
【００３１】
上記構成によれば、指示手段には、光を反射する機能が備わっていれば良いので、電池や電子部品を内蔵する必要はない。例えば、ペンなど通常の筆記用具と同様な形状の先端に反射材を設けた形式とすることができ、通常の筆記用具と同様な形状と重量を実現できるので、使用者が手にした場合、違和感なく取り扱え、使い勝手が良い座標入力装置が得られ、効果的で効率的なプレゼンテーションが実現できるという効果を有する。
【００３２】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００３３】
（第１実施形態）
図１は、本発明に係わる座標入力システムの一実施形態を示す斜視図である。透過型スクリーン２上での座標入力機能に関して、光反射型指示具１、赤外光源３、ＣＣＤカメラ４、撮像情報処理回路５を有する。プロジェクター７は、例えば、液晶ライトバルブと投写光源と投写光学系を内蔵した液晶プロジェクターであり、透過型スクリーン２に画像光を結像させる手段である。
【００３４】
赤外光源３は、透過型スクリーン２の背面全体に不可視光である赤外光を投写する赤外光投写手段であり、例えば赤外波長ＬＥＤを用いる。複数個の赤外波長ＬＥＤをアレイ状に並べたものを使用することで、より十分な赤外光出力を得ることができる。なお、不可視光である赤外光を投写することで、可視光である画像光の干渉をさけることができる。
【００３５】
ＣＣＤカメラ４は、赤外光源３から放射された赤外光の光反射型指示具１による反射光を検出する為に、透過型スクリーン２の背面全体を撮像する撮像手段である。このＣＣＤカメラ４は、赤外光を検出するので赤外光に対して選択的な感度を持たせることが望ましく、例えば赤外通過フィルタを備えた２次元ＣＣＤが望ましい。
【００３６】
光反射型指示具１は、取扱者８が透過型スクリーン２の前面、つまり画像光を投写している背面と対向する面から透過型スクリーン２を指し示す為の指示具であり、少なくともその先端に光反射材を有する。例えば、指示具先端に金属めっきを施した指示具や、指示具先端に鏡を有する指示具、または全体が光を反射する金属で作られている指示具である。
【００３７】
図２は、本発明の座標入力システムの撮像情報処理回路の一例を示すブロック図であり、図３は図２のブロック図の動作を示すタイミングチャートである。これらも用いながら、図１の座標検出動作を以下に説明する。
【００３８】
取扱者８が光反射型指示具１により透過型スクリーン２の任意の位置を指示した場合、赤外光源３から放射された赤外光は透過型スクリーン２を通過し、光反射型指示具１で反射する。ここで透過型スクリーン２は、画像光を結像させる為に光を拡散させる機能を有している。したがって、光反射型指示具１で反射して再び透過型スクリーンを通過して戻ってくる赤外反射光は拡散してほぼ無指向性となる為、スポット状の赤外光としてＣＣＤカメラ４において撮像ができる。
【００３９】
ＣＣＤカメラ４の撮像情報である輝度信号１３を撮像情報処理回路５により処理して座標情報６を求める。なお図３では、光反射型指示具１により反射された赤外光は、ＣＣＤカメラの画素の水平（ライン）方向の複数画素分の幅を持ち、垂直方向には１画素分の幅を持つ画像として撮像された例を示しており、ＣＣＤの撮像情報である輝度信号１３は、スポット光の輝度成分１８を持つ。
【００４０】
撮像情報処理回路５においては、まず、スレッショルド電圧１７を持つ比較器１１で、外乱光の輝度成分１９を取り除き、波形整形輝度信号１４を得る。次に、座標情報生成保持回路１２でこの波形整形輝度信号１４から光スポット座標情報の検出及び保持を行う。座標情報はＣＣＤフレーム５０内における光スポットの出現タイミングから求めることができるが、光スポットは一定の大きさを持つために波形整形輝度信号１４のパルス幅は一定の幅を持つので、幅の中心のタイミングを求める必要がある。そこで、座標情報生成保持回路１２において、フレーム先頭から波形整形輝度信号１４の立ち上がりまでの時間ＴＡ６１とフレーム先頭から波形整形輝度信号１４の立ち下りまでの時間ＴＢ６２の平均値を求めるなどして、光スポットの中心のタイミングＴ６３を得る。ＴＡ６１とＴＢ６２は、波形整形輝度信号１４のタイミングにおいて、フレームタイミング発生回路１０が生成するフレーム内の時間情報を示す水平・垂直カウンタ信号１６を参照することによって求める。また、フレームタイミング発生回路１０が出力するフレーム同期信号１５によってＣＣＤカメラ４のフレームタイミングと水平・垂直カウンタ信号１６の同期をとっておく。
【００４１】
以上の様にして、光反射型指示具１の指示位置である座標情報６を得ることができる。
【００４２】
ここで、撮像手段としてＣＣＤカメラのかわりに２次元ＰＳＤセンサを用いることもできる。２次元ＰＳＤセンサは、受光した光スポットのＸ及びＹ方向の重心座標をアナログ出力するので、複雑な撮像情報処理回路なしに座標情報を得ることができる利点がある。
【００４３】
なお、本発明の座標入力システムは、背面投写型表示装置に広く適用することができる。箱型の筐体を持った背面投写型表示装置に適用した一例を図４を用いて以下に説明する。
【００４４】
図４は、本発明に係わる座標入力システムを備えた表示装置の一実施形態を示す斜視図である。背面投写型表示装置２０の透過型スクリーン２２上での座標入力機能に関して、光反射型指示具２１、赤外光源２３、ＣＣＤカメラ２４、撮像情報処理回路２５を内蔵する。また、表示装置としての機能に関し、プロジェクター２６、ミラー２８を介し、透過型スクリーン２２を有する。ミラー２８を設けることで、透過型スクリーン２２への投写距離を保ちながら背面投写型表示装置２０の奥行きを短くしている。
【００４５】
赤外光源２３及びＣＣＤカメラ２４を、背面投写型表示装置２０内部の下部からミラー２８を介して透過型スクリーン２２を見込むようにセッティングすることで、光反射型指示具２１の反射赤外光をＣＣＤカメラ２４で撮像することが可能になり、その撮像情報を撮像情報処理回路２５で処理することで、取扱者２７が透過型スクリーン２２上に指示する光反射型指示具２１の反射赤外光座標情報を得ることができる。また、内蔵するコンピューター２９と撮像情報処理回路２５を接続することで、反射型指示具２１によってコンピューター２９を操作することができる。
【００４６】
(第２実施形態）
図５は、本発明の座標入力システムの一実施形態を示している。
【００４７】
これは図１の座標入力システムにおいて、赤外光源の投写光軸３０が、透過型スクリーン２の面に対して直交しないものであり、説明しやすい様、スクリーン側面方向から見た平面図としている。
【００４８】
図５において、透過型スクリーン２上での座標入力機能に関しては、光反射型指示具１、赤外光源３、ＣＣＤカメラ４、撮像情報処理回路５を有し、座標情報６を得る。プロジェクター７は、例えば、液晶ライトバルブと投写光源と投写光学系を内蔵した液晶プロジェクターであり、透過型スクリーン２に画像光を結像させる手段である。
【００４９】
赤外光源３は、透過型スクリーン２の背面全体に不可視光である赤外光を投写する赤外光投写手段であり、例えば赤外波長ＬＥＤを用いる。複数個の赤外波長ＬＥＤをアレイ状に並べたものを使用することで、より十分な赤外光出力を得ることができる。なお、不可視光である赤外光を投写することで、可視光である画像光の干渉をさける。
【００５０】
ＣＣＤカメラ４は、赤外光源３から放射された赤外光の光反射指示具１による反射光を検出する為に、透過型スクリーン２の背面全体を撮像する撮像手段である。このＣＣＤカメラ４は、赤外光を検出するので赤外光に対して選択的な感度を持たせることが望ましく、例えば赤外通過フィルタを備えた２次元ＣＣＤが望ましい。
【００５１】
光反射型指示具１は、取扱者８が透過型スクリーン２の前面、つまり画像光を投写している背面と対向する面から透過型スクリーン２を指し示す為の指示具であり、少なくともその先端に光反射材を有する。例えば、指示具先端に金属めっきを施した指示具や、指示具先端に鏡を有する指示具、または全体が光を反射する金属で作られている指示具である。
【００５２】
赤外光源３から投写された赤外光の一部は、透過型スクリーン２の裏面で反射する。この反射光は、光反射型指示具１からの反射光のＳ／Ｎ比を低下させる為、座標検出上好ましくない。そこで、本実施形態は透過型スクリーン２による裏面反射光を低減することを目的としており、以下にその動作を説明する。
【００５３】
赤外光源の投写光軸３０を透過型スクリーン２の面と直交させた場合を考えてみると、透過型スクリーン２による裏面反射赤外光も透過型スクリーン２の面の直交方向に最大指向方向をもつことになるが、図５の様に、赤外光源の投写光軸３０が透過型スクリーン２の面と直交しない場合、透過型スクリーン２による裏面反射赤外光の指向特性３１の最大指向方向は、透過型スクリーン２の面の直交方向に対して角度差を持つ。ここで、ＣＣＤカメラの入射光軸３２は、撮像画像に台形歪みを生じない様、透過型スクリーン２に対してほぼ直交している。したがって、裏面反射赤外光がＣＣＤカメラ４に直接入射しないので、検出系のＳ／Ｎ比を向上することができる。
【００５４】
なお、赤外光源の投写光軸３０を投写型スクリーン２の面と直交しない様に設定することによる、光反射型指示具１からの反射光の指向特性への影響はほとんど無い。これは、投写型スクリーン２の光拡散性による為であり、光反射型指示具の反射光の指向特性３３は、ほぼ無指向性のままである。
【００５５】
（第３実施形態）
図６は、本発明に係る座標入力システムの一実施形態を示している。
【００５６】
図１の座標入力システムにおいて、ＣＣＤカメラの入射光軸３４が、透過型スクリーン２の面に対して直交しないものであり、説明しやすい様、スクリーン側面方向から見た平面図としている。
【００５７】
図６において、透過型スクリーン２上での座標入力機能に関しては、光反射型指示具１、赤外光源３、ＣＣＤカメラ４、撮像情報処理回路５を有し、座標情報６を得る。プロジェクター７は、例えば、液晶ライトバルブと投写光源と投写光学系を内蔵した液晶プロジェクターであり、透過型スクリーン２に画像光を結像させる手段である。
【００５８】
赤外光源３は、透過型スクリーン２の背面全体に不可視光である赤外光を投写する赤外光投写手段であり、例えば赤外波長ＬＥＤを用いる。複数個の赤外波長ＬＥＤをアレイ状に並べたものを使用することで、より十分な赤外光出力を得ることができる。なお、不可視光である赤外光を投写することで、可視光である画像光の干渉をさける。
【００５９】
ＣＣＤカメラ４は、赤外光源３から放射された赤外光の光反射指示具１による反射光を検出する為に、透過型スクリーン２の背面全体を撮像する撮像手段である。このＣＣＤカメラ４は、赤外光を検出するので赤外光に対して選択的な感度を持たせることが望ましく、例えば赤外通過フィルタを備えた２次元ＣＣＤが望ましい。
【００６０】
光反射型指示具１は、取扱者８が透過型スクリーン２の前面、つまり画像光を投写している背面と対向する面から透過型スクリーン２を指し示す為の指示具であり、少なくともその先端に光反射材を有する。例えば、指示具先端に金属めっきを施した指示具や、指示具先端に鏡を有する指示具、または全体が光を反射する金属で作られている指示具である。
【００６１】
本実施形態は、ＣＣＤカメラ４に入射する、透過型スクリーン２による裏面反射光を低減できることに特徴があるが、その理由を以下に説明すると、赤外光源３とプロジェクター７の投写光軸は、透過型スクリーンの面と直交している為、それぞれの裏面反射光の最大指向方向もほぼ透過型スクリーン２の面と直交する。よって、ＣＣＤカメラの入射光軸３４が透過型スクリーン２の面と直交しないことによって、直交する場合と比べて、赤外光源３の裏面反射赤外光とプロジェクター７の画像光の裏面反射光のＣＣＤカメラ４への入射量は低減され、光反射型指示具の赤外反射光のＳ／Ｎ比を向上することができる。
【００６２】
なお、撮像手段の入射光軸３４を透過型スクリーン２の面と直交しない様に設定することで、ＣＣＤカメラ４が透過型スクリーン２を撮像した画像情報に台形歪みが生ずるが、撮像情報処理回路５において座標補正を行うことで、台形歪みの影響を除去することができる。
【００６３】
（第４実施形態）
図７は、本発明にかかる座標入力システムの光反射型指示具の一実施形態を示している。
【００６４】
光反射型指示具１の先端に、赤外光反射膜３５を設ける。これは、赤外光の波長領域にに対して選択性を持つ金属薄膜である。
【００６５】
赤外光反射膜３５により、赤外光が選択的に反射される。透過型スクリーン面に投写される光には、赤外光の他に可視光である画像光があるが、画像光の反射を抑制するので、光反射型指示具の赤外反射光のＳ／Ｎ比を向上することができる。
【００６６】
なお、金属薄膜以外でも、誘電体多層膜等、赤外線に対して選択性を持つ反射材であれば同様な効果を得ることができる。
【００６７】
（第５実施形態）
図８は、本発明に係る座標入力システムの光反射型指示具の一実施形態を示している。
【００６８】
光反射型指示具１の先端に、赤外透過フィルタ３６と、鏡３７を設けている。赤外透過フィルタは、赤外光の波長領域に対して選択性に透過性を持つ光学フィルタである。
【００６９】
赤外透過フィルタ３６に入射した光は、鏡３７で反射して、再び赤外透過フィルタ３６を透過して出射するので、赤外光を選択的に反射する指示具として機能する。透過型スクリーン裏面から投写される光には、赤外光の他に可視光である画像光もあるが、画像光の反射は抑制されるので、光反射型指示具の赤外反射光のＳ／Ｎ比を向上することができる。
【００７０】
本実施形態においては、赤外透過フィルタとして、ガラスフィルタやプラスチックフィルタを使用することができる。反射型の薄膜フィルタに比べて、スクリーンとの摩擦がある場合でも、膜剥離による特性変化がない為、指示具先端に用いるのに優れている。また、赤外透過フィルタと鏡という一般的な光学部品によって、容易に機能を実現することができる。
【００７１】
(第６実施形態）
図９は、本発明にかかる座標入力システムの一実施形態を示している。
【００７２】
これは、図１の座標入力システムにおいて、ＣＣＤカメラ４に、赤外透過フィルタを設けると同時に、赤外光源を複数設け、かつ赤外光源の投写光軸が、透過型スクリーン２の面に対して直交しないものであり、説明しやすい様、スクリーン側面方向から見た平面図としている。
【００７３】
図９において、透過型スクリーン２上での座標入力機能に関しては、光反射型指示具１、赤外光源３８Ａ及び赤外光源３８Ｂ、ＣＣＤカメラ４、撮像情報処理回路５を有し、座標情報６を得る。プロジェクター７は、例えば、液晶ライトバルブと投写光源と投写光学系を内蔵した液晶プロジェクターであり、透過型スクリーン２に画像光を結像させる手段である。
【００７４】
赤外光源３８Ａ及び赤外光源３８Ｂは、透過型スクリーン２の背面全体に不可視光である赤外光を投写する赤外光投写手段であり、例えば赤外波長ＬＥＤを用いる。複数個の赤外波長ＬＥＤをアレイ状に並べたものを使用することで、より十分な赤外光出力を得ることができる。なお、不可視光である赤外光を投写することで、可視光である画像光の干渉をさける。
【００７５】
ＣＣＤカメラ４は、赤外光源３から放射された赤外光の光反射指示具１による反射光を検出する為に、透過型スクリーン２の背面全体を撮像する撮像手段である。このＣＣＤカメラ４は、赤外光を検出するので赤外光に対して選択的な感度を持たせる為に、赤外透過フィルタ３９を備える。
【００７６】
光反射型指示具１は、取扱者８が透過型スクリーン２の前面、つまり画像光を投写している背面と対向する面から透過型スクリーン２を指し示す為の指示具であり、少なくともその先端に光反射材を有する。例えば、指示具先端に金属めっきを施した指示具や、指示具先端に鏡を有する指示具、または全体が光を反射する金属で作られている指示具である。
【００７７】
ここで、本実施形態の１つの特徴である、赤外光源３８Ａ及び赤外光源３８Ｂという、複数の赤外光源を有することについて説明する。
【００７８】
赤外光源は、光反射型指示具１を検出する為に、透過型スクリーン２の面全体に対して、できる限り均一に赤外光を投写する必要がある。赤外光源がひとつの場合を考えると、光源の輝度分布は、一般に光源の投写光軸の中心がもっとも輝度が高く、周辺の輝度が低い為、透過型スクリーン２の周辺に十分赤外光を投写できない場合がある。そこで、本実施形態では、赤外光源３８Ａと赤外光源３８Ｂの複数の光源を用いて、透過型スクリーン２の裏面のそれぞれ異なる領域に赤外光を投写することによって、より均一な赤外光投写を実現する。
【００７９】
なお、本実施形態においては、赤外光源が２つの例を説明したが、３つ以上設けても良い。赤外投写光の均一性が更に向上する効果がある。
【００８０】
また、本実施形態の１つの特徴である、複数の赤外光源の投写光軸の透過型スクリーンに対する入射角度がそれぞれ異なることについて説明する。
【００８１】
赤外光源の投写光軸を透過型スクリーン２の面と直交させた場合を考えてみると、透過型スクリーン２による裏面反射赤外光も透過型スクリーン２の面の直交方向に最大指向方向をもつことになる。ＣＣＤカメラの入射光軸３２は、撮像画像に台形歪みを生じない様、透過型スクリーン２に対して直交させる。よって、裏面反射光がＣＣＤカメラ４に入射しやすくなる。したがって、赤外光源の投写光軸は、透過型スクリーン２に対して直交せず、できる限り透過型スクリーン２に対して斜めに入射することが望ましい。
【００８２】
赤外光源３８Ａと赤外光源３８Ｂで、透過型スクリーン２の裏面に赤外光を投写する場合、それぞれの光軸の透過型スクリーン２に対する入射角度を変える、例えば図９の様に赤外光源３８Ａの投写光軸３０Ａと赤外光源３８Ｂの投写光軸３０Ｂが交差する様に光軸を設定することで、透過型スクリーンに対してより斜めに赤外光を投写することができる。この時、透過型スクリーン２による赤外光源３８Ａの裏面反射光の指向特性３１Ａと、赤外光源３８Ｂの裏面反射光の指向特性３１Ｂは、図９の様に、透過型スクリーン２の面の直交方向に対して大きく角度差をもち、透過型スクリーン２の面の直交方向への反射光の強度を低く押さえることができる。したがって、裏面反射赤外光がＣＣＤカメラ４に直接入射しないので、検出系のＳ／Ｎ比を向上することができる。
【００８３】
さらに、本実施形態の１つの特徴である、ＣＣＤカメラの入射光軸３２上に設けた赤外通過フィルタ３９について説明する。
【００８４】
この赤外通過フィルタ３９は、赤外波長領域の光を選択的に通過させる光学フィルタであり、例えば、ガラスフィルタである。勿論、プラスチックフィルタや、金属薄膜フィルタ、もしくは誘電体多層膜フィルタでもかまわない。この赤外透過フィルタ３９に入射する光には、可視光である画像光の透過型スクリーン２での裏面反射光や、透過型スクリーン２の表面から透過する外乱光等が含まれる。赤外透過フィルタ３９によって、これら座標検出とは関係のない非赤外光の外乱光を光学的に除去し、検出系のＳ／Ｎ比を向上することができる。
【００８５】
また、赤外透過フィルタ３９に帯域通過フィルタを用い、その光透過波長領域と、光反射型指示具１が選択的に反射する赤外光の波長領域とを、一致させることによって、座標検出とは関係のない赤外光波長の外乱光を光学的に除去することができ、検出系のＳ／Ｎ比を向上することができる。
【００８６】
（第７実施形態）
図１０は、本発明にかかるの座標入力システムの一実施形態を示すブロック図である。
【００８７】
撮像手段として、ＣＣＤカメラ４を用いる。
【００８８】
撮像情報処理回路４６は、ＣＣＤカメラ４の出力情報から座標情報６を生成する処理回路であり、Ａ／Ｄコンバーター４０、ＦＩＦＯ４１、減算器４２、絶対値回路４３、比較器４４、座標情報生成保持回路４５、フレームタイミング発生回路４９を含む。Ａ／Ｄコンバーター４０は、ＣＣＤ輝度信号５２をアナログ信号からデジタル信号へ変換する。ＦＩＦＯ４１は、ＣＣＤの１フレーム分の容量を持つ先読み先出しメモリで、デジタル信号である輝度信号５３を１フレーム分遅延するのに用いる。座標情報生成保持回路４５では座標情報の生成と保持を行う。また、フレームタイミング発生回路４９が出力するフレーム同期信号１５によってＣＣＤカメラ４のフレームタイミングと水平・垂直カウンタ信号１６の同期をとる。
【００８９】
図１１は、図１０のブロック図の動作を示すタイミングチャートである。また、この時の動作を説明する為に、赤外光源点灯時のＣＣＤ撮像画像の一例を図１２に、赤外光源消灯時のＣＣＤ撮像画像の一例を図１３に示す。これらにより、本実施形態である図１０の動作説明を以下に行う。
【００９０】
赤外光源点灯時のフレームの画像７５及び赤外光源消灯時のフレームの画像７６に現れている外乱光７１は、例えば投写型スクリーンに対する直射日光の差し込みであり、光反射型指示具によるスポット光７０を検出する上で外乱となる。ここで、外乱光７１は直射日光などほぼ静止状態であるので複数フレームにわたり出現するのに対し、スポット光７０は、赤外光源点灯時のフレームのみに現れ、赤外光源消灯時のフレームの画像７６には現れない。ＣＣＤカメラ４の出力である輝度信号５３にはこれらスポット光の輝度成分７２と外乱光の輝度成分７３が現れている。
【００９１】
赤外光源状態５６を、連続するＣＣＤフレームごとに点灯、消灯を繰り返す様にするならば、連続するフレームの輝度信号５３の差分をとることで、連続するフレームに共に現れる外乱光の輝度成分７３を除去し、１フレームおきに現れるスポット光の輝度成分７２を抽出することができる。１フレーム遅延輝度信号５８と遅延の無い輝度信号５３とを減算器４４に入力し、差分輝度信号５４を得る。
【００９２】
その差分輝度信号５４の絶対値を絶対値回路４３により求め、差分輝度信号５４の負の値の成分を正の値に変換する。そして絶対値回路出力信号５５を比較器４４により正の値のスレッショルド電圧６０で波形整形すると波形整形された比較器出力信号５９が得られる。そして、座標情報生成保持回路４５において、フレームタイミング発生回路４９が生成する水平・垂直カウンタ信号１６を比較器出力信号５９が変化するタイミングで参照することによって得た時間情報を座標情報６へ変換する。なお、反射型指示具による反射スポットは一定の大きさを持つために、スポット光の中心を検出するには、比較器出力信号５９の輝度成分の時間幅の中心を求める必要がある。そこで、座標情報生成保持回路４５において、フレーム先頭から比較器出力信号５９の立ち上がりまでの時間ＴＡ７７とフレーム先頭から比較器出力信号５９の立ち下りまでの時間ＴＢ７８の平均値を求めるなどして、光スポットの中心のタイミングＴ７９を得る。
【００９３】
以上の様に、撮像情報処理回路４６において、赤外光源の点灯時と消灯時の輝度信号の差分をとることにより、位置検出とは全く関係のない外乱光の影響を除去することができる。
【００９４】
（第８実施形態）
図１０及び図１１には、本発明に係る座標入力システムの一実施形態が含まれている。
【００９５】
即ち、ＣＣＤフレームタイミングを示す信号、ここでは２フレーム分の時間を１周期とし、フレーム切り替わりに同期して状態が変化する信号であるフレーム倍周期信号５１によって、光反射型指示具を検出する為の赤外光源の点灯制御を行う赤外光源同期点灯制御回路４７を制御する。これによりＣＣＤフレームの切り替わりに同期して赤外光源状態５６が点灯または消灯へと変化する。
【００９６】
この場合、連続したフレームにおいて、赤外光源が点灯、消灯した場合のＣＣＤカメラ４の画像情報を得ることができる。赤外光源の点灯時の画像情報と、消灯時の画像情報との差分を得る場合、連続した２フレーム間の差分をとれば良いので、離れた２フレーム間の差分をとるよりも、高速な処理が実現できる。
【００９７】
（第９実施形態）
図１０及び図１１には、本発明に係る座標入力システムの一実施形態が含まれている。
【００９８】
即ち、 ＣＣＤフレームタイミングを示す信号、ここでは２フレーム分の時間を１周期とし、フレーム切り替わりに同期して状態が変化する信号であるフレーム倍周期信号５１によって、 プロジェクターの投写映像フレーム同期制御回路４８を制御する。これによりＣＣＤフレームと画像表示用の映像フレーム５７が同期する。
【００９９】
このとき、画像光はその連続したフレーム間で強い相関性を持っている、つまり連続するフレームの画像はほぼ同一である場合が多い為に、連続したフレームの画像情報間の差分をとることによって、位置座標検出において外乱となる画像光のスクリーン裏面の影響をほとんど除去することができる。
【０１００】
（第１０実施形態）
図１４は、本発明にかかる座標入力システムの一実施形態を示すブロック図である。
【０１０１】
撮像手段としてＣＣＤカメラ４を用いる。
【０１０２】
撮像情報処理回路８２は、座標検出回路８１と外乱判別比較器８０とフレームタイミング発生回路４９から成る。座標検出回路８１は、ＣＣＤカメラ４の出力情報である輝度信号９１と、ＣＣＤフレーム内のタイミングを示す水平・垂直カウンタ信号１６から座標情報６を生成及び保持する回路である。フレームタイミング発生回路４９は、ＣＣＤフレームのタイミングを発生する回路で、フレーム同期信号１５によってＣＣＤカメラ４のフレームタイミングと水平・垂直カウンタ信号１６の同期をとる。また、２フレーム分の時間を１周期とし、フレーム切り替わりに同期して状態が変化する信号であるフレーム倍周期信号５１で赤外光源同期点灯制御回路４７を制御することによって、フレームの切り替わりに同期して赤外光を点滅させる。
【０１０３】
外乱判別比較器８０は、外乱判別手段であり、ＣＣＤカメラ４の出力である輝度信号９１から外乱光のレベルを判定し、ある一定以上の外乱光が存在する場合、外乱判別信号９２により、座標検出回路８１に対して座標検出動作を禁止させる。
【０１０４】
図１５は、図１４のブロック図の動作を示すタイミングチャートであり、これを用いて図１４の動作説明を以下に行う。
【０１０５】
フレーム倍周期信号５１によって赤外光源同期点灯制御手段回路４７を制御する為、赤外光源状態５６は、フレーム毎に点灯、消灯を繰り返す。ここで、赤外光源が消灯時の輝度成分は光反射型指示具からの反射光によるものではないので外乱成分である。これを検出する為に、外乱判別比較器８０の輝度レベル判定動作９０は赤外光源消灯フレームにおいて有効にする。
【０１０６】
赤外光源点灯フレームにおける輝度信号９１の光反射型指示具によるスポット光の輝度成分９７は輝度レベル判定動作９０が無効である為に無視されるが、赤外光源消灯フレームにおける外乱光の輝度成分９８がある場合、外乱判別比較器８０は、所定のスレッショルド電圧９９を超える場合に外乱を検出したものとして、外乱判別信号９２を有効にし、座標検出回路８１へ伝達することで座標検出動作を禁止させる。外乱判別信号９２は、一度外乱光の輝度成分９８を検出すると少なくとも輝度レベル判別動作９０が無効から有効に変化するまで状態を保持し、確実に外乱による誤動作を防ぐ。
【０１０７】
以上の様に、赤外光源の消灯時に撮像手段が出力する画像情報の輝度レベルが設定した判定レベルを超えた場合、座標検出を禁止する、外乱判別比較器を有することで、ある一定以上の外乱がある場合、座標検出を禁止し、誤入力を事前に防ぐことができる。
【０１０８】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
【０１０９】
（１） プロジェクターは、液晶ライトバルブを内蔵した液晶プロジェクターの例で説明したが、マイクロマシン技術を応用したミラーデバイスを用いた光変調手段を内蔵したプロジェクターや、ＣＲＴを用いたプロジェクター等、いかなるプロジェクターを用いてもよい。
【０１１０】
（２） 座標入力システムとして実施形態を説明したが、これら座標入力技術は、投写型表示装置のスクリーンに座標入力機能を与える技術であり、そのまま座標入力装置に適用できる技術である。
【０１１１】
【発明の効果】
以上述べた様に、画像表示用の透過型スクリーンに座標入力機能を与える座標入力システムにおいて、透過型スクリーンの背面に赤外光を投写する赤外光投写手段と、赤外光投写手段から投写された赤外光を反射する光反射手段を先端に備える指示手段と、透過型スクリーンの前面から前記指示手段によって反射された赤外光を投写型スクリーンの背面から撮影する撮像手段と、撮像手段からの出力画像信号から指示手段が指定する透過型スクリーン上の座標を求める撮像情報処理手段とを有する座標入力システムとすることで、位置指示具に電池や電子部品を内蔵する必要がなく、使い勝手の良い座標入力システムを実現できる。
【図面の簡単な説明】
【図１】本発明にかかる座標入力システムの一実施形態を示す斜視図。
【図２】本発明にかかる座標入力システムの撮像情報処理回路の一例を示すブロック図。
【図３】本発明にかかる座標入力システムの撮像情報処理回路の一例の動作を示すタイミングチャート。
【図４】本発明にかかる座標入力システムの一実施形態を示す斜視図。
【図５】本発明にかかる座標入力システムの一実施形態を示す図。
【図６】本発明にかかる座標入力システムの一実施形態を示す図。
【図７】本発明にかかる座標入力システムの光反射型指示具の一実施形態を示す図。
【図８】本発明にかかる座標入力システムの光反射型指示具の一実施形態を示す図。
【図９】本発明にかかる座標入力システムの一実施形態を示す図。
【図１０】本発明にかかる座標入力システムの一実施形態を示すブロック図。
【図１１】本発明にかかる座標入力システムの一実施形態の動作を示すタイミングチャート。
【図１２】本発明にかかる座標入力システムを説明する為の赤外光源点灯時のＣＣＤ撮像画像の一例を示す図。
【図１３】本発明にかかる座標入力システムを説明する為の赤外光源消灯時のＣＣＤ撮像画像の一例を示す図。
【図１４】本発明にかかる座標入力システムの一実施形態を示すブロック図。
【図１５】本発明にかかる座標入力システムの一実施形態の動作を示すタイミングチャート。
【図１６】従来の座標入力システムの一例を示す図。
【符号の説明】
１．光反射型指示具
２．透過型スクリーン
３．赤外光源
４．ＣＣＤカメラ
５．撮像情報処理回路
６．座標情報
７．プロジェクター
８．取扱者
１０．フレームタイミング発生回路
１１．比較器
１２．座標情報生成保持回路
１３．輝度信号
１４．波形整形輝度信号
１５．フレーム同期信号
１６．水平・垂直カウンタ信号
１７．スレッショルド電圧
１８．スポット光の輝度成分
１９．外来光の輝度成分
２０．背面投写型表示装置
２１．光反射型指示具
２２．透過型スクリーン
２３．赤外光源
２４．ＣＣＤカメラ
２５．撮像情報処理回路
２６．プロジェクター
２７．取扱者
２８．ミラー
２９．コンピューター
３０．赤外光源の投写光軸
３０Ａ．赤外光源３８Ａの投写光軸
３０Ｂ．赤外光源３８Ｂの投写光軸
３１．裏面反射赤外光の指向特性
３１Ａ．赤外光源３８Ａの裏面反射赤外光の指向特性
３１Ｂ．赤外光源３８Ｂの裏面反射赤外光の指向特性
３２．ＣＣＤカメラの入射光軸
３３．光反射型指示具の反射光の指向特性
３４．ＣＣＤカメラの入射光軸
３５．赤外光反射膜
３６．赤外透過フィルタ
３７．鏡
３８Ａ．赤外光源
３８Ｂ．赤外光源
３９．赤外透過フィルタ
４０．Ａ／Ｄコンバーター
４１．ＦＩＦＯ
４２．減算器
４３．絶対値回路
４４．比較器
４５．座標情報生成保持回路
４６．撮像情報処理回路
４７．赤外光源同期点灯制御回路
４８．投写映像フレーム同期制御回路
４９．フレームタイミング発生回路
５０．ＣＣＤフレーム
５１．フレーム倍周期信号
５２．ＣＣＤ輝度信号
５３．輝度信号
５４．差分輝度信号
５５．絶対値回路出力信号
５６．赤外光源状態
５７．映像フレーム
５８．１フレーム遅延輝度信号
５９．比較器出力信号
６０．スレッショルド電圧
６１．ＴＡ
６２．ＴＢ
６３．Ｔ
７０．スポット光
７１．外乱光
７２．スポット光の輝度成分
７３．外乱光の輝度成分
７５．赤外光源点灯時のフレームの画像
７６．赤外光源消灯時のフレームの画像
７７．ＴＡ
７８．ＴＢ
７９．Ｔ
８０．外乱判別比較器
８１．座標検出回路
８２．撮像情報処理回路
９０．輝度レベル判定動作
９１．輝度信号
９２．外乱判別信号
９７．スポット光の輝度成分
９８．外乱光の輝度成分
９９．スレッショルド電圧
１０１．発光型指示器
１０２．透過型スクリーン
１０３．位置検出装置
１０４．投写管

Claims (10)

  1. 画像光投写手段から投写された画像光が結像される透過型スクリーンに座標入力機能を与える座標入力システムにおいて、
    前記透過型スクリーンの背面に赤外光を投写する赤外光投写手段と、
    前記透過型スクリーンの前面で反射手段を備える指示手段によって反射された赤外光を前記透過型スクリーンの背面から撮影する撮像手段と、
    前記赤外光投写手段点灯時に前記撮像手段が出力する第一の撮像情報と、前記赤外光投写手段消灯時に前記撮像手段が出力する第二の撮像情報とを、前記画像光投写手段の投写画像のタイミングに同期して取得し、前記第一の撮像情報と前記第二の撮像情報との差分をとり、該差分を基に前記指示手段が指定する前記透過型スクリーン上の座標を求める撮像情報処理手段と、を有することを特徴とする座標入力システム。
  2. 前記赤外光投写手段から前記透過型スクリーンの背面に投写される赤外光の投写光軸が、前記透過型スクリーンの面と直交しないことを特徴とする請求項１記載の座標入力システム。
  3. 前記撮像手段の光軸が、前記透過型スクリーンの面と直交しないことを特徴とする請求項１記載の座標入力システム。
  4. 前記赤外光投写手段が、前記透過型スクリーンの背面のそれぞれ異なる領域に赤外光を投写する複数の赤外光源からなることを特徴とする請求項１記載の座標入力システム。
  5. 前記複数の赤外光源のそれぞれの投写光軸が前記透過型スクリーンの面と直交せず、かつ前記投写光軸の前記透過型スクリーンの面に対する入射角度が、それぞれ異なることを特徴とする請求項４記載の座標入力システム。
  6. 前記指示手段の反射手段が、赤外光に対して選択性を持つ反射材であることを特徴とする請求項１記載の座標入力システム。
  7. 前記指示手段の反射手段が、赤外光を選択的に透過する光学フィルタと、光反射材とからなることを特徴とする請求項１記載の座標入力システム。
  8. 前記赤外光投写手段が、該赤外光投写手段の点灯及び消灯のタイミングと、前記第一の撮像情報及び前記第二の撮像情報のフレームの切り替わりタイミングとを同期させる、赤外光源同期点灯制御手段を有することを特徴とする請求項１記載の座標入力システム。
  9. 前記撮像情報処理手段が、前記赤外光投写手段の消灯時に前記撮像手段が出力する前記第二の撮像情報の輝度レベルと所定のスレッショルドレベルとを比較する、外乱判別比較器を有することを特徴とする請求項１記載の座標入力システム。
  10. 画像光投写手段から投写された画像光が結像される透過型スクリーンに座標入力機能を与える座標入力装置において、
    前記透過型スクリーンの背面に赤外光を投写する赤外光投写手段と、
    前記透過型スクリーンの前面で反射手段を備える指示手段によって反射された赤外光を前記透過型スクリーンの背面から撮影する撮像手段と、
    前記赤外光投写手段点灯時に前記撮像手段が出力する第一の撮像情報と、前記赤外光投写手段消灯時に前記撮像手段が出力する第二の撮像情報とを、前記画像光投写手段の投写画像のタイミングに同期して取得し、前記第一の撮像情報と前記第二の撮像情報との差分をとり、該差分を基に前記指示手段が指定する前記透過型スクリーン上の座標を求める撮像情報処理手段と、を有することを特徴とする座標入力装置。
JP31373998A 1997-11-11 1998-11-04 座標入力システム及び座標入力装置 Expired - Fee Related JP3794180B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP31373998A JP3794180B2 (ja) 1997-11-11 1998-11-04 座標入力システム及び座標入力装置
US09/186,373 US6339748B1 (en) 1997-11-11 1998-11-05 Coordinate input system and display apparatus
TW087118614A TW396318B (en) 1997-11-11 1998-11-09 Coordinate input system and the display device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-309096 1997-11-11
JP30909697 1997-11-11
JP31373998A JP3794180B2 (ja) 1997-11-11 1998-11-04 座標入力システム及び座標入力装置

Publications (2)

Publication Number Publication Date
JPH11224160A JPH11224160A (ja) 1999-08-17
JP3794180B2 true JP3794180B2 (ja) 2006-07-05

Family

ID=26565823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31373998A Expired - Fee Related JP3794180B2 (ja) 1997-11-11 1998-11-04 座標入力システム及び座標入力装置

Country Status (3)

Country Link
US (1) US6339748B1 (ja)
JP (1) JP3794180B2 (ja)
TW (1) TW396318B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101481082B1 (ko) * 2013-10-11 2015-01-13 윤영기 투과 스크린을 이용한 적외선 터치 시스템 및 그 방법
CN112634675A (zh) * 2021-01-05 2021-04-09 青岛黄海学院 一种用于经济学的展示装置

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US8482534B2 (en) 1995-06-29 2013-07-09 Timothy R. Pryor Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7614008B2 (en) * 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
JP2000242408A (ja) * 1998-12-04 2000-09-08 Canon Inc 座標補正装置、座標補正用パラメータ算出装置、座標補正方法、座標補正用パラメータ算出方法、及び座標補正制御プログラムを格納した記憶媒体、及び座標補正用パラメータ算出プログラムを格納した記憶媒体
US6777663B2 (en) * 1999-05-07 2004-08-17 Intel Corporation Enhanced Photocell with sample and hold amplifier
US6545670B1 (en) * 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
JP2001075736A (ja) * 1999-09-06 2001-03-23 Canon Inc 座標入力装置
JP2001075737A (ja) * 1999-09-06 2001-03-23 Canon Inc 座標入力装置及びその方法、コンピュータ可読メモリ
JP3905670B2 (ja) * 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US8482535B2 (en) * 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
US8576199B1 (en) 2000-02-22 2013-11-05 Apple Inc. Computer control systems
JP3620397B2 (ja) * 2000-03-28 2005-02-16 セイコーエプソン株式会社 指示位置検出システム、プレゼンテーションシステムおよび情報記憶媒体
JP4532664B2 (ja) * 2000-04-07 2010-08-25 キヤノン株式会社 座標入力装置、座標入力方法、情報表示システム及び記憶媒体
ATE453147T1 (de) * 2000-07-05 2010-01-15 Smart Technologies Ulc Verfahren für ein kamerabasiertes berührungssystem
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6775014B2 (en) * 2001-01-17 2004-08-10 Fujixerox Co., Ltd. System and method for determining the location of a target in a room or small area
US20080024463A1 (en) * 2001-02-22 2008-01-31 Timothy Pryor Reconfigurable tactile control display applications
US20080088587A1 (en) * 2001-02-22 2008-04-17 Timothy Pryor Compact rtd instrument panels and computer interfaces
JP4709407B2 (ja) * 2001-03-23 2011-06-22 株式会社リコー 画像指示手段の位置検出方法、該方法に用いられる画像投影装置及び画像制御装置
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2003108305A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
US20050117073A1 (en) * 2002-03-22 2005-06-02 Payne Roger A. Interactive video system
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20040070616A1 (en) * 2002-06-02 2004-04-15 Hildebrandt Peter W. Electronic whiteboard
US20040001144A1 (en) 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
US7358963B2 (en) 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
US20040070563A1 (en) * 2002-10-10 2004-04-15 Robinson Ian Nevill Wearable imaging device
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US8508508B2 (en) * 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
JP3849654B2 (ja) * 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7256772B2 (en) 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
US6811267B1 (en) * 2003-06-09 2004-11-02 Hewlett-Packard Development Company, L.P. Display system with nonvisible data projection
WO2005003856A1 (ja) * 2003-07-03 2005-01-13 Kimoto Co., Ltd. 透過型スクリーン
US7137710B2 (en) * 2003-07-28 2006-11-21 Hewlett-Packard Development Company, L.P. Projection system
US7649527B2 (en) * 2003-09-08 2010-01-19 Samsung Electronics Co., Ltd. Image display system with light pen
JP4136858B2 (ja) * 2003-09-12 2008-08-20 キヤノン株式会社 位置検出装置、及び情報入力装置
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
EP1676442A2 (en) * 2003-10-24 2006-07-05 Reactrix Systems, Inc. Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US20050239525A1 (en) * 2004-04-21 2005-10-27 Aruze Corp. Gaming machine
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US20080129707A1 (en) * 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US20060028457A1 (en) * 2004-08-08 2006-02-09 Burns David W Stylus-Based Computer Input System
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
US7359564B2 (en) * 2004-10-29 2008-04-15 Microsoft Corporation Method and system for cancellation of ambient light using light frequency
EP1807162A2 (en) * 2004-11-05 2007-07-18 Mattel, Inc. Multi-user touch-responsive entertainment device
US8508710B2 (en) * 2004-12-02 2013-08-13 Hewlett-Packard Development Company, L.P. Display panel
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
JP3934658B2 (ja) * 2005-07-28 2007-06-20 株式会社コナミデジタルエンタテインメント 位置検出システム
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
DE102005042220A1 (de) * 2005-09-05 2007-03-15 Röhm Gmbh Anordnung zur Rückprojektion von Strahlung, Verfahren zur Herstellung der Anordnung und Verwendung eines Rückprojektionsmediums
US7294815B2 (en) * 2005-09-06 2007-11-13 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for generating positional and orientation information of an object
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US8077147B2 (en) * 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US7630002B2 (en) * 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
JP4797752B2 (ja) * 2006-03-31 2011-10-19 株式会社デンソー 移動体用操作物体抽出装置
JP2007334762A (ja) * 2006-06-16 2007-12-27 Shimadzu Corp ヘッドモーショントラッカ装置
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
EP2122416B1 (en) * 2007-02-15 2018-07-18 Qualcomm Incorporated Enhanced input using flashing electromagnetic radiation
WO2008124820A1 (en) * 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
US8115753B2 (en) * 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
JP2009043139A (ja) * 2007-08-10 2009-02-26 Mitsubishi Electric Corp 位置検出装置
CA2697856A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
AU2008280953A1 (en) * 2007-08-30 2009-03-19 Next Holdings Ltd Optical touchscreen with improved illumination
EP2188737A4 (en) 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US8004502B2 (en) * 2007-10-05 2011-08-23 Microsoft Corporation Correcting for ambient light in an optical touch-sensitive device
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8159682B2 (en) * 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US20090213093A1 (en) * 2008-01-07 2009-08-27 Next Holdings Limited Optical position sensor using retroreflection
US8405636B2 (en) * 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20090278794A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System With Controlled Lighting
US20090277697A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Pen Tool Therefor
US8902193B2 (en) * 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
EP2144189A3 (en) * 2008-07-10 2014-03-05 Samsung Electronics Co., Ltd. Method for recognizing and translating characters in camera-based image
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
CN102232209A (zh) * 2008-10-02 2011-11-02 奈克斯特控股有限公司 解决触摸检测系统中的多点触摸的立体光学传感器
US8339378B2 (en) * 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US20100225588A1 (en) * 2009-01-21 2010-09-09 Next Holdings Limited Methods And Systems For Optical Detection Of Gestures
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
JP5553546B2 (ja) * 2009-07-07 2014-07-16 キヤノン株式会社 画像投影装置、及びその制御方法
US8416206B2 (en) 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
KR20120058594A (ko) 2009-09-01 2012-06-07 스마트 테크놀러지스 유엘씨 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US20110221666A1 (en) * 2009-11-24 2011-09-15 Not Yet Assigned Methods and Apparatus For Gesture Recognition Mode Control
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
EP2507692A2 (en) * 2009-12-04 2012-10-10 Next Holdings Limited Imaging methods and systems for position detection
US8502789B2 (en) 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
WO2011098654A1 (en) 2010-02-09 2011-08-18 Multitouch Oy Interactive display
US20110234542A1 (en) * 2010-03-26 2011-09-29 Paul Marson Methods and Systems Utilizing Multiple Wavelengths for Position Detection
TW201201079A (en) * 2010-06-23 2012-01-01 Pixart Imaging Inc Optical touch monitor
US9329726B2 (en) 2012-10-26 2016-05-03 Qualcomm Incorporated System and method for capturing editable handwriting on a display
US9465488B2 (en) 2013-05-09 2016-10-11 Stephen Howard System and method for motion detection and interpretation
US9360888B2 (en) * 2013-05-09 2016-06-07 Stephen Howard System and method for motion detection and interpretation
WO2016109749A1 (en) 2014-12-30 2016-07-07 Stephen Howard System and method for interactive projection
US10891003B2 (en) 2013-05-09 2021-01-12 Omni Consumer Products, Llc System, method, and apparatus for an interactive container
EP3264038A1 (de) * 2016-06-30 2018-01-03 HILTI Aktiengesellschaft Verfahren zum vergleichen eines auf einen laserempfänger auftreffenden empfangsstrahls mit einem rotierenden laserstrahl
EP3264039A1 (de) * 2016-06-30 2018-01-03 HILTI Aktiengesellschaft Verfahren zum vergleichen eines auf einen laserempfänger auftreffenden empfangsstrahls mit einem rotierenden laserstrahl
WO2019171827A1 (ja) 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7251095B2 (ja) * 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示装置、表示システム、及び、位置検出方法
JP7251094B2 (ja) 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示システム、及び、位置検出方法
CN111750776A (zh) * 2020-06-22 2020-10-09 新拓三维技术(深圳)有限公司 一种检具测量方法、测量装置及探针光笔结构

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60230228A (ja) * 1984-04-28 1985-11-15 Mitsubishi Electric Corp 投射型画像再生装置の画面位置指定方式
JPH08179888A (ja) * 1994-12-21 1996-07-12 Hitachi Ltd 大画面ディスプレイ用入力装置
JP2681454B2 (ja) * 1995-02-21 1997-11-26 コナミ株式会社 射的ゲーム装置
US5736975A (en) * 1996-02-02 1998-04-07 Interactive Sales System Interactive video display
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101481082B1 (ko) * 2013-10-11 2015-01-13 윤영기 투과 스크린을 이용한 적외선 터치 시스템 및 그 방법
CN112634675A (zh) * 2021-01-05 2021-04-09 青岛黄海学院 一种用于经济学的展示装置

Also Published As

Publication number Publication date
JPH11224160A (ja) 1999-08-17
US6339748B1 (en) 2002-01-15
TW396318B (en) 2000-07-01

Similar Documents

Publication Publication Date Title
JP3794180B2 (ja) 座標入力システム及び座標入力装置
US7593593B2 (en) Method and system for reducing effects of undesired signals in an infrared imaging system
US20140139668A1 (en) Projection capture system and method
US9521276B2 (en) Portable projection capture device
EP2335141B1 (en) Interactive display device with infrared capture unit
JP2000347797A (ja) 座標入力装置及び方法
JP2007052025A (ja) 光学的に透明な層を通してナビゲーション情報を生成するように構成された、滑動機能を有する光ナビゲーションデバイスのためのシステム及び方法
JP2011043876A (ja) 画像表示装置
US20140240573A1 (en) Shared-field projection and imaging system
JP4654905B2 (ja) 映像提示システム
US20220086266A1 (en) Control Method of Electronic Device and Electronic Device
US8654103B2 (en) Interactive display
JP5783045B2 (ja) 入力装置および入力システム
US20180235465A1 (en) Eye gaze tracking
JP5987395B2 (ja) 表示装置
JP2006163751A (ja) 位置検出平面外に撮像部を有する光学式位置検出装置
TW201128455A (en) Signaling device position determination
JP4612751B2 (ja) 入出力一体型装置
JP2001109577A (ja) 座標入力方法及び装置
TWI543046B (zh) 光學觸控系統
JP2006059153A (ja) 光学式座標入力装置
JP2004004118A (ja) カメラ
JPH11355696A (ja) 画像表示装置及びプログラムを記録した記録媒体
JP2022026562A (ja) 指示体検出システム、表示システムおよび指示体検出システムの指示体検出方法
TWM409651U (en) Image reading module

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060404

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090421

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100421

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120421

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130421

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130421

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140421

Year of fee payment: 8

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees