JPH08179875A - 指示位置検出方法及び装置 - Google Patents

指示位置検出方法及び装置

Info

Publication number
JPH08179875A
JPH08179875A JP32094694A JP32094694A JPH08179875A JP H08179875 A JPH08179875 A JP H08179875A JP 32094694 A JP32094694 A JP 32094694A JP 32094694 A JP32094694 A JP 32094694A JP H08179875 A JPH08179875 A JP H08179875A
Authority
JP
Japan
Prior art keywords
image
changing
visible image
input
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP32094694A
Other languages
English (en)
Other versions
JP3270643B2 (ja
Inventor
Riyouya Fukuda
亮冶 福田
Takashi Harada
隆史 原田
Kazuhiro Matsubayashi
一弘 松林
Shigeki Mori
重樹 森
Kazutoshi Shimada
和俊 島田
Eisaku Tatsumi
栄作 巽
Shinichi Sunakawa
伸一 砂川
Katsuhiko Nagasaki
克彦 長崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP32094694A priority Critical patent/JP3270643B2/ja
Priority to DE69526779T priority patent/DE69526779T2/de
Priority to EP95120241A priority patent/EP0718748B1/en
Publication of JPH08179875A publication Critical patent/JPH08179875A/ja
Priority to US08/968,794 priority patent/US6323839B1/en
Application granted granted Critical
Publication of JP3270643B2 publication Critical patent/JP3270643B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【目的】デジタイザ（タブレット）をスクリーンとして
用いることを不要とし、大画面でありながら可搬性に優
れた指示位置検出方法及び装置を提供する。 【構成】画像出力部３は画像を可視的に表示し、その表
示された可視画像は画像入力部１により入力され、元画
像として記憶部４に記憶される。また、当該可視画像
は、レーザポインタや指示棒等の画像変化手段５により
部分的に変更され、この変更後の可視画像が画像入力部
１より入力される。制御部２は、このようにして入力さ
れた可視画像について、変更された部分を抽出し、その
変更部分に基づいて指示位置を検出する。このように、
画像に対する使用者の行為が画像の変化として現れる現
像を利用して、変化の対象となる部分の座標や動作が検
出される。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、画面上において使用者
が指示する位置を検出する指示位置検出方法及び装置に
関する。
【０００２】
【従来の技術】従来、プレゼンテーション等で使用する
ために、画像を投射する投射面としてデジタイザを用い
た方法がある。これは、大きなデジタイザに画像を投射
し、投射された画像（即ちデジタイザ）に直接指示棒を
接触または接近させて、デジタイザによって指示された
座標を読み取り、投射装置にこの指示を反映させるとい
うものである。
【０００３】
【発明が解決しようとする課題】しかしながら、上記従
来例では、 （１）デジタイザ（タブレット）自身が画像を投射する
ためのスクリーンとなるため、大きなデジタイザが必要
となり、可搬性が悪い． （２）デジタイザ自身に電磁誘導検出や圧力検出等の手
段が必要となり、大きなデジタイザを作成する場合、経
済性が悪い． （３）デジタイザの大きさで投射面の大きさが決定され
るため、会場の規模に対応した設置ができず、汎用性に
乏しい． といった問題があった。
【０００４】本発明は、上記の問題に鑑みてなされたも
のであり、デジタイザ（タブレット）をスクリーンとし
て用いることを不要とし、大画面でありながら可搬性に
優れた指示位置検出方法及び装置を提供することを目的
とする。
【０００５】また、本発明の他の目的は、特殊な検出機
能を備えたスクリーンを必要とせず、大きな投射面にお
いても経済性に優れた指示位置検出方法及び装置を提供
することにある。
【０００６】また、本発明の他の目的は、会場の規模に
より投射面の大きさを容易に変更しうる指示位置検出方
法及び装置を提供することにある。
【０００７】また、本発明の他の目的は、操作者がレー
ザポインタや指示棒などにより画像を変化させた場合
に、変化した画像の状態と座標に基づいて操作者の指示
を判断し、操作者の意図した動作を反映させることを可
能とする指示位置検出方法及び装置を提供することにあ
る。
【０００８】
【課題を解決するための手段】上記の目的を達成するた
めの本発明による指示位置検出装置は以下の構成を備え
る。即ち、画像を可視的に表示する表示手段と、前記表
示手段によって表示された可視画像を入力する入力手段
と、前記可視画像を部分的に変更する変更手段と、前記
入力手段で入力される可視画像について前記変更手段に
よって変更された部分に基づいて指示位置を検出する検
出手段とを備える。
【０００９】また、好ましくは、前記表示手段は、投射
式の画像表示を行う。可視画像の大画面化が可能となる
からである。また、当該装置を駆動する場所に応じた画
面の大きさへの変更が容易だからである。
【００１０】前記変更手段は、前記表示手段によって表
示された可視画像中に可視光を付加する。例えば、レー
ザポインタ等を用いることで可視画像の変更操作が容易
に行え、更に、表示画面より離れた位置からでも可視画
像に対する指示が行えるからである。
【００１１】また、好ましくは、前記検出手段は、前記
変更手段によって前記可視画像中に付加された可視光の
ほぼ中心の位置を、指示位置として検出する。
【００１２】また、好ましくは、前記変更手段は、指示
棒を用いて前記可視画像中の所望の位置を指すことで可
視画像を変更する。レーザポインタ等の特殊な装置を用
いることなく、指示棒を用いることで容易に可視画像上
への指示が可能となるからである。
【００１３】また、好ましくは、前記検出手段は、前記
変更手段によって可視画像中に加えられた指示棒の先端
部の位置を指示位置として検出する。指示棒の先端部の
位置を検出するので、指示位置を、より正確に検出でき
るからである。
【００１４】また、好ましくは、前記変更手段による可
視画像の変化状態を更に変化させる変化手段と、前記検
出手段によって検出された位置において、前記変化手段
による変化が生じたか否かに基づいて、操作指示か否か
を判断する判断手段とを更に備える。例えば可視光の付
加や指示棒により可視画像が変更された場合に、それが
操作指示を意図するものか否かを容易に判定でき、操作
性が向上するからである。
【００１５】
【作用】上記の構成によれば、ある画像が可視的に表示
され、その表示された可視画像が入力される。また、当
該可視画像は、レーザポインタや指示棒等により部分的
に変更され、この変更後の可視画像も入力される。この
ようにして入力された可視画像について、変更された部
分を抽出し、その変更部分に基づいて指示位置が検出さ
れる。このように、本発明によれば、画像に対する使用
者の行為が画像の変化として現れる現像を利用して、変
化の対象となる部分の座標や動作が検出される。
【００１６】
【実施例】以下に添付の図面を参照して本発明の好適な
実施例を説明する。
【００１７】［実施例１］図１は本実施例１によるデジ
タイザの機能構成を表すブロック図であり、本実施例の
特徴を最もよく表している。同図において、１は画像入
力部、２は制御部、３は画像出力部、４は記憶部であ
る。また、５は画像変化部である。
【００１８】制御部２は出力する画像を記憶部４または
画像入力部１から獲得して画像出力部３へ出力する。ま
た、これと同時に、出力する画像を記憶部４へ記憶させ
る。画像出力部３から出力された画像は、画像変化部５
によって変化させられ、画像入力部１に入力される。制
御部２は、入力された画像と記憶部４に記憶された画像
とを比較することにより、画像の変化を検出する。そし
て、制御部２は、検出された変化に応じて制御部２が記
憶部４や画像出力部３を制御する。画像入力部１がその
機能を失うまで入力が続くため連続した動作の検出が可
能となる。
【００１９】また、出力画像と入力画像の間に人間や物
体や光線等の可視化された対象が介在することが可能で
あるため、従来例では想定されていなかった、動作の検
出による制御が可能となる。さらに、将来は人物や人物
の動作を認識する手段や音声認識手段を備えることによ
り、画像を通して機械と直接的に自然な対話をすること
が可能となる。
【００２０】図２は実施例１のデジタイザの装置構成を
表すブロック図である。１１はＴＶカメラであり、画像
入力部１として機能する。１２はＣＰＵであり、本デジ
タイザにおける各種の制御を実行する。ＣＰＵ１２は、
制御部２として機能する。１３は投射型ディスプレイで
あり、画像出力部３として機能する。１４は主記憶装置
であり、記憶部４として投射型ディスプレイによって出
力される画像を記憶したり、ＣＰＵ１２が処理する各種
制御プログラムを格納する。後述のフローチャートで示
される制御を実現するための制御プログラムもこの主記
憶装置１４に格納される。１５はレーザポインタであ
り、レーザ光をスクリーン１６上に照射することで、投
射型ディスプレイ１３よりスクリーン１６上に投射され
た画像を変化させる。１６は画像が投射されるスクリー
ンである。
【００２１】図３は本実施例の動作例を説明する図であ
る。図３では、表示中の資料を次のページの資料へ切替
える場合の動作を表わしている。
【００２２】この例は学会やイベント等の発表会を想定
している。発表者３０は予め作成した資料等を主記憶装
置１４に記憶させておく。記憶された資料の画像は、Ｃ
ＰＵ１２の制御により、投射型ディスプレイ１３よりス
クリーン１６に投射される。発表者３０は、投射された
画像（資料）に対して説明をする。投射された画像は直
ちにＴＶカメラ１１を通してＣＰＵ１２の制御により主
記憶装置１４へ記憶される。発表に即してレーザポイン
タ１５を操作してスクリーン１６上にレーザ光を照射す
ることにより投射された資料の画像が変化し、ＴＶカメ
ラ１１は変化後の画像を取り込むことになる。ＣＰＵ１
２は、主記憶装置１４に記憶された直前の画像と新たに
ＴＶカメラ１１より取り込まれた画像とを比較すること
により画像の変化を検出し、検出結果に即した制御を行
う。
【００２３】例えば、発表者３０は「ＮＥＸＴ」という
ラベルのついたファンクションボタン１６１にレーザポ
インタ１５のレーザ光を照射し、点滅（あるいは変色）
させる。イベント検出ルーチンでは、点滅（あるいは変
色）した位置（座標）を検出し、図４のようなファンク
ションテーブルを参照して、レーザポインタの座標がど
のボタンに含まれているかを検索する。検索に成功した
場合は検索されたボタンに対応するファンクションを呼
び出す。ここでは「ページ１」の「ＮＥＸＴ」というボ
タンが検索され、「ＰａｇｅＮｅｘｔ」が呼び出され次
のページへと表示が切り替わる。図４は、投影画面上の
ファンクションボタンを定義するファンクションテーブ
ルのデータ構成例を表す図であり、このようなファンク
ションテーブルは主記憶装置１４に各投影画面毎に対応
して格納されている。
【００２４】以下、上記のオペレーションを実現する本
実施例の処理について説明する。図５から図１３は、本
実施例における、画像の変化した位置を検出する処理の
手順を表すフローチャートである。なお、図５のフロー
チャートの実行に先立って（例えば本システムの立上げ
時に）、入力座標系と出力座標系のズレを補正してお
く。即ち、ＴＶカメラの角度、距離、拡大率などを調整
し、投射型ディスプレイの画面全体を入力できるように
する。解像度や画素数などは装置によって決められた値
があるため、入力座標系と出力座標系のズレをあらかじ
めＸ軸，Ｙ軸方向の拡大係数として求め、これを図４に
示したファンクションテーブルに乗じておく。
【００２５】図５は本実施例１の座標を検出するための
処理におけるメインルーチンである。最初に、ステップ
Ｓ４１において、ＴＶカメラ１１よりスクリーン１６上
に投射された画像を取り込み、この入力された画像をＩ
１とする。つぎに、ステップＳ４２において、画像Ｉ１
を取り込んだ後の、ＴＶカメラ１１より引き続き入力さ
れる画像をＩ２とする。ステップＳ４３では、Ｉ１とＩ
２とを比較するサブルーチンを呼び出し、画像の変化し
た領域を検出する。ステップＳ４４では検出された領域
からその中心位置を解析するサブルーチンを呼び出し、
変化した領域の中心座標を獲得する。更に、ステップＳ
４５では解析された座標を色変化（または点滅）検出ル
ーチン（図１２または図１３により後述）へ受け渡し、
指定された関数を実行する。
【００２６】また、表示されている資料の切替え等の操
作（例えば頁の切り替え等）で元の画像Ｉ１が変えられ
た場合は、ステップＳ４６よりステップＳ４１へ戻り、
初期画面Ｉ１として切替後の画面を入力する。ステップ
Ｓ４７ではユーザによる終了操作やエラーなどによるト
ラブルがあった場合に本処理を終了するか否かの判断を
行い、終了でなければステップＳ４２に戻り、次の画像
の入力が行われ、上述の処理が繰り返される。
【００２７】図６は画像Ｉ１と画像Ｉ２を比較し、異な
る部分の領域のＸ座標最小値と最大値、Ｙ座標最小値と
最大値を検出するサブルーチンである。即ち、ステップ
Ｓ４３において呼び出されるサブルーチンを示す。ステ
ップＳ５１ではＸ座標最小値を検出するサブルーチン
（図８）を呼び出している。以下、ステップＳ５２では
Ｙ座標最小値を検出するサブルーチン（図９）、ステッ
プＳ５３ではＸ座標最大値を検出するサブルーチン（図
１０）、ステップＳ５４ではＹ座標最大値を検出するサ
ブルーチン（図１１）を夫々呼び出している。それぞれ
の処理はＸとＹ、最大と最小で対称性があるため、ここ
では、Ｘ座標の最小値を検出するサブルーチン（図８）
について説明する。
【００２８】図８はＸ座標最小値を検出するサブルーチ
ンである。Ｘmin，Ｙminは入力された画像における最小
座標であり、トリミング（ユーザによる領域の指定）な
どを行わない限り、通常は画像入力部１から画像Ｉ１へ
代入する際に自動的に決定される。図９から図１１にお
けるＸmax，Ｙmaxも最大座標であることのほかはＸmi
n、Ｙminと同様である。
【００２９】ステップＳ７０において、上述のＸmin及
びＹminを用いて、ＸとＹの初期値を設定する。ステッ
プＳ７１では画像Ｉ１の座標（Ｘ，Ｙ）の画素をＰ１に
代入する。ステップＳ７２では画像Ｉ２の座標（Ｘ，
Ｙ）の画素をＰ２に代入する。ステップＳ７３でＰ１と
Ｐ２を比較し、比較した結果をＰへ代入する。比較には
排他的論理和（ＸＯＲ）を使用する。ステップＳ７４で
比較の結果を判断し、Ｐが０すなわち画素Ｐ１と画素Ｐ
２が同一のものであれば次の画素を調べるべくステップ
Ｓ７５へ進む。一方、画素Ｐ１と画素Ｐ２が異なるもの
であればＰ≠０となり、ステップＳ７９へ進む。ステッ
プＳ７９では、この時のＸの値をＸ最小値として保持
し、本処理を終了する。
【００３０】次の画素を調べるにあたっては、ステップ
Ｓ７５でＹ座標に１を加え、ステップＳ７６でＹ座標が
調べる画像の範囲を越えるかどうかを判断し、越えない
場合はステップＳ７１へ戻る。Ｙ座標が範囲を越えた場
合は、ステップＳ７７へ行き、Ｙ座標を初期値に戻し、
Ｘ座標に１を加える。Ｘ座標が範囲を越えていないかど
うかをステップＳ７８にて調べ、越えていなければステ
ップＳ７１へ戻り、越えていた場合はステップＳ７９へ
行き、そのときのＸの値をＸminとして終了する。
【００３１】以上のようにして、図８のフローチャート
で示される制御により、画像が変化した領域のＸ最小値
が求められる。同様に、図９〜図１１のフローチャート
で示される制御により、変化した領域のＹ最小値、Ｘ最
大値及びＹ最大値が得られる。
【００３２】図７は画像の変化した領域の座標として領
域の中心座標を求めるサブルーチンである。即ち、図５
のステップＳ４４で起動されるサブルーチンを表わして
いる。図６のサブルーチンで求められたＸ最小値、Ｘ最
大値、Ｙ最小値、Ｙ最大値の値を基に、中心座標を求
め、これを（Ｘ，Ｙ）として返す。
【００３３】図１２は色変化検出ルーチンを表すフロー
チャートである。ステップＳ１１１では変化した画像の
座標と、その座標における画素の状態を画像Ｉ２よりが
取り込む。ステップＳ１１２では、画素の状態に変化が
あったかどうかを調べ、変化があった場合（ここでは色
変化があった場合）はステップＳ１１３へ、変化がなけ
れば処理を継続するためステップＳ１１１へ戻る。ステ
ップＳ１１３では、図４に示されたファンクションテー
ブルを参照して、検出された座標に対応するボタンを検
索する。そして、ステップＳ１１４で、検索結果に対応
した関数を呼び出す。以上の手順により、例えばＯＨＰ
などのページ切替えといった操作が実現される。
【００３４】図１３は点滅検出ルーチンを表すフローチ
ャートである。ステップＳ１２１では、ステップＳ１１
１と同様に、変化した画像の座標と、その座標における
画素の状態を画像Ｉ２より取り込む。ステップＳ１２２
では画素の状態に変化があったかどうかを調べ、変化
（ここでは消灯を意味する）があった場合はステップＳ
１２３へ、変化がなければ（点灯したままであれば）処
理を継続するためステップＳ１２１へ戻る。ステップＳ
１２３では、再び変化した画像の座標と画素の状態を取
り込み、ステップＳ１２４で画素の状態を調べる。変化
があれば（再び点灯したならば）画素の状態はもとの画
像とは異なるため変化ありと判断され、ステップＳ１２
５以下を実行する。変化がない（消灯したまま）ならば
ステップＳ１２３へ戻り、変化するまでステップＳ１２
３及びステップＳ１２４の処理を繰り返す。ステップＳ
１２５とステップＳ１２６はそれぞれ、図１２のステッ
プＳ１１３とステップＳ１１４と同様である。以上の処
理により、レーザポインタの点滅による指示が可能とな
る。
【００３５】以上説明したように、実施例１によれば、
タブレットを用いずに表示画面上の位置を指示すること
が可能となるので、大画面の座標入力装置を容易に構成
することができる。また、レーザポインタの色変化や、
点滅等を検出して使用者が指示を意図していることを認
識するので、正確に使用者の意図を反映できる。
【００３６】［実施例２］上記実施例１では、画像の変
化を提供するためにレーザポインタを用いた。本実施例
２では、指示方法の他の例として、レーザポインタ１５
の代わりに指示棒を使用する。即ち、実施例２では、Ｃ
ＰＵ１２において、変化部分の端点を検出し、その座標
を指示位置とする。
【００３７】図１４は、スクリーン上の所望の位置を指
示棒１４１によって指した状態を表す図である。この場
合、変化した画像の領域は点Ｑと点Ｒを対角線とする長
方形として検出される（上述の図６の処理による）。こ
こで、指定された座標を得るために、指示棒１４１の端
点を求める必要がある。図１５は実施例２における端点
検出の手順を表すフローチャートである。図１５は、図
７で示した領域座標の検出手順を実施例２ように書き換
えたものである。
【００３８】ステップＳ１３１では点Ｑまたは点Ｒのど
ちらが端点であるかを画面の辺に接していているか否か
で判断する。ここで、点Ｑには変化した領域の（Ｘmi
n'，Ｙmin'）が、点Ｒには（Ｘmax'，Ｙmax'）が与えら
れている。Ｘmax'，Ｙmax'，Ｘmin'，Ｙmin'は夫々上述
の図６のフローチャートで得られるところの、変化領域
におけるＸ最大値、最大値、Ｘ最少値、Ｙ最少値であ
る。ここで、点Ｑが画面の辺に接している場合は、ステ
ップＳ１３２へ進み、点Ｑと点Ｒの座標値を交換する。
【００３９】更に、指示棒１４１が図１４とは逆に傾い
ていた場合は指示している点が点Ｓとなる。このため点
Ｑを端点としてそのまま返すことはできない。そこで、
ステップＳ１３３で、画像Ｉ１と画像Ｉ２の間で、点Ｑ
において画素の状態が変化したかを調べる。点Ｑにおい
て画素の状態が変化した場合は、点Ｑが端点であるの
で、点Ｑの座標を返す（ステップＳ１３４、ステップＳ
１３６）。一方、点Ｑにおいて画素の状態が変化してい
ない場合は、点Ｓが端点となるので、点Ｓの座標を返す
（ステップＳ１３５、ステップＳ１３６）ことで指示棒
の座標検出ができる。
【００４０】レーザポインタでは、ファンクションボタ
ン領域において点滅（又は変色）することで発表者の意
図を認識できるが、指示棒は点滅（又は変色）させるこ
とができないので、発表者の意図する操作のタイミング
及びそのときの座標を検出できない。従って、指示棒に
よって画面上のファンクションボタンを操作する場合
は、指示棒をファンクションボタンの上で一定時間静止
させることで行う。静止時のファンクションボタンは、
指示棒が静止する直前の座標を採用することで判断す
る。
【００４１】以上説明したように、実施例２によれば、
レーザポインタのような特殊な操作媒体が不要となる。
【００４２】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器からなる装置に適用し
ても良い。また、本発明はシステム或いは装置に本発明
により規定される処理を実行させるプログラムを供給す
ることによって達成される場合にも適用できることはい
うまでもない。
【００４３】
【発明の効果】本発明は、装置専用のスクリーン（ここ
ではデジタイザ）を必要とせず、大きな投射面を持ち運
ぶ必要もないため、可搬性に優れる。
【００４４】また、特殊な検出機能を備えたスクリーン
を必要としないため、大きな投射面を想定した場合に、
大きな検出面を持ったデジタイザを作成する必要があっ
た従来技術に比べて、経済性に優れる。
【００４５】また、会場の規模により投射面の大きさを
適応させようとした場合、従来はスクリーンの大きさが
決まっているため、会場の規模に適応させるのが困難だ
ったが、本発明では画像出力手段と画像入力手段の調整
により適応可能であるため、汎用性に優れる。
【００４６】その他の効果として、本発明は画像入力と
いう光学的検出手段を用いるため、レーザポインタ等の
光学的指示手段を操作者が使用した場合、指示棒では届
かない位置からの遠隔操作指示が可能となる。
【００４７】
【図面の簡単な説明】
【図１】本実施例によるデジタイザの機能構成を表すブ
ロック図である。
【図２】本実施例のデジタイザの装置構成を表すブロッ
ク図である。
【図３】本実施例１の動作例を説明する図である。
【図４】投影画面上のファンクションボタンを定義する
ファンクションテーブルのデータ構成例を表す図であ
る。
【図５】本実施例の座標を検出するための処理を表すフ
ローチャートである。
【図６】画像Ｉ１と画像Ｉ２を比較し、画像の変化した
領域を検出する手順を表すフローチャートである。
【図７】画像の変化した領域の座標として当該領域の中
心座標を求める手順を表すフローチャートである。
【図８】Ｘ座標最小値を検出する手順を表すフローチャ
ートである。
【図９】Ｙ座標最小値を検出する手順を表すフローチャ
ートである。
【図１０】Ｘ座標最大値を検出する手順を表すフローチ
ャートである。
【図１１】Ｙ座標最大値を検出する手順を表すフローチ
ャートである。
【図１２】色変化を検出する手順を表すフローチャート
である。
【図１３】点滅を検出する手順を表すフローチャートで
ある。
【図１４】スクリーン上の所望の位置を指示棒１４１に
よって指した状態を表す図である。
【図１５】実施例２における端点検出の手順を表すフロ
ーチャートである。
【符号の説明】
１ 画像入力部 ２ 制御部 ３ 画像出力部 ４ 記憶部 ５ 画像変化部 １１ ＴＶカメラ １２ 中央処理装置 １３ 投射型ディスプレイ １４ 主記憶装置 １５ レーザポインタ １６ スクリーン
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森 重樹 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 島田 和俊 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 巽 栄作 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 砂川 伸一 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 長崎 克彦 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 画像を可視的に表示する表示手段と、 前記表示手段によって表示された可視画像を入力する入
    力手段と、 前記可視画像を部分的に変更する変更手段と、 前記入力手段で入力される可視画像について前記変更手
    段によって変更された部分に基づいて指示位置を検出す
    る検出手段とを備えることを特徴とする指示位置検出装
    置。
  2. 【請求項２】 前記表示手段は、投射式の画像表示を行
    うことを特徴とする請求項１に記載の指示位置検出装
    置。
  3. 【請求項３】 前記変更手段は、前記表示手段によって
    表示された可視画像中に可視光を付加することを特徴と
    する請求項１に記載の指示位置検出装置。
  4. 【請求項４】 前記可視画像中への可視光の付加はレー
    ザポインタを用いて行われることを特徴とする請求項３
    に記載の指示位置検出装置。
  5. 【請求項５】 前記検出手段は、前記変更手段によって
    前記可視画像中に付加された可視光のほぼ中心の位置
    を、指示位置として検出することを特徴とする請求項３
    に記載の指示位置検出装置。
  6. 【請求項６】 前記変更手段は、指示棒を用いて前記可
    視画像中の所望の位置を指すことで可視画像を変更する
    ことを特徴とする請求項１に記載の指示位置検出装置。
  7. 【請求項７】 前記検出手段は、前記変更手段によって
    可視画像中に加えられた指示棒の先端部の位置を指示位
    置として検出することを特徴とする請求項６に記載の指
    示位置検出装置。
  8. 【請求項８】 前記表示手段により表示された可視画像
    を前記入力手段によって入力し、これを元画像として記
    憶する記憶手段を更に備え、 前記検出手段は、前記入力手段で入力される可視画像と
    前記元画像とを比較することにより前記変更手段によっ
    て変更された部分を抽出し、抽出結果に基づいて指示位
    置を検出することを特徴とする請求項１に記載の指示位
    置検出装置。
  9. 【請求項９】 前記変更手段による可視画像の変化状態
    を更に変化させる変化手段と、 前記検出手段によって検出された位置において、前記変
    化手段による変化が生じたか否かに基づいて、操作指示
    か否かを判断する判断手段とを更に備えることを特徴と
    する請求項１に記載の指示位置検出装置。
  10. 【請求項１０】 前記変更手段は前記可視画像に可視光
    を付加するものであり、前記変化手段は該可視光の色を
    変化するものであることを特徴とする請求項９に記載の
    指示位置検出装置。
  11. 【請求項１１】 前記変更手段は前記可視画像に可視光
    を付加するものであり、前記変化手段は該可視光を点滅
    するものであることを特徴とする請求項９に記載の指示
    位置検出装置。
  12. 【請求項１２】 画像を可視的に表示する表示工程と、 前記表示工程によって表示された可視画像を入力する入
    力工程と、 前記可視画像を部分的に変更する変更工程と、 前記入力工程で入力される可視画像について前記変更工
    程によって変更された部分に基づいて指示位置を検出す
    る検出工程とを備えることを特徴とする指示位置検出方
    法。
  13. 【請求項１３】 前記表示工程により表示された可視画
    像を前記入力工程によって入力し、これを元画像として
    記憶する記憶工程を更に備え、 前記検出工程は、前記入力工程で入力される可視画像と
    前記元画像とを比較することにより前記変更工程によっ
    て変更された部分を抽出し、抽出結果に基づいて指示位
    置を検出することを特徴とする請求項１２に記載の指示
    位置検出方法。
  14. 【請求項１４】 前記変更工程による可視画像の変化状
    態を更に変化させる変化工程と、 前記検出工程によって検出された位置において、前記変
    化工程による変化が生じたか否かに基づいて、操作指示
    か否かを判断する判断工程とを更に備えることを特徴と
    する請求項１に記載の指示位置検出方法。
JP32094694A 1994-12-22 1994-12-22 指示位置検出方法及び装置 Expired - Fee Related JP3270643B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP32094694A JP3270643B2 (ja) 1994-12-22 1994-12-22 指示位置検出方法及び装置
DE69526779T DE69526779T2 (de) 1994-12-22 1995-12-21 Vorrichtung und Verfahren zur Detektion einer angezeigten Position
EP95120241A EP0718748B1 (en) 1994-12-22 1995-12-21 Pointed-position detecting apparatus and method
US08/968,794 US6323839B1 (en) 1994-12-22 1997-11-06 Pointed-position detecting apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32094694A JP3270643B2 (ja) 1994-12-22 1994-12-22 指示位置検出方法及び装置

Publications (2)

Publication Number Publication Date
JPH08179875A true JPH08179875A (ja) 1996-07-12
JP3270643B2 JP3270643B2 (ja) 2002-04-02

Family

ID=18127059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32094694A Expired - Fee Related JP3270643B2 (ja) 1994-12-22 1994-12-22 指示位置検出方法及び装置

Country Status (4)

Country Link
US (1) US6323839B1 (ja)
EP (1) EP0718748B1 (ja)
JP (1) JP3270643B2 (ja)
DE (1) DE69526779T2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829394B2 (en) 2000-02-22 2004-12-07 Seiko Epson Corporation System and method of pointed position detection, presentation system, and program
WO2010070870A1 (ja) * 2008-12-18 2010-06-24 日本電気株式会社 情報取得装置、情報取得方法およびプログラム
JP2013070368A (ja) * 2011-09-05 2013-04-18 Panasonic Corp テレビ対話システム、端末および方法
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5936615A (en) * 1996-09-12 1999-08-10 Digital Equipment Corporation Image-based touchscreen
US6512507B1 (en) * 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
DE19880483C1 (de) * 1998-10-21 2000-03-30 Vlg Virtual Laser Systems Gmbh Eingabevorrichtung für einen Computer
US6952198B2 (en) * 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
JP2001075736A (ja) * 1999-09-06 2001-03-23 Canon Inc 座標入力装置
JP2001222375A (ja) * 2000-02-08 2001-08-17 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP2001274208A (ja) * 2000-03-23 2001-10-05 Mitsubishi Electric Corp マップデータ生成装置およびマップデータ生成方法
AU2000274680A1 (en) * 2000-06-19 2002-01-02 Temasek Polytechnic A system and method for use in determining a cursor position
JP4018326B2 (ja) * 2000-08-07 2007-12-05 キヤノン株式会社 座標入力装置及びその制御方法、コンピュータ可読メモリ
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6731330B2 (en) 2001-01-30 2004-05-04 Hewlett-Packard Development Company, L.P. Method for robust determination of visible points of a controllable display within a camera view
GB2374663A (en) * 2001-04-18 2002-10-23 Nokia Corp Presentation of images
JP2003108305A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
US6803907B2 (en) * 2001-10-04 2004-10-12 Inventec Corporation Wireless beam-pen pointing device
US7348946B2 (en) * 2001-12-31 2008-03-25 Intel Corporation Energy sensing light emitting diode display
US6909406B2 (en) * 2002-03-15 2005-06-21 Dell Products L.P. System and method for selecting a presentation mode
US20040001082A1 (en) * 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US20040119690A1 (en) * 2002-12-24 2004-06-24 Watters Scott W. System and method to interact remotely with an application displayed on a display device
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
TWI226784B (en) * 2003-10-20 2005-01-11 Ind Tech Res Inst Multi-trails spot click-event detection method
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7221356B2 (en) 2004-02-26 2007-05-22 Microsoft Corporation Data input device and method for detecting an off-surface condition by a laser speckle size characteristic
US7242466B2 (en) * 2004-03-31 2007-07-10 Microsoft Corporation Remote pointing system, device, and methods for identifying absolute position and relative movement on an encoded surface by remote optical method
US7292232B2 (en) * 2004-04-30 2007-11-06 Microsoft Corporation Data input devices and methods for detecting movement of a tracking surface by a laser speckle pattern
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US20080170033A1 (en) * 2007-01-15 2008-07-17 International Business Machines Corporation Virtual pointer
TW200903306A (en) * 2007-07-12 2009-01-16 Utechzone Co Ltd System, control module, and method for remotely controlling a computer with optical tracking of an optical pointer
US20090058805A1 (en) * 2007-08-25 2009-03-05 Regina Eunice Groves Presentation system and method for making a presentation
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
JP4964729B2 (ja) 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
TWI355511B (en) * 2007-10-08 2012-01-01 Opus Microsystems Corp Laser pointer with the pattern and size of project
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
DE102008014143B4 (de) * 2008-03-14 2011-05-12 Wilke, Hans-Jürgen, Dipl.-Ing. Beleuchtungssystem
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
JP2011521316A (ja) * 2008-04-10 2011-07-21 ハンセン，カール，クリストファー 使用が容易な光無線遠隔制御装置
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
JP5292210B2 (ja) * 2009-07-16 2013-09-18 株式会社エルモ社 資料提示装置
KR20110058438A (ko) * 2009-11-26 2011-06-01 삼성전자주식회사 프리젠테이션 녹화 장치 및 방법
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
KR20110121125A (ko) * 2010-04-30 2011-11-07 삼성전자주식회사 인터랙티브 디스플레이 장치 및 이의 동작 방법
KR20140031758A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 포인팅 디바이스를 이용하여 ａⅴ 데이터의 메뉴를 제어하기 위한 인터랙티브 그래픽 데이터를 기록한 정보저장매체, 그 재생방법 및 장치
US9188426B2 (en) * 2013-04-23 2015-11-17 Bradley Allen Safranski Non-contact visual measurement device
CN106445195B (zh) 2015-08-11 2019-05-24 华为技术有限公司 屏幕中激光点的位置检测方法、装置及系统
DE102018110644B4 (de) * 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5115230A (en) * 1989-07-19 1992-05-19 Bell Communications Research, Inc. Light-pen system for projected images
US5504501A (en) * 1989-11-07 1996-04-02 Proxima Corporation Optical input arrangement and method of using same
US5502459A (en) * 1989-11-07 1996-03-26 Proxima Corporation Optical auxiliary input arrangement and method of using same
JP2622620B2 (ja) * 1989-11-07 1997-06-18 プロクシマ コーポレイション コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム
US5138304A (en) * 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
JPH07117868B2 (ja) * 1991-04-30 1995-12-18 インターナショナル・ビジネス・マシーンズ・コーポレイション タツチ型作動キーボード定義方法及び装置
JPH05303467A (ja) * 1991-10-04 1993-11-16 Shigumatsukusu Kk 操作入力装置
IT1268511B1 (it) * 1993-02-23 1997-03-04 Zeltron Spa Sistema di interfaccia uomo-macchina

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829394B2 (en) 2000-02-22 2004-12-07 Seiko Epson Corporation System and method of pointed position detection, presentation system, and program
WO2010070870A1 (ja) * 2008-12-18 2010-06-24 日本電気株式会社 情報取得装置、情報取得方法およびプログラム
JP2013070368A (ja) * 2011-09-05 2013-04-18 Panasonic Corp テレビ対話システム、端末および方法
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法

Also Published As

Publication number Publication date
US6323839B1 (en) 2001-11-27
DE69526779T2 (de) 2002-10-24
EP0718748A2 (en) 1996-06-26
EP0718748B1 (en) 2002-05-22
DE69526779D1 (de) 2002-06-27
JP3270643B2 (ja) 2002-04-02
EP0718748A3 (en) 1996-08-21

Similar Documents

Publication Publication Date Title
JP3270643B2 (ja) 指示位置検出方法及び装置
US7176881B2 (en) Presentation system, material presenting device, and photographing device for presentation
US6297804B1 (en) Pointing apparatus
JP3909554B2 (ja) プレゼンテーション制御システム及びその制御方法
US6512507B1 (en) Pointing position detection device, presentation system, and method, and computer-readable medium
US20050162384A1 (en) Pointing device, method for displaying point image, and program therefor
JP2008225556A (ja) プロジェクタシステム
WO2018010440A1 (zh) 一种投影画面调整方法、装置和投影终端
WO2017130504A1 (ja) 画像投影装置
US10410323B2 (en) Display apparatus, information processing apparatus, and information processing method for displaying a second image that includes options for manipulating a first image
JPS6188328A (ja) 画像表示装置
JPH0895707A (ja) コンピュータディスプレイシステム
JPH0643851A (ja) 画像表示装置
JPH04205617A (ja) 入出力インターフェース装置
JP2003140830A (ja) プロジェクタシステム、ポインタ装置、プロジェクタ装置及び制御信号出力装置
JP3132021B2 (ja) 座標入力装置
JP2000227835A (ja) ポインティング方式
JPH0293920A (ja) 入力装置
JP2000056925A (ja) プレゼンテーションシステムにおけるスクリーン上の資料を変更するための装置
JP2017227985A (ja) 投影装置及び投影方法
JPH0749748A (ja) コマンド指示装置
JPH05181636A (ja) 画像表示装置
JP3058630B2 (ja) 図形処理装置
JPH0736608A (ja) 画面表示情報の選択システムおよびその選択方法
JP2002342029A (ja) 光ファイバー表示入力装置、画像入力装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090118

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090118

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100118

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120118

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130118

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees