JP6176013B2 - 座標入力装置及び画像処理装置 - Google Patents

座標入力装置及び画像処理装置 Download PDF

Info

Publication number
JP6176013B2
JP6176013B2 JP2013189773A JP2013189773A JP6176013B2 JP 6176013 B2 JP6176013 B2 JP 6176013B2 JP 2013189773 A JP2013189773 A JP 2013189773A JP 2013189773 A JP2013189773 A JP 2013189773A JP 6176013 B2 JP6176013 B2 JP 6176013B2
Authority
JP
Japan
Prior art keywords
coordinate position
coordinate
unit
calculated
pointing object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013189773A
Other languages
English (en)
Other versions
JP2015056064A (ja
Inventor
浪江 健史
健史 浪江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013189773A priority Critical patent/JP6176013B2/ja
Publication of JP2015056064A publication Critical patent/JP2015056064A/ja
Application granted granted Critical
Publication of JP6176013B2 publication Critical patent/JP6176013B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Description

本発明は、座標入力装置に関し、特にパーソナルコンピュータ等において情報を入力したり、選択したりするために、ペンなどの指示物体によって指示された位置を入力する座標入力装置及びそれを備えた画像処理装置に関する。
液晶やプラズマなどのフラットパネルやプロジェクタを用いた40インチ〜80インチ程度のサイズの大型のディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード」製品が市販されている。
電子情報ボードにパーソナルコンピュータ(以下、PC)を接続することによって、PCの画面を大きく映すことができ、企業や行政機関の会議におけるプレゼンテーション等や教育機関等で用いられている。
電子情報ボードに搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示しているPCを操作する、「タッチパネルを介したPC操作機能」、が提供されている。
さらに、接続したPC上で動かす、電子黒板アプリケーションソフトウエアがこれらの機器と一緒に提供されている。このアプリケーションソフトウエアは、黒板の役割をする画面を提供し、その上に手書き文字などをタッチパネルを介して描く機能、このアプリケーションを提供するパソコンの画面を取り込んでその上に手書き文字などを重畳して描く機能など、「タッチパネルを介した手書機能」、が提供されている。
具体的な製品事例では、例えばシャープ(株)の「BIG PAD」(登録商標)、日立ソフトウェアエンジニアリング(株)の「スターボード」(登録商標)や、パイオニア(株)の「サイバーカンファレンス」(登録商標)、がある。
このような手書き機能を備えた電子情報ボードを利用すると、オフィスの会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指摘事項等の書き込みを行い、さらに必要に応じて書き込みを含む画面内容を記録することができる。この結果、会議終了時に画面内容を振り返り、画面内容を再利用することで効率的に結論などをまとめることが期待できる。
このような電子情報ボードに対する指示物体の接触位置の入力が可能な装置として、特許文献1、2に記載された座標入力装置がある。これらの座標入力装置は、座標入力領域の2箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる再帰性反射手段と、を備えている。そして、各受発光手段から前記座標入力領域に同時に(特許文献2)又は順次に(特許文献1)出射され、前記再帰性反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、三角測量により前記指示物体が接触した座標入力領域上の位置(以下、座標位置)を算出するように構成されている。
しかしながら、特許文献1、2に記載された座標入力装置では、前記光路が手などに遮られることで、指示物体の座標位置を算出できなくなるという問題がある。また、複数の指示物体を用いると、それぞれの指示物体の座標位置を算出できなくなるという問題もある。
本発明は、このような問題を解決するためになされたものであり、その目的は、座標入力領域の2箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出できるようにすることである。
本発明の座標入力装置は、座標入力領域の2箇所に配置された受発光手段と、各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる反射手段と、各受発光手段から前記座標入力領域に出射され、前記反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、前記指示物体が接触した座標位置を算出する第1の座標位置算出手段と、前記指示物体からの加速度の検知信号及び角速度の検知信号を積算して、前記指示物体の移動量と移動方向を含む移動情報を算出する移動情報算出手段と、前記第1の座標位置算出手段により座標位置を算出できないとき、前記第1の座標位置算出手段により算出できたときの座標位置と、前記移動情報算出手段で算出された移動情報とから、前記指示物体の座標位置を算出する第2の座標位置算出手段と、を有する座標入力装置である。
本発明によれば、座標入力領域の2箇所に配置された受発光手段と再帰性反射手段との間の光路が指示物体に遮断されたとき、その指示物体の座標位置を三角測量により算出する座標入力装置において、前記光路が手などに遮られたり、複数の指示物体が前記座標入力領域に接触したりしても、指示物体の座標位置を算出することができる。
本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第1の例を示す図である。 本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第2の例を示す図である。 図2に示す画像処理装置のハードウェア構成及び機能構成を示す図である。 本発明の実施形態の座標入力装置の概略構成を示す図である。 図4における受発光手段の内部構成を示す図である。 画像処理装置の表示部の表面に指示物体が接触してビームが遮断されたときの動作を説明するための図である。 三角測量の原理を基に座標位置を算出する方法を説明するための図である。 指示物体以外に手などが表示部の表面に接触している状態を示す図である。 2つの指示物体が表示部の表面に接触している状態を示す図である。 本発明の指示物体の実施形態としての電子ペンの構成を示す図である。 図9に示す電子ペンからの信号を用いた座標検出処理の一部を示すフローチャートである。 図9に示す電子ペンからの信号を用いた座標検出処理の残りの部分を示すフローチャートである。
以下、本発明の実施形態について図面を用いて詳細に説明する。
<座標入力装置が実装された画像処理装置を含む画像処理システム>
図1は、本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第1の例を示す図である。
画像処理システム100は、画像処理装置110と、ユーザPC130a,130bとを含んで構成されており、画像処理装置110とユーザPC130a,130bとは、それぞれケーブル124a,124bによって接続される。
画像処理装置110は表示部112を備えており、ユーザPC130a,130bの表示画像を表示することができるとともに、ユーザが生成する描画画像を表示可能な装置である。ユーザPC130a,130bは、画像処理装置110に表示すべき画像を提供する情報処理装置である。ユーザPC130a,130bは、画像信号を出力するインタフェースを備えており、ユーザPC130a,130bの表示画像を形成する画像信号を所定のレート(例えば毎秒30フレーム)で画像処理装置110に供給する。
本実施形態では、ユーザPC130a,130bは、インタフェースとしてVGA出力端子(図示せず)を備えており、VGAケーブル等のケーブル124a,124bを介してVGA信号を画像処理装置110に送信することができる。他の実施形態では、ユーザPC130a,130bは、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。
この図に示す実施形態では、ユーザPC130a,130bとしてノート型PCを採用するが、他の実施形態では、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処理装置を採用することができる。また、図1に示す画像処理システム100では、2つのユーザPC130a,130bを採用するが、他の実施形態では、1つのユーザPC又は3つ以上のユーザPCを採用することもできる。
図2は、本発明の実施形態の座標入力装置が搭載された画像処理装置を含む画像処理システムの第2の例を示す図である。この画像処理システム1000について、図1に示す画像処理システム100との相違点を中心に説明する。
画像処理システム1000では、画像処理装置110と、画像処理装置1010と、ユーザPC130dとがネットワーク1014を介して接続される。ネットワーク1014は、LANやインターネットなどのネットワークであり、画像処理装置110,1010,及びユーザPC130dの間で、画像データ及びイベント等の種々のデータを通信する。
画像処理装置1010は、ケーブル124cを介してユーザPC130cに接続されている。
この図に示す実施形態では、画像処理装置110,1010及びユーザPC130dがネットワーク1014を介して接続されるが、他の実施形態では、これらの画像処理装置をネットワーク1014を介さずに、スター型等の接続形態で直接接続してもよい。
<画像処理装置のハードウェア構成及び機能構成>
図3は、図2に示す画像処理装置のハードウェア構成及び機能構成を示す図である。
画像処理装置110は、画像入力インタフェース232を備えており、このインタフェースを介してユーザPC130a,130bと接続される。画像入力インタフェース232は、ユーザPC130a,130bの表示画像を形成する画像信号を受信するインタフェースである。
本実施形態では、画像入力インタフェース232としてDVI(Digital Visual Interface)端子によって構成されるDVIコネクタを採用することができる。画像入力インタフェース232は、ユーザPC130a,130bからVGA(Video Graphics Array)ケーブル等のケーブル124を介してVGA信号を受信し、画像処理装置110が備える画像取得部206にVGA信号を供給する。
他の実施形態では、VGAコネクタ、HDMI(登録商標)(High-Definition Multimedia Interface)コネクタ、Displayportコネクタ等を採用することができる。さらに他の実施形態では、画像入力インタフェース232は、Bluetooth(登録商標)やWiFi等の無線通信プロトコルに準拠した無線通信により、ユーザPC130a,130bから画像信号を受信してもよい。
画像処理装置110は、プロセッサ200と、ROM202と、RAM204と、画像取得部206と、座標検出部224と、座標検知装置226と、表示部112を含んで構成される。
プロセッサ200は、CPUやMPU等の処理演算装置であり、WINDOWS(登録商標)シリーズ、UNIX(登録商標)、LINUX(登録商標)、TRON、ITRON、μITRONなどのOSを動作させ、これらのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本実施形態のプログラムを実行する。
ROM202は、BIOSやEFI等のブートプログラムなどが保存される不揮発性メモリである。RAM204は、DRAMやSRAM等の主記憶装置であり、本実施形態のプログラムを実行するための実行空間を提供する。
プロセッサ200は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置(図示せず)から、プログラムを読み出し、RAM204に展開して実行する。
プログラムには、プログラムモジュールであるイベント処理部210、アプリ画像生成部212、レイアウト管理部214、描画生成部216、合成部218、表示制御部220、スナップショット生成部222、スナップショット保存部236、スナップショット送信部238およびリポジトリ管理部228が含まれる。
画像取得部206は、ユーザPC130a,130bから画像信号を取得する機能手段である。画像取得部206は、ユーザPC130a,130bから画像入力インタフェース232を介して画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成されるユーザPC130a,130bの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部212に送信する。
また、画像取得部206は、当該画像信号を使用してユーザPC130a,130bの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオRAM208にそれぞれ上書き保存する。
アプリ画像生成部212は、表示部112に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、ユーザPC130a,130bの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウ、画像処理装置110の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやWebブラウザ等の表示ウィンドウなどが含まれる。アプリ画像生成部212は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。
レイアウト管理部214は、アプリ画像生成部212が生成する表示ウィンドウにユーザPC130a,130bの表示画像を描画する機能手段である。レイアウト管理部214は、画像取得部206から画像情報を取得すると、ビデオRAM208に格納されている画像フレームを取得し、画像情報を使用して、画像フレームの大きさをアプリ画像生成部212が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。
座標検知装置226は、描画装置240等の指示物体の接触を検知する機能手段である。本実施形態では、座標検知装置226として、赤外線遮断方式による座標入力装置を採用する。この座標入力装置では、表示部112の下側両端部に設置された2つの受発光装置が、表示部112に平行に複数の赤外線を放射し、表示部112の周囲に設けられた再帰性反射手段によって同一光路上に反射する光を受光する。
座標検知装置226は、指示物体によって遮断された2つの受発光装置が放射した赤外線の識別情報を座標検出部224に通知し、座標検出部224が、指示物体の接触位置である座標位置を特定する。
他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検知手段を採用してもよい。
座標検出部224は、表示部112に対する指示物体の接触位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。本実施形態では、座標検出部224は、座標検知装置226が通知する遮断された赤外線の識別情報を利用して、指示物体の座標位置を算出する。
座標検出部224は、接触位置の座標位置と共に、種々のイベントをイベント処理部210に発行する。座標検出部224が発行するイベントには、物体の接触又は接近したことを通知するイベント(TOUCH)、物体が表示部112に接触又は接近した状態で接触点又は接近点が移動したことを通知するイベント(MOVE)、物体が表示部112から離れた(離間した)ことを通知するイベント(RELEASE)が含まれる。これらのイベントには、接触位置座標及び接近位置座標である座標位置情報が含まれる。
描画装置240は、画像処理装置110の座標検知装置226に接触させて描画する装置である。描画装置240は、先端部に物体の接触を検知する接触検知手段を備えたペン形状をしており、当該接触検知手段が物体に接触すると、接触したことを示す接触信号を当該描画装置の識別情報と共に座標検出部224に送信する。
また、描画装置240は、描画された描画オブジェクトを消去する機能を持つ。描画モードから消去モードに切り替えるモード切替スイッチを側面や後端部に備えている。当該接触検知手段が消去モードで物体に接触すると、接触したことを示す信号と消去モードである信号を当該描画装置の識別情報と共に座標検出部224に送信する。描画装置240は、表示部112に表示されたメニューやボタン等のオブジェクトをユーザが選択することが可能である。
例えば、ユーザが消去モード切替スイッチを押下した状態で、描画装置240を画像処理装置110の表示部112に接触させた場合には、描画装置240は、接触信号及び当該描画装置の識別情報と共に、消去モードを示すモード種別信号を送信する。ユーザが消去モード切替スイッチを押下していない状態で、描画装置240を画像処理装置110の表示部112に接触させた場合には、描画装置240は、接触信号および当該描画装置の識別情報を送信する。
本実施形態では、座標検出部224は、座標検知装置226から赤外線の識別情報を受信すると、指示物体の接触位置である座標位置を算出し、次いで、描画装置240から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部224は、モード種別を示す情報(以下、「モード種別情報」とする。)を当該イベントと共にイベント処理部210に通知する。
本実施形態では、Bluetooth(登録商標)等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。
イベント処理部210は、座標検出部224が発行するイベントを処理する機能手段である。イベント処理部210は、座標検出部224からイベントを受信すると、描画領域での描画指示イベントなのか、消去指示イベントなのか、または表示部112に表示された機能別のアイコンを選択する操作なのかを識別し、それぞれの機能を実施する。
描画指示イベントとは、画像処理装置110に対して描画を指示するイベントである。消去指示イベントは、画像処理装置110に対して描画されたオブジェクトを消去するイベントである。描画指示イベント及び消去イベントは、描画装置240が表示部112に接触することに起因して発行される。
選択通知イベントとは、表示部112に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは、描画装置240が表示部112に接触することに起因して発行される。イベント処理部210は、座標検出部224が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。
本実施形態では、描画指示イベント及び選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する画像処理装置110の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する画像処理装置110の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。
描画生成部216は、ユーザが描画装置240を用いて描画した描画画像を生成する機能手段である。描画生成部216は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。描画生成部216は、当該座標位置を描画情報としてRAM204の描画情報の格納領域に保存する。
合成部218は、種々の画像を合成する機能手段である。合成部218は、アプリ画像生成部212が画像を描画すべき画像レイヤ(以下、「アプリ画像レイヤ」とする。)と、レイアウト管理部214がユーザPC130a,130bの表示画像を描画すべき画像レイヤ(以下、「画像キャプチャレイヤ」とする。)と、描画生成部216が画像を描画すべき画像レイヤ(以下、「手書きレイヤ」とする。)とを合成する。
表示制御部220は、表示部112を制御する機能手段である。表示制御部220は、合成部218が生成した合成画像を表示部112に表示させる。本実施形態では、合成部218は、表示制御部220を呼び出して合成画像を表示部112に表示させる。他の実施形態では、合成部218及び表示制御部220は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部112に表示させてもよい。
スナップショット生成部222は、ユーザPC130a,130bの表示画像と描画生成部216が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。
スナップショット生成部222は、表示部112に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。スナップショット生成部222は、スナップショット画像を生成すると、リポジトリ管理部228に対しスナップショット画像を記憶装置230に保存させる。
スナップショット保存部236は、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像をデータ出力インタフェース234を通じてUSBメモリ242等の外部保存装置にスナップショット画像を保存する機能手段である。
スナップショット保存部236は、表示部112に表示されたスナップショットの保存を指示するスナップショット保存ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像を取得し、データ出力インタフェース234に接続された外部保存装置にスナップショット画像を出力する。
スナップショット送信部238は、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像を通信制御部250を通じて画像処理装置外のサーバ(図示せず)等に送信する機能手段である。
スナップショット送信部238は、表示部112に表示されたスナップショットの送信を指示するスナップショット送信ボタンが選択されたことを示す選択通知イベントを受信すると、リポジトリ管理部228を通じて記憶装置230に保存されたスナップショット画像を取得し、通信制御部250にスナップショット画像を出力する。
通信制御部250は、ネットワーク1014を介した画像処理装置間の通信を制御する機能手段である。通信制御部250は、認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部252を介して通信する。通信部252は、ネットワーク1014とのネットワークインタフェースである。
リポジトリ管理部228は、スナップショット画像を格納すべき記憶装置230を制御する機能手段である。リポジトリ管理部228は、上述したように、スナップショット生成部222の指示により、スナップショット画像を記憶装置230に保存する。また、リポジトリ管理部228は、スナップショット保存部236あるいはスナップショット送信部238の指示により、記憶装置230からスナップショット画像を取得し、データ出力インタフェース234あるいは通信制御部250に送信する。
データ出力インタフェース234は、スナップショット画像を外部装置に出力する物理インタフェースである。本実施形態では、データ出力インタフェース234としてUSBソケットを採用することができる。
<座標入力装置の概略構成>
図4は、本発明の実施形態の座標入力装置の概略構成を示す図である。この座標入力装置40は図3における座標検知装置226として搭載されている。
座標入力装置40は、受発光手段41−1,41−2と、座標入力領域43と、再帰性反射部材44とから構成されている。座標入力領域43は四角形の形状であり、例えば電子的に文字や画像を表示するディスプレイ表面に電子ペンで書き込むタッチパネルなどが座標入力領域となる。受発光手段41−1,41−2は、座標入力領域43の上部の両端の2箇所に配置されている。本実施形態では、座標入力装置40は、画像処理装置110の表示部112の表面に形成されている。
座標入力装置40は、座標入力領域43上を光学的に不透明な材質からなる指示物体の接触位置42を検知して、その位置情報である座標位置を座標検出部224に伝える装置である。なお、本実施形態では、指示物体は電子ペンからなる描画装置240であるが、指示棒や指の接触位置の座標位置を検知することもできる。
座標入力領域43の上部両端には、受発光手段41−1,41−2が設けられている。上部左端の受発光手段41−1からは座標入力領域43に向けて、L1、L2、L3、...Lmの光ビームの束(プローブ光)が照射されている。実際には点光源61から拡がる、座標入力領域43の面に平行に進行する扇形板状の光波である。
また、座標入力領域43の周辺部分には、反射手段としての再帰性反射部材44が再帰反射面を座標入力領域43の中央に向けて設けられている。再帰性反射部材44は、入射した光を、入射角度によらずに同じ方向に反射する特性をもった部材である。
例えば、受発光手段41−1から発した扇形板状の光波の内、ある一つのビーム47に注目すると、ビーム47は再帰性反射部材44によって反射されて再び同じ光路を再帰反射光46として受発光手段41−1に向かって戻るように進行する。受発光手段41−1には、後述するように受光素子が設置されていて、プローブ光L1〜Lmのそれぞれに対して、その再帰光が受発光手段41−1に再帰したか否かを検出することができる。
指示物体が接触位置42で接触した場合について考える。このときプローブ光45は接触位置42で指示物体に遮られて再帰性反射部材44には到達しない。従って、プローブ光45の再帰光は受発光手段41−1には到達せず、プローブ光45に対応する再帰光が受光されないことを検出することによって、プローブ光45の延長線(直線L)上に指示物体が挿入されたことを検出することができる。
同様に上部右端に設置された受発光手段41−2からもプローブ光を照射し、プローブ光48に対応する再帰反射光が受光されないことを検出することによって、プローブ光48の延長線(直線R)上に指示物体が挿入されたことを検出することができる。直線L及び直線Rを求めることができれば、この交点の座標位置を演算により算出することにより、指示物体が接触した座標位置を得ることができる。
<受発光手段の内部構成>
図5は、図4における受発光手段41−1,41−2の内部構成を示す図である。この図は、座標入力領域43の面に対して垂直な方向から見た図である。ここでは説明の便宜上、座標入力領域43の面に平行な2次元平面で説明する。
受発光手段41−1,41−2は、点光源61、集光レンズ51及び受光素子50から構成されている。点光源61は光源から見て受光素子50と反対の方向に扇形に光を出射するものとする。点光源61から出射された扇形の光は、矢印53、58の方向、その他の方向に進行するビームの集合であると考える。矢印53方向に進行したビームは再帰性反射部材44で反射されて、再帰反射光54が集光レンズ51を通り、受光素子50上の位置57に到達する。
また、進行方向58に沿って進行したビームは再帰性反射部材44によって反射されて、再帰反射光59が受光素子50上の位置56に到達する。このように点光源61から出射し、再帰性反射部材44で反射し、同じ経路を戻ってきた光は、集光レンズ51の作用によって、それぞれ受光素子50上のそれぞれ異なる位置56、57に到達する。
従って、ある座標位置に指示物体が挿入され、ある光路のビームが遮断されると、そのビームに対応する受光素子50上の点に光が到達しなくなる。このことから、受光素子50上の光強度の分布を調べることによって、どの光路のビームが遮られたかを知ることができる。
<遮断されたビームの検知>
図6は、表示部の表面に指示物体が接触してビームが遮断されたときの動作を説明するための図である。この図において、受光素子50は集光レンズ51の焦点面に設けられているものとする。
点光源61から図6の右方に向けて出射した光は、再帰性反射部材44によって反射されて同じ経路を戻ってくる。従って、点光源61の位置に再び集光する。集光レンズ51の中心は点光源位置と一致するように設けられている。再帰性反射部材44から戻った再帰光は、集光レンズ51の中心を通るので、レンズ後方(受光素子側)に対称の経路で進行する。
このとき、受光素子50上の光強度分布を調べると、指示物体が挿入されていなければ、受光素子50上の光強度分布はほぼ一定であるが、図示のように、光を遮る指示物体が挿入された場合、ここを通過するビームは遮られ、受光素子50上では位置Dnの位置に、光強度が弱い領域(暗点)が生じる。
この位置Dnは、遮られたビームの出射/入射角θnと対応していて、Dnを検出することによりθnを算出することができる。
即ちθnはDnの関数として、
θn=arctan(Dn/f) …式〔1〕
と表すことができる。ただし、fは図示のように、集光レンズ51と受光素子50との間の距離で、集光レンズ51の焦点距離に該当する。
<三角測量の原理に基づく座標の算出>
図7は、三角測量の原理を基に座標を算出する方法を説明するための図である。
ここで、図4の左上端の受発光手段41−1におけるθnをθnL、DnをDnLと置き換える。
受発光手段41−1と座標入力領域43との幾何学的な相対位置関係の変換gにより、指示物体の接触位置42と座標入力領域43のx軸とのなす角θLは、式〔1〕
で求められるDnLの関数として、
θL=g(θnL) …式〔2〕
となる。
ただし、
θnL=arctan(DnL/f) …式〔3〕
である。
同様に、図4の右上端の受発光手段41−2についても、上記した式のL記号をR記号に置き換えて、受発光手段41−2と座標入力領域43との幾何学的な相対位置関係の変換hにより、
θR=h(θnR) …式〔4〕
ただし、
θnR=arctan(DnR/f) …式〔5〕
である。
図7に示すように、座標入力領域43において受発光手段41−1,41−2の取り付け間隔をwとし、座標入力領域43の左角を原点70とし、x、y座標を図7に示すように、x軸を横方向、y軸を縦方向にとる。
この場合、座標入力領域43上の指示物体の接触位置42の座標位置(x,y)は、
x=wtanθR/(tanθL+tanθR) …式〔6〕
y=wtanθL・tanθR/(tanθL+tanθR) …式〔7〕
となり、式から〔3〕、〔5〕、〔6〕、〔7〕から、x、yは、DnL、DnRの関数として表すことができる。
即ち、左右の受発光手段41−1,41−2の受光素子50上の暗点の位置DnL、DnRを検出し、受発光手段41−1,41−2の幾何学的配置を考慮することにより、指示物体60の接触位置42の座標位置を算出することができる。
以上説明した座標位置算出方法は、三角測量の原理に基づくものであり、例えば特許文献1に記載されている。
<指示物体の座標位置を算出できない場合>
図8は、指示物体以外に手などが表示部の表面に接触している状態を示す図であり、図9は、2つの指示物体が表示部の表面に接触している状態を示す図である。
このように三角測量の原理に基づき、指示物体の座標位置を算出するが、図8に示すように、指示物体の接触位置42以外に手80などの遮蔽物が表示部112の表面に接触している場合、左上端の受発光手段41−1は接触位置42の座標位置を検出することができなくなってしまう。
また、図9に示すように、2つの指示物体の接触位置がT,Tの場合、三角測量の原理に基づき座標位置を算出すると、接触位置T,Tを示す正しい座標位置でなく、接触位置D,Dを示す誤った座標位置も算出されるため、正確な座標位置を検出できなくなる。
そこで、本実施形態では、描画装置240として、加速度センサと、ジャイロなどの角速度センサを備えつつ、センサ情報及び動作の開始と終了を画像処理装置110に送信する機能を有する電子ペンを用いることで、図8、図9に示す問題を解決する。
<電子ペンの構成及び座標入力動作>
図10は、本発明の指示物体の実施形態としての電子ペンの構成を示す図である。
図示のように、電子ペン300は、ペン先バネ302を介して接続された可動ペン先301の圧力を検知するペン先圧力センサ303と、ペン尻バネ308を介して接続された可動ペン尻307の圧力を検知するペン尻圧力センサ309とを備えている。
また、電子ペン300は、電子ペン300の動きを検知するための加速度センサ305と、電子ペン300の姿勢を検知するための角速度センサ306を備えている。加速度センサ305及び角速度センサ306は信号処理回路304に設けられている。また、ペン先圧力センサ303の検知信号及びペン尻圧力センサ309の検知信号は信号処理回路304に入力される。
信号処理回路304は、ペン先圧力センサ303、ペン尻圧力センサ309の圧力変化により、筆記、削除などの電子ペンの動作の開始と終了を示す信号を信号送信部310を通して画像処理装置110に送信する。また、加速度センサ305及び角速度センサ306の検知信号を信号送信部310を通して画像処理装置110に送信する。
画像処理装置110は、これらの信号を受信することで、電子ペン300自体の姿勢及び位置を算出できるようになる。図示のように、加速度センサ305と角速度センサ306は、共に3次元(xyz)方向の加速度と角速度を検知するように配置される。加速度センサ305は、電子ペン300の3軸に生じる加速度を検知することで、電子ペン300の動きを検知し、角速度センサ306は電子ペン300の3軸に生じる角速度を検知することで、電子ペン300の姿勢を検知することができる。
この3軸は、電子ペン300の持ち方や使い方により軸方向が変化する。そこで、角速度センサ306の検知信号を積分演算(積算)した電子ペン300の姿勢を加速度センサ305の検知信号に反映させて積分演算することで、電子ペン300の移動方向及び移動量を含む移動情報を算出することができる。そして、この移動情報から、座標入力領域43の2つの座標軸(図7のx軸、y軸)方向の移動量を算出することができる。従って、積分演算を開始したときの座標位置が分かっていれば、加速度センサ305及び角速度センサ306からの検知信号の積分演算により、電子ペン300の座標位置を算出することができる。
従って、電子ペン300が画像処理装置110の表示部112に接触している間は、この2種類のセンサの検知信号(以下、センサ情報)か、三角測量の原理に基づき算出された座標位置を用いることにより、画像処理装置110の表示部112の位置に対する電子ペン300の座標位置が算出できることとなる。
しかし、電子ペン300で筆記していないときは、つまり電子ペン300が画像処理装置110の表示部112に接触していないときには、再度筆記を開始するまでに加速度センサ305と角速度センサ306のセンサ情報で積分演算した座標位置と実際の座標位置では、誤差が生じることとなる。
また、筆記中においても、多少の誤差が生じる可能性がある。そこで、筆記終了時から再度筆記するまでの加速度センサ305と角速度センサ306の情報から算出した表示部112上の座標位置と、三角測量により算出された座標位置と、各々で算出した筆記終了時との座標位置の差の比較を行う。
三角測量により算出された座標位置を正確な値(基準値)とし、その相違する割合から補正値を算出し、座標入力領域43の2つの座標軸(図7のx軸、y軸)方向の移動量と紐付けしたデータとして蓄積する。この蓄積していくデータから、2つの座標軸方向の移動量に合わせた補正値(補正値1とする)を算出していく。そして、図8のように遮蔽物が表示部112に表面にあるなどで、測定対象である電子ペン300がセンサから検出できず、三角測量から座標位置を算出できない場合に、加速度センサ305と角速度センサ306の情報から表示部112上の座標位置を算出する場合に、積分演算した座標位置に補正値1を用いて座標位置を算出することで、正確な座標位置を算出することができるようになる。
また、筆記中においても誤差を減らすべく、同様に補正値(補正値2とする)を算出する。これら2種類の補正値は、平均化などの統計的な方法を用いることにより、より正確な値となっていくこととなり、図8のように遮蔽物が表示部112の表面にあり、三角測量から指示物体の座標位置を算出できない場合にでも、正確な座標位置に電子ペン300で描画することができるようになる。
また、複数の電子ペンを用いる場合にも、三角測量以外に、加速度センサ305と角速度センサ306のセンサ情報を用いることにより、各電子ペンの表示部112上の座標位置を把握することができる。従って、図9のような場合でも、正確に描画や消去したりなどの操作をすることが可能になる。さらに、各々の電子ペンから発信する信号を区別したりするなどの方法を用いて判別できるようにし、その情報も別々に管理することにより、より正確に複数の電子ペンを使用して表示部112に対する描画や消去などの操作ができることになる。
<電子ペンからの信号を用いた座標検出処理>
図11は、上述した電子ペン300からの信号を用いた座標検出処理の一部を示すフローチャートであり、図12は、その座標検出処理の残りの部分を示すフローチャートである。この座標検出処理は画像処理装置110内の座標検出部224が実行する。
このフローは、電子ペン300から描画開始信号を受信したときにスタートする。描画開始信号は、電子ペン300が画像処理装置110の表示部112に接触したことをペン先圧力センサ303が検知したときに、信号送信部310から画像処理装置110に送信される。
最初にフラグt及びフラグwを初期化する(ステップS1)。ここで、フラグtはフラグが立っている(t=1)場合は、描画終了前の座標位置検出が三角測量で行われたことを、フラグが立っていない(t=0)場合は、描画終了前の座標位置検出がセンサ情報で行われたことを表し、フラグwは電子ペン300で初めて描画を行う(W=0)か、2度目以降(W=0)かを表す。
次に三角測量を行い(ステップS2)、三角測量ができたか否かを判断する(ステップS3)。ここでは、三角測量ができたものとし(ステップS3:可)、描画開始座標位置を算出して記憶する(ステップS4、S5)。ステップS4、S5は、座標検出部224内の第1の座標位置算出手段及び描画開始座標位置記憶手段により実行される。
次にフラグtの値が0であるかを判断する(ステップS6)。最初はフラグtは0(初期値)であるから、ステップS11に進み、電子ペン300からのセンサ情報を初期化する。
次に、電子ペン300の加速度センサ305からの情報に基づいて、電子ペン300が移動したか否かを判断する(ステップS12)。まず移動していない場合(ステップS12:無)について説明する。この場合、描画終了信号を監視し(ステップS23)、描画終了信号を検出したら(描画終了信号:有)、座標位置を記憶する(ステップS24)。ステップS24は、座標検出部224内の描画終了座標位置記憶手段により実行される。
ここで、描画終了信号は、電子ペン300が画像処理装置110の表示部112から離れた(離間した)ことをペン先圧力センサ303が検知したときに、電子ペン300から画像処理装置1010に送信される。
このように、電子ペン300が画像処理装置110の表示部112に接触したものの、移動することなく、離れた場合は、ステップS24で記憶した座標位置はステップS5で記憶した座標位置と同じになる。
ステップS24で座標位置を記憶した後、フラグwを1にし(ステップS25)、センサ情報を初期化する(ステップS26)。
次に、電子ペン300が移動したか否かを判断し(ステップS27)、移動しているときは(ステップS27:有)、センサ情報を積算した後(ステップS28)、描画開始信号の有無を判断する(ステップS29)。移動していないときは(ステップS27:無)、そのまま描画開始信号の有無を判断する(ステップS29)。ステップS28は、座標検出部224内の第2の座標位置算出手段により実行される。
描画開始信号が無い場合は(ステップS29:無)、ステップS27に移行し、描画開始信号が有る場合は(ステップS29:有)、ステップS2に移行する。つまり、ステップS28により、電子ペン300が画像処理装置110の表示部112から離れている間の電子ペン300の座標入力領域43の2つの座標軸(図7のx軸、y軸)方向の移動量(以下、単に「移動量」という)、即ちステップS24で記憶した座標位置からの移動量を算出した後、ステップS2に移行する。
次に、ステップS12で電子ペン300が移動していると判断した場合は(ステップS12:有)について説明する。この場合は、三角測量を行い(ステップS13)、三角測量ができたか否かを判断する(ステップS14)。ここでは、三角測量ができたものとし(ステップS14:可)、座標位置を記憶する(ステップS15)。
次に、センサ情報より座標位置の移動量を算出する(ステップS16)。ステップS16により、ステップS11で初期化されてからの表示部112上の電子ペン300の移動情報が得られる。
次に、三角測量による座標位置の移動量と、センサ情報から積算した座標位置の移動量から補正値2を算出して蓄積する(ステップS17)。
ここで、三角測量による座標位置の移動量は、ステップS15で記憶した座標位置とステップS5で記憶した座標位置との差分である。センサ情報から積算した座標位置の移動量は、ステップS16で算出した値である。
また、補正値2は、前述したとおり、両者の比較に基づいて生成した、センサ情報の積算値を補正するための係数である。即ち、三角測量による座標位置の移動量を正確な値とし、センサ情報から積算した座標位置の移動量を正確な値に補正するための係数である。この補正値2は、電子ペン300の筆記中のセンサ情報の補正係数である。
補正値2を記憶した後、フラグtを1に設定し(ステップS18)、描画処理を行い(ステップS19)、ステップS12に移行する。この描画処理により、ステップS5で記憶した描画開始座標位置からステップS15で記憶した座標位置までの電子ペン300の軌跡が表示部112に表示される。
今度はステップS12で移動が有ると判断し(ステップS12:有)、三角測量ができなかったものとする(ステップS13→ステップS14:不可)。この場合、センサ情報に補正値2を適用し補正し、座標位置を算出し(ステップS19)、その座標位置を記憶する(ステップS20)。そして、フラグtを0に設定し(ステップS21)、描画処理を行い(ステップS22)、ステップS12に移行する。ステップS19は、座標検出部224内の第2の補正手段により実行される。
次に、ステップS6でフラグtが1である場合について説明する。フラグtを1に設定するのはステップS18であるから、ステップS6でフラグtが1になるのは、ステップS18→S22→S12→S23〜S29→S2〜S5を経てS6に到達した場合である。
次のステップS7では、センサ情報の積算値から座標位置の移動量を算出する。ここで、算出する移動量は、ステップS28で算出した値、つまり電子ペン300が表示部112から離れていた間の電子ペン300の移動量である。
次に、三角測量による座標位置の移動量と、センサ情報から積算した座標位置の移動量から補正値1を算出して蓄積する(ステップS8)。ここで、三角測量による座標位置の移動量は、ステップS5で記憶した座標位置とステップS24で記憶した座標位置との差分である。センサ情報から積算した座標位置の移動量は、ステップS7で算出した値である。
また、補正値1は、前述したとおり、両者の比較に基づいて生成した、センサ情報の積算値を補正するための係数である。即ち、三角測量による座標位置の移動量を正確な値とし、センサ情報から積算した座標位置の移動量を正確な値に補正するための係数である。この補正値1は、電子ペン300が表示部112に接触していないときのセンサ情報の積算値の補正係数である。補正値1を蓄積した後、センサ情報を初期化する(ステップS11)。
ステップS3で測定できないと判断した場合は(ステップS3:不可)、フラグwが1か0かを判断し(ステップS9)、0の場合はステップS2に移行し、1の場合はステップS10に移行する。ステップS10では、センサ情報の積算値に補正値1を適用して座標位置を算出する。次に、その座標位置を記憶し(ステップS30)、センサ情報を初期化する(ステップS11)。ステップS10は、座標検出部224内の第1の補正手段により実行される。
フラグwはステップS25で1に設定されるので、ステップS9でフラグwが1になるのは、ステップS25〜S29→S2→S3を通ってステップS9に到達した場合である。従って、ステップS10で算出される座標位置は、ステップS24で座標位置を記憶した後、電子ペン300が表示部112に接触していないときのセンサ情報の積算値を補正値1で補正した正確な座標である。
以上説明したフローチャートの概略をまとめると以下のようになる。
筆記終了時から再度筆記するまでの加速度センサ305と角速度センサ306の情報から算出した表示部112上の座標の移動量(ステップS28にてセンサ情報を積算した結果を基に、ステップS7にて算出した座標位置)と、三角測量により算出された座標位置の移動量(ステップS2にて三角測量を行い、ステップS5にて算出した座標位置)と、ステップS15で算出してステップS24で記憶された、筆記終了時との座標位置の差の比較を行う。
三角測量により算出された座標位置を正確な値とし、その相違する割合から補正値を算出し、座標入力領域43の2つの座標軸方向(x軸方向、y軸方向)の移動量(ステップS2にて三角測量を開始し、ステップS4にて開始位置を算出する)と紐付けしたデータとしてステップS8で蓄積する。
即ち、例えば、筆記終了時にステップS24での座標位置を記憶した場合、次に筆記を開始するまでステップS28でセンサ情報を積算している。ステップS29にて筆記開始を検知した場合に、センサはステップS28で積算した値から、座標位置の移動量が(xs1、ys1)となった場合、三角測量で求めた移動量が(xt1,yt1)だとすると、x座標の補正値1はxt1÷xs1で求められ、y座標の補正値1はyt1÷ys1となる。
この蓄積していくデータから、座標軸の移動量に合わせた補正値(補正値1)を算出していき、図8のように三角測量から座標位置を算出できず、加速度センサ305と角速度センサ306の情報から座標位置を算出する場合に、ステップS10にて、ステップS28で積分演算した移動量の情報に補正値1を用いて座標位置を算出する。即ち、補正値1×ステップS28で積算した移動量+ステップS24で記憶した座標位置とすることで、正確に座標位置を算出することができる。
また、筆記中においても誤差を減らすべく、同様にステップS17にて、電子ペン300の移動中のS13の三角測量による移動量と、ステップS16のセンサ情報による移動量の異なる割合から,補正値2を算出する。
このように、ステップS24で記憶した座標位置に、過去の蓄積したセンサ積算値から算出した移動量を三角測量で測量した移動量に近付ける補正値1で、ステップS28のセンサ積算値を補正して電子ペン300の座標位置を算出することで、筆記開始点を確定する。筆記中は、ステップS30又はステップS20で記憶した座標位置に、短い移動距離に特化した補正値2で、ステップS19のセンサ積算値を補正して電子ペンの座標位置を算出することで、三角測量から算出できない場合にでも、正確な座標位置に電子ペンで描画することができるようになる。
以上詳細に説明したように、本発明の実施形態の画像処理装置110によれば、下記(1)〜(4)の効果が得られる。
(1)電子ペン300以外に手などの遮蔽物が表示部112の表面に接触しているときでも、電子ペン300の表示部112上の座標位置を算出することができる。
(2)複数の電子ペン300が表示部112に接触しているときでも、各電子ペン300の表示部112上の座標位置を算出することができる。
(3)電子ペン300で筆記していないときのセンサ情報の積算値に基づく座標位置を補正することができる。
(4)電子ペン300で筆記しているときのセンサ情報の積算値に基づく座標位置を補正することができる。
40…座標入力装置、41−1,41−2…受発光手段、43…座標入力領域、44…再帰性反射部材、110,1010…画像処理装置、112,1012…表示部、224…座標検出部、226…座標検知装置、240…描画装置、300…電子ペン、305…加速度センサ、306…角速度センサ。
特開平9−91094号公報 特許第4340302号公報

Claims (4)

  1. 座標入力領域の2箇所に配置された受発光手段と、
    各受発光手段から前記座標入力領域に出射された光を各受発光手段の方向に向けて反射させる反射手段と、
    各受発光手段から前記座標入力領域に出射され、前記反射手段で反射し、各受発光手段に到達する光の光路が前記座標入力領域に接触した指示物体により遮断されたとき、各受発光手段の間の距離と、各受発光手段と前記遮断された光路のなす角度とから、前記指示物体が接触した座標位置を算出する第1の座標位置算出手段と、
    前記指示物体からの加速度の検知信号及び角速度の検知信号を積算して、前記指示物体の移動量と移動方向を含む移動情報を算出する移動情報算出手段と、
    前記第1の座標位置算出手段により座標位置を算出できないとき、前記第1の座標位置算出手段により算出できたときの座標位置と、前記移動情報算出手段で算出された移動情報とから、前記指示物体の座標位置を算出する第2の座標位置算出手段と、
    を有する座標入力装置。
  2. 請求項1に記載された座標入力装置において、
    前記指示物体からの前記座標入力領域に接触したことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画開始座標位置として記憶する描画開始座標位置記憶手段と、
    前記指示物体からの前記座標入力領域から離れたことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画終了座標位置として記憶する描画終了座標位置記憶手段と、
    前記描画終了座標位置から次の描画開始座標位置までの差を基準にして、その間に前記移動情報算出手段で算出された移動情報を補正する第1の補正手段と、
    を有する座標入力装置。
  3. 請求項1に記載された座標入力装置において、
    前記指示物体からの前記座標入力領域に接触したことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画開始座標位置として記憶する描画開始座標位置記憶手段と、
    前記指示物体からの前記座標入力領域から離れたことを示す検知信号を受け取り、そのときに前記第1の座標位置算出手段により算出された座標位置を描画終了座標位置として記憶する描画終了座標位置記憶手段と、
    前記指示物体からの加速度の検知信号に基づいて、前記指示物体が移動したか否かを判断する移動判断手段と、
    前記描画開始座標位置記憶手段が前記描画開始位置を記憶した後、前記描画終了位置記憶手段が前記描画終了座標位置を記憶する前に、前記移動判断手段により移動したと判断された場合、前記第1の座標位置算出手段により算出された座標位置を筆記中座標位置として記憶する筆記中座標位置記憶手段と、
    前記描画開始座標位置から前記筆記中座標位置までの差を基準にして、その間に前記移動情報算出手段で算出された移動情報を補正する第2の補正手段と、
    を有する座標入力装置。
  4. 請求項1〜3のいずれかに記載された座標入力装置を備えた画像処理装置。
JP2013189773A 2013-09-12 2013-09-12 座標入力装置及び画像処理装置 Expired - Fee Related JP6176013B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013189773A JP6176013B2 (ja) 2013-09-12 2013-09-12 座標入力装置及び画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013189773A JP6176013B2 (ja) 2013-09-12 2013-09-12 座標入力装置及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2015056064A JP2015056064A (ja) 2015-03-23
JP6176013B2 true JP6176013B2 (ja) 2017-08-09

Family

ID=52820414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013189773A Expired - Fee Related JP6176013B2 (ja) 2013-09-12 2013-09-12 座標入力装置及び画像処理装置

Country Status (1)

Country Link
JP (1) JP6176013B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785262B2 (en) * 2015-04-20 2017-10-10 Wacom Co., Ltd. System and method for bidirectional communication between stylus and stylus sensor controller
KR101687757B1 (ko) * 2016-04-14 2016-12-20 (주)이케이네트웍스 전자 필기 인식 방법 및 이를 실행하는 프로그램이 기록된 기록 매체
KR101796925B1 (ko) * 2016-04-14 2017-11-16 (주)이케이네트웍스 전자 필기 장치 및 이를 포함하는 시스템
JP6808217B2 (ja) * 2016-09-01 2021-01-06 学校法人神奈川大学 質問回答システム及び質問回答管理装置
US10437391B2 (en) 2016-11-17 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Optical touch sensing for displays and other applications
EP3519928A4 (en) * 2017-05-23 2020-02-12 Shenzhen Goodix Technology Co., Ltd. OPTICAL TOUCH SENSING FOR DISPLAY DEVICES AND OTHER APPLICATIONS

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991094A (ja) * 1995-09-21 1997-04-04 Sekisui Chem Co Ltd タッチパネルの座標検出装置
JP2002523830A (ja) * 1998-08-18 2002-07-30 デジタル インク インコーポレーテッド 絶対的および相対的な位置決めのための検出センサを有する手書き用デバイス
JP3995866B2 (ja) * 2000-04-14 2007-10-24 株式会社リコー 入力装置
KR100673005B1 (ko) * 2005-02-18 2007-02-28 핑거시스템 주식회사 복합좌표 인식 입력장치 및 그 구동방법
US20110241988A1 (en) * 2010-04-01 2011-10-06 Smart Technologies Ulc Interactive input system and information input method therefor

Also Published As

Publication number Publication date
JP2015056064A (ja) 2015-03-23

Similar Documents

Publication Publication Date Title
JP6176013B2 (ja) 座標入力装置及び画像処理装置
JP6201519B2 (ja) 座標検知装置、及び座標検知方法、及び電子情報ボードシステム
US9857915B2 (en) Touch sensing for curved displays
US9176628B2 (en) Display with an optical sensor
US6943779B2 (en) Information input/output apparatus, information input/output control method, and computer product
US8743089B2 (en) Information processing apparatus and control method thereof
US9454260B2 (en) System and method for enabling multi-display input
US9753547B2 (en) Interactive displaying method, control method and system for achieving displaying of a holographic image
US20120274550A1 (en) Gesture mapping for display device
US20120319945A1 (en) System and method for reporting data in a computer vision system
US20080129700A1 (en) Interactive input system and method
US20130117717A1 (en) 3d user interaction system and method
US20120120030A1 (en) Display with an Optical Sensor
US8854338B2 (en) Display apparatus and method of controlling display apparatus
JP5651358B2 (ja) 座標入力装置及びプログラム
US20120056808A1 (en) Event triggering method, system, and computer program product
CN110703957B (zh) 一种基于光影像的交互系统和交互方法
JP4615178B2 (ja) 情報入出力システム、プログラムおよび記憶媒体
CA2886483C (en) Dynamically determining workspace bounds during a collaboration session
CN110703956B (zh) 一种基于光影像的交互系统和交互方法
JP7452917B2 (ja) 操作入力装置、操作入力方法及びプログラム
JP6476626B2 (ja) 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム
KR20110009290A (ko) 원격 데이터 입력 시스템 및 그에 따른 데이터 입력 방법
JP6786898B2 (ja) 画像処理装置、画像処理システム、及びプログラム
JP2017111205A (ja) 画像処理装置、画像処理システム、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170626

R151 Written notification of patent or utility model registration

Ref document number: 6176013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees