JPWO2016171166A1 - 座標検知装置、電子黒板、画像表示システム、座標検知方法 - Google Patents

座標検知装置、電子黒板、画像表示システム、座標検知方法 Download PDF

Info

Publication number
JPWO2016171166A1
JPWO2016171166A1 JP2017514158A JP2017514158A JPWO2016171166A1 JP WO2016171166 A1 JPWO2016171166 A1 JP WO2016171166A1 JP 2017514158 A JP2017514158 A JP 2017514158A JP 2017514158 A JP2017514158 A JP 2017514158A JP WO2016171166 A1 JPWO2016171166 A1 JP WO2016171166A1
Authority
JP
Japan
Prior art keywords
light
light emission
indicator
display surface
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017514158A
Other languages
English (en)
Inventor
聖子 山本
聖子 山本
山形 正信
正信 山形
直行 石川
直行 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2016171166A1 publication Critical patent/JPWO2016171166A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Abstract

表示面22における発光指示体100及び非発光指示体200の座標を検知する座標検知装置24であって、前記表示面から所定範囲の前記発光指示体又は前記非発光指示体の少なくとも一方を撮像する撮像手段410と、前記発光指示体の発光による光量を前記所定範囲から検知して前記発光指示体の座標を検知すると共に、前記表示面に射出され前記非発光指示体により遮断された光の光量を前記所定範囲から検知して前記非発光指示体の座標を検知する検知手段350と、を有する。

Description

本発明は、座標検知装置、電子黒板、画像表示システム及び座標検知方法に関する。
液晶パネル等のディスプレイと、ユーザが電子ペンなどの指示体を用いて指示したディスプレイ上の座標を検知する座標検知装置と、座標検知装置から出力される座標データに基づいて各種画像を描画して表示させる制御装置と、を備えた電子黒板が広く使用されている。
このような電子黒板に使用される座標検知装置として、様々な座標の検知方法が提案されている。また、発光部を備えた発光指示体と指などの非発光指示体のどちらでも各種画像を描画したいという要請がある。
このような要請に対し、複数の指示体の座標を検知する座標検知装置が考案されている(例えば、特許文献1参照。)。特許文献1には、発光指示体が導光板の表面に接触することによって導光板にそれぞれ異なる波長の伝搬光を入射させ、フィルタでそれぞれの波長の伝搬光を取り出す座標検知装置が開示されている。また、特許文献1の座標検知装置は、導光板に沿って射出される光源の非発光指示体(指)による散乱光を検出して非発光指示体の座標を検知するので、発光指示体と非発光指示体の両方の座標を検知できる。
特開2013―175142公報
しかしながら、特許文献1に開示された座標検知装置は、ディスプレイの表面に導光板が必要であるという問題がある。ディスプレイの表面に導光板が必要であると導光板の厚みの分だけ、指示体の接触部分と画像表示装置の表示位置との間に視差(ユーザが指示した位置と画像の描画位置がずれる)が生じやすい。また、一般的なディスプレイに導光板を含む座標検知装置を装着することは加工費が増大しやすくコスト増となるおそれがある。
本発明は、上記に鑑みてなされたもので、発光指示体及び非発光指示体の座標を検知できる座標検知装置を提供することを目的とする。
本発明は、上記課題に鑑み、表示面における発光指示体及び非発光指示体の座標を検知する座標検知装置であって、前記表示面から所定範囲の前記発光指示体又は前記非発光指示体の少なくとも一方を撮像する撮像手段と、前記発光指示体の発光による光量を前記所定範囲から検知して前記発光指示体の座標を検知すると共に、前記表示面に射出され前記非発光指示体により遮断された光の光量を前記所定範囲から検知して前記非発光指示体の座標を検知する検知手段と、を有する。
発光指示体及び非発光指示体の座標を検知できる座標検知装置を提供することができる。
発光指示体の座標または非発光指示体の座標の検知方法の概略を説明する図の一例である。 発光指示体の座標または非発光指示体の座標の検知方法の概略を説明する図の一例である。 電子黒板の外観例を示す斜視図の一例である。 電子黒板のハードウェア構成を示す構成図の一例である。 発光指示体のハードウェア構成図の一例である。 座標検知装置の構成を示す模式図の一例である。 受発光装置の斜視図の一例である。 電子黒板を含むシステム構成例を模式的に示す図の一例である。 電子黒板の制御系を示すブロック図の一例である。 電子黒板の座標検知装置のハードウェア構成を示すブロック図の一例である。 電子黒板が有するコントローラの機能ブロック図の一例である。 発光素子を搭載した発光指示体の位置の算出を説明する図の一例である。 受発光装置300−1または300−2の受光センサが受光した光量を模式的に示す図である。 受発光装置300−1または300−2の受光センサが受光した光量を模式的に示す図である。 受発光制御回路が発光指示体の座標を検知する手順を示すフローチャート図の一例である。 発光素子を搭載していない指などの非発光指示体の位置の検知を説明する図の一例である。 受発光装置300−1または300−2の受光センサが受光した光量を模式的に示す図である。 受発光装置300−1または300−2の受光センサが受光した光量を模式的に示す図である。 受発光制御回路が非発光指示体の座標を検知する手順を示すフローチャート図の一例である。 受発光装置の概略の斜視図の一例である(実施例2)。 受発光装置300−1または300−2が検知する光量を模式的に示す図の一例である。 受発光装置300−1または300−2が検知する光量を模式的に示す図の一例である。 受発光装置300−1または300−2が検知する光量を模式的に示す図の一例である。 受発光装置300−1または300−2が検知する光量を模式的に示す図の一例である。 座標検知装置の動作手順を示すフローチャート図の一例である(実施例2)。 受発光装置の受光センサから離れている発光指示体の一例を示す図である。 図20に示した状態における受発光装置の受光センサが検知する光量を示す図の一例である。 図20に示した状態における受発光装置の受光センサが検知する光量を示す図の一例である。 座標検知装置の受発光装置の一例を示す図である(実施例3)。 座標検知装置の受発光装置の一例を示す図である(実施例3)。 座標検知装置の受発光装置の一例を示す図である(実施例3)。 座標検知装置の動作手順を示すフローチャート図の一例である(実施例3)。 プロジェクタと座標検知装置を有する座標検知システムの概略構成図の一例である。 座標検知装置と一体の再帰性反射板が展開される様子を模式的に示す図である。 座標検知システムのシステム構成例を模式的に示す図の一例である。 発光指示体が発光した場合の座標検知システムの動作手順を示す概略構成図の一例である。 非発光指示体が赤外線を遮断した場合の座標検知システムの動作手順を示す概略構成図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
(実施例1)
図1A、1Bは、発光指示体の座標と非発光指示体200の座標の検知方法の概略を説明する図の一例である。図1Aは非発光指示体200の座標の検知方法を説明する図である。座標検知装置24は原則的に常に発光体420を点灯しており発光体420が射出した赤外線は再帰性反射板で反射して受光センサ410により受光される。ユーザが非発光指示体200(指など)の先端を画像表示装置20の表示面22に接近させると、左上コーナと右上コーナの受光センサ410はそれぞれ暗点として非発光指示体200を検知する。受発光制御回路350は受光センサ410のそれぞれの暗点の位置から角度θ(第三の位置),θ(第四の位置)を求め、三角測量の原理で非発光指示体200の座標(x2,y2)を算出する。
図1Bは発光指示体の座標の検知方法を説明する図である。発光指示体100は座標検知装置24と無線通信することができ、ユーザが発光指示体100の先端を表示面22に接近させ更に接触させると(又は押し当てると)筆圧が検知された旨の信号(以下、筆記検知信号という)を座標検知装置24に送信する。座標検知装置24は、発光指示体100の先端が表示面22から離れた旨の信号(以下、筆記終了信号という)を受信するまで、又は、筆記検知信号を受信中、例外的に発光体420を消灯する。また、ユーザが発光指示体100の先端を画像表示装置20に接触させると発光指示体100の先端が発光する。左上コーナと右上コーナの受光センサ410はそれぞれ輝点として発光指示体100を検知する。受発光制御回路350は受光センサ410のそれぞれの輝点の位置から角度θ(第一の位置),θ(第二の位置)を求め、三角測量の原理で発光指示体100の座標(x1,y1)を算出する。
このように、本実施形態の座標検知装置は、画像表示装置20に導光板がなくても発光指示体100と非発光指示体200の座標を区別して検知できる。また、導光板が不要なのでコスト増を抑制でき、視差も生じないか又は少ない視差で画像を表示できる。なお、仮に画像表示装置20に導光板があるとしても本実施形態の座標検知方法は有効に適用できる。
<用語について>
表示面に表示される情報は、視覚的に認識可能な情報であればよい。具体的には、文字、図形、静止画、動画等である。また、手書きされた情報でも予め保存されていた情報でもよい。
座標を検知するとは、座標を取得することをいう。座標の取得までにセンサによるセンシング(検出)、演算、変換などが必要でもプロセスは制限されない。
<構成について>
図2は本実施形態の電子黒板10の外観例を示す斜視図である。電子黒板10は、ディスプレイである画像表示装置20と、この画像表示装置20を適切な高さで保持するスタンドである保持部材40と、画像表示装置20を制御する機器などを収納する機器収納部50とを有する。なお、この機器がベゼル部360などに収容可能な場合、機器収納部50はなくてよい。
画像表示装置20は、液晶パネル又はプラズマパネル等のパネル部材を有する。また、画像表示装置20のうち画像が表示される面を表示面22と称し、表示面22の周囲にはタッチパネルとして機能する座標検知装置24が配置されている。
更に、電子黒板10に対し、ユーザは専用のペン型入力装置である発光指示体100で画像表示装置20の表示面22に文字又は図形などを書き込むことができる。発光指示体100は、ペン先100Aに後述する接触検知部102を備え、ペン先100Aが画像表示装置20の表示面22に接触すると発光指示体100が発光し、それと同時に筆記検知信号を無線で送信する。これにより、座標検知装置24は発光指示体100の座標を検知し、画像表示装置20は検知された座標に点を表示する。ペン先100Aが表示面22に接触した状態で移動すると、電子黒板10は複数の点を接続して描画することで文字や図形等の画像を表示する。
また、発光指示体100のペン尻100Bには後端スイッチ105が搭載されており、ペン尻100Bが画像表示装置20の表示面22に接触すると発光指示体100は消去検知信号を画像表示装置20に送信する。画像表示装置20は、発光指示体100から送信された消去検知信号を受信すると、座標検知装置24により検知された座標に書き込まれた文字又は図形等の画像を画像表示装置20の表示面22から消去する。なお、この消去操作による表示処理としては、表示制御装置であるコントローラ60(後述する)において、検知された座標位置を画像表示装置20の表示面22に表示された画像の背景と同じ色(例えば、白色)とする表示処理が行われる。
更に、発光指示体100は、駆動用の電池と発光素子の間に昇圧回路が組み込まれておいり、発光素子の発光量を常時一定に制御する。また、電池残量が既定値以下になった場合には発光素子を発光させない。また、発光指示体100の接触検知部102は、ペン先100Aが画像表示装置20の表示面22に接触した際に、表示面22への接触力を検知する。例えば、接触検知部102は接触力の検出値に基づいて発光素子の光の強さを変化させることができる。コントローラ60は、この発光指示体100の発光素子から出力される光の強弱により、画像表示装置20の表示面22に書き込まれる文字又は図形等の線の太さを変化させる。あるいは、感圧センサの検出値は無線で座標検知装置24に送信されてもよい。
機器収納部50は、例えば、後述するコントローラ、プリンタ、ビデオディスク装置等の各種周辺機器が収納されている。また、機器収納部50の上面には、入力操作を行うキーボードである入力装置30が搭載されている。
図3は電子黒板10のハードウェア構成を示す構成図である。電子黒板10は、図3に示すように、上記した画像表示装置20、座標検知装置24、入力装置30の他、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、HDD(Hard Disc Drive)504、HDC(Hard Disk Controller)505、メディアドライブ507、インターフェース(I/F)508、マウス509、マイク510、スピーカ511、近距離無線通信部515、GPU(Graphics Processing Unit)512、及び、これらをアドレスラインやデータラインで接続する拡張バスライン520、を有する。
CPU501は、電子黒板10の全体動作を制御する。R0M502は、IPL(Initial Program Loader)等のCPU501の動作に用いられるプログラムを記憶している。ROM502は、CPU501のワークエリアとして使用される。HDD504は、プログラム等の各種データを記憶している。HDC505は、CPU501の制御にしたがってHDD504に対する各種データの読み出し又は書き込みを制御する。メディアドライブ507は、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御する。インターフェース508は、通信ネットワークを介してデータの送信及びソフトウェアの不正使用防止のために用いられるドングルの接続を行う。GPU512は、GPU512の動作に用いられるプログラムを記憶したROM513、GPU512のワークエリアとして使用されるRAM514が接続されている。近距離無線通信部515は、主に発光指示体100と無線で通信するための通信装置である。具体的にはBluetooth(登録商標)、Bluetooth(登録商標) Low Energy、ZigBee(登録商標)などの通信規格で通信する。拡張バスライン520は、上記各構成要素を電気的に接続するためのアドレスバス又はデータバス等を備える。
図4は、発光指示体のハードウェア構成図の一例を示す。発光指示体100は、ペン先100AにLEDなどで赤外線を発する発光素子110を有する。ペン先100Aは発光指示体100の軸方向に稼動又は変形し、ペン先100Aが表示面22に接触した際の筆圧が接触検知部102により検知される。
また、座標検知装置24と無線により通信する無線通信部103を有し、無線通信部103は筆記検知信号を座標検知装置24に送信する。また、発光指示体100のペン尻100Bは軸方向に稼動又は変形し、ペン尻100Bが表示面22に接触すると後端スイッチ105がそれを検出する。
また、発光指示体100は、発光指示体100の全体を制御するCPU106と、RAM107と、ROM108と、及び、A/D変換部109を有する。ROM108には発光指示体100のプログラムが記憶されており、CPU106は電子ペン用プログラムを実行し、以下のような機能を提供する。なお、発光指示体100は図示する以外にもマイコンなどの情報処理装置が有する一般的な構成を有している。また、ASICやFPGAなどのハードウェアで実現されてもよい。
接触検知部102は高分子圧膜フィルムなどを有しており、接触検知部102が検知した筆圧はA/D変換部109に送信される。A/D変換部109はアナログ信号の筆圧をデジタル信号の筆圧情報に変換する。CPU106は筆圧を閾値と比較して、ペン先100Aが表示面22に接触したこと(CPU106は筆記検知信号を生成する)及び表示面22から離れたこと(この場合、CPU106は筆記終了信号を生成する)を検知することができる。CPU106はペン先100Aが表示面22に接触した場合には発光素子110を発光させ、表示面22から離れた場合には発光素子110を消灯させる。これにより消費電力を低減できる。なお、消灯には受光センサ410が検知できない程度に弱い光量とすることを含む。
あるいは発光素子110が常時点灯していてもよい。この場合、ユーザの使用状態を推定するための加速度センサ等のセンサを搭載し、その出力によりCPU106が、ユーザが使用しているかどうかを判断し、使用していないときは消灯する。
また、ペン尻100Bが表示面22に接触すると後端スイッチ105がONになり、CPU106は後端ON信号を検出する。また、ペン尻100Bが表示面22から離れると後端スイッチ105がOFFになり、CPU106は後端OFF信号を検出する。
また、発光指示体100が固有のIDなどの属性情報をROM108などに格納していることが好ましい。これにより、発光指示体100が複数ある場合でも座標検知装置24は発光指示体100を識別して筆記検知信号と対応づけることができる。例えば、電子黒板10は、発光指示体100に応じて文字や図形等の色、太さ、線種などを変えることができる。
無線通信部103は例えばBluetooth(登録商標)、Bluetooth(登録商標) Low Energy、ZigBee(登録商標)などの通信規格で通信する。この他、赤外線、無線LAN、超音波、可視光通信などで通信してもよい。無線通信部103は、筆記検知信号、筆記終了信号、後端ON信号、後端OFF信号及びID等を座標検知装置24に送信することができる。なお、発光指示体100が座標検知装置24に送信する情報はこれらに限られない。
図5は座標検知装置の構成を示す模式図の一例であり、図6は受発光装置300の斜視図の一例である。タッチパネルである座標検知装置24は、図5に示すように、画像表示装置20の表示面22の、例えば左上コーナ、右上コーナ、左下コーナ及び右下コーナに受発光装置300(以下、区別する場合、300−1、300−2、300−3、300−4という)を備える。また、受発光装置300は、赤外線を検知する受光センサ410と、画像表示装置20の表示面22に沿って赤外線を射出する発光体420とを有する。表示面22に沿った赤外線とは表示面22にほぼ平行に射出された赤外線を言うが、赤外線は表示面22から所定範囲に射出されればよい。また、発光体420が射出する光は赤外線である必要はなく、例えば可視光や紫外線でもよい。しかし、可視光は点灯と消灯がユーザにより意識されやすく紫外線は化学的な作用があるため赤外線(近赤外線を含む)などが好ましい。
また、受発光装置300は表示面22の一辺を挟んで最低2台あればよい。2台あれば発光指示体100及び非発光指示体200の座標を検知できる。また、後述する実施例2では発光指示体100及び非発光指示体200の座標を同時に検知できる。なお、受発光装置300が2台あれば同時に2台以上の発光指示体の座標を検知でき、同時に2台以上の非発光指示体200の座標を検知できる。一方、3台以上の受発光装置300を備えることで、同時に座標を検知できる発光指示体及び非発光指示体200の数を増やすことができる。例えば、ある2台の受発光装置300から発光指示体100が陰にあるため座標を検知できなくても、別の2台の受発光装置300から発光指示体100を検知できるため、発光指示体100の座標を検知できる。
また、画像表示装置20の表示面22の四辺には、再帰性反射板320(以下、区別する場合、320−1、320−2、320−3、320−4という)が配置されている。再帰性反射板320には、受発光装置300から射出された光が入射し、再帰性反射板320は入射してきた方向に光を反射する。すなわち、再帰性反射板320は光を反射する板状の反射板である。画像表示装置20の表示面22の周縁の表面側には、再帰性反射板320を隠すベゼル部360が配置されている。すなわち、再帰性反射板320は、表示面22に垂直な方向の表示面22とベゼル部360の間にあり、ベゼル部の内枠360aは再帰性反射板320よりも表示面22の側にせり出している。画像表示装置20がこのベゼル部360を備えるので、再帰性反射板320にユーザの指等が接触し、再帰性反射板320が汚染されるのを防止することができる。
受発光装置300−1の発光体420は、右側方の再帰性反射板320−2及び下方の再帰性反射板320−3の全域に向けて、画像表示装置20の表示面に沿って赤外線を射出する。
また、右上コーナに配置された受発光装置300−2の発光体420は、画像表示装置20の表示面22に沿って赤外線を照射する。受発光装置300−2の発光体420は、左側方の再帰性反射板320−4及び下方の再帰性反射板320−3の全域に向けて赤外線を射出する。
受発光装置300−3,受発光装置300−4についても同様である。受発光装置300−3の発光体420は、左側方の再帰性反射板320−4及び上方の再帰性反射板320−1の全域に向けて赤外線を射出する。受発光装置300−4の発光体420は、上方の再帰性反射板320−1及び右側方の再帰性反射板320−2の全域に向けて赤外線を射出する。
画像表示装置20の表示面22に何も接触していない場合、受発光装置300−1から射出された赤外線は、再帰性反射板320−2、320−3で再帰反射され、受発光装置300−2から射出された赤外線は、再帰性反射板320−3、320−4で再帰反射され、受発光装置300−3から射出された赤外線は、再帰性反射板320−4、320−1で再帰反射され、受発光装置300−4から射出された赤外線は、再帰性反射板320−1、320−2で再帰反射される。
それぞれの再帰性反射板320で反射した反射光は受発光装置300のそれぞれの受光センサ410において検知される。
上記のように、発光指示体100は発光素子であるとして発光素子110を有する。発光指示体100のペン先100Aが画像表示装置20の表示面22に接触した場合、発光指示体100のペン先100Aの発光素子110が赤外線を出力する。
受発光装置300は、図6に示すように、受光センサ410と、発光体420とを有する。受光センサ410は、CCD(charge-coupled device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子411と、結像レンズ412とを備える。また、発光体420は、赤外線LED(Light emitting diode)や赤外線レーザなどで赤外線を照射する。受発光装置300は、受発光制御回路350に接続され、受発光制御回路350により受光センサ410及び発光体420の駆動が制御される。
この赤外線が受発光装置300の受光センサ410に入射する。撮像素子411は表示面22に対し水平方向に並んだ複数の画素(ピクセル)となる素子を有し、発光素子110が発光した赤外線は、撮像素子411の素子の1つ以上で検知される。すなわち、赤外線を受光した素子の光量が突出して大きくなる。この素子の位置が角度θ、θに相当する。
座標検知装置24は、受光した素子の位置から三角測量の数式を用いて座標に変換することで発光素子110が搭載された発光指示体100の座標を検知する。三角測量の数式については後述する。
また、ユーザの指等の非発光指示体200が画像表示装置20の表示面22に接触した場合、受発光装置300の発光体420から射出された赤外線が非発光指示体200と表示面22との接触箇所で遮断される。そのため、撮像素子411で光量が突出して小さくなる1つ以上の素子が特定される。この素子の位置が角度θ,θに相当する。
座標検知装置24は、赤外線が遮断された素子の位置から三角測量の数式を用いて座標に変換することで非発光指示体200の座標を検知する。三角測量の数式については後述する。
<システム構成例>
図7は電子黒板10を含むシステム構成例を模式的に示す図であり、図8は電子黒板10の制御系を示すブロック図の一例である。電子黒板10はユーザPC(Personal Computer)90及びネットワーク204と接続される。画像表示装置20は、コントローラ60により制御される。コントローラ60は、USB(Universal Serial Bus)ケーブル70が接続されるUSBソケット72、VGA(Video Graphics Array)ケーブル80が接続される入力ソケット82を備える。図7に示した例では、入力ソケット82はVGAケーブルに対応しているとしたが、入力ソケット82は、HDMI(登録商標)(High-Definition Multimedia Interface)、DisplayPort等他の規格の入力ケーブルが接続するものとできる。
ユーザPC90は、磁気ディスク装置などからなるストレージ94を有する。ストレージ94には、各種コンテンツ及びコンテンツ表示用のアプリケーションソフトウェアなどのプログラムが格納されている。そして、ユーザは、ストレージ94に格納されたコンテンツの中から所望のコンテンツを選択することで、モニター92に当該コンテンツを表示させる。
このため、コントローラ60は、ユーザPC90のモニター92に表示された画像データがUSBケーブル70及びVGAケーブル80を介して転送されると、画像表示装置20のユーザPC画面28にモニター92に表示された画像データと同じ画像を表示する。ユーザPC画面28は、ユーザPC90から電子黒板10のインターフェース508を介して取り込まれる。
また、コントローラ60は、光ファイバなどの通信回線201及びネットワークソケット202を介してインターネット又はLAN(Local Area Network)等のネットワーク204にも接続される。
また、コントローラ60は画像表示装置20にユーザが入力操作する際に押下する画面操作部26を表示する。
図9は、電子黒板10の座標検知装置のハードウェア構成を示すブロック図の一例である。座標検知装置24は、タッチパネルドライバ部250、受発光制御回路350、ペン信号受信部210及び受発光装置300を有する。
発光指示体100のペン先100Aが表示面22に接触すると、筆記検知信号がペン信号受信部210により受信される。発光指示体100のペン尻100Bが画像表示装置20の表示面22に接触すると、消去検知信号がペン信号受信部210により受信される。ペン信号受信部210は近距離無線通信部515とほぼ同じ物であり、ペン信号受信部210は近距離無線通信部515が発光指示体100から信号を受信する際の機能名である。なお、ペン信号受信部210は信号を発光指示体100に送信してもよい。
受発光制御回路350は、検知手段として、発光指示体100の座標を検知すると共に、非発光指示体200の座標を検知する。受発光制御回路350は、受発光装置300の受光センサ410が検知した光量に基づいて発光指示体100及び非発光指示体200の座標を算出する他、発光体420の発光を制御する。受発光制御回路350が演算した座標は座標位置信号としてタッチパネルドライバ部250に入力される。
また、タッチパネルドライバ部250は、ペン信号受信部210及び受発光制御回路350から入力された座標位置信号、筆記検知信号、筆記終了信号、後端ON信号、後端OFF信号、又は、消去検知信号を所定のイベント信号に変換してコントローラ60に伝送する。
<コントローラ60の機能について>
コントローラ60は、図3に示した電子黒板10のハードウェア構成を備えた制御部である。コントローラ60はこれらハードウェアを使ってソフト的に実現される機能を提供する。例えば、HDD504からRAM503に展開されたプログラムをCPU501が実行して以下の各機能を実現する。
図10は、電子黒板10が有するコントローラ60の機能ブロック図の一例である。電子黒板10のコントローラ60は、コントローラオペレーションシステム部220及びアプリケーション部230を有する。
コントローラオペレーションシステム部220は、コントローラ60で行う制御処理を管理、実行するメイン制御部である。コントローラオペレーションシステム部220は、OSやデバイスドライバなどにより実現され、座標検知装置24、画像表示装置20及びユーザPC90との通信や制御を行う。
アプリケーション部230は、画像表示装置20の表示面22に表示される画像を生成する処理、ユーザPC画面28に表示する処理等を行う。また、アプリケーション部230は、イベント信号判断部231と、映像入力処理部232と、画像描画処理部234と、画面消去処理部236と、画面操作処理部238とを有する。
イベント信号判断部231は、コントローラオペレーションシステム部220から入力されるイベント信号を監視しており、入力されたイベント信号に応じた処理を行う。映像入力処理部232は、ユーザPC90から入力された画像を画像表示装置20の表示面22のユーザPC画面28に表示するための処理を行う。
画像描画処理部234は、イベント信号判断部231を介して座標検知装置24から入力される座標位置のデータに基づいて手書き画像を生成する。また、画像描画処理部234は、既に表示された画像に手書き画像を重畳して画像表示装置20の表示面22に表示する。
画面消去処理部236は、イベント信号判断部231を介して座標検知装置24から入力される座標位置の情報に基づいて現在表示されている画像と同一の背景色で画像を生成し、既に表示された画像に背景色のグラフィックを重畳して画像表示装置20の表示面22に表示する。
これにより、画像表示装置20に表示された手書き画像に背景色の画像が重畳されて見かけ上は、画像表示装置20の表示面22から消去される。
画面操作処理部238は、座標検知装置24から入力される座標位置の情報(信号)をマウスイベントなどのポインティングデバイス信号に変換し、画像表示装置20の表示面22に表示される画面操作部26のオン・オフ操作による処理を行う。
<座標の演算>
<<発光指示体100の座標検知>>
続いて、図11、12A、12Bを用いて発光指示体100の座標検知について説明する。図11は発光素子を搭載した発光指示体の位置の算出を説明する図の一例である。図12A、12Bは受発光装置300−1と300−2の受光センサが受光した光量を模式的に示す図である。
発光指示体100のペン先100Aには発光素子110が配置されており、ペン先100Aが画像表示装置20の表示面22に接触した場合、発光素子110から赤外線を出力する。この赤外線は、再帰性反射板320で反射して受発光装置300の受光センサ410に入射する。ただし、ペン先100Aが画像表示装置20の表示面22に接触した場合、受発光装置300は赤外線を消灯する。消灯には受光センサ410が検知できない程度に弱い光量とすることを含む。そのため、発光指示体100が画像表示装置20の表示面22に接触した位置において、赤外線の光量が大きくなる輝点があらわれる。
図12A、12Bに示すように、発光指示体100の発光素子110から赤外線が発せられた際、発光指示体100が撮像された素子の光量が突出して大きくなる。具体的には撮像素子411が検知する輝度が、発光指示体100が写った素子において大きくなる。受発光制御回路350は受発光装置300−2の受光センサ410(第一の撮像手段)が取得した画像において、閾値Th1以上の輝度が得られる素子を特定し、この素子の水平方向の位置を角度θに変換する(閾値Th1は第一閾値の一例)。例えば、受光センサ410で光量が閾値Th1以上(第一閾値以上)になる素子が受光センサ410の水平方向の端部から何番目かによって角度θを求めることができる。同様に角度θを受発光装置300−2の受光センサ410(第二の撮像手段)において光量が突出して大きくなる素子の位置から求める。
なお、受発光制御回路350は光量が閾値Th1以上の素子を複数個、特定してもよい。ユーザが同時に複数の発光指示体100を使用している場合は、複数の発光指示体100の座標を検知する必要があるためである。
受発光制御回路350が受発光装置300−1、300−2から見た輝点に相当する素子の位置を角度θに変換することで、以下の数式で輝点の座標(x1,y1)を算出することができる。
輝点と受発光装置300−1を結ぶ直線と、表示面22の上辺とがなす角度をθとし、輝点と受発光装置300−2を結ぶ直線と、表示面22の上辺とがなす角度をθとする。また、受発光装置300−1と受発光装置300−2の間隔をWとする。発光指示体100の座標(x1,y1)は、
= w tanθ2 / ( tanθ1 + tanθ2)
= w tanθ1・tanθ2 / ( tanθ1 + tanθ2 )
により算出される。
このように、受発光装置300の幾何学的配置を考慮することにより、発光指示体100が指示した点の座標を算出することができる。
なお、複数の発光指示体100をユーザが使用する場合、受発光制御回路350は受光センサ410の輝点に識別子(例えば1から始まる連番)を付与する。受発光装置300−1と300−2で同じ発光指示体100には同じ識別子が付与されるため、受発光制御回路350は同じ識別子の輝点から求めた角度θを用いて複数の発光指示体100の座標を検知できる。
また、各発光指示体100に、異なる識別信号を発生する発信機をそれぞれ搭載することで、この識別信号を座標検知装置24で受信して各発光指示体100を識別することができる。
図13は、受発光制御回路350が発光指示体100の座標を検知する手順を示すフローチャート図の一例である。図13の処理は、周期的に繰り返し実行されているが、輝点が検知された場合に座標が検知される。
まず、発光素子110が発光したものとする(S1)。発光素子110が常時、発光するのでなく、表示面22に接触している間だけ発光することで、発光指示体100が表示面22に接触する前に検知され、ユーザが意図しない位置に文字や図形等の画像が描画されることを抑制できる。
発光素子110の発光で受発光制御回路350は発光体420が赤外線を消灯する(S2)。赤外線を消灯することで発光指示体100の発光素子110により生じる輝点を受発光制御回路350が検知しやすくなる。また、ユーザの身体の一部を暗点として検知してユーザが意図しない位置に文字や図形等の画像が描画されることを抑制できる。
受発光装置300−1の受光センサ410は画像を取得する(S3)。つまり、表示面22に沿って撮像する。受発光装置300−2の受光センサ410も画像を取得する(S3)なお、表示面22に沿って撮像するとは、表示面22から所定範囲の画像を撮像することをいう。表示面22は撮像されないことが好ましいが、受光センサ410が可視光を検知しなければ表示面22を撮像してもよい。また、所定範囲は、受光センサ410の撮像範囲が最大の範囲である。トリミングなどにより撮像範囲よりも狭い範囲が所定範囲として使用されてよい。表示面22の近くの発光指示体100及び非発光指示体200を撮像できればよいためである。具体的には、表示面22から数cm〜10cm程度までの範囲である。
次に、受発光制御回路350は受発光装置300−1の受光センサ410が撮像した輝点位置を特定する(S4)。受発光制御回路350は受発光装置300−2の受光センサ410が撮像した輝点位置を特定する(S4)。
次に、受発光制御回路350は角度θを算出する(S5)。すなわち、輝点の素子の位置を角度θに変換する。受発光制御回路350は角度θを算出する(S5)。すなわち、輝点の素子の位置を角度θに変換する。
受発光制御回路350は角度θとθを用いて発光指示体100の座標を算出する(S6)。
<<非発光指示体200の座標検>>
続いて、図14、15A、15Bを用いて非発光指示体200の座標検知について説明する。図14は発光素子を搭載していない指などの非発光指示体200の位置の検知を説明する図の一例である。図15A、15Bは受発光装置300−1と300−2の受光センサが受光した光量を模式的に示す図である。
ユーザの指等の非発光指示体200は、非発光指示体200によって赤外線が遮断されることを利用して検知される。受発光装置300−1、300−2の発光体420から射出される赤外線が、非発光指示体200によって遮断された状態で受発光装置300−1、300−2の受光センサ410に撮像される。受発光装置300−1、300−2の2台の発光体420からは赤外線が常時射出されており、画像表示装置20の表示面22の左右側方及び下方に配置された、再帰性反射板320−2、320−3、320−4により入射した赤外線が再帰反射して戻ってくる。この赤外線の経路を、ユーザの指等の非発光指示体200が遮断すると、赤外線が遮断され、図15A、15Bに示すように、その部分のみ光量が突出して減少する暗点があらわれる。
受発光制御回路350は撮像素子411において光量が閾値Th2以下(閾値Th2は第二閾値の一例)の素子の位置を特定する。表示面22に対し水平方向のこの素子の位置を角度θに変換する。例えば、受光センサ410で光量が閾値Th2以下(第二閾値以下)になる素子が受光センサ410の水平方向の端部から何番目かによって角度θを求めることができる。同様に、角度θを受発光装置300−2の撮像素子411において光量が閾値Th2以下になる素子の位置から求める。
なお、受発光制御回路350は光量が閾値Th2以下の水平方向の位置を複数個、特定してもよい。ユーザが2本の非発光指示体200で表示面22に接触した場合は、複数の非発光指示体200の座標を検知する必要があるためである。また、3本以上の非発光指示体200が同時に使用されたり、複数人が同時に非発光指示体200で手書きしたりすることができる。
暗点と受発光装置300−1を結ぶ直線と、水平線とがなす角度をθとし、暗点と受発光装置300−2を結ぶ直線と、水平線とがなす角度をθとする。また、受発光装置300−1と受発光装置300−2の間隔をWとする。非発光指示体200の座標(x2,y2)は、
2 = w tanθ4 / ( tanθ3 + tanθ4)
2 = w tanθ3・tanθ4 / ( tanθ3 + tanθ4 )
により算出される。
図16は、受発光制御回路350が非発光指示体200の座標を検知する手順を示すフローチャート図の一例である。図16の処理は、周期的に繰り返し実行されているが、暗点が検知された場合に座標が検知される。
発光体420が赤外線を射出する(S1)。
非発光指示体200が赤外線を遮断する(S2)。
受発光装置300−1の受光センサ410は画像を取得する(S3)。つまり、表示面22に沿って撮像する。受発光装置300−2の受光センサ410も画像を取得する(S3)。
次に、受発光制御回路350は受発光装置300−1の受光センサ410が撮像した暗点位置を特定する(S4)。受発光制御回路350は受発光装置300−2の受光センサ410が撮像した暗点位置を特定する(S4)。
次に、受発光制御回路350は角度θを算出する(S5)。すなわち、暗点の素子の位置を角度θに変換する。受発光制御回路350は角度θを算出する(S4)。すなわち、暗点の素子の位置を角度θに変換する。
受発光制御回路350は角度θとθを用いて非発光指示体200の座標を算出する(S6)。
以上のように、本実施例の座標検知装置24又は座標検知装置24が行う座標検知方法によれば、発光素子を備える発光指示体100と、ユーザの指等の非発光指示体200とを区別して検知できる。また、表示面22に導光板を必ずしも必要としないので視差も生じないか又は生じにくい。また、画像表示装置20の4隅のコーナに受発光装置300が配置されるため、省スペース化が可能である。
なお、本実施形態では、発光指示体100が表示面22に接触すると、発光体420が消灯すると説明したが、発光指示体100が表示面22に接触していても発光体420が赤外線を射出していてよい。受発光制御回路350は光量が閾値以上なら発光指示体100を、光量が閾値以下なら非発光指示体200を検知できる。したがって、同時に発光指示体100と非発光指示体200の座標を検知できる。
しかし、発光体420が射出する赤外線の中で発光指示体100が発光すると、発光指示体100の赤外線が、発光体420が射出する赤外線に埋もれてしまうおそれがある。また、発光指示体100が受発光装置300に対し遠方にあると、受光センサ410が発光指示体100を検知することが困難になるおそれがある。また、発光体420が射出する赤外線の中で発光指示体100の赤外光を検知するための閾値をメーカの関係者などが適切に決定することが困難になるおそれもある。したがって、本実施例では発光指示体100が表示面22に接触すると、発光体420が消灯することが好ましい。これにより、発光指示体100が受発光装置300に対し遠方にあっても発光指示体100の検知が容易になり、閾値の決定も容易になる。また、発光指示体100でユーザが手書き中にユーザの身体の一部を暗点として検知してユーザが意図しない位置に文字や図形等の画像が描画されることを抑制できる。
(実施例2)
本実施例では、発光指示体100の発光素子110からの赤外線と、受発光装置300に搭載されている発光体420からの赤外線との波長が異なることで、受発光制御回路350が両者を区別して同時に検知できる電子黒板10について説明する。
図17は、本実施例における受発光装置300の概略の斜視図である。本実施例では、受発光装置300に搭載されている受光センサ410に、特定の波長領域の光を透過させる2種類のバンドパスフィルタが配置されている。
これにより、受発光装置300は発光指示体100の発光素子110が出力する赤外線と、受発光装置300に搭載されている発光体420が射出する赤外線とを区別して検知することができる。例えば、発光指示体100から出力される赤外線の波長を800nm、受発光装置300の発光体420から射出される赤外線の波長を900nmとする。受発光装置300の受光センサ410は撮像素子411と結像レンズ412で構成されるため、結像レンズ412に異なるバンドパスフィルタを配置することができる。例えば、結像レンズ412に850nm以上の赤外線を遮断させ850nm未満の赤外線を透過させる第1のバンドパスフィルタ421と(第一のフィルタ)、850nm以上の赤外線を透過させ850nm未満の赤外線を遮断させる第2のバンドパスフィルタ422(第二のフィルタ)とが配置される。このような構成とすることで、第1のバンドパスフィルタ421を透過した850nm未満の赤外線が撮像素子411の第1領域431に入射し、第2のバンドパスフィルタ422を透過した850nm以上の赤外線が撮像素子411の第2領域432に入射する。
すなわち、第1のバンドパスフィルタ421を透過した発光指示体100からの赤外線の光が第1領域431に入射し、受発光装置300は発光指示体100だけを検知することができる。同様に、受発光装置300の発光体420から射出される赤外線が再帰性反射板320で反射され第2のバンドパスフィルタ422を透過し、第2領域432に入射することで、受発光装置300はユーザの指等の非発光指示体200だけを検知することができる。このような構成とすることで、受発光装置300は発光指示体100と非発光指示体200とを区別して検知できる。
したがって、第1領域431では発光指示体100からの赤外線のみが検知され、発光体420から射出される赤外線は検知されない。このため本実施例では、発光指示体100が表示面22に接触した場合に、受発光制御回路350が受発光装置300の発光体420を消灯しなくてよい。発光体420を消灯しないことで、受発光制御回路350が発光指示体100と非発光指示体200を同時に検知できる。
図18A−18Dは、受発光装置300−1、300−2が検知する光量を模式的に示す図の一例である。図18Aは受発光装置300−1が第1領域431で検知した発光指示体100の角度θを示し、図18Bは受発光装置300−2が第1領域431で検知した発光指示体100の角度θを示す。図18Cは受発光装置300−1が第2領域432で検知した非発光指示体200の角度θを示し、図18Dは受発光装置300−2が第2領域432で検知した非発光指示体200の角度θを示す。
このように、受発光装置300−1は第1領域431と第2領域432で同時に発光指示体100と非発光指示体200を検知でき、受発光装置300−2は第1領域431と第2領域432で同時に発光指示体100と非発光指示体200を検知できる。
図19は、座標検知装置24の動作手順を示すフローチャート図の一例である。
発光体420が赤外線を射出する(S1)。非発光指示体200が赤外線を遮断する(S2)。また、発光素子110が発光したものとする(S3)。ステップS1〜S3は順不同である。
受発光装置300−1の受光センサ410は画像を取得する(S4)。つまり、表示面22に沿って撮像する。受発光装置300−2の受光センサ410も画像を取得する(S4)。
次に、受発光制御回路350は受発光装置300−1の受光センサ410が撮像した輝点位置を特定する(S5)。受発光制御回路350は受発光装置300−2の受光センサ410が撮像した輝点位置を特定する(S5)。
また、受発光制御回路350は受発光装置300−1の受光センサ410が撮像した暗点位置を特定する(S6)。受発光制御回路350は受発光装置300−2の受光センサ410が撮像した暗点位置を特定する(S6)。ステップS5,S6は順不同である。
次に、受発光制御回路350は角度θを算出する(S7)。受発光制御回路350は角度θを算出する(S7)。
また、受発光制御回路350は角度θを算出する(S8)。受発光制御回路350は角度θを算出する(S8)。ステップS7,S8は順不同である。
受発光制御回路350は角度θとθを用いて発光指示体100の座標を算出し、角度θとθを用いて非発光指示体200の座標を算出する(S9)。
このように、受発光制御回路350は発光指示体100と非発光指示体200の座標を同時に検知できる。また、このような効果の他、本実施例によれば、発光指示体100と画像表示装置20の表示面22の接触位置が、受発光装置300と極端に離れていたり、極端に近かったりした場合でも受発光装置300が発光指示体100を検知しやすくなる。
図20は、受発光装置の受光センサから離れている発光指示体の一例を示す図であり、図21A、21Bは図20に示した状態における受発光装置の受光センサが検知する光量を示す図の一例である。
発光指示体100の位置が受発光装置300から遠い場合、受発光装置300−1の受光センサ410が検知する光量は図21Aに示すように非常に小さくなる。一方、発光指示体100の位置は受発光装置300−2と近いので、図21Bに示されるように検知される光量が非常に大きくなる。
しかし、受発光装置300−1と発光指示体100との距離が遠く図21Bに示すように発光指示体100からの赤外線がわずかしか検知されない状態でも、発光指示体100以外の赤外線を受発光装置300−1が遮断することができるため、発光指示体100を検知しやすくなる。したがって、発光指示体100が図20のような表示面22の端にあっても、発光指示体100を検知しやすくなる。
(実施例3)
本実施例では、複数の発光指示体100を同時に検知できる電子黒板10について説明する。
図22A−22Cは本実施例における座標検知装置の受発光装置の一例を示し、図22Aは受発光装置300の斜視図、図22Bは撮像素子の受光状態を示す模式図、図22Cは受光センサ410が検知する光量を説明する図である。
本実施例の複数の発光指示体100について説明する。各発光指示体100はそれぞれ異なる周波数領域の赤外線を出力することができる。例えば、3台の発光指示体100(以下、区別するため100−1、100−2、100−3という)が出力する赤外線の波長をそれぞれλ1(nm)、λ2(nm)、λ3(nm)とする。また、発光体420が出力する赤外線の波長をλ4(nm)とする。λ1〜λ4は異なっている。
一方、受発光装置300における受光センサ410の結像レンズ412には、λ1(nm)、λ2(nm)、λ3(nm)、λ4(nm)の波長領域だけを透過する4種類のバンドパスフィルタ441、442、443、444が配置されている。したがって、撮像素子411には、このバンドパスフィルタ441、442、443、444に対応する4つの領域451、452、453、454が形成される。
領域451には波長λ1の赤外線だけが入射し、領域452には波長λ2の赤外線だけが入射し、領域453には波長λ3の赤外線だけが入射し、領域454には波長λ4の赤外線だけが入射する。
これにより、図22Cに示すように、受発光制御回路350は各発光指示体100−1〜100−3、及び非発光指示体200の各赤外線を分離して検知することができる。また、受発光制御回路350は、領域451で検知されたθα1,θβ1、領域452で検知されたθα2,θβ2、領域453で検知されたθα3,θβ3、領域454で検知されたθα4,θβ4、を用いて三角測量の数式を用いて各発光指示体100−1〜100−3、及び非発光指示体200の座標を測定することができる。したがって、本実施例の電子黒板10は、3台の発光指示体100及び非発光指示体200の座標を同時に検知できる。
図23は、座標検知装置24の動作手順を示すフローチャート図の一例である。図23の説明では主に図19との相違を説明する。まず、ステップS1,S2は図19と同様である。
ステップS3において、3台の発光素子110がそれぞれ発光したものとする。ステップS4で受光センサ410が画像を取得する。
ステップS5で、受発光制御回路350は受発光装置300−1の受光センサ410が撮像した3つの輝点位置を特定する(S5)。受発光制御回路350は受発光装置300−2の受光センサ410が撮像した3つ輝点位置を特定する(S5)。すなわち、領域451〜453のそれぞれから輝点位置を特定する。
また、受発光制御回路350は受発光装置300−1の受光センサ410が撮像した暗点位置を特定する(S6)。受発光制御回路350は受発光装置300−2の受光センサ410が撮像した暗点位置を特定する(S6)。すなわち、領域454から暗点位置を特定する。
次に、受発光制御回路350は角度θα1〜θα3を算出する(S7)。受発光制御回路350は角度θβ1〜θβ3を算出する(S7)。
また、受発光制御回路350は角度θα4を算出する(S8)。受発光制御回路350は角度θβ4を算出する(S8)。
受発光制御回路350は3台の発光指示体100の座標を算出し、1台の非発光指示体200の座標を算出する(S9)。
本実施例においても実施例2と同様に、発光指示体100が表示面22に接触しても受発光制御回路350は発光体420を消灯しない。このため、受発光制御回路350は、3台の発光指示体100−1〜100−3、及び非発光指示体200の座標を同時に測定することができる。
なお、発光指示体100の数(図22A−22Cでは3)及びバンドパスフィルタの数(図22A−22Cでは4)は、領域451〜454の広さや撮像素子411の感度などに応じて変更可能であり、図示した例には限られない。
(実施例4)
本実施例ではプロジェクタの投影面における発光指示体100及び非発光指示体200の座標を検知可能な座標検知装置24について説明する。
図24は、プロジェクタ500と座標検知装置24を有する画像表示システム400の概略構成図を示す。プロジェクタ500はスクリーン66に画像67を投影する。投影されることで画像67が表示されるので投影面が本実施例の表示面22に相当する。投影された画像67の上辺には座標検知装置24が設置される。座標検知装置24の左右の端部には受発光装置300が配置されている。
座標検知装置24はスクリーン66又は壁に取り付けられるが、取り付け方法はスクリーン66又は壁に適した方法で取り付けられればよい。例えば、金属の壁にはマグネットの磁力で取り付けられ、表面が平らな壁には吸盤で取り付けられる。また、ユーザがマジックテープ(登録商標)を壁に貼付して、マジックテープで座標検知装置24が取り付けられてもよい。また、スクリーン66に対してはバインダーなどでスクリーン66を挟むようにして座標検知装置24が取り付けられる。
同様に、画像67の左側方、右側方及び下辺には再帰性反射板320が取り付けられる。再帰性反射板320の取り付け方法も座標検知装置24と同様でよい。また、座標検知装置24と再帰性反射板320が一体の装置として提供されてもよい。
図25は、座標検知装置24と一体の再帰性反射板320が展開される様子を模式的に示す図である。座標検知装置24の上方に1つの再帰性反射板320−2、下方に2つの再帰性反射板320−3,320−4が折りたたまれた状態で壁などに取り付けられる。図25(b)に示すように、回動部601は下方の2つの再帰性反射板320−3,320−4を回転可能に支持しており、ユーザは2つの再帰性反射板320−3,320−4を時計方向に90度回転させることができる。
次に、図25(c)に示すように、ユーザは2つの再帰性反射板320−3、320−4のうち再帰性反射板320−3を時計方向に90度回転させる。次に、図25(d)に示すように、ユーザは再帰性反射板320−2を時計方向に270度回転させる。こうすることで、受発光装置300―1、300−2が射出する赤外線を再帰反射させることができる。
このように、座標検知装置24と再帰性反射板320が適切に取り付けられることで、実施例1〜3と同様に座標検知装置24は発光指示体100及び非発光指示体200の座標を検知できる。
なお、3つの再帰性反射板320(又は再帰性反射板320の1つ以上)は独立して提供されてもよい。この場合、ユーザは画像67を取り囲むように3つの再帰性反射板320を取り付ける。
図24に戻って説明する。座標検知装置24にはユーザPC90が接続されており、ユーザPC90はプロジェクタ500とVGAケーブルなどで接続されている。また、ユーザPC90は座標検知装置24と接続されている。座標検知装置24とユーザPC90は無線で接続されていてもよいし、ユーザPC90とプロジェクタ500は無線で接続されていてもよい。
ユーザPC90では所定のアプリケーションソフトウェアが動作しており、座標検知装置24に対しAPI(Application Program Interface)を提供する。すなわち、座標検知装置24はこのAPIに対し座標位置信号を出力するので、アプリケーションソフトウェアは発光指示体100及び非発光指示体200の座標を取得できる。このため、座標の軌跡から文字や図形等の画像を描画できる。
アプリケーションソフトはユーザPC90のモニター92に文字や図形等の画像を表示する。この画像はVGAケーブルなどでプロジェクタ500に送信されるのでプロジェクタ500は文字や図形等の画像をスクリーン66や壁に投影できる。なお、アプリケーションソフトウェアは会議の資料となる電子データなどを表示する機能を有していてもよく、アプリケーションソフトウェアは会議の資料に文字や図形等の画像を重畳してモニター92に表示できる。したがって、プロジェクタ500もこれらが重畳された画像を投影できる。なお、このようなアプリケーションソフトウェアとしてパワーポイント(登録商標)が知られているが、アプリケーションソフトウェアは上記のAPIを有していればよい。
図26は本実施例の画像表示システムのシステム構成例を模式的に示す図である。図26では主に図9との相違を説明する。図26では図9のコントローラ60がユーザPC90に置き換わっている。また、ユーザPC90は画像表示装置20でなくプロジェクタ500に画像を出力する。
図26の座標検知装置24は図9の構成に加え通信装置270を有している。同様にユーザPC90も通信装置56を有しており、座標検知装置24は座標位置信号をユーザPC90に送信できる。通信装置270は、例えば、Bluetooth(登録商標)、ZigBee(登録商標)又は無線LANなどの無線で通信する装置であるが、優先接続できるようにUSBホストなどが通信装置でもよい。なお、ユーザPC90は情報処理装置として一般的な構成であるCPU51,RAM52、ROM53、HDD54、及び、VGA I/F55等を有している。ユーザPC90はCPU51がHDD54に記憶されたプログラムを実行することで図10に示したコントローラ60と同等の機能を提供する。
図27は、発光指示体100が発光した場合の画像表示システムの動作手順を示す概略構成図の一例である。
S1:まず、受発光制御回路350は、筆記検知信号を受信するまで、及び、筆記終了信号を受信した後、発光体420を点灯している。
S2:ユーザが発光指示体100を表示面22に接触させることで発光指示体100の発光素子110が発光する。
S3:発光指示体100は接触検知部102により表示面22との接触を検知することで、筆記検知信号を座標検知装置に送信する。
S4:座標検知装置24のペン信号受信部210は筆記検知信号を受信し、受発光制御回路350が発光体420による赤外線の射出を停止させる(消灯する)。
S5:受発光装置300の受光センサ410は画像を取得する。受発光装置300の受光センサ410は周期的に撮像しているが、赤外等を消灯後の画像を取得する。
S6:受発光制御回路350は実施例1で説明したように、発光指示体100の座標を算出する。
S7:座標検知装置24の通信装置270は座標位置信号をユーザPC90に送信する。
S8:ユーザPC90の通信装置56は座標位置信号を受信し、アプリケーションソフトウェアが座標位置信号を用いて文字や図形等の画像を描画する。また、会議の資料となる電子データに文字や図形等の画像を重畳させる処理を行う。
S9:ユーザPC90は電子データに文字や図形等の画像を重畳した画像をプロジェクタ500に送信する。
S10:これにより、プロジェクタ500は画像を投影する。
図28は、非発光指示体200が赤外線を遮断した場合の画像表示システムの動作手順を示す概略構成図の一例である。なお、図28では主に図27との相違を説明する。まず、ステップS1の処理は図27と同様である。
S2:図28では、ユーザが非発光指示体200で赤外線を遮断する。赤外線を遮断したことは特に座標検知装置に通知されない。以降のステップS5〜S10の処理は図27と同様でよい。
このように、本実施例の座標検知装置24や再帰性反射板320はユーザが持ち運びして適当な壁やスクリーンに取り付けることができる。したがって、電子黒板10がオフィスなどの場所を占有しないという利点がある。また、ユーザ同士が打ち合わせを行う場所に座標検知装置24を設置できる。
また、図24,25では2台の受発光装置300が一体の構成例を説明したが、受発光装置300−1、300−2は独立に取り付けられてもよい。すなわち、ユーザは受発光装置300−1と300−2を別々に壁などに取り付ける。このことは受発光装置300−1と300−2の間隔を任意にユーザが決定できることを意味するので、プロジェクタ500が投影する画像67のサイズに合わせて座標検知装置24を設置できる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、再帰性反射板320は光を反射する物でなく発光体でもよい。例えば、LED、有機EL、蛍光灯などで均一に発光する板状の発光体でよい。また、再帰性反射板320は導光板で構成されてもよく、この場合、受発光装置300が発光した赤外線が導光板により表示面22の周囲に導かれる。
また、以上の実施例で示した図9,10などの構成例は、電子黒板10の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子黒板10の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
なお、受光センサ410は撮像手段の一例であり、受発光制御回路350は検知手段の一例であり、ペン信号受信部210は信号受信手段の一例であり、発光体420は光射出手段の一例であり、コントローラ60は表示制御手段の一例である。
本国際特許出願は2015年4月20日に出願した日本国特許出願第2015−085954号および2016年4月19日に出願した日本国特許出願第2016−083906号に基づきその優先権を主張するものであり、日本国特許出願第2015−085954号および日本国特許出願第2016−083906号の全内容を本願に援用する。
10 電子黒板
20 画像表示装置
22 表示面
24 座標検知装置
100 発光指示体
110 発光素子
200 非発光指示体
210 ペン信号受信部
300 受発光装置
320 再帰反射板
350 受発光制御回路
360 ベゼル部
400 画像表示システム
410 受光センサ

Claims (11)

  1. 表示面における発光指示体及び非発光指示体の座標を検知する座標検知装置であって、
    前記表示面から所定範囲の前記発光指示体又は前記非発光指示体の少なくとも一方を撮像する撮像手段と、
    前記発光指示体の発光による光量を前記所定範囲から検知して前記発光指示体の座標を検知すると共に、
    前記表示面に射出され前記非発光指示体により遮断された光の光量を前記所定範囲から検知して前記非発光指示体の座標を検知する検知手段と、
    を有する座標検知装置。
  2. 前記検知手段は、前記撮像手段が撮像した前記所定範囲の画像において第一閾値以上の前記光量が検知された撮像素子の位置に基づき前記発光指示体の前記座標を検知し、第二閾値以下の前記光量が検知された撮像素子の位置に基づき前記非発光指示体の前記座標を検知する請求項1に記載の座標検知装置。
  3. 前記発光指示体が前記表示面に接触したことを示す信号を受信する信号受信手段と、
    前記表示面から前記所定範囲を含む範囲に光を射出する光射出手段と、を有し、
    前記検知手段は、前記信号受信手段が前記信号を受信した場合、前記光射出手段に対し前記光を消灯させ、前記光が消灯させられた状態で前記撮像手段が取得した前記所定範囲の画像から前記発光指示体の発光による光量を検知する請求項2に記載の座標検知装置。
  4. 前記信号受信手段が前記信号を受信しないか、又は、前記発光指示体が前記表示面から離れたことを示す信号を受信した場合、前記検知手段は、前記光射出手段に対し前記光を射出させ、
    前記光が射出された状態で前記撮像手段が取得した前記所定範囲の画像から前記非発光指示体により遮断された光の光量を検知する請求項3に記載の座標検知装置。
  5. 前記表示面の一辺を挟む2箇所に前記撮像手段が配置され、
    前記検知手段は、第一の撮像手段が撮像した前記所定範囲の画像において前記光量が前記第一閾値以上となる撮像素子の第一の位置と、第二の撮像手段が撮像した前記所定範囲の画像において前記光量が前記第一閾値以上となる撮像素子の第二の位置に三角測量を適用して前記発光指示体の座標を検知し、
    第一の撮像手段が撮像した前記所定範囲の画像において前記光量が前記第二閾値以下となる撮像素子の第三の位置と、第二の撮像手段が撮像した前記所定範囲の画像において前記光量が前記第二閾値以下となる撮像素子の第四の位置に三角測量を適用して前記非発光指示体の座標を検知する請求項2〜4のいずれか1項に記載の座標検知装置。
  6. 前記発光指示体とは異なる波長の光を前記表示面から所定範囲に射出する光射出手段を有し、
    前記撮像手段は、前記発光指示体が出力する波長の光を透過させる第一のフィルタと、前記光射出手段が射出する波長の光を透過させる第二のフィルタとを有し、
    前記検知手段は、前記第一のフィルタを透過して前記撮像手段が取得した光量に基づき前記発光指示体の座標を検知し、
    前記第二のフィルタを透過して前記撮像手段が取得した光量に基づき前記非発光指示体の座標を検知する請求項1又は2に記載の座標検知装置。
  7. 前記第一のフィルタは、更に波長の異なる複数の光をそれぞれ透過させる複数の領域を有する請求項6に記載の座標検知装置。
  8. 前記表示面は周囲をベゼル部により囲まれており、
    前記表示面に垂直な方向の前記表示面と前記ベゼル部の間に光の反射板又は発光体を有し、前記ベゼル部の内枠は光の反射板又は発光体よりも前記表示面の側にせり出している請求項1〜7のいずれか1項に記載の座標検知装置。
  9. 請求項1〜8いずれか1項に記載の座標検知装置と、
    前記座標検知装置から出力された座標に基づいて、前記表示面に画像を表示させる表示制御手段と、を備えることを特徴とする電子黒板。
  10. 表示面における発光指示体及び非発光指示体の座標を検知し、座標に応じた画像を表示する画像表示システムであって、
    前記表示面から所定範囲の前記発光指示体又は前記非発光指示体の少なくとも一方を撮像する撮像手段と、
    前記表示面から所定範囲に光を射出する光射出手段と、
    前記光射出手段が射出した光を反射させる反射板と、
    前記発光指示体の発光による光量を前記所定範囲から検知して前記発光指示体の座標を検知すると共に、
    前記表示面に射出され前記非発光指示体により遮断された光の光量を前記所定範囲から検知して前記非発光指示体の座標を検知する検知手段と、
    前記検知手段から出力された座標に基づいて、前記表示面に画像を表示させる表示制御手段と、を有する画像表示システム。
  11. 表示面における発光指示体及び非発光指示体の座標を検知する座標検知装置の座標検知方法であって、
    撮像手段が、前記表示面から所定範囲の前記発光指示体又は前記非発光指示体の少なくとも一方を撮像するステップと、
    検知手段が、前記発光指示体の発光による光量を前記所定範囲から検知して前記発光指示体の座標を検知するステップと、
    前記表示面に射出され前記非発光指示体により遮断された光の光量を前記所定範囲から検知して前記非発光指示体の座標を検知するステップと、
    を有する座標検知方法。
JP2017514158A 2015-04-20 2016-04-20 座標検知装置、電子黒板、画像表示システム、座標検知方法 Pending JPWO2016171166A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015085954 2015-04-20
JP2015085954 2015-04-20
JP2016083906 2016-04-19
JP2016083906 2016-04-19
PCT/JP2016/062505 WO2016171166A1 (ja) 2015-04-20 2016-04-20 座標検知装置、電子黒板、画像表示システム、座標検知方法

Publications (1)

Publication Number Publication Date
JPWO2016171166A1 true JPWO2016171166A1 (ja) 2018-02-22

Family

ID=57143195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514158A Pending JPWO2016171166A1 (ja) 2015-04-20 2016-04-20 座標検知装置、電子黒板、画像表示システム、座標検知方法

Country Status (5)

Country Link
US (1) US20180039344A1 (ja)
EP (1) EP3287879A4 (ja)
JP (1) JPWO2016171166A1 (ja)
CN (1) CN107835975A (ja)
WO (1) WO2016171166A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437391B2 (en) * 2016-11-17 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Optical touch sensing for displays and other applications
US10239345B2 (en) 2017-05-25 2019-03-26 Sony Corporation Smart marker
JP2019169039A (ja) * 2018-03-26 2019-10-03 セイコーエプソン株式会社 指示体、画像投写システム及び指示体の制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011138509A (ja) * 2009-12-26 2011-07-14 Lg Display Co Ltd 光学式タッチ入力装置のレファレンス設定方法とこれを適用する光学式タッチ入力装置
WO2013111447A1 (ja) * 2012-01-27 2013-08-01 シャープ株式会社 座標入力装置、及び座標入力システム
JP2014099139A (ja) * 2012-10-16 2014-05-29 Sharp Corp 座標入力装置及び座標入力システム
JP2015056112A (ja) * 2013-09-13 2015-03-23 株式会社リコー 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
JP2016038902A (ja) * 2014-08-06 2016-03-22 株式会社リコー 接触検出システム、情報処理方法、情報処理装置、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1109539A (en) * 1978-04-05 1981-09-22 Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications Touch sensitive computer input device
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
JP4112878B2 (ja) * 2002-03-01 2008-07-02 株式会社リコー 座標検出装置
WO2005026930A2 (en) * 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation emitting element
WO2013104062A1 (en) * 2012-01-11 2013-07-18 Smart Technologies Ulc Interactive input system and method
JP6168746B2 (ja) * 2012-10-10 2017-07-26 キヤノン株式会社 スイッチング電源及びスイッチング電源を備えた画像形成装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011138509A (ja) * 2009-12-26 2011-07-14 Lg Display Co Ltd 光学式タッチ入力装置のレファレンス設定方法とこれを適用する光学式タッチ入力装置
WO2013111447A1 (ja) * 2012-01-27 2013-08-01 シャープ株式会社 座標入力装置、及び座標入力システム
JP2013175142A (ja) * 2012-01-27 2013-09-05 Sharp Corp 座標入力装置、及び座標入力システム
JP2014099139A (ja) * 2012-10-16 2014-05-29 Sharp Corp 座標入力装置及び座標入力システム
JP2015056112A (ja) * 2013-09-13 2015-03-23 株式会社リコー 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
JP2016038902A (ja) * 2014-08-06 2016-03-22 株式会社リコー 接触検出システム、情報処理方法、情報処理装置、及びプログラム

Also Published As

Publication number Publication date
EP3287879A1 (en) 2018-02-28
WO2016171166A1 (ja) 2016-10-27
CN107835975A (zh) 2018-03-23
US20180039344A1 (en) 2018-02-08
EP3287879A4 (en) 2018-04-25

Similar Documents

Publication Publication Date Title
US20190000331A1 (en) Reflective surfaces for ppg signal detection
US9898996B2 (en) Display apparatus and display control method
EP2927786B1 (en) Interactive input system, interactive board and methods thereof
JP6187067B2 (ja) 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法
JP2011521331A (ja) 光学ベゼル付き対話型入力装置
JP2017514232A (ja) 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能
US10276133B2 (en) Projector and display control method for displaying split images
WO2016171166A1 (ja) 座標検知装置、電子黒板、画像表示システム、座標検知方法
TWI738498B (zh) 用於偵測電子板擦的觸控處理裝置、方法與系統
JP2017142726A (ja) 電子黒板システム、表示装置及び表示方法
US20080122790A1 (en) Optical handwriting input device
KR101956035B1 (ko) 인터랙티브 디스플레이 디바이스 및 그 제어 방법
JP2018156304A (ja) タッチパネルシステム、タッチパネルシステムの制御方法及びプログラム
KR102465862B1 (ko) 입력 장치 및 그 제어방법
JP2004094569A (ja) 位置検出方法、位置検出装置及びその位置検出装置を用いた電子黒板装置
US10180759B2 (en) Coordinate detecting apparatus, system, and coordinate detecting method
JP2015138299A (ja) 指示具及び座標検出システム
JP2016085662A (ja) 入力装置、及び電子情報ボード
US20150153846A1 (en) Coordinate detection system, information processing apparatus, and recording medium
WO2018214691A1 (en) Optical touch sensing for displays and other applications
JP2016184850A (ja) プロジェクターおよび検出方法
JP2016110492A (ja) 光学式位置情報検出装置、プログラム、対象の紐付け方法
JP6682768B2 (ja) 表示システム、表示装置、情報処理装置及び制御方法
KR102378476B1 (ko) 디스플레이 장치에 대한 펜 입력 신호를 제공하는 시스템 및 그 동작 방법
JP2018156305A (ja) タッチパネルシステム、タッチパネルシステムの制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171013

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20171013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190604