JP6733451B2 - 座標検出システム、座標検出方法、画像処理装置、及びプログラム - Google Patents

Description

本発明は、座標検出システム、座標検出方法、画像処理装置、及びプログラムに関する。

電子黒板、電子ホワイトボードで電子ペンや指の座標検出にタッチパネルを用いる方式や、光源と光学センサ、例えば赤外LED及び光学カメラを使用する光学式のシステムがある。多点検出や電子ペンと指での指示を区別するために相互容量方式の投影型静電容量方式のタッチパネルを使うシステムがあり既に知られている。

しかし、今までのシステムの場合、投影型静電容量方式のタッチパネルを用いる方法では座標検出領域である画面全体表面にタッチパネルを構成しなくてはならなかった。特に電子ホワイトボード等の大画面に対応する場合、配線・端子数が増加し、検出用端子までの配線長が長くなり通常用いられる透明電極では電気抵抗が高すぎるため電気抵抗の低い金属配線層が必要になり、製造コストが上がってしまう。また、画面上にこれら電極や配線を構成しなくてはならないため輝度への影響が避けられない。

電子ホワイトボードではディスプレイ装置本体にタッチパネルを備え付けられるが、プロジェクタを用いたインタラクティブ装置への応用や既存ディスプレイ装置に対しての後付けユニットのような形での提供が難しい。画面（※注）へのタッチパネルの張り合わせには専門の技術が必要であり、表示装置に張り合わせた状態でのチューニングが必須という問題があった。

（※注）現状の製品として存在するのは「画面の対角線の長さが149.86cm（50型）」程度である。

特許文献１には複数の電子ペンや指で同時にタッチ操作を行うことを目的とするタッチパネルシステムが開示されている。このシステムは、格子状に配置された送信電極と受信電極（いわゆる相互容量方式の投影型静電容量タッチパネル）を用いたシステムである。同文献には、電子ペンが送信電極を通して受信した同期信号に基づいてペン識別信号を受信電極に送出することにより電子ペンと指とを区別し、さらに電子ペンの識別を行う方法が開示されている。

しかし、特許文献１に記載の発明は、50型以上の大画面の電子ホワイトボードを考慮すると、製造コストが上がり、輝度への影響が避けられず、後付けユニットのような形での提供が難しいという問題は解消できていない。

そこで、本発明の目的は、低コストで、電子ペンによる指示の検出と指による指示の検出とを同時に行うことにある。

上記課題を解決するため、請求項１に記載の発明は、表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムであって、前記表示画面の外周から座標を検出するための座標検出領域に光を照射する第１の光照射手段と、前記第１の光照射手段から照射された光と、前記電子ペンから光を発する第２の光照射手段から照射された光とを検出する光検出手段と、前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する判定手段と、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する位置特定手段と、前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する調整手段と、を有することを特徴とする。

本発明によれば、低コストで、電子ペンによる指示の検出と指による指示の検出とを同時に行うことができる。

（ａ）は、第１の実施形態に係る座標検出システムの外観図であり、（ｂ）は、（ａ）の楕円Ａ内の拡大図である。 図１に示した電子ホワイトボード本体101と、電子ペン107と、ユーザーの指108と、の関係を示す図である。 第１の実施形態に係る電子ホワイトボード200の機能ブロック図の一例である。 第１の実施形態に係る座標検出システムのハードウェアブロック図の一例である。 （ａ）は、第１の実施形態に係る電子ペン107の概念図であり、（ｂ）は、（ａ）に示した電子ペンの機能ブロック図であり、（ｃ）は、（ｂ）のハードウェアブロック図である。 第１の実施形態に係る指108を検出する際のカメラ画像の一例である。 第１の実施形態に係る電子ペン107を検出する際のカメラ画像の一例である。 第１の実施形態に係るカメラL103から見た均一な輝度で光る画面枠内側光源の一例である。 （ａ）、（ｂ）、（ｃ）、（ｄ）は、第１の実施形態に係る画面の枠内側の光源画像の補正についての説明図である。 第１の実施形態に係る電子ペン及び指の同時検出についての説明図である。 （ａ）、（ｂ）は、第１の実施形態に係る電子ペン及び指の検出方法についての説明図である。 第１の実施形態に係る指突きの削除についての説明図である。 図１に示した電子ホワイトボードの動作を示すシーケンス図の一例である。 第２の実施形態に係る座標検出システムの外観の一例を示す図である。 第２の実施形態に係る座標検出システムのハードウェアブロック図の一例である。 第２の実施形態に係る電子ペンのハードウェア構成の例を示す図である。 第２の実施形態に係る電子ホワイトボードの機能ブロック図の一例である。 第２の実施形態に係る電子ペンの機能ブロック図の一例である。 第２の実施形態に係る電子ペンの処理の例を示すフローチャートである。 第２の実施形態に係る電子ペンの通信タイミングについて説明するための図である。 第２の実施形態に係る座標検出システムの処理の例を示すフローチャートである。 第２の実施形態に係る座標検出システムの処理の例を示すシーケンス図である。

＜概要＞
本発明の実施の形態を説明する。本発明に係る座標検出システムは、電子ホワイトボード（電子黒板とも言う。）もしくはプロジェクタ装置の投影面を含む表示画面における電子ペン及び指の座標検出の処理に際して、以下の特徴を有する。

要するに、座標検出システムは、発光素子や受光素子等の光学式部材を用いることで表示画面への輝度影響を避け、画面サイズが変わってもほぼそのまま対応可能としたものである。

また、座標検出システムは、電子ペンに搭載された光源の検出と、画面枠内側の光源の影を検出する指検出とを同時に行うものである。

また、座標検出システムは、電子ペンに搭載された光源の輝度をディスプレイ装置の画面枠内側の光源の輝度より高くし輝度に差を持たせるものである。

また、座標検出システムは、同じカメラ画像において、輝度の閾値を２値持つことでペンの光源か画面枠内側の光源か否かを見分けることができる。

また、座標検出システムは、画面枠内側光源は輝度が全て同じであれば光学カメラから遠ざかる、すなわち対角に近づくほどカメラで検出される輝度は下がる。好悪カメラから見て画面枠内側の光源の輝度が一定に見えたほうがペン光源との輝度差を閾値で判別しやすいため、画面枠内側光源の輝度を補正して均一に見えるようにする。

ペン光源はペンの電源（電池）電圧の低下や光源デバイス（LED）の特性のバラつきの影響によって弱くなる場合が考えられるため、ペン内部で光源の輝度を測定して本体に伝えることでペン光源を検出しやすいように画面枠内側光源の輝度を調整する。

LEDはLight Emitting Diodeの略であり、LEDは、本実施形態では赤外光を照射する発光素子である。

表示面に座標検出に関わる構造物が不要で表示装置と切り離して構成することで後付け設置が可能である。

［第１の実施形態］
以下、本実施形態について、ディスプレイ装置の場合で説明する。

＜構成＞
図１（ａ）は、第１の実施形態に係る座標検出システムの外観図であり、図１（ｂ）は、図１（ａ）の楕円Ａ内の拡大図である。

図１（ａ）に示すディスプレイ装置としての電子ホワイトボード200は、ディスプレイ装置本体としての電子ホワイトボード本体101と、脚部160とを有する。

図１（ｂ）に示す電子ホワイトボード本体101は、表示手段としての画面102と、第１の光検出手段としてのカメラL103と、第２の光検出手段としてのカメラR104と、第１の光照射手段としての光源である赤外LEDアレイ105L,105C,105Rと、を有する。

図２は、図１に示した電子ホワイトボード本体101と、電子ペン107と、ユーザーの指108と、の関係を示す図である。

電子ペン107は、先端に光を発する第２の光照射手段としての赤外LED146を有する。

電子ホワイトボード本体101の画面102内を座標検出領域として、画面枠の角に２つ以上のカメラL103、カメラR104を設置し、カメラ画像から電子ペン107や指108指示点の座標を検出する。

図２では画面上の両端にカメラL103、カメラR104を設置した例を示す。カメラ103,104間の基線の設置距離、カメラL103、カメラR104の設置角度は既知のため、カメラ画像から基線と検出された対象物間の角度を求め、そこから三角測量で対象物の位置を特定する。
検出精度向上のため、画面102の下側の両端にもカメラを設置して複数のカメラの組合せから対象物の位置を特定しても良い。

ここではカメラL103、カメラR104として赤外線カメラを用い、赤外光を用いて対象物の検出を行う。

カメラL103及び、カメラR104はそれぞれ90度（以上）の画角で対向する２辺を検出できるようになっている。それら対向する２辺である画面枠の内側には光源を設置しておき、カメラL103及び、カメラR104はこの光源を検出する。

尚、画面下側にカメラを設置する場合には、画面上の枠内側にも光源が必要である。上記の例では赤外LEDアレイ105L,105c,105Rを光源として用いる例を記載している。赤外LEDアレイ105L,105c,105Rではなく、導光板を用いて均一に発光するようにした光源でも良い。

画面102の座標検出領域に指等をつくと、カメラL103、カメラR104からは対向する光源の影としてそれを検出することができるので、この影の位置を三角測量で特定する。

電子ペン107の検出の場合にはペン先に光源（赤外LED）を取り付けておき、光源の点を検出することで位置の特定を行う。

電子ホワイトボード本体101の画面周辺に構成された例を示しているが、座標検出に表示部は関係ないためカメラL103、カメラR104と光源（赤外LED）を設置した画面枠のみを独立させた構成としても良い（※注）。

（※注）PCベースの本体装置に対するポインティングデバイスとして機能させる。

＜機能ブロック図＞
図３は、第１の実施形態に係る電子ホワイトボード200の機能ブロック図の一例である。

電子ホワイトボード（画像処理装置）200は、表示手段としての画面102と、座標検出システム201と、を有する。

座標検出システム201は、制御手段111、第１の光照射手段112、第１の光検出手段113、第２の光検出手段114、検出レベル補正手段115、判定手段116、通信手段117、位置特定手段118、及び調整手段119を有する。

＜ハードウェアブロック図＞
図４は、第１の実施形態に係る座標検出システム201のハードウェアブロック図の一例である。

座標検出システム201は、CPU120、ROM121、RAM122、無線Md123、I/F124、カメラL103、カメラR104、及び赤外LEDアレイ105L,105C,105Rを有する。

CPUは、Central Processing Unitの略であり、CPU120は、例えば、ROM121等に記憶された座標検出システム201用のプログラムを実行することにより、座標検出システム201を統括制御する演算装置である。

ROMは、Read Only Memoryの略であり、ROM121は座標検出システム201用の制御プログラムを記憶した不揮発性の記憶素子であり、例えばマスクROM、又はフラッシュROMが挙げられる。

RAMは、Random Access Memoryの略であり、RAM122はROM121から読み出された制御プログラムを展開する記憶素子である。

無線Md(モジュール)123は、電子ペン107に内蔵した無線Md142とデータを授受する通信手段である。無線Md123は、アンテナ、送信部、及び受信部を有する。無線Md123の送信部は、ペン識別情報、押圧検知情報、及び第２の光照射手段の光源輝度情報等をディスプレイ装置本体に送信する。無線Md123の受信部は、電子ペン107からの応答信号を受信する。

I/F124は、外部の機器とデータを授受する素子である。

カメラL103、カメラR104、及び赤外LEDアレイ105L,105C,105Rについては前述したため、説明を省略する。

ここで、図３に示した表示手段110は、図１に示した画面102によって実現される。図３に示した制御手段111は、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。第１の光照射手段112は、図４に示した赤外LEDアレイ105L,105c,105Rによって実現される。第１の光検出手段113は、図４に示したカメラL103によって実現される。第２の光検出手段114は、図４に示したカメラR104によって実現される。

検出レベル補正手段115は、第１の光照射手段を第１及び第２の光検出手段によって検出した輝度レベルに基づいて指示部検出時の検出レベルを補正する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。

判定手段116は、第１及び第２の光検出手段であるカメラL103、カメラR104によって検出された光の輝度に関する輝度情報に基づいて明暗レベルに従い電子ペン107又は指108であるかを判定する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。

通信手段117は、図４に示した無線Md123によって実現される。

位置特定手段118は、判定手段116によって判定された電子ペン107又は指108の位置を特定する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。

調整手段119は、電子ペン107から送られてきた第２の光照射手段の光源輝度情報に基づいて第１の光照射手段の発光輝度を調整する機能を有し、図４に示したCPU120、ROM121、RAM122、及びCPU120で実行されるプログラム等によって実現される。

ここで、ハードウェアブロック図では、CPU120を含む主処理部にI/F124を介して直接カメラL103,R104を接続する方式としているが、画像処理を高速に行うためにFPGA（field-programmable gate array）等の専用処理部を別途用いても良い。

図５（ａ）は、第１の実施形態に係る電子ペン107の概念図であり、図５（ｂ）は、図５（ａ）に示した電子ペンの機能ブロック図であり、図５（ｃ）は、図５（ｂ）のハードウェアブロック図である。

図５（ａ）に示す電子ペン107は、内部に無線Md142を有し、先端に光源（赤外LED）146を有する。

図５（ｂ）に示す電子ペン107は、制御手段131、通信手段132、電池手段133、押圧検出手段134、信号強度検出手段135、及び信号発信手段136を有する。

図５（ｃ）に示す電子ペン107は、マイコン141、無線Md142、バッテリ143、圧力センサ144、赤外センサ145、及び赤外LED146を有する。

マイコン（マイクロコンピュータ）141は、例えば、CPU、RAM、フラッシュROM等を含み、フラッシュROM等に記憶した電子ペン107用のプログラムを実行することにより、電子ペン107を統括制御する素子である。

無線Md142は、アンテナ、送信部及び受信部を有する。

バッテリ143は、電子ペン107の電源であり、一次電池もしくは二次電池が用いられる。

圧力センサ144は、ユーザーが電子ペン107を把持しているか否かを検知するセンサである。

赤外センサ145は、電子ホワイトボード本体101からの赤外光を検知するセンサである。

赤外LED146は、電子ホワイトボード本体101へ赤外線を照射する素子である。

ここで、制御手段131は、マイコン141、及びマイコン141で実行されるプログラム等によって実現され、座標検出システム２０１全体の制御を行う。通信手段132は、無線Md142によって実現される。電池手段133は、バッテリ143によって実現される。押圧検出手段134は、圧力センサ144によって実現される。信号強度検出手段135は、赤外センサ145によって実現される。信号発信手段136は、赤外LED146によって実現される。

電子ペン107は、光源（赤外LED）をペン先に搭載し、電子ペン107が画面に押し当てられたことを押圧検出部（圧力センサ）で検出し、ユーザーが描画動作をしているときに光源を発光させる。

無線通信機能（省電力無線：例えばBluetooth：登録商標）を搭載しており、押圧により描画動作を検出した際には電子ホワイトボード本体101に描画中であることを通知する。

尚、消しゴムの動作を模すために電子ペン107のペン尻側にもう一つの光源と押圧検出部を設けても良い。

発信する信号（赤外線）の強度が素子（赤外LED146）の特性や電源電圧（バッテリ143の消耗度）によって変化する。このため、検出精度が下がるのを防ぐ目的で、信号強度を電子ペン107内で検出しておいてそれを無線通信により電子ホワイトボード本体101に通知できるようにしている。

＜動作＞
図６は、第１の実施形態に係る指108を検出する際のカメラ画像の一例である。

一例としてカメラL103からは対向する２辺の画面の枠内側に取り付けられた光源としての赤外LEDアレイ105R,105Cが見える。画面102に指108を突くと、光源としての赤外LEDアレイ105R,105Cからの光が指108により遮られ影として検出される。

図７は、第１の実施形態に係る電子ペン107を検出する際のカメラ画像の一例である。

電子ペン107の場合はペン先に搭載された光源としての赤外LED146の光が検出される。この場合、画面102の枠に影もできる。

尚、図７では画面枠の光源である赤外LEDアレイ105C,105Rと電子ペン107の光源である赤外LED146の輝度に差がないので区別するのが難しい。

図８は、第１の実施形態に係るカメラL103から見た均一な輝度で光る画面枠内側光源の一例である。

電子ペン107の光源である赤外LED146と画面102の枠内側の光源である赤外LEDアレイ105C,105Rを輝度から区別しやすいように、画面102の枠内側光源の輝度を落とす（電子ペン107の光源の50％とする）。

画面102の枠内側の光源は均一な輝度で発光していれば、カメラL103で検出される輝度はカメラL103から遠い対角になるほど低くなる。

検出した画像から閾値を用いて精度良く電子ペン107の光源である赤外LED146と区別するためには、均一な輝度に見えた方が良い。

図９（ａ）、（ｂ）、（ｃ）、（ｄ）は、第１の実施形態に係る画面の枠内側の光源画像の補正についての説明図である。

元画像から各横（H）方向の座標における補正テーブル（図９（ｂ）の実線を点線のように補正するもの）を作り、検出時にその補正テーブルを基に補正する。

補正は画面102の枠内側光源部分（赤外LEDアレイ105R,105C）だけにかかるように、元画像の画面枠内側光源部以外をマスクして行う（※注）。

（※注）枠の光源と重なっていないペン光源である赤外LED146に対してはかからないようにしている。ペン光源の一部に対しても補正がかかってしまうことが考えられるが、ペン光源は画面102の枠内側光源部分より輝度が高くかつ近距離に見えるため検出に問題はない。

図１０は、第１の実施形態に係る電子ペン及び指の同時検出についての説明図である。

図１０は、画面102の枠内側の光源の輝度を補正し、輝度をペン光源と差ができるようにした状態を示している。

指108の突きは影として検出され、電子ペン107は枠の光源である赤外LEDアレイ105R,105Cよりもより明るい点として検出される。

さらに、電子ペン107から通知されるペン光源である赤外LED146の強度情報を元に枠内側光源部分の発光輝度を調整できるようにしておくことで、ペン光源の発光特性に合わせて検出に適した発光輝度に調整することができる。

図１１（ａ）、（ｂ）は、第１の実施形態に係る電子ペン及び指の検出方法についての説明図である。

図１１（ａ）に示すように画面102に電子ペン107及び指108が付いているものとする。

検出されたカメラ画像の縦(V)方向の輝度を積算して一次元にすると図１１（ｂ）のようになる。

画面102の枠内側の光源としての赤外LEDアレイ105R,105Cはほぼ一定の輝度に見え、指108を突いたところには影となり、電子ペン107を突いたところには電子ペン107の光源が検出される。尚、電子ペン107付近の画面102の枠光源には電子ペン107自体の影と、電子ペン107で描く時の指突きが合った場合には指突きによる影が検出される。

この値から、座標検出システム201の判定手段116は、ペン検出閾値を超えた位置を電子ペン107と判定し、指検出閾値を下回った位置を指108として判定する。

また、座標検出システム201の位置特定手段118は、例えば、図１１（ｂ）における電子ペン107のＨ方向の位置から、２つのカメラを結ぶ基線に対する電子ペン107の角度を特定し、電子ペン107の指示位置（座標）を算出する。

例えば、位置特定手段118は、カメラL103で取得したカメラ画像に基づいて、Ｖ方向の輝度の積算値がペン検出閾値を超える点に対応するＨ方向の位置から、カメラL103を中心とした、基線に対する電子ペン107の角度（第１の角度）を特定する。

一例として、位置特定手段118は、カメラを起点としたＨ方向の位置と角度とを対応づけた対応情報をROM121等に予め記憶しておく。これにより、位置特定手段118は、Ｈ方向の位置に対応する角度を、ROM121に記憶した対応情報から取得することができるようになる。

同様にして、位置特定手段118は、カメラR104で取得したカメラ画像に基づいて、Ｖ方向の輝度の積算値がペン検出閾値を超える点に対応するＨ方向の位置から、カメラR104を中心とした、基線に対する電子ペン107の角度（第２の角度）を特定する。

さらに、位置特定手段118は、三角測量の基線となるカメラL103とカメラR104との間の距離、第１の角度、及び第２角度を用いて、公知の三角測量により電子ペン107の指示位置（座標）を算出（特定）する。

また、位置特定手段118は、Ｖ方向の輝度の積算値が指検出閾値を下回る点に対して同様の処理を行うことにより、指108の指示位置（座標）を特定する。

位置が特定された検出点の組合せにはそれぞれ同じIDを紐付けてトラッキングすることで、多点検出を可能とする（既存の検出点がある状態で新しい検出点が出現すると検出点が追加される。またスキャン間で突然同じ点が遠方に飛ぶことはないとする。）。

図１２は、第１の実施形態に係る指突きの削除についての説明図である。

位置特定の結果、電子ペン107が検出された位置近傍の一定の範囲に指と思われる位置が検出された場合、それは指突きと判断して削除する。

＜シーケンス図＞
図１３は、図１に示した電子ホワイトボードの動作を示すシーケンス図の一例である。

座標検出システム201の動作（座標検出方法）は、初期化及び動作開始処理の段階と、電子ペン使用時のみ実施される処理の段階と、座標検出システムにおいて一定間隔で行われる処理の段階と、を有する。

電子ペン107と指108の指示、指示終了のタイミングは非同期だが、検出処理は同時に行われる。
（初期化及び動作開始処理の段階）
座標検出システム201が、検出用LED点灯、補正テーブル作成、輝度調整を行う（ステップS1）。

座標検出システム201が、検出開始する（ステップS2）。
（電子ペン使用時のみ実施される処理の段階）
電子ペン107及び指108で座標検出システム201のディスプレイ装置の画面102（図１参照）における座標検出領域を指示する（ステップS3,S4）。

電子ペン107の押圧により描画中を検出し（ステップS5）、電子ペン107のペン先LEDを点灯し、輝度を測定する（ステップS6）。

電子ペン107は、座標検出システム201に描画状態、ペン先LED輝度通知すると（描画中は一定間隔で通知される：ステップS7）、座標検出システム201は、検出用LEDの輝度を調整する（ステップS8）。

座標検出システム201は、カメラ画像を取得し、補正テーブルにて補正を行い（ステップS9）、閾値で明部と、電子ペン107と、暗部と、指108とを判別する（ステップS10）。

座標検出システム201は、電子ペン107と指108の位置（座標）を特定し（ステップS11）、電子ペン107付近の指108の位置情報としての指情報を削除する（ステップS12）。

座標検出システム201は、トラッキング中の電子ペン107と指108の位置情報とを比較（位置が近ければ同一と判断：ステップS13）し、新規に位置を特定した電子ペン107及び指108の位置情報を記憶（新規にトラッキング）する（ステップS14）。

座標検出システム201は、消滅した電子ペン107及び指108の情報を削除し（指示が無くなったことを示し：ステップS15）、電子ペン107の指示位置を特定し（ステップS16）、指108の指示位置を特定する（ステップS17）。

指108は、座標検出システム201に指示終了の信号を送り（ステップS18）、電子ペン107は、座標検出システム201に指示終了の信号を送り（ステップS19）、電子ペン107は、押圧により描画終了を検出する（ステップS20）。

電子ペン107は、座標検出システム201に描画状態を通知する（描画終了通知：ステップS21）。

＜プログラム＞
以上で説明した本発明に係る座標検出システムは、コンピュータで処理を実行させるプログラムによって実現されている。よって、一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。

例えば、
表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムに用いられるコンピュータが読み取り可能なプログラムであって、
第１の光照射手段が、前記表示画面の外周から座標を検出するための座標検出領域に光を照射する手順、
第２の光照射手段が、前記電子ペンから光を発する手順、
第１の光検出手段が、前記第１の光照射手段から照射された光を検出する手順、
第２の光検出手段が、前記第２の光照射手段から照射された光を検出する手順、
判定手段が、前記第１の光検出手段によって検出された光の輝度に関する輝度情報に基づいて明暗レベルに従い前記電子ペン又は前記指であるかを判定する手順、
位置特定手段が、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する手順、
を実行するためのプログラムが挙げられる。

このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

＜記憶媒体＞
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク（FD）、CD-R等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。

CD-ROMは、Compact Disc Read Only Memoryの略である。フレキシブルディスクは、Flexible Disk：FDを意味する。CD-Rは、CD Recordableの略である。FeRAMは、Ferroelectric RAMの略で、強誘電体メモリを意味する。HDDは、Hard Disc Driveの略である。

＜作用効果＞
本実施形態によれば、光学式を用いることで画面への輝度影響を避け、画面サイズが変わってもほぼそのまま対応が可能である。

電子ペンに搭載された光源の検出と、画面枠内側の光源の影を検出する指検出とを組合せ、同時に行う。

電子ペンに搭載された光源の輝度を画面枠内側の光源の輝度より高くし、輝度に差を持たせる。

同じカメラ画像において、輝度の閾値を２値持つことでペンの光源か画面枠内側の光源かを見分ける。

画面枠内側光源は輝度が全て同じであればカメラから遠ざかるほど（対角に近づくほど）カメラで検出される輝度は下がる。カメラから見て画面枠内側の光源の輝度が一定に見えた方が電子ペンの光源との輝度差を閾値で判別しやすいため、画面枠内側光源の輝度を補正して均一に見えるようにする。

電子ペンの光源は電子ペンの電源（電池）電圧の低下や光源デバイス（LED）の特性のバラつきの影響によって弱くなる場合が考えられる。このため、電子ペンの内部で光源の輝度を測定して本体に伝えることで電子ペンの光源を検出しやすいように画面枠内側光源の輝度を調整する。

表示面に座標検出に関わる構造物が不要で表示装置と切り離して構成することで後付け設置が可能である。

以上より、電子ペンや指の座標検出を行う座標検出システムにおいて、電子ペンによる指示の検出と指による指示の検出を同時に行え、かつ製造コストを抑えたまま電子ホワイトボード等の大画面のシステムや後付けの座標検出システムに対応できる。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。すなわち、上述した実施の形態では、ディスプレイ装置の場合で説明したが、本発明は、これに限定されるものではなく、プロジェクタ装置であってもよいことは言うまでもない。

［第２の実施形態］
第1の実施形態では、座標検出システム201は、無線Md123を用いて、電子ペン107から送信されるペン識別情報、押圧検知情報等の情報を取得している。この場合、電子ペン107を利用する前に、座標検出システム201と電子ペン107との間で無線通信を行うためのペアリング操作が必要になる。

第２の実施形態では、座標検出システム201と電子ペン107との間のペアリング操作を行なわなくても、複数の電子ペン107で描画された描画データを識別可能にすることにより、利用者の利便性を向上させる座標検出システム201の例について説明する。

＜構成＞
図１４は、第２の実施形態に係る電子ホワイトボード本体の外観図の一例である。第２の実施形態に係る電子ホワイトボード本体101は、図１（ｂ）に示す第１の実施形態に係る電子ホワイトボード本体101と同様に、画面102、カメラL103、カメラR104、及び赤外LEDアレイ105L,105C,105R等を有する。

また、第２の実施形態に係る電子ホワイトボード本体101は、画面102の周囲に１つ以上のフォトダイオード1401-1〜1401-6を有している。尚、以下の説明の中で、１つ以上のフォトダイオード1401-1〜1401-6のうち、任意のフォトダイオードを示す場合、「フォトダイオード1401」を用いる。

尚、フォトダイオード1401は、光通信用の受光素子、又は受光装置の一例である。例えば、フォトダイオード1401は、フォトトランジスタ等の他の受光素子であっても良いし、赤外線受光モジュール等の受光装置であっても良い。

本実施形態では、電子ペン107は、描画時に発光する赤外LED146の光を利用した光通信の信号により、電子ペン107のペン識別情報や描画状態を示す情報等を座標検出システム201に送信する。例えば、電子ペン107は、描画時に発光する赤外LED146の光を高速で点滅させることにより、光通信の信号を送信する。

一方、座標検出システム201は、光通信用のフォトダイオード1401を用いて、電子ペン107から送信される光通信の信号を受信し、受信した光通信の信号に含まれるペン識別情報や描画状態を示す情報等を取得する。

光通信用のフォトダイオード1401は、光通信の信号の検出精度を向上させるために、例えば、図１に示すように、複数（図１の例では６個）のフォトダイオード1401-1〜1401-6が設置されていることが望ましい。尚、図１に示すフォトダイオード1401の数は一例であり、１つ以上の他の数であっても良い。

＜ハードウェア構成＞
（座標検出システム）
図１５は、第２の実施形態に係る座標検出システムのハードウェアブロック図の一例である。第２の実施形態に係る座標検出システム201は、図４に示す第１の実施形態に係る座標検出システム201のハードウェア構成に加えて、マイコン1501、１つ以上のフォトダイオード1401、及びストレージ装置1503等を有している。尚、第２の実施形態に係る座標検出システム201は、図4に示す無線Md123を有していなくても良い。

図１５に示す第２の実施形態に係る座標検出システム201の他のハードウェア構成は、図４に示す第１の実施形態に係る座標検出システム201のハードウェア構成と同様なので、ここでは第１の実施形態との相違点を中心に説明を行う。

マイコン（マイクロコンピュータ）1501は、CPU、RAM、フラッシュROM等の一般的なコンピュータの構成を含むデバイスである。マイコン1501は、例えば、内蔵したフラッシュROM等に記憶されたプログラムをCPUで実行することにより、フォトダイオード1401を用いて光通信の信号を受信し、受信した信号に含まれるペン識別情報や描画状態を示す情報等を取得する機能を実現する。尚、マイコン1501で実現される機能は、CPU120で実行されるプログラムによって実現されるものであっても良い。

フォトダイオード１４０１は、図１４の説明の中で前述したように、光通信用の受光素子である。

好ましくは、光通信用のフォトダイオード1401には、電子ペン107から送信される光通信の信号（光）を透過する光学フィルタ1502が設けられている。これは、光通信用のフォトダイオード1401に、赤外LEDアレイ105L,105C,105Rが発する光が入ってしまうと、光通信の信号を取得が難しくなる場合があるためである。

したがって、赤外LEDアレイ105L,105C,105Rが発する光の波長と、電子ペン107から送信される光通信の光の波長とは、異なる波長であることが望ましい。これにより、フォトダイオード1401は、光学フィルタ1502を用いて、赤外LEDアレイ105L,105C,105Rが発する光を減衰させることができる。

一方、電子ペン107、又は指の指示位置を検出するためのカメラL103、カメラR104は、赤外LEDアレイ105L,105C,105Rが発する光の波長と、電子ペン107から送信される光通信の光の波長との両方の波長を検出する。

尚、電子ペン107から送信される光通信の光の検出に、カメラL103、カメラR104を用いない理由は、カメラL103、カメラR104のフレームレートが、一般的に６０fps程度（速くても１２０fps程度）と低いためである。例えば、カメラL103、カメラR104のフレームレートに合わせて光通信を行ってしまうと、消灯しているビットは電子ペン107の指示位置を検出できないため、電子ペン107の指示位置の検出レートが下がるという問題がある。

一方、カメラL103、カメラR104のフレームレートを、電子ペン107の指示位置の検出レートに影響しない程度まで上げると、カメラL103、カメラR104のコストや、画像処理に係る負荷が増大してしまうという問題がある。

電子ペン107から送信される光通信の光の検出にフォトダイオード1401を用いることにより、比較的低コスト、かつ簡易な回路構成で、数MHz以上の通信レートに対応することができる。

ストレージ装置1503は、例えば、HDD(Hard Disk Drive)、SSD(Solid Staste Drive)、又はフラッシュROM等、大容量のデータを保持するストレージデバイスである。

（電子ペン）
図１６は、第２の実施形態に係る電子ペンのハードウェア構成の例を示す図である。

図１６（ａ）は、第２の実施形態に係る電子ペン107の外観のイメージを示している。

電子ペン107は、ペン先に、内部に赤外LED146を備えた光源1611を有している。電子ペン107は、ペン先が画面102に押し当てられたことを圧力センサ1411で検出し、ユーザーが描画動作をしているときに赤外LED146を発光させる。また、第２の実施形態に係る電子ペン107は、ユーザーが描画動作をしているときに、例えば、赤外LED146を高速で点滅させることにより光通信を行い、電子ペン107のペン識別情報や描画状態を示す情報等を送信する。

好ましくは、電子ペン107は、内部に、他の電子ペン107が出力する光通信の信号を検出するためのフォトダイオードを備えた受光部1612を有している。

図１６（ｂ）は、第２の実施形態に係る電子ペン107のハードウェアブロック図の一例を示している。第２の実施形態に係る電子ペン107は、例えば、マイコン141、バッテリ143、圧力センサ144、赤外LED146、ROM1601、及びフォトダイオード1602等を有している。尚、マイコン141、バッテリ143、圧力センサ144、及び赤外LED146は、図５（ｃ）に示す第１の実施形態に係る電子ペン107に含まれるものと同様なので、ここでは、第１の実施形態のハードウェア構成との相違点を中心に説明を行う。

ROM1601は、不揮発性のメモリであり、例えば、電子ペン107のペン識別情報等を記憶する。尚、電子ペン107は、ROM1601に代えて、マイコン141に内蔵されたフラッシュROM等に電子ペン107のペン識別情報を記憶するものであっても良い。

フォトダイオード1602は、他の電子ペン107が出力する光通信の信号（光）を検出する受光素子である。

好ましくは、フォトダイオード1602には、他の電子ペン107から送信される光通信の信号（光）を透過し、座標検出システム201の赤外LEDアレイ105L,105C,105Rが出力する光を減衰させる光学フィルタ1603が設けられている。

＜機能ブロック図＞
（電子ホワイトボード）
図１７は、第２の実施形態に係る電子ホワイトボードの機能ブロック図の一例である。第２の実施形態に係る電子ホワイトボード200は、図３に示す第１の実施形態に係る電子ホワイトボード200の機能ブロック図に加えて、光信号受信手段1701、情報抽出手段1702、描画データ管理手段1703、及び記憶手段1704を有している。尚、第２の実施形態に係る電子ホワイトボード200は、図３に示す通信手段117を有していなくても良い。また、他の機能ブロックについては、図３に示す第１の実施形態に係る電子ホワイトボード200の機能ブロックと同様なので、ここでは第１の実施形態との相違点を中心に説明を行う。

光信号受信手段1701は、電子ペン107が、赤外LED146 を用いて照射する光を用いて通信を行う光通信の信号を受信する手段である。光信号受信手段1701は、例えば、図１５のフォトダイオード1401、及びマイコン1501（又はCPU120）で実行されるプログラム等によって実現される。

情報抽出手段1702は、光信号受信手段1701が受信する光通信の信号に含まれる情報（例えば、ペン識別情報、描画状態を示す情報等）を抽出する手段であり、例えば、図１５のマイコン1501（又はCPU120）で実行されるプログラムによって実現される。

本実施形態では、光通信によるデータ伝送方法について特に限定しないが、例えば、IrDA（登録商標）(Infrared Data Association)等の標準化された規格を利用するものであっても良いし、独自のデータ伝送方法を用いるもの等であっても良い。例えば、光通信によるデータ伝送方法は、予め定められた波長の光をオン／オフさせることにより、デジタル値の「１」／「０」を表すもの等であっても良い。この場合、情報抽出手段1702は、例えば、所定のサンプリングレートで予め定められた波長の光の有無を判断することにより、光通信の信号に含まれる情報を取得することができる。

描画データ管理手段1703は、情報抽出手段1702によって抽出される電子ペン107のペン識別情報と、位置特定手段118によって特定される電子ペン107の位置（指示位置）とを対応づけて、例えば、記憶手段1704に記憶して、管理する。描画データ管理手段1703は、例えば、図１５のCPU120（又はマイコン1501）で実行されるプログラムによって実現される。

記憶手段1704は、描画データ管理手段1703が管理するデータ（以下、描画データと呼ぶ）を記憶する手段であり、例えば、図１５のストレージ装置1503、及び図１５のCPU120（又はマイコン1501）で実行されるプログラム等によって実現される。

（電子ペン）
図１８は、第２の実施形態に係る電子ペンの機能ブロック図の一例である。第２の実施形態に係る電子ペン107は、制御手段131、電池手段133、押圧検出手段134、光信号検出手段1801、光通信制御手段1802、発光手段1803、及び識別情報記憶手段1804等を有する。上記の機能ブロックのうち、制御手段131、電池手段133、及び押圧検出手段134の機能は、図５（ｂ）に示す第１の実施形態に係る電子ペン107に含まれる、制御手段131、電池手段133、及び押圧検出手段134と同様である。ここでは、第１の実施形態との相違点を中心に説明を行う。

光信号検出手段1801は、他の電子ペン107による光通信の信号を検出する手段であり、例えば、図１６（ｂ）のフォトダイオード1602、及び図１６（ｂ）のマイコン141で実行されるプログラム等によって実現される。例えば、光信号検出手段１８０１は、フォトダイオード1602を用いて、他の電子ペン107の赤外LED146から出力される光に、光通信の信号が含まれているかを判断する。

光通信制御手段1802は、光信号検出手段1801による光通信の信号の検出結果に基づいて、電子ペン107が光通信の信号を送信するタイミングを制御する手段であり、例えば、図１６（ｂ）のマイコン141で実行されるプログラムによって実現される。

好ましくは、光通信制御手段1802は、電子ペン107が光通信の信号の送信を開始するとき、光信号検出手段1801により、他の電子ペン107による光通信の信号を検出し、他の電子ペン107による光通信の信号が検出された場合、光通信の信号の送信を遅らせる。例えば、光通信制御手段1802は、光通信の信号を送信するときに、他の電子ペン107による光通信の信号が検出された場合、所定の時間待機した後で、光通信の信号の送信をリトライする。

また、光通信制御手段1802は、光通信の信号を送信するときに、他の電子ペン107による光通信の信号が検出されない場合、例えば、発光手段1803が出力する光を高速でオン／オフさせること等により、光通信の信号を送信する。尚、光通信制御手段1802が出力する光通信の信号には、例えば、電子ペン107のペン識別情報や、電子ペンの描画状態を示す情報等が含まれる。

発光手段1803は、電子ペン107の光源1611の内部に備えられた赤外LED146を発光させる手段であり、例えば、図１６（ｂ）の赤外LED146、マイコン141、及びマイコン141で実行されるプログラム等によって実現される。

例えば、発光手段1803は、電子ペン107のペン先が画面102に押し当てられたとき、制御手段131の制御に従って赤外LED146の発光を開始させると共に、光通信制御手段1802の制御に従って赤外LED146をオン／オフさせる。また、発光手段1803は、電子ペン107のペン先が画面102から離れると、制御手段131の制御に従って赤外LED146の発光を停止させる。

識別情報記憶手段1804は、電子ペン107を識別するため識別情報であるペン識別情報を予め記憶した記憶手段であり、例えば、図１６（ｂ）のROM1601、又はマイコン141に内蔵される不揮発性のメモリ（例えば、フラッシュROM等）等によって実現される。

＜処理の流れ＞
続いて、第２の実施形態に係る座標検出システム201による処理の流れについて説明する。

（電子ペンの処理）
図１９は、第２の実施形態に係る電子ペンの処理の例を示すフローチャートである。

ステップＳ１９０１において、電子ペン107は、制御手段131が押圧検出手段134を用いて描画中であることを検知すると、ステップＳ１９０２以降の処理を実行する。

ステップＳ１９０２において、電子ペン107の制御手段131は、発光手段1803を用いて、ペン先の光源1611の内部に備えられた赤外LED146の発光を開始させる。

ステップＳ１９０３において、電子ペン107の光通信制御手段1802は、光信号検出手段1801の検出結果を用いて、他の電子ペン107が光通信中か否かを判断する。

他の電子ペン107が光通信中でない場合、光通信制御手段1802は、処理をステップＳ１９０４に移行させる。一方、他の電子ペン107が光通信中である場合、光通信制御手段1802は、処理をステップＳ１９０８に移行させる。

ステップＳ１９０４に移行すると、光通信制御手段1802は、発光手段1803を用いて赤外LED146をオン／オフさせて光通信を行うことにより、識別情報記憶手段1804に記憶したペン識別情報と、描画状態（描画中）を示す情報とを含む信号を送信する。

ステップＳ１９０５において、光通信制御手段1802は、第１の時間（Ｔ１−Ｔ）待機する。尚、Ｔ１は、予め定められた光通信の信号の送信周期であり、Ｔは、光通信の信号の送信に要する時間である。尚、送信周期Ｔ１、及び送信に要する時間Ｔについては、図２０を用いて後述する。

ステップＳ１９０６において、電子ペン107の制御手段131は、押圧検出手段134で検出される押圧により、描画が終了したことを検知したかを判断する。

描画が終了したことが検知されない場合、電子ペン107の制御手段131は、処理をステップＳ１９０３に移行させて、再び同様の処理を実行させる。一方、描画の終了が検知された場合、ステップＳ１９０７において、電子ペン107の制御手段131は、発光手段1803によるペン先の光源1611の内部に備えられた赤外LED146の発光を停止させる。

尚、ステップＳ１９０３から、ステップＳ１９０８に処理を移行した場合、ステップＳ１９０８において、光通信制御手段1802は、第２の時間（Ｔ２）待機した後、処理をステップＳ１９０３に戻す。尚、Ｔ２は、予め定められた待機時間である。

ここで、送信周期Ｔ１、送信に要する時間Ｔ、及び待機時間Ｔ２について、図２０を用いて説明する。

図２０は、第２の実施形態に係る電子ペンの通信タイミングについて説明するための図である。図２０において、横軸は時間であり、「通信中」は、電子ペン１〜３が、光通信の信号を送信している期間を示すものとする。

図２０において、電子ペン１〜３は、基本的に送信周期Ｔ１で、光通信の信号を送信しており、光通信の信号の送信には時間Ｔを要するものとする。この場合、電子ペン１〜３が光通信の信号の送信を終了した後、次に光通信の信号の送信を開始するまでの待機時間である第１の時間はＴ１―Ｔとなる。

また、電子ペン１〜３は、光通信の信号を送信するときに、他の電子ペンが「通信中」であるか否かを判断して、他の電子ペンが「通信中」でない場合、光通信の信号の送信を開始する。また、電子ペン１〜３は、他の電子ペンが「通信中」である場合、光通信の信号の送信を中止し、待機時間Ｔ２（第２の時間）待機した後、光通信の信号の送信をリトライする。

例えば、図２０の時間ｔ１において、電子ペン１は、光通信の信号を送信するときに、他の電子ペン２、３が出力している光通信の信号の有無を判断することにより、他の電子ペンが光通信中であるかを判断する。尚、光通信の信号がある状態とは、電子ペン107が発光する光を高速にオン／オフさせてデータを伝送している状態を示しており、単に電子ペン107が光を発光させている状態は含まれない。

図２０の例では、電子ペン１は、時間ｔ１において、他の電子ペン２、３が「通信中」でないので、光通信の信号の送信を開始する。また、電子ペン１は、時間ｔ１から、送信に要する時間Ｔを経過した時間ｔ３に光通信の信号の送信を終了する。さらに、電子ペン１は、時間ｔ３から、第１の時間（Ｔ１−Ｔ）を経過した時間ｔ５に、光通信の信号の送信処理を再び実行する。

また、図２０の時間ｔ２において、電子ペン２は、光通信の信号を送信するときに、他の電子ペン１、３が光通信中であるかを判断する。

図２０の例では、電子ペン２は、時間ｔ２において電子ペン１が「通信中」なので、光通信の信号の送信を中止して、待機時間Ｔ２だけ待機し、時間ｔ４において、再び、他の電子ペン１、３が光通信中であるかを判断する。

図２０の例では、電子ペン２は、時間ｔ４において他の電子ペン１、３が「通信中」でないので、光通信の信号の送信を開始する。電子ペン２は、光通信の信号の送信を開始した後、電子ペン１と同様の処理により、時間ｔ４から、第１の時間（Ｔ１−Ｔ）を経過した時間ｔ７に、光通信の信号の送信処理を再び実行する。

図２０の時間ｔ５において、電子ペン３は、光通信の信号を送信するときに、他の電子ペン１、２が出力している光通信の信号の有無を判断することにより、他の電子ペンが光通信中であるかを判断する。

図２０の例では、電子ペン３は、時間ｔ５において、他の電子ペン１、２が「通信中」でないので、光通信の信号の送信を開始する。電子ペン３は、光通信の信号の送信を開始した後、電子ペン１と同様の処理により、時間ｔ５から、第１の時間（Ｔ１−Ｔ）を経過した時間ｔ８に、光通信の信号の送信処理を再び実行する。

上記のような処理を繰り返すことにより、第２の実施形態に係る電子ペン107は、他の電子ペン107の光通信との干渉を避けつつ、所定の周期でペン識別情報を含む光通信の信号を送信することができる。

好ましくは、電子ペン１０７による光通信の通信レートは、カメラL103、カメラR104のフレームレート（例えば６０Ｈｚ）より十分に高い値（例えば、１ＭＨｚ）とすることにより、位置検出への影響を低減させる。

例えば、電子ペン１０７による光通信の通信レートを１ＭＨｚとし、１データを２バイトとすると、１データの伝送に要する時間は１６μｓ（１／１０００フレーム）程度となるため、位置検出への影響をほぼ無視することができる。

また、カメラL103、カメラR104のフレームレートを６０Ｈｚとすると、１フレームは、１６ｍｓ程度の時間になるので、送信周期を５ｍｓ程度未満にしておけば、１フレームの間に２、３回、光通信の信号が送信される。したがって、座標検出システム201は、光通信の信号を１回取りこぼしても、次のデータを取得することができる。

（座標検出システムの処理）
図２１は、第２の実施形態に係る座標検出システムの処理の例を示すフローチャートである。第２の実施形態に係る座標検出システム201は、図２１に示す処理を繰り返し実行することにより、電子ペン107によって描画された描画データを取得し、電子ペン107のペン識別情報と対応づけて記憶手段1704に記憶して、管理する。

尚、電子ペン107、又は指による指示位置（座標）の検出方法については第１の実施形態と同様なので、ここでは詳細な説明は省略する。

ステップＳ２１０１において、座標検出システム201の制御手段111は、第１の光検出手段113及び第２の光検出手段114（以下、光検出手段と呼ぶ）を用いて、カメラ画像を取得する。

ステップＳ２１０２において、座標検出システム201の判定手段116は、取得したカメラ画像に基づいて、明部（電子ペン107）と暗部（指）とを判別する。

ステップＳ２１０３において、座標検出システム201の位置特定手段118は、判定手段116が判別した電子ペン107、又は指の指示位置（座標）を特定する。

好ましくは、ステップＳ２１０４において、座標検出システム201の位置特定手段118は、ステップＳ２１０３で特定された指の指示位置のうち、ステップＳ２１０３で特定された電子ペン107の指示位置から所定の範囲内にある指の指示位置の情報を削除する。

ステップＳ２１０５において、座標検出システム201の描画データ管理手段1703は、ステップＳ２１０３で特定された電子ペン107の指示位置（座標）と、トラッキング中の電子ペン107の指示位置（座標）との間の距離を算出する。

ステップＳ２１０６において、座標検出システム201の描画データ管理手段1703は、ステップＳ２１０５で算出した距離が所定の距離以内であるかを判断する。

算出した距離が所定の距離以内である場合、描画データ管理手段1703は、処理をステップＳ２１０７に移行させる。一方、算出した距離が所定の距離以内でない場合、描画データ管理手段1703は、処理をステップＳ２１１０に移行させる。ここで、所定の距離は、図２１の処理を実行する時間間隔に基づいて、時間内に描画可能な所定の距離が予め定められているものとする。

ステップＳ２１０７において、座標検出システム201の描画データ管理手段1703は、ステップＳ２１０３で特定された電子ペン107の指示位置が、トラッキング中の電子ペン107の指示位置であると判断する。

ステップＳ２１０８において、座標検出システム201の描画データ管理手段1703は、トラッキング中の電子ペン107の描画データに、特定された電子ペンの指示位置の座標を記憶する。

描画データ管理手段1703が、記憶手段1704に記憶して管理する描画データの例を表１に示す。

表１に示すように、描画データには、例えば、「ペン識別情報」、「描画データ」、「書込日時」、及び「状態」等の情報が含まれる。

「ペン識別情報」は、電子ペン107を識別するための識別情報である。

「描画データ」は、電子ペン107の指示位置を示す１つ以上の座標である。例えば、描画データ管理手段1703は、電子ペン107による新たな描画データが検出されると「描画データ」に第１の座標、例えば、（Ｘ１，Ｙ１）を記憶する。また、描画データ管理手段1703は、所定の時間内に、前述した所定の距離以内に検出された電子ペン107による指示位置を第２の座標、例えば、（Ｘ２，Ｙ２）として記憶する。

このように、描画データ管理手段1703は、例えば、所定の時間内に、所定の距離以内に検出された電子ペン107による指示位置を同じ描画データと判断して、順次に記憶する。

「書込日時」は、例えば、「描画データ」に含まれる最新の座標が書込みされた時間を示す情報である。例えば、描画データ管理手段1703は、「書込日時」から所定の時間内に、所定の距離以内に電子ペン107による新たな指示位置が検出されない場合、「状態」を「確定済」とし、描画データのトラッキングを確定させる。

「状態」は、描画データが、確定済であるか、描画中（トラッキング中）であるかを示す情報である。

図２１に戻り、フローチャートの説明を続ける。

ステップ２１０９において、座標検出システム201の描画データ管理手段1703は、所定の時間以上検出されない電子ペン107のトラッキングを確定させる。例えば、表１において、電子ペン107のペン識別情報に対応する「状態」を「確定済」にする。

尚、ステップＳ２１０６において、算出した距離が所定の距離以内でない場合、ステップＳ２１１０において、座標検出システム201の描画データ管理手段1703は、新たな描画データとしてトラッキングを開始する。例えば、描画データ管理手段1703は、表１に示すような描画データに新たなエントリを作成し、ステップＳ２１０３で特定された電子ペン107の指示位置を示す座標を、「描画データ」に記憶する。

ステップＳ２１１１において、座標検出システム201の描画データ管理手段1703は、情報抽出手段1702から通知された、新たに検出されたペン識別情報を、ステップＳ２１０６で新たに作成した描画データと対応づけて管理する。例えば、描画データ管理手段1703は、ステップＳ２１０６で記憶した「描画データ」に対応する「ペン識別情報」に、新たに検出されたペン識別情報を記憶する。

尚、第２の実施形態に係る座標検出システム201では、図２１のステップＳ２１０１〜Ｓ２１１１に示す処理と並行して、ステップＳ２１２１〜Ｓ２１２３に示す処理が実行される。

ステップＳ２１２１において、座標検出システム201の光信号受信手段1701は、電子ペン107から出力される光通信の信号を取得し、情報抽出手段1702は、取得した信号に含まれるペン識別情報、描画状態を示す情報等を抽出する。

ステップＳ２１２２において、座標検出システム201の情報抽出手段1702は、抽出したペン識別情報の中に新たに検出されたペン識別情報があるかを判断する。

抽出したペン識別情報の中に新たに検出されたペン識別情報がない場合、情報抽出手段1702は、処理をステップＳ２１２１に戻して同様の処理を繰り返す。一方、抽出したペン識別情報の中に新たに検出されたペン識別情報がある場合、情報抽出手段1702は、処理をステップＳ２１２３に移行させる。

ステップＳ２１２３に移行すると、座標検出システム201の情報抽出手段1702は、新たに検出された電子ペン107の識別情報を、描画データ管理手段1703に通知する。

上記の処理により、座標検出システム201は、新たにトラッキングを開始した描画データと、新たに検出された電子ペン107のペン識別情報とを対応づけて管理することができるようになる。

（座標検出システムの処理）
上記の説明では、電子ペン107による描画データの管理について説明を行ったが、第２の実施形態に係る座標検出システム201は、第１の実施形態と同様にして、指による描画データも管理することができる。

図２２は、第２の実施形態に係る座標検出システムの処理の例を示すシーケンス図である。尚、基本的な処理は、図１３に示す第１の実施形態に係る処理と同様なので、詳細な説明は省略する。

ステップＳ２２０１において、座標検出システム201は、検出用LED点灯、及び輝度調整を行う。

ステップＳ２２０２において、座標検出システム201は、検出開始する。

ステップＳ２２０３において、電子ペン２で座標検出システム201のディスプレイ装置の画面102における座標検出領域を指示する。例えば、電子ホワイトボード200に書込みを行うユーザーは、電子ペン２を用いて画面102に書込みを行う。

ステップＳ２２０４において、電子ペン２は、押圧により描画中であることを検出し、ステップＳ２２０５において、赤外LED146の発光を開始する。

同様に、ステップＳ２２０６において、電子ペン１で座標検出システム201のディスプレイ装置の画面102における座標検出領域を指示する。例えば、電子ホワイトボード200に書込みを行う別のユーザーは、電子ペン１を用いて画面102に書込みを行う。

ステップＳ２２０７において、電子ペン１は、押圧により描画中であることを検出し、ステップＳ２２０８において、赤外LED146の発光を開始する。

電子ペン１、２は、ユーザーによる描画中、図２２に示す電子ペンの処理２２１０を繰り返し実行する。尚、電子ペンの処理２２１０には、例えば、ステップＳ２２１１〜Ｓ２２１４に示す処理が含まれる。

ステップＳ２２１１において、電子ペン１は、他の電子ペン（例えば、電子ペン２）による光通信の状態を検出し、他の電子ペンが光通信中である場合、ステップＳ２２１２、Ｓ２２１３の処理を実行する。例えば、ステップＳ２２１２において、電子ペン１の光通信制御手段１８０２は、光通信で描画状態、ペン識別情報を含む信号を送信し、Ｓ２２１３において、前述した第１の時間（Ｔ１−Ｔ）待機する。

一方、ステップＳ２２１１において、電子ペン１は、他の電子ペンによる光通信の状態を検出し、他の電子ペンが光通信中でない場合、ステップＳ２２１４の処理を実行する。例えば、ステップＳ２２１４において、電子ペン１の光通信制御手段１８０２は、前述した第２の時間Ｔ２だけ待機する。

尚、図２２の電子ペンの処理２２１０は、例えば、図１９のステップＳ１９０３〜Ｓ１９０６、及びステップＳ１９０８の処理に対応している。

電子ペン２も同様にして、電子ペンの処理２２１０を繰り返し実行する。

一方、座標検出システム２０１は、処理を開始すると、図２２に示す座標検出システムの処理２２２０を繰り返し実行する。尚、座標検出システムの処理２２２０には、例えば、ステップＳ２２２１〜Ｓ２２２９に示す処理が含まれる。

ステップＳ２２２１において、座標検出システム201は、カメラ画像を取得する。

ステップＳ２２２２において、座標検出システム201は、閾値を用いて、電子ペン１、２による指示位置を示す明部と、指108による指示位置を示す暗部とを判別する。

ステップＳ２２２３において、座標検出システム201は、電子ペン１、２と指108の指示位置（座標）を特定する。

ステップＳ２２２４において、座標検出システム201は、電子ペン１、２の指示位置付近の指108の指示位置の情報である指情報を削除する。

ステップＳ２２２５において、座標検出システム201は、電子ペン１、２と指108の指示位置（座標）と、トラッキング中の電子ペン107、指108の座標とを比較し、位置が近ければ同じ描画データと判断する。

ステップＳ２２２６において、座標検出システム201は、特定した電子ペン１、２と指108の指示位置のうち、新規の指示位置を、新規の描画データとして記憶し、新たにトラッキングを開始する。

ステップＳ２２２７において、座標検出システム201は、新規の描画データとして記憶した電子ペン107の指示位置と、新規に受信したペン識別情報とを対応づけて管理する。尚、新規の描画データとして記憶した指108の指示位置には、例えば、指108であることを示す識別情報、又は新規の識別情報を生成して、付与する。

ステップＳ２２２８において、座標検出システム201は、検出されなくなった電子ペン107及び指108のトラッキング情報を削除し、トラッキングを確定させる。

上記の処理により、例えば、ステップＳ２２２９、Ｓ２２３０において、座標検出システム201は、電子ペン１、及び電子ペン２の指示位置、及びペン識別情報を特定することができる。

尚、図２２の座標検出システムの処理２２２０は、例えば、図２１に示す座標検出システムの処理に、指108に対する処理を加えたものである。

ステップＳ２２３１において、例えば、電子ペン１による座標検出システム201のディスプレイ装置の画面102に対する指示（描画）が終了すると、ステップＳ２２３２において、電子ペン１は、押圧により描画終了を検出する。

ステップＳ２２３３において、電子ペン１は、赤外LED146の発光を停止する。

上記の処理により、第２の実施形態に係る座標検出システム201は、座標検出システム201と電子ペン107との間のペアリング操作を行うことなく、複数の電子ペン107で描画された描画データを識別可能とし、利用者の利便性を向上させることができる。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述した実施の形態では、ディスプレイ装置の場合で説明したが、本発明は、これに限定されるものではなく、プロジェクタ装置であってもよいことは言うまでもない。

１０１ 電子ホワイトボード本体
１０２ 画面（表示手段）
１０３ カメラＬ
１０４ カメラＲ
１０５Ｃ、１０５Ｌ、１０５Ｒ 赤外ＬＥＤアレイ
１０７ 電子ペン
１０８ 指
１１１、１３１ 制御手段
１１２ 第１の光照射手段
１１３ 第１の光検出手段
１１４ 第２の光検出手段
１１５ 検出レベル補正手段
１１６ 判定手段
１１７、１３２ 通信手段
１１８ 位置特定手段
１１９ 調整手段
１２０ ＣＰＵ
１２１ ＲＯＭ
１２２ ＲＡＭ
１２３、１４２ 無線Ｍｄ
１２４ Ｉ／Ｆ
１３３ 電池手段
１３４ 押圧検出手段
１３５ 信号強度検出手段
１３６ 信号発信手段
１４１ マイコン
１４３ バッテリ
１４４ 圧力センサ
１４５ 赤外センサ
１４６ 第２の光照射手段（赤外ＬＥＤ）
１６０ 脚部
２００ 電子ホワイトボード（画像処理装置）
２０１ 座標検出システム
１４０１ フォトダイオード
１５０２ 光学フィルタ
１６０２ フォトダイオード
１６０３ 光学フィルタ
１７０１ 光信号受信手段
１７０２ 情報抽出手段
１７０３ 描画データ管理手段
１８０１ 光信号検出手段
１８０２ 光通信制御手段

特開２０１２−０２２５４３号公報

Claims (18)

1. 表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムであって、 前記表示画面の外周から座標を検出するための座標検出領域に光を照射する第１の光照射手段と、 前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出する複数の光検出手段と、 前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する判定手段と、 前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する位置特定手段と、 前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する調整手段と、 を有することを特徴とする座標検出システム。
2. 前記第１及び第２の光照射手段及び、前記光を検出する光検出手段は、赤外光を照射、検出するものであることを特徴とする請求項１記載の座標検出システム。
3. 前記光検出手段は、光学カメラであることを特徴とする請求項１または２記載の座標検出システム。
4. 前記判定手段は、輝度情報に基づいて明暗レベルに従い、明暗レベルにおける閾値を２つ以上有することを特徴とする請求項１記載の座標検出システム。
5. 検出した電子ペン、または指の指示点にペンの識別情報を紐付けてトラッキングすることを特徴とする請求項１記載の座標検出システム。
6. 前記電子ペンから、無線通信を用いて、ペン識別情報、押圧検知情報、及び前記第２の光照射手段の光源輝度情報をディスプレイ装置本体に送信する送信手段を有することを特徴とする請求項１記載の座標検出システム。
7. 前記第１の光照射手段を前記光検出手段によって検出した輝度レベルに基づいて指示部検出時の検出レベルを補正する検出レベル補正手段を有することを特徴とする請求項１記載の座標検出システム。
8. 前記電子ペンの前記第２の光照射手段から照射される光を利用して通信を行う光通信の信号を受信する光信号受信手段と、 前記光信号受信手段が受信する前記光通信の信号に含まれる、前記電子ペンを識別する識別情報であるペン識別情報を抽出する情報抽出手段と、 前記情報抽出手段によって抽出される前記電子ペンの前記ペン識別情報と、前記位置特定手段によって特定される前記電子ペンの位置を示す座標とを対応づけて管理する描画データ管理手段と、 を有する請求項１乃至７のいずれか一項に記載の座標検出システム。
9. 前記座標検出システムは、１つ以上の前記電子ペンにより指示される座標を検出し、 前記電子ペンは、 他の電子ペンの前記第２の光照射手段から照射される光による前記光通信の信号を検出する光信号検出手段と、 前記光信号検出手段による前記光通信の信号の検出結果に基づいて、当該電子ペンの前記光通信の信号を送信するタイミングを制御する光通信制御手段と、 を有する請求項８に記載の座標検出システム。
10. 前記光通信制御手段は、 前記光通信の信号の送信を開始するとき、前記光信号検出手段により前記他の電子ペンによる前記光通信の信号を検出して、前記他の電子ペンによる前記光通信の信号が検出された場合、前記光通信の信号の送信を中止し、所定の時間待機する請求項９に記載の座標検出システム。
11. 前記第２の光照射手段から照射される光は、前記第１の光照射手段から照射される光と波長が異なることを特徴とする請求項９又は１０に記載の座標検出システム。
12. 前記光信号検出手段は、 前記第２の光照射手段から照射される光を透過する光学フィルタを設けたフォトダイオードである請求項１１に記載の座標検出システム。
13. 前記光信号受信手段は、 前記第２の光照射手段から照射される光を透過する光学フィルタを設けたフォトダイオードを用いて、前記光通信の信号を受信する請求項１１又は１２に記載の座標検出システム。
14. 前記光通信の信号は、 前記電子ペンのペン識別情報と前記電子ペンの描画状態を示す情報とを含む請求項１０に記載の座標検出システム。
15. 表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する画像処理装置であって、 前記表示画面の外周から座標を検出するための座標検出領域に光を照射する第１の光照射手段と、 前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出する複数の光検出手段と、 前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する判定手段と、 前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する位置特定手段と、 前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する調整手段と、 を有することを特徴とする画像処理装置。
16. 前記電子ペンの前記第２の光照射手段から照射される光を利用して通信を行う光通信の信号を受信する光信号受信手段と、 前記光通信の信号に含まれる、前記電子ペンを識別する識別情報であるペン識別情報を抽出する情報抽出手段と、 前記情報抽出手段によって抽出される前記電子ペンの前記ペン識別情報と、前記位置特定手段によって特定される前記電子ペンの位置を示す座標とを対応づけて管理する描画データ管理手段と、 を有する請求項１５に記載の画像処理装置。
17. 表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムによって実行される座標検出方法であって、 第１の光照射手段が、前記表示画面の外周から座標を検出するための座標検出領域に光を照射し、 複数の光検出手段が、前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出し、 判定手段が、前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定し、 位置特定手段が、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定し、 調整手段が、前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整することを特徴とする座標検出方法。
18. 表示画面に対して指示動作を行う電子ペン又は指により指示された座標を検出する座標検出システムに用いられるコンピュータが読み取り可能なプログラムであって、 第１の光照射手段が、前記表示画面の外周から座標を検出するための座標検出領域に光を照射する手順、 複数の光検出手段が、前記第１の光照射手段から照射された光、及び前記電子ペンから光を発する第２の光照射手段から照射された光を検出する手順、 判定手段が、前記光検出手段によって検出された光の輝度に関する輝度情報に基づいて前記電子ペン又は前記指であるかを判定する手順、 位置特定手段が、前記判定手段によって判定された前記電子ペン又は前記指の位置を特定する手順、及び 調整手段が、前記電子ペンから送られてきた前記第２の光照射手段の光源輝度情報に基づいて前記第１の光照射手段の発光輝度を調整する手順、
    を前記コンピュータに実行させるためのプログラム。