JP6733566B2 - 情報処理方法、情報処理システム、及び光学装置 - Google Patents

Description

本件は、情報処理方法、情報処理システム、及び光学装置に関する。

プロジェクタによりスクリーン等の投影面に投影された投影画像に対して、電子ペン等の指示体によって線や図形を描画する技術が知られている。特に、指示体が投影面に接触せずに移動するホバリングも知られている（以上、特許文献１参照）。

ところで、上記指示体はプロジェクタに２種類の赤外線信号を送信する。一方の赤外線信号は、プロジェクタから送信される赤外線周波数帯の同期信号に応じて、指示体の先端（以下、第１の先端という）に備えられた発光素子を発光させることにより送信される。この赤外線信号は指示体の位置を検出するために利用される。言い換えれば、指示体が同期信号を受信できない位置に存在すれば、発光素子は発光せず、指示体の位置は検出されない。

他方の赤外線信号は、指示体の投影面と接触する側の先端（以下、第２の先端という）が投影面に押し付けられることにより送信される。この赤外線信号は指示体がホバリング中であるか否かの判定のために利用される。すなわち、この赤外線信号が送信されていれば、指示体は投影面に押し付けられているためホバリング中でないと判定され、逆に、送信されていなければ、指示体はホバリング中であると判定される。すなわち、上述した発光素子が発光しているものの、他方の赤外線信号が送信されていなければ、指示体はホバリング中であると判定される。

特開２０１６−１２２３２９号公報

ところで、利用者が投影面に線や図形を描画する場合、利用者は指示体の姿勢を第２の先端を投影面に向ける状態に移してホバリングの状態を維持し、その後、利用者は第２の先端を投影面に押し付けて線や図形を描画する。したがって、例えば、指示体が投影面上に倒れている場合には、利用者に描画の意図がないと想定することができる。

しかしながら、上述した技術では、発光素子が発光しているものの他方の赤外線信号が指示体から送信されなければ、指示体がホバリング中であると判定される。すなわち、利用者に描画の意図がないと想定される場合であっても、指示体がホバリング中であると判定される。このように、上述した技術ではホバリングの検出精度が低いという問題がある。

そこで、１つの側面では、ホバリングの検出精度を向上できる情報処理方法、情報処理システム、及び光学装置を提供することを目的とする。

１つの実施態様では、情報処理方法は、磁気を帯びた所定の領域を撮像する撮像装置と、第１の発光体、それぞれ磁気を検出する第１及び第２のセンサ、及び、前記第１及び第２のセンサによる前記領域からの磁気の検出状況に応じて、前記第１の発光体の発光状態を制御する制御回路を含む光学装置と、前記撮像装置と接続されたコンピュータと、を利用する情報処理方法であって、前記コンピュータが、前記撮像装置による撮像画像内における前記第１の発光体の発光状態に応じて、前記光学装置がホバリング状態であるか否か判定する、処理を実行する情報処理方法である。

１つの実施態様では、情報処理システムは、磁気を帯びた所定の領域を撮像する撮像装置と、発光体、それぞれ磁気を検出する第１及び第２のセンサ、及び、前記第１及び第２のセンサによる前記領域からの磁気の検出状況に応じて、前記発光体の発光状態を制御する制御回路を含む光学装置と、前記撮像装置による撮像画像内に前記発光体による特定の発光状態を認識した場合、前記光学装置がホバリング状態であると判定する処理装置と、を有する情報処理システムである。

１つの実施態様では、光学装置は、発光体と、それぞれ磁気を検出する第１及び第２のセンサと、前記第１及び第２のセンサによる磁気を帯びた所定の領域からの磁気の検出状況に応じて、前記発光体の発光状態を制御する制御回路と、を備える光学装置である。

ホバリングの検出精度を向上することができる。

図１は情報処理システムの一例を説明するための図である。 図２は第１実施形態に係る電子ペンの構成を説明する図である。 図３はサーバ装置のハードウェア構成の一例である。 図４はサーバ装置の機能ブロック図の一例である。 図５は管理テーブルの一例である。 図６は第１実施形態に係るサーバ装置の動作（その１）の一例を示すフローチャートである。 図７は第１実施形態に係るサーバ装置の動作（その２）の一例を示すフローチャートである。 図８は第１実施形態に係るサーバ装置の動作（その３）の一例を示すフローチャートである。 図９は第１実施形態に係る電子ペンに設けられた各種スイッチのオン・オフを説明するための図である。 図１０は第１実施形態に係るＬＥＤの発光状態を説明するための図である。 図１１は管理テーブルの他の一例である。 図１２は管理テーブルの他の一例である。 図１３は電子ペンの各種姿勢を説明するための図である。 図１４は第２実施形態に係る電子ペンの構成を説明する図である。 図１５は第２実施形態に係るサーバ装置の動作（その１）の一例である。 図１６（ａ）は第２実施形態に係るサーバ装置の動作（その２）の一例である。図１６（ｂ）は第２実施形態に係るサーバ装置の動作（その３）の一例である。 図１７は第２実施形態に係る電子ペンに設けられた各種スイッチのオン・オフを説明するための図である。 図１８は第２実施形態に係る第２ＬＥＤの発光状態を説明するための図である。 図１９は第２実施形態に係る第１ＬＥＤの発光状態を説明するための図である。 図２０は第２実施形態に係る状態遷移図の一例である。 図２１は第３実施形態に係る電子ペンの構成を説明する図である。 図２２は第３実施形態に係るサーバ装置の動作の一例である。 図２３は第３実施形態に係る電子ペンに設けられた各種スイッチのオン・オフを説明するための図である。 図２４は第３実施形態に係るＬＥＤの発光状態を説明するための図である。

以下、本件を実施するための形態について図面を参照して説明する。

（第１実施形態）
図１は情報処理システムＳの一例を説明するための図である。図２は第１実施形態に係る電子ペン３００の構成を説明する図である。情報処理システムＳはプロジェクタ１００と撮像装置としてのカメラ２００と光学装置としての電子ペン３００と処理装置としてのサーバ装置４００とを備えている。プロジェクタ１００とカメラ２００とサーバ装置４００は有線又は無線により互いに接続されている。また、サーバ装置４００は通信ネットワークＮＷを介して情報処理システムＳの設置場所と異なる場所（例えば遠隔地など）に設置された別の情報処理システム（不図示）と接続されている。尚、通信ネットワークＮＷとしては例えばLocal Area Network（ＬＡＮ）やインターネットなどがある。

プロジェクタ１００はテーブル１０上に置かれた磁気シート１１上に画像を投影する。例えば、プロジェクタ１００は電子ペン３００の一方の先端（例えば描画側の先端）の軌跡に応じた画像を磁気シート１１上に投影する。尚、磁気シート１１は磁気を帯びた所定の領域の一例であって、例えば磁気マットなどであってもよいし、テーブル１０自体が磁気を帯びていてもよい。

カメラ２００は磁気シート１１を静止画像として定期的に撮像する。言い換えれば、カメラ２００は磁気シート１１を動画像として撮像する。磁気シート１１上に電子ペン３００が存在すると、カメラ２００は電子ペン３００と磁気シート１１を撮像する。尚、プロジェクタ１００とカメラ２００は互いの画角を合わせて配置されている。

電子ペン３００は、図２に示すように、発光体としてのLight Emitting Diode（ＬＥＤ）３１０と、磁気センサとしての第１磁気スイッチ３２１及び第２磁気スイッチ３２２と、制御回路３３０と、押下スイッチ３４０とを備えている。また、電子ペン３００は、ＬＥＤ３１０及び制御回路３３０に電力を供給する電池などの電源（不図示）を備えている。ＬＥＤ３１０は電子ペン３００の一方の先端に設けられている。第１磁気スイッチ３２１及び第２磁気スイッチ３２２はそれぞれ磁気を検出する。制御回路３３０は第１磁気スイッチ３２１及び第２磁気スイッチ３２２による磁気シート１１からの磁気の検出状況に応じて、ＬＥＤ３１０の発光状態を制御する。例えば、第１磁気スイッチ３２１が磁気を検出すると、制御回路３３０は押下スイッチ３４０のオンとオフを切り替えてＬＥＤ３１０の発光状態を点滅状態に制御する。又は、第１磁気スイッチ３２１が磁気を検出すると、制御回路３３０は直接ＬＥＤ３１０の発光状態を点滅状態に制御する。例えば、ＬＥＤ３１０が磁気シート１１に接触すると、押下スイッチ３４０がオフからオンに切り替わり、ＬＥＤ３１０は電力の供給を受けて点灯する。例えば、第１磁気スイッチ３２１と第２磁気スイッチ３２２の両方が磁気を検出すると、制御回路３３０はＬＥＤ３１０の発光状態を消灯状態に制御する。尚、制御回路３３０による制御の詳細については後述する。

図１に戻り、サーバ装置４００はカメラ２００による撮像画像内に電子ペン３００のＬＥＤ３１０による特定の発光状態（例えば点滅状態）を認識した場合、電子ペン３００がホバリングの状態（以下、ホバリング状態という）であると判定する。尚、ホバリング状態とは、ＬＥＤ３１０が磁気シートから所定閾値以内で離れた状態をいう。一方、サーバ装置４００はカメラ２００による撮像画像内に電子ペン３００のＬＥＤ３１０による別の特定の発光状態（例えば点灯状態）を認識した場合、電子ペン３００が接触状態であると判定する。例えば、サーバ装置４００は電子ペン３００が接触状態であると判定すると、別の特定の発光状態にあるＬＥＤ３１０の軌跡に応じた画像をプロジェクタ１００に投影させる。これにより、プロジェクタ１００はＬＥＤ３１０の軌跡に応じた画像を投影する。

次に、図３を参照して、サーバ装置４００のハードウェア構成について説明する。

図３はサーバ装置４００のハードウェア構成の一例である。図３に示すように、サーバ装置４００は、少なくともCentral Processing Unit（ＣＰＵ）４００Ａ、Random Access Memory（ＲＡＭ）４００Ｂ、Read Only Memory（ＲＯＭ）４００Ｃ及びネットワークＩ／Ｆ（インタフェース）４００Ｄを含んでいる。サーバ装置４００は、必要に応じて、Hard Disk Drive（ＨＤＤ）４００Ｅ、入力Ｉ／Ｆ４００Ｆ、出力Ｉ／Ｆ４００Ｇ、入出力Ｉ／Ｆ４００Ｈ、ドライブ装置４００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ４００Ａからドライブ装置４００Ｉまでは、内部バス４００Ｊによって互いに接続されている。少なくともＣＰＵ４００ＡとＲＡＭ４００Ｂとが協働することによってコンピュータが実現される。

入力Ｉ／Ｆ４００Ｆには、カメラ２００が接続される。カメラ２００としては、例えばビデオカメラなどがある。
出力Ｉ／Ｆ４００Ｇには、プロジェクタ１００が接続される。
入出力Ｉ／Ｆ４００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ４００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ４００Ｆ、出力Ｉ／Ｆ４００Ｇ、及び入出力Ｉ／Ｆ４００Ｈは、例えばＵＳＢポートを備えている。

ドライブ装置４００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置４００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ４００Ｄは、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。サーバ装置４００は、ネットワークＩ／Ｆ４００Ｄを介して通信ネットワークＮＷと接続される。

上述したＲＡＭ４００Ｂには、ＲＯＭ４００ＣやＨＤＤ４００Ｅに記憶されたプログラムがＣＰＵ４００Ａによって格納される。ＲＡＭ４００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ４００Ａによって格納される。格納されたプログラムをＣＰＵ４００Ａが実行することにより、サーバ装置４００は後述する各種の機能を実現し、また、後述する各種の処理を実行する。尚、プログラムは後述するフローチャートに応じたものとすればよい。

次に、図４及び図５を参照して、サーバ装置４００が実行又は実現する各機能について説明する。

図４はサーバ装置４００の機能ブロック図の一例である。図５は管理テーブルの一例である。サーバ装置４００は、管理テーブル記憶部４１０、画像読込部４２０、表示制御部４３０、送受信部４４０、及び情報処理部４５０を含んでいる。

管理テーブル記憶部４１０は管理テーブルを記憶する。管理テーブルはＬＥＤ３１０の発光状態を管理するテーブルである。具体的には、図５に示すように、管理テーブルは、ハイライトＩＤ、処理時刻、及び、処理時刻毎のＬＥＤ３１０の状態を含むハイライト情報を管理対象として含んでいる。特に、ＬＥＤ３１０の状態はＬＥＤ３１０の位置座標と発光状態を構成要素として含んでいる。例えば、カメラ２００による撮像画像内にＬＥＤ３１０による１つの発光状態（例えば点滅又は点灯）が含まれている場合、管理テーブルによって１つのハイライト情報（例えばハイライトＩＤ「Ａ００１」）が管理される。例えば、カメラ２００による撮像画像内にＬＥＤ３１０による複数の発光状態が含まれている場合、管理テーブルによって複数のハイライト情報（例えばハイライトＩＤ「Ａ００１」及び「Ａ００２」）が管理される。例えば、管理テーブルによって複数のハイライト情報が管理されている状態でいずれかのハイライト情報が一定期間更新されていないと、更新されていないハイライト情報は管理対象から除外される。尚、ハイライト情報に含まれる処理時刻は、発光状態を特定する部分を撮像画像から抽出した時刻を表している。

画像読込部４２０はカメラ２００が撮像した状態を表す静止画像を撮像画像としてカメラ２００から定期的に読み込む。画像読込部４２０は撮像画像を読み込むと、撮像画像を時系列に保持する。

表示制御部４３０はプロジェクタ１００の動作を制御する。例えば、情報処理部４５０がＬＥＤ３１０の軌跡に応じた画像を生成した場合、表示制御部４３０は当該画像をプロジェクタ１００に投影させる。

送受信部４４０は情報処理部４５０から出力された各種の情報を受信して通信ネットワークＮＷに送信したり、通信ネットワークＮＷから送信された各種の情報を受信して情報処理部４５０に送信したりする。例えば、送受信部４４０はホバリング状態を表す情報を情報処理システムＳと異なる別の情報処理システムに送信する。

情報処理部４５０は画像読込部４２０が保持する撮像画像を取得する。情報処理部４５０は撮像画像を取得し、撮像画像内にＬＥＤ３１０による特定の発光状態（例えば点滅状態）を認識した場合、電子ペン３００がホバリング状態であると判定する。また、情報処理部４５０は撮像画像内にＬＥＤ３１０による別の特定の発光状態（例えば点灯状態）を認識した場合、電子ペン３００が接触状態であると判定する。さらに、情報処理部４５０は電子ペン３００が接触状態であると判定すると、点灯したＬＥＤ３１０の軌跡に応じた画像を生成し、当該画像を表示制御部４３０に出力する。これにより、表示制御部４３０は情報処理部４５０から出力された画像をプロジェクタ１００に投影させることができる。

続いて、上述したサーバ装置４００の動作を説明する。

図６は第１実施形態に係るサーバ装置４００の動作（その１）の一例を示すフローチャートである。図７は第１実施形態に係るサーバ装置４００の動作（その２）の一例を示すフローチャートである。図８は第１実施形態に係るサーバ装置４００の動作（その３）の一例を示すフローチャートである。

まず、図６に示すように、画像読込部４２０はカメラ２００から撮像画像を読み込む（ステップＳ１０１）。画像読込部４２０は読み込んだ撮像画像を時系列に保持する。

ステップＳ１０１の処理が完了すると、次いで、情報処理部４５０はハイライトスポットを抽出する（ステップＳ１０２）。第１実施形態に係るハイライトスポットはＬＥＤ３１０が点灯又は点滅した部分である。より詳しく説明すると、情報処理部４５０は時系列に保持された撮像画像の中から複数（例えば数フレーム分）の撮像画像を画像読込部４２０から順に取得する。情報処理部４５０は取得した複数の撮像画像をそれぞれ所定閾値に基づいて二値化する。具体的には、情報処理部４５０は画素値（例えば８ビット）が所定閾値未満の画素を０（即ち黒色）に変換し、所定閾値以上の画素を２５５（即ち白色）に変換する。後述する第２実施形態及び第３実施形態も同じである。したがって、ＬＥＤ３１０が点灯していれば、点灯した部分が白色で全ての撮像画像内にハイライトスポットして出現する。また、ＬＥＤ３１０が点滅していれば、点灯した部分が白色でいずれかの撮像画像内にハイライトスポットして出現する。例えば、情報処理部４５０は複数の撮像画像を時系列に参照し、同じ部分において白色と黒色が交互に出現していれば、ＬＥＤ３１０が点滅していると判定することができる。

ステップＳ１０２の処理が完了すると、次いで、情報処理部４５０はハイライトスポットがあったか否かを判定する（ステップＳ１０３）。例えば、図９（ａ）に示すように、電子ペン３００の第１磁気スイッチ３２１が磁気シート１１と磁気シート１１からの磁気が届く空間と届かない空間の境を表す磁気境界１２との間に含まれていなければ、第１磁気スイッチ３２１は磁気を検出しないため、ＬＥＤ３１０は点滅しない。また、ＬＥＤ３１０は磁気シート１１にも接触していないため、ＬＥＤ３１０は点灯しない。このような場合、図１０（ａ）に示すように、ＬＥＤ３１０の発光状態が消灯状態であるため、撮像画像内にはハイライトスポットが出現しない。したがって、図６に示すように、情報処理部４５０はハイライトスポットがないと判定し（ステップＳ１０３：ＮＯ）、情報処理部４５０は再びステップＳ１０１の処理を実行する。

一方、例えば、図９（ｂ）に示すように、電子ペン３００の第１磁気スイッチ３２１の一部又は全部が磁気シート１１と磁気境界１２との間に含まれていれば、第１磁気スイッチ３２１は磁気を検出するため、ＬＥＤ３１０は点滅する。しかしながら、ＬＥＤ３１０は磁気シート１１に接触していないため、ＬＥＤ３１０は点灯しない。このような場合、図１０（ｂ）に示すように、ＬＥＤ３１０の発光状態が点滅状態であるため、撮像画像内にはハイライトスポットが出現する。したがって、図６に示すように、情報処理部４５０はハイライトスポットがあると判定し（ステップＳ１０３：ＹＥＳ）、ハイライトスポットの総数Ｎを計数するとともに、ハイライトスポットの数を計数するためのカウント変数ｉに０を設定する（ステップＳ１０４）。尚、情報処理部４５０はハイライトスポットがあると判定した場合、適宜、ハイライトスポットを拡大したり縮小したりした後、ノイズを除去する処理を実行することが望ましい。後述する第２実施形態及び第３実施形態でも同様である。

ステップＳ１０４の処理が完了すると、次いで、情報処理部４５０はハイライトスポットが新規管理対象であるか否かを判定する（ステップＳ１０５）。例えば、情報処理部４５０は管理テーブル記憶部４１０を参照し、抽出したハイライトスポットと同じであると判断できるハイライトスポットが管理テーブルによって管理されていない場合、新規管理対象であると判定する（ステップＳ１０６：ＹＥＳ）。この場合、情報処理部４５０は抽出したハイライトスポットをハイライト情報として管理テーブルに登録する（ステップＳ１０７）。例えば、まず、情報処理部４５０は、図１１（ａ）に示すように、ハイライトスポットを識別するハイライトＩＤ「Ａ００１」を生成する。そして、情報処理部４５０は生成したハイライトＩＤ、ハイライトスポットを抽出した時刻「ｔ１」、撮像画像内におけるハイライトスポットの位置座標「Ｚ１」、ＬＥＤ３１０の発光状態「点滅」を特定する。そして、情報処理部４５０は特定したこれらの内容を含むハイライト情報を管理テーブルに登録する。ステップＳ１０７の処理が完了すると、情報処理部４５０は再びステップＳ１０１の処理を実行する。

一方、例えば、情報処理部４５０は管理テーブル記憶部４１０を参照し、抽出したハイライトスポットと同じであると判断できるハイライトスポットが管理テーブルによって管理されている場合、新規管理対象でないと判定する（ステップＳ１０６：ＮＯ）。例えば、図９（ｂ）に示す点滅状態が継続している場合、撮像画像内には点滅を表すハイライトスポットが既に登録されたハイライトスポットの座標位置と同じ座標位置又はその近くの座標位置に出現する。したがって、情報処理部４５０は抽出したハイライトスポットが新規管理対象でないと判定した場合、図７に示すように、管理テーブルを更新する（ステップＳ１０８）。具体的には、図１１（ｂ）に示すように、情報処理部４５０はハイライトＩＤ「Ａ００１」によって識別されるハイライト情報に、時刻「ｔ２」、位置座標「Ｚ１」、発光状態「点滅」を追加する。

ステップＳ１０８の処理が完了すると、次いで、情報処理部４５０は発光状態を判定する（ステップＳ１０９）。より詳しくは、情報処理部４５０は管理テーブル記憶部４１０を参照し、直近の発光状態が点滅又は点灯のどちらであるかを判定する。ここで、直近の発光状態が点滅である場合（ステップＳ１１０：ＹＥＳ）、情報処理部４５０はホバリングイベントを出力する（ステップＳ１１１）。すなわち、情報処理部４５０はＬＥＤ３１０が点滅状態であると認識した場合、電子ペン３００がホバリング状態であると判定し、送受信部４４０にホバリング状態を表す情報としてホバリングイベントを出力する。そして、送受信部４４０はホバリングイベントを別の情報処理システムに送信する。これにより、情報処理システムＳを利用する利用者と別の情報処理システムを利用する利用者は、電子ペン３００で書込みを行おうとしている状態を互いに確認できる。したがって、情報処理システムＳと別の情報処理システムのそれぞれの設置場所で投影された共有の画像に対して同時に書込みを行うこと（いわゆる書込み衝突）が回避される。

ステップＳ１１１の処理が完了すると、情報処理部４５０はカウント変数ｉをインクリメントし（ステップＳ１１２）、カウント変数ｉが総数Ｎ未満であるか否かを判定する（ステップＳ１１３）。カウント変数ｉが総数Ｎ未満である場合（ステップＳ１１３：ＹＥＳ）、情報処理部４５０はステップＳ１０５の処理を実行する。すなわち、撮像画像内に複数のハイライトスポットが出現する場合、情報処理部４５０は次のハイライトスポットを特定し、ステップＳ１０５からステップＳ１１２までの処理を繰り返す。これにより、情報処理部４５０は、図１１（ｃ）に示すように、新たなハイライトスポットを表すハイライト情報（例えばハイライトＩＤ「Ａ００２」）を管理テーブルに登録したり、既に管理テーブルに登録されたハイライト情報（例えばハイライトＩＤ「Ａ００１」）を更新したりする。

一方で、上述したステップＳ１１０の処理において、直近の発光状態が点灯である場合（ステップＳ１１０：ＮＯ）、情報処理部４５０はタッチイベントを出力する（ステップＳ１１４）。すなわち、図９（ｃ）に示すように、電子ペン３００のＬＥＤ３１０が磁気シート１１に接触して押下スイッチ３４０がオフからオンに切り替わり、ＬＥＤ３１０が点灯すると、図１０（ｃ）に示すように、ＬＥＤ３１０の発光状態は点滅状態から点灯状態に移行する。情報処理部４５０はＬＥＤ３１０が点灯状態であると認識した場合、電子ペン３００が接触状態であると判定し、送受信部４４０に接触状態を表す情報としてタッチイベントを出力する。そして、送受信部４４０はタッチイベントを別の情報処理システムに送信する。ステップＳ１１４の処理が完了すると、情報処理部４５０はステップＳ１１２の処理を実行する。したがって、情報処理部４５０は管理テーブル記憶部４１０を参照して、図１１（ｃ）に示すように、直近の処理時刻に発光状態「点灯」を含むハイライト情報を確認した場合、タッチイベントを出力する。

ステップＳ１１３の処理において、カウント変数ｉが総数Ｎ未満でない場合（ステップＳ１１３：ＮＯ）、図８に示すように、情報処理部４５０は管理テーブルを参照する（ステップＳ１１５）。すなわち、撮像画像内に出現した全てのハイライトスポットに対して上述した各種の処理を終えると、情報処理部４５０は管理テーブルを参照する。ステップＳ１１５の処理が完了すると、次いで、情報処理部４５０は管理対象未更新がある否かを判定する（ステップＳ１１６）。

例えば、利用者が電子ペン３００による書込みを終えて、図９（ｄ）に示すように、電子ペン３００を磁気シート１１上に倒すと、ＬＥＤ３１０は磁気シート１１に接触しないため押下スイッチ３４０は押下されない。したがって、ＬＥＤ３１０は点灯しない。また、電子ペン３００を磁気シート１１上に倒すと、第１磁気スイッチ３２１と第２磁気スイッチ３２２の両方が磁気シート１１の磁気を検出する。第１磁気スイッチ３２１と第２磁気スイッチ３２２の両方が磁気を検出すると、制御回路３３０はＬＥＤ３１０を消灯状態に制御する。例えば、制御回路３３０は押下スイッチ３４０をオフにすることによりＬＥＤ３１０を消灯状態に制御する。尚、制御回路３３０は直接ＬＥＤ３１０を消灯状態に制御してもよい。これにより、図１０（ｄ）に示すように、消灯状態が継続し、撮像画像内にはハイライトスポットが出現しない。これにより、図１２に示すように、管理対象であるハイライト情報の一部（例えばハイライトＩＤ「Ａ００１」）に未更新が残存する。

図８に戻り、管理対象未更新がない場合（ステップＳ１１６：ＮＯ）、画像読込部４２０は、図６に示すステップＳ１０１の処理を実行する。一方、管理対象未更新がある場合（ステップＳ１１６：ＹＥＳ）、情報処理部４５０は管理対象未更新の数を計数するためのカウント変数ｊに０を設定する（ステップＳ１１７）。ステップＳ１１７の処理が完了すると、次いで、情報処理部４５０は管理テーブル記憶部４１０を参照し、管理対象が更新されていないハイライト情報の直前の発光状態を確認する（ステップＳ１１８）。ステップＳ１１８の処理が完了すると、次いで、情報処理部４５０は、発光状態が点灯であるか否かを判定する（ステップＳ１１９）。

発光状態が点灯でない場合（ステップＳ１１９：ＮＯ）、ｊ番目の管理対象を削除する（ステップＳ１２０）。すなわち、電子ペン３００により書込みを終えた後、ホバリング状態に移行し、電子ペン３００を磁気シート１１上に倒して一定の時間が経過すると、ＬＥＤ３１０は消灯する。したがって、ハイライト情報は更新されない。このような場合、情報処理部４５０は管理テーブルから管理対象を削除する。これにより、情報処理部４５０によるハイライト情報の管理負担が低減する。

一方、発光状態が点灯である場合（ステップＳ１１９：ＹＥＳ）、ｊ番目の管理対象の状態を更新する（ステップＳ１２１）。すなわち、利用者は電子ペン３００を利用して書込みを行うと想定されるため、情報処理部４５０は更新されてない管理対象の状態を更新する。例えば、情報処理部４５０は更新されてない管理対象の発光状態を点灯として更新する。情報処理部４５０はステップＳ１２０又はステップＳ１２１の処理が完了すると、カウント変数ｊをインクリメントする（ステップＳ１２２）。ステップＳ１２２の処理が完了すると、次いで、情報処理部４５０はカウント変数ｊが管理対象未更新の総数Ｍ未満であるか否かを判定する（ステップＳ１２３）。カウント変数ｊが管理対象未更新の総数Ｍ未満である場合（ステップＳ１２３：ＹＥＳ）、情報処理部４５０は次の管理対象未更新を特定し、ステップＳ１１８からＳ１２２の処理を繰り返す。一方、カウント変数ｊが管理対象未更新の総数Ｍ未満でない場合（ステップＳ１２３：ＮＯ）、情報処理部４５０はステップＳ１０１の処理を実行する。

以上、第１実施形態によれば、情報処理システムＳはカメラ２００と電子ペン３００とサーバ装置４００とを備えている。カメラ２００は磁気シート１１を撮像する。電子ペン３００はＬＥＤ３１０と、第１磁気スイッチ３２１及び第２磁気スイッチ３２２と、制御回路３３０を含んでいる。ここで、第１磁気スイッチ３２１及び第２磁気スイッチ３２２はそれぞれ磁気を検出し、制御回路３３０は第１磁気スイッチ３２１及び第２磁気スイッチ３２２による磁気シート１１からの磁気の検出状況に応じて、ＬＥＤ３１０の発光状態を制御する。サーバ装置４００は、カメラ２００による撮像画像内にＬＥＤ３１０による特定の発光状態（例えば点滅）を認識した場合、電子ペン３００がホバリング状態であると判定する。これにより、ホバリングの検出精度を向上することができる。

特に、図１３（ａ）に示すように、電子ペン３００が磁気シート１１上に倒れている場合、既に説明したように、ＬＥＤ３１０は消灯するため、情報処理部４５０はホバリング状態でないと判定する。また、図１３（ｂ）に示すように、例えば、ＬＥＤ３１０が設けられた先端と逆側の先端が磁気シート１１に接触又は非接触の状態である場合、第１磁気スイッチ３２１が磁気を検出できなければ、ＬＥＤ３１０は点滅せずに消灯する。したがって、情報処理部４５０はホバリング状態でないと判定する。さらに、図１３（ｃ）に示すように、磁気シート１１上に電子ペン３００が存在しなければ、第１磁気スイッチ３２１は磁気を検出できず、ＬＥＤ３１０は消灯する。したがって、情報処理部４５０はホバリング状態でないと判定する。すなわち、第１磁気スイッチ３２１が磁気を検出してＬＥＤ３１０が点滅した状態を情報処理部４５０が確認できた場合に、電子ペン３００がホバリング状態であると特定することができる。

（第２実施形態）
次に、本件の第２実施形態について説明する。
図１４は第２実施形態に係る電子ペン３００の構成を説明する図である。尚、図２に示す電子ペン３００の各部と同様の構成には同一符号を付し、その説明を省略する。

第２実施形態に係る電子ペン３００はＬＥＤ３１１をさらに備える点で第１実施形態に係る電子ペン３００と相違する。ＬＥＤ３１１は電子ペン３００の他方の先端（例えば非描画側の先端）に設けられている。言い換えれば、ＬＥＤ３１１はＬＥＤ３１０と異なる先端に設けられている。以下、第２実施形態では、ＬＥＤ３１０を第１ＬＥＤ３１０と呼び、ＬＥＤ３１１を第２ＬＥＤ３１１と呼ぶ。第２ＬＥＤ３１１の発光状態は制御回路３３０によって制御される。例えば、第１磁気スイッチ３２１が磁気を検出すると、制御回路３３０は第２ＬＥＤ３１１の発光状態を点滅状態に制御する。

図１５は第２実施形態に係るサーバ装置４００の動作（その１）の一例である。図１６（ａ）は第２実施形態に係るサーバ装置４００の動作（その２）の一例である。図１６（ｂ）は第２実施形態に係るサーバ装置４００の動作（その３）の一例である。

まず、図１５に示すように、画像読込部４２０はカメラ２００から撮像画像を読み込む（ステップＳ２０１）。画像読込部４２０は読み込んだ撮像画像を時系列に保持する。

ステップＳ２０１の処理が完了すると、次いで、情報処理部４５０はハイライトスポットを抽出する（ステップＳ２０２）。第２実施形態に係るハイライトスポットは第２ＬＥＤ３１１が点滅した部分又は第１ＬＥＤ３１０が点灯した部分である。より詳しく説明すると、情報処理部４５０は時系列に保持された撮像画像の中から複数（例えば数フレーム分）の撮像画像を画像読込部４２０から順に取得する。情報処理部４５０は取得した複数の撮像画像をそれぞれ所定閾値に基づいて二値化する。したがって、第２ＬＥＤ３１１が点滅していれば、点灯した部分が白色でいずれかの撮像画像内にハイライトスポットして出現する。例えば、情報処理部４５０は複数の撮像画像を時系列に参照し、同じ部分において白色と黒色が交互に出現していれば、第２ＬＥＤ３１１が点滅したと判定する。

ステップＳ２０２の処理が完了すると、次いで、情報処理部４５０はハイライトスポットがあったか否かを判定する（ステップＳ２０３）。例えば、図１７（ａ）に示すように、電子ペン３００の第１磁気スイッチ３２１が磁気シート１１と磁気境界１２との間に含まれていなければ、第１磁気スイッチ３２１は磁気を検出しないため、第２ＬＥＤ３１１は点滅しない。また、第１ＬＥＤ３１０は磁気シート１１にも接触していないため、第１ＬＥＤ３１０は点灯しない。このような場合、図１８（ａ）及び図１９（ａ）に示すように、第２ＬＥＤ３１１の発光状態も第１ＬＥＤ３１０の発光状態も消灯状態であるため、撮像画像内にはハイライトスポットが出現しない。したがって、図１５に示すように、情報処理部４５０はハイライトスポットがないと判定し（ステップＳ２０３：ＮＯ）、情報処理部４５０は再びステップＳ２０１の処理を実行する。

一方、例えば、図１７（ｂ）に示すように、電子ペン３００の第１磁気スイッチ３２１の一部又は全部が磁気シート１１と磁気境界１２との間に含まれていれば、第１磁気スイッチ３２１は磁気を検出するため、第２ＬＥＤ３１１は点滅する。しかしながら、第１ＬＥＤ３１０は磁気シート１１に接触していないため、第１ＬＥＤ３１０は点灯しない。このような場合、図１８（ｂ）に示すように、第２ＬＥＤ３１１の発光状態が点滅状態であるため、撮像画像内には第２ＬＥＤ３１１の点滅状態を表すハイライトスポットが出現する。一方、図１９（ｂ）に示すように、第１ＬＥＤ３１０の発光状態が消灯状態であるため、撮像画像内には第１ＬＥＤ３１０のハイライトスポットは出現しない。このような場合、情報処理部４５０はハイライトスポットがあると判定し（ステップＳ２０３：ＹＥＳ）、ハイライトスポットの総数Ｎを計数するとともに、ハイライトスポットの数を計数するためのカウント変数ｉに０を設定する（ステップＳ２０４）。

ステップＳ２０４の処理が完了すると、次いで、情報処理部４５０はｉ番目のハイライトスポットを後続の処理対象に設定する（ステップＳ２０５）。ステップＳ２０５の処理が完了すると、次いで、情報処理部４５０は処理対象に設定したハイライトスポットが点滅に基づくハイライトスポットであるか否かを判定する（ステップＳ２０６）。

点滅に基づくハイライトスポットである場合（ステップＳ２０６：ＹＥＳ）、情報処理部４５０は管理テーブルを検索する（ステップＳ２０７）。ステップＳ２０７の処理が完了すると、次いで、情報処理部４５０はその点滅に基づくハイライトスポットが管理テーブルに既に登録されているか否かを判定する（ステップＳ２０８）。点滅に基づくハイライトスポットが登録されていない場合（ステップＳ２０８：ＮＯ）、図１６（ａ）に示すように、情報処理部４５０は処理対象に設定したハイライトスポットを表すハイライト情報を管理テーブルに登録する（ステップＳ２０９）。特に、情報処理部４５０は、図２０に示すように、第２ＬＥＤ３１１が点滅しており、第１ＬＥＤが消灯していることを表す第１発光状態と処理対象に設定したハイライトスポットの位置座標を管理テーブルに登録する。第１発光状態により電子ペン３００がホバリング状態であることが特定される。したがって、ハイライトスポットの位置座標によりホバリング状態にある電子ペン３００の位置座標が特定される。

尚、図１５に示すステップＳ２０８の処理において、点滅に基づくハイライトスポットが登録されている場合（ステップＳ２０８：ＹＥＳ）、情報処理部４５０は、図１６（ａ）に示すステップＳ２０９の処理をスキップする。すなわち、図２０に示すように、第１発光状態が維持されるため、電子ペン３００がホバリング中であると特定できる。

ステップＳ２０９の処理が完了した場合、又は、ステップＳ２０９の処理がスキップされた場合、情報処理部４５０はカウント変数ｉをインクリメントし（ステップＳ２１０）、カウント変数ｉが総数Ｎ未満であるか否かを判定する（ステップＳ２１１）。カウント変数ｉが総数Ｎ未満である場合（ステップＳ２１１：ＹＥＳ）、情報処理部４５０はステップＳ２０５の処理を実行する。すなわち、撮像画像内に複数のハイライトスポットが出現する場合、情報処理部４５０は次のハイライトスポットを特定し、ステップＳ２０５からステップＳ２１０までの処理を繰り返す。カウント変数ｉが総数Ｎ未満でない場合（ステップＳ２１１：ＮＯ）、情報処理部４５０はステップＳ２０１の処理を実行する。

一方、図１５に示すステップＳ２０６の処理において、点滅に基づくハイライトスポットでない場合（ステップＳ２０６：ＮＯ）、図１６（ｂ）に示すように、情報処理部４５０は管理テーブルを検索する（ステップＳ２１２）。言い換えれば、点灯に基づくハイライトスポットである場合、情報処理部４５０は管理テーブルを検索する。ステップＳ２１２の処理が完了すると、次いで、情報処理部４５０は近辺に点滅があるか否かを判定する（ステップＳ２１３）。より詳しくは、情報処理部４５０は点灯に基づくハイライトスポットの近辺に点滅に基づくハイライトスポットが存在するか否かを判定する。

例えば、図１７（ｃ）に示すように、電子ペン３００の第１ＬＥＤ３１０が磁気シート１１に接触して押下スイッチ３４０がオフからオンに切り替わり、第１ＬＥＤ３１０が点灯すると、図１９（ｃ）に示すように、第１ＬＥＤ３１０の発光状態は消灯状態から点灯状態に移行する。一方、図１７（ｃ）に示すように、第２ＬＥＤ３１１は第１ＬＥＤ３１０が磁気シート１１に接触したか否かに関わらず第１磁気スイッチ３２１が磁気を検出すれば点滅するため、図１８（ｃ）に示すように、第２ＬＥＤ３１１は点滅状態を維持する。

したがって、撮像画像内では第１ＬＥＤ３１０の点灯に基づくハイライトスポットと第２ＬＥＤ３１１の点滅に基づくハイライトスポットが出現する。特に、電子ペン３００により書込みが行われている場合、電子ペン３００の姿勢は磁気シート１１に対して垂直方向側に傾いている。このため、２つのハイライトスポットは撮像画像内で近接又は一部が重畳する。情報処理部４５０は管理テーブルを検索して、２つのハイライトスポットが撮像画像内で近接又は一部が重畳すると特定できる２つの位置座標を検出した場合、近辺に点滅があると判断する（ステップＳ２１３：ＹＥＳ）。尚、近接しているか否かは所定の閾値を利用して判定すればよい。

情報処理部４５０は、近辺に点滅があると判断した場合、処理対象に設定したハイライトスポットを接触状態に更新する（ステップＳ２１４）。すなわち、情報処理部４５０は、図２０に示すように、第１発光状態を、第２ＬＥＤ３１１が点滅しており、第１ＬＥＤが点灯していることを表す第２発光状態に更新する。したがって、第２発光状態により電子ペン３００が接触状態であることを特定することができる。尚、図２０に示すように、第２発光状態が維持されていれば、電子ペン３００が磁気シート１１に接触中であると特定できる。一方、電子ペン３００が磁気シート１１から離れて非接触になると、第１発光状態に移行し、電子ペン３００がホバリング中であると特定できる。ステップＳ２１４の処理が完了すると、情報処理部４５０は、図１６（ａ）に示すステップＳ２１０の処理を実行する。

一方、情報処理部４５０は、近辺に点滅がないと判断した場合（ステップＳ２１３：ＮＯ）、処理対象に設定したハイライトスポットを接触状態で登録する（ステップＳ２１５）。より詳しくは、情報処理部４５０は、処理対象に設定したハイライトスポットを表すハイライト情報を管理テーブルに登録して、第２発光状態に設定する。併せて、情報処理部４５０は、電子ペン３００が接触した位置座標を更新するとともに、ホバリングの位置座標を新たに登録する。情報処理部４５０は、ステップＳ２１５の処理を終えると、図１６（ａ）に示すステップＳ２１０の処理を実行する。

尚、利用者が電子ペン３００による書込みを終えて、図１７（ｄ）に示すように、電子ペン３００を磁気シート１１上に倒すと、第１ＬＥＤ３１０は磁気シート１１に接触しないため押下スイッチ３４０は押下されない。したがって、第１ＬＥＤ３１０は点灯しない。また、電子ペン３００を磁気シート１１上に倒すと、第１磁気スイッチ３２１と第２磁気スイッチ３２２の両方が磁気シート１１の磁気を検出する。第１磁気スイッチ３２１と第２磁気スイッチ３２２の両方が磁気を検出すると、制御回路３３０はＬＥＤ３１０を消灯状態に制御する。これにより、図１８（ｄ）及び図１９（ｄ）に示すように、第１ＬＥＤ３１０及び第２ＬＥＤ３１１の消灯状態が継続し、撮像画像内にはハイライトスポットが出現しない。

以上、第２実施形態によれば、第２ＬＥＤ３１１の点滅に基づくハイライトスポットの近辺に第１ＬＥＤ３１０の点灯に基づくハイライトスポットが出現すれば、電子ペン３００の第１ＬＥＤ３１０が磁気シート１１に接触したと判定することができる。すなわち、２つのハイライトスポットが出現した時点で第１ＬＥＤ３１０が磁気シート１１に接触したと判定することができる。

一方、第１実施形態では第１ＬＥＤ３１０が点滅から点灯に移行すれば、電子ペン３００の第１ＬＥＤ３１０が磁気シート１１に接触したと判定することができる。すなわち、点滅に基づくハイライトスポットが出現し、その後、そのハイライトスポットが点灯に切り替わった時点で第１ＬＥＤ３１０が磁気シート１１に接触したと判定することができる。このように、第２実施形態によれば、ホバリングの検出精度を向上できるだけでなく、第１実施形態に比べて、第１ＬＥＤ３１０の磁気シート１１への接触を速やかに判定することができる。

（第３実施形態）
次に、本件の第３実施形態について説明する。
図２１は第３実施形態に係る電子ペン３００の構成を説明する図である。尚、図２に示す電子ペン３００の各部と同様の構成には同一符号を付し、その説明を省略する。

第３実施形態に係る電子ペン３００は押下スイッチ３４０を備えていな点で第１実施形態に係る電子ペン３００と相違する。したがって、ＬＥＤ３１０の発光状態は制御回路３３０によって直接制御される。例えば、第１磁気スイッチ３２１が磁気を検出すると、制御回路３３０はＬＥＤ３１０の発光状態を点灯状態に制御する。

図２２は第３実施形態に係るサーバ装置４００の動作の一例である。まず、図２２に示すように、画像読込部４２０はカメラ２００から撮像画像を読み込む（ステップＳ３０１）。画像読込部４２０は読み込んだ撮像画像を時系列に保持する。

ステップＳ３０１の処理が完了すると、次いで、情報処理部４５０はハイライトスポットを抽出する（ステップＳ３０２）。第３実施形態に係るハイライトスポットはＬＥＤ３１０が点灯した部分である。より詳しく説明すると、情報処理部４５０は時系列に保持された撮像画像の中から撮像画像を１つずつ画像読込部４２０から取得する。情報処理部４５０は取得した１つの撮像画像を所定閾値に基づいて二値化する。したがって、ＬＥＤ３１０が点灯していれば、点灯した部分が白色で撮像画像内にハイライトスポットして出現する。

ステップＳ３０２の処理が完了すると、次いで、情報処理部４５０はハイライトスポットがあったか否かを判定する（ステップＳ３０３）。例えば、図２３（ａ）に示すように、電子ペン３００の第１磁気スイッチ３２１が磁気シート１１と磁気境界１２との間に含まれていなければ、第１磁気スイッチ３２１は磁気を検出しないため、ＬＥＤ３１０は点灯しない。また、第３実施形態に係る電子ペン３００は押下スイッチ３４０を備えていないため、ＬＥＤ３１０が磁気シート１１に接触しても、ＬＥＤ３１０は点灯しない。したがって、図２４（ａ）に示すように、ＬＥＤ３１０の発光状態が消灯状態であるため、撮像画像内にはハイライトスポットが出現しない。したがって、情報処理部４５０はハイライトスポットがないと判定し（ステップＳ３０３：ＮＯ）、情報処理部４５０は再びステップＳ３０１の処理を実行する。

一方、例えば、図２３（ｂ）及び図２３（ｃ）に示すように、電子ペン３００の第１磁気スイッチ３２１の一部又は全部が磁気シート１１と磁気境界１２との間に含まれていれば、第１磁気スイッチ３２１は磁気を検出するため、ＬＥＤ３１０は点灯する。このような場合、図２４（ｂ）及び図２４（ｃ）に示すように、ＬＥＤ３１０の発光状態が点灯状態であるため、撮像画像内にはＬＥＤ３１０の点灯状態を表すハイライトスポットが出現する。したがって、情報処理部４５０はハイライトスポットがあると判定し（ステップＳ３０３：ＹＥＳ）、ハイライトスポットの総数Ｎを計数するとともに、ハイライトスポットの数を計数するためのカウント変数ｉに０を設定する（ステップＳ３０４）。

ステップＳ３０４の処理が完了すると、次いで、情報処理部４５０はｉ番目のハイライトスポットを後続の処理対象に設定する（ステップＳ３０５）。ステップＳ３０５の処理が完了すると、次いで、情報処理部４５０は処理対象に設定したハイライトスポットの照射範囲が所定の閾値より大きいか否かを判定する（ステップＳ３０６）。

例えば、図２３（ｂ）に示すように、ＬＥＤ３１０が磁気シート１１に接触していない場合、ＬＥＤ３１０の点灯に基づく磁気シート１１の照射範囲は、図２３（ｃ）に示すように、ＬＥＤ３１０が磁気シート１１に接触している場合に比べて、大きくなる。したがって、情報処理部４５０はハイライトスポットの照射範囲が所定の閾値より大きければ、電子ペン３００がホバリング状態であると特定することができる。一方、情報処理部４５０はハイライトスポットの照射範囲が所定の閾値以下であれば、電子ペン３００が接触状態であると特定することができる。尚、所定の閾値としては、例えばＬＥＤ３１０が磁気シート１１に接触している場合における、ＬＥＤ３１０の点灯に基づく磁気シート１１の照射範囲を採用することができる。

処理対象に設定したハイライトスポットの照射範囲が所定の閾値より大きい場合（ステップＳ３０６：ＹＥＳ）、情報処理部４５０はホバリングイベントを出力する（ステップＳ３０７）。すなわち、情報処理部４５０は送受信部４４０にホバリング状態を表す情報としてホバリングイベントを出力する。一方、処理対象に設定したハイライトスポットの照射範囲が所定の閾値以下である場合（ステップＳ３０６：ＮＯ）、情報処理部４５０はタッチイベントを出力する（ステップＳ３０８）。すなわち、情報処理部４５０は送受信部４４０に接触状態を表す情報としてタッチイベントを出力する。

ステップＳ３０７又はステップＳ３０８の処理が完了した場合、情報処理部４５０はカウント変数ｉをインクリメントし（ステップＳ３０９）、カウント変数ｉが総数Ｎ未満であるか否かを判定する（ステップＳ３１０）。カウント変数ｉが総数Ｎ未満である場合（ステップＳ３１０：ＹＥＳ）、情報処理部４５０はステップＳ３０５の処理を実行する。すなわち、撮像画像内に複数のハイライトスポットが出現する場合、情報処理部４５０は次のハイライトスポットを特定し、ステップＳ３０５からステップＳ３０９までの処理を繰り返す。カウント変数ｉが総数Ｎ未満でない場合（ステップＳ３１０：ＮＯ）、情報処理部４５０は再びステップＳ３０１の処理を実行する。

尚、利用者が電子ペン３００による書込みを終えて、図２３（ｄ）に示すように、電子ペン３００を磁気シート１１上に倒すと、第１磁気スイッチ３２１と第２磁気スイッチ３２２の両方が磁気シート１１の磁気を検出する。第１磁気スイッチ３２１と第２磁気スイッチ３２２の両方が磁気を検出すると、制御回路３３０はＬＥＤ３１０を消灯状態に制御する。これにより、図２４（ｄ）に示すように、消灯状態が継続し、撮像画像内にはハイライトスポットが出現しない。

以上、第３実施形態によれば、ホバリングの検出精度を向上できるだけでなく、押下スイッチ３４０を利用していないため、電子ペン３００の構成を簡素化することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）磁気を帯びた所定の領域を撮像する撮像装置と、第１の発光体、それぞれ磁気を検出する第１及び第２のセンサ、及び、前記第１及び第２のセンサによる前記領域からの磁気の検出状況に応じて、前記第１の発光体の発光状態を制御する制御回路を含む光学装置と、前記撮像装置と接続されたコンピュータと、を利用する情報処理方法であって、前記コンピュータは、前記撮像装置による撮像画像内における前記第１の発光体の発光状態に応じて、前記光学装置がホバリング状態であるか否か判定する、処理を実行する情報処理方法。
（付記２）前記処理は、前記第１の発光体が第１の発光状態であると認識した場合、前記光学装置がホバリング状態であると判定する、ことを特徴とする付記１に記載の情報処理方法。
（付記３）前記光学装置は第２の発光体を含み、前記制御回路は前記第２の発光体の発光状態を制御し、前記処理は、前記撮像画像内の所定範囲内に前記第１の発光体による第１の発光状態と前記第２の発光体による第２の発光状態の両方を認識した場合、前記光学装置が前記領域に接触した状態であると判定する、ことを特徴とする付記１又は２に記載の情報処理方法。
（付記４）前記処理は、前記撮像装置による撮像画像内に前記第１の発光体による第２の発光状態を認識した場合、認識した前記第２の発光状態の大きさを確認し、確認した大きさが所定の大きさより大きい場合、前記光学装置がホバリング状態であると判定する、ことを特徴とする付記１又は２に記載の情報処理方法。
（付記５）前記処理は、前記撮像装置による撮像画像内に前記第１の発光体による第２の発光状態を認識した場合、認識した前記第２の発光状態の大きさを確認し、確認した大きさが所定の大きさ以下である場合、前記光学装置が前記領域に接触した状態であると判定する、ことを特徴とする付記１、２又は４に記載の情報処理方法。
（付記６）前記制御回路は、前記第１及び第２のセンサの両方が前記領域からの磁気を検出した場合、前記第１の発光体を消灯する、ことを特徴とする付記１から５のいずれか１項に記載の情報処理方法。
（付記７）磁気を帯びた所定の領域を撮像する撮像装置と、第１の発光体、それぞれ磁気を検出する第１及び第２のセンサ、及び、前記第１及び第２のセンサによる前記領域からの磁気の検出状況に応じて、前記第１の発光体の発光状態を制御する制御回路を含む光学装置と、前記撮像装置による撮像画像内に前記第１の発光体による特定の発光状態を認識した場合、前記光学装置がホバリング状態であると判定する処理装置と、を有する情報処理システム。
（付記８）前記処理装置は、前記第１の発光体が第１の発光状態であると認識した場合、前記光学装置がホバリング状態であると判定する、ことを特徴とする付記７に記載の情報処理システム。
（付記９）前記光学装置は第２の発光体を含み、前記制御回路は前記第２の発光体の発光状態を制御し、前記処理装置は、前記撮像画像内の所定範囲内に前記第１の発光体による第１の発光状態と前記第２の発光体による第２の発光状態の両方を認識した場合、前記光学装置が前記領域に接触した状態であると判定する、ことを特徴とする付記７又は８に記載の情報処理システム。
（付記１０）前記処理装置は、前記撮像装置による撮像画像内に前記第１の発光体による第２の発光状態を認識した場合、認識した前記第２の発光状態の大きさを確認し、確認した大きさが所定の大きさ以上である場合、前記光学装置がホバリング状態であると判定する、ことを特徴とする付記７又は８に記載の情報処理システム。
（付記１１）前記処理装置は、前記撮像装置による撮像画像内に前記第１の発光体による第２の発光状態を認識した場合、認識した前記第２の発光状態の大きさを確認し、確認した大きさが所定の大きさ未満である場合、前記光学装置が前記領域に接触した状態であると判定する、ことを特徴とする付記７、８又は１０に記載の情報処理システム。
（付記１２）前記制御回路は、前記第１及び第２のセンサの両方が前記領域からの磁気を検出した場合、前記第１の発光体を消灯する、ことを特徴とする付記７から１１のいずれか１項に記載の情報処理システム。
（付記１３）発光体と、それぞれ磁気を検出する第１及び第２のセンサと、前記第１及び第２のセンサによる磁気を帯びた所定の領域からの磁気の検出状況に応じて、前記発光体の発光状態を制御する制御回路と、を備える光学装置。

Ｓ 情報処理システム
１００ プロジェクタ
２００ カメラ
３００ 電子ペン
３１０，３１１ ＬＥＤ
３２１ 第１磁気スイッチ
３２２ 第２磁気スイッチ
３３０ 制御回路
３４０ 押下スイッチ
４００ サーバ装置
４１０ 管理テーブル記憶部
４２０ 画像読込部
４３０ 表示制御部
４４０ 送受信部
４５０ 情報処理部

Claims (8)

1. 磁気を帯びた所定の領域を撮像する撮像装置と、
   第１の発光体、それぞれ磁気を検出する第１及び第２のセンサ、及び、前記第１及び第２のセンサによる前記領域からの磁気の検出状況に応じて、前記第１の発光体の発光状態を制御する制御回路を含む光学装置と、
   前記撮像装置と接続されたコンピュータと、を利用する情報処理方法であって、
   前記コンピュータは、
   前記撮像装置による撮像画像内における前記第１の発光体の発光状態に応じて、前記光学装置がホバリング状態であるか否か判定する、
   処理を実行する情報処理方法。
2. 前記処理は、前記第１の発光体が第１の発光状態であると認識した場合、前記光学装置がホバリング状態であると判定する、
   ことを特徴とする請求項１に記載の情報処理方法。
3. 前記光学装置は第２の発光体を含み、前記制御回路は前記第２の発光体の発光状態を制御し、
   前記処理は、前記撮像画像内の所定範囲内に前記第１の発光体による第１の発光状態と前記第２の発光体による第２の発光状態の両方を認識した場合、前記光学装置が前記領域に接触した状態であると判定する、
   ことを特徴とする請求項１又は２に記載の情報処理方法。
4. 前記処理は、前記撮像装置による撮像画像内に前記第１の発光体による第２の発光状態を認識した場合、認識した前記第２の発光状態の大きさを確認し、確認した大きさが所定の大きさより大きい場合、前記光学装置がホバリング状態であると判定する、
   ことを特徴とする請求項１又は２に記載の情報処理方法。
5. 前記処理は、前記撮像装置による撮像画像内に前記第１の発光体による第２の発光状態を認識した場合、認識した前記第２の発光状態の大きさを確認し、確認した大きさが所定の大きさ以下である場合、前記光学装置が前記領域に接触した状態であると判定する、
   ことを特徴とする請求項１、２又は４に記載の情報処理方法。
6. 前記制御回路は、前記第１及び第２のセンサの両方が前記領域からの磁気を検出した場合、前記第１の発光体を消灯する、
   ことを特徴とする請求項１から５のいずれか１項に記載の情報処理方法。
7. 磁気を帯びた所定の領域を撮像する撮像装置と、
   発光体、それぞれ磁気を検出する第１及び第２のセンサ、及び、前記第１及び第２のセンサによる前記領域からの磁気の検出状況に応じて、前記発光体の発光状態を制御する制御回路を含む光学装置と、
   前記撮像装置による撮像画像内に前記発光体による特定の発光状態を認識した場合、前記光学装置がホバリング状態であると判定する処理装置と、
   を有する情報処理システム。
8. 発光体と、
   それぞれ磁気を検出する第１及び第２のセンサと、
   前記第１及び第２のセンサによる磁気を帯びた所定の領域からの磁気の検出状況に応じて、前記発光体の発光状態を制御する制御回路と、
   を備える光学装置。

Images