JP4785760B2 - 普通教室提示システム及びホワイトボード上での操作によりコンピュータに対してコマンドを与える方法並びにプログラム - Google Patents

Description

この発明は、普通教室提示システム及びホワイトボード（あるいは黒板、又はこれらに相当するボードや板。以下同じ）上での操作によりコンピュータに対してコマンドを与える方法並びにプログラムに関する。本発明は、学校の普通教室でのＩＣＴ（Information and Communication Technology）利用を想定し、利用者が直感的に操作・運用ができるようにボード上に操作ボタンを割り当てるとともに、授業や板書の記録・再生を可能にすることで、普通教室におけるICT利活用の促進をはかるものである。

教育の情報化により校内LAN環境の整備はますます加速し、普通教室でのICTの利活用は促進していく状況にある。普通教室でのICT利活用シーンとしては、コンテンツの提示や先生によるマーキング操作等、コンピュータの提示が主な利用シーンである。

例えば、パソコン（コンピュータ）、プロジェクタ及びスクリーンからなるシステムを用意し、パソコンの画面をプロジェクタでスクリーンに投影してそれに説明を加えるといったことが行われている。投影用のスクリーンとしてホワイトボードを用いることがあるが、投影された画面に重ねて又は画面とは別にマーカー等で文字や図形を書き込むことができ、便利である。このような利用シーンにおいては、利用者（先生）はホワイトボードの近くにいて、板書したり説明を行ったりするので、上記システムは次のような機能を備えると便利である。
（１）板書の内容（マーカー等で描かれた文字や図形）をパソコンに取り込む機能
（２）ホワイトボード上での操作によりパソコンに対してコマンドを与え、所定の動作を行わせる機能

上記（１）及び（２）を実行可能なシステムが知られている。公知の座標読取装置をホワイトボードに取り付け、超音波や赤外線の発信機能を備える公知のマーカーで板書することでその位置を座標読取装置で検知し、その位置及び軌跡をパソコンに取り込ませることができる。ホワイトボードに投影されている画像がパソコンのデスクトップ画面であれば、そこに示されたボタン（「スタート」ボタンなど）を上記マーカーでクリックすることで、当該ボタンに対応付けられた所定の動作を実行させることができる。

他に、電子黒板やスクリーンでの操作により所定の動作を行わせる技術を開示するものとして、以下の２つの先行技術がある。
特開平５−６３８７２号公報 電子黒板の板面上に操作スイッチに相当する領域を設け、ここを筆記用具でチェックすることで当該操作スイッチをオンにする。 特開２００２−２６８６１７号公報 大型スクリーンの周囲に操作スイッチを設けたもの。

上記（２）の機能に関して、座標読取装置を備えるシステムによれば、投影されているパソコンの画面に表示されているボタンを操作可能であるが、表示されていないボタンの機能（コマンド）を実行させることはできない。

投影されているパソコンの画面によらず、予め定めたコマンドを実行させるためには、当該コマンドに関連づけたスイッチをホワイトボードに設ければよい（特許文献１及び２参照）。しかし、そのようなやり方では通常のホワイトボードを使用することはできない。さらに、スイッチを設けた特殊なホワイトボードをパソコンに接続するケーブルが必要であり、システムのセットアップが煩雑になる。

本発明は上記課題を解決することを目的としてなされたもので、通常のホワイトボードを使用しつつ、投影されているパソコンの画面に依存することなく所望のコマンドをパソコンに実行させることのできる普通教室提示システム及びホワイトボード上での操作によりコンピュータに対してコマンドを与える方法並びにプログラムを提供することを目的とする。すなわち、本発明は、普通教室でのICT利用を想定し、利用者が直感的に操作・運用ができるように操作ボタンを割り当てることにより、普通教室におけるICT利活用の促進をはかるものである。

この発明に係る普通教室提示システムは、スクリーンを兼ねる筆記可能なボードと、処理部と、前記処理部に接続され前記処理部で生成された画像を前記ボードに投影する投影装置と、前記ボード上に筆記し又は投影された画像に対して操作を行うための筆記具兼操作部と、前記ボードに取り付けられ、前記筆記具兼操作部から発信された信号に基づき、前記ボード上に筆記された絵や文字を前記処理部に取り込むとともに投影された画像に対する操作を検知する座標読取装置と、前記ボード上に設けられるひとつ又は複数の操作シート器とを備え、
前記操作シート器の形状は矩形又は多角形であり、その表面の一部又は全部は、前記処理部に対する操作を行うためのボタンの領域として用いられ、
前記処理部は、前記操作シート器の対角線又は少なくともひとつの辺に関する２点の情報と、前記操作シート器に設けられた前記ボタンの位置の情報と、前記ボタンに対応づけられたコマンドの情報を含む操作シート器ボタン属性表を予め記憶しており、
（ａ）前記座標読取装置により前記筆記具兼操作部で示された前記操作シート器の対角線又は少なくともひとつの辺に関する２点の座標を取得するステップと、
（ｂ）取得した座標から前記ボード上における対角線又は少なくともひとつの辺の傾きを求めるステップと、
（ｃ）前記操作シート器ボタン属性表から対角線又は少なくともひとつの辺に関する２点の座標を読み出すステップと、
（ｄ）読み出した座標から予め定められた正規化位置の対角線又は少なくともひとつの辺の傾きを求めるステップと、
（ｅ）前記ボード上における対角線又は少なくともひとつの辺の傾きを前記正規化位置の対角線又は少なくともひとつの辺の傾きと比較することにより、前記ボード上の前記操作シート器の座標を前記正規化位置の座標に変換するための正規化回転角を算出するステップと、を含む前記操作シート器に関するキャリブレーション処理を実行し、
（Ａ）前記座標読取装置により前記筆記具兼操作部で示された座標を取得するステップと、
（Ｂ）取得した前記座標を前記正規化回転角に基づき回転するステップと、
（Ｃ）前記操作シート器ボタン属性表を参照して回転された座標に対応する前記ボタンを抽出するステップと、
（Ｄ）抽出された前記ボタンに対応付けられたコマンドを実行するステップと、を含む前記操作シート器に関する変換処理及びコマンド実行処理を実行する、ことを特徴とするものである。

前記投影装置により前記ボード上に投影される前記処理部の画像は、前記ボードよりも小さく、前記座標読取装置による前記筆記具兼操作部の座標を読み取り可能な範囲は、前記投影装置により前記ボード上に投影される前記処理部の画像よりも広く、少なくとも前記操作シート器の部分を含む。

さらに、前記処理部は、対角線又は少なくともひとつの辺の長さが互いに異なる複数の前記操作シート器に対応する複数の前記操作シート器ボタン属性表を予め記憶し、複数の前記操作シート器ボタン属性表には、それぞれ複数の前記操作シート器の対角線又は少なくともひとつの辺の長さが予め記憶され、
前記（ａ）のステップで取得された座標から前記操作シート器の対角線又は少なくともひとつの辺の長さを求め、それを複数の前記操作シート器ボタン属性表の対角線又は少なくともひとつの辺の長さと比較することにより、使用する操作シート器ボタン属性表を決定する、ようにしてもよい。

さらに、前記処理部に接続されるＲＦＩＤ（Radio Frequency Identification）読取装置を備え、
前記操作シート器には、固有の識別情報が予め書き込まれたＲＦＩＤが設けられ、
前記処理部は、複数の前記操作シート器に対応する複数の前記操作シート器ボタン属性表を予め記憶し、複数の前記操作シート器ボタン属性表には、それぞれ前記識別情報が予め記憶され、
前記キャリブレーション処理を実行する際に、前記ＲＦＩＤ読取装置で前記ＲＦＩＤから情報を読み取り、読み取った情報を複数の前記操作シート器ボタン属性表の前記識別情報と比較することにより、使用する操作シート器ボタン属性表を決定する、ようにしてもよい。
また、前記処理部は、画像を表示する表示部を含み、
前記処理部は、前記操作シート器に対する前記筆記具兼操作部による予め定められた操作を前記座標読取装置で検知したとき、前記表示部に前記操作シートに対応する画像を表示するようにしてもよい。

この発明は、スクリーンを兼ねる筆記可能なボードと、コンピュータと、前記コンピュータに接続され前記コンピュータで生成された画像を前記ボードに投影する投影装置と、前記ボード上に筆記し又は投影された画像に対して操作を行うための筆記具兼操作部と、前記ボードに取り付けられ、前記筆記具兼操作部から発信された信号に基づき、前記ボード上に筆記された絵や文字を前記コンピュータに取り込むとともに投影された画像に対する操作を検知する座標読取装置と、前記ボード上に設けられるひとつ又は複数の操作シート器とを備え、
前記操作シート器の表面の一部又は全部は、前記コンピュータに対する操作を行うためのボタンの領域として用いられ、
前記コンピュータは、前記操作シート器の対角線又は少なくともひとつの辺に関する２点の情報と、前記操作シート器に設けられた前記ボタンの位置の情報と、前記ボタンに対応づけられたコマンドの情報を含む操作シート器ボタン属性表を予め記憶していることを特徴とするシステムにおいて、前記操作シート器を用いて前記コンピュータに対してコマンドを与える方法であって、
（ａ）前記座標読取装置により前記筆記具兼操作部で示された前記操作シート器の対角線又は少なくともひとつの辺に関する２点の座標を取得するステップと、
（ｂ）取得した座標から前記ボード上における対角線又は少なくともひとつの辺の傾きを求めるステップと、
（ｃ）前記操作シート器ボタン属性表から対角線又は少なくともひとつの辺に関する２点の座標を読み出すステップと、
（ｄ）読み出した座標から予め定められた正規化位置の対角線又は少なくともひとつの辺の傾きを求めるステップと、
（ｅ）前記ボード上における対角線又は少なくともひとつの辺の傾きを前記正規化位置の対角線又は少なくともひとつの辺の傾きと比較することにより、前記ボード上の前記操作シート器の座標を前記正規化位置の座標に変換するための正規化回転角を算出するステップと、
（Ａ）前記座標読取装置により前記筆記具兼操作部で示された座標を取得するステップと、
（Ｂ）取得した前記座標を前記正規化回転角に基づき回転するステップと、
（Ｃ）前記操作シート器ボタン属性表を参照して回転された座標に対応する前記ボタンを抽出するステップと、
（Ｄ）抽出された前記ボタンに対応付けられたコマンドを実行するステップと、を備えるものである。

この発明は、上記方法をコンピュータに実行させるためのプログラムである。
この発明に係るプログラムは、例えば、記録媒体に記録される。
媒体には、例えば、ＥＰＲＯＭデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。

媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。

本発明によれば、ホワイトボードに貼り付け可能な操作シート器を備え、前記操作シート器に割り当てられているコマンド等の情報を含む操作シート器ボタン属性表をコンピュータに記憶させているので、ホワイトボードに投影されているパソコンの画面に依存することなく、前記操作シート器を用いて所望のコマンドをパソコンに実行させることができる。本発明によれば、特別なホワイトボードを用意する必要が無く、普通教室においても利用者が直感的に操作・運用ができるように操作ボタンを使用することができ、普通教室におけるICT利活用の促進をはかることができる。

発明の実施の形態１．
図１に、本発明の実施の形態に係るシステムの全体図を示す。本システムは、パソコン（処理部）１と、パソコン１に接続されパソコンの画像（デスクトップ画面）DESKTOPをスクリーン兼ホワイトボード又は黒板（以下、「ホワイトボード」又は「ボード」と記す）４に投影するプロジェクタ（投影装置）２と、ホワイトボード４の隅に取り付けられてその上に書かれた絵や文字をコンピュータに取り込んだり、投影されたパソコンの画像DESKTOPに対する操作を検知する（例えば、クリックなどの操作の有無を判定する）座標読取装置３と、ホワイトボード４の上に絵や文字を書いたり、投影されたパソコンの画像DESKTOPに対するクリックなどの操作を行うためのマーカー及びそれを保持するマーカーホルダー（以下、「マーカー」又は「筆記具兼操作部」と記す）５と、ホワイトボード４に投影されたパソコンの画像DESKTOPの外側の領域に貼り付けられるひとつ又は複数の操作シート器６とを備える。

パソコン１、プロジェクタ２及びホワイトボード４は、一般に使用されている汎用品である。座標読取装置３及びマーカー５は、ホワイトボード４に描かれた文字や絵や、パソコンの画像DESKTOPに対する操作（例えば、表示されたボタンのクリックなど）をパソコン１に取り込むことのできる装置である。座標読取装置３はＵＳＢケーブルなどでパソコン１に接続されている。マーカー５は、ホワイトボード４に文字や絵を描くためのペンを収納するマーカーホルダーを含む。当該マーカーホルダー側に自身の位置と加えられた操作を座標読取装置３へ知らせる機能を備えている。利用者がマーカー５をホワイトボード４に押し付けながら動かすと、それに内蔵されたペンで盤面に文字や絵が描かれるとともに、マーカーホルダーが押し付けられたことを検知して超音波や赤外線の信号を送信する。マーカーホルダーから発信された超音波や赤外線を座標読取装置３が受信し、それらを解析することによりマーカーホルダーの位置、すなわち盤面におけるペンの位置がわかる。当該位置の軌跡を記録することで盤面に描かれた文字や絵を記録することができる。同様に、マーカー５でパソコン画像DESKTOPのボタンをクリックすると、当該操作を検知することができる。座標読取装置３及びマーカー５は公知のものであるので、その詳細な説明は省略する。なお、座標読取装置３によるマーカー５の座標の読取可能な範囲はパソコン画像DESKTOPよりも広く、好ましくはホワイトボード４全体（少なくとも操作シート器６の部分を含む）ものとし、パソコン画像DESKTOPの大きさはホワイトボード４よりも小さいものとする。

操作シート器６は長方形のシート状のものであり、磁石等によりホワイトボード４の任意の位置に吸着できるようになっている。操作シート器６は、パソコン画像DESKTOP外のいわば余白部分に相当する位置に取り付けられる。操作シート器６の表面は、例えばいくつかの部分（各部分には操作ボタンなどの表示がされている）に分けられている。例えば、パソコン教室で行う授業支援ＬＡＮシステムの操作（先生の画面を見せる、生徒ＰＣの画面をみる）などを行うための操作ボタンが表示されている。操作シート器６の各ボタン（コマンド）の割り当ては任意であり、利用者が定義することもできる。その例を図１２に示す。なお、同図はあくまで一例にすぎない。操作シート器６を複数用意することもでき、例えば、ひとつを初心者用の操作シート器６とし、もうひとつを標準的な操作シート器６とし、初心者が使用する場合には前者のシートをひとつだけホワイトボード４に貼り、通常の使用者の場合は両方のシートを貼るといった使い方ができる。操作シート器６の貼り付け位置及びその方向は任意であり（後述のキャリブレーション処理を行うため）、シートは縦にも横にも貼ることが可能である。

操作シート器６はパソコン画像DESKTOPの外側、言い換えればプロジェクタ２で投影されている画像の外側のボード４上に配置される。操作シート器６はパソコン１に対する操作を行う点でパソコン画像DESKTOPに表示されるボタン等と同じ機能を果たすが、操作シート器６はパソコン画像DESKTOPに表示されていない機能を行うためのものであり、パソコン画像DESKTOPで不足している機能を補完するものと言える。

一般に、パソコンに対する操作はキーボードとマウス（ポインティングデバイス）を用いて行うが、文字を入力するという操作以外は、そのほとんどがマウスで可能である。したがって、図１のシステムにおいてマーカー５でパソコン画像DESKTOPをクリックすることで必要な操作のほとんどを行うことが出来る。しかし、キーボードからでしかできない操作も有る（例えば、ファンクションキーの操作やCTL+ALT+DELETE（リセット）操作、上述のパソコン教室で行う授業支援ＬＡＮシステムの操作など）。そのような操作を行うために、ホワイトボード４の前にいる利用者がいちいちパソコン１のキーボードの位置へ移動するのは面倒である。他にも、パソコンのアプリケーションにより提供される機能（パソコン画像DESKTOPに表示されているボタンによる機能）のほかに、利用者で定義可能な機能を備えると便利である（例えば、明るさの調整、位置の調整）。操作シート器６は上述の機能を果たすためのものである。

本発明の実施の形態に係るシステムは、例えば、普通教室等の教育現場において電子情報ボード（インタラクティブ・ユニット）を利用した授業支援のためのアプリケーションとしての提供するものである。

教育の情報化により校内LAN環境の整備はますます加速し、普通教室でのICTの利活用は促進していく状況にある。普通教室でのICT利活用シーンとしては、コンテンツの提示や先生によるマーキング操作等、コンピュータの提示が主な利用シーンである。本開発では、普通教室でのICT利用を想定し利用者が直感的に操作・運用ができるように操作ボタンを割り当てるとともに、授業や板書の記録・再生を可能にすることで、普通教室におけるICT利活用の促進をはかるものである。

校内LAN加速に伴い、コンテンツ等のICT活用は今後すすむと思われる。普通教室提示システムを利用することにより、電子情報ボードを利用した提示システム普及の加速、ならびに、コンテンツを利用、再加工しやすい利用者環境を整えることができる。

本発明の実施の形態に係るシステムにおいて、マーカー５で操作可能な機能として、デバイス関連（インタラクティブ・ユニット連携機能、画面位置設定機能、アプリケーション設定機能）、授業支援アプリケーション（板書機能、画面への書込および操作機能（例えば、マーキング機能、画面拡大機能、一括削除機能）、動画・静止画の記録再生機能）がある。

インタラクティブ・ユニット連携機能とは、図１で実現されるパソコン１に対する操作をホワイトボード４上で行うことができる機能であり、本発明の実施の形態で実現するアプリケーションを操作できるインターフェースを持つ機能である（具体的には、インタラクティブ・ユニットとの連携ができること、外部操作シートからのアプリケーション操作ができること、デスクトップ操作シートからのアプリケーション操作ができること、を含む）。

画面位置設定機能とは、パソコン１に対する操作を実現するために、インタラクティブ・ユニット（座標読取装置３やマーカー５で構成される）を利用した画面位置設定ができる機能を有するものである（具体的には、コンピュータ（マウス）の操作をするために必要な認識処理をすること、外部操作シートを利用するために必要な認識処理をすること、外部操作シート上に操作しているアプリケーションの制御ができること、を含む）。

アプリケーション設定機能とは、操作シート器６ならびにパソコン画面DESKTOP上のボタンにアプリケーションを設定する機能である（具体的には、授業アプリケーションで必要な機能をボタンとして割り当てられること、利用者が任意のアプリケーションを登録できる機能を有すること、を含む）。

次に、本発明の実施の形態に係るシステムの処理（特に、インタラクティブ連携処理）について説明を加える。

ホワイトボード４に取り付けられた座標読取装置３により、ホワイトボード４におけるマーカー５のX,Y座標(例えば、Xはホワイトボード４の横方向、Yは同縦方向に定義される。以下、「ボード座標」と記す。なお、図中では「WB座標」と記すこともある)の値と、マーカー５の操作状態（ボードに押し付けられたかどうか）を取得する。この状態は、マウスのボタンの状態に相当する。この座標は、パソコン１の画面上の座標とは関連付けられていない値であるため、パソコン１のプログラムによりボード座標をパソコン画面の座標に変換する。以下、その手順を説明する。

１．キャリブレーション（図２乃至図５参照）
最初にキャリブレーションを実行する。図３に示されるパラメータに従って、図４に示す画面をパソコン１上に作成し、それをホワイトボード４に投影する（図２のフローチャートのＳ１）。図４の例は、９つのキャリブレーション点Ｃを格子状に配置したものである。

ユーザにキャリブレーション点Ｃの各箇所をマーカー５でポイントさせる（マーカー５の先端をキャリブレーション点Ｃに当てながらマーカー５を押し付ける）。図４の例では9箇所をポイントすることになる。これにより座標読取装置３で９箇所のキャリブレーション点Ｃの座標を取得することができる（Ｓ２）。

取得されたキャリブレーション点Ｃのボード座標をパソコン画面の座標に関連付ける（Ｓ３）。例えば、座標読取装置３によるボード座標が（Ｘ１，Ｙ１）であり、当該座標に対応するキャリブレーション点Ｃのパソコン画面の座標が（ｘ１，ｙ１）であれば、Ｘ１とｘ１、Ｙ１とｙ１を対応づける。

実際に取得できたキャリブレーション点Ｃのボード座標と、キャリブレーション点Ｃで指定したパソコン画面の座標を使って、それぞれのグリッドを計算する（Ｓ４）。例えば、ボード座標で作成したグリッドを図５（ａ）、パソコン画面の座標で作成したグリッドを図５（ｂ）とする。図５（ｂ）では、グリッドで区切られる各ボックスは長方形であるが、図５（ａ）では、プロジェクタ２による投影の歪みの影響を受けて、各ボックスはほとんどの場合に長方形とはならない。

取得したキャリブレーション点に基づき、パソコン画面及び投影面を当該グリッドで区切られる複数のエリアに分ける（Ｓ５）。キャリブレーション点が９個の場合、図５（ａ）及び（ｂ）に示すように、１，２，３，４，５，８，９，１２，１３，１４，１５，１６のエリアに区分する。なお、各エリアのキャリブレーション点以外の頂点座標は、オフセットとポイントを使用して計算する。

２．変換方法（図６参照）
座標読取装置３から、マーカー５でポイントされたボード座標を取得する（Ｓ１１）。
取得した座標（ボード座標）が含まれるエリアを図５（ａ）から検索する（Ｓ１２）。検索したエリアをＡとする。
同様に、図５（ｂ）からエリアＡに対応するエリアを取得する（Ｓ１３）。取得したエリアをａとする。
エリアＡを４等分し、取得した座標が含まれるエリアを検索する（Ｓ１４）。このエリアをＢとする。
同様に、エリアａを４等分し、エリアＢに対応するエリアを取得する（Ｓ１５）。このエリアをｂとする。

エリアＢを4等分し、取得した座標が含まれるエリアを検索する。このエリアをＣとする。同様に、エリアｂを４等分し、エリアＣと同じエリアを取得する。このエリアをｃとする。このように、上記Ｓ１４とＳ１５の処理を予め定められた回数繰り返す（Ｓ１６）。
最後に残ったパソコン画面の座標のエリアの中心を計算し、その座標を変換後のパソコン画面の座標とする（Ｓ１７）。

次に、操作シート器６の座標の変換方法について説明を加える。
ホワイトボード４上の操作シート器６は、パソコン画面の投影像のような歪みはなく、また、操作シート器６に設けられたボタンをポイントしたかどうか分かればよく、検出精度はボタンの大きさでありその許容範囲も大きい。この点を考慮し、位置決定方式（押されたボタンの決定）を図７に示すように簡略に行う（図７中で、「ＷＢ座標」はボード座標を意味する）。

図７は、操作シート器６に関するキャリブレーション（以下、特に断らない限り「キャリブレーション」は「操作シート器６に関するキャリブレーション」を意味する）によって操作シート器６の各ボタンの領域を、パソコン１に予め用意されている操作シート器ボタン属性表（操作シートＩＤ）の各実行コマンドと対応づける。操作シート器６で操作を行ったとき、そのときのボード座標をキャリブレーション処理で得た正規化回転角で変換する（この処理を「操作シート器６に関する変換処理」又は単に「変換処理」と記す）とともに、変換後の座標が、操作シート器ボタン属性表（操作シートＩＤ）で定義されている領域１、領域２、領域３、・・・にいずれに含まれるか判断し、該当する領域に割り当てられているコマンドを実行する。当該コマンドがユーザにより定義されているものであるときは、操作シート器Userボタン定義表を参照し、対応する操作シートＩＤで定義されているコマンドを実行する。
なお、「正規化」とはキャリブレーションを行うための操作又はキャリブレーションそのものを意味する。正規化回転角とは、キャリブレーションにより得られた回転角度であり、当該回転角度に基づきボード座標を回転する操作シート器６に関する変換処理に用いられるものである。正規化位置とは、予め任意に定められたものであり、キャリブレーションの基準となる位置を意味する。WB座標による操作シート器６上の任意の位置は、正規化回転角に基づく回転操作により、正規化位置の操作シート器６上の位置に変換される。キャリブレーション及びその結果得られた正規化回転角に基づく変換処理により、例えば、ボード４上に傾いて配置された操作シート器６が、そこに整列して配置されたかのように扱える。キャリブレーションは操作シート器６の傾きを検出する処理であり、変換処理は当該傾きを直す処理と言うこともできる。

操作シート器ボタン属性表は、操作シート器６の種類ごとに予め用意されている。操作シート器６を複数使用するときは操作シート器ボタン属性表も複数になるが、操作シートＩＤは複数の操作シート器ボタン属性表からいずれかを指定するためのものである。操作シート器ボタン属性表の指定のやり方は後述する。操作シート器ボタン属性表の領域には、ボタンの大きさを示すための対角線上の２点の情報、対角線の長さの情報、対角線の傾きの情報などのボタン配置情報が予め記憶されている。なお、操作シート器ボタン属性表は、操作シート器６の対角線上の２点の情報も含んでいる。

１．キャリブレーション（図８及び図９参照）
操作シート器６には、ひとつ又は複数のボタンアイコンが配置（プリント）されている。図９では、４つのボタン６ａ乃至６ｄが配置されている。操作シート器６は長方形であり、その対角線上に２つのキャリブレーション点Ｐ，Ｑが定義されている。

操作シート器６がホワイトボード４上に貼り付けられる。利用者がこの作業を行う。
利用者がマーカー５をキャリブレーション点Ｐ，Ｑに押し当てることで、座標読取装置３によりホワイトボード４に貼り付けられた操作シート器６のキャリブレーション点Ｐ，Ｑのボード座標を取得する（図８のＳ２１）。操作シート器６は多少傾いているから、実際は図９のＰとＱ’の座標が取得される。

取得された２つのボード座標Ｐ、Ｑ’からボード座標における対角線Ｌ’の傾きを求める（Ｓ２２）。

パソコンの保持する操作シート器ボタン属性表の情報から操作シート器６の（正規化位置の）対角線Ｌの傾きを求める（Ｓ２３）。

ボード座標の対角線Ｌ’の傾きを、正規化位置の対角線Ｌの傾きと比較することにより、ホワイトボード上の操作シート器のボード座標を正規化位置の座標に変換する回転角（正規化回転角）αを算出する（Ｓ２４）。ボード座標の対角線Ｌ’の傾きと正規化位置の対角線Ｌの傾きの差が、正規化回転角αに相当する。

なお、導入設定時に、ボード座標の対角線Ｌ’の長さを正規化位置の対角線Ｌの長さと比較することにより、縮小又は拡大の倍率ｐを求めることができる。

２．変換方法（図１０参照）
図１０の処理は、マーカー５で示されたポイントがパソコン画面DESKTOPの領域外であると判断されたときに実行される。
座標読取装置３によりマーカー５でポイントされたボード座標を取得する（Ｓ３１）。例えば、図９の点Ｒ’がポイントされたとする。

取得したボード座標Ｒ’を、正規化回転角αで回転するとともに、縮小又は拡大の倍率ｐに従い操作シート器ボタン属性表のボタン配置情報のサイズに相似変換（拡大か縮小）する（Ｓ３２）。変換後の点をＲとする。

操作シート器ボタン属性表のボタン領域から、上で算出された点Ｒの座標を含むものを抽出することでボタン番号を決定する（Ｓ３３）。

決定されたボタン番号の実行コマンド欄の内容を実行する（Ｓ３４）。図９の例では、操作シート器６のボタン６ａがポイントされたことがわかるから、対応するコマンド（例えば、図７の番号＝１、領域１に対応するCommand１）を実行する。

実行コマンド欄がUser定義の場合、パソコンに保持されている「Userボタン定義表」の中から現在実行中のユーザの表を抽出し、該当するボタンの実行コマンドを実行する。

次に、操作シート器を決定する手順について説明を加える。
操作シート器ボタン属性表は、次の方法で自動的に判定され選択される。

（ａ）操作シートが標準品で種類が少なくサイズが異なる時：導入設定時に、ホワイトボード上で各操作シート器のキャリブレーション点を入力し、その操作シートの種類を記録する。キャリブレーション時には、記録された対角線長と比較し、操作シート器ボタン属性表を決定する（図１１（ａ）参照）。すなわち、操作シート器６の対角線長をキーとして、複数の操作シート器ボタン属性表から対応するものを検索する。

（ｂ）RFIDを用いるやり方：操作シート器６にRFIDを取り付けておき、当該RFIDから読み取った情報に基づき操作シート器ボタン属性表を決定する（図１１（ｂ）参照）。

発明の実施の形態に係るインタラクティブ・ユニットを利用した操作シート器６（以下の説明において、外部操作シートあるいは操作シートと記すことがある）は、次のような特徴を備える。
・操作シートを斜めにおいた場合でもホワイトボード上のボタン以外の部分を押しても機能を実現することが可能。
・複数の操作シートをRFID等で識別し、利用者が操作シートを貼り付けることにより違った機能を実現することができる。
・操作シートは利用者が自由にレイアウトを生成でき、必要なアプリケーションを登録することができる。

発明の実施の形態は、利用者に次のような使い方を提供できる。
・初心者、上級者の使い方に応じ操作シートを２分割し、必要に応じて機能を切り替えることが可能。
・２枚のシートを縦・横と分けて認識を行え、シートボタンを自由に貼り付けることが可能。
・ＰＤＡ等の無線LAN環境を含む機器を利用した外部操作シートも可能で、教室の場所を問わずアプリケーションの操作が可能。
・操作シートをデザインできる（ボタン配置やサイズ、シートの背景等を任意にデザインできる）。
・複数の操作シートを別々に配置することにより、利用者が任意の場所に外部操作シートを貼り付けることが可能。
・パソコンのアプリケーションを外部操作シートで制御することが可能。
・ボタン部分を個別に分割でき、ユーザが自由に変更することが可能。
・利用者ごとにボタンに割り当てる機能を指定できる。
・利用者が、ボタン配置やサイズ、シートの背景等を任意にデザインし、ボタン部分を個別に分割し、あるいは、ボタンに割り当てられた機能を変更したとき、パソコンにより変更した外部操作シートを印刷することができる。
・ＰＤＡ等の携帯端末を利用して外部操作シートを代用することが可能。
・普通教室に存在する複数の生徒ＰＣ端末の画面をコンピュータ上に映し、外部操作シートを利用して制御できる。
・外部操作シートのボタン割付（カスタマイズ）が簡単に行え、同時にモニター内（デスクトップ内）表示パネルも連動して変更される。

発明の実施の形態２．
上記発明の実施の形態１では、操作シート器６は画像DESKTOPの外側に配置され、画像DESKTOPに表示されていない機能を行うことで、画像DESKTOPで不足している機能を補完するものであったが、本発明はこれに限定されない。

パソコン１の画面に操作シート器６（正確には操作シート器６のシンボル等、「サブシート」）を表示し、そこで画像DESKTOPに存在する機能又は画像DESKTOPで不足している機能を実行できるようにしてもよい。例えば、操作シート器６のボタンについて長押し等の所定の操作がされたとき、操作シート器６を貼り付けた位置（ボード４上の上下左右の位置）に応じて、パソコン１の画面上に、当該操作シート器６に対応するサブシートを表示する。

具体的には、操作シート器６上での特定の操作（長押し、ペンアクション、ボタンとの組み合わせなど）がなされたとき、操作シート器６の各ボタン（項目）の物理的位置・サイズと自動的に連動し、操作シート器６に対応するサブシートをパソコン１の画面に表示する。当該サブシート上のボタンをパソコンのマウス等でクリックすることで、当該ボタンに対応づけられた機能を実行させることができる。

これにより、これまでのわかりやすいシンプルな操作と、ペン先の種類、図形などを選択する便利で細かな操作を簡単に統合することができる。操作シート器６の貼り付け位置に応じて、ソフトウェアシートの位置やサイズも連動するので、機能が増えてもわかりやすくシンプルな操作が可能である。

以下、サブシートをパソコン１の画面上に表示する処理と、サブシートがクリックされたときの動作について簡単に説明する。
（１）サブシート表示処理（図１３参照）
Ｓ５０：操作シート器６上での特定の操作（長押し、ペンアクション、ボタンとの組み合わせなど）がなされたかどうか判断する。
Ｓ５１：Ｓ５０でそのような操作がされたと判断されたとき（Ｓ５０でＹＥＳ）、発明の実施の形態１の処理で取得されている操作シート器６を座標に基づき、サブシートをパソコン１の画面に表示する。そして、サブシートにボタン属性表を対応付ける。パソコン１の画面に表示されるサブシートは、操作シート器６を意味するシンボル（アイコンのようなもの）又は操作シート器６の外観と類似する画像表現（操作シート器６の撮影画像あるいはそれに相似するもの）などである。

WB座標の操作シート器６又は正規化された操作シート器６のシンボル等がサブシートとしてパソコン１の画面上に表示される。サブシートの表示の位置はパソコン１の画面の任意の位置でよいが、操作シート器６のボード４上の貼り付け位置に応じて、パソコン１の画面上のサブシートの位置が連動するようにすることが好ましい。その大きさは、ボード４と操作シート器６の実際の比率を再現したもの、あるいは相似的に適宜拡大又は縮小されたものである。

（２）サブシート機能実行処理
従来のマウス等のクリック操作と同様に、パソコン１の画面の前記サブシートが操作されたとき、パソコン１は所定の操作を実行する。

例えば、画面の右に操作シート器６が貼ってある場合、次のような操作を実行する。
・「消去」
シングルタップ（ボタンを１回操作すること）：矩形指定消去ツール
長押し：矩形指定消去ツール、全消去、アンドゥ、リドゥのサブシートが「消去」の位置から左方向に伸びて、拡張機能が使用可能になる(以下同様)
・「ホワイトボード」
シングルタップ：通常のホワイトボード
長押し：あらかじめ何種類かの背景画像が設定されたホワイトボード
・「黒ペン」
シングルタップ：黒ペン自由曲線
長押し：通常ペン先自由曲線、マジックインキペン先自由曲線、直線、矢印、矩形、塗りつぶし矩形、三角、丸。
・「赤ペン」
シングルタップ：赤ペン自由曲線
長押し：色選択
・「青ペン」
シングルタップ：青ペン自由曲線
長押し：ペン太さ選択
・「停止」
シングルタップ：これまでと同じ
長押し：アプリケーションのリストが並んで、任意のアプリを終了

発明の実施の形態２によれば、ボード４上のどこにでも貼れる操作シート器６と連動してサブシート（ソフトウェア拡張シート）の位置とサイズを自動的に変えることができる。これまでのシングルタップの簡単操作と、長押し等の操作によるソフトウェア拡張シートでの詳細動作が簡単に同居できる(モードの変更などが無い)。

本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
例えば、上記説明において、対角線に関する処理を例示して説明を加えたが、本発明はこれに限定されない。いずれか一つの辺について同様の処理を適用することもでき、これも本発明は含むものである。また、操作シート器は矩形（長方形又は正方形）に限らず、三角形や五角形などの多角形であってもよい。例えば、矩形の操作シート器の長辺又は短辺に関して、上記説明した処理を行うようにでき、対角線の場合と同様の作用効果を奏する。また、三角形の操作シート器を用い、その一辺について上記説明の処理を適用することもできる。

発明の実施の形態に係るシステムの全体図である。 発明の実施の形態に係るキャリブレーション処理のフローチャートである。 発明の実施の形態に係るキャリブレーション用の画面のパラメータの説明図である。 発明の実施の形態に係るキャリブレーション用の画面の説明図である。 図５（ａ）は、発明の実施の形態に係る投影されたキャリブレーション用の画面のボード座標の説明図、図５（ｂ）は、キャリブレーション用の画面（パソコン画面）の座標の説明図である。 発明の実施の形態に係る座標の変換処理のフローチャートである。 発明の実施の形態に係る操作シート器のキャリブレーション、座標の変換及びコマンド実行の説明図である。 発明の実施の形態に係る操作シート器のキャリブレーション処理のフローチャートである。 発明の実施の形態に係る操作シート器のキャリブレーション処理の説明図である。 発明の実施の形態に係る操作シート器の変換処理及びコマンド実行処理のフローチャートである。 発明の実施の形態に係る操作シート器の決定処理のフローチャートである。 発明の実施の形態に係る操作シート器の各ボタン（コマンド）の割り当ての例を示す一覧表である。 発明の実施の形態２にサブシート表示処理のフローチャートである。

符号の説明

１ パソコン（処理部）
２ プロジェクタ（投影装置）
３ 座標読取装置
４ スクリーン兼用のホワイトボード又は黒板（ボード）
５ マーカー及びマーカーホルダー（筆記具兼用の操作部）
６ 操作シート器

Claims (6)

1. スクリーンを兼ねる筆記可能なボードと、処理部と、前記処理部に接続され前記処理部で生成された画像を前記ボードに投影する投影装置と、前記ボード上に筆記し又は投影された画像に対して操作を行うための筆記具兼操作部と、前記ボードに取り付けられ、前記筆記具兼操作部から発信された信号に基づき、前記ボード上に筆記された絵や文字を前記処理部に取り込むとともに投影された画像に対する操作を検知する座標読取装置と、前記ボード上に設けられるひとつ又は複数の操作シート器とを備え、
   前記操作シート器の形状は矩形又は多角形であり、その表面の一部又は全部は、前記処理部に対する操作を行うためのボタンの領域として用いられ、
   前記処理部は、前記操作シート器の対角線又は少なくともひとつの辺に関する２点の情報と、前記操作シート器に設けられた前記ボタンの位置の情報と、前記ボタンに対応づけられたコマンドの情報を含む操作シート器ボタン属性表を予め記憶しており、
   （ａ）前記座標読取装置により前記筆記具兼操作部で示された前記操作シート器の対角線又は少なくともひとつの辺に関する２点の座標を取得するステップと、
   （ｂ）取得した座標から前記ボード上における対角線又は少なくともひとつの辺の傾きを求めるステップと、
   （ｃ）前記操作シート器ボタン属性表から対角線又は少なくともひとつの辺に関する２点の座標を読み出すステップと、
   （ｄ）読み出した座標から予め定められた正規化位置の対角線又は少なくともひとつの辺の傾きを求めるステップと、
   （ｅ）前記ボード上における対角線又は少なくともひとつの辺の傾きを前記正規化位置の対角線又は少なくともひとつの辺の傾きと比較することにより、前記ボード上の前記操作シート器の座標を前記正規化位置の座標に変換するための正規化回転角を算出するステップと、を含む前記操作シート器に関するキャリブレーション処理を実行し、
   （Ａ）前記座標読取装置により前記筆記具兼操作部で示された座標を取得するステップと、
   （Ｂ）取得した前記座標を前記正規化回転角に基づき回転するステップと、
   （Ｃ）前記操作シート器ボタン属性表を参照して回転された座標に対応する前記ボタンを抽出するステップと、
   （Ｄ）抽出された前記ボタンに対応付けられたコマンドを実行するステップと、を含む前記操作シート器に関する変換処理及びコマンド実行処理を実行する、ことを特徴とする普通教室提示システム。
2. 前記処理部は、対角線又は少なくともひとつの辺の長さが互いに異なる複数の前記操作シート器に対応する複数の前記操作シート器ボタン属性表を予め記憶し、複数の前記操作シート器ボタン属性表には、それぞれ複数の前記操作シート器の対角線又は少なくともひとつの辺の長さが予め記憶され、
   前記（ａ）のステップで取得された座標から前記操作シート器の対角線又は少なくともひとつの辺の長さを求め、それを複数の前記操作シート器ボタン属性表の対角線又は少なくともひとつの辺の長さと比較することにより、使用する操作シート器ボタン属性表を決定することを特徴とする請求項１記載の普通教室提示システム。
3. 前記処理部に接続されるＲＦＩＤ（Radio Frequency Identification）読取装置を備え、
   前記操作シート器には、固有の識別情報が予め書き込まれたＲＦＩＤが設けられ、
   前記処理部は、複数の前記操作シート器に対応する複数の前記操作シート器ボタン属性表を予め記憶し、複数の前記操作シート器ボタン属性表には、それぞれ前記識別情報が予め記憶され、
   前記キャリブレーション処理を実行する際に、前記ＲＦＩＤ読取装置で前記ＲＦＩＤから情報を読み取り、読み取った情報を複数の前記操作シート器ボタン属性表の前記識別情報と比較することにより、使用する操作シート器ボタン属性表を決定することを特徴とする請求項１記載の普通教室提示システム。
4. 前記処理部は、画像を表示する表示部を含み、
   前記処理部は、前記操作シート器に対する前記筆記具兼操作部による予め定められた操作を前記座標読取装置で検知したとき、前記表示部に前記操作シートに対応する画像を表示することを特徴とする請求項１記載の普通教室提示システム。
5. スクリーンを兼ねる筆記可能なボードと、コンピュータと、前記コンピュータに接続され前記コンピュータで生成された画像を前記ボードに投影する投影装置と、前記ボード上に筆記し又は投影された画像に対して操作を行うための筆記具兼操作部と、前記ボードに取り付けられ、前記筆記具兼操作部から発信された信号に基づき、前記ボード上に筆記された絵や文字を前記コンピュータに取り込むとともに投影された画像に対する操作を検知する座標読取装置と、前記ボード上に設けられるひとつ又は複数の操作シート器とを備え、
   前記操作シート器の表面の一部又は全部は、前記コンピュータに対する操作を行うためのボタンの領域として用いられ、
   前記コンピュータは、前記操作シート器の対角線又は少なくともひとつの辺に関する２点の情報と、前記操作シート器に設けられた前記ボタンの位置の情報と、前記ボタンに対応づけられたコマンドの情報を含む操作シート器ボタン属性表を予め記憶していることを特徴とするシステムにおいて、前記操作シート器を用いて前記コンピュータに対してコマンドを与える方法であって、
   （ａ）前記座標読取装置により前記筆記具兼操作部で示された前記操作シート器の対角線又は少なくともひとつの辺に関する２点の座標を取得するステップと、
   （ｂ）取得した座標から前記ボード上における対角線又は少なくともひとつの辺の傾きを求めるステップと、
   （ｃ）前記操作シート器ボタン属性表から対角線又は少なくともひとつの辺に関する２点の座標を読み出すステップと、
   （ｄ）読み出した座標から予め定められた正規化位置の対角線又は少なくともひとつの辺の傾きを求めるステップと、
   （ｅ）前記ボード上における対角線又は少なくともひとつの辺の傾きを前記正規化位置の対角線又は少なくともひとつの辺の傾きと比較することにより、前記ボード上の前記操作シート器の座標を前記正規化位置の座標に変換するための正規化回転角を算出するステップと、
   （Ａ）前記座標読取装置により前記筆記具兼操作部で示された座標を取得するステップと、
   （Ｂ）取得した前記座標を前記正規化回転角に基づき回転するステップと、
   （Ｃ）前記操作シート器ボタン属性表を参照して回転された座標に対応する前記ボタンを抽出するステップと、
   （Ｄ）抽出された前記ボタンに対応付けられたコマンドを実行するステップと、を備えるホワイトボード上での操作によりコンピュータに対してコマンドを与える方法。
6. スクリーンを兼ねる筆記可能なボードと、コンピュータと、前記コンピュータに接続され前記コンピュータで生成された画像を前記ボードに投影する投影装置と、前記ボード上に筆記し又は投影された画像に対して操作を行うための筆記具兼操作部と、前記ボードに取り付けられ、前記筆記具兼操作部から発信された信号に基づき、前記ボード上に筆記された絵や文字を前記コンピュータに取り込むとともに投影された画像に対する操作を検知する座標読取装置と、前記ボード上に設けられるひとつ又は複数の操作シート器とを備え、
   前記操作シート器の表面の一部又は全部は、前記コンピュータに対する操作を行うためのボタンの領域として用いられ、
   前記コンピュータは、前記操作シート器の対角線又は少なくともひとつの辺に関する２点の情報と、前記操作シート器に設けられた前記ボタンの位置の情報と、前記ボタンに対応づけられたコマンドの情報を含む操作シート器ボタン属性表を予め記憶していることを特徴とするシステムにおいて、前記操作シート器を用いて前記コンピュータに対してコマンドを与えるためのプログラムであって、
   （ａ）前記座標読取装置により前記筆記具兼操作部で示された前記操作シート器の対角線又は少なくともひとつの辺に関する２点の座標を取得するステップと、
   （ｂ）取得した座標から前記ボード上における対角線又は少なくともひとつの辺の傾きを求めるステップと、
   （ｃ）前記操作シート器ボタン属性表から対角線又は少なくともひとつの辺に関する２点の座標を読み出すステップと、
   （ｄ）読み出した座標から予め定められた正規化位置の対角線又は少なくともひとつの辺の傾きを求めるステップと、
   （ｅ）前記ボード上における対角線又は少なくともひとつの辺の傾きを前記正規化位置の対角線又は少なくともひとつの辺の傾きと比較することにより、前記ボード上の前記操作シート器の座標を前記正規化位置の座標に変換するための正規化回転角を算出するステップと、
   （Ａ）前記座標読取装置により前記筆記具兼操作部で示された座標を取得するステップと、
   （Ｂ）取得した前記座標を前記正規化回転角に基づき回転するステップと、
   （Ｃ）前記操作シート器ボタン属性表を参照して回転された座標に対応する前記ボタンを抽出するステップと、
   （Ｄ）抽出された前記ボタンに対応付けられたコマンドを実行するステップと、をコンピュータに実行させるためのプログラム。

Images