JP6244647B2 - コンピュータ装置及びプログラム - Google Patents

Description

本発明は、電子教材を用いた表示技術に関する。

従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ ｐｅｎ）」が知られている。例えば、特許文献１に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報をコンピュータ装置に送信する。

また、特許文献２には、電子教科書及び電子ノートを同時に表示させることが可能な情報端末が開示されている。また、特許文献３には、端末装置のディスプレイに表示される電子教科書の頁と、冊子状のノートの頁とを関連付ける技術が開示されている。

特許第３８４２２８３号公報 特開２００２−２２９４２７号公報 特開２０１２−２４８００９号公報

電子教材及び電子ノートを同時に表示させる場合、電子ノートへの記入内容を、当該記入内容に関連する電子教材の頁ごとに適切に関連付けて表示できると便宜である。そこで、本発明は、電子教材及び電子ノートを同時に表示させる場合に、電子ノートへの記入内容を、当該記入内容に関連する電子教材の頁と適切に関連付けることが可能なコンピュータ装置及びプログラムを提供することを主な目的とする。

本発明に係るコンピュータ装置は、電子教材を画面上における第１エリアに表示させると共に、前記第１エリアに表示される電子教材の頁ごとに複数のレイヤを有する電子ノートを画面上における第２エリアに表示させる表示制御手段と、前記第１又は第２エリアに記入されたストロークの情報を、前記第１エリアに表示された前記電子教材の頁及び前記第２エリアに最前面で表示されたレイヤに関連付けて記憶する記憶制御手段と、前記ストロークを再生する再生手段と、を有し、前記記憶制御手段は、入力手段により入力された音声の録音データを、前記第１エリアに表示中の電子教材の頁と関連付けて記憶し、前記再生手段は、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在するときには、当該録音データと、前記第１又は第２エリアに描画する前記ストロークとを、時間を基準として再生し、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在しないときには、前記第１又は第２エリアに描画する前記ストロークを、ストローク単位で再生する。

上記のコンピュータ装置は、表示制御手段と、記憶制御手段と、再生手段とを有する。表示制御手段は、電子教材を画面上における第１エリアに表示させると共に、第１エリアに表示される電子教材の頁ごとに複数のレイヤを有する電子ノートを画面上における第２エリアに表示させる。記憶制御手段は、第１又は第２エリアに記入されたストロークの情報を、第１エリアに表示された電子教材の頁及び第２エリアに最前面で表示されたレイヤに関連付けて記憶する。この態様により、コンピュータ装置は、第１エリアに表示される電子教材の頁に関連する記入内容を、電子ノートのレイヤごとに分けて好適に記憶することができる。なお、「電子教材」は、教材を電子化したものであり、例えば電子教科書である。また、「電子ノート」は、コンピュータにより表示されるノートである。
また、前記記憶制御手段は、入力手段により入力された音声の録音データを、前記第１エリアに表示中の電子教材の頁と関連付けて記憶し、前記再生手段は、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在するときには、当該録音データと、前記第１又は第２エリアに描画するストロークとを、時間を基準として再生し、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在しないときには、前記第１又は第２エリアに描画するストロークを、ストローク単位で再生する。この態様により、コンピュータ装置は、録音した音声や電子ノートに記入されたストロークをユーザの意図に即して好適に再生することができる。

上記コンピュータ装置の一態様では、前記表示制御手段は、前記第２エリアを、前記第１エリアを囲む位置を含むように設ける。この態様により、コンピュータ装置は、電子教材の任意の箇所に対するメモを、電子ノート上でユーザに好適に記入させることができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記複数のレイヤの各々に対応するタブを選択可能に表示し、選択されたタブに対応するレイヤを前記第２エリアの最前面に表示させる。この態様により、コンピュータ装置は、ユーザが意図する電子ノートのレイヤを最前面に表示させることができる。
上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記第２エリアの最前面のレイヤ以外のレイヤに記入された前記ストロークを非表示にする。この態様により、コンピュータ装置は、同一の電子教材の頁に関連する内容を、電子ノートのレイヤごとにユーザに好適に視認させることができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記第２エリアの最前面のレイヤ以外のレイヤに記入された前記ストロークを透過して表示する。この態様により、コンピュータ装置は、同一の電子教材の頁に関連する内容であって異なるレイヤに記入された内容を、ユーザに好適に視認させることができる。

上記コンピュータ装置の他の一態様では、前記記憶制御手段は、前記第１エリアに記入された前記ストロークの情報を、当該ストロークの記入時に前記第１エリアに表示された前記電子教材の頁及び前記第２エリアに最前面で表示された電子ノートのレイヤに関連付けて記憶し、前記表示制御手段は、前記第１エリアに記入された前記ストロークを、当該ストロークを示す情報に関連付けられた電子教材の頁が表示中であって、当該ストロークを示す情報に関連付けられたレイヤが最前面に表示されているときに、前記第１エリア上に表示させる。この態様により、コンピュータ装置は、電子教材への記入内容を、電子教科書の頁及び電子ノートのレイヤごとに記憶し表示することができる。

上記コンピュータ装置の他の一態様では、前記再生手段は、前記録音データの再生の開始時点を、前記第１エリアに表示中の電子教材の頁を基準として決定する。これにより、コンピュータ装置は、表示中の電子教材の頁に関連する部分から録音データの再生を開始することができる。

上記コンピュータ装置の他の一態様では、前記再生手段は、前記時間を基準として再生する場合、前記録音データの再生と前記ストロークの再生とを同期させる処理を行う。この態様により、コンピュータ装置は、録音した音声と電子ノートに記入されたストロークとを、タイムラグを発生させることなく好適に再生することができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記第１エリアに電子教材の見開き頁を表示させる。この態様によっても、コンピュータ装置は、第１エリアに表示される電子教材の見開き頁に関連する記入内容を、電子ノートのレイヤごとに分けて好適に記憶することができる。

本発明に係るプログラムは、コンピュータ装置を、上記記載のいずれか一つのコンピュータ装置の各手段として機能させるためのプログラムである。これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係るコンピュータ装置を構成させることができる。

本発明によれば、コンピュータ装置は、第１エリアに表示される電子教材の頁に関連する記入内容を、電子ノートのレイヤごとに分けて記憶し、かつ表示することができる。

実施形態に係る表示システムの構成を示す。 ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 ディスプレイの概略構成を示す。 端末装置の概略構成を示す。 電子ペンによる記入が行われた際のディスプレイの表示例である。 図７の状態から第２レイヤのタブが選択された後のディスプレイの表示例である。 録音データの録音時間帯と、録音時に表示されていた電子教科書の頁との関係を示すグラフである。 変形例に係るディスプレイの表示例を示す。 変形例において電子教科書第３２頁及び電子ノートの第２レイヤを表示したディスプレイの表示例を示す。

以下、図面を参照しながら、本発明の実施の形態である実施形態について順に説明する。

［表示システムの構成］
図１は、本実施形態に係る表示システムの構成を示す。図１に示すように、表示システムは、ユーザが使用する電子ペン１と、電子ペン１から記入情報を受信して処理する端末装置（コンピュータ装置）３とを備える。

図１に示すように、端末装置３は、電子教科書及び電子教科書を囲む電子ノートをディスプレイ４に表示させると共に、電子ペン１から受信した記入情報に基づき、ディスプレイ４に対して電子ペン１により記入された筆跡を再現したストロークを表示させる。ディスプレイ４には、図５で後述するように、電子ペン１に記入情報を生成させるためのドットパターンが形成されたドットパターン形成層（ドットパターンオーバーレイヤ：ＤＯＬ）４０と、指などによる入力を検知するタッチパネル４４とが形成されている。また、端末装置３は、ディスプレイ４上での電子ペン１又は指による操作に基づき、音声の録音処理、音声及びストロークの再生処理などを行う。

［表示画面］
まず、図１に示す端末装置３のディスプレイ４の表示について説明する。図１に示すディスプレイ４の表示画面は、電子教科書表示エリアＡｒ１と、電子ノート表示エリアＡｒ２と、記入関連ボタン５１〜５８と、録音ボタン６０と、再生関連ボタン６１〜６７とを有する。

電子教科書表示エリアＡｒ１は、電子教科書の頁（図１では第３２頁）を表示するためのエリアである。また、電子ノート表示エリアＡｒ２は、電子教科書表示エリアＡｒ１を囲む位置を含むように設けられ、電子ノートを表示するためのエリアである。電子ノートは、各電子教科書の頁ごとに３層のレイヤを有し、電子ノートの各レイヤは、当該レイヤを最前面に表示させるためのタブＴｂ１〜Ｔｂ３（Ｔｂ）を有する。電子ノート表示エリアＡｒ２の詳細については、［表示機能］のセクションで説明する。

以後では、タブＴｂ１が設けられたレイヤを「第１レイヤ」、タブＴｂ２が設けられたレイヤを「第２レイヤ」、タブＴｂ３が設けられたレイヤを「第３レイヤ」とも呼ぶ。なお、電子教科書表示エリアＡｒ１は、本発明における「第１エリア」の一例であり、電子ノート表示エリアＡｒ２は、本発明における「第２エリア」の一例である。

次に、記入関連ボタン５１〜５８について説明する。自由曲線描画ボタン５１は、自由曲線によりストロークを描くことを指定する機能を有し、直線描画ボタン５２は、直線によりストロークを描くことを指定する機能を有する。黒描画ボタン５３は、描画するストロークの色を黒色に指定する機能を有し、赤描画ボタン５４は、描画するストロークの色を赤色に指定する機能を有し、青描画ボタン５５は、描画するストロークの色を青色に指定する機能を有する。消去ボタン５６は、描画したストロークを指定したストロークごとに消去する機能を有し、一括消去ボタン５７は、描画したストロークを全て消去する機能を有する。拡大ボタン５８は、画面におけるドラッグ領域を拡大する機能を有する。

次に、再生関連ボタン６１〜６７について説明する。再生ボタン６１は、電子教科書表示エリアＡｒ１に表示された電子教科書の頁に対応する録音データと、その録音時に電子ノート等に記入されたストロークとの同時再生を指示する機能を有する。また、再生ボタン６１は、電子教科書表示エリアＡｒ１に表示された電子教科書の頁に対応する録音データが存在しない場合には、当該電子教科書の頁の表示中に電子ペン１により電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２上に記入されたストロークの再生を指示する機能を有する。一時停止ボタン６２は、再生中の録音データやストロークの再生を一時停止する機能を有する。停止ボタン６３は、再生中の音声データやストロークの再生を停止する機能を有する。所定時間戻るボタン６４は、再生中の音声データ及びストロークの再生の対象となる時点（再生対象時点）を所定時間だけ戻す機能を有する。また、所定時間戻るボタン６４は、ストロークのみが再生対象の場合には、表示されたストロークのうち、記入順が遅い所定個数分のストロークの表示を消去する機能を有する。さらに、巻き戻し再生ボタン６５は、通常の再生速度の所定倍の再生速度により巻き戻し再生することを指示する機能を有する。早送り再生ボタン６６は通常の再生速度の所定倍の再生速度により早送り再生することを指示する機能を有する。所定時間進むボタン６７は、再生対象時点を所定時間だけ進める機能を有する。また、所定時間進むボタン６７は、ストロークのみが再生対象の場合には、未表示のストロークのうち、記入順が早い所定個数分のストロークを表示させる機能を有する。

［ドットパターン］
次に、図２と図３を参照しながら、ＤＯＬ４０に形成されたアノト方式のドットパターン（コード化パターン）について説明する。図２は、ＤＯＬ４０に形成されたドットパターンのドットと、そのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組み合わせにより、ＤＯＬ４０上の位置座標が決定されるように構成されている。従って、ＤＯＬ４０には、それぞれ、座標領域が重ならないようドットパターンが形成される。

図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、ＤＯＬ４０上のどの部分から６×６ドットを取っても、ユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがＤＯＬ４０上のどの位置にあるのか）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて、対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、電子ペン１について図４を用いて説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をディスプレイ４上のＤＯＬ４０に当接させて、ストローク（手書きストローク）を記入する。ここで、電子ペン１のペン先部１０３がＤＯＬ４０に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。

バッテリー１１２は、電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりディスプレイ４上のＤＯＬ４０に文字やマークを書いたりタップしたりする際にペン先部１０３からペン部１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１でディスプレイ４上のＤＯＬ４０に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報と、後述する電子ペン１の識別情報（以後、「ペンＩＤ」と呼ぶ。）とを関連付けて、記入情報として端末装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１をＤＯＬ４０等から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報とペンＩＤとを関連付けて、記入情報として端末装置３へ送信する。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、ＤＯＬ４０上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がＤＯＬ４０等に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。

ここで、ＤＯＬ４０に形成されたドットのインク素材は、後述するように赤外線を反射するため、ＬＥＤ１０５によって照射された赤外線は、ドットによって反射される。そのため、ドットの部分は、赤外線の反射量が比較的多く、ドット以外の部分は赤外線の反射量が比較的少ない。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別することができる。なお、赤外線吸収性のインクによりドットパターンが印刷された場合、ドットの部分は、赤外線の反射量が比較的少なく、ドット以外の部分は赤外線の反射量が比較的多い。従って、電子ペン１は、赤外線吸収性のインクによりドットパターンが印刷された用紙を記入対象とする場合であっても、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別することができる。また、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のＤＯＬ４０等におけるＸ、Ｙ座標（以後、単に「座標データ」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の傾きに起因するドットの配列を補正する回転補正処理機能を備えている。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、ＤＯＬ４０における６×６のドットパターンは、ＤＯＬ４０内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がＤＯＬ４０内のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報として端末装置３へ送信する。通信ユニット１１１による端末装置３への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されて端末装置３に送信された１個又は複数個の座標属性情報は、端末装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、端末装置３は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。このように、ユーザの一つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合を「ストローク情報」と呼ぶ。また、ペン先部１０３は、プラスチックやステンレスなどの素材により形成される。ペン先部１０３は、インクを有さず、筆圧をペン部１０４を介して圧力センサ１０７に伝達する。

なお、電子ペン１は、無線送信によって端末装置３へ記入情報を送信したが、これに限らず、端末装置３と有線により接続し、有線送信によって端末装置３へ記入情報を送信してもよい。また、電子ペン１は、ペン部１０４に代えて、インキが充填されたインクカートリッジを備えてもよい。この場合、電子ペン１の記入によるペン先から出力されたインキがＤＯＬ４０に付いた場合は、布等で拭き取ればよい。

また、好適には、電子ペン１は、ＣＭＯＳカメラ１０６がドットパターンを認識した際、ドットパターンが赤外線反射材で構成されているか、又は赤外線吸収材で構成されているか判断し、当該判断に基づきドットパターンの読み取りプログラムを切り替えてもよい。具体的には、電子ペン１は、まず、ＣＭＯＳカメラ１０６が撮影した画像に対して所定の閾値を用いて２値化処理を行い、当該２値化処理された画像より赤外線反射領域及び赤外線吸収領域を判別し、赤外線反射領域の面積と赤外線吸収領域の面積との大小関係を比較する。そして、電子ペン１は、赤外線反射領域よりも赤外線吸収領域が大きい場合には、２値化処理された画像に対してネガポジ反転処理を行い、ネガポジ反転処理を行った場合にはネガポジ反転処理された画像に基づいてドットパターンを認識し、ネガポジ反転処理を行わなかった場合には２値化処理された画像に基づいてドットパターンを認識する。これにより、赤外線吸収性のインクにより印刷されたドットパターン及び赤外線反射性のインキにより印刷されたドットパターンの両方を適切に認識することが可能となる。

［端末装置］
次に、端末装置３について説明する。以下では、端末装置３のディスプレイ４の構成について説明した後、端末装置３の全体構成について説明する。

（１）ディスプレイの構成
図５は、ディスプレイ４の構成を示す。図５に示すように、ディスプレイ４は、多層構造を有し、上層から順に、ＤＯＬ４０と、タッチパネル４４と、ディスプレイパネル４５と、を備える。なお、ディスプレイ４の大きさは、２０インチ以上が好ましい。

ＤＯＬ４０は、ディスプレイ４の最上層に配置される。ＤＯＬ４０は、ポリエチレンテレフタラートなどの透明樹脂基板である基材フィルム４３に、電子ペン１により読み取ることができるよう赤外線を反射する素材（酸化チタン、コレステリック液晶、赤外線反射性顔料など）を含んだインクによりドットパターン（コード化パターン）４２が印刷され、さらに透明なＥＢ硬化樹脂などの保護層４１で保護された層構成を有している。ここで、ドットパターン４２を、赤外線を反射する素材で印刷しているのは、ＤＯＬ４０の下層にあるディスプレイパネル４５から様々な色の可視光が放射されても、電子ペン１によってコントラストよくドットパターン４２を認識させるのに、望ましいからである。

ＤＯＬ４０の裏面には、タッチパネル４４が接着されている。タッチパネル４４は、ＤＯＬ４０上での指の押下による静電容量の変化を捉えて位置を検出する静電容量方式のタッチパネルである。なお、電子ペン１のペン先部１０３は、プラスチック又はステンレスなどの素材であり、ＤＯＬ４０上での電子ペン１の接触又は押下によっては、タッチパネル４４の静電容量は変化しない。従って、タッチパネル４４は、電子ペン１によるＤＯＬ４０上での接触及び押下を検出しない。

なお、本発明が適用可能なディスプレイ４の構成は、図５の構成に限定されない。これに代えて、ディスプレイ４は、ドットパターン４２と基材フィルム４３との間、あるいは基材フィルム４３とタッチパネル４４との間に赤外線反射層が設けられ、さらにドットパターン４２が赤外線を吸収するカーボンを含んだインクにより印刷される構成であってもよい。

（２）端末装置の全体構成
次に、端末装置３の全体構成について図６を参照して説明する。端末装置３は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード、マイク等で構成される。端末装置３は、例えば、ディスプレイ４を表示部として備えるｉＰａｄ（登録商標）などのタブレットＰＣやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）等である。端末装置３は、図６に示すように、機能的には、タッチパネル４４及びマイク４６などの入力手段３１、通信手段３２、処理手段３４、記憶手段３５、ディスプレイパネル４５などの表示手段３６、スピーカなどから構成される音声出力手段３７を備える。そして、端末装置３は、電子ペン１から受信した記入情報、及びタッチパネル４４から受信した入力情報（「タッチパネル入力情報」とも呼ぶ。）に基づいて所定の処理を行うものである。

通信手段３２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段３４に伝送する。また、端末装置３は、ＤＯＬ４０に形成されたドットパターン４２にかかる座標系（「ＤＯＬ座標系」とも呼ぶ。）をディスプレイパネル４５にかかる座標系（「ディスプレイ座標系」とも呼ぶ。）に変換するための第１座標変換関数、及び、タッチパネル４４にかかる座標系（「タッチパネル座標系」とも呼ぶ。）をディスプレイ座標系に変換するための第２座標変換関数をそれぞれ求めるキャリブレーション処理機能を有している。さらに、端末装置３は、そのキャリブレーション処理により求められた第１座標変換関数を用いて、ＤＯＬ座標系のデータを受信したときに、ディスプレイ座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする機能、及び、第２座標変換関数を用いて、タッチパネル座標系のデータを受信したときに、ディスプレイ座標系のデータに変換し、ボタン（アイコン）の選択等の所定の処理を行う機能を有している。

処理手段３４は、ＣＰＵ等のプロセッサによって構成され、端末装置３の全体の制御を行う。また、処理手段３４は、上記キャリブレーション処理機能により求めた第１座標変換関数及び第２座標変換関数を記憶手段３５に記憶する。そして、処理手段３４は、以下に述べる表示制御手段３４１と、記憶制御手段３４２と、再生手段３４３とを有する。

表示制御手段３４１は、端末装置３が電子ペン１から記入情報を受信すると、後述する座標定義情報を参照し、当該記入情報が示す座標データがＤＯＬ座標系の座標領域であることを認識する。そして、表示制御手段３４１は、受信した記入情報に含まれる座標データを、第１座標変換関数を用いて、ディスプレイ座標系のデータに変換する。そして、表示制御手段３４１は、変換後の座標データ等に基づくストロークをディスプレイパネル４５に表示させたり、ストロークの該当する位置にボタン等が表示されていた場合には、当該ボタンの選択等の処理を行ったりする。

また、表示制御手段３４１は、端末装置３がタッチパネル４４からタッチパネル入力情報を受信すると、タッチパネル入力情報に含まれるタッチパネル座標系の座標データを、第２座標変換関数を用いて、ディスプレイ座標系のデータに変換する。そして、処理手段３４は、変換後の座標データにボタン等が表示されていた場合には、当該ボタンの選択等の処理を行う。

記憶制御手段３４２は、電子ノート表示エリアＡｒ２への電子ペン１の記入操作により生成された記入情報を、当該記入時に表示されていた電子教科書の頁及び記入時に最前面で表示されていた電子ノートのレイヤと関連付けて記憶手段３５に記憶させる。また、記憶制御手段３４２は、電子教科書表示エリアＡｒ１への電子ペン１の記入操作により生成された記入情報を、当該記入時に表示されていた電子教科書の頁及び記入時に最前面で表示されていた電子ノートのレイヤと関連付けて記憶手段３５に記憶させる。

また、記憶制御手段３４２は、録音ボタン６０が選択されてから再び録音ボタン６０が選択されるまでの時間帯（「録音時間帯」とも呼ぶ。）においてマイク４６から入力された音声データを、録音データとして記憶手段３５に記憶させる。このとき、記憶制御手段３４２は、音声データを、録音時間帯の各時刻を示す時刻情報、及び、当該各時刻で表示されていた電子教科書の頁と関連付けて、録音データとして記憶手段３５に記憶させる。

再生手段３４３は、再生ボタン６１が選択された場合に、電子教科書表示エリアＡｒ１に表示中の電子教科書の頁に関連付けられた録音データ（「対象録音データＶｔａｇ」とも呼ぶ。）の有無の判定し、対象録音データＶｔａｇが記憶手段３５により記憶されている場合には、対象録音データＶｔａｇと対象録音データＶｔａｇの録音時間帯に記入されたストロークとの同時再生を行う。一方、再生手段３４３は、対象録音データＶｔａｇが存在しない場合には、電子教科書表示エリアＡｒ１に表示された電子教科書の頁を表示中に電子ペン１によりディスプレイ４上に記入されたストロークの再生を行う。また、再生手段３４３は、他の再生関連ボタン６２〜６７を選択する入力を検知した場合、選択されたボタンに割り当てられた機能に従って再生の制御を行う。再生手段３４３の具体的な処理については、［再生機能］のセクションで詳しく説明する。

記憶手段３５は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶手段３５は、第１座標変換関数及び第２座標変換関数を記憶する。また、記憶手段３５は、記憶制御手段３４２の処理命令に基づき、電子ペン１から受信した記入情報、マイク４４により入力された音声データ、及びプログラムの実行により生成される所定のデータ等をそれぞれ記憶する。また、記憶手段３５は、電子教科書の各頁を電子教科書表示エリアＡｒ１に表示するための表示データを記憶する。また、記憶手段３５は、ＤＯＬ座標系の座標範囲などのドットパターンの座標範囲に関する座標定義情報を記憶する。

［表示機能］
次に、図１に示すディスプレイ４の画面が有する表示機能について詳しく説明する。

まず、電子ペン１による電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２への記入時の処理について説明する。表示制御手段３４１は、電子ペン１により生成されて送信された記入情報に基づき、電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２への電子ペン１の筆跡を再現したストロークを電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２に描画する。この処理の具体例について、図７を参照して説明する。

図７は、電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２へ電子ペン１による記入が行われた際のディスプレイ４の表示例である。図７の例では、表示制御手段３４１は、電子ペン１により生成されて送信された記入情報に基づき、電子ノート表示エリアＡｒ２へのメモ書き「産業の空洞化」、「為替の変動」それぞれ示すストローク９０ａ，９１ａ、上述のメモ書きの各々に対する電子教科書内の該当箇所を囲んだストローク９０ｂ，９１ｂ、そしてメモ書きと電子教科書内の該当箇所とを結ぶストローク９０ｃ，９１ｃを描画している。そして、この場合、記憶制御手段３４２は、電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２への電子ペン１の記入操作により生成された記入情報を、表示中の電子教科書の頁（図７では第３２頁）及び電子ノートのレイヤ（図７では第１レイヤ）と関連付けて記憶手段３５に記憶させる。

また、図７では、表示制御手段３４１は、電子教科書の頁を表示した電子教科書表示エリアＡｒ１を囲むように、電子ノート表示エリアＡｒ２を設けている。これにより、表示制御手段３４１は、電子教科書の任意の箇所に対するメモを、電子教科書の上下左右の任意の位置にユーザに記入させることができる。図７の例では、表示制御手段３４１は、電子ペン１により生成されて送信された記入情報に基づき、電子教科書表示エリアＡｒ１の左側に「産業の空洞化」の文字列を示すストローク９０ａを表示すると共に、電子ノート表示エリアＡｒ２の右側に「為替の変動」の文字列を示すストローク９１ａを表示している。

次に、タブＴｂ１〜Ｔｂ３の選択に基づく表示の切り替え処理について、引き続き図７を参照して説明する。

表示制御手段３４１は、電子教科書の頁ごとに、電子ノートの各レイヤに対応するタブＴｂ１〜Ｔｂ３を表示させる。図７の例では、表示制御手段３４１は、タブＴｂ１に対応する第１レイヤの電子ノートを電子ノート表示エリアＡｒ２の最前面に表示させると共に、最前面に表示された第１レイヤ以外のレイヤに対応するタブＴｂ２〜Ｔｂ３を選択可能に表示している。そして、表示制御手段３４１は、記入情報又はタッチパネル入力情報に基づき、タブＴｂ１〜Ｔｂ３のいずれかが電子ペン１によるタップ操作又は指によるタッチ操作により選択されたことを検知した場合、選択されたタブＴｂに対応する電子ノートのレイヤを電子ノート表示エリアＡｒ２の最前面に表示させる。この具体例について図８を参照して説明する。

図８は、図７の状態からタブＴｂ２が選択された後のディスプレイ４の表示例である。図８の例では、表示制御手段３４１は、タブＴｂ２が選択されたことを検知し、当該タブＴｂ２に対応する電子ノートの第２レイヤを電子ノート表示エリアＡｒ２の最前面に表示させている。この場合、表示制御手段３４１は、第１レイヤの表示時に電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２に表示されていたストローク９０ａ〜９０ｃ、９１ｂ〜９１ｃ等を非表示にしている。そして、表示制御手段３４１は、電子ノートの第２レイヤを最前面に表示後に電子ペン１から受信した記入情報に基づき、ストローク９２ａ〜９２ｃを電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２上に表示する。この場合、記憶制御手段３４２は、ストローク９２ａ〜９２ｃの描画に用いる記入情報を、電子教科書表示エリアＡｒ１に表示中の電子教科書の頁（即ち第３２頁）及び電子ノート表示エリアＡｒ２の最前面に表示中の電子ノートのレイヤ（即ち第２レイヤ）と関連付けて記憶手段３５に記憶させる。なお、タブＴｂ１が再び選択された場合、表示制御手段３４１は、図７に示すストローク９０ａ〜９０ｃ、９１ａ〜９１ｃを電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２上に再度表示させる。

次に、電子教科書表示エリアＡｒ１に表示する電子教科書の頁の切り替え処理について、図１を参照して説明する。

表示制御手段３４１は、ユーザが電子教科書表示エリアＡｒ１又は電子ノート表示エリアＡｒ２に指をタッチしたまま左方向又は右方向に移動させた場合、タッチパネル入力情報に基づき、接触領域が左方向又は右方向に移動したことを検知し、電子教科書表示エリアＡｒ１に表示する電子教科書の頁を変更する。図１の例では、表示制御手段３４１は、接触領域が右方向に移動したと検知したときには電子教科書表示エリアＡｒ１に表示する電子教科書の頁を１つ前の第３１頁に変更し、接触領域が左方向に移動したことを検知したときには電子教科書表示エリアＡｒ１に表示する電子教科書の頁を次の第３３頁に切り替える。このとき、表示制御手段３４１は、電子ノート表示エリアＡｒ２に表示させる電子ノートの各レイヤを、変更後の電子教科書の頁に対応する電子ノートの各レイヤに切り替える。従って、この場合、表示制御手段３４１は、電子教科書の頁変更前の電子ノートの各レイヤに電子ペン１により記入したストロークを、電子教科書の頁の変更後の電子ノートの各レイヤには表示させない。これにより、表示制御手段３４１は、電子教科書の頁ごとに電子ノート表示エリアＡｒ２への記入内容をそれぞれ表示させる。

［再生機能］
次に、再生ボタン６１が選択された場合の再生機能について詳しく説明する。再生手段３４３は、再生ボタン６１が選択されたことを検知した場合に、対象録音データＶｔａｇが記憶手段３５に記憶されているか否か判定する。以下では、対象録音データＶｔａｇの有無により場合分けして説明する。

（１）対象録音データが存在する場合
まず、再生ボタン６１の選択時に、電子教科書表示エリアＡｒ１に表示された電子教科書の頁に関連付けられた対象録音データＶｔａｇが存在する場合について説明する。

この場合、再生手段３４３は、時間を基準として、対象録音データＶｔａｇと対象録音データＶｔａｇの録音時間帯に記入されたストロークとの同時再生を行う。言い換えると、再生手段３４３は、対象録音データＶｔａｇを音声出力手段３７により出力して再生すると共に、記憶手段３５に記憶された記入情報に含まれる時刻情報を参照し、対象録音データＶｔａｇの録音時間帯に電子ペン１により電子教科書表示エリアＡｒ１上に記入されて生成された記入情報に基づくストロークを、電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２上で再生表示する。この場合、再生手段３４３は、電子ノート表示エリアＡｒ２上で最前面に表示させる電子ノートのレイヤを、再生表示するストロークの描画に必要な記入情報に関連付けられた電子ノートのレイヤに適宜切り替える。また、再生手段３４３は、他の再生に関するボタン６２〜６７が選択されたことを検知した場合、選択されたボタンが有する機能に従い、対象録音データＶｔａｇ及びストロークの再生を制御する。

このとき、好適には、再生手段３４３は、対象録音データＶｔａｇの再生と、対象録音データＶｔａｇの録音時間帯に記入されたストロークの再生とを同期させる処理を行うとよい。例えば、再生手段３４３は、記入情報に含まれる時刻情報が示す時刻と、当該記入情報の受信時に端末装置３が生成する時刻情報が示す時刻との時刻差を予め算出しておき、当該時刻差分だけ、対象録音データＶｔａｇの再生に対してストロークの再生のタイミングをずらす。他の例では、記憶制御手段３４２は、記入情報の受信時に端末装置３が生成した時刻情報を、受信した記入情報に関連づけて記憶し、再生手段３４３は、当該時刻情報を参照してストロークの再生を行う。これにより、再生手段３４３は、録音データにより再生される音声に対して、ストロークの再生がずれるのを好適に抑制することができる。

また、好適には、再生手段３４３は、対象録音データＶｔａｇの録音時間帯における再生開始時点を、電子教科書表示エリアＡｒ１に表示中の電子教科書の頁に応じて決定する。これについて、図９を参照して説明する。

図９（Ａ）は、対象録音データＶｔａｇの録音時間帯と、録音時に表示されていた電子教科書の頁との関係を示すグラフである。

まず、図９（Ａ）の対象録音データＶｔａｇの生成処理について説明する。記憶制御手段３４２は、４月５日の１５時に録音ボタン６０が選択されたことを検知し、マイク４６から入力された音声データを、時刻情報と、電子教科書表示エリアＡｒ１に表示中の電子教科書の第３１頁とを関連付けて録音データとして記憶する。また、記憶制御手段３４２は、１５時１０分から電子教科書の表示頁が変更されたことを検知し、音声データに関連付ける電子教科書の表示頁を第３１頁から第３２頁に変更する。そして、記憶制御手段３４２は、４月５日の１５時半に録音ボタン６０が再び選択されたことを検知し、録音データの記録処理を終了する。

そして、図９（Ａ）の例において、再生手段３４３は、第３１頁の電子教科書の表示中に再生ボタン６１が選択されたことを検知した場合、矢印９３Ａに示すように、対象録音データＶｔａｇを録音時間帯の冒頭から再生させる。一方、再生手段３４３は、第３２頁の電子教科書の表示中に再生ボタン６１が選択されたことを検知した場合、矢印９３Ｂに示すように、対象録音データＶｔａｇを１５時１０分の録音時から再生させる。このように、再生手段３４３は、電子教科書表示エリアＡｒ１に表示中の電子教科書の頁を基準に対象録音データＶｔａｇを再生することで、表示中の電子教科書の頁に関連した部分を優先して音声再生することができる。

図９（Ｂ）は、同一の電子教科書の頁に関連付けられた対象録音データＶｔａｇが２つ存在する場合の各対象録音データＶｔａｇの録音時間帯と、録音時に表示されていた電子教科書の頁との関係を示すグラフである。図９（Ｂ）の例では、記憶制御手段３４２は、図９（Ａ）の例に示した録音データを生成した一週間後の４月１２日に、電子教科書第３２頁及び第３３頁に関連付けられた録音データを生成し、記憶手段３５に各録音データを記憶している。その結果、各録音データの録音時間帯には、それぞれ、電子教科書第３２頁に関連付けられた時間帯が存在する。

図９（Ｂ）の例では、再生手段３４３は、第３２頁の電子教科書の表示中に再生ボタン６１が選択されたことを検知した場合、まず、矢印９３Ｃに示すように、４月５日の対象録音データＶｔａｇの第３２頁の電子教科書に関連付けられた１５時１０分から１５時半までの時間帯に該当する部分を再生する。その後、再生手段３４３は、矢印９３Ｄに示すように、４月１２日の録音データの電子教科書第３２頁に関連付けられた１５時８分から１５時１８分までの時間帯に該当する部分を再生する。

このように、同一の電子教科書の頁に関連付けられた対象録音データＶｔａｇが複数存在する場合、再生手段３４３は、対象録音データＶｔａｇに含まれる時刻情報に基づき、録音順に各録音データの該当部分を連続して再生する。これにより、再生手段３４３は、電子教科書表示エリアＡｒ１に表示された電子教科書の頁を基準に録音データを好適に再生することができる。

（２）対象録音データが存在しない場合
再生手段３４３は、再生ボタン６１が選択されたことを検知したときに、電子教科書表示エリアＡｒ１に表示された電子教科書の頁に関連付けられた対象録音データＶｔａｇが存在しない場合には、電子教科書表示エリアＡｒ１に表示された電子教科書の頁を表示中に電子ペン１により記入されたストロークの再生をストローク単位で行う。

具体的には、この場合、まず、再生手段３４３は、電子教科書表示エリアＡｒ１に表示された電子教科書の頁に関連付けられた記入情報を認識する。そして、再生手段３４３は、記入情報の時刻情報を参照し、記入順番が早いストロークから順に、予め定められた所定の時間間隔（「通常再生間隔」とも呼ぶ。）に従い再生表示する。また、この場合、再生手段３４３は、再生表示するストロークの描画に必要な記入情報に関連付けられた電子ノートのレイヤを、電子ノート表示エリアＡｒ２上で最前面に表示させる。このように、再生手段３４３は、対象録音データＶｔａｇが存在しない場合に、電子教科書表示エリアＡｒ１に表示された電子教科書の頁に関連するストロークをストローク単位で再生することで、ストロークを記入する間隔が疎らであっても、無駄な時間を省いて好適にストロークを再生することができる。

なお、再生手段３４３は、上述の例に代えて、対象録音データＶｔａｇが存在しない場合に、電子ノート表示エリアＡｒ２に最前面で表示された電子ノートのレイヤに記入されたストロークのみを対象に再生を行ってもよい。この場合、再生手段３４３は、電子教科書表示エリアＡｒ１に表示された電子教科書の頁及び電子ノート表示エリアＡｒ２に最前面で表示された電子ノートのレイヤに関連付けられた記入情報を記憶手段３５から抽出し、抽出した記入情報に基づきストロークの再生を行う。

また、再生手段３４３は、他の再生に関するボタン６２〜６７が選択されたことを検知した場合、選択されたボタンが有する機能に従い、ストロークの再生を制御する。例えば、再生手段３４３は、巻き戻し再生ボタン６５が選択されたことを検知した場合には、通常再生間隔よりも短い間隔で、記入された順番が遅い順に、表示中のストロークを同時に１ストロークずつ非表示にする。他の例では、再生手段３４３は、所定時間進むボタン６７が選択された場合、表示されていないストロークのうち、最も書き順が早い所定個数のストロークを同時に表示させる。

［表示システムによる作用効果］
本実施形態の表示システムによれば、端末装置３の表示制御手段３４１は、電子教科書の頁を電子教科書表示エリアＡｒ１に表示させると共に、電子教科書の頁ごとの電子ノートの各レイヤを電子ノート表示エリアＡｒ２に表示させる。そして、端末装置３の記憶制御手段３４２は、電子教科書表示エリアＡｒ１及び電子ノート表示エリアＡｒ２に電子ペン１により記入された記入情報を、電子教科書表示エリアＡｒ１に表示された電子教科書の頁及び電子ノート表示エリアＡｒ２に最前面で表示されたレイヤに関連付けて記憶する。これにより、端末装置３は、電子教科書表示エリアＡｒ１に表示される電子教科書の頁に関連する記入内容を、電子ノートのレイヤごとに分けて記憶し、かつ表示させることができる。

さらに、表示制御手段３４１は、電子教科書の頁を表示した電子教科書表示エリアＡｒ１を囲むように、電子ノート表示エリアＡｒ２を設けている。これにより、表示制御手段３４１は、電子教科書の任意の箇所に対するメモを、電子教科書の上下左右の任意の位置にユーザに記入させることができる。

また、再生手段３４３は、再生ボタン６１が選択された場合に、対象録音データＶｔａｇの有無の判定し、対象録音データＶｔａｇが記憶手段３５により記憶されている場合には、対象録音データＶｔａｇと対象録音データＶｔａｇの録音時間帯に記入されたストロークとを、時間を基準にして同時再生する。一方、再生手段３４３は、対象録音データＶｔａｇが存在しない場合には、表示中の電子教科書の頁に関連付けられた電子ノートに描画されたストロークの再生をストローク単位で行う。これにより、端末装置３は、録音した音声や電子ノートに記入されたストロークをユーザの意図に即して好適に再生することができる。

［変形例］
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。

（変形例１）
図１等の例では、表示制御手段３４１は、１頁分の電子教科書及び電子ノートを画面上に表示させた。これに代えて、表示制御手段３４１は、複数頁分の電子教科書及び電子ノートを画面上に表示させてもよい。

図１０は、変形例に係るディスプレイ４の表示例を示す。図１０の例では、表示制御手段３４１は、電子教科書表示エリアＡｒ１内に電子教科書の見開き頁（第３２頁、第３３頁）を表示している。そして、表示制御手段３４１は、ディスプレイ４に指を接触させたまま左右に移動させる頁めくり操作を検知するごとに、電子教科書表示エリアＡｒ１に表示させる電子教科書の頁を２頁分遷移させる。

このように、図１０の例では、表示制御手段３４１は、電子教科書を見開き頁ごとにディスプレイ４に表示する。また、記憶制御手段３４２は、電子ノート表示エリアＡｒ２への電子ペン１の記入操作により生成された記入情報を、当該記入時に表示されていた電子教科書の見開き頁及び記入時に最前面で表示されていた電子ノートのレイヤと関連付けて記憶手段３５に記憶させる。また、記憶制御手段３４２は、電子教科書表示エリアＡｒ１への電子ペン１の記入操作により生成された記入情報を、当該記入時に表示されていた電子教科書の見開き頁及び記入時に最前面で表示されていた電子ノートのレイヤと関連付けて記憶手段３５に記憶させる。これにより、端末装置３は、電子教科書表示エリアＡｒ１に表示される電子教科書の見開き頁に関連する記入内容を、電子ノートのレイヤごとに好適に記憶及び表示することができる。

（変形例２）
図８の表示例に代えて、表示制御手段３４１は、最前面に表示された電子ノートのレイヤの下層に位置するレイヤに記入されたストロークを目立たないように透過的に表示させてもよい。

図１１は、本変形例において電子教科書第３２頁及び電子ノートの第２レイヤを表示したディスプレイ４の表示例を示す。図１１では、表示制御手段３４１は、電子ノート表示エリアＡｒ２上で最前面に表示された第２レイヤの下層に位置する第１レイヤに記入されたストローク９０ａ〜９０ｃ、９１ａ〜９１ｃを、電子ノート表示エリアＡｒ２上に透過的に表示している。なお、図１１では、便宜上、透過表示されるストローク９０ｂ〜９０ｃ、９１ｂ〜９１ｃを破線により表示し、かつ、透過表示されるストローク９０ａ、９１ａを薄く表示している。このように、本変形例では、表示制御手段３４１は、同一の電子教科書の頁に対応する異なるレイヤに記入されたストロークを目立たないように透過的に表示させることで、同一の電子教科書の頁に関する全ての記入内容を容易にユーザに把握させることができる。

なお、表示制御手段３４１は、ユーザの入力手段３１への入力に基づき指定されたレイヤのストロークのみを透過表示させてもよい。この場合、表示制御手段３４１は、レイヤごとに透過させるか否かを指定させる入力を受け付けてもよい。また、表示制御手段３４１は、図８に示すように電子ノート表示エリアＡｒ２に表示された電子ノートのレイヤ以外のレイヤに記入されたストロークを非表示にする態様と、図１１に示すように電子ノート表示エリアＡｒ２に表示された電子ノートのレイヤ以外のレイヤに記入されたストロークを表示する態様とを、ユーザの入力手段３１への入力に基づき切り替えてもよい。

（変形例３）
ディスプレイ４の構造は、図５に示す構造に限定されない。例えば、ディスプレイ４は、ＤＯＬ４０を有しなくともよい。この場合、タッチパネル４４は、抵抗膜方式タッチパネル、超音波方式タッチパネル、光学方式タッチパネルなどの種々の方式のタッチパネルであり、スタイラスによる接触を検知する。そして、この場合、端末装置３は、タッチパネル入力情報に基づき、電子ノート上に記入された筆跡を再現したストロークを描画する。

他の例では、ディスプレイ４は、タッチパネル４４を有しなくともよい。この場合、端末装置３は、電子ペン１のタップ操作により生成されて送信された記入情報やマウスのクリック操作に基づき各種ボタンの選択を認識する。

（変形例４）
図１等の例では、表示制御手段３４１は、各電子教科書の頁につき３つのレイヤの電子ノートを切り替えて表示させた。しかし、本発明が適用可能な電子ノートのレイヤ数はこれに限定されず、２以上の任意の数であってもよい。また、表示制御手段３４１は、ユーザの入力手段３１への入力に基づき、電子教科書の頁ごとに電子ノートのレイヤ数を増減させてもよい。
（変形例５）
第１実施形態において、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。また、ドットパターン（コード化パターン）も、位置座標を示すものに限られず、アイコンを識別するためのコード値や、関連付けエリアを識別するためのコード値を示すものであってもよい。

１…電子ペン
３…端末装置
４…ディスプレイ
３１ 入力手段
３２…通信手段
３４…処理手段
３５…記憶手段
３６…表示手段
３７…音声出力手段
４０…ＤＯＬ
４４…タッチパネル
４５…ディスプレイパネル

Claims (10)

1. 電子教材を画面上における第１エリアに表示させると共に、前記第１エリアに表示される電子教材の頁ごとに複数のレイヤを有する電子ノートを画面上における第２エリアに表示させる表示制御手段と、
   前記第１又は第２エリアに記入されたストロークの情報を、前記第１エリアに表示された前記電子教材の頁及び前記第２エリアに最前面で表示されたレイヤに関連付けて記憶する記憶制御手段と、
   前記ストロークを再生する再生手段と、を有し、
   前記記憶制御手段は、入力手段により入力された音声の録音データを、前記第１エリアに表示中の電子教材の頁と関連付けて記憶し、
   前記再生手段は、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在するときには、当該録音データと、前記第１又は第２エリアに描画する前記ストロークとを、時間を基準として再生し、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在しないときには、前記第１又は第２エリアに描画する前記ストロークを、ストローク単位で再生することを特徴とするコンピュータ装置。
2. 前記表示制御手段は、前記第２エリアを、前記第１エリアを囲む位置を含むように設けることを特徴とする請求項１に記載のコンピュータ装置。
3. 前記表示制御手段は、前記複数のレイヤの各々に対応するタブを選択可能に表示し、選択されたタブに対応するレイヤを前記第２エリアの最前面に表示させることを特徴とする請求項１または２に記載のコンピュータ装置。
4. 前記表示制御手段は、前記第２エリアの最前面のレイヤ以外のレイヤに記入された前記ストロークを非表示にすることを特徴とする請求項１〜３のいずれか一項に記載のコンピュータ装置。
5. 前記表示制御手段は、前記第２エリアの最前面のレイヤ以外のレイヤに記入された前記ストロークを透過して表示することを特徴とする請求項１〜３のいずれか一項に記載のコンピュータ装置。
6. 前記記憶制御手段は、前記第１エリアに記入された前記ストロークの情報を、当該ストロークの記入時に前記第１エリアに表示された前記電子教材の頁及び前記第２エリアに最前面で表示された電子ノートのレイヤに関連付けて記憶し、
   前記表示制御手段は、前記第１エリアに記入された前記ストロークを、当該ストロークを示す情報に関連付けられた電子教材の頁が表示中であって、当該ストロークを示す情報に関連付けられたレイヤが最前面に表示されているときに、前記第１エリア上に表示させることを特徴とする請求項１〜５のいずれか一項に記載のコンピュータ装置。
7. 前記再生手段は、前記録音データの再生の開始時点を、前記第１エリアに表示中の電子教材の頁を基準として決定することを特徴とする請求項１〜６のいずれか一項に記載のコンピュータ装置。
8. 前記再生手段は、前記時間を基準として再生する場合、前記録音データの再生と前記ストロークの再生とを同期させる処理を行うことを特徴とする請求項１〜７のいずれか一項に記載のコンピュータ装置。
9. 前記表示制御手段は、前記第１エリアに電子教材の見開き頁を表示させることを特徴とする請求項１〜８のいずれか一項に記載のコンピュータ装置。
10. コンピュータ装置を、請求項１〜９のいずれか一項に記載のコンピュータ装置の各手段として機能させるためのプログラム。