JP6183111B2 - 並べ替え装置及びプログラム - Google Patents

Description

本発明は、表示する頁を並べ替える技術に関する。

従来から、電子書籍などのファイルの各頁にユーザがメモ書きをすることが可能な技術が知られている。例えば、特許文献１には、文中に線を引いたり、メモや落書き等の書き込みをしたりすることが可能な電子書籍装置が開示されている。また、特許文献２には、ファイルの各頁に対し、頁の表示順が関連付けられたキーワードをユーザ操作により付加し、付加されたキーワードに基づきファイルの各頁を並べる並び順管理装置が開示されている。その他、本発明に関連する技術が特許文献３及び４に記載されている。

特開２００５−１４１４８８号公報 特許第４７３６６０６号公報 特許第３８７２４９８号公報 特表２００３−５２９８５３号公報

電子教科書などのファイルの各頁にメモ書きなどを施した場合、メモ書き等を施した頁を時系列に並べて表示できると便宜である。そこで、本発明は、書き込みがなされた頁の表示順を好適に決定することが可能な並べ替え装置及びプログラムを提供することを主な目的とする。

本発明の１つの観点では、頁ごとに表示可能なファイルの頁の表示順を管理する並べ替え装置であって、前記ファイルの任意の頁への記入に関する入力を受け付ける入力受付手段と、前記記入に関する入力に基づき、前記記入がなされた順番になるように前記ファイルの各頁の表示順を決定する表示順決定手段と、前記表示順決定手段が決定した表示順に従い、前記ファイルの各頁を表示部に表示させる表示制御手段と、を有し、前記表示順決定手段は、他の頁への記入を挟んで複数回にわたって記入された頁が存在する場合、前記頁の最新の記入に基づき、前記表示順を決定する。

上記の並べ替え装置は、頁ごとに表示可能なファイルの頁の表示順を管理し、入力受付手段と、表示順決定手段と、表示制御手段とを有する。入力受付手段は、ファイルの任意の頁への記入に関する入力を受け付ける。表示順決定手段は、記入に関する入力に基づき、記入がなされた順番になるようにファイルの各頁の表示順を決定する。表示制御手段は、表示順決定手段が決定した表示順に従い、ファイルの各頁を表示部に表示させる。この態様により、並べ替え装置は、メモ書きなどの記入がなされたファイルの各頁を、記入順に従い並べて表示することができる。これにより、ユーザは、メモ書き等を施した関連箇所を連続的に確認することができ、利便性が向上する。
また、前記表示順決定手段は、他の頁への記入を挟んで複数回にわたって記入された頁が存在する場合、前記頁の最新の記入に基づき、前記表示順を決定する。この態様により、並べ替え装置は、記入がなされたファイルの各頁の表示順を好適に決定することができる。
本発明の他の観点では、頁ごとに表示可能なファイルの頁の表示順を管理する並べ替え装置であって、前記ファイルの任意の頁への記入に関する入力を受け付ける入力受付手段と、前記記入に関する入力に基づき、前記記入がなされた順番になるように前記ファイルの各頁の表示順を決定する表示順決定手段と、前記表示順決定手段が決定した表示順に従い、前記ファイルの各頁を表示部に表示させる表示制御手段と、を有し、前記表示順決定手段は、他の頁への記入を挟んで複数回にわたって記入された頁が存在する場合、前記複数回にわたって記入された頁を複製して前記表示するように表示順を決定する。この態様により、並べ替え装置は、他の頁への記入を挟んで複数回にわたって記入された頁が存在する場合であっても、記入順に従いファイルの各頁を好適に並べて表示することができる。

上記並べ替え装置の一態様では、前記表示順決定手段は、記入がなされた前記ファイルの頁を順次上位に設定する。この態様により、並べ替え装置は、最近に記入された頁ほど表示順を上位に設定し、利便性を高めることができる。

上記並べ替え装置の他の一態様では、並べ替え装置は、前記入力受付手段が受け付けた前記記入に関する情報を、前記記入の時刻を示す時刻情報と共に記憶部に記憶させる記憶制御手段をさらに有し、前記表示順決定手段は、前記時刻情報に基づき、前記表示順を決定する。この態様により、並べ替え装置は、記入がなされたファイルの各頁を、時刻情報に基づき記入順になるように的確に並べて表示することができる。

上記並べ替え装置の他の一態様では、前記表示順決定手段は、前記記入に関する情報のうち、記入者が意図しない記入に関する情報を除外して前記表示順を決定する。この態様により、ユーザが意図しない操作により描かれたストロークが存在する場合であっても、当該ストロークの存在を無視してファイルの各頁の表示順を好適に決定することができる。

上記並べ替え装置の他の一態様では、前記入力受付手段は、前記ファイルの頁に対応する用紙への電子ペンによる記入情報を、前記記入に関する入力として受け付ける。この態様により、並べ替え装置は、ファイルの頁を印刷した用紙への電子ペンによる書き込みを認識し、ファイルの各頁の表示順を決定することができる。

上記並べ替え装置の他の一態様では、前記入力受付手段は、前記表示部への接触を入力として受け付ける。この態様により、並べ替え装置は、表示部に表示されたファイルの頁への書き込みを認識し、ファイルの各頁の表示順を決定することができる。

本発明に係るプログラムは、上記記載のいずれか一つの並べ替え装置として機能させる。これらのプログラムを並べ替え装置にインストールして機能させることで、本発明に係る並べ替え装置を構成させることができる。

本発明によれば、並べ替え装置は、メモ書きなどの記入がなされたファイルの各頁を、記入順に従い並べて表示することができる。これにより、ユーザは、メモ書き等を施した関連箇所を連続的に確認することができ、利便性が向上する。

第１実施形態に係る表示システムの構成を示す。 並べ替え装置により表示された教科書の表示例を示す。 ドットパターンのドットとそのドットが変換される値との関係を示す。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 並べ替え装置の機能ブロック図である。 座標定義情報のデータ構造の一例である。 第１実施形態における教科書の各頁の表示順の決定処理を示すフローチャートである。 電子ペンによる教科書の各頁への書き込み及び各頁に対応するサムネイル画像の表示順を時系列により示した図である。 図９に示す記入が全てなされた後の表示画面を示す。 図９の例で時刻Ｔ３以後に再び教科書の第３頁に記入がなされた場合の表示画面を示す。 第２実施形態に係る表示システムの構成例を示す。 ディスプレイの構成を示す。 第２実施形態における教科書の各頁の表示順の決定処理を示すフローチャートである。

以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。

＜第１実施形態＞
まず、第１実施形態に係る表示システムについて説明する。

［表示システムの構成］
図１は、第１実施形態に係る表示システムの構成を示す。図１に示すように、表示システムは、電子ペン１と、各頁の略全面にドットパターン（コード化パターン）が印刷された教科書（教材）２と、電子ペン１から記入情報等を受信して処理する並べ替え装置３とを備える。そして、並べ替え装置３は、電子ペン１により書き込みがされた教科書２の各頁の画像を表示する際に、教科書２の各頁へのユーザの記入順序に従い、表示する教科書２の頁の画像を並べて表示する。以下、表示システムの各構成要素について説明する。

（１）教科書
まず、教科書（電子ペン用図書）２について説明する。教科書２の各頁には、それぞれ異なる座標範囲のドットパターンが印刷される。ドットパターンは、電子ペン１により読み取ることができるように赤外線を吸収するカーボンを含んだインクにより印刷され、その他の文字や図などは、赤外線を吸収しないインキにより印刷される。また、教科書２の電子データは、並べ替え装置３により記憶され、教科書２の各頁を示す画像が並べ替え装置３により表示される。

図２は、並べ替え装置３により表示された教科書２の表示例を示す。図２に示す表示画面は、教科書２の各頁（ここでは第１頁〜第４頁）に対応するサムネイル画像４１（４１Ａ〜４１Ｄ）を表示する第１表示領域４０と、第１表示領域４０に表示されたサムネイル画像４１Ａ〜４１Ｄの中からユーザがマウス操作等により指定した画像（ここではサムネイル画像４１Ａ）を拡大したメイン表示画像５１を表示する第２表示領域５０とを有する。

後述するように、並べ替え装置３は、電子ペン１により記入された教科書２の頁に対応するサムネイル画像４１及びメイン表示画像５１に、教科書２の頁上での電子ペン１の筆跡を再現したストロークを重畳して表示する。さらに、並べ替え装置３は、第１表示領域４０に表示されるサムネイル画像４１の表示順を、電子ペン１による教科書２への記入操作に基づき適宜変更する。

（２）ドットパターン
続いて、教科書２の各頁に印刷されたアノト方式のドットパターン（コード化パターン）について図３及び図４を用いて説明する。図３は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、教科書２の各頁上の位置座標が決定されるよう構成されている。なお、教科書２の頁同士では座標領域が重ならないようドットパターンが形成される。

図４（ａ）は、あるドットパターンの配列を示している。図４（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、教科書２の各頁上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンが教科書２の各頁上のどの位置にあるのか）を保持している。図４（ｂ）は、図４（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

（３）電子ペン
次に、電子ペン１について図５を用いて説明する。図５は、電子ペン１の構造を示す概略図である。図５に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。インクカートリッジ１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３を教科書２の各頁に当接させて、ストローク（手書きストローク）を記入する。ここで、電子ペン１のペン先部１０３が教科書２の各頁等に最初に接触することを「ペンダウン」と呼び、接触している（当接している）状態からペン先部１０３が離れることを「ペンアップ」と呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。

バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１により教科書２の各頁等に文字やマークを書いたりタップしたりする際にペン先部１０３からインクカートリッジ１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１で教科書２の各頁等に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報（以後、「ペンダウン情報」と呼ぶ。）と、後述する電子ペン１の識別情報（以後、「ペンＩＤ」と呼ぶ。）とを関連付けて、記入情報として並べ替え装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１を教科書２の各頁から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報（以後、「ペンアップ情報」と呼ぶ。）とペンＩＤとを関連付けて、記入情報として並べ替え装置３へ送信する。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、教科書２の各頁上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３が教科書２の各頁に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、教科書２の各頁に文字や図面などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ１０８は、ドットパターンを認識することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図４（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）の教科書２の各頁等におけるＸ、Ｙ座標（以後、単に「座標データ」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際にその機能が実行される。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、教科書２の各頁における６×６のドットパターンは、教科書２の各頁内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置が教科書２の各頁のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報として並べ替え装置３へ送信する。この場合の通信ユニット１１１による並べ替え装置３への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されて並べ替え装置３に送信された１個又は複数個の座標属性情報は、並べ替え装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、並べ替え装置３は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。

なお、電子ペン１は、インクカートリッジ１０４に代えて、インキが充填されていないペン部を備えてもよい。

（４）並べ替え装置
次に、並べ替え装置３について説明する。並べ替え装置３は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成される。なお、並べ替え装置３は、ｉＰａｄ（登録商標）などのタブレットＰＣやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）、またはディスプレイを備えるＰＣ（パーソナルコンピュータ）等で構成されてもよい。

図６は、並べ替え装置３の機能ブロック図である。並べ替え装置３は、機能的には、マウスやキーボードといった入力部３１、通信部３２、記憶部３３、処理部３４、及び表示部３６を備える。通信部３２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、受信した情報を処理部３４に伝送する。表示部３６は、ディスプレイ等によって構成され、処理部３４によって指示された内容を表示する。

処理部３４は、ＣＰＵ等のプロセッサによって構成され、記憶部３３に記憶されたプログラムを実行することで、並べ替え装置３の全体の制御を行う。処理部３４は、入力受付手段３４１と、記憶制御手段３４２と、表示制御手段３４３と、表示順決定手段３４４とを有する。

入力受付手段３４１は、教科書２が電子ペン１により記入された場合に、電子ペン１により生成され送信されてきた記入情報を通信部３２により受信する。記憶制御手段３４２は、通信部３２が受信した記入情報を、当該記入情報が示すストロークが書き込まれた教科書２の頁番号と関連付けて記憶部３３に記憶する。

表示制御手段３４３は、記憶部３３に記憶された教科書２の電子データに基づき、図２に示すサムネイル画像４１やメイン表示画像５１などの教科書２の頁を示す画像を表示する。また、表示制御手段３４３は、後述する座標定義情報を参照し、通信部３２が受信した記入情報に含まれる座標データに基づき、電子ペン１により記入された教科書２の頁を示す画像上に、電子ペン１の筆跡を再現したストロークを表示部３６に表示させる。また、この場合、表示制御手段３４３は、電子ペン１により記入された教科書２の頁を示す画像を、メイン表示画像５１として表示画面の第２表示領域５０に表示させる。さらに、表示制御手段３４３は、後述する表示順決定手段３４４が決定した表示順に従い、サムネイル画像４１を適宜並べ替える。

表示順決定手段３４４は、教科書２の各頁に対する電子ペン１の記入順序に従い、表示制御手段３４３が表示部３６に表示させる教科書２の各頁の表示順序（即ち、サムネイル画像４１Ａ〜４１Ｄの並び順）を決定する。

記憶部３３は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶部３３は、教科書２の各頁に印刷されたドットパターンが示す座標範囲の情報（「座標定義情報」とも呼ぶ。）を記憶する。図７は、座標定義情報のデータ構造の一例である。図７の例では、座標定義情報は、教科書２の頁毎に、教科書２の種類を識別するための教科書ＩＤを示す項目と、頁番号を示す項目と、教科書２の頁に印刷されたドットパターンの座標範囲を示す項目とを含む。なお、ここでは、図１に示す教科書２の教科書ＩＤは「Ｒ０１」であるものとし、頁内位置は、角の位置座標（Ｘｎ，Ｙｎ）、高さ（Ｙ方向）、幅（Ｘ方向）で規定されている。また、記憶部３３は、教科書２の各頁の画像を表示するためのファイル（電子データ）を予め記憶している。また、記憶部３３は、処理部３４が所定の処理を実行するのに必要なプログラムを予め記憶している。

また、記憶部３３は、記憶制御手段３４２の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶する。また、記憶部３３は、受信した記入情報が示す座標位置が教科書２の頁内の位置を示す場合には、受信した記入情報を、記入がなされた教科書２の頁番号と関連付けて記憶する。

［表示順の決定］
次に、処理部３４が実行する教科書２の各頁を示すサムネイル画像４１の表示順の決定処理（「表示順決定処理」とも呼ぶ。）について説明する。

（１）基本説明
図８は、処理部３４が実行する表示順決定処理を示すフローチャートである。処理部３４は、図８に示すフローチャートの処理を繰り返し実行する。

まず、処理部３４の入力受付手段３４１は、教科書２への書き込みに基づき生成された記入情報を電子ペン１から受信したか否か判定する（ステップＳ１０１）。例えば、入力受付手段３４１は、受信した記入情報に含まれる座標情報が、座標定義情報に教科書２の頁番号と関連付けて記憶されたドットパターンの座標範囲内の位置を示す場合、教科書２への書き込みに基づき生成された記入情報を電子ペン１から受信したと判断する。そして、入力受付手段３４１は、教科書２への書き込みに基づき生成された記入情報を電子ペン１から受信したと判断した場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２へ処理を進める。一方、入力受付手段３４１は、教科書２への書き込みに基づき生成された記入情報を電子ペン１から受信していないと判断した場合（ステップＳ１０１；Ｎｏ）、引き続きステップＳ１０１の判定を行う。

次に、処理部３４の記憶制御手段３４２は、記入された教科書２の頁番号と、ステップＳ１０１で受信した記入情報とを関連付けて記憶する（ステップＳ１０２）。この場合、記憶制御手段３４２は、例えば、座標定義情報を参照し、記入情報に含まれる座標情報が示す座標位置に関連付けられた教科書２の頁番号を、記入された教科書２の頁番号として認識する。他の例では、記憶制御手段３４２は、第２表示領域５０に表示中のメイン表示画像５１に対応する教科書２の頁番号を、記入された教科書２の頁番号として認識する。

次に、処理部３４の表示順決定手段３４４は、電子ペン１による記入順に従い、教科書２の各頁の表示順を決定する（ステップＳ１０３）。具体的には、まず、表示順決定手段３４４は、教科書２の頁番号と関連付けて記憶部３３に記憶した記入情報に含まれる時刻情報を参照し、教科書２の各頁について、電子ペン１による記入があった最新の（即ち最も遅い）時刻（「記入最新時刻」とも呼ぶ。）を認識する。そして、表示順決定手段３４４は、記入最新時刻が早い順になるように、教科書２の各頁の表示順を決定する。また、表示順決定手段３４４は、電子ペン１による記入がなされていない教科書２の頁の表示順を、電子ペン１による記入がされている教科書２の頁の表示順よりも後にする。

次に、処理部３４の表示制御手段３４３は、表示順決定手段３４４が決定した表示順に従い、教科書２の各頁を示す画像を並べて表示する（ステップＳ１０４）。図２の例では、表示制御手段３４３は、教科書２の各頁に対応するサムネイル画像４１を、ステップＳ１０３で決定した表示順に従い並べ替えて表示する。

（２）具体例
次に、図２の状態から教科書２の各頁に電子ペン１により記入がなされた場合の表示部３６の表示画面例について説明する。

図９は、電子ペン１による教科書２の各頁への書き込み及び各頁に対応するサムネイル画像４１の表示順を時系列により示した図である。図９の例では、ユーザは、まず時刻「Ｔ１」の前後において教科書２の第３頁に所定の書き込みをした後、時刻「Ｔ２」の前後において教科書２の第２頁に所定の書き込みをし、さらに時刻「Ｔ３」の前後において教科書２の第４頁に所定の書き込みをしたものとする。

この場合、表示順決定手段３４４は、電子ペン１から受信した各記入時刻を示す時刻情報を含む記入情報を並べ替え装置３が受信するごとに、記入最新時刻が早い順になるように教科書２の各頁の表示順を決定し、表示制御手段３４３は、決定された表示順に従い各サムネイル画像４１を並べ替えて表示する。

具体的には、時刻Ｔ１の前後では、教科書２の第３頁への電子ペン１による記入に基づき生成された記入情報を並べ替え装置３が受信することにより、表示順決定手段３４４は、記入された教科書２の第３頁のサムネイル画像４１Ｃの表示順が１番になるように第１表示領域４０内のサムネイル画像４１Ａ〜４１Ｄの表示順を変更する。このように、表示順決定手段３４４は、記入がなされた頁（ここでは第３頁）のサムネイル画像４１の表示順を順次上位に設定する。

また、時刻Ｔ２の前後では、教科書２の第２頁への電子ペン１による記入に基づき生成された記入情報を並べ替え装置３が受信することにより、表示順決定手段３４４は、記入された教科書２の第２頁の表示順を変更する。具体的には、表示順決定手段３４４は、記入最新時刻が最も早い時刻Ｔ１前後の第３頁のサムネイル画像４１の表示順が１番になり、かつ、記入された教科書２の第２頁のサムネイル画像４１の表示順が２番になるように、第１表示領域４０内のサムネイル画像４１Ａ〜４１Ｄの表示順を変更する。

さらに、時刻Ｔ３の前後では、教科書２の第４頁への電子ペン１による記入に基づき生成された記入情報を並べ替え装置３が受信することにより、表示順決定手段３４４は、記入された教科書２の第４頁の表示順を変更する。具体的には、表示制御手段３４３は、教科書２の第４頁のサムネイル画像４１の表示順を、電子ペン１による記入がなされていない教科書２の第１頁のサムネイル画像４１の表示順よりも先にする。

図１０は、図９に示す電子ペン１による記入が全てなされた後の表示部３６の表示画面を示す。図１０に示すように、表示制御手段３４３は、図８のステップ記入最新時刻が時刻Ｔ１の前後である教科書２の第３頁を示すサムネイル画像４１Ｃを先頭に配置して表示している。さらに、表示制御手段３４３は、記入最新時刻が時刻Ｔ１より後の時刻Ｔ２の前後である教科書２の第２頁を示すサムネイル画像４１Ｂを２番目に配置し、記入最新時刻が時刻Ｔ２より後の時刻Ｔ３の前後である教科書２の第４頁を示すサムネイル画像４１Ｄを３番目に配置して表示している。そして、表示制御手段３４３は、電子ペン１による書き込みがない教科書２の第１頁を示すサムネイル画像４１Ａを最後尾に配置して表示している。また、表示制御手段３４３は、最後に書き込みが行われた教科書の第４頁の画像を、メイン表示画像５１として第２表示領域５０に表示している。

なお、表示制御手段３４３は、入力部３１により所定の入力を検知した場合に、教科書２の各頁を示す画像を、第１表示領域４０に表示したサムネイル画像４１の表示順に従いスライドショーにより順次表示させてもよい。

［第１実施形態の表示システムによる作用効果］
第１実施形態の表示システムによれば、並べ替え装置３は、電子ペン１による教科書２の頁への記入操作に基づき電子ペン１から受信した記入情報を用いて、教科書２の各頁を示すサムネイル画像４１を、教科書２の各頁への電子ペン１による記入順に並べて表示する。これにより、ユーザは、教科書２への電子ペン１による記入内容を並べ替え装置３上で確認する際に、メモ書き等を施した関連箇所を連続的に確認することができる。また、並べ替え装置３は、電子ペン１による記入がなされていない教科書２の頁の表示順よりも、電子ペン１による記入がされている教科書２の頁の表示順を上位にすることで、メモ書き等を施した頁を優先的に表示することができる。

［変形例］
次に、第１実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。

（変形例１）
表示制御手段３４３は、他の頁への記入を挟んで複数回にわたって記入された教科書２の頁が存在する場合、当該頁のサムネイル画像４１を複製することで、電子ペン１による記入順になるようにサムネイル画像４１を並べて表示してもよい。

図１１は、図９の例で時刻Ｔ３以後に教科書２の第３頁に電子ペン１により記入がなされた場合の表示部３６の表示画面を示す。図１１の例では、第３頁に対して電子ペン１により記入がなされ、その後、第２頁及び第４頁に対して電子ペン１により記入がなされた後、再び第３頁に対して電子ペン１により記入がなされている。

この場合、表示制御手段３４３は、第３頁のサムネイル画像４１Ｃを複製して１番目と４番目に並べて表示することで、サムネイル画像４１Ａ〜４１Ｄが記入順になるように並べている。なお、図１１の例では、表示順が最後となる第１頁のサムネイル画像４１Ａは、第１表示領域４０の表示スペースから外れた位置に存在することにより、一時的に非表示となっている。

このように、本変形例によれば、他の頁への記入後に再び記入された教科書２の頁が存在する場合であっても、並べ替え装置３は、教科書２の各頁を示す画像を、記入順に即して好適に並べて表示することができる。

（変形例２）
図８のフローチャートの例では、表示制御手段３４３及び表示順決定手段３４４は、記入情報を並べ替え装置３が受信する度に、ステップＳ１０３及びステップＳ１０４において、教科書２の各頁を示す画像を並べ替える処理を行った。これに代えて、表示制御手段３４３及び表示順決定手段３４４は、並べ替えを指示する所定の入力を入力部３１により検知した場合に、図８のステップＳ１０３及びステップＳ１０４の処理を実行してもよい。他の例では、表示制御手段３４３及び表示順決定手段３４４は、ペンアップ情報が付された記入情報を並べ替え装置３が受信するごとに、図８のステップＳ１０３及びステップＳ１０４の処理を実行してもよい。この場合、表示制御手段３４３及び表示順決定手段３４４は、電子ペン１による１つのストロークの記入が終わるごとに、ステップＳ１０３及びステップＳ１０４の並べ替え処理を実行する。

（変形例３）
表示順決定手段３４４は、ストローク長が短いなどの所定の条件に該当する教科書２へのストロークに対応する記入情報を、教科書２の各頁の表示順を決定する処理に用いる記入情報から除外してもよい。これにより、並べ替え装置３は、記入者が電子ペン１を不意に教科書２の頁上に置いた場合など、記入者が意図しない場合に生成された記入情報を用いることなく、教科書２の各頁の表示順を好適に決定する。

例えば、表示順決定手段３４４は、ペンアップ情報が付された記入情報を並べ替え装置３が受信するごとに、ペンダウン情報が付された記入情報の受信時からペンアップ情報が付された記入情報の受信時までに受信した各記入情報に基づき、教科書２に記入されたストロークを認識し、当該ストロークの長さ（ストローク長）を算出する。そして、表示順決定手段３４４は、認識したストローク長が所定の長さ（例えば数ｍｍ）未満の場合には、認識したストロークに対応する記入情報を、図８のステップＳ１０３の表示順決定処理で使用しない。従って、表示順決定手段３４４は、ストローク長が所定の長さ以上であると認識した場合に限り、図８のステップＳ１０３の処理を実行する。

他の例では、表示順決定手段３４４は、教科書２に記入されたストロークを認識した場合、ペンダウン情報が付された記入情報に含まれる時刻情報と、ペンアップ情報が付された記入情報に含まれる時刻情報とに基づきストロークの記入時間を算出する。そして、表示順決定手段３４４は、算出したストロークの記入時間が所定秒未満の場合には、認識したストロークに対応する記入情報を、図８のステップＳ１０３の表示順決定処理で使用しない。

さらに別の例では、表示順決定手段３４４は、図８のステップＳ１０３で教科書２の各頁の表示順を決定する際、記憶部３３に記憶された記入情報に基づき、教科書２の各頁に記入されたストローク数を算出する。そして、表示制御手段３４３は、算出したストローク数が所定個未満の教科書２の頁を、ステップＳ１０３の処理において未記入の頁とみなす。

これらの例によれば、並べ替え装置３は、記入者が意図せずに記入したストロークに対応する記入情報を好適に除外し、実質的に記入した順序に基づき教科書２の各頁を並べて表示することができる。

（変形例４）
図８のステップＳ１０３では、表示順決定手段３４４は、記入情報に含まれる時刻情報に基づき、サムネイル画像４１の表示順を決定した。しかし、本発明が適用可能な方法は、これに限定されない。

例えば、表示順決定手段３４４は、記入情報に含まれる時刻情報に代えて、並べ替え装置３が生成した時刻情報に基づき、サムネイル画像４１の表示順を決定してもよい。この場合、記憶制御手段３４２は、ステップＳ１０２において、記入情報及び頁番号と共に、並べ替え装置３が生成した時刻情報を、記憶部３３に記憶する。

他の例では、図８のステップＳ１０３の処理を実行する場合、表示順決定手段３４４は、記入情報に含まれる時刻情報を参照することなく、サムネイル画像４１の表示順を決定してもよい。例えば、この場合、表示順決定手段３４４は、ステップＳ１０１で受信した記入情報に基づき認識した記入対象の教科書２の頁を、既に記入がなされた頁の最後尾（即ち、未記入頁の直前）に配列する。これによっても、表示順決定手段３４４は、記入順になるように好適にサムネイル画像４１の表示順を決定することができる。

（変形例５）
並べ替え装置３が並べ替えて表示する対象は、教科書２の各頁を示す画像に限定されない。これに代えて、並べ替え装置３は、各頁を示す画像（スライド）を有するファイルを表示する際の各頁の画像を並べ替えて表示してもよい。上述のファイルは、例えばＰｏｗｅｒＰｏｉｎｔ（登録商標）やＰＤＦ（登録商標）のファイルである。

この場合、例えば、ファイルの各頁の画像は、ドットパターンが付された用紙に予め印刷されており、ユーザは、上述の用紙に対して電子ペン１により記入を行う。そして、並べ替え装置３は、電子ペン１から受信する記入情報に基づき、図８のフローチャートと同様の処理を実行することで、ファイルの各頁の画像を記入順に並べ替える。

（変形例７）
上記実施形態において、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。また、ドットパターン（コード化パターン）も、位置座標を示すものに限られず、アイコンを識別するためのコード値や、関連付けエリアを識別するためのコード値を示すものであってもよい。

＜第２実施形態＞
図１２は、第２実施形態に係る表示システムの構成例を示す。図１２に示す表示システムは、教科書２及び並べ替え装置３に代えてタブレット端末３Ａを有する点で、図１に示す表示システムと異なる。

タブレット端末３Ａは、教科書の各頁を示す画像をディスプレイ６に表示させる。また、タブレット端末３Ａは、後述するタッチパネルを有し、電子ペン１に基づく入力（「電子ペン入力」とも呼ぶ。）と、タッチパネルに基づく入力（「タッチパネル入力」とも呼ぶ。）との両方の入力が可能である。

タブレット端末３Ａは、例えば、図６に示す並べ替え装置３の構成と同様の構成を有する。具体的には、タブレット端末３Ａは、後述するタッチパネルなどの入力部３１、電子ペン１から記入情報を受信するための通信部３２、ディスプレイ６に積層されたドットパターンの座標定義情報等を記憶する記憶部３３、タブレット端末３Ａの全体を制御する処理部３４、及びディスプレイパネルなどの表示部３６を備える。タブレット端末３Ａは、本発明における「並べ替え装置」の一例である。

図１３は、ディスプレイ６の構成を示す。図１３に示すように、ディスプレイ６は、多層構造を有し、上層から順に、ドットフィルム６０と、タッチパネル６４と、ディスプレイパネル６５と、を備える。

ドットフィルム６０は、ディスプレイ６の最上層に配置される。ドットフィルム６０は、ポリエチレンテレフタラートなどの透明樹脂基板である基材フィルム６３に、電子ペン１により読み取ることができるよう赤外線を反射する素材（酸化チタン、コレステリック液晶、赤外線反射性顔料など）を含んだインクによりドットパターン（コード化パターン）４２が印刷され、さらに透明なＥＢ硬化樹脂などの保護層６１で保護された層構成を有している。ここで、ドットパターン６２を、赤外線を反射する素材で印刷しているのは、ドットフィルム６０の下層にあるディスプレイパネル６５から様々な色の可視光が放射されても、電子ペン１によってコントラストよくドットパターン６２を認識させるのに、望ましいからである。なお、この場合、ドットバターン６２のドットの部分は、赤外線の反射量が比較的多く、ドット以外の部分は赤外線の反射量が比較的少ないことから、電子ペン１は、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別し、ドットパターン６２を好適に認識することができる。

ドットフィルム６０の裏面には、タッチパネル６４が接着されている。タッチパネル６４は、ドットフィルム６０上での指の押下による静電容量の変化を捉えて位置を検出する静電容量方式のタッチパネルである。なお、電子ペン１のペン先部１０３は、プラスチック又はステンレスなどの素材であり、ドットフィルム６０上での電子ペン１の接触又は押下によっては、タッチパネル６４の静電容量は変化しない。従って、タッチパネル６４は、電子ペン１によるドットフィルム６０上での接触及び押下を検出しない。以後では、タッチパネル６４が生成する処理部３４への入力信号を「タッチパネル入力情報」とも呼ぶ。

なお、本発明が適用可能なディスプレイ６の構成は、図１３の構成に限定されない。これに代えて、ディスプレイ６は、ドットパターン６２と基材フィルム６３との間、あるいは基材フィルム６３とタッチパネル６４との間に赤外線反射層が設けられ、さらにドットパターン６２が赤外線を吸収するカーボンを含んだインクにより印刷される構成であってもよい。

次に、タブレット端末３Ａが実行する処理について説明する。例えば、タブレット端末３Ａは、図２に示す画面を表示し、第２表示領域５０に表示されたメイン表示画像５１への電子ペン１による記入操作又はタッチパネル６４への入力操作があった場合には、電子ペン１により受信した記入情報又はタッチパネル６４が生成したタッチパネル入力情報に基づき、筆跡を再現したストロークをメイン表示画像５１上に即時に表示する。この場合、タブレット端末３Ａは、メイン表示画像５１と同一頁を示すサムネイル画像４１に対しても同様にストロークを描画すると共に、第１表示領域４０内のサムネイル画像４１の並べ替えを行う。これについて、図１４を参照して説明する。

図１４は、第２実施形態において、タブレット端末３Ａが実行する表示順決定処理を示すフローチャートである。

まず、タブレット端末３Ａは、表示中の教科書の画像に対する書き込みがあったか否か判定する（ステップＳ２０１）。具体的には、タブレット端末３Ａは、メイン表示画像５１への電子ペン１による記入操作に基づき生成された記入情報を受信したか、又は、メイン表示画像５１上でのタッチ操作に基づくタッチパネル入力情報が生成されたか否か判定する。

そして、タブレット端末３Ａは、上述の記入情報を受信した、又は上述のタッチパネル入力情報が生成されたと判断した場合（ステップＳ２０１；Ｙｅｓ）、表示中のメイン表示画像５１の頁番号と、記入情報に含まれる座標情報又はタッチパネル入力情報により特定される頁内での位置情報と、記入情報に含まれる時刻情報又はタブレット端末３Ａが生成した時刻情報とを関連付けて記憶部３３に記憶させる（ステップＳ２０２）。次に、タブレット端末３Ａは、記入順に従い、教科書の各頁を示す画像の表示順を決定する（ステップＳ２０３）。具体的には、まず、表示順決定手段３４４は、教科書の頁番号と関連付けて記憶した時刻情報を参照し、教科書の各頁について、記入最新時刻を認識する。そして、表示順決定手段３４４は、記入最新時刻が早い順になるように、教科書の各頁を示す画像の表示順を決定する。また、表示順決定手段３４４は、記入がなされていない教科書の頁の表示順を、記入がされている教科書の頁の表示順よりも後にする。そして、表示制御手段３４３は、表示順決定手段３４４が決定した表示順に従い、教科書の各頁を示す画像を表示する（ステップＳ２０４）。具体的には、表示制御手段３４３は、教科書の各頁に対応するサムネイル画像４１を、ステップＳ２０３で決定した表示順に従い並べ替えて表示する。

［第２実施形態の表示システムによる作用効果］
第２実施形態の表示システムによれば、タブレット端末３Ａは、表示中の教科書の頁に対して、電子ペン入力又はタッチパネル入力に基づく記入を受け付け、当該記入の順序に基づき教科書の各頁を示すサムネイル画像４１を並べ替えて表示する。この態様によっても、第１実施形態と同様、ユーザは、教科書２への電子ペン１による記入内容を並べ替え装置３上で確認する際に、メモ書き等を施した関連箇所を連続的に確認することができる。

［変形例］
次に、第２実施形態の変形例について説明する。第２実施形態では、第１実施形態の変形例１〜７に加え、以下の変形例８〜９を任意に組み合わせて適用可能である。

（変形例８）
表示システムは、電子ペン１を有しなくともよい。この場合、タブレット端末３Ａのディスプレイ６には、ドットパターン６２が積層されていなくともよい。この例では、タブレット端末３Ａは、ユーザの指による操作又はスタイラスによる記入操作をタッチパネル６４により検知した場合、第２実施形態と同様、第２表示領域５０に表示中のメイン表示画像５１上にタッチパネル入力情報に基づくストロークを描画すると共に、記入順に従い第１表示領域４０のサムネイル画像４１を並べ替えて表示する。

（変形例９）
タブレット端末３Ａは、教科書の各頁を並べた画面を、ディスプレイを有する他の装置（「閲覧用装置」とも呼ぶ。）により表示させてもよい。この場合、例えば、タブレット端末３Ａは、１頁分の教科書の画像を記入用にディスプレイ６に表示し、図１０に相当する画面を閲覧用装置に表示させる。この場合、タブレット端末３Ａは、図１０に相当する画面を表示するのに必要な情報を閲覧用装置に送信する。なお、この場合、閲覧用装置は、タブレット端末３Ａに代えて、図１４のフローチャートの処理の一部又は全部を実行してもよい。この場合、閲覧用装置は、記入情報及びタッチパネル入力情報を、タブレット端末３Ａ又は電子ペン１から受信することで、図１４のフローチャートの処理を実行してもよい。

（変形例１０）
タブレット端末３Ａは、タッチパネル入力に代えて、又はこれに加えて、マウスなどの他の入力手段による入力に基づく教科書の頁への記入操作を受け付け、当該記入操作による記入順序を勘案して教科書の各頁の表示順を決定してもよい。

１…電子ペン
２…教科書
３…並べ替え装置
３Ａ…タブレット端末
６…ディスプレイ

Claims (8)

1. 頁ごとに表示可能なファイルの頁の表示順を管理する並べ替え装置であって、
   前記ファイルの任意の頁への記入に関する入力を受け付ける入力受付手段と、
   前記記入に関する入力に基づき、前記記入がなされた順番になるように前記ファイルの各頁の表示順を決定する表示順決定手段と、
   前記表示順決定手段が決定した表示順に従い、前記ファイルの各頁を表示部に表示させる表示制御手段と、
   を有し、
   前記表示順決定手段は、他の頁への記入を挟んで複数回にわたって記入された頁が存在する場合、前記頁の最新の記入に基づき、前記表示順を決定することを特徴とする並べ替え装置。
2. 頁ごとに表示可能なファイルの頁の表示順を管理する並べ替え装置であって、
   前記ファイルの任意の頁への記入に関する入力を受け付ける入力受付手段と、
   前記記入に関する入力に基づき、前記記入がなされた順番になるように前記ファイルの各頁の表示順を決定する表示順決定手段と、
   前記表示順決定手段が決定した表示順に従い、前記ファイルの各頁を表示部に表示させる表示制御手段と、
   を有し、
   前記表示順決定手段は、他の頁への記入を挟んで複数回にわたって記入された頁が存在する場合、前記複数回にわたって記入された頁を複製して前記表示するように表示順を決定することを特徴とする並べ替え装置。
3. 前記表示順決定手段は、記入がなされた前記ファイルの頁を順次上位に設定することを特徴とする請求項１または２に記載の並べ替え装置。
4. 前記入力受付手段が受け付けた前記記入に関する情報を、前記記入の時刻を示す時刻情報と共に記憶部に記憶させる記憶制御手段をさらに有し、
   前記表示順決定手段は、前記時刻情報に基づき、前記表示順を決定することを特徴とする請求項１または２に記載の並べ替え装置。
5. 前記表示順決定手段は、前記記入に関する情報のうち、記入者が意図しない記入に関する情報を除外して前記表示順を決定することを特徴とする請求項１〜４のいずれか一項に記載の並べ替え装置。
6. 前記入力受付手段は、前記ファイルの頁に対応する用紙への電子ペンによる記入情報を、前記記入に関する入力として受け付けることを特徴とする請求項１〜５のいずれか一項に記載の並べ替え装置。
7. 前記入力受付手段は、前記表示部への接触を入力として受け付けることを特徴とする請求項１〜６のいずれか一項に記載の並べ替え装置。
8. 請求項１〜７のいずれか一項に記載の並べ替え装置としてコンピュータを機能させることを特徴とするプログラム。

Images