JP4733376B2

JP4733376B2 - ブラウジング可能な電子表示装置

Info

Publication number: JP4733376B2
Application number: JP2004303575A
Authority: JP
Inventors: 恭宏島田; 毅宇都宮; 篤男鏡原; 圭田中; 英之島田; 充大倉; 恒人東
Original assignee: Kake Educational Institution
Current assignee: Kake Educational Institution
Priority date: 2004-10-18
Filing date: 2004-10-18
Publication date: 2011-07-27
Anticipated expiration: 2024-10-18
Also published as: JP2006113495A

Description

本発明は、電子的にコンピュータ内に蓄積された複数のページからなるドキュメント情報を表示するための電子表示装置に関し、特に、ディスプレイ上に描画された仮想的な書籍状オブジェクトのブラウジングを可能とする電子表示装置に関するものである。

ページというブロック構造で情報が分割された書籍状の情報提示形態のコンピュータ上での実現、及びその情報提示形態におけるインタラクションスタイル、特に、ブラウジング（本発明においては、ページを断続的、あるいは連続的にめくることにより、ページ内の情報を検索・閲覧する動作を意味する。）については、これまでにも様々な手法が提案されている。

例えば、特開２０００−１２３０４４号公報には、タッチパネルが装着されたディスプレイ上に、ページ面や書籍の厚みを表す小口の画像を備える書籍の画像を表示し、利用者が実世界の書籍をめくるようにディスプレイ画面上に置いた指を移動させることにより、コンピュータ上の仮想書籍のページめくり動作を可能としたものが開示されている。また、特開２００３−５８０８１号公報、及び特開２００３−５８５４４号公報には、柔軟部材によって構成されたペーパ状のフレキシブルなディスプレイを複数枚綴ることにより、装置自体を実世界の書籍と同じ構成とし、ディスプレイ自身をめくることにより、書籍と同様のページめくり動作を可能としたものが開示されている。
特開２０００−１２３０４４号公報特開２００３−５８０８１号公報特開２００３−５８５４４号公報

しかしながら、上記従来の電子表示装置は何れも、単にコンピュータのディスプレイ上に描かれた書籍状オブジェクトの見え方、あるいは操作方法を、できるだけ実世界のものに近づけるように工夫したものであり、実世界における書籍の閲覧動作に準じたものではなかった。

例えば、前記特開２０００−１２３０４４号公報に記載の閲覧装置では、ディスプレイ上に描かれた書籍状オブジェクト上における利用者の指の動きだけでページめくりを実現しており、実世界の書籍と同様に利用者が閲覧装置を手に持って操作することを想定したものではない。

また、前記２００３−５８０８１号公報、及び特開２００３−５８５４４号公報に記載の電子表示装置は、柔軟部材により構成されたペーパ状のフレキシブルなディスプレイを積層させることで、現実の書籍と同様の書籍閲覧形態を可能としているが、用意されたディスプレイは１０ページ程度であり、１０ページ目以降を読む場合は、ページを物理的にさかのぼらなければならない。このような操作は、実世界における書籍には存在しない。ドキュメント情報において、現在のページより先を読むために、逆にページをさかのぼるという論理的ギャップは、インタラクションスタイルとしては致命的である。また、フレキシブルなディスプレイを使用しているにも関わらず、この特性を単に利用者に対して実世界の紙の書籍の質感を与えることにのみ主眼をおいており、ディスプレイが変形するという特性を積極的に利用したものではない。

本発明は、上記課題を解決するためになされたものであり、コンピュータ上のドキュメント情報を、実世界の書籍をブラウジングする操作と同じスタイルでブラウジングすることが可能な電子表示装置を提供する。

上記課題を解決するため、本願の請求項１に係る発明は、電子的に蓄積された複数のページから構成されるドキュメント情報を、３次元データにより作成される書籍状モデルに表示する電子表示装置であって、湾曲可能な２枚の表示面を、回動可能な見開き状に連結してなる表示部と、前記表示部に一体に形成され、前記表示部の湾曲量と、利用者の指が触れた前記表示部上の接触点を示す指接触点位置情報とを検出する操作情報検出部と、前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記表示部に表示すべき前記書籍状モデルのページ遷移状態を表すページ遷移情報を決定するページ遷移状態決定部と、複数ページから構成されるドキュメント情報を保持するドキュメント情報蓄積部と、前記ドキュメント情報蓄積部から前記ドキュメント情報を読出し、読み出したドキュメント情報をページ画像データとして生成するコンテンツ保持部と、前記表示部の湾曲量、及び前記ページ遷移情報に基づき、所定の形状の前記書籍状モデルを作成し、前記コンテンツ保持部から読み出した所定のページの前記ページ画像データを、前記作成された書籍状モデルのページの形状データにマッピングして前記表示部に表示するページ表示制御部と、を備え、前記ページ表示制御部は、前記表示部の湾曲量、及び前記ページ遷移情報に基づき、前記書籍状モデルの小口領域の表示幅を変化させて、かつ、前記ページ遷移状態が前記書籍状モデルのページ遷移を示すものである場合は、ページ遷移中の状態にある前記書籍状モデルのページの形状データを、前記ページ遷移状態に応じて作成して、前記書籍状モデルを作成することを特徴とする。

また、本願の請求項２に係る発明は、請求項１に記載の電子表示装置において、前記ページ遷移状態決定部は、前記表示部の湾曲量、及び前記指接触点位置情報に基づいて前記書籍状モデルのページ遷移方向を決定する遷移方向決定部と、前記指接触点位置情報に基づいて求められる利用者の指の移動パターンに応じて、前記書籍状モデルのページ遷移パターンを決定する遷移パターン決定部と、前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記書籍状モデルのページ遷移量を決定する遷移量決定部と、所定の２時点間の前記指接触点位置情報の変化量、あるいは前記表示部の湾曲量に基づき、遷移中の状態にある前記ページ形状データのページ遷移速度を、前記書籍状モデルのページ遷移パターンに応じて算出する遷移速度算出部とを備えることを特徴とする。

本発明によれば、湾曲可能なディスプレイ上に書籍状オブジェクトを表示し、前記ディスプレイ上の利用者の指の移動パターンに応じて、前記書籍状オブジェクトのページを遷移させ、前記ディスプレイの湾曲量、及びページ遷移量に応じて、前記書籍状オブジェクトの小口領域の厚み表示を変化させることとしたので、利用者は、特別なコンピュータの操作方法を学習せずとも、実世界で行う書籍を取り扱うのと同様の動作によりコンピュータ内の仮想書籍の情報を検索・閲覧することが可能となる。

（実施の形態１）
本実施の形態１に係る電子表示装置は、利用者が、湾曲可能な表示部に表示される書籍状オブジェクトに対して、実世界の書籍を扱うのと同様の動作、例えば、ブラウジングを行なうために書籍を湾曲させ、小口上に置かれた指を移動する動作、を行なうことにより、前記書籍状オブジェクトに対して、小口の厚みの増減や、ページのめくれる動きといった、実世界の書籍における変化と同様の形状変化を与え、遷移状態の各ページ、あるいは見開き状態の各ページに、所定のドキュメント情報をマッピングすることにより、実世界の書籍と同じスタイルでブラウジングすることを可能としたものである。

まず、本実施の形態１における書籍状オブジェクトについて説明する。
本実施の形態１では、書籍のページの形態をなす３次元形状データをページモデルと定義し、ページモデルが集合して書籍の形態をなす３次元形状データを書籍状モデルと定義する。また、前記ページモデルにドキュメント情報がマッピングされたものをページオブジェクトと定義し、前記書籍状モデルにドキュメント情報がマッピングされたものを書籍状オブジェクトと定義する。

ここで、本実施の形態１におけるページモデルは、実世界の書籍のページのように、常に１枚のページとして存在するものではなく、複数枚のページであっても、同一の処理対象となるページ群であれば、１つのページモデルとして扱う。例えば、総ページ枚数が１００枚の実世界の書籍が、ちょうど真ん中のページで開かれている状態は、本実施の形態１における書籍状モデルでは、ページ５０枚分の厚みを持つ１つの左側のページモデルと、ページ５０枚分の厚みを持つ１つの右側のページモデルの計２つのページモデルにより表す。また、１枚のページが遷移している状態は、本実施の形態１における書籍状モデルでは、左側のページモデルと右側のページモデルに加えて、遷移中の１枚のページモデルを加えた、計３つのページモデルにより表す。

次に、本実施の形態１に係る電子表示装置の構成について説明する。
図１は、本実施の形態１の電子表示装置の構成を表すブロック図である。本実施の形態１の電子表示装置１００は、表示部１０１と、操作情報検出部１０２と、ページ遷移状態決定部１０４と、ページ表示制御部１０７と、操作情報バッファ１０３と、ページ情報管理バッファ１０５と、コンテンツ保持部１０６と、ドキュメント情報蓄積部１０８とを有する。

表示部１０１は、ページ表示制御部１０７により作成される書籍状オブジェクトを表示するものであり、図２（ａ）に示すように、湾曲可能な２枚のフレキシブルディスプレイ１０１Ｌ、１０１Ｒが、回転軸２０３を介してそれぞれの表示面が対面するように見開き状に配置されることにより構成される。ディスプレイ１０１Ｌ、１０１Ｒは、湾曲可能なものであれば良く、液晶ディスプレイ、有機ＥＬ・無機ＥＬディスプレイなどを使用することができる。

操作情報検出部１０２は、表示部１０１の湾曲量ｂ_L、ｂ_R、及び表示部１０１上に置かれた利用者の指の位置情報（以下、湾曲量ｂ_L、ｂ_R、及び指の位置情報をまとめて、「操作情報Ｄ_i」とする。）を検出するものである。操作情報検出部１０２は、図２（ａ）に示すように、タッチパネル２０１Ｌ、２０１Ｒと、ベンドセンサ２０２Ｌ、２０２Ｒとにより構成される。タッチパネル２０１Ｌ、２０１Ｒは、ディスプレイ１０１Ｌ、１０１Ｒ上に置かれた利用者の指の位置に応じて、ディスプレイ１０１Ｌ、１０１Ｒ上に設定された所定の座標系における座標情報を出力するものである。タッチパネル２０１Ｌ、２０１Ｒは、光学的に透過性を有し、かつ、可撓性を有するものを使用し、ディスプレイ１０１Ｌ、１０１Ｒ全体をカバーするように配置している。なお、タッチパネル２０１Ｌ、２０１Ｒは、電子表示装置１００を利用者が両手で持ったときに、ページをホールドするために表示部１０１にかける親指が当たる部分だけに設置しても良い。この場合は、タッチパネル２０１Ｌ、２０１Ｒは必ずしも湾曲する必要はない。ベンドセンサ２０２Ｌ、２０２Ｒは、該センサ自身が撓むことによって、その物理現象を定量化して出力するものであれば、該センサが出力する値は、曲率に対応した電圧値などであれば良い。

操作情報バッファ１０３は、操作情報検出部１０２から出力される操作情報Ｄ_iと、ページ遷移状態決定部１０４により求められた各種のデータとを一時的に保存するものである。操作情報バッファ１０３のデータ格納領域は、電子表示装置１００の異なる２時点のデータをそれぞれ格納することができるよう、同じ構成の２つの格納領域（ｔ領域、ｔ−１領域）により構成されている。

ドキュメント情報蓄積部１０８は、複数のページからなるドキュメント情報を保持するものである。

コンテンツ保持部１０６は、ドキュメント情報蓄積部１０８から、電子的に蓄積された複数のページからなるドキュメント情報を１ページごとに読み出し、読み出したデータに基づいて１ページ分のページ画像データを生成するものである。ページ画像データのそれぞれには、表紙から裏表紙までに至る順において、初期値を１とするページ番号が付されている。

ページ遷移状態決定部１０４は、操作情報バッファ１０３に格納された操作情報Ｄ_iに基づいて、書籍状オブジェクトのページ遷移状態を決定するものである。ここで、ページ遷移状態とは、ページ遷移方向Ｔ_d、ページ遷移パターンＴ_p、ページ遷移量Ｔ_v、及びページ遷移速度Ｔ_s（以下、これらをまとめて「ページ遷移情報Ｄ_t」とする。）により決定される、書籍状オブジェクトのページ遷移の態様を意味する。ページ遷移情報Ｄ_tのうち、ページ遷移方向Ｔ_dは、書籍状オブジェクトの左右何れのページがめくられるかを示すものであり、本実施の形態１では、めくられるページ（以下、「アクティブページ」とする。）を決定することにより、ページ遷移方向Ｔ_dを決定する。また、ページ遷移パターンＴ_pは、ページがどのようにめくられるのかを示すものであり、本実施の形態１では、見開かれた状態の維持、１枚ごとのページめくり、連続的なページめくり、及び複数ページを束とした一括ページめくり、の４パターンを想定している。ページ遷移量Ｔ_vは、利用者の指の変化量において、遷移すべきページの枚数を示すものである。ページ遷移速度Ｔ_sは、ページ遷移をアニメーション表示する場合の単位処理時間経過に伴う移動量を示すものであり、その値は、遷移中のページを一単位処理時間で移動させる回転角度により定義される。

また、ページ遷移状態決定部１０４は、ページ遷移情報Ｄ_tに基づいて、見開きの状態における見開かれたページから最初のページ、及び最後のページまでのページ枚数、マッピングされるページ画像データのページ番号、そして、遷移中のページが存在すれば、遷移中のページごとに、ページの枚数（連続ページめくりや１ページめくりであればページ枚数は１、一括ページめくりであれば、対応するページ枚数）やマッピングされるページ画像データのページ番号、遷移中のページモデルを描画するための位置情報（ページ遷移速度Ｔ_sに基づき算出されるページの傾き角度）を、書籍状オブジェクトのページオブジェクトを作成するために必要なページ情報Ｄ_pとして決定し、ページ情報管理バッファ１０５に対して追加・更新し格納する。ここで、マッピングされるページ画像データのページ番号は、ページモデルの最上面と最下面に位置するページのページ番号である。すなわち、本実施の形態１では、上述のように、同一の処理対象となるページ群を１つのページモデルとして扱うため、例えば、ページが５枚の束となって遷移する場合であっても、これら５枚のページのうち、実際に画像表示されるのは、ページモデルの最上面と最下面に位置するページのページ画像データである。従って、本実施の形態１の書籍状オブジェクトにおいて、ページ遷移時の画像表示の連続性を維持するためには、ページモデルの最上面と最下面に位置するページに、所定のページ画像データがマッピングされていれば良く、このため、本実施の形態１では、ページモデルの最上面と最下面に位置するページに対応するページ画像データのページ番号を、ページ情報管理バッファ１０５に格納する。

ページ情報管理バッファ１０５は、ページ遷移状態決定部１０４により求められたページ情報Ｄ_pを保存するものである。ページ情報管理バッファ１０５は、デフォルトで２つのページ情報を格納する領域Ｄ_PL、Ｄ_PRを備えており、Ｄ_PLは見開き時の左側ページのページ情報Ｄ_pを、Ｄ_PRは見開き時の右側ページのページ情報Ｄ_pを格納する。この２つの領域は固定的に存在し、後述する遷移状態にあるページが発生した場合は、Ｄ_PLとＤ_PRの間に、遷移状態にあるページごとにページ情報Ｄ_pの格納領域を動的に割り当て、そこにページ情報Ｄ_pを格納する。例えば、右から左へ２枚のページが遷移中であるとすると、ページ情報管理バッファ１０５は、Ｄ_PL、Ｄ_P1、Ｄ_P2、Ｄ_PRという４つのページ情報Ｄ_pを格納する領域を持つことになる。また、この状態で新たに１枚のページめくり要求が発生した場合、上記の例であれば、Ｄ_P2とＤ_PRの間にＤ_P3が挿入され、遷移中のページが、左側ページに到達し、遷移が終了すれば、遷移が終了したページのページ情報Ｄ_pを格納していたページ情報管理バッファ１０５上の領域は、削除される。このページ情報管理バッファ１０５は、例えば、双方向のリンクを持つリスト構造で構成される。

ページ表示制御部１０７は、操作情報バッファ１０３が保持する湾曲量ｂ_L、ｂ_R及びページ情報管理バッファ１０５が保持するページ情報Ｄ_pに基づいて書籍状モデルを作成し、コンテンツ保持部１０６から読み出したページ画像データを、書籍状モデルにマッピングして書籍状オブジェクトを作成するものである。

以下、ページ表示制御部１０７により作成される書籍状オブジェクトの詳細な構成について説明する。
図３（ａ）は、３次元データとして作成される書籍状モデルが見開かれた状態における右側のページモデルの断面形状を模式的に表した図である。図３（ａ）に示す書籍状モデルは、左閉じ、総ページ枚数は１００枚（表裏の表紙を含め２００ページのドキュメント情報）のものを想定しており、図３（ａ）はちょうど真ん中のページ、すなわち、見開きページは左１００ページ、右１０１ページ、を開いている状態を表す。なお、図３（ａ）は、装置のタッチパネル面の横方向に平行な軸をＸ軸と想定しており、その下部にｚ軸方向に厚みを取った書籍状モデルの断面を示している。また。書籍状モデルの断面形状を描くための原点は、（Ｘ，Ｚ）＝（０，Ｚ₀）なる点により一意に決定され、この点は、空間中で固定され移動することはない。

見開き状態にある右側のページモデルの断面形状は、ページモデルの最上面のページＰＲ_topと、最下面のページＰ_endと、書籍状モデルの背表紙Ｓの右側部分Ｓ_Rと、小口部Ｋとにより構成される。

書籍状モデルの背表紙Ｓの厚さは、ドキュメント情報の総ページ枚数に、あらかじめ定義する１枚のページの厚さを乗じることにより求められる。そして、背表紙Ｓの右側部分Ｓ_Rは、右側のページモデルの仮想枚数に、あらかじめ定義する１枚のページの厚さを乗じることにより求められる。

最後のページＰ_endの長さは、あらかじめ設定する書籍状モデルのページ幅ｗとして規定される。このＰ_endはＸ軸に平行とし、始点は、背表紙Ｓの右側部分Ｓ_Rの端点とする。ページモデルの最上面であるＰＲ_topの長さは以下のように求められる。背表紙Ｓの右側部分Ｓ_Rの端点を中心とし、半径をＳ_Rとする円を想定し、図示するように中心角９０度の円弧を規定する。この円弧の長さｃは、円周と円弧の中心角の関係から算出される。そして、長さｃの円弧の小口領域側の端点からｗ−ｃの長さの直線をＸ軸に平行に設けることで、見開きのページＰＲ_topを構成することができる。小口部Ｋは、ＰＲ_topとＰ_endの端点を結んだ直線で構成する。左側のページモデルの断面形状についても、上述した右側のページモデルと同様の構成とすることができ、左右のページモデルの断面モデルを、背表紙Ｓの右側部分Ｓ_Rと背表紙Ｓの左側部分Ｓ_Lとが１８０度の関係を保つように結合することにより、見開き状態の書籍状モデルの断面形状を得ることができる。以上のように構成される書籍状モデルの断面形状は、左右のページ枚数が変化すれば、図３（ｂ）のように変化する。

書籍状モデルは、上記書籍状モデルの断面モデルと同じものを、あらかじめ規定したページの縦方向の長さｈだけ平行移動した点に設け、各端点を直線で結ぶことにより作成される。また、書籍状オブジェクトは、上記書籍状モデルの各ページモデルのＰＲ_topとＰ_endにドキュメント情報をマッピングすることにより作成される。ここで、表示部１０１上における書籍状オブジェクトの表示例を図２（ｂ）に示す。

図２（ｂ）は、見開き状態の書籍状オブジェクトが表示部１０１に表示されている状態を表す図である。図２に示すように、左右のページオブジェクトのそれぞれは、左右のディスプレイ１０１Ｌ、１０１Ｒに振り分けて表示される。また、小口部Ｋは、書籍状オブジェクトの厚みを示す小口領域２０５Ｌ、２０５Ｒとして、また、左右のページモデルのＰＲ_topは、ドキュメント情報が表示されるドキュメント領域２０４Ｌ、２０４Ｒとしてそれぞれ表される。なお、図２（ｂ）において、２０６は、利用者が画素レベルの単位で表示部１０１上のどこに触れているかを知覚させるためのマーカーである。すなわち、本発明では、フレキシブルなディスプレイにタッチパネルを装着し、ディスプレイに表示された書籍状オブジェクトを直接操作することを前提としている。しかし、ディスプレイに表示される最小単位である１画素の大きさに比べ、操作する利用者の指はあまりにも大きい。マウスカーソルなどによれば、１画素単位で所望の位置を指示することが可能であるが、利用者の指では、画素レベルでどこを指示しているかを判断するのは難しい。このため、本発明では、利用者の触れている位置にマーカー２０６を表示することとしている。

なお、書籍状モデルが閉じられている場合の断面形状は、上記各パラメータを用いて、あるいは、それらと関連付けて表すことができるものであれば良く、例えば、実世界の書籍と同様に単なる長方形状や、背表紙Ｓと裏表紙が一直線であって、これに伴ない小口部Ｋがずれて表示されているものであっても良い。

次に、以上のように構成される電子表示装置１００の動作について説明する。
本実施の形態１の電子表示装置１００は、操作情報検出部１０２による操作情報Ｄ_iの検出、ページ遷移状態決定部１０４によるページ遷移情報Ｄ_tの決定、ページ表示制御部１０７による書籍状オブジェクトの作成、及び表示部１０１への書籍状オブジェクトの表示を１つの処理単位（１サイクル）として処理を行い、かかる処理をイベント入力の有無に関わらずに繰り返し行なうこととしている。そして、現在の処理サイクル（ｎサイクル）における湾曲量ｂ_L、ｂ_R、および、２時点間の操作情報Ｄ_iの変化、すなわち、現在の処理サイクル（ｎサイクル）と１サイクル前（ｎ−１サイクル）の座標情報の変化量に基づいてページ遷移情報Ｄ_tを算出し、該ページ遷移情報Ｄ_tより描画すべきすべてのページのページ情報Ｄ_pを求め、それを格納したページ情報管理バッファ１０５を構成し、各ページ情報Ｄ_pに応じた形状の書籍状オブジェクトをサイクル毎に作成して表示部１０１に表示する。

以下、電子表示装置１００の詳細な動作について説明する。
まず、利用者は電子表示装置１００を起動させて表示部を開き、電子表示装置内に保存されたドキュメント情報を選択する。この選択操作により、電子表示装置１００は、指定されたドキュメント情報の諸情報（綴じ方（右ないし左）、書籍状オブジェクトの高さ（ｈ）、幅（ｗ）、厚さ、総ページ数、画像化した場合の画像サイズ、ドキュメント情報の記憶装置上での位置、ドキュメント情報の名称など）を読み取る。これらのデータに従い、コンテンツ保持部１０６が、ドキュメント情報蓄積部１０８から１ページごとのドキュメント情報を読み出し、１ページ分のページ画像データを生成する。そして、この操作を１つのドキュメント情報を構成するすべてのページに対して行い、バッファリングする。

操作情報検出部１０２は、表示部１０１Ｌ、１０１Ｒ双方の湾曲量ｂ_L、ｂ_R、及び利用者の指の位置情報である座標情報（Ｘ_L、Ｙ_L）、（Ｘ_R、Ｙ_R）を検出し、これら操作情報Ｄ_iを操作情報バッファ１０３のｔ領域に格納する。

ページ遷移状態決定部１０４は、操作情報バッファ１０３に保持される操作情報Ｄ_iを読み出し、ページ遷移方向Ｔ_d、すなわち、ページめくりの対象となるアクティブページを決定する。ページ遷移状態決定部１０４によるアクティブページの決定方法は以下のとおりである。ページ遷移状態決定部１０４の遷移方向決定部（図示せず）は、取得した座標情報（Ｘ_L、Ｙ_L）、（Ｘ_R、Ｙ_R）から利用者が表示部１０１Ｌ、１０１Ｒの何れのディスプレイに触れているかを判断し、何れかの表示部にのみ利用者が触れている場合は、利用者の指が触れられている側の表示面を、アクティブページと判断する。また、利用者が左右双方の表示部１０１Ｌ、１０１Ｒに指を触れている場合は、左右の表示部１０１Ｌ、１０１Ｒの湾曲量ｂ_L、ｂ_Rを比較し、湾曲量が大きい側をアクティブページと判断する。上記以外の場合は、アクティブページが存在しないと判断する。

次に、ページ遷移状態決定部１０４の遷移パターン決定部（図示せず）は、アクティブページと判断された表示部１０１上の利用者の指の位置が、書籍状オブジェクト上のどの領域にあるかを示す領域情報Ｄ_dを求める。ページ遷移状態決定部１０４による領域情報Ｄ_dの決定プロセスについて以下説明する。なお、図３（ａ）は図３（ｃ）の特殊な場合、すなわち、θ_bが０度の場合であり、また、利用者は本装置を手に持って使用することが前提ゆえ、湾曲が与えられることが一般的であるため、以下の説明は、図３（ｃ）を用いて行なう。

タッチパネル、および、書籍状モデルのＸ軸の原点が図３（ｃ）に示すように校正されており、タッチパネルから得られる指が触れた位置のＸ座標をＸ_Sとする。最後のページＰ_endと見開きのページＰＲ_topとのずれ量は、円弧長ｃ´として算出されている。よって、タッチパネルから得られた座標Ｘ_Sより原点からのずれｄ_xを差し引いた長さ（Ｘ_S―ｄ_x）とｗ−ｃ´、およびｗを比較し、（Ｘ_S―ｄ_x）＞ｗならば、利用者の指の位置は書籍状オブジェクトの外にあると判断し、（Ｘ_S―ｄ_x）≦ｗ−ｃ´ならばドキュメント領域２０４Ｌ、２０４Ｒ上にあると判断し、（Ｘ_S―ｄ_x）＞ｗ−ｃ´かつ（Ｘ_S―ｄ_x）≦ｗならば小口領域２０５Ｌ、２０５Ｒ上にあると判断する。

ページ遷移状態決定部１０４は、決定したアクティブページ、及びアクティブページと判断された側の表示部１０１の領域情報Ｄ_dを操作情報バッファ１０３のｔ領域に格納する。この時点では、操作情報バッファ１０３のｔ−１領域に格納されるべき前サイクルのデータが存在しておらず、また、本実施の形態１では、初期状態の書籍状オブジェクトの形状を、書籍が閉じられた形状としており、このため、ページ遷移状態決定部１０４は、ページ遷移パターンＴ_p、ページ遷移量Ｔ_v、及びページ遷移速度Ｔ_sを算出することはなく、ページ情報管理バッファ１０５のＤ_PL領域を初期化し、Ｄ_PR領域に全ページ数、マッピングされるページ画像データのページ番号、位置情報などのページ情報Ｄ_pを記録する。

ページ表示制御部１０７は、操作情報バッファ１０３に格納されている操作情報Ｄ_iとページ情報管理バッファ１０５のＤ_PL、Ｄ_PR領域に格納されているページ情報Ｄ_pを読み出し、操作情報Ｄ_iに含まれる湾曲量ｂ_L、ｂ_R、Ｄ_PL領域に格納されているページ情報（この時点ではＤ_PLは初期状態であるためデータは存在しない）、及びＤ_PR領域に格納されているページ情報Ｄ_pに基づいて書籍状モデルを作成する。

また、ページ情報管理バッファ１０５のＤ_PR領域から読み出したページ情報Ｄ_pに基づいて、コンテンツ保持部１０６から所定のページ画像データを読み出し、作成されたページモデルにマッピングする。なお、書籍状モデルにおける他の面（天、地、小口、背表紙）は、適宜、多角形に分割し、各々をポリゴンとしてパッチ当てを行うことで面を構成する。この際に、小口部については、ページの枚数が多くなると、表示部１０１の解像度の限界により実際のページ枚数を離散的にそのまま表示することが困難となるため、本実施の形態１では、アナログ的な表現、すなわち、見開きページ側を白、最終のページ側を黒とし、保有するページの枚数により階調レベルを最大２５６階調のグラディエーションで可変させテクスチャを生成し、これをマッピングする。これにより書籍状オブジェクトが生成され、表示部１０１は、ページ表示制御部１０７が生成した、書籍状オブジェクトを表示する。

表示部１０１が書籍状オブジェクトを表示すると、操作情報バッファ１０３のデータ格納領域ｔに保持されているデータが、データ格納領域ｔ−１に移動されると共にｔ領域が初期化される。

次に、ユーザーがブラウジングを行なうため、表示部１０１を湾曲させて、表示部１０１上に置いた指を所定量移動させると、操作情報検出部１０２は、表示部１０１Ｌ、１０１Ｒ双方の湾曲量ｂ_L、ｂ_R、及び座標情報（Ｘ_L、Ｙ_L）、（Ｘ_R、Ｙ_R）を検出し、これら操作情報Ｄ_iを、操作情報バッファ１０３のｔ領域に格納する。

ページ遷移状態決定部１０４の遷移方向決定部は、操作情報バッファ１０３のｔ領域から操作情報Ｄ_iを読出し、上述のようにページ遷移方向Ｔ_dを算出し、ページ遷移状態決定部１０４の遷移パターン決定部は、領域情報Ｄ_dを決定する。その後、ページ遷移状態決定部１０４は、ページ遷移パターンＴ_p、ページ遷移量Ｔ_v、ページ遷移速度Ｔ_sを算出する。以下、アクティブページが右側のページであると判断された場合のページ遷移状態決定部１０４によるページ遷移パターンＴ_p、ページ遷移量Ｔ_v、ページ遷移速度Ｔ_sの算出プロセスについて説明する。

まず、ページ遷移パターンＴ_pの算出方法について説明する。ページ遷移状態決定部１０４の遷移パターン決定部は、操作情報バッファ１０３のｔ領域に格納されている座標情報（Ｘ_R、Ｙ_R）と操作情報バッファ１０３のｔ−１領域に格納されている座標情報（Ｘ_R、Ｙ_R）のＸ座標、Ｙ座標それぞれの値の差分値を求め、利用者の指の移動量、及び移動方向を求める。そして前記移動量、移動方向、及び先に決定された領域情報Ｄ_dに基づいて、利用者の指の移動パターンを求め、あらかじめ指の移動パターンに対応して設定されているページ遷移パターンＴ_pを求める。本実施の形態１では、利用者の指の移動パターンとしては、図２（ｂ）の×印にてそれぞれ示す点ａへの接触状態、点ｂへの接触状態、点ｂから点ｃへの移動状態、点ｂから点ｄへの移動状態、点ｅへの直接の接触状態の５パターンを想定しており、各指の移動パターンに対応するページ遷移パターンＴ_pを以下のように設定している。点ａへの接触状態の場合は、点ａは書籍状オブジェクトが存在していない領域であることから、書籍状オブジェクトの現在の状態を維持すると判断する。点ｂへの接触状態の場合は、単にページをホールドしている状態であることから、書籍状オブジェクトの現在の状態の維持と判断する。点ｂから点ｃへの指の移動の場合は、単独の１ページめくりであると判断する。点ｂから点ｄへの指の移動の場合は、連続的なページめくりであると判断する。点ｅへの直接の接触の場合、すなわち、直前のサイクルでアクティブページの存在が確認されない場合において、点ｅへの接触が確認された場合は、複数ページを束とした一括ページめくりと判断する。

次に、ページ遷移状態決定部１０４によるページ遷移量Ｔ_vの算出方法について説明する。図３（ｃ）に示すように、小口部Ｋは直線で構成されており、この直線の傾きθ_kは、θ_k＝ｔａｎ^-1（Ｓ_R／Ｃ´）で求められる。このため、ページ遷移状態決定部１０４の遷移量決定部（図示せず）は最後のページＰ_endから、指で触れられた小口上の位置までの高さを、（ｗ−（Ｘ_S−ｄ_x））tanθ_kにより求める。この高さを、あらかじめ規定する１枚のページの厚さで除算することにより、ホールドすべきページの枚数を算出する。そして、ページ情報管理バッファ１０５のＤ_PR領域に格納されている現在のページ枚数から、ホールドすべきページ枚数を差し引くことで、リリースすべき、すなわち、めくるべきページ枚数を求める。

次に、ページ遷移状態決定部１０４によるページ遷移速度Ｔ_sの算出方法について説明する。ページ遷移状態決定部１０４の遷移速度算出部（図示せず）は、ページ遷移パターンが単独の１ページめくりの場合は、ｔ領域に保持される（Ｘ_R、Ｙ_R）とｔ−１領域に保持される（Ｘ_R、Ｙ_R）の差が大きいほど、ページ遷移の速度が速いと判断し、差分値の絶対値に比例したページ遷移速度Ｔ_sを決定する。また、ページ遷移パターンが連続的なページめくりの場合は、表示部１０１Ｒの湾曲量ｂ_Rが大きいほどページ遷移の速度が速いと判断し、湾曲量ｂ_Rに比例したページ遷移速度Ｔ_sを決定する。ここで、ページ遷移速度Ｔ_sは、具体的には１サイクルあたりに移動させる回転角度である。書籍状オブジェクトにおいて、ページがめくれる動作は、例えば、図３（ａ）を例にとれば、ＰＲ_topの背表紙側を中心とした、回転運動で表現される。よって、ページ情報Ｄ_pの一つである遷移中のページの位置情報は、１サイクル前のそのページの位置情報、すなわち角度に対し、ページ遷移速度を加算することで求められる。なお、ページ遷移速度は、右から左への移動の場合を正、逆を負とすることで、左右いずれからでもめくる動作が可能となる。

ページ遷移状態決定部１０４は、上述のようにページ遷移情報Ｄ_tを算出した後、これらの情報に基づいて、ページ情報Ｄ_pを求め、ページ情報管理バッファ１０５の所定の領域に記録する。

ここで、ページ遷移状態決定部１０４は、ページ遷移パターンＴ_pが、現在の状態の維持であると判断し、かつ、遷移中のページが存在しない場合は、ページ情報管理バッファ１０５に対してなんら操作を行わない。また、ページ遷移パターンＴ_pが単独の１ページめくり、連続的なページめくり、あるいは、一括ページめくりであると判断した場合は、ページ情報管理バッファ１０５のＤ_PRの直前に、ページ枚数分の領域を確保し、遷移中のページをページオブジェクトとして構成するために必要となるページ情報Ｄ_pを、前記確保した領域に記録する。更に、遷移中のページが存在する場合は、ページ情報管理バッファ１０５の遷移ページのページ情報Ｄ_pを格納している各領域Ｄ_Pmに対して位置情報を更新する。更新の結果、遷移中のページのページめくりが終了したと判断されれば、Ｄ_PL領域のページ枚数とマッピングすべきページ画像データのページ番号を更新すると共に、遷移が終了したページのページ情報を格納していたＤ_P1領域、すなわち、最先のデータ格納領域を削除する。

ページ表示制御部１０７は、操作情報バッファ１０３に格納されている操作情報Ｄ_iとページ情報管理バッファ１０５が保存する各ページ情報Ｄ_pに基づいて、まず、見開き状態における左右のページモデルの断面モデルを作成する。この際に、ページ表示制御部１０７は、表示部１０１の湾曲量ｂ_L、ｂ_Rの変化に伴い、小口領域２０５Ｌ、２０６Ｒの幅を変化させてページモデルの断面を作成する。かかる変化は、図３（ｃ）に示すように、湾曲量ｂ_L、ｂ_Rに応じてθ_bを増減させ、ｗ−ｃの長さを変化させて小口部の幅をｃからｃ′に変化させることにより表現可能である。また、かかる変化は、背表紙をθ_bだけ傾けたときの端点の座標を求めれば前述の湾曲を伴わない場合と同様の方法により描画できる。すなわち、書籍状モデルの断面形状の原点である（０，Ｚ₀）なる点からのずれ量と円弧の中心角θ_L、θ_Rを求めればよい。ずれ量は、図３（ｃ）におけるｄ_x、ｄ_zを求めることに帰着され、ｄ_x＝Ｓ_RＣＯＳθ_b、ｄ_z＝Ｓ_RＳＩＮθ_bにより求められる。また、円弧の中心角は、θ_L＝９０−θ_b、θ_R＝９０＋θ_bとなる。このθ_bの可動範囲は、±９０度である。

更に、ページ表示制御部１０７は、遷移ページモデルの断面モデルを、各ページ情報Ｄ_pに含まれる位置情報に基づいて作成する。具体的には、図３（ａ）において右側ページが１枚めくられる場合を例とすると、まず、ページ情報管理バッファ１０５に格納されるページ情報Ｄ_pより、現在のサイクルにおける遷移中のページの位置情報を取得する。位置情報が例えば３０度である場合は、円弧ｃの接線であって、書籍状モデルの表紙との間でなす角度が３０度となるような接線上に、円弧ｃとの接点を始点とする所定長の直線を、右側ページの小口側に向かって引く。これにより、ページ遷移中のページモデルの断面形状を作成する。

なお、上記説明においては、ページ遷移中のページモデルの断面形状を直線形状としているが、必ずしも直線に限られるものではなく、湾曲させた形状のものであっても良い。また、遷移ページの位置情報が９０度を超えた場合には、円弧の中心位置を左側の位置、すなわち、Ｘ＝−Ｓ_Lに移動させ、同様に描画することができる。さらには、上記ページ遷移中のページモデルの描画方法は、表示部に湾曲が発生し、書籍状モデルを変形させた場合も同様に適用することができる。また、上記説明は、左綴の場合を例としたが、右綴の場合あっても、同様に適用することができる。

ページ表示制御部１０７は、書籍状モデルの断面モデルを作成した後、該断面モデルと同じものを、あらかじめ規定したページの縦方向の長さｈだけ平行移動した点に設け、各端点を直線で結ぶことにより書籍状モデルを作成する。そして、ページ情報管理バッファ１０５に格納されるページ情報Ｄ_pに基づいて、コンテンツ保持部１０６から、所定のページ画像データを読み出し、書籍状モデルのページモデルにマッピングする。例えば、書籍状モデルが見開き状態であれば、見開きトップのページと、裏表紙、表紙のページ画像データを読み出し、作成されたページモデルにマッピングする。また、遷移中のページがある場合は、遷移中のページモデルの最上面と最下面のページ番号に対応するページ画像データを読み出し、これらページ画像データを遷移中のページモデルにマッピングする。また、書籍状モデルにおける他の面（天、地、小口、背表紙）についても上述のように作成し、これにより、書籍状オブジェクトを作成し、表示部１０１上に表示する。

これ以降の各サイクルにおいても、利用者からの動作終了要求がなされるまで、上述の動作が行なわれることになり、ページ表示制御部１０７が、１サイクルで描画する書籍状オブジェクトの状態を徐々に変化させながら複数サイクルに亘って描画することで、表示部１０１は、書籍状オブジェクトの小口領域２０５Ｌ、２０５Ｒの形状変化、あるいはページのめくれる状態を、あたかも連続的に変化しているようにアニメーション表示する。

このように、本実施の形態１では、湾曲可能な２枚の表示部１０１Ｌ、１０１Ｒ上に、表示部１０１の湾曲量ｂ_L、ｂ_R、及び利用者の指の位置情報を検出する操作情報検出部１０２を設け、表示部１０１の湾曲量ｂ_L、ｂ_R、及び利用者の指の位置情報に基づいて、書籍状オブジェクトの形状、及びページ遷移状態を変化させて作成することとし、かかる処理をサイクリックに行なうこととしたので、利用者のページ遷移要求に応じて、書籍状オブジェクトの形状を連続的に変化させて表示することが可能となり、これにより、仮想的な書籍状オブジェクトに対して、実世界の書籍を扱うのと同様の方法によりブラウジングを行うことが可能となる。

また、表示部の湾曲量ｂ_L、ｂ_Rに応じて、書籍状オブジェクトの小口領域２０５Ｌ、２０５Ｒの表示幅を変化させることとしたので、ブラウジング中のページ選択の分解能を高めることが可能となると共に、目視により、ドキュメント情報の総量、及びドキュメント情報における現在参照しているページの位置を容易に判断することが可能となる。

なお、本実施の形態１では、表示部１０１としてフレキシブルディスプレイ１０１Ｌ、１０１Ｒを使用しているが、操作情報検出部１０２を表示部１０１と独立させ、フレキシブルディスプレイ１０１Ｌ、１０１Ｒの代わりに、ソリッドなディスプレイを用いてブラウジング用システムを構築することも可能である。例えば、図４に示すように、ポリプロピレン板等の湾曲可能な部材を用いてベース部４０４を作成し、本実施の形態１と同様に、タッチパネル２０１Ｌ、２０１Ｒと、ベンドセンサ２０２Ｌ、２０２Ｒをベース部４０４に取り付け、これにより、インターフェース部４０３を構成する。そして、該インターフェース部４０３を、ＵＳＢケーブル等を用いて通常のコンピュータシステム４０２に接続し、３次元のコンピュータグラフィクスを用いて、ソリッドなディスプレイ４０１上に書籍状オブジェクトを描画することにより、本発明と同様の操作によりブラウジングを行うことが可能なブラウジングシステムを構築することができる。この場合、上述したように、ページ遷移中のページの断面形状を湾曲させた形状として作成することにより、ページ遷移中のページの形状を、湾曲させて表示することができ、これにより、ソリッドなディスプレイ４０１を使用する場合であっても、実世界の書籍を扱う感覚でブラウジングを行なうことが可能となる。

また、２枚のフレキシブルディスプレイを接続する回転軸２０３に外部電源供給ポート、電子的データ（映像情報）供給ポート、タッチパネル、ベンドセンサの出力を持つコネクタを設け、すべての処理を外部に用意したコンピュータにより処理を実行させても良いし、電子表示装置内にその機能すべてを持たせても良い。

また、タッチパネル２０１Ｌ、２０１Ｒは、コンピュータ操作におけるマウスに代替されるもの、つまり、出力値としてＸ、Ｙ座標を整数値で出力するものでも良く、また、Ｘ、Ｙ座標を出力せずとも、代替デバイスにおいて、利用者の指が触れた位置に応じた電圧値を出力し、装置側でキャリブレーションを行うことにより、サブピクセル単位（１／１００のオーダー程度の実数値）の座標を出力するものであってもよい。

また、利用者がブラウジング後、より詳細に（例えば、該当ページの任意の箇所を拡大して）該当ページを見たい場合や、プリンタへのハードコピー要求が起こることも考え得る。かかる場合は、利用者の要求に応じて、該当ページを本装置、あるいは、別の（通常のソリッドな）ディスプレイにページビューワを起動し、１つのウインドウを表示し、その中で該当ページを表示しても良い。

また、多様なドキュメント情報を用意し、それらを本装置に与えることで、ブラウジングできる情報を変更することができる。

また、装置起動時に、これからブラウジング対象となる書籍が右綴か左綴かを示す情報等を与え、かかる情報に従って初期状態の書籍状オブジェクトを左ないし右の表示部に表示させ、ページ順を守ってブラウジングすることができる。

本発明に係る電子表示装置によれば、実世界の書籍を扱うのと同様の方法により、電子的にコンピュータ内に蓄積された複数のページからなるドキュメント情報のブラウジングを行うことが可能な電子表示装置を提供することができ、瞬時にドキュメント情報のすべてを散見することが可能となるため、特に、非言語的な知識、すなわち、図表、式、あるいはそれらのページ上でのレイアウト等の、所謂空間的記憶に基づいた情報検索が可能となる点において有用である。

本発明の実施の形態１による電子表示装置の構成を表す図である。操作情報検出部の構成を説明するための図であり、操作情報検出部の外観を表す図である。書籍状オブジェクトを説明するための図であり、表示部への書籍状オブジェクトの表示例を表す図である。書籍状モデルを説明するための図であり、書籍状モデルの断面を表す図である。書籍状モデルの断面の変形例を表す図である。書籍状モデルにおける湾曲量と小口領域の変化の関係を説明するための図である。本実施の形態１による電子表示装置の変形例を表す図である。

符号の説明

１００電子表示装置
１０１表示部
１０２操作情報検出部
１０３操作情報バッファ
１０４ページ遷移状態決定部
１０５ページ情報管理バッファ
１０６コンテンツ保持部
１０７ページ表示制御部
１０８ドキュメント情報蓄積部
２０１Ｌ、２０１Ｒタッチパネル（左右）
２０２Ｌ、２０２Ｒベンドセンサ（左右）
２０３回転軸
２０４Ｌ、２０４Ｒドキュメント領域（左右）
２０５Ｌ、２０５Ｒ小口領域（左右）
２０６マーカー
４０１ディスプレイ
４０２コンピュータ
４０３インターフェース
４０４ベース部

Claims

電子的に蓄積された複数のページから構成されるドキュメント情報を、３次元データにより作成される書籍状モデルに表示する電子表示装置であって、
湾曲可能な２枚の表示面を、回動可能な見開き状に連結してなる表示部と、
前記表示部に一体に形成され、前記表示部の湾曲量と、利用者の指が触れた前記表示部上の接触点を示す指接触点位置情報とを検出する操作情報検出部と、
前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記表示部に表示すべき前記書籍状モデルのページ遷移状態を表すページ遷移情報を決定するページ遷移状態決定部と、
複数ページから構成されるドキュメント情報を保持するドキュメント情報蓄積部と、
前記ドキュメント情報蓄積部から前記ドキュメント情報を読出し、読み出したドキュメント情報をページ画像データとして生成するコンテンツ保持部と、
前記表示部の湾曲量、及び前記ページ遷移情報に基づき、所定の形状の前記書籍状モデルを作成し、前記コンテンツ保持部から読み出した所定のページの前記ページ画像データを、前記作成された書籍状モデルのページの形状データにマッピングして前記表示部に表示するページ表示制御部と、を備え、
前記ページ表示制御部は、前記表示部の湾曲量、及び前記ページ遷移情報に基づき、前記書籍状モデルの小口領域の表示幅を変化させて、かつ、前記ページ遷移状態が前記書籍状モデルのページ遷移を示すものである場合は、ページ遷移中の状態にある前記書籍状モデルのページの形状データを、前記ページ遷移状態に応じて作成して、前記書籍状モデルを作成する、
ことを特徴とする電子表示装置。
請求項１に記載の電子表示装置において、
前記ページ遷移状態決定部は、
前記表示部の湾曲量、及び前記指接触点位置情報に基づいて前記書籍状モデルのページ遷移方向を決定する遷移方向決定部と、
前記指接触点位置情報に基づいて求められる利用者の指の移動パターンに応じて、前記書籍状モデルのページ遷移パターンを決定する遷移パターン決定部と、
前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記書籍状モデルのページ遷移量を決定する遷移量決定部と、
所定の２時点間の前記指接触点位置情報の変化量、あるいは前記表示部の湾曲量に基づき、遷移中の状態にある前記ページ形状データのページ遷移速度を、前記書籍状モデルのページ遷移パターンに応じて算出する遷移速度算出部と、を備える、
ことを特徴とする電子表示装置。