JP4733376B2 - ブラウジング可能な電子表示装置 - Google Patents

ブラウジング可能な電子表示装置 Download PDF

Info

Publication number
JP4733376B2
JP4733376B2 JP2004303575A JP2004303575A JP4733376B2 JP 4733376 B2 JP4733376 B2 JP 4733376B2 JP 2004303575 A JP2004303575 A JP 2004303575A JP 2004303575 A JP2004303575 A JP 2004303575A JP 4733376 B2 JP4733376 B2 JP 4733376B2
Authority
JP
Japan
Prior art keywords
page
book
transition
model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004303575A
Other languages
English (en)
Other versions
JP2006113495A (ja
Inventor
恭宏 島田
毅 宇都宮
篤男 鏡原
圭 田中
英之 島田
充 大倉
恒人 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kake Educational Institution
Original Assignee
Kake Educational Institution
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kake Educational Institution filed Critical Kake Educational Institution
Priority to JP2004303575A priority Critical patent/JP4733376B2/ja
Publication of JP2006113495A publication Critical patent/JP2006113495A/ja
Application granted granted Critical
Publication of JP4733376B2 publication Critical patent/JP4733376B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、電子的にコンピュータ内に蓄積された複数のページからなるドキュメント情報を表示するための電子表示装置に関し、特に、ディスプレイ上に描画された仮想的な書籍状オブジェクトのブラウジングを可能とする電子表示装置に関するものである。
ページというブロック構造で情報が分割された書籍状の情報提示形態のコンピュータ上での実現、及びその情報提示形態におけるインタラクションスタイル、特に、ブラウジング(本発明においては、ページを断続的、あるいは連続的にめくることにより、ページ内の情報を検索・閲覧する動作を意味する。)については、これまでにも様々な手法が提案されている。
例えば、特開2000−123044号公報には、タッチパネルが装着されたディスプレイ上に、ページ面や書籍の厚みを表す小口の画像を備える書籍の画像を表示し、利用者が実世界の書籍をめくるようにディスプレイ画面上に置いた指を移動させることにより、コンピュータ上の仮想書籍のページめくり動作を可能としたものが開示されている。また、特開2003−58081号公報、及び特開2003−58544号公報には、柔軟部材によって構成されたペーパ状のフレキシブルなディスプレイを複数枚綴ることにより、装置自体を実世界の書籍と同じ構成とし、ディスプレイ自身をめくることにより、書籍と同様のページめくり動作を可能としたものが開示されている。
特開2000−123044号公報 特開2003−58081号公報 特開2003−58544号公報
しかしながら、上記従来の電子表示装置は何れも、単にコンピュータのディスプレイ上に描かれた書籍状オブジェクトの見え方、あるいは操作方法を、できるだけ実世界のものに近づけるように工夫したものであり、実世界における書籍の閲覧動作に準じたものではなかった。
例えば、前記特開2000−123044号公報に記載の閲覧装置では、ディスプレイ上に描かれた書籍状オブジェクト上における利用者の指の動きだけでページめくりを実現しており、実世界の書籍と同様に利用者が閲覧装置を手に持って操作することを想定したものではない。
また、前記2003−58081号公報、及び特開2003−58544号公報に記載の電子表示装置は、柔軟部材により構成されたペーパ状のフレキシブルなディスプレイを積層させることで、現実の書籍と同様の書籍閲覧形態を可能としているが、用意されたディスプレイは10ページ程度であり、10ページ目以降を読む場合は、ページを物理的にさかのぼらなければならない。このような操作は、実世界における書籍には存在しない。ドキュメント情報において、現在のページより先を読むために、逆にページをさかのぼるという論理的ギャップは、インタラクションスタイルとしては致命的である。また、フレキシブルなディスプレイを使用しているにも関わらず、この特性を単に利用者に対して実世界の紙の書籍の質感を与えることにのみ主眼をおいており、ディスプレイが変形するという特性を積極的に利用したものではない。
本発明は、上記課題を解決するためになされたものであり、コンピュータ上のドキュメント情報を、実世界の書籍をブラウジングする操作と同じスタイルでブラウジングすることが可能な電子表示装置を提供する。
上記課題を解決するため、本願の請求項1に係る発明は、電子的に蓄積された複数のページから構成されるドキュメント情報を、3次元データにより作成される書籍状モデルに表示する電子表示装置であって、湾曲可能な2枚の表示面を、回動可能な見開き状に連結してなる表示部と、前記表示部に一体に形成され、前記表示部の湾曲量と、利用者の指が触れた前記表示部上の接触点を示す指接触点位置情報とを検出する操作情報検出部と、前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記表示部に表示すべき前記書籍状モデルのページ遷移状態を表すページ遷移情報を決定するページ遷移状態決定部と、複数ページから構成されるドキュメント情報を保持するドキュメント情報蓄積部と、前記ドキュメント情報蓄積部から前記ドキュメント情報を読出し、読み出したドキュメント情報をページ画像データとして生成するコンテンツ保持部と、前記表示部の湾曲量、及び前記ページ遷移情報に基づき、所定の形状の前記書籍状モデルを作成し、前記コンテンツ保持部から読み出した所定のページの前記ページ画像データを、前記作成された書籍状モデルのページの形状データにマッピングして前記表示部に表示するページ表示制御部と、を備え、前記ページ表示制御部は、前記表示部の湾曲量、及び前記ページ遷移情報に基づき、前記書籍状モデルの小口領域の表示幅を変化させて、かつ、前記ページ遷移状態が前記書籍状モデルのページ遷移を示すものである場合は、ページ遷移中の状態にある前記書籍状モデルのページの形状データを、前記ページ遷移状態に応じて作成して、前記書籍状モデルを作成することを特徴とする。
また、本願の請求項2に係る発明は、請求項1に記載の電子表示装置において、前記ページ遷移状態決定部は、前記表示部の湾曲量、及び前記指接触点位置情報に基づいて前記書籍状モデルのページ遷移方向を決定する遷移方向決定部と、前記指接触点位置情報に基づいて求められる利用者の指の移動パターンに応じて、前記書籍状モデルのページ遷移パターンを決定する遷移パターン決定部と、前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記書籍状モデルのページ遷移量を決定する遷移量決定部と、所定の2時点間の前記指接触点位置情報の変化量、あるいは前記表示部の湾曲量に基づき、遷移中の状態にある前記ページ形状データのページ遷移速度を、前記書籍状モデルのページ遷移パターンに応じて算出する遷移速度算出部とを備えることを特徴とする。
本発明によれば、湾曲可能なディスプレイ上に書籍状オブジェクトを表示し、前記ディスプレイ上の利用者の指の移動パターンに応じて、前記書籍状オブジェクトのページを遷移させ、前記ディスプレイの湾曲量、及びページ遷移量に応じて、前記書籍状オブジェクトの小口領域の厚み表示を変化させることとしたので、利用者は、特別なコンピュータの操作方法を学習せずとも、実世界で行う書籍を取り扱うのと同様の動作によりコンピュータ内の仮想書籍の情報を検索・閲覧することが可能となる。
(実施の形態1)
本実施の形態1に係る電子表示装置は、利用者が、湾曲可能な表示部に表示される書籍状オブジェクトに対して、実世界の書籍を扱うのと同様の動作、例えば、ブラウジングを行なうために書籍を湾曲させ、小口上に置かれた指を移動する動作、を行なうことにより、前記書籍状オブジェクトに対して、小口の厚みの増減や、ページのめくれる動きといった、実世界の書籍における変化と同様の形状変化を与え、遷移状態の各ページ、あるいは見開き状態の各ページに、所定のドキュメント情報をマッピングすることにより、実世界の書籍と同じスタイルでブラウジングすることを可能としたものである。
まず、本実施の形態1における書籍状オブジェクトについて説明する。
本実施の形態1では、書籍のページの形態をなす3次元形状データをページモデルと定義し、ページモデルが集合して書籍の形態をなす3次元形状データを書籍状モデルと定義する。また、前記ページモデルにドキュメント情報がマッピングされたものをページオブジェクトと定義し、前記書籍状モデルにドキュメント情報がマッピングされたものを書籍状オブジェクトと定義する。
ここで、本実施の形態1におけるページモデルは、実世界の書籍のページのように、常に1枚のページとして存在するものではなく、複数枚のページであっても、同一の処理対象となるページ群であれば、1つのページモデルとして扱う。例えば、総ページ枚数が100枚の実世界の書籍が、ちょうど真ん中のページで開かれている状態は、本実施の形態1における書籍状モデルでは、ページ50枚分の厚みを持つ1つの左側のページモデルと、ページ50枚分の厚みを持つ1つの右側のページモデルの計2つのページモデルにより表す。また、1枚のページが遷移している状態は、本実施の形態1における書籍状モデルでは、左側のページモデルと右側のページモデルに加えて、遷移中の1枚のページモデルを加えた、計3つのページモデルにより表す。
次に、本実施の形態1に係る電子表示装置の構成について説明する。
図1は、本実施の形態1の電子表示装置の構成を表すブロック図である。本実施の形態1の電子表示装置100は、表示部101と、操作情報検出部102と、ページ遷移状態決定部104と、ページ表示制御部107と、操作情報バッファ103と、ページ情報管理バッファ105と、コンテンツ保持部106と、ドキュメント情報蓄積部108とを有する。
表示部101は、ページ表示制御部107により作成される書籍状オブジェクトを表示するものであり、図2(a)に示すように、湾曲可能な2枚のフレキシブルディスプレイ101L、101Rが、回転軸203を介してそれぞれの表示面が対面するように見開き状に配置されることにより構成される。ディスプレイ101L、101Rは、湾曲可能なものであれば良く、液晶ディスプレイ、有機EL・無機ELディスプレイなどを使用することができる。
操作情報検出部102は、表示部101の湾曲量bL、bR、及び表示部101上に置かれた利用者の指の位置情報(以下、湾曲量bL、bR、及び指の位置情報をまとめて、「操作情報Di」とする。)を検出するものである。操作情報検出部102は、図2(a)に示すように、タッチパネル201L、201Rと、ベンドセンサ202L、202Rとにより構成される。タッチパネル201L、201Rは、ディスプレイ101L、101R上に置かれた利用者の指の位置に応じて、ディスプレイ101L、101R上に設定された所定の座標系における座標情報を出力するものである。タッチパネル201L、201Rは、光学的に透過性を有し、かつ、可撓性を有するものを使用し、ディスプレイ101L、101R全体をカバーするように配置している。なお、タッチパネル201L、201Rは、電子表示装置100を利用者が両手で持ったときに、ページをホールドするために表示部101にかける親指が当たる部分だけに設置しても良い。この場合は、タッチパネル201L、201Rは必ずしも湾曲する必要はない。ベンドセンサ202L、202Rは、該センサ自身が撓むことによって、その物理現象を定量化して出力するものであれば、該センサが出力する値は、曲率に対応した電圧値などであれば良い。
操作情報バッファ103は、操作情報検出部102から出力される操作情報Diと、ページ遷移状態決定部104により求められた各種のデータとを一時的に保存するものである。操作情報バッファ103のデータ格納領域は、電子表示装置100の異なる2時点のデータをそれぞれ格納することができるよう、同じ構成の2つの格納領域(t領域、t−1領域)により構成されている。
ドキュメント情報蓄積部108は、複数のページからなるドキュメント情報を保持するものである。
コンテンツ保持部106は、ドキュメント情報蓄積部108から、電子的に蓄積された複数のページからなるドキュメント情報を1ページごとに読み出し、読み出したデータに基づいて1ページ分のページ画像データを生成するものである。ページ画像データのそれぞれには、表紙から裏表紙までに至る順において、初期値を1とするページ番号が付されている。
ページ遷移状態決定部104は、操作情報バッファ103に格納された操作情報Diに基づいて、書籍状オブジェクトのページ遷移状態を決定するものである。ここで、ページ遷移状態とは、ページ遷移方向Td、ページ遷移パターンTp、ページ遷移量Tv、及びページ遷移速度Ts(以下、これらをまとめて「ページ遷移情報Dt」とする。)により決定される、書籍状オブジェクトのページ遷移の態様を意味する。ページ遷移情報Dtのうち、ページ遷移方向Tdは、書籍状オブジェクトの左右何れのページがめくられるかを示すものであり、本実施の形態1では、めくられるページ(以下、「アクティブページ」とする。)を決定することにより、ページ遷移方向Tdを決定する。また、ページ遷移パターンTpは、ページがどのようにめくられるのかを示すものであり、本実施の形態1では、見開かれた状態の維持、1枚ごとのページめくり、連続的なページめくり、及び複数ページを束とした一括ページめくり、の4パターンを想定している。ページ遷移量Tvは、利用者の指の変化量において、遷移すべきページの枚数を示すものである。ページ遷移速度Tsは、ページ遷移をアニメーション表示する場合の単位処理時間経過に伴う移動量を示すものであり、その値は、遷移中のページを一単位処理時間で移動させる回転角度により定義される。
また、ページ遷移状態決定部104は、ページ遷移情報Dtに基づいて、見開きの状態における見開かれたページから最初のページ、及び最後のページまでのページ枚数、マッピングされるページ画像データのページ番号、そして、遷移中のページが存在すれば、遷移中のページごとに、ページの枚数(連続ページめくりや1ページめくりであればページ枚数は1、一括ページめくりであれば、対応するページ枚数)やマッピングされるページ画像データのページ番号、遷移中のページモデルを描画するための位置情報(ページ遷移速度Tsに基づき算出されるページの傾き角度)を、書籍状オブジェクトのページオブジェクトを作成するために必要なページ情報Dpとして決定し、ページ情報管理バッファ105に対して追加・更新し格納する。ここで、マッピングされるページ画像データのページ番号は、ページモデルの最上面と最下面に位置するページのページ番号である。すなわち、本実施の形態1では、上述のように、同一の処理対象となるページ群を1つのページモデルとして扱うため、例えば、ページが5枚の束となって遷移する場合であっても、これら5枚のページのうち、実際に画像表示されるのは、ページモデルの最上面と最下面に位置するページのページ画像データである。従って、本実施の形態1の書籍状オブジェクトにおいて、ページ遷移時の画像表示の連続性を維持するためには、ページモデルの最上面と最下面に位置するページに、所定のページ画像データがマッピングされていれば良く、このため、本実施の形態1では、ページモデルの最上面と最下面に位置するページに対応するページ画像データのページ番号を、ページ情報管理バッファ105に格納する。
ページ情報管理バッファ105は、ページ遷移状態決定部104により求められたページ情報Dpを保存するものである。ページ情報管理バッファ105は、デフォルトで2つのページ情報を格納する領域DPL、DPRを備えており、DPLは見開き時の左側ページのページ情報Dpを、DPRは見開き時の右側ページのページ情報Dpを格納する。この2つの領域は固定的に存在し、後述する遷移状態にあるページが発生した場合は、DPLとDPRの間に、遷移状態にあるページごとにページ情報Dpの格納領域を動的に割り当て、そこにページ情報Dpを格納する。例えば、右から左へ2枚のページが遷移中であるとすると、ページ情報管理バッファ105は、DPL、DP1、DP2、DPRという4つのページ情報Dpを格納する領域を持つことになる。また、この状態で新たに1枚のページめくり要求が発生した場合、上記の例であれば、DP2とDPRの間にDP3が挿入され、遷移中のページが、左側ページに到達し、遷移が終了すれば、遷移が終了したページのページ情報Dpを格納していたページ情報管理バッファ105上の領域は、削除される。このページ情報管理バッファ105は、例えば、双方向のリンクを持つリスト構造で構成される。
ページ表示制御部107は、操作情報バッファ103が保持する湾曲量bL、bR及びページ情報管理バッファ105が保持するページ情報Dpに基づいて書籍状モデルを作成し、コンテンツ保持部106から読み出したページ画像データを、書籍状モデルにマッピングして書籍状オブジェクトを作成するものである。
以下、ページ表示制御部107により作成される書籍状オブジェクトの詳細な構成について説明する。
図3(a)は、3次元データとして作成される書籍状モデルが見開かれた状態における右側のページモデルの断面形状を模式的に表した図である。図3(a)に示す書籍状モデルは、左閉じ、総ページ枚数は100枚(表裏の表紙を含め200ページのドキュメント情報)のものを想定しており、図3(a)はちょうど真ん中のページ、すなわち、見開きページは左100ページ、右101ページ、を開いている状態を表す。なお、図3(a)は、装置のタッチパネル面の横方向に平行な軸をX軸と想定しており、その下部にz軸方向に厚みを取った書籍状モデルの断面を示している。また。書籍状モデルの断面形状を描くための原点は、(X,Z)=(0,Z0)なる点により一意に決定され、この点は、空間中で固定され移動することはない。
見開き状態にある右側のページモデルの断面形状は、ページモデルの最上面のページPRtopと、最下面のページPendと、書籍状モデルの背表紙Sの右側部分SRと、小口部Kとにより構成される。
書籍状モデルの背表紙Sの厚さは、ドキュメント情報の総ページ枚数に、あらかじめ定義する1枚のページの厚さを乗じることにより求められる。そして、背表紙Sの右側部分SRは、右側のページモデルの仮想枚数に、あらかじめ定義する1枚のページの厚さを乗じることにより求められる。
最後のページPendの長さは、あらかじめ設定する書籍状モデルのページ幅wとして規定される。このPendはX軸に平行とし、始点は、背表紙Sの右側部分SRの端点とする。ページモデルの最上面であるPRtopの長さは以下のように求められる。背表紙Sの右側部分SRの端点を中心とし、半径をSRとする円を想定し、図示するように中心角90度の円弧を規定する。この円弧の長さcは、円周と円弧の中心角の関係から算出される。そして、長さcの円弧の小口領域側の端点からw−cの長さの直線をX軸に平行に設けることで、見開きのページPRtopを構成することができる。小口部Kは、PRtopとPendの端点を結んだ直線で構成する。左側のページモデルの断面形状についても、上述した右側のページモデルと同様の構成とすることができ、左右のページモデルの断面モデルを、背表紙Sの右側部分SRと背表紙Sの左側部分SLとが180度の関係を保つように結合することにより、見開き状態の書籍状モデルの断面形状を得ることができる。以上のように構成される書籍状モデルの断面形状は、左右のページ枚数が変化すれば、図3(b)のように変化する。
書籍状モデルは、上記書籍状モデルの断面モデルと同じものを、あらかじめ規定したページの縦方向の長さhだけ平行移動した点に設け、各端点を直線で結ぶことにより作成される。また、書籍状オブジェクトは、上記書籍状モデルの各ページモデルのPRtopとPendにドキュメント情報をマッピングすることにより作成される。ここで、表示部101上における書籍状オブジェクトの表示例を図2(b)に示す。
図2(b)は、見開き状態の書籍状オブジェクトが表示部101に表示されている状態を表す図である。図2に示すように、左右のページオブジェクトのそれぞれは、左右のディスプレイ101L、101Rに振り分けて表示される。また、小口部Kは、書籍状オブジェクトの厚みを示す小口領域205L、205Rとして、また、左右のページモデルのPRtopは、ドキュメント情報が表示されるドキュメント領域204L、204Rとしてそれぞれ表される。なお、図2(b)において、206は、利用者が画素レベルの単位で表示部101上のどこに触れているかを知覚させるためのマーカーである。すなわち、本発明では、フレキシブルなディスプレイにタッチパネルを装着し、ディスプレイに表示された書籍状オブジェクトを直接操作することを前提としている。しかし、ディスプレイに表示される最小単位である1画素の大きさに比べ、操作する利用者の指はあまりにも大きい。マウスカーソルなどによれば、1画素単位で所望の位置を指示することが可能であるが、利用者の指では、画素レベルでどこを指示しているかを判断するのは難しい。このため、本発明では、利用者の触れている位置にマーカー206を表示することとしている。
なお、書籍状モデルが閉じられている場合の断面形状は、上記各パラメータを用いて、あるいは、それらと関連付けて表すことができるものであれば良く、例えば、実世界の書籍と同様に単なる長方形状や、背表紙Sと裏表紙が一直線であって、これに伴ない小口部Kがずれて表示されているものであっても良い。
次に、以上のように構成される電子表示装置100の動作について説明する。
本実施の形態1の電子表示装置100は、操作情報検出部102による操作情報Diの検出、ページ遷移状態決定部104によるページ遷移情報Dtの決定、ページ表示制御部107による書籍状オブジェクトの作成、及び表示部101への書籍状オブジェクトの表示を1つの処理単位(1サイクル)として処理を行い、かかる処理をイベント入力の有無に関わらずに繰り返し行なうこととしている。そして、現在の処理サイクル(nサイクル)における湾曲量bL、bR、および、2時点間の操作情報Diの変化、すなわち、現在の処理サイクル(nサイクル)と1サイクル前(n−1サイクル)の座標情報の変化量に基づいてページ遷移情報Dtを算出し、該ページ遷移情報Dtより描画すべきすべてのページのページ情報Dpを求め、それを格納したページ情報管理バッファ105を構成し、各ページ情報Dpに応じた形状の書籍状オブジェクトをサイクル毎に作成して表示部101に表示する。
以下、電子表示装置100の詳細な動作について説明する。
まず、利用者は電子表示装置100を起動させて表示部を開き、電子表示装置内に保存されたドキュメント情報を選択する。この選択操作により、電子表示装置100は、指定されたドキュメント情報の諸情報(綴じ方(右ないし左)、書籍状オブジェクトの高さ(h)、幅(w)、厚さ、総ページ数、画像化した場合の画像サイズ、ドキュメント情報の記憶装置上での位置、ドキュメント情報の名称など)を読み取る。これらのデータに従い、コンテンツ保持部106が、ドキュメント情報蓄積部108から1ページごとのドキュメント情報を読み出し、1ページ分のページ画像データを生成する。そして、この操作を1つのドキュメント情報を構成するすべてのページに対して行い、バッファリングする。
操作情報検出部102は、表示部101L、101R双方の湾曲量bL、bR、及び利用者の指の位置情報である座標情報(XL、YL)、(XR、YR)を検出し、これら操作情報Diを操作情報バッファ103のt領域に格納する。
ページ遷移状態決定部104は、操作情報バッファ103に保持される操作情報Diを読み出し、ページ遷移方向Td、すなわち、ページめくりの対象となるアクティブページを決定する。ページ遷移状態決定部104によるアクティブページの決定方法は以下のとおりである。ページ遷移状態決定部104の遷移方向決定部(図示せず)は、取得した座標情報(XL、YL)、(XR、YR)から利用者が表示部101L、101Rの何れのディスプレイに触れているかを判断し、何れかの表示部にのみ利用者が触れている場合は、利用者の指が触れられている側の表示面を、アクティブページと判断する。また、利用者が左右双方の表示部101L、101Rに指を触れている場合は、左右の表示部101L、101Rの湾曲量bL、bRを比較し、湾曲量が大きい側をアクティブページと判断する。上記以外の場合は、アクティブページが存在しないと判断する。
次に、ページ遷移状態決定部104の遷移パターン決定部(図示せず)は、アクティブページと判断された表示部101上の利用者の指の位置が、書籍状オブジェクト上のどの領域にあるかを示す領域情報Ddを求める。ページ遷移状態決定部104による領域情報Ddの決定プロセスについて以下説明する。なお、図3(a)は図3(c)の特殊な場合、すなわち、θbが0度の場合であり、また、利用者は本装置を手に持って使用することが前提ゆえ、湾曲が与えられることが一般的であるため、以下の説明は、図3(c)を用いて行なう。
タッチパネル、および、書籍状モデルのX軸の原点が図3(c)に示すように校正されており、タッチパネルから得られる指が触れた位置のX座標をXSとする。最後のページPendと見開きのページPRtopとのずれ量は、円弧長c´として算出されている。よって、タッチパネルから得られた座標XSより原点からのずれdxを差し引いた長さ(XS―dx)とw−c´、およびwを比較し、(XS―dx)>wならば、利用者の指の位置は書籍状オブジェクトの外にあると判断し、(XS―dx)≦w−c´ならばドキュメント領域204L、204R上にあると判断し、(XS―dx)>w−c´かつ(XS―dx)≦wならば小口領域205L、205R上にあると判断する。
ページ遷移状態決定部104は、決定したアクティブページ、及びアクティブページと判断された側の表示部101の領域情報Ddを操作情報バッファ103のt領域に格納する。この時点では、操作情報バッファ103のt−1領域に格納されるべき前サイクルのデータが存在しておらず、また、本実施の形態1では、初期状態の書籍状オブジェクトの形状を、書籍が閉じられた形状としており、このため、ページ遷移状態決定部104は、ページ遷移パターンTp、ページ遷移量Tv、及びページ遷移速度Tsを算出することはなく、ページ情報管理バッファ105のDPL領域を初期化し、DPR領域に全ページ数、マッピングされるページ画像データのページ番号、位置情報などのページ情報Dpを記録する。
ページ表示制御部107は、操作情報バッファ103に格納されている操作情報Diとページ情報管理バッファ105のDPL、DPR領域に格納されているページ情報Dpを読み出し、操作情報Diに含まれる湾曲量bL、bR、DPL領域に格納されているページ情報(この時点ではDPLは初期状態であるためデータは存在しない)、及びDPR領域に格納されているページ情報Dpに基づいて書籍状モデルを作成する。
また、ページ情報管理バッファ105のDPR領域から読み出したページ情報Dpに基づいて、コンテンツ保持部106から所定のページ画像データを読み出し、作成されたページモデルにマッピングする。なお、書籍状モデルにおける他の面(天、地、小口、背表紙)は、適宜、多角形に分割し、各々をポリゴンとしてパッチ当てを行うことで面を構成する。この際に、小口部については、ページの枚数が多くなると、表示部101の解像度の限界により実際のページ枚数を離散的にそのまま表示することが困難となるため、本実施の形態1では、アナログ的な表現、すなわち、見開きページ側を白、最終のページ側を黒とし、保有するページの枚数により階調レベルを最大256階調のグラディエーションで可変させテクスチャを生成し、これをマッピングする。これにより書籍状オブジェクトが生成され、表示部101は、ページ表示制御部107が生成した、書籍状オブジェクトを表示する。
表示部101が書籍状オブジェクトを表示すると、操作情報バッファ103のデータ格納領域tに保持されているデータが、データ格納領域t−1に移動されると共にt領域が初期化される。
次に、ユーザーがブラウジングを行なうため、表示部101を湾曲させて、表示部101上に置いた指を所定量移動させると、操作情報検出部102は、表示部101L、101R双方の湾曲量bL、bR、及び座標情報(XL、YL)、(XR、YR)を検出し、これら操作情報Diを、操作情報バッファ103のt領域に格納する。
ページ遷移状態決定部104の遷移方向決定部は、操作情報バッファ103のt領域から操作情報Diを読出し、上述のようにページ遷移方向Tdを算出し、ページ遷移状態決定部104の遷移パターン決定部は、領域情報Ddを決定する。その後、ページ遷移状態決定部104は、ページ遷移パターンTp、ページ遷移量Tv、ページ遷移速度Tsを算出する。以下、アクティブページが右側のページであると判断された場合のページ遷移状態決定部104によるページ遷移パターンTp、ページ遷移量Tv、ページ遷移速度Tsの算出プロセスについて説明する。
まず、ページ遷移パターンTpの算出方法について説明する。ページ遷移状態決定部104の遷移パターン決定部は、操作情報バッファ103のt領域に格納されている座標情報(XR、YR)と操作情報バッファ103のt−1領域に格納されている座標情報(XR、YR)のX座標、Y座標それぞれの値の差分値を求め、利用者の指の移動量、及び移動方向を求める。そして前記移動量、移動方向、及び先に決定された領域情報Ddに基づいて、利用者の指の移動パターンを求め、あらかじめ指の移動パターンに対応して設定されているページ遷移パターンTpを求める。本実施の形態1では、利用者の指の移動パターンとしては、図2(b)の×印にてそれぞれ示す点aへの接触状態、点bへの接触状態、点bから点cへの移動状態、点bから点dへの移動状態、点eへの直接の接触状態の5パターンを想定しており、各指の移動パターンに対応するページ遷移パターンTpを以下のように設定している。点aへの接触状態の場合は、点aは書籍状オブジェクトが存在していない領域であることから、書籍状オブジェクトの現在の状態を維持すると判断する。点bへの接触状態の場合は、単にページをホールドしている状態であることから、書籍状オブジェクトの現在の状態の維持と判断する。点bから点cへの指の移動の場合は、単独の1ページめくりであると判断する。点bから点dへの指の移動の場合は、連続的なページめくりであると判断する。点eへの直接の接触の場合、すなわち、直前のサイクルでアクティブページの存在が確認されない場合において、点eへの接触が確認された場合は、複数ページを束とした一括ページめくりと判断する。
次に、ページ遷移状態決定部104によるページ遷移量Tvの算出方法について説明する。図3(c)に示すように、小口部Kは直線で構成されており、この直線の傾きθkは、θk=tan-1(SR/C´)で求められる。このため、ページ遷移状態決定部104の遷移量決定部(図示せず)は最後のページPendから、指で触れられた小口上の位置までの高さを、(w−(XS−dx))tanθkにより求める。この高さを、あらかじめ規定する1枚のページの厚さで除算することにより、ホールドすべきページの枚数を算出する。そして、ページ情報管理バッファ105のDPR領域に格納されている現在のページ枚数から、ホールドすべきページ枚数を差し引くことで、リリースすべき、すなわち、めくるべきページ枚数を求める。
次に、ページ遷移状態決定部104によるページ遷移速度Tsの算出方法について説明する。ページ遷移状態決定部104の遷移速度算出部(図示せず)は、ページ遷移パターンが単独の1ページめくりの場合は、t領域に保持される(XR、YR)とt−1領域に保持される(XR、YR)の差が大きいほど、ページ遷移の速度が速いと判断し、差分値の絶対値に比例したページ遷移速度Tsを決定する。また、ページ遷移パターンが連続的なページめくりの場合は、表示部101Rの湾曲量bRが大きいほどページ遷移の速度が速いと判断し、湾曲量bRに比例したページ遷移速度Tsを決定する。ここで、ページ遷移速度Tsは、具体的には1サイクルあたりに移動させる回転角度である。書籍状オブジェクトにおいて、ページがめくれる動作は、例えば、図3(a)を例にとれば、PRtopの背表紙側を中心とした、回転運動で表現される。よって、ページ情報Dpの一つである遷移中のページの位置情報は、1サイクル前のそのページの位置情報、すなわち角度に対し、ページ遷移速度を加算することで求められる。なお、ページ遷移速度は、右から左への移動の場合を正、逆を負とすることで、左右いずれからでもめくる動作が可能となる。
ページ遷移状態決定部104は、上述のようにページ遷移情報Dtを算出した後、これらの情報に基づいて、ページ情報Dpを求め、ページ情報管理バッファ105の所定の領域に記録する。
ここで、ページ遷移状態決定部104は、ページ遷移パターンTpが、現在の状態の維持であると判断し、かつ、遷移中のページが存在しない場合は、ページ情報管理バッファ105に対してなんら操作を行わない。また、ページ遷移パターンTpが単独の1ページめくり、連続的なページめくり、あるいは、一括ページめくりであると判断した場合は、ページ情報管理バッファ105のDPRの直前に、ページ枚数分の領域を確保し、遷移中のページをページオブジェクトとして構成するために必要となるページ情報Dpを、前記確保した領域に記録する。更に、遷移中のページが存在する場合は、ページ情報管理バッファ105の遷移ページのページ情報Dpを格納している各領域DPmに対して位置情報を更新する。更新の結果、遷移中のページのページめくりが終了したと判断されれば、DPL領域のページ枚数とマッピングすべきページ画像データのページ番号を更新すると共に、遷移が終了したページのページ情報を格納していたDP1領域、すなわち、最先のデータ格納領域を削除する。
ページ表示制御部107は、操作情報バッファ103に格納されている操作情報Diとページ情報管理バッファ105が保存する各ページ情報Dpに基づいて、まず、見開き状態における左右のページモデルの断面モデルを作成する。この際に、ページ表示制御部107は、表示部101の湾曲量bL、bRの変化に伴い、小口領域205L、206Rの幅を変化させてページモデルの断面を作成する。かかる変化は、図3(c)に示すように、湾曲量bL、bRに応じてθbを増減させ、w−cの長さを変化させて小口部の幅をcからc′に変化させることにより表現可能である。また、かかる変化は、背表紙をθbだけ傾けたときの端点の座標を求めれば前述の湾曲を伴わない場合と同様の方法により描画できる。すなわち、書籍状モデルの断面形状の原点である(0,Z0)なる点からのずれ量と円弧の中心角θL、θRを求めればよい。ずれ量は、図3(c)におけるdx、dzを求めることに帰着され、dx=SRCOSθb、dz=SRSINθbにより求められる。また、円弧の中心角は、θL=90−θb、θR=90+θbとなる。このθbの可動範囲は、±90度である。
更に、ページ表示制御部107は、遷移ページモデルの断面モデルを、各ページ情報Dpに含まれる位置情報に基づいて作成する。具体的には、図3(a)において右側ページが1枚めくられる場合を例とすると、まず、ページ情報管理バッファ105に格納されるページ情報Dpより、現在のサイクルにおける遷移中のページの位置情報を取得する。位置情報が例えば30度である場合は、円弧cの接線であって、書籍状モデルの表紙との間でなす角度が30度となるような接線上に、円弧cとの接点を始点とする所定長の直線を、右側ページの小口側に向かって引く。これにより、ページ遷移中のページモデルの断面形状を作成する。
なお、上記説明においては、ページ遷移中のページモデルの断面形状を直線形状としているが、必ずしも直線に限られるものではなく、湾曲させた形状のものであっても良い。また、遷移ページの位置情報が90度を超えた場合には、円弧の中心位置を左側の位置、すなわち、X=−SLに移動させ、同様に描画することができる。さらには、上記ページ遷移中のページモデルの描画方法は、表示部に湾曲が発生し、書籍状モデルを変形させた場合も同様に適用することができる。また、上記説明は、左綴の場合を例としたが、右綴の場合あっても、同様に適用することができる。
ページ表示制御部107は、書籍状モデルの断面モデルを作成した後、該断面モデルと同じものを、あらかじめ規定したページの縦方向の長さhだけ平行移動した点に設け、各端点を直線で結ぶことにより書籍状モデルを作成する。そして、ページ情報管理バッファ105に格納されるページ情報Dpに基づいて、コンテンツ保持部106から、所定のページ画像データを読み出し、書籍状モデルのページモデルにマッピングする。例えば、書籍状モデルが見開き状態であれば、見開きトップのページと、裏表紙、表紙のページ画像データを読み出し、作成されたページモデルにマッピングする。また、遷移中のページがある場合は、遷移中のページモデルの最上面と最下面のページ番号に対応するページ画像データを読み出し、これらページ画像データを遷移中のページモデルにマッピングする。また、書籍状モデルにおける他の面(天、地、小口、背表紙)についても上述のように作成し、これにより、書籍状オブジェクトを作成し、表示部101上に表示する。
これ以降の各サイクルにおいても、利用者からの動作終了要求がなされるまで、上述の動作が行なわれることになり、ページ表示制御部107が、1サイクルで描画する書籍状オブジェクトの状態を徐々に変化させながら複数サイクルに亘って描画することで、表示部101は、書籍状オブジェクトの小口領域205L、205Rの形状変化、あるいはページのめくれる状態を、あたかも連続的に変化しているようにアニメーション表示する。
このように、本実施の形態1では、湾曲可能な2枚の表示部101L、101R上に、表示部101の湾曲量bL、bR、及び利用者の指の位置情報を検出する操作情報検出部102を設け、表示部101の湾曲量bL、bR、及び利用者の指の位置情報に基づいて、書籍状オブジェクトの形状、及びページ遷移状態を変化させて作成することとし、かかる処理をサイクリックに行なうこととしたので、利用者のページ遷移要求に応じて、書籍状オブジェクトの形状を連続的に変化させて表示することが可能となり、これにより、仮想的な書籍状オブジェクトに対して、実世界の書籍を扱うのと同様の方法によりブラウジングを行うことが可能となる。
また、表示部の湾曲量bL、bRに応じて、書籍状オブジェクトの小口領域205L、205Rの表示幅を変化させることとしたので、ブラウジング中のページ選択の分解能を高めることが可能となると共に、目視により、ドキュメント情報の総量、及びドキュメント情報における現在参照しているページの位置を容易に判断することが可能となる。
なお、本実施の形態1では、表示部101としてフレキシブルディスプレイ101L、101Rを使用しているが、操作情報検出部102を表示部101と独立させ、フレキシブルディスプレイ101L、101Rの代わりに、ソリッドなディスプレイを用いてブラウジング用システムを構築することも可能である。例えば、図4に示すように、ポリプロピレン板等の湾曲可能な部材を用いてベース部404を作成し、本実施の形態1と同様に、タッチパネル201L、201Rと、ベンドセンサ202L、202Rをベース部404に取り付け、これにより、インターフェース部403を構成する。そして、該インターフェース部403を、USBケーブル等を用いて通常のコンピュータシステム402に接続し、3次元のコンピュータグラフィクスを用いて、ソリッドなディスプレイ401上に書籍状オブジェクトを描画することにより、本発明と同様の操作によりブラウジングを行うことが可能なブラウジングシステムを構築することができる。この場合、上述したように、ページ遷移中のページの断面形状を湾曲させた形状として作成することにより、ページ遷移中のページの形状を、湾曲させて表示することができ、これにより、ソリッドなディスプレイ401を使用する場合であっても、実世界の書籍を扱う感覚でブラウジングを行なうことが可能となる。
また、2枚のフレキシブルディスプレイを接続する回転軸203に外部電源供給ポート、電子的データ(映像情報)供給ポート、タッチパネル、ベンドセンサの出力を持つコネクタを設け、すべての処理を外部に用意したコンピュータにより処理を実行させても良いし、電子表示装置内にその機能すべてを持たせても良い。
また、タッチパネル201L、201Rは、コンピュータ操作におけるマウスに代替されるもの、つまり、出力値としてX、Y座標を整数値で出力するものでも良く、また、X、Y座標を出力せずとも、代替デバイスにおいて、利用者の指が触れた位置に応じた電圧値を出力し、装置側でキャリブレーションを行うことにより、サブピクセル単位(1/100のオーダー程度の実数値)の座標を出力するものであってもよい。
また、利用者がブラウジング後、より詳細に(例えば、該当ページの任意の箇所を拡大して)該当ページを見たい場合や、プリンタへのハードコピー要求が起こることも考え得る。かかる場合は、利用者の要求に応じて、該当ページを本装置、あるいは、別の(通常のソリッドな)ディスプレイにページビューワを起動し、1つのウインドウを表示し、その中で該当ページを表示しても良い。
また、多様なドキュメント情報を用意し、それらを本装置に与えることで、ブラウジングできる情報を変更することができる。
また、装置起動時に、これからブラウジング対象となる書籍が右綴か左綴かを示す情報等を与え、かかる情報に従って初期状態の書籍状オブジェクトを左ないし右の表示部に表示させ、ページ順を守ってブラウジングすることができる。
本発明に係る電子表示装置によれば、実世界の書籍を扱うのと同様の方法により、電子的にコンピュータ内に蓄積された複数のページからなるドキュメント情報のブラウジングを行うことが可能な電子表示装置を提供することができ、瞬時にドキュメント情報のすべてを散見することが可能となるため、特に、非言語的な知識、すなわち、図表、式、あるいはそれらのページ上でのレイアウト等の、所謂空間的記憶に基づいた情報検索が可能となる点において有用である。
本発明の実施の形態1による電子表示装置の構成を表す図である。 操作情報検出部の構成を説明するための図であり、操作情報検出部の外観を表す図である。 書籍状オブジェクトを説明するための図であり、表示部への書籍状オブジェクトの表示例を表す図である。 書籍状モデルを説明するための図であり、書籍状モデルの断面を表す図である。 書籍状モデルの断面の変形例を表す図である。 書籍状モデルにおける湾曲量と小口領域の変化の関係を説明するための図である。 本実施の形態1による電子表示装置の変形例を表す図である。
符号の説明
100 電子表示装置
101 表示部
102 操作情報検出部
103 操作情報バッファ
104 ページ遷移状態決定部
105 ページ情報管理バッファ
106 コンテンツ保持部
107 ページ表示制御部
108 ドキュメント情報蓄積部
201L、201R タッチパネル(左右)
202L、202R ベンドセンサ(左右)
203 回転軸
204L、204R ドキュメント領域(左右)
205L、205R 小口領域(左右)
206 マーカー
401 ディスプレイ
402 コンピュータ
403 インターフェース
404 ベース部

Claims (2)

  1. 電子的に蓄積された複数のページから構成されるドキュメント情報を、3次元データにより作成される書籍状モデルに表示する電子表示装置であって、
    湾曲可能な2枚の表示面を、回動可能な見開き状に連結してなる表示部と、
    前記表示部に一体に形成され、前記表示部の湾曲量と、利用者の指が触れた前記表示部上の接触点を示す指接触点位置情報とを検出する操作情報検出部と、
    前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記表示部に表示すべき前記書籍状モデルのページ遷移状態を表すページ遷移情報を決定するページ遷移状態決定部と、
    複数ページから構成されるドキュメント情報を保持するドキュメント情報蓄積部と、
    前記ドキュメント情報蓄積部から前記ドキュメント情報を読出し、読み出したドキュメント情報をページ画像データとして生成するコンテンツ保持部と、
    前記表示部の湾曲量、及び前記ページ遷移情報に基づき、所定の形状の前記書籍状モデルを作成し、前記コンテンツ保持部から読み出した所定のページの前記ページ画像データを、前記作成された書籍状モデルのページの形状データにマッピングして前記表示部に表示するページ表示制御部と、を備え、
    前記ページ表示制御部は、前記表示部の湾曲量、及び前記ページ遷移情報に基づき、前記書籍状モデルの小口領域の表示幅を変化させて、かつ、前記ページ遷移状態が前記書籍状モデルのページ遷移を示すものである場合は、ページ遷移中の状態にある前記書籍状モデルのページの形状データを、前記ページ遷移状態に応じて作成して、前記書籍状モデルを作成する、
    ことを特徴とする電子表示装置。
  2. 請求項1に記載の電子表示装置において、
    前記ページ遷移状態決定部は、
    前記表示部の湾曲量、及び前記指接触点位置情報に基づいて前記書籍状モデルのページ遷移方向を決定する遷移方向決定部と、
    前記指接触点位置情報に基づいて求められる利用者の指の移動パターンに応じて、前記書籍状モデルのページ遷移パターンを決定する遷移パターン決定部と、
    前記表示部の湾曲量、及び前記指接触点位置情報に基づいて、前記書籍状モデルのページ遷移量を決定する遷移量決定部と、
    所定の2時点間の前記指接触点位置情報の変化量、あるいは前記表示部の湾曲量に基づき、遷移中の状態にある前記ページ形状データのページ遷移速度を、前記書籍状モデルのページ遷移パターンに応じて算出する遷移速度算出部と、を備える、
    ことを特徴とする電子表示装置。
JP2004303575A 2004-10-18 2004-10-18 ブラウジング可能な電子表示装置 Expired - Fee Related JP4733376B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004303575A JP4733376B2 (ja) 2004-10-18 2004-10-18 ブラウジング可能な電子表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004303575A JP4733376B2 (ja) 2004-10-18 2004-10-18 ブラウジング可能な電子表示装置

Publications (2)

Publication Number Publication Date
JP2006113495A JP2006113495A (ja) 2006-04-27
JP4733376B2 true JP4733376B2 (ja) 2011-07-27

Family

ID=36382039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004303575A Expired - Fee Related JP4733376B2 (ja) 2004-10-18 2004-10-18 ブラウジング可能な電子表示装置

Country Status (1)

Country Link
JP (1) JP4733376B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986289B (zh) * 2010-11-03 2014-08-13 中兴通讯股份有限公司 一种提高浏览器页面渲染速度的方法和装置
JP6311379B2 (ja) * 2014-03-17 2018-04-18 株式会社リコー 表示装置、表示方法およびプログラム
JP2021067917A (ja) * 2019-10-28 2021-04-30 京セラドキュメントソリューションズ株式会社 表示装置及び画像形成装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242390A (ja) * 1999-02-18 2000-09-08 Sony Corp 情報の表示方法及び、情報表示装置
JP2001236051A (ja) * 1999-11-30 2001-08-31 Nokia Corp 背面対話式ハンドヘルド・ディスプレイ装置
JP2003091343A (ja) * 2001-09-17 2003-03-28 Nippon Telegr & Teleph Corp <Ntt> 書籍情報閲覧方法及びその装置と、書籍情報閲覧プログラム及びそのプログラムを記録した記録媒体
JP3876680B2 (ja) * 2001-10-19 2007-02-07 コニカミノルタビジネステクノロジーズ株式会社 画像表示装置
JP2004145553A (ja) * 2002-10-23 2004-05-20 Sony Broadband Solution Corp 電子化された文書のためのページ開閉状態入力装置、電子ブック、並びに電子化された文書の表示方法
JP2004213150A (ja) * 2002-12-27 2004-07-29 Canon Electronics Inc 電子頁送り装置

Also Published As

Publication number Publication date
JP2006113495A (ja) 2006-04-27

Similar Documents

Publication Publication Date Title
US11010016B2 (en) Automatic orientation for mixed reality information delivery system
JP5671921B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP2791760B1 (en) Display apparatus and method of changing screen mode using the same
EP2681649B1 (en) System and method for navigating a 3-d environment using a multi-input interface
JP5960307B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
US8466873B2 (en) Interaction techniques for flexible displays
US7898541B2 (en) Systems and methods for turning pages in a three-dimensional electronic document
JP4319156B2 (ja) 情報処理プログラムおよび情報処理装置
JP2012083889A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5613503B2 (ja) 表示装置および表示装置の制御方法
JP2007121765A (ja) 表示制御装置、表示方法、表示プログラムおよび記録媒体
EP2686762B1 (en) Method for three-dimensional viewing
JP4733376B2 (ja) ブラウジング可能な電子表示装置
JP2004271671A (ja) 画像表示装置及びそれを備えた端末装置
JP5975041B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
CN106716500B (zh) 一种信息处理装置及深度定义方法
EP1293950A1 (en) Haptic interface
JP2003091343A (ja) 書籍情報閲覧方法及びその装置と、書籍情報閲覧プログラム及びそのプログラムを記録した記録媒体
JP2012043376A (ja) 表示装置および表示装置の制御方法
JP4875175B2 (ja) 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP5875327B2 (ja) 画像表示装置
JP7377407B2 (ja) 光源位置制御方法、装置、プログラムおよびコンピューター読み取り可能な記録媒体
Doxon et al. Force and contact location shading thresholds for smoothly rendering polygonal models
Noble et al. Improving interactivity within a virtual sculpting environment
JP2005216248A (ja) 物理的接触に応じた形状変形表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110422

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4733376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees