JP5924580B2 - 視点誘導装置および電子書籍端末 - Google Patents

視点誘導装置および電子書籍端末 Download PDF

Info

Publication number
JP5924580B2
JP5924580B2 JP2012081585A JP2012081585A JP5924580B2 JP 5924580 B2 JP5924580 B2 JP 5924580B2 JP 2012081585 A JP2012081585 A JP 2012081585A JP 2012081585 A JP2012081585 A JP 2012081585A JP 5924580 B2 JP5924580 B2 JP 5924580B2
Authority
JP
Japan
Prior art keywords
viewpoint
information
character
reader
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012081585A
Other languages
English (en)
Other versions
JP2013210909A (ja
Inventor
林 潤 平 小
林 潤 平 小
見 和 男 伏
見 和 男 伏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2012081585A priority Critical patent/JP5924580B2/ja
Publication of JP2013210909A publication Critical patent/JP2013210909A/ja
Application granted granted Critical
Publication of JP5924580B2 publication Critical patent/JP5924580B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、電子書籍を閲覧する読者の視点を誘導する視点誘導装置と、この視点誘導装置を内蔵する電子書籍端末とを備える。
近年、市場の要求や、電子部品の高機能化および低価格化に伴って、電子書籍市場が活性化している。電子書籍は、かさばらずに多くの書籍を持ち運べて、いつでもどこでも簡易に閲覧できるという大きな利点がある。ユーザは、電子書籍のデータ形式に合致した携帯機器やPCなどの種々の電子書籍端末で電子書籍ビューアを起動して、場所および時間を問わず、任意の電子書籍を閲覧することができる。
このように、電子書籍は、携帯が容易であることから、実際の本を閲覧する場合よりも、外乱の多い環境下で閲覧する機会が増える。ところが、歩行中や乗り物の中で電子書籍を閲覧する場合、電子書籍端末を持つ手が揺れたり、人間の視線が電子書籍端末からそれやすくなるため、目と表示画面の距離が変動してしまう。
また、電子書籍は、屋内だけでなく、屋外で閲覧されることも多く、周囲の明るさも大きく変化する。また、照明光源の種類も、太陽光や蛍光灯、白熱灯など、目への負担が異なる様々な光源の下で読まれる。さらに、電子書籍端末の種類や各ユーザの生活スタイルにより、座って閲覧する場合や、立って閲覧する場合、寝転がって閲覧する場合、急いで閲覧する場合、精読する場合など、閲覧の仕方も様々である。
紙の書籍は、各頁内の文字の印字態様は固定であり、変更はできない。例えば、視力の弱い人が読む場合でも、その文字のサイズを変更することはできない。このような紙の書籍の物理的制約から、今までは、「紙に印字された文字を読みやすい環境」を読者自身が構築してきた。例えば、暗闇では読めないので読書灯を用意するなどして部屋を明るくしたり、文字が小さくて読めないのでメガネをかけたり、といった行動もその一つである。
これに対して、電子書籍は、本来的には文字の配置を変更可能で、また、文字の拡大縮小や背景色の変更などの表示形態の変更は、一般的なビューアが標準で備えている。
ところが、現在の電子書籍の文字の配置は、完成された紙の書籍の組版を再現したものがほとんどである。つまり、文字サイズや背景色を変更することはできても、電子書籍本体の文字配置をわざと変更できなくしていることも多く、文字配置を「動的に変更できる」という前提で考えられた組版の技術は発展途上である。
特開2009−301206号公報
http://www.sokudoku.gr.jp/rapid/outline/
一般的に、人間の視覚は、図5に示すように視野内の全ての文字にピントが合っていると感じているが、実際は、中心窩とよばれる視野の中心部分のみ解像度が高く、その周辺の周辺視野とよばれる領域では解像度が低くなっており、周辺視野では図示のように大部分がぼやけた状態で視認されている。ここで重要なのは、解像度の高い中心窩は範囲が狭いこと、および解像度の低い周辺視野では文字を「文字」としては認識できないことである。そのため、文字を「読む」ためには、中心窩を読みたい文字に当てる必要がある。
図6は非特許文献1に記載された視点トラッキング結果を示す図である。図6のハッチング部分は、読者が中心窩を一定時間動かさなかった場所であり、この動作を本明細書では「停留」と呼ぶ。また、停留場所から次の停留場所までの移動を本明細書ではサッケードと呼ぶ。読者は、読書中に停留とサッケードを繰り返していることがわかる。
ここで重要なのは、人間の視点は「すべての文字に停留しているわけではない」ことである。このことは、人間が読書中に文字として認識しているのは一部であり、脳の何らかのアルゴリズムによって認識すべき文字と読み飛ばしてもよい文字を区別し、かつ読み飛ばした文字も脳にて補完していることを意味する。つまり、読書の効率を考えると、脳が補完できる文字は読み飛ばすべきで、無駄な停留とサッケードは極力抑制すべきである。
図7は読者の停留中の行動を示している。読者は、停留中には、(1)中心窩での文字認識と、(2)周辺視野での次に中心窩を移動させるべき場所の探索(サッケード先探索)と、を同時に実行している。このことは、ある一回の停留でサッケード先が見つけられない場合は、認識する必要のない文字に中心窩を当てながら少しずつ目的の移動先を探っていくという無駄なサッケードが多発することを意味する。
図8は無駄なサッケードが多発しがちな例を示している。一般的な文書は、限られた紙面に文字を配置するために「改行」を導入し、文字列を分断して紙面に落とし込んでいる。この改行箇所では、行末から次の行の行頭へ視点をジャンプさせる必要がある。つまり、読者は、まず中心窩で「行末」を認識した後、次の行の「行頭」を周辺視野で探索し、サッケードすることで中心窩を行頭に合わせる、といった動作が必要となる。もし行末に中心窩を置いている時点で行頭を捉えられない場合、行頭を探すための無駄なサッケードが多発することになる。
電子書籍は、紙の書籍と異なり、各頁内の文字情報や画像情報の表示形態を比較的自由に変更できるにもかかわらず、従来の電子書籍端末は、読者の視点の無駄な停留とサッケードを抑制することを目的として、各頁内の文字情報や画像情報の表示形態を変更するようなことは行っていない。
特許文献1には、ユーザの視線移動を抑制する技術が開示されているが、ユーザの視点検出は行っておらず、ユーザの視点を表示画面内の特定位置に置くことを前提としている。したがって、特許文献1の開示技術を利用しても、上述した視点の無断な停留とサッケードを抑制することはできない。
また、書籍を読む読者の視点は、常に一定の方向に進むわけではなく、読み飛ばしてしまった文字等を認識するために、逆方向に視点を動かす逆行を行う場合もある。逆行は、過去に認識しなかった距離的に離れている文字等を探索する難易度の高い処理である。逆行を行う場合は、一般には一度のサッケードだけでは読み飛ばした文字等を認識するのは困難であり、無駄なサッケードが多発する要因になる。
上述した特許文献1を初めとして、公知技術では、逆行時のサッケードを減らして効率よく視点を案内することは困難である。
本発明は、上述した問題点を解決するためになされたものであり、読者の視点が逆行を行う場合であっても、無駄な停留とサッケードを抑制して、読者の手を煩わせることなく電子書籍を閲覧しやすくした視点誘導装置および電子書籍端末を提供するものである。
上記の課題を解決するために、本発明の一態様では、電子書籍データを表示させる表示画面内における読者の視点を検出する視点検出部と、
視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すべき文字記号数字情報および画像情報を停留場所候補として記憶する停留場所候補記憶部と、
前記停留場所候補記憶部に記憶されている文字記号数字情報または画像情報のうち、読者の視点が所定時間未満しか停留しなかった文字記号数字情報および画像情報を読み飛ばし情報として記憶する読み飛ばし情報記憶部と、
視点の進行方向が逆になる逆行が始まったか否かを判定する逆行判定部と、
視点の逆行が始まったと判定されると、現在の視点の位置から逆行方向に最も近い位置にある前記読み飛ばし情報を前記読み飛ばし情報記憶部から読み出して、該読み飛ばし情報の表示形態を変更する表示形態変更部と、を備えることを特徴とする視点誘導装置が提供される。
また、本発明の一態様では、表示装置と、
読者の視点検出に用いることが可能なセンサと、
サーバとの間で無線通信を行うことが可能な通信部と、
読者が種々の情報を入力する入力部と、
電子書籍データを前記表示装置の表示画面に表示させる表示制御部と、
視点誘導装置と、を備え、
前記視点誘導装置は、
前記表示装置の表示画面内における読者の視点を検出する視点検出部と、
視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すべき文字記号数字情報および画像情報を停留場所候補として記憶する停留場所候補記憶部と、
前記停留場所候補記憶部に記憶されている文字記号数字情報または画像情報のうち、読者の視点が所定時間未満しか停留しなかった文字記号数字情報および画像情報を読み飛ばし情報として記憶する読み飛ばし情報記憶部と、
視点の進行方向が逆になる逆行が始まったか否かを判定する逆行判定部と、
視点の逆行が始まったと判定されると、現在の視点の位置から逆行方向に最も近い位置にある前記読み飛ばし情報を前記読み飛ばし情報記憶部から読み出して、該読み飛ばし情報の表示形態を変更する表示形態変更部と、を有することを特徴とする電子書籍端末が提供される。
本発明によれば、読者の視点が逆行を行う場合であっても、無駄な停留とサッケードを抑制できるため、読者の手を煩わせることなく電子書籍を閲覧しやすくすることができる。
本発明の一実施形態に係る視点誘導装置1を内蔵する電子書籍端末2の概略構成を示すブロック図。 図1の電子書籍端末2の処理動作を示すフローチャート。 (a)、(b)および(c)は変更後の表示形態の一例を示す図。 図2のステップS23の逆行判断処理を詳細に説明するフローチャート。 人間の視野の一例を示す図。 非特許文献1に記載された視点トラッキング結果を示す図。 読者の停留中の行動を示す図。 無駄なサッケードが多発しがちな例を示す図。
以下、本発明の実施の形態について、詳細に説明する。図1は本発明の一実施形態に係る視点誘導装置1を内蔵する電子書籍端末2の概略構成を示すブロック図である。
図1の電子書籍端末2は、電源を投入すると、ユーザが意識しなくても、定期的にサーバ20と通信を行って、電子書籍データの更新を行う。また、ユーザの指示の下でサーバ20と通信を行って、新たな電子書籍データのダウンロードや削除を行うことも可能である。
図1の電子書籍端末2は、電子書籍を閲覧することに特化した専用端末でもよいし、汎用のOS(オペレーティングシステム)上で種々のアプリケーションソフトウェア(以下、アプリと呼ぶ)を実行させることができるPCやタブレット、スマートフォン等の電子機器でもよい。汎用のOS上で動作する電子機器を電子書籍端末2として利用する場合、電子書籍ビューアの機能を実現するアプリをOS上で起動することになる。また、PCを電子書籍端末2として利用する場合、そのPCは携帯可能なPCでもよいし、据置型のPCでもよい。このように、電子書籍端末2は、必ずしも携帯可能な電子機器である必要はない。
図1の電子書籍端末2は、表示装置3と、表示装置3の表示画面に表示させる情報を生成する表示制御部4と、読者の視点検出に用いることが可能なセンサ5と、サーバ20との間で無線通信を行う通信部6と、ユーザが種々の情報を入力する入力部7と、入力部7に入力された情報に基づいてユーザの入力情報を解析する操作解析部8と、電子書籍データを記憶する電子書籍記憶部9と、電子書籍端末2内の各部を制御するメインコントローラ10と、視点誘導装置1とを備えている。
メインコントローラ10は、通信部6を介してサーバ20と通信を行う制御や、センサ5からの出力信号を視点誘導装置1に送信する制御や、視点誘導装置1からの出力信号に基づいて表示制御部4に表示画面の変更を指示する処理などを行う。
視点誘導装置1は、視点検出部11と、停留検出部12と、電子書籍メタ情報記憶部13と、停留場所候補特定部14と、表示形態変更部15と、逆行判定部21と、順行判定部22と、近接判定部23とを有する。
視点検出部11は、センサ5の出力信号に基づいて表示画面内におけるユーザ(以下、読者と呼ぶ)の視点を検出する。
停留検出部12は、読者の視点が表示画面内の任意の場所に所定時間以上停留したことを検出する。一般的な人間の文字認識時間は、約0.2〜0.3秒と言われているため、上述した所定時間も、例えば0.2〜0.3秒程度に設定する。
電子書籍メタ情報記憶部13は、電子書籍データに付随したメタ情報を記憶する。メタ情報には、電子書籍データを表示するための種々の設定情報、例えば、表示画面内の文字数、行数、フォントサイズ、フォント種別、文字装飾情報などが含まれる。この他、電子書籍メタ情報記憶部13は、本実施形態に関連のあるメタ情報を記憶するために、停留場所候補記憶部16と、追加停留情報記憶部17と、読み飛ばし情報記憶部18とを有する。
停留場所候補記憶部16は、電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が所定時間以上停留すべき文字記号数字情報および画像情報を停留場所候補として記憶する。この停留場所候補記憶部16に記憶される停留場所候補は、サーバ20から定期的に送信されて来る情報である。
ここで、文字記号数字情報とは、電子書籍端末2で表示可能な任意の文字、記号および数字であり、ASCIIコードのように汎用コード化された情報を指す。これに対して、画像情報とは、図や表、グラフ、写真、イラストなど、汎用コード化されていない種々の画像形式の情報を指す。
サーバ20は、初期状態では、既知のアルゴリズムを用いて電子書籍データの言語解析を行って、一般の読者が視点を所定時間以上置くと思われる文字記号数字情報と画像情報を特定して、特定した各情報を停留場所候補として停留場所候補記憶部16に記憶する。停留場所候補を選定するに当たっては、上述した言語解析による手法だけでなく、特定の単語(例えば接続詞)を無条件で停留場所候補としたり、繰り返し出現する文字列や段落は停留場所候補から除外したり、個々の読者の過去の履歴を参照したり、読者の年齢や性別等に応じて停留場所候補の選定手法を変える等、任意の手法が採用可能である。
また、後述するように、サーバ20は、電子書籍端末2から定期的に送信されてくる情報に基づいて、停留場所候補記憶部16に記憶された停留場所候補を更新するようにしてもよい。このように、停留場所候補記憶部16には学習効果を持たせてもよい。
追加停留情報記憶部17は、電子書籍端末2の読者が実際に電子書籍を閲覧する際に視点を所定時間以上停留させた文字記号数字情報および画像情報を停留場所情報として記憶する。読者が視点を所定時間以上停留させる文字記号数字情報および画像情報は、読者ごとに異なっており、サーバ20が予め用意する停留場所候補記憶部16に記憶されている停留場所候補に必ずしも視点を停留させるとは限らない。そこで、本実施形態では、読者が実際に視点を所定時間以上停留させた停留場所情報を追加停留情報記憶部17に記憶させることにしたものである。
読み飛ばし情報記憶部18は、停留場所候補記憶部16に記憶された停留場所候補のうち、読者が視点を所定時間未満しか停留させなかった停留場所候補を読み飛ばし情報として記憶する。
追加停留情報記憶部17と読み飛ばし情報記憶部18には、読者が特別な入力操作をしなくても、停留場所情報と読み飛ばし情報がそれぞれ記憶され、これらの情報は定期的にサーバ20に送信される。サーバ20は、電子書籍端末2から送られてきた停留場所情報と読み飛ばし情報を、予め用意していた停留場所候補情報に合成させて、新たな停留場所候補情報を生成して、定期的に電子書籍端末2に送信する。
逆行判定部21は、読者の視点の進行方向が逆になる逆行が始まったか否かを判定する。順行判定部22は、逆行判定部21により視点の逆行が始まったと判定された後に、視点の移動方向が元に戻る順行が始まったか否かを判定する。
逆行判定部21の処理は、視点が移動している最中は継続して行われる。順行判定部22の処理は、逆行判定部21で視点の逆行が始まったと判定された時点で開始される。
表示形態変更部15は、視点の逆行が始まったと判定されると、現在の視点の位置から逆行方向に最も近い位置にある読み飛ばし情報を読み飛ばし情報記憶部18から読み出して、該読み飛ばし情報の表示形態を変更する。
近接判定部23は、表示形態を変更した読み飛ばし情報に視点が近づいたか否かを判定する。より具体的には、近接判定部23は、表示形態を変更した読み飛ばし情報に視点が到達するか、あるいは到達の間際になったか否かを判定する。
図2は図1の電子書籍端末2の処理動作を示すフローチャートである。このフローチャートは、電子書籍端末2の電源を投入して、読者が電子端末ビューアを起動させた時点で開始される。電子端末ビューアが起動している最中は、センサ5は、継続して読者の視点をトラッキングして、視点を検出する。視点を検出する手法には、種々の公知の手法が知られており、いずれの手法を用いてもよい。
例えば、角膜反射方式では、人間の眼球の黒目と白目の反射率の違いを利用して視点の位置を検出する。角膜反射方式で用いられるセンサ5は、発光素子と受光素子を有し、発光素子から赤外光を読者の眼球に照射し、眼球からの反射光を受光素子で受光する。眼球の黒目は反射率が低く、白目は反射率が高い。このため、受光素子を水平(左右)方向に2個設ければ、黒目が右側の受光素子側に移動すると、右側の受光素子が受光する反射光の光量は左側の受光素子が受光する反射光の光量よりも少なくなる。これにより、眼球の左右方向の移動を検出できる。また、眼球が上下に移動した場合も、発光素子と眼球との高低差によって、左右2個の受光素子の反射光の光量の和が増加したり、減少したりするため、その増減量により、眼球が上に移動したか、あるいは下に移動したかを検出できる。
このような視点検出の仕組みを利用して、まずは、センサ5内の2個の受光素子で読者の眼球からの反射光を受光し(ステップS1)、その受光量により、眼球の上下左右の移動を検出し、この検出結果から、読者の表示画面内の視点位置を検出する(ステップS2)。視点位置の検出は、より具体的には、表示装置3の表示画面内での座標位置を特定することにより行う。
視点検出の手法が変われば、上述したステップS1,S2の処理内容も変わる可能性があるが、本実施形態では、公知の手法を用いて視点検出を行うことを前提としているため、他の手法による視点検出の処理手順の説明は割愛する。
センサ5を用いた視点位置の検出処理に並行して、電子書籍ビューアによる電子書籍表示処理と、視点誘導装置1による視点誘導処理とが行われる。この電子書籍表示処理と視点誘導処理も、電子書籍ビューアが起動している最中、継続して行われる。電子書籍表示処理はメインコントローラ10が行う処理であるのに対し、視点誘導処理は視点誘導装置1が行う処理である。
電子書籍表示処理では、電子書籍記憶部9に記憶された電子書籍データと、電子書籍メタ情報記憶部13に記憶された電子書籍データの付属情報とを読み込んで(ステップS11)、これらの情報に基づいて、表示装置3に電子書籍を表示する(ステップS12)。
電子書籍データは、上述したように文字記号数字情報と画像情報とで構成されている。文字記号数字情報は、表示形態(フォントの種類、フォントサイズ、強調表示の有無など)を設定変更でき、画像情報の表示形態(サイズなど)も設定変更できる。これら文字記号数字情報や画像情報の表示形態の設定情報は、電子書籍メタ情報記憶部13に記憶されたメタ情報に記述されている。したがって、上述したステップS12では、電子書籍データ内の文字記号数字情報と画像情報の表示形態を、メタ情報に基づいて設定して表示装置3に表示する。
表示装置3に電子書籍データを表示している最中に、ステップS2により読者の視点が検出された場合、視点誘導処理が起動する。視点誘導処理では、まず、視点検出部11による視点の検出結果に基づいて、現在の視点に対応する表示画面内での座標位置を特定し、その座標位置に存在する文字記号数字情報または画像情報を特定する(ステップS13)。このステップS13の処理は停留場所候補特定部14により行われる。
次に、停留検出部12により、視点が現在の位置に所定時間以上停留したか否かを判定する(ステップS14)。視点が現在の位置に所定時間以上停留せずに移動した場合は、ステップS13の処理に戻る。
視点が現在の位置に所定時間以上停留した場合は、その位置を現在の停留位置とみなす。そして、電子書籍メタ情報記憶部13内の停留場所候補記憶部16に記憶された停留場所候補の中から、現在の停留位置の次に停留されるべき停留位置を特定して、その特定した停留位置の表示形態を変更する(ステップS15)。このように、ステップS15では、次の停留位置の表示形態を変更する。このステップS15の処理は表示形態変更部15が行う。
上述したステップS15で表示形態を変更する理由は、視点の次の移動先を読者が迷わないように読者に把握させるためであり、変更する表示形態には種々のものが考えられる。
図3は変更後の表示形態の一例を示す図である。図3(a)は次の停留位置に対応する文字記号数字情報や画像情報(以下、次の停留位置情報)に目印を付ける例を示している。図3(a)では、目印として、次の停留位置情報の上部に黒点マークを付けているが、目印の表示形態は問わない。例えば、下線を付してもよいし、次の停留位置情報を枠で囲んでもよい。
図3(b)は、表示画面内の次の停留位置情報以外の情報をわざと視認しにくくして、視点が自然に次の停留位置情報に向かうようにした例を示している。図3(b)では、次の停留位置情報が図(画像情報)の例を示しているが、次の停留位置情報が文字記号数字情報の場合も、次の停留位置情報以外の情報を視認しにくくしてもよい。
ここで、視認しにくくする具体的な手法は問わない。図3(b)の場合は、次の停留位置情報以外の情報を半透明のハッチングで覆う例を示しているが、これ以外に、輝度を落としてもよいし、視認されにくい色(例えば背景色に近い色)で表示してもよいし、文字サイズを小さくしてもよい。
図3(c)は表示画面内の次の停留位置情報の表示色を変える例を示している。この場合、次の停留位置情報の表示色を他の情報の表示色よりも目立つ色(例えば、蛍光色や、背景色とは色調がはっきりと異なる色)で表示して、読者の視点が迷い無く次の停留位置情報に移動するようにするのが望ましい。
この他の表示形態としては、次の停留位置情報を揺動させてもよい。大きくかつ早く揺動させると、読者は次の停留位置情報の内容を識別できずに視点に迷いが生じてしまうおそれがあることから、次の停留位置情報を識別できる程度に、かつ読者の視点が迷い無く次の停留位置情報に向かうように、揺動させるのが望ましい。
あるいは、次の停留位置情報を斜体や太字で表示したり、次の停留位置情報のフォントサイズを他の停留位置情報のフォントサイズよりも大きくしたり、次の停留位置情報のフォントの種類を他の停留位置情報のフォントの種類とは変えてもよい。
また、上述した表示形態の種々の例を任意に組み合わせて実施してもよい。例えば、次の停留位置情報に目印を付けるとともに、フォントサイズを変えたり、斜体や太字にしてもよい。また、次の停留位置情報が図(画像情報)の場合は、他の情報を視認しにくくするだけでなく、図のサイズを大きくしてもよい。また、揺動と他の表示形態とを組み合わせてもよい。
図2のステップS15の処理が終了すると、読者の視点を次に停留させるべき停留位置に視点が近づいたか否かを判定する(ステップS16)。まだ近づいていない場合はステップS15に戻り、一方、近づいた場合、すなわち視点が次の停留位置に到達した瞬間、あるいはその直前に、ステップS15で変更した次の停留位置の表示形態を元に戻す(ステップS17)。これは、読者が視点を新たな場所に移動させた場合は、その場所を読者に把握させる必要はないためであり、以下に説明するように、さらに、その次に移動すべき視点の表示形態を変更する準備を始める。このステップS17の処理は表示形態変更部15が行う。
そして、停留検出部12により、読者の視点が所定時間以上停留したか否かを判定する(ステップS18)。視点が所定時間以上は停留しなかった場合はステップS15に戻り、一方、視点が所定時間以上停留した場合には、その場所が停留場所候補記憶部16に記憶されている停留場所候補以外であるか否かを判定する(ステップS19)。停留場所が停留場所候補以外であれば、停留場所の情報を追加停留情報記憶部17に記憶する(ステップS20)。
停留場所が停留場所候補のいずれかである場合、あるいはステップS20の処理が終了した場合は、停留場所候補記憶部16に記憶された停留場所候補の中に、視点が停留しなかった場所があるか否かを判定する(ステップS21)。視点が停留しなかった場所がある場合は、その場所を読者が読み飛ばしたと判断して、その停留位置情報を読み飛ばし情報記憶部18に記憶する(ステップS22)。
ステップS21で停留場所候補の中に視点が停留しなかった場所がないと判定された場合、またはステップS22の処理が終了した場合、視点が逆行したか否かを判断する逆行判断処理を行う(ステップS23)。この逆行判断処理の詳細については後述する。
逆行判断処理が終了すると、表示画面内の最後まで視点が移動したか否かを判定し(ステップS24)、まだ最後でない場合は、ステップS15に戻り、最後まで視点が移動した場合は、次の頁の電子書籍データを表示すべく、ステップS11に戻る。
図4は図2のステップS23の逆行判断処理を詳細に説明するフローチャートである。まず、逆行判定部21により、逆行が始まったか否かを判定する(ステップS31)。逆行が始まったか否かは、視点位置の検出により比較的容易に検出できる。
逆行が始まっていなければ図4のフローチャートを終了し、逆行が始まった場合には、現在の視点位置から逆行方向に最も近い位置にある読み飛ばし情報を読み飛ばし情報記憶部18から読み出して、読み出した読み飛ばし情報の表示形態を変更する(ステップS32)。このように、ステップS32では、逆行が始まると、以前に読者が読み飛ばした読み飛ばし情報の中から、視点位置から逆行方向に最も近い位置にある読み飛ばし情報を読者に提示するべく、この読み飛ばし情報の表示形態を変更する。表示形態の変更は、例えば図3に示した手法、あるいは上述した他の手法を採用すればよい。このステップS32の処理は表示形態変更部15が行う。
次に、近接判定部23により、表示形態を変更した読み飛ばし情報に視点が近づいたか否かを判定する(ステップS33)。視点が近づいていなければステップS32に戻り、表示形態を変更した読み飛ばし情報に視点が到達した瞬間、あるいはその直前になると、表示形態を変更した読み飛ばし情報を元の表示形態に戻す(ステップS34)。元の表示形態に戻す理由は、すでに視点は、表示形態を変更した読み飛ばし情報に近づいたか、到達しており、その読み飛ばし情報を読者に把握させやすくする必要はないためである。
続いて、視点が所定時間以上停留したか否かを判定する(ステップS35)。視点が所定時間以上は停留しなかった場合はステップS33に戻り、視点が所定時間以上停留した場合は、視点の停留場所が停留場所候補記憶部16に記憶された停留場所候補以外か否かを判定する(ステップS36)。視点の停留場所が停留場所候補以外であれば、停留場所の情報を追加停留情報記憶部17に記憶する(ステップS37)。
ステップS36で視点の停留場所が停留場所候補であると判定された場合、またはステップS37の処理が終了した場合、順行判定部22により、視点の移動方向が逆行から順行に戻ったか否かを判定する(ステップS38)。
視点の移動方向が逆行のままであればステップS32に戻り、順行に戻った場合は、ステップS31で逆行が始まったと判定された時点で視点を置いていた場所の表示形態を変更する(ステップS39)。このようにする理由は、読者の視点が順行に戻ったということは、読者は読み飛ばし情報をすべて把握したと考えられ、逆行を開始した位置にすばやく視点を戻して、その位置から書籍を読み進められるように配慮したためである。ステップS39の処理が終了すると、逆行判断処理を終えて、図2のステップS24に戻る。
このように、本実施形態では、電子書籍端末2上で電子書籍を閲覧する読者の視点をトラッキングし続けて継続的に視点を検出し、検出された視点位置の文字記号数字情報または画像情報に視点が所定時間以上停留した場合には、その情報を停留位置とみなして、その停留位置の次に視点を移動すべき次の停留位置を特定し、特定した次の停留位置情報の表示形態を変更する。
これにより、読者は、所定時間以上視点を置いた現在の停留位置から、次に視点を置くべき停留位置を迅速に迷い無く把握できることになり、視点の移動に迷いが生じなくなって、無駄な停留と不要なサッケードが生じなくなることから、速読が可能となる。
また、本実施形態では、停留場所候補記憶部16に記憶されている停留場所候補の文字記号数字情報または画像情報に読者の視点が所定時間以上停留しなかった場合、読者が読み飛ばしたと判断して、読み飛ばし情報記憶部18に記憶するようにしたため、この読み飛ばし情報記憶部18に記憶された情報を後に活用することができる。活用の一例としては、読み飛ばし情報記憶部18に記憶された文字記号数字情報または画像情報は、読者が重要でないから読み飛ばしたと判断して、停留場所候補記憶部16からも該当する情報を削除して停留場所候補記憶部16を更新することが考えられる。あるいは、活用の他の一例としては、読者がその重要性に気づかずに無意識に読み飛ばしたと判断して、読者が後に逆方向に視点を移動させる逆行を行ったときに、読み飛ばし情報記憶部18に記憶されている文字記号数字情報または画像情報を順に読者に提示して、読み飛ばした情報を検索しやすくすることが考えられる。
より詳細には、逆行が始まった場合には、視点位置に最も近い読み飛ばし情報の表示形態を変更して、読者が読み飛ばし情報を把握しやすくし、かつ視点の移動方向が逆行方向から順行方向に戻った場合は、逆行を始めた位置の表示形態を変更するようにして、視点を迅速に元の位置に戻せるようにする。これにより、読者は、逆行を開始して読み飛ばし情報を確認したら、すぐに視点を元に戻せることになり、視点の迷いがなくなって速読が可能となる。
さらに、本実施形態では、停留場所候補記憶部16に記憶されていなかった場所の文字記号数字情報または画像情報に読者の視点が所定時間以上停留した場合、その情報が停留位置とするべき重要な情報であると判断して追加停留情報記憶部17に記憶するようにしたため、この追加停留情報記憶部17に記憶された情報を後に停留場所候補記憶部16に追加することで、停留場所候補記憶部16に記憶された停留場所候補の精度を向上できる。
このように、読み飛ばし情報記憶部18と追加停留情報記憶部17は、停留場所候補記憶部16に記憶されている停留場所候補を更新する目的で利用できる。本実施形態では、停留場所候補記憶部16の更新は、サーバ20で行うことを想定しており、読み飛ばし情報記憶部18と追加停留情報記憶部17に記憶された情報は、定期的にサーバ20に送信される。サーバ20は、電子書籍端末2で電子書籍を閲覧する数多くの読者からそれぞれ個別に送られた読み飛ばし情報記憶部18と追加停留情報記憶部17の追加情報に基づいて、停留場所候補記憶部16に記憶される停留場所候補を更新する。数多くの読者の実際の閲覧状況を考慮に入れて停留場所候補を更新することで、停留場所候補の学習効果を高めることができ、より正確な停留場所候補を読者に提供できる。
追加停留情報記憶部17に記憶される追加情報は、各読者の趣向を反映させたものであり、汎用性が低いと考えられる場合もありうる。その場合、必要に応じて、サーバ20は、追加停留情報記憶部17に記憶された追加情報については、各読者ごとに別個に管理するようにし、ある読者の追加情報を別の読者の停留場所候補の更新には用いないようにしてもよい。
なお、本実施形態の機能を限定して、より簡易な構成にしてもよい。例えば、読み飛ばし情報記憶部18と追加停留情報記憶部17の少なくとも一方を省略してもよい。これにより、停留場所候補記憶部16に記憶される停留場所候補の学習効果は薄れてしまうが、視点誘導装置1とサーバ20の処理を軽減できる。
上述した実施形態で説明した視点誘導装置1および電子書籍端末2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、視点誘導装置1および電子書籍端末2の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、視点誘導装置1および電子書籍端末2の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 視点誘導装置、2 電子書籍端末、3 表示装置、4 表示制御部、5 センサ、6 通信部、7 入力部、8 操作解析部、9 電子書籍記憶部、10 メインコントローラ、11 視点検出部、12 停留検出部、13 電子書籍メタ情報記憶部、14 停留場所候補特定部、15 表示形態変更部、16 停留場所候補記憶部、17 追加停留情報記憶部、18 読み飛ばし情報記憶部、20 サーバ、21 逆行判定部、22 順行判定部、23 近接判定部

Claims (11)

  1. 電子書籍データを表示させる表示画面内における読者の視点を検出する視点検出部と、
    視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
    電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すると予測される中心窩に位置する文字記号数字情報および画像情報の少なくとも一方を停留場所候補として記憶する停留場所候補記憶部と、
    前記停留場所候補記憶部に記憶されている文字記号数字情報および画像情報の少なくとも一方のうち、読者の視点が所定時間未満しか停留しなかった文字記号数字情報および画像情報の少なくとも一方を読み飛ばし情報として記憶する読み飛ばし情報記憶部と、
    視点の進行方向が逆になる逆行が始まったか否かを判定する逆行判定部と、
    視点の逆行が始まったと判定されると、現在の視点の位置から逆行方向に最も近い中心窩に位置する前記読み飛ばし情報を前記読み飛ばし情報記憶部から読み出して、該読み飛ばし情報の表示形態を変更する表示形態変更部と、を備えることを特徴とする視点誘導装置。
  2. 表示形態を変更した前記読み飛ばし情報に視点が近づいたか否かを判定する近接判定部を備え、
    前記表示形態変更部は、前記近接判定部により近づいたと判定されると、表示形態を変更した前記読み飛ばし情報の表示形態を元に戻すことを特徴とする請求項1に記載の視点誘導装置。
  3. 前記逆行判定部により視点の逆行が始まったと判定された後に、視点の移動方向が元に戻る順行が始まったか否かを判定する順行判定部を備え、
    前記表示形態変更部は、前記順行判定部により視点の順行が始まったと判定されると、前記逆行判定部で逆行が始まったと判定された時点での視点の中心窩に位置する文字記号数字情報および画像情報の少なくとも一方の表示形態を変更することを特徴とする請求項1または2に記載の視点誘導装置。
  4. 前記停留場所候補記憶部には記憶されておらず、読者の視点が前記所定時間以上停留した中心窩に位置する文字記号数字情報および画像情報の少なくとも一方を記憶する追加停留情報記憶部を備えることを特徴とする請求項1乃至3のいずれかに記載の視点誘導装置。
  5. 前記表示形態変更部は、前記停留場所候補の文字記号数字情報および画像情報の少なくとも一方を揺動させることを特徴とする請求項1乃至4のいずれかに記載の視点誘導装置。
  6. 前記表示形態変更部は、前記停留場所候補の文字記号数字情報および画像情報の少なくとも一方を強調表示させることを特徴とする請求項1乃至4のいずれかに記載の視点誘導装置。
  7. 前記表示形態変更部は、前記停留場所候補が文字記号数字情報の場合には、文字サイズおよび文字フォントの少なくとも一方を変更することを特徴とする請求項6に記載の視点誘導装置。
  8. 前記表示形態変更部は、前記停留場所候補が文字記号数字情報の場合には、該文字記号数字情報に下線、囲み枠または目印を付加することを特徴とする請求項6または7に記載の視点誘導装置。
  9. 前記表示形態変更部は、前記停留場所候補が文字記号数字情報の場合には、該文字記号数字情報を斜体および太字の少なくとも一方で表示させることを特徴とする請求項6乃至8のいずれかに記載の視点誘導装置。
  10. 前記表示形態変更部は、前記停留場所候補の文字記号数字情報および画像情報の少なくとも一方と比べて、前記表示画面内の他の文字記号数字情報および画像情報の少なくとも一方を視認しにくくすることを特徴とする請求項6乃至9のいずれかに記載の視点誘導装置。
  11. 表示装置と、
    読者の視点検出に用いることが可能なセンサと、
    サーバとの間で無線通信を行うことが可能な通信部と、
    読者が種々の情報を入力する入力部と、
    電子書籍データを前記表示装置の表示画面に表示させる表示制御部と、
    視点誘導装置と、を備え、
    前記視点誘導装置は、
    前記表示装置の表示画面内における読者の視点を検出する視点検出部と、
    視点が前記表示画面内の任意の場所に所定時間以上停留したことを検出する停留検出部と、
    電子書籍データに含まれる文字記号数字情報および画像情報のうち、読者の視点が前記所定時間以上停留すると予測される中心窩に位置する文字記号数字情報および画像情報の少なくとも一方を停留場所候補として記憶する停留場所候補記憶部と、
    前記停留場所候補記憶部に記憶されている文字記号数字情報および画像情報の少なくとも一方のうち、読者の視点が所定時間未満しか停留しなかった文字記号数字情報および画像情報の少なくとも一方を読み飛ばし情報として記憶する読み飛ばし情報記憶部と、
    視点の進行方向が逆になる逆行が始まったか否かを判定する逆行判定部と、
    視点の逆行が始まったと判定されると、現在の視点の位置から逆行方向に最も近い中心窩に位置する前記読み飛ばし情報を前記読み飛ばし情報記憶部から読み出して、該読み飛ばし情報の表示形態を変更する表示形態変更部と、を有することを特徴とする電子書籍端末。
JP2012081585A 2012-03-30 2012-03-30 視点誘導装置および電子書籍端末 Active JP5924580B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012081585A JP5924580B2 (ja) 2012-03-30 2012-03-30 視点誘導装置および電子書籍端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012081585A JP5924580B2 (ja) 2012-03-30 2012-03-30 視点誘導装置および電子書籍端末

Publications (2)

Publication Number Publication Date
JP2013210909A JP2013210909A (ja) 2013-10-10
JP5924580B2 true JP5924580B2 (ja) 2016-05-25

Family

ID=49528659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012081585A Active JP5924580B2 (ja) 2012-03-30 2012-03-30 視点誘導装置および電子書籍端末

Country Status (1)

Country Link
JP (1) JP5924580B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
JP6485310B2 (ja) * 2015-09-30 2019-03-20 アイシン・エィ・ダブリュ株式会社 情報提供システム、情報提供方法及びコンピュータプログラム
JP6733461B2 (ja) * 2016-09-28 2020-07-29 沖電気工業株式会社 情報処理装置および情報処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682369B2 (ja) * 1990-08-27 1994-10-19 工業技術院長 注視点対応日本語文章提示装置
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US6381339B1 (en) * 1997-01-15 2002-04-30 Winton Emery Brown Image system evaluation method and apparatus using eye motion tracking
JP3530348B2 (ja) * 1997-07-04 2004-05-24 三洋電機株式会社 速読支援装置
JP2002169637A (ja) * 2000-12-04 2002-06-14 Fuji Xerox Co Ltd ドキュメント表示態様変換装置、ドキュメント表示態様変換方法、記録媒体
JP2003345335A (ja) * 2002-05-28 2003-12-03 Minolta Co Ltd 読取補助画像表示装置
JP2007102360A (ja) * 2005-09-30 2007-04-19 Sharp Corp 電子書籍装置
JP5143503B2 (ja) * 2007-08-28 2013-02-13 任天堂株式会社 プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP2010039646A (ja) * 2008-08-01 2010-02-18 Dainippon Printing Co Ltd 契約端末装置、契約管理システム、方法、プログラム、記録媒体

Also Published As

Publication number Publication date
JP2013210909A (ja) 2013-10-10

Similar Documents

Publication Publication Date Title
US11335210B2 (en) Apparatus and method for analyzing images
US10082940B2 (en) Text functions in augmented reality
US9229231B2 (en) Updating printed content with personalized virtual data
US9183807B2 (en) Displaying virtual data as printed content
US9182815B2 (en) Making static printed content dynamic with virtual data
US9160993B1 (en) Using projection for visual recognition
US9671941B1 (en) Graphical behaviors for recognition interfaces
US9459456B2 (en) Display device and control method thereof
JP6553418B2 (ja) 表示制御方法、表示制御装置及び制御プログラム
US11397320B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
US20190251355A1 (en) Method and electronic device for generating text comment about content
CN103123578B (zh) 将虚拟数据显示为打印的内容
JP5924580B2 (ja) 視点誘導装置および電子書籍端末
JP5924579B2 (ja) 視点誘導装置および電子書籍端末
JP5994370B2 (ja) 文字サイズ変更装置および電子書籍端末
US12093594B2 (en) Information processing device, program, and information providing system
JP2017027607A (ja) 表示形態変更システムおよび電子書籍端末
JP6286897B2 (ja) 文書表示装置、文書表示方法及び文書表示プログラム
JP2014081834A (ja) 表示装置、表示制御方法及び表示制御プログラム
JP2013232072A (ja) 表示形態変更システムおよび電子書籍端末
CN113597594A (zh) 信息处理装置、信息处理方法和程序
KR101376797B1 (ko) 시각 및 인지 훈련 장치 및 그 방법
JP6770613B2 (ja) 制御プログラム
US9672425B2 (en) Method and apparatus for detecting object of image
TWI717627B (zh) 電子書語音朗讀裝置及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160407

R150 Certificate of patent or registration of utility model

Ref document number: 5924580

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02