JP6038089B2 - 文書閲覧装置、文書閲覧装置の制御方法 - Google Patents

Description

本発明は、文書閲覧装置およびその制御方法に関する。

一般に、電子書籍などの電子文書の情報を表示部に表示させる文書閲覧装置が知られている。前記文書閲覧装置は、表示部と、文書における複数行の文字列を含むページ画像を前記表示部に表示させる制御部とを備える。

また、前記文書閲覧装置が、閲覧者を撮影するカメラと、そのカメラの画像から閲覧者の視線方向を検出する検出部とを備える場合があることが知られている（例えば、特許文献１参照）。

特開２００９−２７１７３５号公報

ところで、前記文書閲覧装置を使用する前記閲覧者が、前記ページ画像におけるある行を読み終えて次の行の先頭へ視線を移そうとする際に、意図しない行の先頭へ視線を移してしまう場合がある。前記意図しない行とは、例えば、既に読み終えた行または２行以上先の行などである。

前記文書閲覧装置が、表示文書における前記閲覧者が読みたい箇所へ前記閲覧者の視線を適切に案内する閲覧箇所案内機能を備えれば、前記文書閲覧装置の利便性が高まる。

また、前記文書閲覧装置は、前記閲覧者が片手でカバンなどの荷物または列車の吊革などを掴んだ状態で利用されることが多い。そのため、前記閲覧箇所案内機能は、前記閲覧者が前記文書閲覧装置を片手のみで利用する状況下でも提供可能であることが望まれる。

本発明の目的は、表示文書における閲覧者が読みたい箇所へ閲覧者の視線を適切に案内できる文書閲覧装置および文書閲覧装置の制御方法を提供することにある。

本発明の一の局面に係る文書閲覧装置は、第１表示制御部と、第２表示制御部と、視線検出部と、第１条件判定部とを備える。前記第１表示制御部は、文書における複数行の文字列を含むページ画像を表示部に表示させる。前記第２表示制御部は、前記ページ画像における一の行を特定する行特定画像を前記表示部に表示させる。前記視線検出部は、前記表示部を見る閲覧者の視線方向の変化を検出する。前記第１条件判定部は、前記視線検出部の検出結果を参照し、前記視線方向が前記ページ画像における前記文字列の行方向に沿って予め定められた変化を示したことを示す第１条件が成立したか否かを判定する。そして、前記第２表示制御部は、前記第１条件が成立した場合に、前記表示部における前記行特定画像の表示状態をその時点で特定する行の次の行を特定する状態へ更新する。

本発明の他の局面に係る文書閲覧装置の制御方法は、第１工程と、第２工程と、第３工程と、第４工程とを有する。前記文書閲覧装置は、表示部および前記表示部を見る閲覧者の視線方向の変化を検出する視線検出部を備える。前記第１工程は、文書における複数行の文字列を含むページ画像を前記表示部に表示させる工程である。前記第２工程は、前記ページ画像における一の行を特定する行特定画像を前記表示部に表示させる工程である。前記第３工程は、前記視線検出部の検出結果を参照し、第１条件が成立したか否かを判定する工程である。前記第１条件は、前記視線方向が前記ページ画像における前記文字列の行方向に沿って予め定められた変化を示したことを示す条件である。前記第４工程は、前記第１条件が成立した場合に、前記表示部における前記行特定画像の表示状態をその時点で特定する行の次の行を特定する状態へ更新する工程である。

本発明によれば、表示文書における閲覧者が読みたい箇所へ閲覧者の視線を適切に案内できる文書閲覧装置および文書閲覧装置の制御方法を提供することが可能になる。

図１は、本発明の実施形態に係る文書閲覧装置の構成を示すブロック図である。 図２は、本発明の実施形態に係る文書閲覧装置が実行する閲覧箇所案内制御の手順の一例を表すフローチャートである。 図３は、本発明の実施形態に係る文書閲覧装置における文書のページ画像および行特定画像の第１の表示状態を示す模式図である。 図４は、本発明の実施形態に係る文書閲覧装置における文書のページ画像および行特定画像の第２の表示状態を示す模式図である。 図５は、本発明の実施形態に係る文書閲覧装置における文書のページ画像および行特定画像の第３の表示状態を示す模式図である。 図６は、本発明の実施形態に係る文書閲覧装置における文書のページ画像および行特定画像の第４の表示状態を示す模式図である。

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

［文書閲覧装置１０の概略構成］
まず、図１を参照しつつ、本発明の実施形態に係る文書閲覧装置１０の構成について説明する。文書閲覧装置１０は、電子書籍などの電子文書の情報を表示部に表示させる装置である。

例えば、文書閲覧装置１０が、前記電子書籍の閲覧を主な用途とする電子書籍リーダーであることが考えられる。また、文書閲覧装置１０が、文書閲覧用のアプリケーションソフトウェアを実行するスマートフォンまたはタブレット端末などの汎用の情報処理装置であることも考えられる。

図１が示すように文書閲覧装置１０は、ＭＰＵ１（Micro Processor Unit）、表示部２、操作部３、第１記憶部４、カメラ５、画像処理部６および第２記憶部７などを備えている。

ＭＰＵ１は、各種の演算処理を実行するプロセッサーである。第１記憶部４は、ＭＰＵ１に各種の処理を実行させるためのプログラムおよびそのＭＰＵ１が参照する各種情報を記憶する不揮発性の記憶部である。また、第１記憶部４は、ＭＰＵ１によって各種の情報を記録可能な情報記録媒体でもある。例えば、第１記憶部４には、電子書籍などの電子文書のデータである文書データＤ１が予め記録されている。

表示部２は、文書データＤ１に基づく電子文書の画像およびその他の画像を表示する装置である。例えば、表示部２は、液晶表示パネルまたは有機エレクトロルミネッセンスディスプレーなどのパネルディスプレーである。

表示部２は、ＭＰＵ１によって制御されることにより、前記電子文書における複数行の文字列を含むページ画像を表示する。即ち、ＭＰＵ１は、文書データＤ１を第１記憶部４から読み出し、その文書データＤ１の内容に応じた前記ページ画像を表示部２に表示させる制御を実行する。この制御を実行するＭＰＵ１が、第１表示制御部の一例である。

操作部３は、文書閲覧装置１０の利用者である閲覧者の操作を受けることにより、その操作に応じた情報を入力するＭＰＵ１の入力インターフェイスである。例えば、操作部３は、表示部２の表面に形成されたタッチパネルを含む。操作アイコンが表示部２に表示された状態で、前記タッチパネルにおける前記操作アイコンの表示領域が操作されることにより、前記操作アイコンに対応する情報がＭＰＵ１へ入力される。

カメラ５は、文書閲覧装置１０における表示部２の前方を撮影可能である。そのため、カメラ５は、表示部２を見る前記閲覧者の顔を含む像を撮影可能である。

画像処理部６は、カメラ５により得られる画像を入力し、入力画像について画像処理演算を行う素子である。例えば、画像処理部６がＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）によって実現されることが考えられる。

第２記憶部７は、カメラ５で得られた画像のデータを一時記憶する高速アクセス可能な記憶部である。画像処理部６は、第２記憶部７にアクセスしつつ前記画像処理を実行する。

ところで、文書閲覧装置１０を使用する前記閲覧者が、前記ページ画像におけるある行を読み終えて次の行の先頭へ視線を移そうとする際に、意図しない行の先頭へ視線を移してしまう場合がある。前記意図しない行とは、例えば、既に読み終えた行または２行以上先の行などである。

文書閲覧装置１０が、表示文書における前記閲覧者が読みたい箇所へ前記閲覧者の視線を適切に案内する閲覧箇所案内機能を備えれば、文書閲覧装置１０の利便性が高まる。

また、文書閲覧装置１０は、前記閲覧者が片手でカバンなどの荷物または列車の吊革などを掴んだ状態で利用されることが多い。そのため、前記閲覧箇所案内機能は、前記閲覧者が文書閲覧装置１０を片手のみで利用する状況下でも提供可能であることが望まれる。

本実施形態に係る文書閲覧装置１０は、ＭＰＵ１および画像処理部６が後述する処理を実行することにより、表示文書における前記閲覧者が読みたい箇所へ前記閲覧者の視線を適切に案内することができる。

図３は、文書閲覧装置１０における前記ページ画像および後述する行特定画像の表示状態の一例を示す模式図である。文書閲覧装置１０は、文書データＤ１の文書における複数行の文字列を含むページ画像ｇ１を表示部２に表示する機能を備える。さらに、文書閲覧装置１０は、ページ画像ｇ１における一の行を特定する行特定画像ｇ２を表示部２に表示する機能も備える。

図３が示す例では、行特定画像ｇ２は、ページ画像ｇ１における一の行である対象行を囲む枠画像である。行特定画像ｇ２が、ページ画像ｇ１における前記対象行の背景を他の行の背景と異なる色または模様で表示する背景画像であることも考えられる。

また、行特定画像ｇ２が、ページ画像ｇ１における最初の行から前記対象行の１つ前の行までの背景を前記対象行を含む残りの行の背景と異なる色または模様で表示する背景画像であることも考えられる。

また、行特定画像ｇ２が、ページ画像ｇ１における前記対象行を指示する矢印画像または指の画像などの指示画像であることも考えられる。

以下の説明において、ページ画像ｇ１における文字列の行方向Ｒ０に沿って文字列を読み進める方向のことを行内進行方向Ｒ１と称する。図３が示す例では、行方向Ｒ０は矩形状の表示部２の横方向、即ち、表示部２の幅方向であり、行内進行方向Ｒ１は表示部２の幅方向に沿って左側から右側へ向かう方向である。

さらに、ページ画像ｇ１における前記文字列をある行から次の行へ順次読み進める方向のことを行間進行方向Ｒ２と称する。行間進行方向Ｒ２は行方向Ｒ０に直交する方向である。図３が示す例では、行間進行方向Ｒ２は、矩形状の表示部２の縦方向、即ち、表示部２の高さ方向に沿って上側から下側へ向かう方向である。

文書閲覧装置１０のＭＰＵ１は、行内進行方向Ｒ１および行間進行方向Ｒ２の情報を含む方向特定情報を取得し、その方向特定情報に従った形式でページ画像ｇ１を表示部２に表示させる。

例えば、前記方向特定情報が、文書データＤ１の一部に含まれることが考えられる。また、文書閲覧装置１０が、操作部３に対する操作に従って前記方向特定情報を設定するとともに第１記憶部４に記録する機能を備えていることも考えられる。

本実施形態において、カメラ５は、前記閲覧者の眼９を含む像を撮影する。例えば、カメラ５が可視光カメラであることが考えられる。また、カメラ５がＣＣＤカメラであることが考えられる。

本実施形態では、画像処理部６は、少なくともカメラ５の画像から前記閲覧者の眼９の動きを検出することにより前記閲覧者の視線方向を特定する画像処理を実行する。画像処理部６は、カメラ５の画像の入力と、入力画像に基づく前記視線方向の算出処理とを随時実行する。さらに、画像処理部６は、前記視線方向の変化に関する予め定められた条件が成立するか否かを随時判定し、その判定結果をＭＰＵ１へ出力する。

例えば、画像処理部６は、カメラ５の画像の画像処理により、前記閲覧者の眼９における目頭の位置と虹彩の位置とを導出する。さらに、画像処理部６は、導出した前記目頭の位置を基準とする前記虹彩の位置の変化方向および変化量を、前記視線方向の変化方向および変化量として算出する。

本実施形態において、カメラ５、画像処理部６および第２記憶部７は、表示部２を見る前記閲覧者の視線方向の変化を検出する視線検出部５０を構成している。

後述するように、文書閲覧装置１０は、前記閲覧者の視線方向の変化に応じてページ画像ｇ１における行特定画像ｇ２の表示位置を順次変更する前記閲覧箇所案内機能を備える。これにより、文書閲覧装置１０は、前記閲覧者が読みたい行である前記特定対象の行へ前記閲覧者の視線を適切に案内する。

［文書閲覧装置１０の閲覧箇所案内機能］
続いて、図２〜６を参照しつつ、文書閲覧装置１０の前記閲覧箇所案内機能について説明する。図２は、文書閲覧装置１０のＭＰＵ１および画像処理部６が実行する閲覧箇所案内制御の手順の一例を表すフローチャートである。図３〜６は、それぞれ文書閲覧装置１０におけるページ画像ｇ１および行特定画像ｇ２の第１〜４の表示状態を示す模式図である。

ＭＰＵ１は、予め定められた閲覧開始イベントの発生を検知した場合に、図２に示される処理を開始する。例えば、前記閲覧開始イベントは、操作部３に対して予め定められた閲覧開始操作が行われたことなどである。

また、前記閲覧開始イベントの発生が検知されたときから随時、視線検出部５０は、前記閲覧者の視線方向の変化を検出し、検出結果をＭＰＵ１へ出力する。例えば、視線検出部５０は、予め定められた周期で前記閲覧者の視線方向の変化を検出する。

前記閲覧開始操作は、予め第１記憶部４に記録された文書データＤ１を指定する操作と、指定した文書データＤ１の閲覧を開始するための操作とを含む。以下、前記閲覧開始操作により指定された前記文書データＤ１のことを指定文書データと称する。

以下の説明において、Ｓ１，Ｓ２，・・・は、処理手順の識別符号を表す。なお、以下に示されるＭＰＵ１の処理は、ＭＰＵ１が第１記憶部４に記憶されたコンピュータープログラムを実行することによって実現される。

＜工程Ｓ１＞
ＭＰＵ１は、前記閲覧開始イベントの発生を検知すると、前記指定文書データに関連づけられたしおり情報Ｄ２が第１記憶部４に記録されているか否かを判定する。しおり情報Ｄ２は、後述する工程Ｓ１１，Ｓ１２においてＭＰＵ１が第１記憶部４に記録する情報である。

しおり情報Ｄ２は、前記指定文書データに対応づけられて第１記憶部４に記録される情報である。しおり情報Ｄ２は、前記指定文書データの文書に含まれる複数のページのうちの一の対象ページを特定するページ情報およびその表示対象のページにおける一の前記対象行を特定する行情報を含む。前記対象ページは、表示対象のページである。

＜工程Ｓ２＞
前記指定文書データに関連づけられたしおり情報Ｄ２が第１記憶部４に記録されていない場合、ＭＰＵ１は、前記対象ページおよび前記対象行を初期値に設定する。前記対象ページの初期値は、前記指定文書データの文書における先頭ページである。前記対象行の初期値は、前記先頭ページにおける先頭行である。

＜工程Ｓ３＞
前記指定文書データに関連づけられたしおり情報Ｄ２が第１記憶部４に記録されている場合、ＭＰＵ１は、しおり情報Ｄ２に含まれる前記ページ情報および前記行情報に相当する前記対象ページおよび前記対象行を設定する。

工程Ｓ１〜Ｓ３は、ＭＰＵ１が第１記憶部４に記憶された履歴情報取得プログラムＰｒ１を実行することによって実現される。履歴情報取得プログラムＰｒ１は、第１記憶部４から前記ページ情報および前記行情報を取得する工程をＭＰＵ１に実行させるためのプログラムである。しおり情報Ｄ２が記録される第１記憶部４は、前記ページ情報および前記行情報を含む履歴情報の記録媒体の一例である。

＜工程Ｓ４，Ｓ５＞
工程Ｓ２または工程Ｓ３の後、ＭＰＵ１は、前記指定文書データの文書における前記対象ページに対応するページ画像ｇ１を表示部２に表示させる（Ｓ４）。その際、ＭＰＵ１は、ページ画像ｇ１における前記対象行を特定する行特定画像ｇ２をページ画像ｇ１の一部として表示部２に表示させる（Ｓ５）。

図３は、前記指定文書データの文書における第１ページのページ画像ｇ１および先頭行を特定する行特定画像ｇ２が表示部２に表示された状態を示す。

工程Ｓ４は、ＭＰＵ１が第１記憶部４に記憶された第１表示制御プログラムＰｒ２を実行することによって実現される。第１表示制御プログラムＰｒ２は、文書における複数行の文字列を含むページ画像ｇ１を表示部２に表示させる工程をＭＰＵ１に実行させるためのプログラムである。第１表示制御プログラムＰｒ２を実行するＭＰＵ１は、ページ画像ｇ１を表示部２に表示させる第１表示制御部の一例である。

また、工程Ｓ５は、ＭＰＵ１が第１記憶部４に記憶された第２表示制御プログラムＰｒ３を実行することによって実現される。第２表示制御プログラムＰｒ３は、ページ画像ｇ１における一の行を特定する行特定画像ｇ２を表示部２に表示させる工程をＭＰＵ１に実行させるためのプログラムである。第２表示制御プログラムＰｒ３を実行するＭＰＵ１は、行特定画像ｇ２を表示部２に表示させる第２表示制御部の一例である。

なお、ＭＰＵ１の処理が工程Ｓ１，Ｓ３を経て工程Ｓ４，Ｓ５へ移行する場合、工程Ｓ４におけるＭＰＵ１は、後述するページ送りイベント以外の前記閲覧開始イベントの発生に応じてページ画像ｇ１を表示部２に表示させる。その際、ＭＰＵ１は、第１記憶部４に記録されたしおり情報Ｄ２の前記ページ情報に対応するページ画像ｇ１を表示部２に表示させる。

同様に、ＭＰＵ１の処理が工程Ｓ１，Ｓ３を経て工程Ｓ４，Ｓ５へ移行する場合、工程Ｓ５におけるＭＰＵ１は、第１記憶部４に記録されたしおり情報Ｄ２の前記行情報に対応する行を特定する行特定画像ｇ２を表示部２に表示させる。

＜工程Ｓ６〜Ｓ８＞
さらに、前記対象ページに対応するページ画像ｇ１および前記対象行に対応する行特定画像ｇ２が表示部２に表示された状態で、ＭＰＵ１は、視線検出部５０の検出結果を参照しつつ、以下に示される３つの条件各々の成立可否を判定する。そして、ＭＰＵ１は、それら３つの条件のいずれかが成立するまで条件判定を繰り返す。

工程Ｓ６で判定される第１条件は、視線検出部５０によって検出される前記視線方向がページ画像ｇ１における文字列の行方向Ｒ０に沿って予め定められた変化を示したことを示す行送り条件である。なお、前記行送り条件における行方向Ｒ０に沿う方向は、概ね、行方向Ｒ０に平行な方向から、行の最後尾の文字とその隣の行の先頭文字とを結ぶ直線に沿う方向までの範囲を含む。

例えば、前記行送り条件が、少なくとも前記視線方向が行方向Ｒ０に沿って行内進行方向Ｒ１の逆方向へ予め定められた変化量を超えて変化したという条件を含むことが考えられる。前記行送り条件の一例は、前記視線方向が行内進行方向Ｒ１の逆方向へ１行の長さの半分から３分の２程度の設定変化量を超えて変化したことである。

図４は、前記視線方向が前記対象行の最後尾の文字を向く方向から前記対象行の隣の行の先頭文字を向く方向へ変化し、前記行送り条件が成立した状態を示す。

即ち、工程Ｓ６において、ＭＰＵ１は、視線検出部５０の検出結果を参照し、前記視線方向がページ画像ｇ１における行方向Ｒ０に沿って予め定められた変化を示したことを示す前記行送り条件が成立したか否かを判定する。

工程Ｓ６は、ＭＰＵ１が第１記憶部４に記憶された第１条件判定プログラムＰｒ４を実行することによって実現される。第１条件判定プログラムＰｒ４は、前記行送り条件が成立したか否かを判定する工程をＭＰＵ１に実行させるためのプログラムである。第１条件判定プログラムＰｒ４を実行するＭＰＵ１が第１条件判定部の一例である。

工程Ｓ７で判定される第２条件は、予め定められたページ送りイベントが発生したことを表すページ送り条件である。例えば、前記ページ送りイベントは、操作部３に対して予め定められたページ送り操作またはページ戻し操作などのページ送り操作が行われたことである。

図３〜６が示す例では、表示部２は、ページ画像ｇ１および行特定画像ｇ２とともにページ送りアイコンｇ３およびページ戻しアイコンｇ４を表示している。この場合、操作部３におけるページ送りアイコンｇ３の部分が操作されると、ＭＰＵ１は、前記ページ送り操作が行われたことを検知する。

また、前記ページ送りイベントの前記ページ送り条件が、前記視線方向がページ画像ｇ１における行方向Ｒ０に交差する方向に沿って予め定められた変化を示したことを表す条件であることも考えられる。

例えば、前記視線方向がページ画像ｇ１における最終行側から先頭行側へ向かう方向へ予め定められた変化量を超えて変化したことが、前記ページ送り条件であることが考えられる。前記ページ送り条件の一例は、前記視線方向がページ画像ｇ１における最終行の最後尾の文字の付近を向く方向から先頭行の先頭文字の付近を向く方向へ、ページ画像ｇ１の行間進行方向Ｒ２の寸法の半分から３分の２程度の設定変化量を超えて変化したこと、またはそれを一部に含む条件などである。

図６は、前記視線方向がページ画像ｇ１における最終行の最後尾の文字を向く方向から先頭行の先頭文字を向く方向へ変化し、前記ページ送り条件が成立した状態を示す。なお、図６の例では、ページ画像ｇ１における最終行の最後尾および先頭行の先頭文字の各位置は、それぞれページ画像ｇ１における右下端部および左上端部に相当する。

工程Ｓ７において、第１記憶部４に記憶された第２条件判定プログラムＰｒ５を実行するＭＰＵ１が、前記ページ送り操作によって前記ページ送りイベントが発生したことを検知するページ送りイベント検知部の一例である。第２条件判定プログラムＰｒ５は、前記ページ送りイベントの発生を検知する工程をＭＰＵ１に実行させるためのプログラムである。

また、工程Ｓ７において、画像処理部６も、前記視線方向が前記ページ送り条件を満たすか否かを判定することによって前記ページ送りイベントが発生したことを検知するページ送りイベント検知部の一例である。

工程Ｓ８で判定される第３条件は、ページ画像ｇ１および行特定画像ｇ２の表示処理の終了条件である。例えば、前記終了条件は、操作部３に対して予め定められた終了操作が行われたことなどである。

図３〜６が示す例では、表示部２は、ページ画像ｇ１および行特定画像ｇ２とともに終了アイコンｇ５を表示している。この場合、操作部３における終了アイコンｇ５の部分が操作されると、ＭＰＵ１は、前記終了操作が行われたことを検知する。

また、前記終了条件が、前記操作部３に対する操作が検知されない状態、または、前記視線方向を検知できない状態が予め定められた時間継続することであることなども考えられる。

工程Ｓ８において、第１記憶部４に記憶された第３条件判定プログラムＰｒ６を実行するＭＰＵ１が、前記終了操作の検知によって前記終了条件が成立したこと判定する。第３条件判定プログラムＰｒ６は、前記終了条件の成立可否を判定する工程をＭＰＵ１に実行させるためのプログラムである。

また、工程Ｓ８において、画像処理部６は、前記視線方向を検知できるか否かを判定することによって前記終了条件の成立可否を判定する。

＜工程Ｓ９＞
前記行送り条件が成立した場合、ＭＰＵ１は、その時点の前記対象行がページ画像ｇ１における最終行であるか否かを判定する。

＜工程Ｓ１０＞
前記対象行がページ画像ｇ１における最終行ではない場合、ＭＰＵ１は、前記対象行を次の行に更新する。さらに、ＭＰＵ１は、表示部２に表示される最新のページ画像ｇ１に対応する前記ページ情報および表示部２に表示される最新の行特定画像ｇ２に対応する前記行情報を含むしおり情報Ｄ２を第１記憶部４に記録する。

工程Ｓ１０において、表示部２が表示中のページ画像ｇ１に対応するしおり情報Ｄ２が既に第１記憶部４に記録されている場合、ＭＰＵ１はそのしおり情報Ｄ２を新たな情報に更新する。

そして、ＭＰＵ１は、工程Ｓ１０から前述の工程Ｓ５へ処理を移行させる。これにより、ＭＰＵ１は、工程Ｓ５において、表示部２における行特定画像ｇ２の表示状態を更新後の前記対象行を特定する状態へ更新する。

ＭＰＵ１の処理が工程Ｓ６，Ｓ９，Ｓ１０を経て工程Ｓ５へ移行する場合、即ち、前記行送り条件（第１条件）が成立した場合、工程Ｓ５におけるＭＰＵ１は、表示部２における行特定画像ｇ２の表示状態をその時点で特定する行の次の行を特定する状態へ更新する。

図５は、前記行送り条件が成立したことにより、行特定画像ｇ２が、ページ画像ｇ１における先頭行を特定する図３，４の状態から２行目を特定する状態へ変化したときの状態を示す。

なお、工程Ｓ１０において、表示部２に表示される最新のページ画像ｇ１は、その時点で表示部２に表示されているページ画像ｇ１である。また、工程Ｓ１０において、表示部２に表示される最新の行特定画像ｇ２は、工程Ｓ１０に続く工程Ｓ５において表示部２に表示される行特定画像ｇ２である。

＜工程Ｓ１１＞
前記行送り条件が成立した時点の前記対象行がページ画像ｇ１における最終行である場合、または、前記ページ送り条件が成立した場合、ＭＰＵ１は、その時点の前記対象ページが文書の最終ページであるか否かを判定する。なお、前記ページ送りイベントが発生した場合に、前記ページ送り条件が成立する。

工程Ｓ１１において、その時点の前記対象ページが文書の最終ページである、即ち、最終ページのページ画像ｇ１が表示部２に表示されている場合、ＭＰＵ１は、処理を前述の工程Ｓ８へ移行させる。これにより、ＭＰＵ１は、前記終了条件が成立するまで前記終了条件の判定を継続する。

＜工程Ｓ１２＞
工程Ｓ１１において、その時点の前記対象ページが文書の最終ページではないと判定された場合、ＭＰＵ１は、前記対象ページを次のページに更新する。さらに、ＭＰＵ１は、前記対象行を先頭行に更新する。

工程Ｓ１２は、最終ページ以外のページのページ画像ｇ１が表示部２に表示されている状態で前記ページ送り条件が成立した場合に実行される。さらに、工程Ｓ１２は、最終ページ以外のページのページ画像ｇ１と最終行を特定する行特定画像ｇ２とが表示部２に表示されている状態で前記行送り条件が成立した場合にも実行される。

さらに、工程Ｓ１２において、ＭＰＵ１は、表示部２に表示される最新のページ画像ｇ１に対応する前記ページ情報および表示部２に表示される最新の行特定画像ｇ２に対応する前記行情報を含むしおり情報Ｄ２を第１記憶部４に記録する。表示部２が表示中のページ画像ｇ１に対応するしおり情報Ｄ２が既に第１記憶部４に記録されている場合、ＭＰＵ１はそのしおり情報Ｄ２を新たな情報に更新する。

そして、ＭＰＵ１は、工程Ｓ１２から前述の工程Ｓ４へ処理を移行させる。これにより、ＭＰＵ１は、工程Ｓ４において、表示部２におけるページ画像ｇ１の表示状態を更新後の前記対象ページに対応するページ画像ｇ１を表示する状態へ更新する。それに引き続き、ＭＰＵ１は、工程Ｓ５において、表示部２における行特定画像ｇ２の表示状態を新たに表示されたページ画像ｇ１における先頭行を特定する状態へ更新する。

なお、最終ページ以外のページのページ画像ｇ１と最終行を特定する行特定画像ｇ２とが表示部２に表示されている状態で前記行送り条件が成立したことは、前記ページ送りイベントの一例であるといえる。

工程Ｓ１２において、表示部２に表示される最新のページ画像ｇ１は、工程Ｓ１２に続く工程Ｓ４において表示部２に表示されるページ画像ｇ１である。同様に、工程Ｓ１２において、表示部２に表示される最新の行特定画像ｇ２は、工程Ｓ１２に続く工程Ｓ４の次の工程Ｓ５において表示部２に表示される行特定画像ｇ２である。

ＭＰＵ１の処理が工程Ｓ７，Ｓ１１，Ｓ１２を経て工程Ｓ４，Ｓ５へ移行する場合、工程Ｓ４におけるＭＰＵ１は、前記ページ送りイベントの発生に応じてページ画像ｇ１を表示部２に表示させる。その際、ＭＰＵ１は、表示部２の表示状態を、前記ページ送りイベントが発生した時点で表示中のページの次のページのページ画像ｇ１を表示する状態に更新する。

同様に、ＭＰＵ１の処理が工程Ｓ７，Ｓ１１，Ｓ１２を経て工程Ｓ４，Ｓ５へ移行する場合、工程Ｓ５におけるＭＰＵ１は、先頭行を特定する行特定画像ｇ２を表示部２に表示させる。

工程Ｓ１０，Ｓ１２は、ＭＰＵ１が第１記憶部４に記憶された履歴情報記録プログラムＰｒ７を実行することによって実現される。履歴情報記録プログラムＰｒ７は、表示部２に表示される最新のページ画像ｇ１に対応する前記ページ情報および最新の行特定画像ｇ２に対応する前記行情報を第１記憶部４に記録する工程をＭＰＵ１に実行させるためのプログラムである。履歴情報記録プログラムＰｒ７を実行するＭＰＵ１は、前記ページ情報および前記行情報を第１記憶部４に記録する履歴情報記録部の一例である。

ところで、工程Ｓ７において、ＭＰＵ１が、前記ページ送り条件に加えてページ戻し条件の成立可否を判定することも考えられる。予め定められたページ戻しイベントが発生した場合に、前記ページ戻し条件が成立する。

前記ページ戻し条件が成立した場合、ＭＰＵ１は、工程Ｓ１１において前記対象ページが先頭ページであるか否かを判定する。前記対象ページが先頭ページではない場合、ＭＰＵ１は、工程Ｓ１２において、前記対象ページを１つ前のページに更新するとともに、前記対象行を先頭行に更新する。

さらに、ＭＰＵ１は、工程Ｓ１２において、更新後の前記対象ページおよび前記対象行に相当する前記ページ情報および前記行情報を含むしおり情報Ｄ２を、第１記憶部４に記録する。既にしおり情報Ｄ２が存在する場合、ＭＰＵ１は、しおり情報を更新する。

例えば、操作部３におけるページ戻しアイコンｇ４の部分が操作されると、ＭＰＵ１は、前記ページ戻しイベントの発生を検知する。

また、視線検出部５０がページ戻し用の予め定められた前記視線方向の変化を検出した場合に、ＭＰＵ１が前記ページ戻しイベントの発生を検知することも考えられる。例えば、前記視線方向が旋回する変化を視線検出部５０が検出した場合などに、ＭＰＵ１が前記ページ戻しイベントの発生を検知する。

以上に示されるように、文書閲覧装置１０は、表示文書における前記閲覧者が読みたい箇所へ前記閲覧者の視線を適切に案内する前記閲覧箇所案内機能を備える。

即ち、文書閲覧装置１０は、ページ画像ｇ１における先頭行から順に各行を特定する行特定画像ｇ２を表示部２に表示させる。そのため、前記閲覧者は、これから読もうとする行を直感的に把握しやすい。

さらに、文書閲覧装置１０は、前記閲覧者が行特定画像ｇ２によって特定される行を読み終えて行の先頭側へ視線を移した際に、行特定画像ｇ２の表示状態を次の行を特定する状態へ更新する。そのような行特定画像ｇ２の表示の更新は、前記閲覧者の視線を適切に次の行の先頭へ誘導する。

従って、文書閲覧装置１０が採用されれば、前記閲覧者が意図しない行の先頭へ視線を移してしまうという不都合を回避することができる。このような文書閲覧装置１０は利便性が高い。

また、文書閲覧装置１０は、前記閲覧者の視線方向の検出結果に応じて行特定画像ｇ２の表示位置を変更する。そのため、例えば前記閲覧者が文書閲覧装置１０を片手のみで利用する状況下においても、文書閲覧装置１０は前記閲覧箇所案内機能を提供することができる。

即ち、文書閲覧装置１０の制御方法が採用されることにより、表示文書における前記閲覧者が読みたい箇所へ閲覧者の視線を適切に案内することが可能になる。さらに、前記閲覧者が文書閲覧装置１０を片手のみで利用するような状況化においても、文書閲覧装置１０は前記閲覧箇所案内機能を提供することができる。

また、文書閲覧装置１０は、前記ページ送りイベントの発生を検知した場合に、表示部２の表示状態を次のページのページ画像ｇ１を表示する状態へ更新し、さらに、先頭行を特定する行特定画像ｇ２を表示部２に表示させる、

従って、前記閲覧者が文書をあるページから次のページへ読み進めたい場合にも、文書閲覧装置１０は、前記閲覧者が読みたい箇所へ前記閲覧者の視線を適切に案内することができる。

また、文書閲覧装置１０は、最新のページ画像ｇ１および行特定画像ｇ２に対応するしおり情報Ｄ２を記録する。さらに、文書閲覧装置１０は、前記閲覧開始イベントなどの所定のイベントが発生した際に、記録されたしおり情報Ｄ２により特定されるページおよび行に対応するページ画像ｇ１および行特定画像ｇ２を表示部２に表示させる。

従って、文書閲覧装置１０は、一般的なしおり機能のように閲覧途中のページ情報を記憶するだけでなく、閲覧途中のページ内における行の情報も記憶する。そのため、前記閲覧者が文書の閲覧を中断した後に再開した場合に、文書閲覧装置１０は、中断時の閲覧ページおよび行へ前記閲覧者の視線を適切に案内することができる。この場合、前記閲覧者が自信の記憶を頼りに中断時の閲覧行を探す手間を省くことができる。

また、文書閲覧装置１０は、前記視線方向が行方向Ｒ０に沿って前記文字列を読み進める方向の逆方向へ予め定められた変化量を超えて変化した場合に前記改行条件（前記第１条件）が成立したと判定する。

上記のような前記視線方向の変化は、前記閲覧者がある行から次の行へ前記文字列を読み進める過程における前記視線方向の自然な変化である。従って、前記閲覧者は違和感なく文書閲覧装置１０を使用することができる。

また、文書閲覧装置１０は、前記視線方向が前記ページ画像における最終行側から先頭行側へ向かう方向へ予め定められた変化量を超えて変化した場合に前記改ページ条件（前記第２条件）が成立したと判定する。前記ページ画像における最終行側から先頭行側へ向かう方向は、前記行方向Ｒ０に交差する方向の一例である。

上記のような前記視線方向の変化も、前記閲覧者があるページから次のページへ前記文字列を読み進める過程における前記視線方向の自然な変化である。従って、前記閲覧者は違和感なく文書閲覧装置１０を使用することができる。

また、カメラ５および画像処理部６を含む視線検出部５０は、比較的簡易な構成によって前記視線方向を検出することができる。

[応用例]
文書閲覧装置１０において、視線検出部５０が、可視光のカメラ５の代わりに、近赤外線の画像を撮影する赤外線カメラと、近赤外光を出力する赤外光源とを備えることが考えられる。

前記赤外線カメラは、前記閲覧者の眼９を含む像を撮影する。前記赤外光源は、前記閲覧者の眼９を含む領域に近赤外光を照射する光源である。例えば、前記赤外線カメラがＣＣカメラであることが考えられる。また、前記赤外光源がＬＥＤ光源であることが考えられる。

応用例において、画像処理部６は、前記赤外線カメラの画像から前記閲覧者の視線方向を特定する周知の角膜反射法の画像処理を実行する。この場合、画像処理部６は、前記赤外線カメラの画像から前記赤外光源の光が前記閲覧者の眼９の角膜で反射する位置である角膜反射位置を検出する。また、画像処理部６は、前記閲覧者の瞳孔の中心位置も検出する。さらに、画像処理部６は、前記視線方向の影響を受けない前記角膜反射位置と、前記視線方向に応じて変化する前記瞳孔の中心位置との関係から、前記赤外線カメラに対する視線方向ベクトルを算出する。

前記角膜反射法の画像処理が採用される場合、前記視線方向の変化をより高精度で検出することができる。

前述の工程Ｓ６〜Ｓ８において、ＭＰＵ１が、実施形態に示された各条件とその他の条件とを組み合わせた条件を、前記行送り条件、前記ページ送り条件および前記終了条件として判定することも考えられる。この場合、実施形態に示された各条件と前記その他の条件との論理和または論理積が、前記行送り条件、前記ページ送り条件および前記終了条件の各々であることが考えられる。

なお、本発明に係る文書閲覧装置およびその制御方法は、各請求項に記載された発明の範囲において、以上に示された実施形態及び応用例を自由に組み合わせること、或いは実施形態及び応用例を適宜、変形する又は一部を省略することによって構成されることも可能である。

１ ：ＭＰＵ
２ ：表示部
３ ：操作部
４ ：第１記憶部
５ ：カメラ
６ ：画像処理部
７ ：第２記憶部
９ ：閲覧者の眼
１０ ：文書閲覧装置
５０ ：視線検出部
Ｄ１ ：文書データ
Ｄ２ ：しおり情報
Ｐｒ１ ：履歴情報取得プログラム
Ｐｒ２ ：第１表示制御プログラム
Ｐｒ３ ：第２表示制御プログラム
Ｐｒ４ ：第１条件判定プログラム
Ｐｒ５ ：第２条件判定プログラム
Ｐｒ６ ：第３条件判定プログラム
Ｐｒ７ ：履歴情報記録プログラム
Ｒ０ ：行方向
Ｒ１ ：行内進行方向
Ｒ２ ：行間進行方向
ｇ１ ：ページ画像
ｇ２ ：行特定画像
ｇ３ ：ページ送りアイコン
ｇ４ ：ページ戻しアイコン
ｇ５ ：終了アイコン

Claims (4)

1. 文書における複数行の文字列を含むページ画像を表示部に表示させる第１表示制御部と、
   前記ページ画像における一の行を特定する行特定画像を前記表示部に表示させる第２表示制御部と、
   前記表示部を見る閲覧者の視線方向の変化を検出する視線検出部と、
   前記視線検出部の検出結果を参照し、前記視線方向が前記ページ画像における前記文字列の行方向に沿って予め定められた変化を示したことを示す第１条件が成立したか否かを判定する第１条件判定部と、
   予め定められたページ送りイベントが発生したことを検知するページ送りイベント検知部と、
   を備え、
   前記第２表示制御部は、前記第１条件が成立した場合に、前記表示部における前記行特定画像の表示状態をその時点で特定する行の次の行を特定する状態へ更新し、
   前記ページ送りイベント検知部は、前記視線検出部の検出結果を参照し、前記視線方向が前記ページ画像における最終行の最後尾の文字の付近を向く方向から先頭行の先頭文字の付近を向く方向へ予め定められた変化量を超えて変化したという第２条件が成立したことを、前記ページ送りイベントの発生として検知し、
   前記ページ送りイベントの発生が検知された場合に、前記第１表示制御部が、前記表示部における前記ページ画像の表示状態をその時点で表示中のページの次のページの前記ページ画像を表示する状態へ更新し、さらに、前記第２表示制御部が、更新後の前記ページ画像における先頭行を特定する前記行特定画像を前記表示部に表示させる、文書閲覧装置。
2. 前記視線検出部が前記視線方向を検知できない状態が予め定められた時間継続した場合に、前記第１表示制御部および前記第２表示制御部が、前記ページ画像および前記行特定画像の前記表示部への表示を終了させる、請求項１に記載の文書閲覧装置。
3. 前記視線検出部は、
   前記閲覧者の眼を含む画像を撮影するカメラと、
   前記カメラにより得られる画像から前記閲覧者の眼の動きを検出することにより前記視線方向の変化を特定する画像処理部と、を含む、請求項１または請求項２に記載の文書閲覧装置。
4. 表示部および前記表示部を見る閲覧者の視線方向の変化を検出する視線検出部を備える文書閲覧装置の制御方法であって、
   文書における複数行の文字列を含むページ画像を前記表示部に表示させる工程と、
   前記ページ画像における一の行を特定する行特定画像を前記表示部に表示させる工程と、
   前記視線検出部の検出結果を参照し、前記視線方向が前記ページ画像における前記文字列の行方向に沿って予め定められた変化を示したことを示す第１条件が成立したか否かを判定する工程と、
   予め定められたページ送りイベントが発生したことを検知する工程と、
   前記第１条件が成立した場合に、前記表示部における前記行特定画像の表示状態をその時点で特定する行の次の行を特定する状態へ更新する工程と、
   前記視線検出部の検出結果を参照し、前記視線方向が前記ページ画像における最終行の最後尾の文字の付近を向く方向から先頭行の先頭文字の付近を向く方向へ予め定められた変化量を超えて変化したという第２条件が成立したことを、前記ページ送りイベントの発生として検知する工程と、
   前記ページ送りイベントの発生が検知された場合に、前記表示部における前記ページ画像の表示状態をその時点で表示中のページの次のページの前記ページ画像を表示する状態へ更新し、さらに、更新後の前記ページ画像における先頭行を特定する前記行特定画像を前記表示部に表示させる工程と、を有する文書閲覧装置の制御方法。
   

Images