JP5785015B2 - 電子機器、電子文書制御プログラムおよび電子文書制御方法 - Google Patents

Description

この発明は、電子機器、電子文書制御プログラムおよび電子文書制御方法に関し、特に電子文書を表示する、電子機器、電子文書制御プログラムおよび電子文書制御方法に関する。

電子文書を表示する、電子機器の一例が特許文献１に開示されている。特許文献１の電子書籍装置では、使用者の視線を検出し、表示部上の注目位置を判定することができる。そして、書籍データに基づく画像が表示部に表示されている場合、注目位置に表示されている書籍データ中の注目部分が特定され、その注目部分が表す内容は強調された表示にされる。
特開２００７−１０２３６０号公報［G06F 3/048, G06F 17/30］

ところが、特許文献１の電子書籍装置では、使用者が書籍データの内容を把握しているかを判断することはできない。

それゆえに、この発明の主たる目的は、新規な、電子機器、電子文書制御プログラムおよび電子文書制御方法を提供することである。

この発明の他の目的は、使用者に電子文書の内容を把握させることができる、電子機器、電子文書制御プログラムおよび電子文書制御方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、電子文書を表示する表示部を有する、電子機器であって、画像を撮影する撮影部、撮影部によって撮影された画像に基づいて、表示部に対する視線位置を検出する視線位置検出部、視線位置検出部によって検出された視線位置に基づいて、視線の移動速度を算出する視線速度算出部、視線速度算出部によって算出された移動速度が第１閾値以下のとき、表示部に表示される電子文書が読まれたと判断する判断部、および判断部によって電子文書が読まれたと判断されたとき、その電子文書に関する所定処理を実行する実行部を備える、電子機器である。

第１の発明では、電子機器（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）の表示部（２６）は、たとえばＬＣＤモニタであり、契約書、小説、漫画および絵本などの電子文書を表示する。撮影部（３６−４０）は、たとえば使用者が写る画像を撮影し、視線位置検出部（２０，Ｓ９９）はその画像に基づいて、使用者の視線位置（ＥＰ）を検出する。視線速度算出部（２０，Ｓ１０１）は、フレーム時間毎の視線位置の変化に基づいて、所定時間毎に視線の移動速度（ＥＳ）を算出する。判断部（２０，Ｓ４９−Ｓ５３）は、算出された移動速度が第１閾値（ＴＨａ）以下のとき、表示される電子文書が読まれたと判断する。電子文書が読まれたと判断されると、実行部（２０，Ｓ３，Ｓ５５，Ｓ６３，Ｓ７１，Ｓ８１）は、次のページを表示したり、追加情報を表示したりする所定処理を実行する。

第１の発明によれば、使用者は電子文書を閲覧するだけで、複雑な操作をすることなく電子文書を読み進めることができる。
また、視線位置に基づく視線の移動速度を利用して、電子文書の内容が読まれたかを判断することができる。

第２の発明は、第１の発明に従属し、電子文書は、文章または画像を表示する検出領域を含み、視線位置検出部によって検出された視線位置が、検出領域に滞在していた時間を計測する滞在時間計測部をさらに備え、判断部は、視線速度算出部によって算出された移動速度が第１閾値以下、かつ滞在時間計測部によって計測された滞在時間が第２閾値以上のとき、表示部に表示される電子文書が読まれたと判断する。

第２の発明では、電子文書には、文章または画像などが表示される検出領域（ＤＡ）が含まれる。滞在時間計測部（２０，Ｓ１０５）は、検出された視線位置が検出領域に滞在している滞在時間（ＥＴ）を計測する。そして、視線の移動速度が第１閾値（ＴＨａ）以下で動き、検出領域における視線位置の滞在時間が第２閾値（ＴＨｂ）以上であれば、表示されている電子文書が読まれたと判断される。

第２の発明によれば、視線位置に基づく視線の移動速度および滞在時間を利用して、電子文書の内容が読まれたかを判断することができる。

第３の発明は、第１の発明または第２の発明に従属し、終了操作がされたかを判断する終了操作判断部、および終了操作判断部によって終了操作がされたと判断されたとき、視線位置検出部によって検出された視線位置に基づいて中断データを記憶する記憶部をさらに備える。

第３の発明では、終了操作判断部（２０，Ｓ５９）は、電子文書の表示を終えるための終了操作がされたかを判断する。記憶部（２０，Ｓ６１）は、電子文書の表示を終えるときに、視線位置が含まれる検出領域や、表示されるページ番号などを中断データとして記憶する。

第３の発明によれば、使用者が電子文書の閲覧を中断したとしても、中断データを読み出すことで、その電子文書の閲覧を容易に再開することができる。

第４の発明は、第１の発明ないし第３の発明に従属し、電子文書は、複数のページを含み、実行部は、電子文書の１ページが読まれたと判断されたとき、次のページを表示する次ページ表示部をさらに含む。

第４の発明では、電子文書は、複数のページを含む。たとえば、次ページ表示部（２０，Ｓ３）は、或る１ページが読まれたと判断されると、次のページを表示する。

第４の発明によれば、使用者は文章を読み進めるだけで、次のページを表示させることができる。

第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、実行部は、判断部によって電子文書が読まれたと判断されたとき、その電子文書の内容に同意または不同意するためのキーを操作可能に表示するキー表示部を含む。

第５の発明では、電子文書は、たとえば契約書を含む。また、契約書が読まれたと判断されると、キー表示部（２０，Ｓ６３）によって、契約書の内容に同意または不同意するためのキーが操作可能に表示される。そして、使用者はこれらのキーを利用して、契約書の内容に同意または不同意する。

第５の発明によれば、使用者が電子文書の内容を把握せずに同意したり、誤操作によって同意したりすることを防ぐことができる。

第６の発明は、第２の発明ないし第５の発明のいずれかに従属し、実行部は、判断部によって電子文書の検出領域が読まれたと判断されたとき、その検出領域に追加情報を表示する第１追加情報表示部をさらに含む。

第６の発明では、たとえば、電子文書は漫画を含み、検出領域は漫画のコマを含む。また、第１追加情報表示部（２０，Ｓ７１）は、漫画のコマを含む検出領域が読まれた場合、漫画のコマに含まれる吹き出し（Ｆ）に、追加情報として台詞を表示する。

第６の発明によれば、電子文書の一部が読まれたと判断されてから、追加情報を表示することで、電子文書を読み進めるのを補助することができる。

第７の発明は、第２の発明ないし第６の発明のいずれかに従属し、実行部は、判断部によって電子文書に含まれる文章が表示された検出領域が読まれたと判断されたとき、文章が表示されている検出領域とは異なる検出領域に追加情報を表示する第２追加情報表示部をさらに含む。

第７の発明では、電子文書は、たとえば絵本を含む。第２追加情報表示部（２０，Ｓ８１）は、たとえば台詞が書かれた検出領域が読まれたと判断されると、追加情報としてその台詞に対応する画像（絵）が他の検出領域に表示される。

第７の発明によれば、電子文書を読む使用者に対して、視覚的な変化で驚きを与えることができる。

第８の発明は、電子文書を表示する表示部（２６）および画像を撮影する撮影部（３６−４０）を有する、電子機器（１０）のプロセッサ（２０）を、撮影部によって撮影された画像に基づいて、表示部に対する視線位置を検出する視線位置検出部（Ｓ９９）、視線位置検出部によって検出された視線位置に基づいて、視線の移動速度を算出する視線速度算出部、視線速度算出部によって算出された移動速度が第１閾値以下のとき、表示部に表示される電子文書が読まれたと判断する判断部（Ｓ４９−Ｓ５３）、および判断部によって電子文書が読まれたと判断されたとき、その電子文書に関する所定処理を実行する実行部（Ｓ３，Ｓ５５，Ｓ６３，Ｓ７１，Ｓ８１）として機能させる、電子文書制御プログラムである。

第８の発明でも、第１の発明と同様、使用者は電子文書を閲覧するだけで、複雑な操作をすることなく電子文書を読み進めることができる。
また、視線位置に基づく視線の移動速度を利用して、電子文書の内容が読まれたかを判断することができる。

第９の発明は、電子文書を表示する表示部（２６）および画像を撮影する撮影部（３６−４０）を有する、電子機器（１０）における電子文書制御方法であって、電子機器のプロセッサが、撮影部によって撮影された画像に基づいて、表示部に対する視線位置を検出する視線位置検出ステップ（Ｓ９９）、視線位置検出ステップによって検出された視線位置に基づいて、視線の移動速度を算出する視線速度算出ステップ、視線速度算出ステップによって算出された移動速度が第１閾値以下のとき、表示部に表示される電子文書が読まれたと判断する判断ステップ（Ｓ４９−Ｓ５３）、および判断ステップによって電子文書が読まれたと判断されたとき、その電子文書に関する所定処理を実行する実行ステップ（Ｓ３，Ｓ５５，Ｓ６３，Ｓ７１，Ｓ８１）を実行する、電子文書制御方法である。

第９の発明でも、使用者は電子文書を閲覧するだけで、複雑な操作をすることなく電子文書を読み進めることができる。
また、視線位置に基づく視線の移動速度を利用して、電子文書の内容が読まれたかを判断することができる。

この発明によれば、使用者は電子文書を閲覧するだけで、複雑な操作をすることなく電子文書を読み進めることができる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の電子文書端末の電気的な構成を示す図解図である。 図２は図１に示す電子文書端末の外観の一例を示す図解図である。 図３は図２に示す電子文書端末によって検出される視線位置の一例を示す図解図である。 図４は図１に示す電子文書端末によって検出された視線位置の変化の一例を示す図解図である。 図５は図１に示す電子文書端末によって検出された視線位置の変化の他の一例を示す図解図である。 図６は図１に示すディスプレイに表示される電子文書の一例を示す図解図である。 図７は図６に示す電子文書の構成の一例を示す図解図である。 図８は図６に示す電子文書において検出された視線位置の変化の一例を示す図解図である。 図９は図６に示す電子文書の他の一例を示す図解図である。 図１０は図１に示すＲＡＭに記憶される状態テーブルの一例を示す図解図である。 図１１は図２に示すディスプレイに表示される電子文書の他の一例を示す図解図である。 図１２は図２に示すディスプレイに表示される電子文書のその他の一例を示す図解図である。 図１３は図２に示すディスプレイに表示される電子文書のさらにその他の一例を示す図解図である。 図１４は図１に示すＲＡＭのメモリマップの一例を示す図解図である。 図１５は図１に示すプロセッサの電子文書制御処理の一例を示すフロー図である。 図１６は図１に示すプロセッサの文章表示処理の一例を示すフロー図である。 図１７は図１に示すプロセッサの文章／画像表示処理の一例を示すフロー図である。 図１８は図１に示すプロセッサの画像表示処理の一例を示すフロー図である。 図１９は図１に示すプロセッサの視線位置検出処理の一例を示すフロー図である。

図１を参照して、本実施例の電子文書端末（電子書籍端末または電子ブックリーダとも言う）１０は、電子機器または携帯機器の一種であり、小説、漫画、絵本などの「電子文書」を閲覧可能に表示する。また、電子文書端末１０では、使用者の操作に応じて、表示中の電子文書のページをめくる処理などが行われる。なお、本実施例の「電子文書」には、小説、漫画、絵本、写真集および取扱説明書などの本以外にも、雑誌、新聞および契約書なども含まれる。

電子文書端末１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ２０を含む。このプロセッサ２０には、キー入力装置２２、表示ドライバ２４、フラッシュメモリ２８、ＲＡＭ３０、タッチパネル制御回路３２およびカメラ制御回路３６が接続される。また、表示ドライバ２４には、表示部として機能するディスプレイ２６が接続される。さらに、タッチパネル制御回路３２にはタッチパネル３４が接続される。そして、カメラ制御回路３６にはイメージセンサ３８およびフォーカスレンズ４０のレンズ位置を制御する制御モータ（図示せず）が接続される。

プロセッサ２０は電子文書端末１０の全体制御を司る。ＲＡＭ３０は、プロセッサ２０の作業領域（描画領域を含む）ないしバッファ領域として用いられる。フラッシュメモリ２８には、電子文書端末１０の文字、画像および電子文書のようなコンテンツのデータが記録される。

キー入力装置２２は、操作キーおよび機能キーなどを含む。そして、使用者が操作したキーの情報（キーデータ）はプロセッサ２０に入力される。また、キー入力装置２２に含まれる各キーが操作されると、クリック音が鳴る。したがって、使用者は、クリック音を聞くことで、キー操作に対する操作感を得ることができる。

表示ドライバ２４は、プロセッサ２０の指示の下、当該表示ドライバ２４に接続されたディスプレイ２６の表示を制御する。また、表示ドライバ２４は表示する画像データを一時的に記憶するビデオメモリ（図示せず）を含む。なお、図示は省略するが、ディスプレイ２６はバックライトによって照明されている。

タッチパネル３４は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式で、たとえば１本または複数本の指がタッチパネル３４に触れたことを検出する。また、タッチパネル３４は、ディスプレイ２６の上に設けられ、その画面内で、任意の位置を指示するためのポインティングデバイスである。タッチパネル制御回路３２は、タッチパネル３４のタッチ有効範囲内で、押したり、撫でたり、触られたりするタッチ操作を検出し、そのタッチ操作の位置を示す座標のデータをプロセッサ２０に出力する。つまり、使用者は、タッチパネル３４の表面を指で、押したり、撫でたり、触れたりすることによって、操作の方向や図形などを電子文書端末１０に入力することができる。

ここで、使用者がタッチパネル３４の上面を指で触れる操作を「タッチ」と言う。一方、タッチパネル３４から指を離す操作を「リリース」と言う。そして、使用者がタッチパネル３４の上面をタッチして、続けてリリースする操作を「タッチアンドリリース」と言う。

また、タッチパネル３４の表面を撫でる操作を「スライド」と言い、タッチした後にスライドし、リリースする操作を「タッチスライド」と言う。さらに、２回連続してタッチアンドリリースを行う操作を「ダブルタップ」と言い、２か所に略同時にタッチする操作を「マルチタッチ」と言う。そして、「タッチ操作」には、上記したタッチ、リリース、タッチアンドリリース、スライド、タッチスライド、ダブルタップおよびマルチタッチなどが含まれる。

また、タッチによって示された座標を「タッチ点」（タッチ開始位置）と言い、リリースによって示された座標を「リリース点」（タッチ終了位置）と言う。

なお、タッチ操作は指だけに限らず、導電体が先端に取り付けられたタッチペンなどによって行われてもよい。また、タッチパネル３４の検出方式には、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などであってもよい。

カメラ制御回路３６、イメージセンサ３８およびフォーカスレンズ４０などは、まとめてカメラモジュールまたは撮影部と呼ばれることもある。また、カメラ制御回路３６は、携帯電話機１０で静止画像または動画像を出力するための回路である。イメージセンサ３８の撮像エリアには、ＳＸＧＡ(１２８０×１０２４画素)に対応する受光素子が表示されている。そのため、被写体の光学像がイメージセンサ３８に照射されると、撮像エリアでは光電変換によって被写体の光学像に対応する電荷、つまりＳＸＧＡの生画像信号が生成される。なお、使用者は、画像データの画像サイズ（画素数）を、ＳＸＧＡの他に、ＸＧＡ(１０２４×７６８画素)およびＶＧＡ(６４０×４８０画素)などに変更することができる。

たとえば、カメラ機能が実行されると、プロセッサ２０は、カメラ制御回路３６に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作を、イメージセンサドライバに命令する。

イメージセンサドライバは、イメージセンサ３８の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ３８から出力される。また、出力された生画像信号はカメラ制御回路３６に入力され、カメラ制御回路３６は入力された生画像信号に対して、色分離、白バランス調整、ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成する。そして、ＹＵＶ形式の画像データはプロセッサ２０に入力される。

プロセッサ２０に入力されたＹＵＶ形式の画像データは、プロセッサ２０によってＲＡＭ３０に格納（一時記憶）される。ここで、使用者の視線位置を検出するためにカメラ機能が実行されている場合は、ＲＡＭ３０に格納されたＹＵＶ形式の画像データに基づいて、視線位置が検出される。なお、視線位置の検出については後述するため、ここでの詳細な説明は省略する。また、ここで言う視線位置とは、ディスプレイ２６の表示範囲を基準として、使用者が注目している位置を意味する。

また、カメラ制御回路３６は生画像信号からフォーカス評価値を算出し、そのフォー
カス評価値をプロセッサ２０に出力する。プロセッサ２０は、カメラ制御回路３６から出力されたフォーカス評価値に基づいて、ＡＦ（Ａｕｔｏｆｏｃｕｓ）処理を実行する。ＡＦ処理が実行されると、カメラ制御回路３６はプロセッサ２０の指示の下、レンズモータを制御することで、フォーカスレンズ４０のレンズ位置を調整する。その結果、被写体にピントが合わせられた画像が撮影される。

また、撮影された画像をディスプレイ２６に表示する設定がされていれば、格納されたＹＵＶ形式の画像データは、プロセッサ２０によってＲＧＢ形式の画像データに変換された後に、ＲＡＭ３０から表示ドライバ２８に与えられる。そして、ＲＧＢ形式の画像データがディスプレイ２６に出力される。これによって、被写体を表す低画素（たとえば、３２０×２４０画素）のスルー画像がディスプレイ２６に表示される。

図２は、電子文書端末１０の外観を示す外観図である。図２を参照して、電子文書端末１０は、平面矩形の筐体Ｃを有する。キー入力装置２２は、第１操作キー２２ａ、第２操作キー２２ｂおよび機能キー２２ｃを含む。そして、これらのキーは筐体Ｃの表面に設けられる。ディスプレイ２６は、表示面（モニタ画面）が筐体Ｃの表面から見えるように取り付けられる。また、ディスプレイ２６の表示面の上にはタッチパネル３４が設けられる。

たとえば、使用者は、機能キー２２ｃを操作して、電子文書ファイルの一覧をディスプレイ２６に表示させ、タッチ操作によって任意の電子文書ファイルを選択する。また、電子文書が表示されると、第１操作キー２２ａおよび第２操作キー２２ｂを利用して、電子文書のページをめくる（変更する）ことができる。たとえば、第１操作キー２２ａが操作されると前のページが表示され、第２操作キー２２ｂが操作されると次のページが表示される。

さらに、開口ＯＰ１は、フォーカスレンズ４０およびイメージセンサ３８に通じている。つまり、図示しないカメラモジュールは筐体Ｃに内蔵され、開口ＯＰ１を通して筐体Ｃの表面側の被写界を撮影する。そして、開口ＯＰ１は、使用者の顔が撮影できるように、筐体Ｃの縦方向一方の表面に設けられる。

ここで、使用者の視線位置を検出する場合、図３（Ａ）のようにして撮影された使用者の顔の画像に基づいて、視線位置が検出される。具体的に説明すると、プロセッサ２０は、カメラモジュールから出力された画像（撮影画像）に、顔領域が含まれているかを判断する。また、撮影画像に顔領域が含まれていれば目領域が抽出される。また、目領域が抽出されると所定の画像処理が加えられ、黒目領域の中心を算出して、使用者の視線方向が推定される。そして、図３（Ｂ）に示すように、視線方向および使用者の顔とディスプレイ２６との視線距離に基づいて、視線位置ＥＰが検出される。

なお、視線距離は、実験などから求められた値が予め設定されていてもよいし、撮影画像における使用者の顔領域の大きさなどから推定されてもよい。さらに、赤外線などを利用する距離計測センサを備える場合には、その計測センサを利用して視線距離が求められてもよい。

また、プロセッサ２０、表示ドライバ２４、フラッシュメモリ２８、ＲＡＭ３０、タッチパネル制御回路３４、カメラ制御回路３６、イメージセンサ３８およびフォーカスレンズ４０は筐体Ｃに内蔵されているため、図２および図３（Ａ），（Ｂ）では図示されない。

次に、本実施例では、検出された視線位置に基づいて視線の移動速度（視線速度）ＥＳと、電子文書における絵や文章などの検出領域ＤＡに視線位置が滞在する時間（滞在時間）ＥＴとを算出する。以下、或る時刻をＴ、ディスプレイ２６の表示が更新される時間（フレーム時間）をΔｔ[ms]として、視線速度ＥＳと滞在時間ＥＴとについて説明する。

まず、視線速度ＥＳについて説明する。図４（Ａ）−（Ｄ）は、ディスプレイ２６の表示領域において、或る時刻Ｔ_１からΔｔ[ms]毎の視線位置ＥＰの変化を示している。たとえば、時刻Ｔ_１からΔｔ[ms]経過したときに、視線位置ＥＰａが視線位置ＥＰｂに移動しており、その２点の距離（変化量）はｄ１[mm]となる。また、時刻Ｔ_１から２Δｔ[ms]経過したときには、視線位置ＥＰｂが視線位置ＥＰｃに移動しており、変化量はｄ２[mm]となる。さらに、時刻Ｔ_１から３Δｔ[ms]経過したときには、視線位置ＥＰｃが視線位置ＥＰｄに移動しており、変化量はｄ３[mm]となる。

そして、本実施例では、フレーム時間Δｔ[ms]および各変化量ｄ[mm]に基づいて１フレーム毎の瞬間速度ｓ_ｍ[mm/ms]を算出し、さらに所定時間（たとえば３Δｔ[ms]）における瞬間速度ｓ_ｍ[mm/ms]の平均を視線速度ＥＳとして算出する。そのため、視線速度ＥＳは所定時間毎に算出（更新）される。

続いて、滞在時間Ｔについて説明する。図５（Ａ）−（Ｄ）は、ディスプレイ２６の表示領域における、或る時刻Ｔ_２からΔｔ[ms]毎の視線位置ＥＰの変化を示している。また、文章や画像は省略するが、表示領域内には検出領域ＤＡが設けられている。たとえば、使用者の視線位置ＥＰｅは時刻Ｔ_２では検出領域ＤＡには含まれていないが、Δｔ秒後の時刻（Ｔ_２＋Δｔ）では検出領域ＤＡに視線位置ＥＰｆが含まれている。また、時刻（Ｔ_２＋２Δｔ）でも視線位置ＥＰｇは検出領域ＤＡに含まれているが、時刻（Ｔ_２＋３Δｔ）では視線位置ＥＰｈは検出領域ＤＡの外に出ている。つまり、時刻Ｔ_２から時刻（Ｔ_２＋３Δｔ）の間では、時刻（Ｔ_２＋Δｔ）から時刻（Ｔ_２＋３Δｔ）まで、検出領域ＤＡに視線位置ＥＰｇが含まれているため、検出領域ＤＡにおける視線位置ＥＰの滞在時間ＥＴは「２Δｔ[ms]」となる。また、具体的な計測方法としては、フレームの更新毎に検出領域ＤＡに視線位置ＥＰが含まれているかを判断し、含まれていると連続して判断された回数がカウントされる。そして、カウントされた回数とフレーム時間Δｔとの積が滞在時間ＥＴとなる。

なお、視線速度ＥＳおよび滞在時間ＥＴの算出方法および計測方法は、上述した方法に限られるものではなく、他の実施例では他の方法を用いて視線速度ＥＳおよび滞在時間ＥＴが求められてもよい。

図６は電子文書が表示されたディスプレイ２６の一例を示す図解図である。ディスプレイ２６の表示は、日時および電池残量などを表すアイコンを表示する状態表示領域６０および電子文書が表示される機能表示領域６２を含む。ここでは、使用者によって契約書の電子文書ファイルを閲覧する操作がされたため、後述するメタデータが読み込まれた後に、契約書が機能表示領域６２に表示されている。

図７（Ａ）を参照して、電子文書（契約書）には、タイトルの文章が含まれる検出領域ＤＡａおよび内容を示す文章が含まれる検出領域ＤＡｂ−ＤＡｄなどが含まれると共に、契約書の内容に同意するための同意キー７０および不同意するための不同意キー７２も含まれる。また、初期状態では、同意キー７０および不同意キー７２に対する操作は無効にされており、このような状態を表すために、２つのキーは点線の枠で囲われると共に、文字の書体が斜体にされている。

また、電子文書ファイルのメタデータには、電子文書のファイル名、種別、ページ数および検出領域ＤＡの座標範囲が含まれると共に、後述する所定処理を実行するかを判断するための第１閾値、第２閾値、順序、開始領域なども含まれる。

たとえば、図７（Ｂ）を参照して、契約書（電子文書）ファイルのメタデータには、ファイル名には「ご利用規約」が記録され、種別には電子文書が主に文章で構成されていることを示す「文章」が記録され、検出領域には検出領域ＤＡａ−ＤＡｄなどの座標範囲が記録される。そして、ページ数には契約書の総ページ数として「１ページ」が記録される。

また、メタデータには、視線速度の第１閾値として閾値ＴＨａ[mm/ms]が記録され、滞在時間の第２閾値として閾値ＴＨｂ[ms]が記録される。さらに、順序には、検出領域ＤＡを閲覧する順序として「ＤＡａ，ＤＡｂ，ＤＡｃ，ＤＡｄ，…」が記録され、開始領域には視線位置ＥＰに基づく制御を開始する位置として「ＤＡａ」が記録される。

ここで、本実施例では、使用者の視線位置ＥＰに基づく視線速度ＥＳおよび滞在時間ＥＴが、全ての検出エリアＤＡで上記第１閾値および第２閾値に基づく条件を満たすかを判断する。そして、この条件が満たされると、検出領域ＤＡの内容が「使用者によって読まれた」と判断して、電子文書の種別に応じて所定処理が実行される。

具体的に説明すると、まずプロセッサ２０が電子文書のメタデータが読み込まれ、第１閾値および第２閾値が記録されていれば、視線に基づく所定処理を実行する必要があると判断される。

図８（Ａ）を参照して、このように判断された状態で、使用者が検出領域ＤＡａに視線を向け、検出領域ＤＡａ内で視線位置ＥＰｊが検出されると、この電子文書における開始領域であるかが判断される。ここでは、視線位置ＥＰｊが含まれる検出領域ＤＡａが開始領域であるため、メタデータから「文章」の種別が読み出され、「文章」に対応して文書表示処理が実行される。

文書表示処理が実行されると、視線速度ＥＳが第１閾値ＴＨａ以下であり、視線位置ＥＰが検出領域ＤＡａへの滞在時間ＥＴが第２閾値ＴＨｂ以上であるか否かが判断される。この状態で、使用者の視線位置ＥＰｊから視線位置ＥＰｋに移動し、上記の条件が満たされると、この検出領域ＤＡの内容が読まれたと判断される。そして、図８（Ｂ）に示すように、検出領域ＤＡａに含まれる文字の書体を斜体に変更すると共に、文字サイズを小さくする、既読処理が実行される。

このように、本実施例では、視線位置ＥＰに基づく視線速度ＥＳおよび文字を表示する検出領域ＤＡへの滞在時間ＥＴを利用して、電子文書の内容が読まれたかを判断することができる。

さらに、プロセッサ２０は、他の検出領域ＤＡに対しても、視線速度ＥＳおよび滞在時間ＥＴが第１閾値ＴＨａおよび第２閾値ＴＨｂに基づく条件を満たしているかを判断する。そして、図９を参照して、使用者によって全ての検出領域ＤＡの内容が読まれたと判断されると、同意キー７０および不同意キー７２を選択できるように、所定処理として読了処理を実行する。つまり、電子文書として表示される契約書の内容が、使用者によって全て読み終えられたと判断できるため、その契約内容に対して同意または不同意できるように、同意キー７０および不同意キー７２が選択な状態にされる。なお、これらのキーは、タッチパネル３４に対するタッチ操作によって操作されてもよいし、第１機能キー２２ａおよび第２機能キー２２ｂによって操作されてもよい。

このように、本実施例では、契約書を電子文書として閲覧可能に表示した場合、その内容を使用者に通読させたうえで、その内容に同意または不同意させることができる。これにより、使用者が契約内容を把握せずに同意したり、誤操作によって同意したりすることを防ぐことができる。

また、視線位置ＥＰが検出されている場合、検出結果が図１０に示す状態テーブルに記録される。図１０を参照して、状態テーブルには、検出された現在の視線位置ＥＰの座標、算出された現在の視線速度、算出された現在の滞在時間、現在の視線位置ＥＰが含まれている検出領域、読み終えたと判断された検出領域ＤＡの履歴および現在表示されているページ番号が記録される。たとえば、図８（Ｂ）に示すように、使用者の視線位置ＥＰが移動して検出領域ＤＡｂに視線位置ＥＰｍが含まれる場合、状態テーブルには、視線位置ＥＰとして「Ｅｘ，Ｅｙ」が記録され、視線速度ＥＳとして「ＥＳ_ｎ[mm/ms]」が記録され、滞在時間として「ＥＴ_ｎ[ms]」が記録され、現在領域として「ＤＡｂ」が記録され、領域履歴として「ＤＡａ」が記録され、ページとして全１ページ中の１ページ目を閲覧していることを表す「１／１」が記録される。

また、電子文書の閲覧中に、機能キー２２ｃを長押しする終了操作がされた場合、状態テーブルに記録されている、現在領域、領域履歴およびページなどが中断データとして記憶される。つまり、使用者が電子文書の閲覧を中断したとしても、中断データを「しおり」として利用することで、その電子文書の閲覧を容易に再開することができる。

ここで、契約書の他に、契約書と同じように主に文章から構成される「小説」、１つの検出領域ＤＡに文章と画像とが含まれる「漫画」、主に画像から構成される「絵本」などの電子文書が表示された場合でも、視線位置ＥＰに基づいて所定処理が実行される。

図１１（Ａ），（Ｂ）を参照して、電子文書の種別が「文章」である小説が表示される場合、たとえば１文毎に検出領域ＤＡが設定される。たとえば、検出領域ＤＡｅには「ＡＡＡ…」と書かれた文が含まれ、検出領域ＤＡｆには「ＢＢＢ…」と書かれた文が含まれ、検出領域ＤＡｇには「ＣＣＣ…」と書かれた文が含まれ、検出領域ＤＡｈには「ＤＤＤ…」と書かれた文が含まれる。

また、図１１（Ａ）に示す初期状態では、各検出領域ＤＡに含まれる文字は、同じ書体で表示される。これに対して、図１１（Ｂ）に示す使用者によって小説が読み進められた状態では、既読処理が実行されるため、読まれたと判断された検出領域ＤＡの文字の書体は斜体に変更されると共に、文字サイズが小さくされる。また、視線位置ＥＰが含まれる検出領域ＤＡの文字には罫線が付され、かつ文字サイズが大きくされる。そして、読まれたと判断されていない検出領域ＤＡの文字は初期状態のままとなる。

このように、使用者は読み終えた箇所と、現在読んでいる箇所と、まだ読んでいない箇所とを直感的に認識できるため、電子文書によって読書をする際の利便性が向上する。

また、小説のように電子文書に複数のページが含まれている場合、表示されたページ内容が全て読まれたと判断されると、所定処理としてページ変更処理が実行されるため、次のページが表示される。つまり、使用者は文章を読み進めるだけで、次のページを表示させることができる。ただし、使用者が前のページを再確認する可能性もあるため、使用者は第１操作キー２２ａまたは第２操作キー２２ｂを操作して、次のページ（または前のページ）を表示することができる。

また、小説の電子文書が表示されている場合でも、ページを読み終えると所定処理として読了処理が実行される。また、電子文書が小説である場合、読了処理が実行されると、時刻が読書ログとして記録される。そして、使用者は、その読書ログを確認することで、その小説を読み進めた時間経過を把握できるようになるため、電子文書を利用した読書の利便性はさらに向上する。

なお、小説における検出領域ＤＡには、文ではなく、行、段落、節、章などが含まれていてもよい。また、電子文書端末１０がタッチパネルを備える場合、ページ更新処理は、第１操作キー２２ａまたは第２操作キー２２ｂを操作ではなく、タッチ操作に応じて実行されてもよい。

また、既読処理が実行された場合、文字の書体および文字サイズだけでなく、文字色が変更されてもよい。

図１２（Ａ），（Ｂ）を参照して、電子文書の種別が「文書／画像」である漫画が表示されている場合、漫画における「コマ」が検出領域ＤＡに対応する。また、「コマ」には、キャラクターや背景などの画像と、キャラクターの台詞が書かれる吹き出しＦとが含まれている。そして、図１２に示すディスプレイ２６には、４つのコマから構成される、いわゆる「４コマ漫画」が表示されている。そして、１コマ目である検出領域ＤＡｊには女性キャラクターの吹き出しＦａが含まれており、２コマ目である検出領域ＤＡｋには男性キャラクターの吹き出しＦｂが含まれており、３コマ目である検出領域ＤＡｍには女性キャラクターの吹き出しＦｃが含まれており、４コマ目である検出領域ＤＡｎには男性キャラクターの吹き出しＦｄが含まれている。ただし、図１２（Ａ）に示す初期状態では、各コマの吹き出しには台詞（文章）は書かれていない。

このような状態で、使用者の視線位置ＥＰが１コマ目（検出領域ＤＡｊ）に含まれ、視線速度ＥＳおよび滞在時間ＥＴが第１閾値および第２閾値に基づく条件を満たすと、所定処理として第１追加情報表示処理が実行される。

具体的には、第１追加情報表示処理が実行されると、吹き出しＦａに対して、追加情報として台詞（「###」）が表示される。同様に、２コマ目（検出領域ＤＡｋ）が読まれたと判断されると、吹き出しＦｂには台詞（「***」）が表示される。つまり、漫画のコマが読まれたと判断されてからそのコマに追加情報を表示することで、漫画を読み進めるのを補助することができる。

また、図１２（Ｂ）を参照して、２コマ目（検出領域ＤＡｋ）に現在の視線位置ＥＰが含まれる場合、の吹き出しＦｂに書かれる台詞には下線が付される。一方、既に読まれた１コマ目（検出領域ＤＡｊ）の吹き出しＦａに書かれる台詞は文字サイズが小さくされると共に、書体が斜体に変更される。つまり、漫画の場合でも既読処理が実行されるため、小説と同様、使用者は読み終えたコマと、現在読んでいるコマと、まだ読んでいないコマとを直感的に認識できる。そのため、漫画を読むときの利便性が向上する。

なお、小説の場合と同様、全てのコマ（検出領域ＤＡ）が読まれたと判断されると、次のページが表示される。また、電子文書端末１０がスピーカを備える場合、吹き出しＦに台詞が表示されると共に、追加の集中線などの効果や、画像に色が加えられたり、効果音が出力されたりしてもよい。さらに、電子文書端末１０がバイブレータを備える場合は、吹き出しＦに台詞が表示されると共に、振動するようにしてもよい。

図１３（Ａ），（Ｂ）を参照して、電子文書の種別が「画像」である絵本が表示されている場合、１つのページにおいて、文章と絵（画像）とが異なる検出領域ＤＡに表示される。ただし、初期状態では検出領域ＤＡｐには「+++」の文字列が書かれるが、検出領域ＡＤｑには何も描かれない。

この状態で、使用者の視線位置ＥＰに基づく視線速度ＥＳおよび滞在時間ＥＴが、第１閾値および第２閾値に基づく条件を満たせば、所定処理として第２追加情報表示処理が実行される。その結果、検出領域ＡＤｑに対して追加情報として絵（画像）が表示される。その結果、絵本を読む使用者に対して、視覚的な変化で驚きを与えることができる。

また、画像が表示された検出領域ＤＡｑに視線位置ＥＰが移り、画像を表示する検出領域ＤＡｑが観られた（読まれた）と判断されると、一定時間が経過してから次のページが表示される。これは、絵（画像）を表示する検出領域ＤＡｑが読まれたと判断されてから、すぐに次のページが表示されてしまうと、使用者が絵（画像）をゆっくり鑑賞できない。そのため、そのため、本実施例では、一定時間が経過してから次のページを表示することで、使用者が表示された絵を鑑賞できるようにしている。

なお、画像などの追加情報が表示される際に、効果音や音楽などが再生されてもよい。さらに、表示される追加情報は、静止画像および動画像であってもよい。また、他の実施例では、文章（台詞）が読まれたと判断されると同時に、関連する画像（絵）も読まれたと判断されるようにしてもよい。

このように、本実施例では、使用者は電子文書を閲覧するだけで、複雑な操作をすることなく電子文書を読み進めることができる。

また、電子文書端末１０は、タッチパネルを利用せずに電子文書を閲覧することができるため、ディスプレイ２６の視認性がタッチ操作によって低下することはない。たとえば、タッチパネルがディスプレイ２６に設けられた電子文書端末の場合、タッチ操作によってページ更新処理が実行されるため、タッチ操作を行う指などの指紋が汚れとしてタッチパネルに付着する。この場合、ディスプレイ２６の視認性が汚れによって低下するため、使用者は電子文書を継続して閲覧する際に、この汚れをふき取らなければならなかった。ところが、本実施例の電子文書端末１０では、タッチ操作を行わなくてもページを容易に更新することができるため、使用者が電子文書を継続して閲覧してもディスプレイ２６の視認性が低下することはない。

また、手を利用せずに電子文書を読み進めることができるため、手の不自由な使用者でも、本実施例の電子文書端末１０を利用することができる。

図１４はＲＡＭ３０のメモリマップを示す図である。ＲＡＭ３０には、プログラム記憶領域３０２およびデータ記憶領域３０４が含まれる。また、プログラムおよびデータの一部は、フラッシュメモリ２８から一度に全部または必要に応じて部分的かつ順次的に読み出され、ＲＡＭ３０に記憶される。

プログラム記憶領域３０２には、電子文書端末１０を動作させるためのプログラムが記憶されている。たとえば、電子文書端末１０を動作させるためのプログラムは、電子文書制御プログラム３１０、文章表示処理プログラム３１２、文章／画像表示プログラム３１４、画像表示プログラム３１６および視線位置検出プログラム３１８などから構成される。

電子文書制御プログラム３１０は、電子文書を閲覧するために実行されるプログラムである。文章表示プログラム３１２は、契約書や小説などのように、種別が「文章」の電子文書において、検出された視線位置ＥＰに基づいて所定処理を実行するためのプログラムである。同様に、文章／画像表示プログラム３１４は、漫画などのように、種別が「文章／画像」の電子文書において所定処理を実行するためのプログラムである。画像表示プログラム３１６は、絵本などのように、種別が「画像」の電子文書において所定処理を実行するためのプログラムである。視線位置検出プログラム３１８は、使用者の視線位置ＥＰを検出すると共に、視線速度ＥＳおよび滞在時間ＥＴを算出し、状態テーブルを更新するためのプログラムである。

なお、図示は省略するが、電子文書端末１０を動作させるためのプログラムには、電子文書端末の基本ソフト（ＯＳ）に対応するプログラムなどが含まれる。

続いて、データ記憶領域３０４には、状態テーブルバッファ３３０および電子文書ファイルデータ３３２などが記憶される。状態テーブルバッファ３３０には、図１０に示す状態テーブルが一時的に記憶される。

電子文書ファイルデータ３３２は、電子文書を閲覧する際に、フラッシュメモリ２８から読み出され、ＲＡＭ３０に一時的に記憶されるデータである。また、電子文書ファイルデータ３３２には、メタデータ３３２ａ、文書データ３３２ｂおよび中断データ３３２ｃなどが含まれる。メタデータ３３２ａは、たとえば図７（Ｂ）に示す構成のデータである。文書データ３３２ｂは、電子文書を表示する際に読み出されるデータであり、文章データおよび画像データを含む。中断データ３３２ｃは、電子文書を最終ページまで読み終える前に中断された場合に作成および記憶されるデータである。そのため、閲覧が中断されたことが無い電子文書ファイルデータ３３２の場合、この中断データ３３２ｃが含まれない。

なお、図示は省略するが、データ記憶領域３０４には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、電子文書端末１０の動作に必要なカウンタや、フラグも設けられる。

プロセッサ２０は、Ｌｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１５に示す電子文書制御処理、図１６に示す文書表示処理、図１７に示す文書／画像表示処理、図１８に示す画像表示処理および図１９に示す視線位置検出処理などを含む、複数のタスクを並列的に処理する。

たとえば、電子文書を閲覧する操作がされると、プロセッサ２０はステップＳ１で、その電子文書ファイルデータ３３２に含まれるメタデータ３３２ａを読み込む。つまり、メタデータ３３２ａを読み出すことで、電子文書の種別、検出領域ＤＡの座標範囲、第１閾値、第２閾値、順序および開始領域などを取得する。続いて、ステップＳ３では、ページ表示処理を実行する。つまり、電子文書における最初のページをディスプレイ２６に表示する。ただし、電子文書ファイルデータ３３２に中断データ３３２ｃが含まれる場合は、中断データ３３２ｃに記録されるディスプレイ２６に表示される。また、後述するステップＳ２３で“ＮＯ”と判断され、ステップＳ３の処理が実行される場合には、次のページがディスプレイ２６に表示される。そのため、ステップＳ３の処理を実行するプロセッサ２０は、次ページ表示部または実行部として機能する。

続いて、ステップＳ５では、視線位置検出が必要か否かを判断する。たとえば、読み出されたメタデータ３３２ａに第１閾値または第２閾値が記憶されているかによって、視線位置検出が必要かを判断する。ステップＳ５で“ＮＯ”であれば、たとえば、メタデータ３３２ａに第１閾値または第２閾値が含まれていなければ視線位置検出が不要であるため、ステップＳ７で視線検出処理を終了して、ステップＳ２３に進む。つまり、図１９に示す視線位置検出処理の終了命令がステップＳ７で発行される。ただし、視線位置検出処理が実行されていなければ、発行された終了命令は無効になる。

一方、ステップＳ５で“ＹＥＳ”であれば、たとえばメタデータ３３２ａにどちらかの閾値が含まれていれば、ステップＳ９で視線位置検出処理を実行する。つまり、視線位置検出処理の実行命令がステップＳ９で発行される。続いて、ステップＳ１１では、視線位置ＥＰが開始領域に含まれているか否かを判断する。つまり、メタデータ３３２ａに含まれる開始領域の座標範囲に、状態テーブルにおける視線位置ＥＰの座標が含まれるかを判断する。ステップＳ１１で“ＮＯ”であれば、たとえば視線位置ＥＰの座標が開始領域の座標範囲に含まれていれば、ステップＳ１１の処理が繰り返される。

また、ステップＳ１１で“ＹＥＳ”であれば、たとえば図７（Ｂ）および図１０を参照して、状態テーブルの視線位置ＥＰの座標（Ｅｘ，Ｅｙ）が、開始領域である検出領域ＤＡａの座標範囲（（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２））に含まれていなければ、ステップＳ１３で電子文書の種別が文章であるか否かが判断される。つまり、メタデータ３３２ａに含まれている種別が「文章」であるかが判断される。ステップＳ１３で“ＹＥＳ”であれば、つまり電子文書の種別が文章であれば、ステップＳ１５で文書表示処理を実行してステップＳ２３に進む。また、ステップＳ１３で“ＮＯ”であれば、つまり電子文書の種別が「文章」でなければ、ステップＳ１７で電子文書の種別が文章／画像か否かが判断される。ステップＳ１７で“ＹＥＳ”であれば、つまり電子文書の種別が「文章／画像」であれば、ステップＳ１９で文章／画像表示処理を実行して、ステップＳ２３に進む。また、ステップＳ１７で“ＮＯ”であれば、つまり電子文書の種別が「文章／画像」でもなければ、種別は「画像」であるため、ステップＳ２１で画像表示処理を実行し、ステップＳ２３に進む。

なお、ステップＳ１５の文章表示処理、ステップＳ１９の文章／画像表示処理およびステップＳ２１の画像表示処理については、図１６−図１８のフロー図を用いて説明するため、ここでの詳細な説明は省略する。

また、ステップＳ２３では、最終ページか否かを判断する。つまり、状態テーブルのページ数が最終ページに達しているかが判断される。ステップＳ２３で“ＮＯ”であれば、つまり現在のページ番号が最終ページに達していなければ、ステップＳ３に戻る。一方、ステップＳ２３で“ＹＥＳ”であれば、つまり現在のページ番号が最終ページに達していれば、電子文書制御処理を終了する。

図１６は文書表示処理のフロー図である。図１５に示す電子文書制御処理でステップＳ１５が実行されると、プロセッサ２０は、ステップＳ４１で視線位置ＥＰを取得する。つまり状態テーブルから、視線位置ＥＰの座標が読み出される。続いて、ステップＳ４３では、視線位置ＥＰが表示範囲外か否かを判断する。つまり、使用者がディスプレイ２６を見ているか否かが判断される。ステップＳ４３で“ＹＥＳ”であれば、つまり検出された視線位置ＥＰがディスプレイ２６の表示範囲外であれば、ステップＳ４５でバックライトを消灯して、ステップＳ５９に進む。たとえば、使用者がディスプレイ２６を見ていないため、バックライトの電源をオフにして、消費電力を削減する。また、ステップＳ４３で“ＮＯ”であれば、つまり使用者がディスプレイ２６を見ているため、ステップＳ４７でバックライトを点灯する。つまり、バックライトの電源をオンにする。なお、バックライトが既に点灯（消灯）している場合、バックライトの輝度は特に変化しない。

続いて、ステップＳ４９では、視線位置ＥＰが検出領域ＤＡに含まれているか否かを判断する。つまり、メタデータ３３２ａに記憶された順序に従って、使用者の視線が向けられるべき検出領域ＤＡを選択し、その検出領域ＤＡの座標範囲に視線位置ＥＰの座標が含まれるかを判断する。ステップＳ４９で“ＮＯ”であれば、つまり上記のようにして選択された検出領域ＤＡの座標範囲に視線位置ＥＰの座標が含まれていなければ、ステップＳ５９に進む。

また、ステップＳ４９で“ＹＥＳ”であれば、つまり上記検出領域ＤＡの座標範囲に視線位置ＥＰの座標が含まれていれば、ステップＳ５１で視線速度ＥＳが第１閾値以下か否かが判断される。つまり、状態テーブルに記録される視線速度ＥＳ_ｎが、メタデータ３３２ａに記憶される第１閾値以下であるか否かが判断される。ステップＳ５１で“ＮＯ”であれば、たとえば現在の視線速度ＥＳ_ｎがＴＨａ[mm/ms]より速ければ、ステップＳ５９に進む。

一方、ステップＳ５１で“ＹＥＳ”であれば、たとえば現在の視線速度ＥＳ_ｎがＴＨａ[mm/ms]以下であれば、ステップＳ５３で滞在時間ＥＴが第２閾値以上か否かを判断する。つまり、状態テーブルに記憶されている現在の滞在時間ＥＴ_ｎが、メタデータ３３２ａに含まれる第２閾値以上であるか否かが判断される。ステップＳ５３で“ＮＯ”であれば、たとえば検出領域ＤＡａでの滞在時間ＥＴ_ｎがＴＨｂ[ms]よりも短ければ、ステップＳ５９に進む。一方、ステップＳ５３で“ＹＥＳ”であれば、たとえば検出領域ＤＡａでの滞在時間ＥＴ_ｎがＴＨｂ[ms]以上であれば、ステップＳ５５で視線位置ＥＰが含まれる検出領域ＤＡの表示状態を変更する。たとえば、ステップＳ５５の処理が実行されると、図８（Ｂ）に示すように、検出領域ＤＡａに含まれる文字の書体が斜体にされると共に、文字サイズが小さくされる。

続いて、ステップＳ５７では、最後の検出領域ＤＡか否かが判断される。つまり、状態テーブルに記録される現在の視線位置ＥＰが、メタデータ３３２ａに記憶されている順序において最後の検出領域ＤＡの座標範囲に含まれているかを判断する。ステップＳ５７で“ＮＯ”であれば、つまり最後の検出領域ＤＡでなければ、ステップＳ５９で終了操作がされたか否かが判断される。たとえば、機能キー２２ｃが長押しされたか否かが判断される。ステップＳ５９で“ＮＯ”であれば、つまり終了操作がされなければ、ステップＳ４１に戻る。一方、ステップＳ５９で“ＹＥＳ”であれば、つまり終了操作がされると、ステップＳ６１で中断データ３３２ｃを記憶する。つまり、状態テーブルに基づいて作成された中断データ３３２ｃを、ＲＡＭ３０に記憶させる。そして、ステップＳ６１の処理が終了すれば、文書表示処理を終了し、電子文書制御処理に戻る。なお、ステップＳ５９の処理を実行するプロセッサ２０は終了操作判断部として機能し、ステップＳ６１の処理を実行するプロセッサ２０は記憶部として機能する。

また、ステップＳ５７で“ＹＥＳ”であれば、たとえば、図９に示すように、全ての検出領域ＤＡｄの表示状態が変更された場合は、ステップＳ６３で読了処理を実行する。たとえば、電子文書が契約書である場合、読了処理が実行されると、図９に示すように、同意キー７０および不同意キー７２を選択可能に表示する。また、電子文書が小説である場合、読了処理が実行されると、その時の時刻が読書ログとして保存される。そして、読了処理が実行されると、文書表示処理を終了し、電子文書制御処理に戻る。

なお、ステップＳ４９−５３の処理を実行するプロセッサ２０は、判断部として機能する。また、ステップＳ５５，Ｓ６３の処理を実行するプロセッサ２０は実行部として機能する。そして、ステップＳ６３の処理を実行するプロセッサ２０はキー表示部として機能する。

図１７は文章／画像表示処理のフロー図である。ただし、文章／画像表示処理において、文書表示処理と同じ処理には同一のステップ番号を付しており、そのステップについては詳細な説明を省略する。

図１５に示す電子文書制御処理でステップＳ１９が実行されると、プロセッサ２０は、ステップＳ４１で視線位置ＥＰを取得し、ステップＳ４３でその視線位置ＥＰがディスプレイ２６の表示範囲外か否かを判断する。ステップＳ４３で“ＹＥＳ”であれば、つまり視線位置ＥＰが表示範囲外であれば、ステップＳ４５でバックライトを消去し、ステップＳ５９に進む。一方、ステップＳ４３で“ＮＯ”であれば、つまり視線位置ＥＰが表示範囲内であれば、ステップＳ４７でバックライトを点灯する。

続いて、ステップＳ４９では視線位置ＥＰが検出領域（漫画のコマ）ＤＡに含まれているか否かが判断される。ステップＳ４９で“ＹＥＳ”であれば、つまり検出された視線位置ＥＰが検出領域ＤＡに含まれていれば、ステップＳ５１で視線速度ＥＳが第１閾値以下であるか否かが判断される。ステップＳ５１で“ＹＥＳ”であれば、つまり算出された視線速度ＥＳが第１閾値以下であれば、ステップＳ５３で滞在時間ＥＴが第２閾値以上か否かが判断される。ステップＳ５１で算出された滞在時間ＥＴが第２閾値以上であれば、ステップＳ７１に進む。なお、ステップＳ４９，Ｓ５１，Ｓ５３で“ＮＯ”であれば、ステップＳ５９に進む。

ステップＳ７１では、検出領域ＤＡ内に追加情報を表示する。たとえば、図１２（Ｂ）に示すように、コマ（検出領域ＤＡ）内の吹き出しＦに台詞を表示させる。なお、ステップＳ７１の処理を実行するプロセッサ２０は第１追加情報表示部として機能する。

続いて、ステップＳ５７では、最後の検出領域（コマ）ＤＡか否かが判断される。ステップＳ５７で“ＮＯ”であれば、つまり読まれたと判断された検出領域ＤＡが最後の検出領域ＤＡでなければ、ステップＳ５９で終了操作がされたか否かを判断する。ステップＳ５９で“ＮＯ”であれば、つまり終了操作がされていなければ、ステップＳ４１に戻る。一方、ステップＳ５９で“ＹＥＳ”であれば、つまり終了操作がされると、ステップＳ６１で中断データを記憶して、文章／画像表示処理を終了して、電子文書制御処理に戻る。なお、ステップＳ５７で“ＮＯ”であっても、つまり読まれたと判断された検出領域ＤＡが最後の検出領域ＤＡであっても、文章／画像表示処理を終了する。

図１８は、画像表示処理のフロー図である。ただし、この処理において、文章表示処理と同じステップには同一のステップ番号を付しており、そのステップについては詳細な説明を省略する。

図１５に示す電子文書制御処理でステップＳ２１が実行されると、プロセッサ２０は、ステップＳ４１で視線位置ＥＰを取得して、ステップＳ４３で視線位置ＥＰが表示範囲外か否かを判断する。ステップＳ４３で“ＹＥＳ”であれば、つまり視線位置ＥＰが表示範囲外であれば、ステップＳ４５でバックライトを消灯して、ステップＳ５９に進む。一方、ステップＳ４３で“ＮＯ”であれば、つまり使用者の視線位置ＥＰが表示範囲外でなければ、ステップＳ４７でバックライトを点灯する。

続いて、ステップＳ４９では、視線位置ＥＰが検出領域ＤＡに含まれているか否かを判断する。ステップＳ４９で“ＹＥＳ”であれば、つまり視線位置ＥＰが検出領域ＤＡに含まれていれば、ステップＳ５１で視線速度ＥＳが第１閾値以下であるか否かが判断される。ステップＳ５１で“ＹＥＳ”であれば、つまり視線速度ＥＳが第１閾値以下であれば、ステップＳ５３で滞在時間ＥＴが第２閾値上であるか否かを判断する。ステップＳ５３で“ＹＥＳ”であれば、つまり滞在時間ＥＴが第２閾値以上であれば、ステップＳ８１に進む。

ステップＳ８１では、追加情報を他の検出領域ＤＡに表示する。たとえば、図１３（Ｂ）に示すように、読まれたと判断された検出領域ＤＡｐに対応して、絵（画像）を検出領域ＤＡｑに表示させる。続いて、ステップＳ８３では待機処理を実行する。つまり、追加表示された画像が鑑賞できるように、一定時間待機する。そして、一定時間が経過すると画像表示処理を終了して、電子文書制御処理に戻る。なお、ステップＳ８１の処理を実行するプロセッサ２０は、第２追加情報表示部として機能する。

また、ステップＳ４９，Ｓ５１，Ｓ５３で“ＮＯ”であれば、ステップＳ５９で、終了操作がされたか否かを判断する。ステップＳ５９で“ＮＯ”であれば、つまり終了操作がされなければ、ステップＳ４１に戻る。また、ステップＳ５９で“ＹＥＳ”であれば、つまり終了操作がされると、ステップＳ６１で中断データを記憶して、画像表示部を終了する。

図１９は視線位置検出処理のフロー図である。たとえば、電子文書制御処理のステップＳ９が実行され、視線位置検出処理の実行命令が発行されると、プロセッサ２０はステップＳ９１で、撮影画像を取得する。つまり、ＲＡＭ３４に格納されている撮影画像を読み出す。続いて、ステップＳ９３では、撮影画像に顔領域が含まれているか否かを判断する。つまり撮影画像に対して顔領域を抽出する画像処理を加える。

また、ステップＳ９３で“ＹＥＳ”であれば、たとえば撮影画像に使用者の顔領域が含まれていれば、ステップＳ９５で目領域を抽出する。つまり、撮影画像に対して、目の特徴量を持つ領域を抽出する画像処理を加える。続いて、ステップＳ９７では、視線方向を推定する。つまり、ステップＳ９７では、抽出された目領域に基づいて、黒目領域の中心を算出することで、使用者の視線方向を推定する。続いて、ステップＳ９９で、推定された視線方向から視線位置ＥＰを検出する。つまり、視線方向および使用者の顔とディスプレイ２６との視線距離に基づいて、視線位置ＥＰを検出する。なお、ステップＳ９９の処理を実行するプロセッサ２０は、視線位置検出部として機能する。

続いて、ステップＳ１０１では、視線速度ＥＳを算出する。つまりフレーム時間Δｔ[ms]および各変化量ｄ[mm]に基づいて１フレーム毎の瞬間速度ｓ_ｍ[mm/ms]を算出し、さらに、所定時間における瞬間速度ｓ_ｍ[mm/ms]の平均を視線速度ＥＳとして算出する。なお、ステップＳ１０１の処理を実行するプロセッサ２４は、視線速度算出部として機能する。

続いて、ステップＳ１０３では、視線位置ＥＰが検出領域ＤＡに含まれているか否かを判断する。たとえば、検出された視線位置ＥＰが、表示される電子文書に含まれる検出領域ＤＡのいずれか１つに含まれているか否かを判断する。ステップＳ１０３で“ＮＯ”であれば、つまり検出された視線位置ＥＰが検出領域ＤＡに含まれていなければ、ステップＳ１０７に進む。一方、ステップＳ１０３で“ＹＥＳ”であれば、たとえば図８（Ｂ）に示すように、検出された視線位置ＥＰｍが検出領域ＤＡｂに含まれていれば、ステップＳ１０５で滞在時間ＥＴを計測する。具体的には、まず、今回の処理で検出された視線位置ＥＰが、前回の処理で検出された視線位置ＥＰと同じ検出領域ＤＡに含まれているかを判断する。次に、同じ検出領域ＤＡに含まれている場合はカウントして、フレーム時間Δｔとカウントされた回数とに基づいて、滞在時間ＥＴを求める。なお、ステップＳ１０５の処理を実行するプロセッサ２０は滞在時間計測部として機能する。

ステップＳ１０７で状態テーブルを更新する。たとえば、図１０に示すように、検出された視線位置Ｅ、視線速度ＥＳおよび滞在時間ＥＴを状態テーブルに記録する。そして、ステップＳ１０７の処理が終了すれば、ステップＳ９１に戻る。

また、ステップＳ９３で“ＮＯ”であれば、つまり撮影画像に顔領域が含まれていなければ、ステップＳ１０９で終了命令が発行されたか否かを判断する。ステップＳ１０９で“ＮＯ”であれば、つまり終了命令が発行されていなければ、ステップＳ９１に戻る。一方、ステップＳ１０９で“ＹＥＳ”であれば、たとえば電子文書制御処理のステップＳ７が実行され、視線位置検出処理の終了命令が発行されると、視線位置検出処理は終了する。

なお、使用者が検出された視線位置ＥＰを把握することができるようにするために、視線位置ＥＰの付近に矢印などのポインタが表示されてもよい。

また、漫画などのように検出領域ＤＡが枠で囲われている場合、視線位置ＥＰが含まれる検出領域ＤＡの枠は、色や線幅および形状などが、他の検出領域ＤＡの枠とは異なる表示態様にされてもよい。また、視線位置ＥＰが含まれる検出領域ＤＡの枠の色は、追加情報が存在する場合に赤色にされ、追加情報が存在しない場合に黒色にされてもよい。

また、メタデータ３３２ａには、開始領域として、複数の検出領域ＤＡが設定されていてもよい。また、第１閾値および第２閾値は、電子文書のページ毎に設定されていてもよい。また、メタデータ３３２ａには、第１閾値および第２閾値のどちらか一方だけが記録されていてもよい。また、メタデータには、開始領域、順序などが表示されていなくてもよい。つまり、電子文書の読み進め方は、電子文書の作成者によって必ずしも限定されるものではない。また、各検出領域ＤＡは、電子文書の作成者によって手動で設定されてもよいし、画像認識処理を利用して自動的に設定されてもよい。さらに、電子文書の種別によって、第１閾値および第２閾値は異なっていてもよい。

また、視線位置検出の精度を向上させるために、電子文書を表示するごとに、補正処理（キャリブレーション）が行われるようにしてよい。たとえば、使用者によって、ディスプレイ２６の４隅を順番に注目させるようにし、そのときの視線位置ＥＰとの誤差を補正することで、視線位置ＥＰの検出精度を向上させる。

また、他の実施例では、視線速度ＥＳが規定値よりも速ければ、速読モードに遷移してもよい。そして、速読モードに遷移した場合、名詞、動詞などの内容を表す単語が下線などによって強調表示される。一方、それ以外の冠詞、前置詞、代名詞などの文章を繋ぐ文字は、文字サイズを小さくするなどして抑えた表示にされる。

また、電子文書端末１０が、外部端末や、ネットワークとの通信を行うことができるようにして、電子文書ファイルデータを容易に追加できるようにしてもよい。

また、本実施例で用いられた複数のプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して電子文書端末１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、複数のプログラムが本実施例と同等の構成の電子文書端末にインストールされた場合、本実施例と同等の効果が得られる。

さらに、本実施例は、電子文書端末１０のみに限らず、いわゆるスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デスクトップ型ＰＣおよびノートブック型ＰＣに適用されてもよい。

１０ … 電子文書端末
２０ … プロセッサ
２２ … キー入力装置
２６ … ディスプレイ
３０ … ＲＡＭ
３６ … カメラ制御回路
３８ … イメージセンサ
４０ … フォーカスレンズ
ＯＰ１ … 開口

Claims (9)

1. 電子文書を表示する表示部を有する、電子機器であって、
   画像を撮影する撮影部、
   前記撮影部によって撮影された画像に基づいて、前記表示部に対する視線位置を検出する視線位置検出部、
   前記視線位置検出部によって検出された視線位置に基づいて、視線の移動速度を算出する視線速度算出部、
   前記視線速度算出部によって算出された移動速度が第１閾値以下のとき、前記表示部に表示される電子文書が読まれたと判断する判断部、および
   前記判断部によって前記電子文書が読まれたと判断されたとき、その電子文書に関する所定処理を実行する実行部を備える、電子機器。
2. 前記電子文書は、文章または画像を表示する検出領域を含み、
   前記視線位置検出部によって検出された視線位置が、検出領域に滞在していた時間を計測する滞在時間計測部をさらに備え、
   前記判断部は、前記視線速度算出部によって算出された移動速度が第１閾値以下、かつ前記滞在時間計測部によって計測された滞在時間が第２閾値以上のとき、前記表示部に表示される電子文書が読まれたと判断する、請求項１記載の電子機器。
3. 終了操作がされたかを判断する終了操作判断部、および
   前記終了操作判断部によって終了操作がされたと判断されたとき、前記視線位置検出部によって検出された視線位置に基づいて中断データを記憶する記憶部をさらに備える、請求項１または２記載の電子機器。
4. 前記電子文書は、複数のページを含み、
   前記実行部は、前記電子文書の１ページが読まれたと判断されたとき、次のページを表示する次ページ表示部をさらに含む、請求項１ないし３のいずれかに記載の電子機器。
5. 前記実行部は、前記判断部によって前記電子文書が読まれたと判断されたとき、その電子文書の内容に同意または不同意するためのキーを操作可能に表示するキー表示部を含む、請求項１ないし４のいずれかに記載の電子機器。
6. 前記実行部は、前記判断部によって前記電子文書の検出領域が読まれたと判断されたとき、その検出領域に追加情報を表示する第１追加情報表示部をさらに含む、請求項２ないし５のいずれかに記載の電子機器。
7. 前記実行部は、前記判断部によって前記電子文書に含まれる文章が表示された検出領域が読まれたと判断されたとき、前記文章が表示されている検出領域とは異なる検出領域に追加情報を表示する第２追加情報表示部をさらに含む、請求項２ないし６のいずれかに記載の電子機器。
8. 電子文書を表示する表示部および画像を撮影する撮影部を有する、電子機器のプロセッサを、
   前記撮影部によって撮影された画像に基づいて、前記表示部に対する視線位置を検出する視線位置検出部、
   前記視線位置検出部によって検出された視線位置に基づいて、視線の移動速度を算出する視線速度算出部、
   前記視線速度算出部によって算出された移動速度が第１閾値以下のとき、前記表示部に表示される電子文書が読まれたと判断する判断部、および
   前記判断部によって前記電子文書が読まれたと判断されたとき、その電子文書に関する所定処理を実行する実行部として機能させる、電子文書制御プログラム。
9. 電子文書を表示する表示部および画像を撮影する撮影部を有する、電子機器における電子文書制御方法であって、前記電子機器のプロセッサが、
   前記撮影部によって撮影された画像に基づいて、前記表示部に対する視線位置を検出する視線位置検出ステップ、
   前記視線位置検出ステップによって検出された視線位置に基づいて、視線の移動速度を算出する視線速度算出ステップ、
   前記視線速度算出ステップによって算出された移動速度が第１閾値以下のとき、前記表示部に表示される電子文書が読まれたと判断する判断ステップ、および
   前記判断ステップによって前記電子文書が読まれたと判断されたとき、その電子文書に関する所定処理を実行する実行ステップを実行する、電子文書制御方法。

Images