JP5911168B2 - 表示装置、表示方法及び表示プログラム - Google Patents

Description

本発明は、表示装置、表示方法及び表示プログラムに関する。

近年、携帯電話やスマートフォン、タブレットと呼ばれるポータブル端末の普及してきている。これに伴い、端末上のディスプレイで書籍を購読できる、いわゆる電子書籍のサービスが広まりつつある。電子書籍は、従来の紙による書籍に比べ、一度に大量の本を持ち運べること、動画や音声などのマルチメディアデータも再生できること、等のメリットがあり、今後の更なる普及が期待されている。

特に、電子書籍内に動画や音声などのマルチメディアデータを組み込んだコンテンツは、従来の紙では実現できなかった表現が可能となる。そのため、このようなコンテンツは、コンテンツ作成者にとってもユーザにとってもメリットのあるコンテンツと言える。例えば、ユーザが特定の文字や画像を選択すると、それに対応した動画が再生されるというインタラクティブなコンテンツが想定される。また、例えば、特定のページが表示されると自動的に動画が再生されるというコンテンツが想定される。

このような動画データを組み込んだ電子書籍のコンテンツにおいて、例えば、動画を表示する方法としては、書籍内にインラインで（その場で埋め込んで）表示する方法、又は全画面で表示する方法が考えられる。例えば、特許文献１には、動画を表示する際、静止画の表示領域上にそのまま動画を表示することで、画面上のその他の文字のレイアウトに影響を与えない情報表示装置が開示されている。

特開２００６−５３６０６号公報

スマートフォンやタブレット等の端末では、内蔵している加速度センサを利用して、端末の向き（縦／横）に応じて表示を切り替えるものがある。したがって、端末が電子書籍を表示する場合にも、端末の向きに合わせた形でコンテンツを表示することが求められる。すなわち、あるページを縦向きで表示中に端末の向きを横向きに変化（回転）させた場合、同じページを横向きの画面で表示するという処理が必要である。

しかしながら、コンテンツが動画を含む場合に、端末の向きが変化した場合、コンテンツによっては、向き変化後にその動画が表示領域外に位置してしまい、向き変化後の画面において動画が表示されない場合がある。特に、動画を再生中に端末の向きが変化した場合、コンテンツによっては向き変化後にその動画が表示領域外に位置してしまい、向き変化後の画面において動画が表示されない場合がある。これにより、ユーザは、動画を含むコンテンツを快適に視聴できないという問題があった。

そこで本発明は、上記問題に鑑みてなされたものであり、動画を含むコンテンツを快適に視聴することを可能とする表示装置、表示方法及び表示プログラムを提供することを課題とする。

（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、自装置の向きが変わるときに、コンテンツに含まれる少なくとも一つの動画の全体が画面に表示されるように、向き変化後の画面レイアウトを決定する制御部を備えることを特徴とする表示装置である。

（２）上記に記載の表示装置において、本発明の一態様は、動画を含むコンテンツを画面に表示する表示部と、前記画面を含む平面上における自装置の向きの変化を検出する向き検出部と、を備え、前記制御部は、前記向き検出部が向きの変化を検出した場合、コンテンツに含まれる少なくとも一つの動画の全体が画面に表示されるように、向き変化後の画面レイアウトを決定することを特徴とする。

（３）上記に記載の表示装置において、本発明の一態様は、前記制御部は、ユーザが前記表示部に表示されている動画を視聴中か否か判定する動画視聴判定部と、前記向き検出部が向きの変化を検出した場合で、かつ前記動画視聴判定部が動画を視聴中と判定した場合、該動画の表示されている画面上の位置に基づいて、向き変化後の画面レイアウトを決定するレイアウト部と、を備えることを特徴とする。

（４）上記に記載の表示装置において、本発明の一態様は、前記制御部は、前記向き検出部が検出した向きが変化した場合、表示していたページ位置と向きの変化方向とを保持するページ位置保持部を備え、前記レイアウト部は、前記向き検出部が検出した向きの変化が、前記ページ位置保持部で保持している向きの変化方向と逆方向であった場合、前記ページ位置保持部で保持しているページ位置に基づいて、変化後の画面レイアウトを決定することを特徴とする。

（５）上記に記載の表示装置において、本発明の一態様は、前記動画視聴判定部は、少なくとも動画が再生中の場合に動画が視聴中であると判定することを特徴とする。

（６）上記に記載の表示装置において、本発明の一態様は、前記制御部は、ユーザの視線を検出する視線検出部を備え、前記動画視聴判定部は、動画の再生状態と前記視線検出部が検出した視線方向とに基づいて、前記ユーザが前記動画を視聴中であるか否か判定することを特徴とする。

（７）上記に記載の表示装置において、本発明の一態様は、前記制御部は、視聴の指標に基づいて、コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択する動画選択部を備えることを特徴とする。

（８）上記に記載の表示装置において、本発明の一態様は、前記視聴の指標は、文書データ中に記載された動画ごとの優先度であり、前記動画選択部は、前記動画ごとの優先度に基づいて、前記コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択することを特徴とする。

（９）上記に記載の表示装置において、本発明の一態様は、前記視聴の指標は、前記動画の表示サイズであり、前記動画選択部は、前記動画の表示サイズに基づいて、コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択することを特徴とする。

（１０）上記に記載の表示装置において、本発明の一態様は、前記視聴の指標は、ユーザの視線であり、前記制御部は、前記ユーザの視線方向を検出する第２の視線検出部を備え、前記動画選択部は、前記視線検出部が検出した視線方向に基づいて、前記コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択することを特徴とする。

（１１）本発明の一態様は、表示装置が実行する表示方法であって、自装置の向きが変わるときに、コンテンツに含まれる少なくとも一つの動画の全体が画面に表示されるように、向き変化後の画面レイアウトを決定する制御手順を有することを特徴とする表示方法である。

（１２）本発明の一態様は、表示装置のコンピュータに、自装置の向きが変わるときに、コンテンツに含まれる少なくとも一つの動画の全体が画面に表示されるように、向き変化後の画面レイアウトを決定する制御ステップを実行させるための表示プログラムである。

本発明によれば、動画を含むコンテンツを快適に視聴することができる。

本実施形態における電子書籍装置の概略ブロック図である。 本実施形態における制御部の論理的な構成を示す概略ブロック図である。 横向きに回転前と横向きに回転後のページレイアウトの一例を示す図である。 動画データに対して優先度を指定した例を示す図である。 動画データに対して表示サイズを指定した例を示す図である。 本実施形態における視線検出部の概略ブロック図である。 本実施形態における動画視聴判定部の概略ブロック図である。 レンズの中心位置を原点とする目位置と視線方向とを説明するための図である。 本実施形態の電子書籍装置の基本部分の処理の一例を示すフローチャートである。 本実施形態の電子書籍装置において、自装置の向きが変化した際の処理の一例を示すフローチャートである。 自装置の向きを変えた直後に自装置の向きを元に戻した場合において、電子書籍装置の処理の流れの一例を示すフローチャートである。 電子書籍装置のディスプレイサイズに応じて動的にページを生成する方式の第１の比較例を説明するための図である。 電子書籍装置を横向きにした時に２ページ分を並べて表示する第２の比較例を説明するための図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。本実施形態では、電子書籍を表示するための表示装置の一例として、電子書籍を表示する電子書籍装置について説明する。

まず、本実施形態の電子書籍装置と比較する比較例について、図１２及び図１３を用いて説明する。電子書籍の表示方式はコンテンツの種類に応じて何通りか考えられるが、例えば、電子書籍装置のディスプレイサイズに応じて動的にページを生成する方式（図１２）、又は電子書籍装置を横向きにした時には見開き（２ページ分）で表示する方式（図１３）などが挙げられる。

図１２は、表示装置のディスプレイサイズに応じて動的にページを生成する方式の第１の比較例を説明するための図である。同図において、表示装置が縦向きの場合における表示画面７１の一例が示されている。表示画面７１において、文字領域７１ａと動画７１ｂとが表示されることが示されている。

また、同図における表示画面７２は、表示画面７１を表示している表示装置を横向きにした場合における表示画面の一例である。表示画面７２において、文字領域７１ａに対応する文字領域７２ａが表示されることが示されている。また、同図において、表示装置を横向きの場合にした場合に表示される表示画面７２には、動画７１ｂに対応する動画が表示されておらず、動画７１ｂに対応する動画７３ｂは、表示画面７２の次のページの表示画面７３において表示される。

同図に示す表示方式の場合、ページの区切り位置は決まっておらず、文字、画像又は動画を配置した結果に応じて動的にページの区切り位置が決定される。表示装置を回転させた場合、基本的には表示していたページの先頭の文字を基準として回転後の表示内容が決まる。そのため、図１２に示したように文字の改行が連続した場合等、表示装置が横向きの場合、ページ下部に配置されていた動画が次のページに配置されることが起こり得る。

結果として、表示装置を回転させることで、再生していた動画が表示されなくなるため、動画を視聴していたユーザにとっては視聴を妨げられることとなり、大きな不満につながる可能性がある。
もちろん、動画自体は残っており、次のページを表示すれば動画を再生することは可能であるが、ユーザの操作が必要となる上、動画をまた最初から再生することになるため、ユーザに対して負担を強いることとなってしまう。

図１３は、表示装置を横向きにした時に２ページ分を並べて表示する第２の比較例を説明するための図である。同図において、表示装置が横向きの場合の表示画面８１の一例が示されている。同図の表示画面８１において、向かって左のページには、文章領域８１ａが表示されていることが示されている。表示画面８１において、向かって右のページには、文章領域８１ｂと動画８１ｃが表示されていることが示されている。

また、同図における表示画面８２は、表示画面８１を表示している表示装置を縦向きにした場合の、表示画面の一例である。表示画面８２において、文章領域８２ａが表示されていることが示されている。
表示画面８２には、動画８１ｃに対応する動画が表示されておらず、動画８１ｃに対応する動画８３ｂは、次のページの表示画面８３において表示されることが示されている。

図１３に示す表示方式は、各ページのレイアウトは固定されており、横向き時には２ページ分を並べて表示している。この場合、横向きから縦向きに回転させた際、表示されていた２ページのうち若いページを表示することにすると、もう一方のページに表示されていた動画は表示されなくなってしまい、図１２の場合と同様の課題が生じる。

本実施形態の電子書籍装置１００は、書籍を表示するためのディスプレイを備え、ユーザの操作を入力するためのタッチパネルをディスプレイ上に重ねて配置している。ユーザはタッチパネルを用いて、ページの移動や表示の拡大・縮小、コンテンツの選択等の指示を行うことができる。なお、タッチパネルの代わりに、もしくはタッチパネルに加えて、操作のための物理的なボタンを備えた構成でも構わない。

電子書籍装置１００は、装置内部に加速度センサを備えており、装置の向きを検出すると共に、装置の向きに応じて画面を出力する機能を有する。すなわち、電子書籍装置１００は、コンテンツの表示中に自装置が向きが変わると、その向きに応じてコンテンツの向きを変更する。

また、本実施形態におけるコンテンツは、単なる文字と画像だけの書籍ではなく、コンテンツ中に少なくとも一つの画像が含まれているものを対象にする。ここで、本実施形態では、一例として、動画が含まれているコンテンツを対象に説明する。ここで、動画が含まれているコンテンツは、コンテンツの少なくとも一部に動画が含まれていればよく、コンテンツの全てが動画であってもよい。

本実施形態では、動画は一例として、コンテンツ内にインラインで表示することとする。これにより、ユーザは、文字と映像とを同時に見ることができる。コンテンツとしては、例えば、文字だけでなく映像でも解説してくれる図鑑や、スポーツの教則本などのコンテンツが想定される。

なお、動画をメインに視聴する場合も想定し、電子書籍装置１００は、動画を全画面で視聴できるよう表示方式を切り替えられる機能を有していてもよい。また、電子書籍装置１００は、動画データは実際に書籍データ中に含まれている必要はなく、再生するタイミングで、ネットワーク経由で外部から取得してもよい。

図１は、本実施形態における電子書籍装置１００の概略ブロック図である。電子書籍装置１００は、ユーザ入力部１０１と、向き検出部１０２と、撮像部１０３と、記憶部１０４と、通信部１０５と、表示部１０６と、制御部１１０とを備える。

ユーザ入力部１０１は、ユーザが入力したユーザ入力を受け付け、受け付けたユーザ入力を制御部１１０へ出力する。ユーザ入力としては、ページ移動、表示の拡大又は縮小等の書籍に対する操作に加えて、動画の再生開始、一時停止、スキップ等の動画に対する操作も含まれる。ユーザ入力部１０１は、入力デバイスであり、例えば、タッチパネルである。

向き検出部１０２は、例えば加速度センサ等を備え、自装置の向きを取得すると共に、自装置の向きが変化したことを検出する。すなわち、向き検出部１０２は、表示部１０６の画面を含む平面上における自装置の向きの変化を検出する。
向き検出部１０２は、取得した自装置の向きを示す向き情報と検出した自装置の向きの変化を示す向き変化情報を制御部１１０へ出力する。
撮像部１０３は、制御部１１０の制御により、動画を表示部１０６に再生させている間に、自装置のユーザの顔を撮像し、撮像により得られた画像データを制御部１１０へ出力する。撮像部１０３は、例えば、自装置の前面の個所（表示部のある面の個所）に設けられている。
記憶部１０４は、書籍に含まれる文章を示す書籍データ、および書籍に含まれる動画データを保持している。

通信部１０５は、制御部１１０による制御により、通信部１０５が備える無線のネットワークインターフェースを介してネットワーク上の他の装置と無線で通信し、データの送受信を行う。ここで、電子書籍装置を持ち運ぶことを想定して、無線通信を利用する。通信部１０５における無線通信は、例えば、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの移動体通信、もしくは無線ＬＡＮである。
なお、通信部１０５における通信は、有線であってもよい。

制御部１１０は、電子書籍装置１００の向きが変わるとき、コンテンツに含まれる少なくとも一つの動画の全体が画面に表示されるように、向き変化後の画面レイアウトを決定する。より詳細には、制御部１１０は、向き検出部１０２が向きの変化を検出した場合、コンテンツに含まれる少なくとも一つの動画の全体が画面に表示されるように、向き変化後の画面レイアウトを決定する。この制御部１１０の具体的な処理は、後述する。
また、制御部１１０は、以下の処理を行う。制御部１１０は、電子書籍装置１００の向きが変わるときに、一例として、向き変化後の動画サイズを、向き変化前の動画サイズと同一にする。ここで、動画サイズとは、画面上に表示されている動画の大きさである。
また、制御部１１０は、ユーザ入力部１０１から入力されたユーザ入力に応じて、書籍に対する処理あるいは動画に対する処理を行う。ここで、書籍に対する処理は、例えば、ページ移動、表示の拡大又は縮小等である。また、動画に対する処理は、例えば、動画の再生開始、一時停止又はスキップ等である。
また、制御部１１０は、向き検出部１０２から向き変化情報が入力された場合、向き検出部１０２から入力された自装置の向きに応じて、文章と動画のレイアウトを決定する。そして、制御部１１０は、書籍データ又は動画データを記憶部１０４から読み出し、決定した文章と動画のレイアウトで、読み出した書籍データと動画データを表示部１０６に表示させる。また、制御部１１０は、表示部１０６において動画を再生中に、撮像部１０３に自装置のユーザを撮像させる。そして、制御部１１０は、撮像した画像に基づいて、ユーザが再生中の動画を視聴しているか否かを判定する。また、制御部１１０は、通信部１０５を制御して、ネットワーク上の他の装置に記憶されている文書データ又は動画データを取得する。

なお、制御部１１０は、電子書籍装置１００の向きが変わるときに、コンテンツに含まれる少なくとも一つの画像の向き変化後の画面上におけるサイズを、画面に収まるように変更してもよい。また、制御部１１０は、電子書籍装置１００の向きが変わるときに、コンテンツに含まれる少なくとも一つの動画に対して、向き変化後の動画サイズを、向き変化前の動画サイズと同一にすればよい。

表示部１０６は、制御部１１０から入力された動画または書籍情報を表示する。ここで、書籍情報は、電子書籍に含まれる文章である。すなわち、表示部１０６は、動画を含むコンテンツを画面に表示する。

図２は、本実施形態における制御部１１０の論理的な構成を示す概略ブロック図である。制御部１１０は、動画再生部１１１と、レイアウト部１１２と、ページ位置保持部１１３と、動画選択部１１４と、動画表示位置算出部１１５と、データ管理部１１６と、視線検出部１２０と、動画視聴判定部１３０とを備える。

動画再生部１１１は、書籍に組み込まれている動画データをデコードし、表示部１０６に表示させる。また、動画再生部１１１は、動画の再生状態（再生中／一時停止中／停止中）を管理し、ユーザ入力部１０１から入力されたユーザ入力に応じて再生開始、一時停止、スキップ等の処理を行う。

ここで、動画データのフォーマットとしては、例えば、映像コーデックがＨ．２６４、コンテナがｍｐ４形式とするが、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２やＷＭＶ（Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｖｉｄｅｏ）等の他のフォーマットであってもよい。また、音声データが含まれていてもよい。コンテンツに含まれる動画を再生開始するタイミングは、表示されたときに自動的に再生開始、もしくは、動画領域をユーザがタッチしたときに再生開始、の２通りがあり、ユーザが予めいずれかの方式を設定可能である。装置の能力次第では、複数の動画を同時にデコードし、デコード後のデータを表示するようにしてもよい。この場合、電子書籍装置１００は、書籍の１ページに複数の動画が埋め込まれているコンテンツも再生できる。

レイアウト部１１２はデータ管理部１１６を介して書籍データを取得し、自装置の向きやディスプレイの大きさに合わせてレイアウトし、レイアウト後のデータを表示部１０６に表示させる。書籍データのフォーマットとしては、例えばＸＭＤＦ（ｅｖｅｒ−ｅＸｔｅｎｄｉｎｇ Ｍｏｂｉｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）とするが、ＥＰＵＢ（Ｅｌｅｃｔｒｏｎｉｃ ＰＵＢｌｉｃａｔｉｏｎ）等の他のフォーマットであってもよい。さらには、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの文書を表現できるフォーマットであってもよい。

書籍の表示方式はコンテンツごとに指定されるが、ここでは、図１２に示すような動的にページを生成する表示方法を想定する。この場合、レイアウト部１１２は、ページの区切り位置は決まっておらず、文字や画像、動画を配置した結果に応じて動的にページの区切り位置を決定する。自装置がユーザにより回転させられた場合、従来では表示していたページの先頭の文字を基準として回転後の表示内容が決まっていた。しかし、図１２に示した通り、縦向きの画面と横向きの画面とで表示される範囲が異なるため、ページの区切り位置も変わる。したがって、縦向きでページを進めた場合と横向きでページを進めた場合とでは、次のページの先頭の文字は異なる。
なお、図１３に示したような自装置の筐体が横向きの場合に、２ページでコンテンツを表示し、自装置の筐体が縦向きの場合に、１ページでコンテンツを表示するようにしてもよい。

レイアウト部１１２は、後述する動画表示位置算出部１１５が算出した動画領域の相対位置に基づいて、回転後のページのレイアウトを決定する。具体的には、動画領域の表示されている位置を基準として回転を行ったように見せるため、レイアウト部１１２は、動画領域の相対位置が回転前の相対位置に出来るだけ近くなるようにレイアウトを決定する。すなわち、レイアウト部１１２は、向き検出部１０２が向きの変化を検出した場合で、かつ動画視聴判定部１３０が動画を視聴中と判定した場合、該動画の表示されている画面上の位置に基づいて、向き検出部１０２が検出した変化の後の向きに応じた画面レイアウトを決定する。レイアウト部１１２の処理の詳細については後述する。

ページ位置保持部１１３は、向き検出部１０２により自装置の向きが変化したことを検出した場合、向き検出部１０２から向き変化情報を受け取る。そして、ページ位置保持部１１３は、向き変化情報を受け取った場合、回転前に表示していたページの位置と向きの変化方向とを保持する。すなわち、ページ位置保持部１１３は、向き検出部が検出した向きが変化した場合、表示していたページ位置と向きの変化方向とを保持する。
これにより、ユーザが自装置の回転直後に、自装置を回転前の元の向きに戻した場合、レイアウト部１１２は、向き検出部１０２が検出した向きの変化が、ページ位置保持部１１３で保持している向きの変化方向と逆方向であった場合、ページ位置保持部１１３で保持しているページ位置に基づいて、変化後の画面レイアウトを決定する。

一例として、ページ位置保持部１１３は、ページの先頭が文字である場合、ページの先頭の文字のデータ上でのオフセット値を保持する。一方、一例として、ページ位置保持部１１３は、ページの先頭が文字以外の要素（画像、動画等）である場合、その要素のデータ上でのオフセット値を保持する。これにより、ページ位置保持部１１３が、その要素のデータ上でのオフセット値を保持するので、レイアウト部１1２はその要素を特定することが可能となる。
レイアウト部１1２は、回転した後で回転前の状態に戻す際にこのオフセット値を用いて、ページの先頭の文字またはページの先頭の要素を特定する。レイアウト部１1２の処理についての詳細な説明は後述する。

視線検出部１２０は、動画再生中に、撮像部１０３が撮像した画像に基づいて、ユーザの視線方向ＳＬを検出し、検出した視線方向ＳＬを示す視線方向情報を動画視聴判定部１３０へ出力する。具体的な処理については、後述する。

動画視聴判定部１３０は、ユーザが表示部１０６に表示されている動画を視聴中か否か判定する。より詳細には、動画視聴判定部１３０は、動画が再生されている場合に、視線検出部１２０から入力された視線方向情報が示す視線方向ＳＬに基づいて、視線方向ＳＬを検出されたユーザがその動画を視聴中か否か判定する。すなわち、動画視聴判定部１３０は、動画の再生状態と視線検出部１２０が検出した視線方向ＳＬとに基づいて、そのユーザがその動画を視聴中であるか否か判定する。

その際、動画視聴判定部１３０は、例えば、予め決められた時間（例えば、直近数秒間）に亘って動画を視聴していた確率が予め決められた閾値よりも低い場合、動画を視聴していないと判定する。一方、動画視聴判定部１３０は、例えば、予め決められた時間にわたって動画を視聴していた確率が予め決められた閾値以上の場合、動画を視聴していると判定する。動画視聴判定部１３０の具体的な処理については、後述する。
動画視聴判定部１３０は、判定結果を動画選択部１１４へ出力する。

なお、動画視聴判定部１３０は、動画の再生状態に基づいて、ユーザが動画を視聴中か否か判定してもよい。すなわち、動画視聴判定部１３０は、動画が再生中であればユーザは動画視聴中と判定し、再生中以外（停止中、一時停止中、等）であればユーザは動画視聴していないと判定する。すなわち、動画視聴判定部１３０は、少なくとも動画が再生中の場合に動画が視聴中であると判定してもよい。

動画選択部１１４は、動画視聴判定部１３０から入力された判定結果が動画を視聴していることを示す場合であって、かつ動画再生部１１１において複数の動画が同時に再生されている場合に、その中で最も視聴されている可能性が高い動画がどれか選択する。もし、同じページに複数の動画が配置されていても再生している動画が１つのときには、動画選択部１１４はその再生している動画を選択する。具体的には、動画選択部１１４は、視聴の指標に基づいて、コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択する。

一例として、動画選択部１１４は、コンテンツデータに含まれる優先度に基づいて、動画を選択する。コンテンツ作成者は、コンテンツデータ作成時に動画ごとに優先度を指定した優先度情報をコンテンツデータ内に埋め込み、動画選択部１１４は、優先度情報が示す優先度が最も高い動画を選択する。すなわち、視聴の指標は、一例として文書データ中に記載された動画ごとの優先度であり、動画選択部１１４は、動画ごとの優先度に基づいて、コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択する。
ここで、動画ごとに、メインコンテンツ、補足用コンテンツ、単なる演出、等の意味づけの違いがあれば、コンテンツ作成者がそれに応じて優先度を設定する。

動画表示位置算出部１１５は、画面上における動画領域の相対位置を算出する。具体的には、文字が横書きとなっている場合、動画表示位置算出部１１５は、動画領域の縦方向の相対位置が取得する。例えば、動画表示位置算出部１１５は、動画領域前後の文字の行数を用いて相対的な位置を算出する。具体的には、例えば、動画領域の前にある文字の行数をＬ１、動画領域の後にある文字の行数をＬ２とすれば、動画表示位置算出部１１５は、動画領域の相対位置をＬ１／（Ｌ１＋Ｌ２）で算出する。そして、動画表示位置算出部１１５は、算出した動画領域の相対位置をレイアウト部１１２へ出力する。

データ管理部１１６は、レイアウト部１１２又は動画再生部１１１からのリクエストに応じて、記憶部１０４に記録されているデータを読み出し、リクエストしたレイアウト部又は動画再生部１１１へ読み出したデータを出力する。また、データ管理部１１６は、データの参照先としてネットワーク上のデータが指定された場合、通信部１０５を介してデータを取得する。

続いて、動画表示位置算出部１１５とレイアウト部１１２の処理の詳細を、図３を用いて説明する。図３は、横向きに回転前と横向きに回転後のページレイアウトの一例を示す図である。
例えば、図３の縦向きの画面３１において、動画領域の前には文字が７行あり、動画領域２２の後には文字が存在しない（すなわち０行）ことが示されている。このため、動画表示位置算出部１１５は、縦方向の相対位置として、７／（７＋０）＝１という値を得る。この縦方向の相対位置は、動画領域が画面上部に配置されていれば０、画面下部に配置されていれば１、それ以外であれば位置に応じて０〜１の値を取る。したがって、動画表示位置算出部１１５は、この縦方向の相対位置を画面上での動画領域の相対位置として算出する。

また、同図において、横向きに回転後のページレイアウトの候補として、第１の横向きの画面２３と、第２の横向きの画面２５と、第３の横向きの画面２７とが示されている。
これら三つの横向きの画面において、動画の表示位置としては、第１の横向きの画面２３では動画領域２４が画面上部である。第３の横向きの画面２７では動画領域２８が画面下部である。そして、第２の横向きの画面２５では動画領域２６が、文章と文章の間（すなわち中間）に位置している。

この例では上部でも下部でもない位置として、第２の横向きの画面２５の１つしか存在しないが、表示できる行数がより多い場合は、中間の位置についても複数の候補が考えられるため、全体として位置の候補は４つ以上になる可能性もある。レイアウト部１１２は、このそれぞれの候補について動画領域の相対位置を算出し、回転前の相対位置に最も近いものを選択する。

例えば、図３においては、動画表示位置算出部１１５は、第１の横向きの画面２３において動画領域の相対位置を、０／（０＋２）＝０と算出する。また、動画表示位置算出部１１５は、第２の横向きの画面２５において動画領域の相対位置を、１／（１＋１）＝０．５と算出する。また、動画表示位置算出部１１５は、第３の横向きの画面２７において動画領域の相対位置を、２／（２＋０）＝１と算出する。そして、レイアウト部１１２は、回転前の相対位置である１に最も近い第３の横向きの画面２７が回転後のレイアウトとして採用する。

＜動画選択部１１４の処理の詳細＞
続いて、図４を用いて、動画選択部１１４の処理の詳細について説明する。図４は、動画データに対して優先度を指定した例を示す図である。同図において、タグ４１と、タグ４２と、タグ４３とが示されている。ここでは＜ｍｏｖｉｅ＞タグによって動画データが記述されており、ｐｒｉｏｒｉｔｙという属性値でそれぞれの優先度を指定している。
具体的には、タグ４１は、動画データが「ｍｏｖｉｅ１．ｍｐ４」で、その優先度が１である。タグ４２は、動画データが「ｍｏｖｉｅ２．ｍｐ４」で、その優先度が１０である。タグ４３は、動画データが「ｍｏｖｉｅ３．ｍｐ４」で、その優先度が５０である。

例えば、ｐｒｉｏｒｉｔｙの値が小さい方が、優先度が高いとすれば、この三つの動画が同時に再生されていた場合、動画選択部１１４ｈａ，優先度の最も高いものとしてｍｏｖｉｅ１．ｍｐ４を選択する。また、例えば、ｍｏｖｉｅ２．ｍｐ４とｍｏｖｉｅ３．ｍｐ４が同時に再生されていた場合は、動画選択部１１４は、優先度の高いものとしてｍｏｖｉｅ２．ｍｐ４を選択する。

なお、動画選択部１１４は、ユーザの視線に基づいて、同時に再生されている複数の動画のうちから一の動画を選択してもよい。具体的には、例えば、動画選択部１１４は、動画視聴判定部１３０において、ユーザの視線を用いて視聴状態を判定した場合、判定する１つ手前の情報である動画を視聴している確率をそのまま用いて確率の最も高い動画を選択してもよい。すなわち、視聴の指標は、ユーザの視線であり、動画選択部１１４は、視線検出部（第２の視線検出部）１２０が検出したユーザの視線方向に基づいて、コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択してもよい。

また、動画選択部１１４は、動画の表示サイズに基づいて、同時に再生されている複数の動画のうちから一の動画を選択してもよい。具体的には、例えば、動画選択部１１４は、動画が大きく表示されているものが視聴されている可能性が高いことに鑑みて、同時に再生されている複数の動画のうちから表示サイズが最も大きい動画を選択してもよい。すなわち、視聴の指標は、一例として動画の表示されたサイズであり、動画選択部１１４は、動画の表示されたサイズに基づいて、コンテンツに含まれる複数の動画のうちから一の動画を視聴中の動画として選択してもよい。

図５を用いて、動画選択部１１４は、動画の表示サイズに基づいて動画を選択する処理について説明する。図５は、動画データに対して表示サイズを指定した例を示す図である。同図において、タグ５１と、タグ５２と、タグ５３とが示されている。同図において、ｗｉｄｔｈという属性値で表示サイズの横幅を指定し、ｈｅｉｇｈｔという属性値で表示サイズの縦幅を指定している。

サイズの指定方式としては、画素のピクセル数で指定する方式と、画面サイズに対する相対値で指定する方式とがある。画面サイズに対する相対値で指定した場合、動画選択部１１４は、実際に画面に表示される表示サイズを算出する。また、縦幅か横幅のいずれか一方しか指定されていない場合、動画選択部１１４は、動画コンテンツのアスペクト比に応じてもう一方の値を算出する。例えば、画面の画素数が横６００ピクセル、縦１０２４ピクセルであり、動画コンテンツのアスペクト比が全て４：３だった場合、ｍｏｖｉｅ１．ｍｐ４は３００×２２５ピクセル、ｍｏｖｉｅ３．ｍｐ４は２７３×２０４ピクセルで表示されることになる。したがって、この２つの動画が同時に再生されていた場合、動画選択部１１４は、表示サイズが最も大きいものとしてｍｏｖｉｅ１．ｍｐ４を選択する。

図６は、本実施形態における視線検出部１２０の概略ブロック図である。視線検出部１２０は、特徴量抽出部１２１と、顔領域特定部１２２と、パーツ特定部１２３と、黒目領域特定部１２４と、眼球中心半径算出部１２５と、黒目中心位置算出部１２７と、視線方向算出部１２８とを備える。

特徴量抽出部１２１は、撮像部１０３から入力された画像データに基づいて、その画像データが示す画像内の色（肌色）又は境界（輪郭）などの特徴量を抽出する。そして、特徴量抽出部１２１は、抽出した特徴量を顔領域特定部１２２へ出力する。
顔領域特定部１２２は、特徴量抽出部１２１から入力された特徴量に基づいて、顔の領域を特定し、特定することにより得られた顔画像領域の位置を示す情報をパーツ特定部１２３へ出力する。

パーツ特定部１２３は、目、鼻及び口といった顔のパーツの位置をそれぞれ特定する。パーツ特定部１２３は、顔のパーツの位置を特定した顔画像領域の位置を示す顔領域位置情報Ｒと、目の位置を示す目位置情報Ｐとを動画視聴判定部１３０とへ出力する。また、パーツ特定部１２３は、目の位置を示す目位置情報を黒目領域特定部１２４と眼球中心半径算出部１２５へ出力する。
これにより、顔領域特定部１２２が特定した顔領域の候補が複数存在していた場合でも、パーツ特定部１２３が、目、鼻及び口といった顔のパーツがあるか否かを調べることにより、顔領域特定部１２２が特定した顔画像領域が顔に該当するか否かの判断をより正確に行うことができる。

黒目領域特定部１２４は、パーツ特定部１２３から入力された目位置情報に基づいて、目の領域のうち、黒目の領域を特定する。黒目領域特定部１２４は、特定した黒目の領域の位置を示す黒目位置情報を黒目中心位置算出部１２７へ出力する。
眼球中心半径算出部１２５は、パーツ特定部１２３から入力された目位置情報に基づいて、目頭の位置及び目尻の位置を抽出し、抽出した目頭の位置及び目尻の位置に基づいて、眼球の中心位置及び眼球の半径を算出する。眼球中心半径算出部１２５は、算出した眼球の中心位置及び眼球の半径を示す情報を視線方向算出部１２８へ出力する。

黒目中心位置算出部１２７は、黒目領域特定部１２４から入力された黒目位置情報に基づいて、黒目の中心位置を特定する。具体的には、黒目中心位置算出部１２７は、例えば、黒目位置情報が示す黒目の領域の位置から、黒目を楕円として近似したときの楕円の中心を黒目の中心位置として算出する。そして、黒目中心位置算出部１２７は、特定した黒目の中心位置を示す黒目中心位置情報を視線方向算出部１２８へ出力する。

視線方向算出部１２８は、眼球中心半径算出部１２５から入力された情報が示す眼球の中心位置及び眼球の半径と黒目中心位置算出部１２７から入力された黒目中心位置情報が示す黒目の中心位置とに基づいて、眼球中心から黒目中心へと向かう方向を視線方向ＳＬとして検出する。視線方向算出部１２８は、検出した視線方向を示す視線方向情報ＳＬを動画視聴判定部１３０へ出力する。

図７は、本実施形態における動画視聴判定部１３０の概略ブロック図である。動画視聴判定部１３０は、顔領域大きさ算出部１３１と、距離算出部１３２と、水平方向画素間隔算出部１３３と、目位置算出部１３４と、視線判定部１３５と、確率算出部１３６と、視聴判定部１３７とを備える。

顔領域大きさ算出部１３１は、視線検出部１２０から入力された顔領域位置情報Ｒが示す顔画像領域の位置に基づいて、顔画像領域の大きさを算出する。具体的には、例えば、顔領域大きさ算出部１３１は、顔画像領域の輪郭を楕円として近似した場合、顔画像領域の長径を顔画像領域の大きさとして算出する。そして、顔領域大きさ算出部１３１は、算出した顔画像領域の大きさを示す顔大きさ情報を距離算出部１３２へ出力する。
なお、顔領域大きさ算出部１３１は、顔画像領域の短径を顔画像領域の大きさとして算出してもよい。

距離算出部１３２は、ユーザの実際の顔の大きさが、平均的な顔の大きさであると仮定して、撮像部１０３が備えるレンズから顔までの距離ｄを算出する。ここで、距離算出部１３２は、撮像部１０３の焦点距離ｆと平均的な顔の長径（実際の長径）ｙとを保持している。撮像部１０３の焦点距離ｆと平均的な顔の長径（実際の長径）Ｌ、顔大きさ情報が示す顔領域の長径（画像上の長径）ｌとに基づいて、撮像部１０３が備えるレンズから顔までの距離ｄ（＝Ｌ×ｆ／ｌ）を算出する。そして、距離算出部１３２は、算出した撮像部１０３が備えるレンズから顔までの距離ｄを示す距離情報を目位置算出部１３４へ出力する。

なお、距離算出部１３２は、撮像部１０３の焦点距離ｆと平均的な顔の短径（実際の短径）、算出した顔領域の短径（画像上の短径）とに基づいて、撮像部１０３が備えるレンズから顔までの距離ｄを算出してもよい。

水平方向画素間隔算出部１３３は、視線検出部１２０から入力された目位置情報Ｐが示す画像上の目の位置（例えば、画像上の黒目の中心位置）と画像の中心位置との間の水平方向の画素間隔ａを算出する。水平方向画素間隔算出部１３３は、算出した水平方向の画素間隔ａを示す水平画素間隔情報を目位置算出部１３４へ出力する。

目位置算出部１３４は、撮像部１０３の焦点距離ｆを示す情報を予め保持している。目位置算出部１３４は、水平方向画素間隔算出部１３３から入力された水平画素間隔情報が示す水平方向の画素間隔ａと撮像部１０３の焦点距離ｆと距離算出部１３２から入力された距離情報が示す距離ｄとに基づいて、レンズの中心位置を原点とする目位置を算出する。そして、目位置算出部１３４は、算出した目位置を示す目位置情報ｂを視線判定部１３５へ出力する。

視線判定部１３５は、目位置算出部１３４から入力された目位置情報ｂが示す目位置と、視線検出部１２０から入力された視線方向情報ＳＬが示す視線方向とに基づいて、視線が動画の表示領域内に収まっているか否か判定する。視線判定部１３５は、予め決められた間隔（例えば、０．１秒間隔）で、判定結果を確率算出部１３６へ出力する。

確率算出部１３６は、視線が動画の表示領域内に収まっている確率を算出する。例えば、視線判定部１３５が０．１秒間隔（１０ｆｐｓ）で、５秒間（すなわち５０回）、視線が動画の表示領域内に収まっているか否か判定した場合、そのうち３５回で視線が動画の表示領域内にあった場合には、確率算出部１３６は、動画を視聴していた確率を７０％と算出する。確率算出部１３６は、算出した確率を示す確率情報を視聴判定部１３７へ出力する。

なお、確率算出部１３６は、視線が動画の表示領域の中心部に近い場合に向けられていた場合には、動画を視聴していた確率が高くなるように重みづけをしてもよい。
また、視線判定部１３５は、視線が動画の表示領域内に収まっているか否か判定したが、これに限らず、視線が表示部１０６の表示領域内に収まっているか否か判定してもよい。その場合、確率算出部１３６は、視線が動画の表示領域内に収まっている確率を算出すればよい。

視聴判定部１３７は、確率算出部１３６から入力された確率情報が示す確率に基づいて、ユーザが動画を視聴しているか否か判定する。具体的には、視聴判定部１３７は、その確率が予め決められた閾値よりも低い場合、動画を視聴していないと判定する。一方、視聴判定部１３７は、その確率が予め決められた閾値以上の場合、動画を視聴していると判定する。視聴判定部１３７は、判定することにより得られた判定結果を動画選択部１１４へ出力する。

続いて、図８を用いて視線判定部１３５の処理の詳細について説明する。
図８は、レンズの中心位置を原点とする目位置と視線方向とを説明するための図である。同図に置いて、撮像部１０３が備えるレンズ６１及び表示部１０６を備える電子書籍装置１００と、ユーザの左目６２とが示されている。ここで、表示部１０６が表示領域と、ユーザの左目６２との距離はｄ１である。また、ｘｙｚ座標系において、ユーザの左目の位置が座標（ｘ１，ｙ１，ｄ１）であることが示されている。同図に示すように、レンズ６１は、一例として、表示部１０６が位置する面に配置されている。なお、同図の例では、レンズ６１及び撮像部１０３の位置は、一例であって、ユーザの目が撮像できる位置に配置されていればよい。

同図の例において、視線判定部１３５は、例えば、表示部１０６に表示されている動画の表示部１０６内の輪郭の位置から、ｘｙｚ座標系における位置（以下、動画輪郭絶対位置と称す）へ座標変換する。そして、視線判定部１３５は、ユーザの左目の位置（ｘ１，ｙ１，ｄ１）から視線方向ＳＬへの直線が、表示部１０６の表示面を含む平面すなわちｚ＝０の平面との交点を算出する。

そして、視線判定部１３５は、算出した交点と動画輪郭絶対位置に基づいて、交点が動画の表示領域内であるか否か判定する。視線判定部１３５は、算出した交点が動画の表示領域内である場合、視線が動画の表示領域内に収まっていると判定する。一方、視線判定部１３５は、交点が動画の表示領域外であれば、視線が動画の表示領域内に収まっていないと判定する。

図９は、本実施形態の電子書籍装置１００の基本部分の処理の一例を示すフローチャートである。まず、ユーザ入力部１０１は、ユーザが選択した書籍を示すユーザ入力を受けつけ、その書籍を示す書籍情報をレイアウト部１１２へ出力する（ステップＳ１０１）。レイアウト部１１２は、選択された書籍についてデータ管理部１１６を介して記憶部１０４に保存されている書籍データを取得する（ステップＳ１０２）。

次に、レイアウト部１１２は、自装置の向き及び表示部１０６が備えるディスプレイの大きさに応じて、文書のレイアウトを決定し、決定したレイアウトで表示部１０６に書籍データを表示させる（ステップＳ１０３）。
次に、動画データが含まれているページを表示した場合、例えば、ユーザがタッチパネルにおいて、表示部１０６に表示されている動画領域に相当する位置をタッチすることで、ユーザ入力部１０１は、動画の再生開始を示すユーザ入力を受け付ける（ステップＳ１０４）。そして、ユーザ入力部１０１は、動画再生部１１１にそのユーザ入力を出力する。

次に、動画再生部１１１は、記憶部１０４からデコード前の動画を取得し、取得した動画をデコードする。そして、動画再生部１１１は、デコードした動画を表示部１０６で再生させる（ステップＳ１０５）。
次に、ユーザがページめくりの操作を行うと、ユーザ入力部１０１は、ページ送りを示すユーザ入力を受け付け、受け付けたユーザ入力をレイアウト部１１２へ出力する（ステップＳ１０６）。

次に、レイアウト部１１２は、次のページデータを記憶部１０４からデータ管理部１１６を介して取得する（ステップＳ１０７）。そして、レイアウト部１１２は、先ほどと同様にレイアウトを決定し、決定したレイアウトで次のページデータを表示部１０６に表示させる（ステップＳ１０８）。その際、表示部１０６は、例えばページをめくるアニメーションを表示して画面遷移を行う。以上で、本フローチャートの処理を終了する。

図１０は、本実施形態の電子書籍装置１００において、自装置の向きが変化した際の処理の一例を示すフローチャートである。自装置の向きが変わったことが向き検出部１０２によって検出されたときに、以下の処理が実行される。
まず、動画視聴判定部１３０は、ユーザが動画を視聴中か否か判定する（Ｓ２０１）。もし、現在表示しているページに動画が複数含まれている場合は、動画視聴判定部１３０は、それぞれ個別に視聴中か否か判定し、視聴中と判断された動画が１つ以上あり、ユーザの視線が動画の表示領域に収まっている確率が予め決められた閾値以上の場合、ユーザが動画を視聴中であると判定する。

次に、動画視聴判定部１３０が動画を視聴中と判定した場合（ステップＳ２０１ ＹＥＳ）、回転後も動画が表示されるように、画面上で動画の表示されている位置を基準にして回転を行う。まず、視聴中の動画が複数存在していた場合を考慮し、動画選択部１１４が優先する動画を１つ選択する（ステップＳ２０２）。視聴中の動画が複数存在していた場合でも、この処理で動画が１つ選択されるため、これ以降は視聴中の動画が１つの場合と同じ処理が行われることになる。

続いて、レイアウト部１１２が選択された動画について、画面上における動画領域の相対位置を取得する（ステップＳ２０３）。
次に、レイアウト部１１２は、取得した動画領域の相対位置に基づいて、回転後のページのレイアウトを決定する（ステップＳ２０４）。具体的には、レイアウト部１１２は、動画領域の表示されている位置を基準として回転を行ったように見せるため、動画領域の位置が回転前の位置に出来るだけ近くなるようにレイアウトを決定する。

以上の処理により、回転後の表示内容が決まったので、ページ位置保持部１１３が回転前のページの位置を保存する（ステップＳ２０５）。例えば、図２において、ページ位置保持部１１３は、回転前のページの先頭の文字である「カ」を特定するための情報を保存する。この情報は、向きが変わった後で回転前の状態に戻す際に使用するが、具体的な処理については後述する。

そして、レイアウト部１１２は、決定したレイアウトに基づき、回転後のページを画面に表示する（ステップＳ２０７）。これにより、動画を再生中であれば、動画再生部１１１は動画の再生は継続して行うことで、ユーザがシームレスに動画視聴できる。

一方、ステップＳ２０１において、動画視聴判定部１３０が動画を視聴中でないと判断した場合（ステップＳ２０１ ＮＯ）、通常の書籍として回転処理を行えば良いため、ページの先頭の文字を基準に回転を行う。したがって、回転後のページの位置を現在と同じ位置として設定する（ステップＳ２０６）。すなわち、回転後のページにおいても、現在のページの先頭の文字である「カ」が先頭になるページレイアウトとなり、レイアウト部１１２は回転後のページを画面に表示する（ステップＳ２０７）。この場合、例えば、図１２に示した横向きの表示画面７２が表示される。以上で、本フローチャートの処理を終了する。

以上の処理により、電子書籍装置１００は、回転後の動画領域の相対位置を、回転前の相対位置に出来るだけ近くなるようにレイアウトを決定する。これにより、電子書籍装置１００は、動画を視聴中に自装置が回転させられても、動画領域の相対位置を維持することができるので、動画を継続して表示することができる。その結果、電子書籍装置１００を回転させても動画をシームレスに視聴することができ、ユーザの使い勝手を向上させることができる。ゆえに、ユーザは、動画が組み込まれている電子書籍を快適に視聴することができる。

また、電子書籍装置１００は、動画が表示されている画面上の位置についても、回転の前後で相対的な位置が保持されているため、ユーザは、回転の前後での動画の対応付けを容易に行うことができる。その結果、ユーザは、動画が組み込まれている電子書籍を快適に視聴することができる。

続いて、動画視聴中の場合、電子書籍装置１００が回転させられた場合、電子書籍装置１００は、動画の表示されている位置を基準に表示画面を回転するため、そのページの先頭の文字は変わる。したがって、電子書籍装置１００の回転直後に、電子書籍装置１００を回転前の向きに戻した場合に、元のページとは位置がずれる可能性がある。そこで、自装置の向きを変えた直後に自装置の向きを元に戻した場合における電子書籍装置１００の処理を図１１を用いて説明する。

図１１は、自装置の向きを変えた直後に自装置の向きを元に戻した場合において、電子書籍装置１００の処理の流れの一例を示すフローチャートである。以下の処理は、図１０に示した回転処理の実行直後に端末の向きを戻した場合に実行される。例えば、縦向き（０°）から横向き（９０°）に回転後、そのまま横向き（９０°）から縦向き（０°）に戻した際に、以下の処理が実行される。

まず、レイアウト部１１２は、ページ位置保持部１１３に回転前のページ位置が保存されているか否か判定する（ステップＳ３０１）。ページ位置保持部１１３に回転前のページ位置が保存されている場合（ステップＳ３０１ ＹＥＳ）、直前の回転時にページ位置が移動したことを意味するため、レイアウト部１１２は、ページ位置保持部１１３に保存されているページ位置を取得する（ステップＳ３０２）。

次に、レイアウト部１１２は、このページ位置を回転後のページの位置として設定する（ステップＳ３０３）。すなわち、レイアウト部１１２は、回転後のページとして、指定された要素（文字、画像、動画等）を先頭にしたページレイアウトを行う。この結果生成されるページは回転前と同じページとなる。レイアウト部１１２は、回転後のページを表示部１０６に表示させる（ステップＳ３０４）。これにより、レイアウト部１１２は、回転前と同じ表示状態に戻すことができる。次に、ページ位置保持部１１３に保存していたページ位置は不要となるため、ページ位置保持部１１３はその情報を消去する（ステップＳ３０５）。

ステップＳ３０１において、ページ開始位置がページ位置保持部１１３に保存されていなかった場合（ステップＳ３０１ ＮＯ）、直前の回転時にはページ位置を移動させなかったということを意味するため、レイアウト部１１２は、通常の回転処理を行う。具体的には、図１０で示した処理と同様に、レイアウト部１１２は、回転後のページ位置を現在と同じ位置に設定する（ステップＳ３０６）。レイアウト部１１２は、このレイアウトで、回転後のページを表示部１０６に表示させる（ステップＳ３０７）。これにより、レイアウト部１１２は、ページの先頭の文字を基準に回転させたページを表示することができる。

前述した通り、電子書籍装置１００は、自装置の回転直後に端末の向きを元の向きに戻した場合にのみ、図１１の処理を実行する。一方、自装置を一旦回転させた後、ページを移動させてから元の向きに戻した場合、電子書籍装置１００は、図１１の処理を実行せずに回転時の処理（図１０）を実行する。

また、自装置を縦向き（０°）から横向き（９０°）に回転後、横向き（９０°）から反対側の縦向き（１８０°）にした場合も、電子書籍装置１００は、図１１の処理は実行せずに図１０の処理を実行する。すなわち、電子書籍装置１００は、自装置を回転させたときは基本的には図１０の処理を実行するが、自装置の向きを戻した場合にのみ図１１の示された特別な処理を実行する。

これにより、電子書籍装置１００は、自装置の向きを元に戻すという操作に、元の（回転前の）状態に戻す、という意味を与えることができる。そのため、特に再生中の動画が複数あった場合で、装置によって優先的に表示された動画がユーザの意図と異なっていた場合であっても、ユーザは端末の向きを元に戻すだけで状態が元に戻ることが保証されているため、ユーザは違和感なく電子書籍装置１００を利用することができる。

なお、本実施形態では、電子書籍装置１００を一例として説明したが、これに限らず、携帯電話装置、スマートフォン、情報端末装置、タブレットＰＣなどの表示画面を備える表示装置であればよい。

また、本実施形態の電子書籍装置１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子書籍装置１００に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００ 電子書籍装置
１０１ ユーザ入力部
１０２ 向き検出部
１０３ 撮像部
１０４ 記憶部
１０５ 通信部
１１０ 制御部
１１１ 動画再生部
１１２ レイアウト部
１１３ ページ位置保持部
１１４ 動画選択部
１１５ 動画表示位置算出部
１１６ データ管理部
１２０ 視線検出部
１２１ 特徴量抽出部
１２２ 顔領域特定部
１２３ パーツ特定部
１２４ 黒目領域特定部
１２５ 眼球中心半径算出部
１２６ 黒目中心位置算出部
１２８ 視線方向算出部
１３０ 動画視聴判定部
１３１ 顔領域大きさ算出部
１３２ 距離算出部
１３３ 水平方向画素間隔算出部
１３４ 目位置算出部
１３５ 視線判定部
１３６ 確率算出部
１３７ 視聴判定部

Claims (6)

1. 動画を含むコンテンツを画面に表示する表示部と、
   前記画面を含む平面上における自装置の向きの変化を検出する向き検出部と、
   前記向き検出部が向きの変化を検出した場合、コンテンツに含まれる少なくとも一つの動画の全体が前記画面に表示されるように、向き変化後の画面レイアウトを決定する制御部を備え、
   前記制御部は、
   ユーザが前記表示部に表示されている動画を視聴中か否か判定する動画視聴判定部と、
   前記向き検出部が向きの変化を検出した場合で、かつ前記動画視聴判定部が動画を視聴中と判定した場合、該動画の表示されている画面上の位置に基づいて、向き変化後の画面レイアウトを決定するレイアウト部と、
   を備えることを特徴とする表示装置。
2. 前記制御部は、前記向き検出部が検出した向きが変化した場合、表示していたページ位置と向きの変化方向とを保持するページ位置保持部を備え、
   前記レイアウト部は、前記向き検出部が検出した向きの変化が、前記ページ位置保持部で保持している向きの変化方向と逆方向であった場合、前記ページ位置保持部で保持しているページ位置に基づいて、変化後の画面レイアウトを決定することを特徴とする請求項１に記載の表示装置。
3. 前記動画視聴判定部は、少なくとも動画が再生中の場合に動画が視聴中であると判定することを特徴とする請求項１または請求項２に記載の表示装置。
4. 前記制御部は、ユーザの視線方向を検出する視線検出部を備え、
   前記動画視聴判定部は、動画の再生状態と前記視線検出部が検出した視線方向とに基づいて、前記ユーザが前記動画を視聴中であるか否か判定することを特徴とする請求項３に記載の表示装置。
5. 動画を含むコンテンツを画面に表示する表示部と、前記画面を含む平面上における自装置の向きの変化を検出する向き検出部と、前記向き検出部が向きの変化を検出した場合、コンテンツに含まれる少なくとも一つの動画の全体が前記画面に表示されるように、向き変化後の画面レイアウトを決定する制御部と、を備える表示装置が実行する表示方法であって、
   前記制御部が、ユーザが前記表示部に表示されている動画を視聴中か否か判定する動画視聴判定過程と、
   前記制御部が、前記向き検出部が向きの変化を検出した場合で、かつ前記動画視聴判定過程で動画を視聴中と判定された場合、該動画の表示されている画面上の位置に基づいて、向き変化後の画面レイアウトを決定するレイアウト過程と、
   を有することを特徴とする表示方法。
6. 動画を含むコンテンツを画面に表示する表示部と、前記画面を含む平面上における自装置の向きの変化を検出する向き検出部と、前記向き検出部が向きの変化を検出した場合、コンテンツに含まれる少なくとも一つの動画の全体が前記画面に表示されるように、向き変化後の画面レイアウトを決定する制御部を備える表示装置のコンピュータに、
   ユーザが前記表示部に表示されている動画を視聴中か否か判定する動画視聴判定手段、
   前記向き検出部が向きの変化を検出した場合で、かつ前記動画視聴判定手段で動画を視聴中と判定された場合、該動画の表示されている画面上の位置に基づいて、向き変化後の画面レイアウトを決定するレイアウト手段、
   を実行させるための表示プログラム。

Images